CN111355883A - 为超宽和360相机提供凝视和感知的系统和方法 - Google Patents

为超宽和360相机提供凝视和感知的系统和方法 Download PDF

Info

Publication number
CN111355883A
CN111355883A CN201911322423.4A CN201911322423A CN111355883A CN 111355883 A CN111355883 A CN 111355883A CN 201911322423 A CN201911322423 A CN 201911322423A CN 111355883 A CN111355883 A CN 111355883A
Authority
CN
China
Prior art keywords
remote
camera
users
remote user
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911322423.4A
Other languages
English (en)
Other versions
CN111355883B (zh
Inventor
D·A·沙马
L·德努
Y·贾亚迪
安东尼·邓尼根
J·J·多尔蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN111355883A publication Critical patent/CN111355883A/zh
Application granted granted Critical
Publication of CN111355883B publication Critical patent/CN111355883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

为超宽和360相机提供凝视和感知的系统和方法。一种设备包括：360相机，该360相机被配置为对包括一个或更多个本地用户的空间进行成像，并针对远程用户生成输出；以及照明装置，该照明装置被配置为基于远程观看器的感兴趣区域的映射，针对所述一个或更多个本地用户生成视觉输出，所述视觉输出指示所述远程用户的观看方向和数量。所述照明装置与所述360相机相关联。

Description

为超宽和360相机提供凝视和感知的系统和方法
技术领域
示例实施方式的各方面涉及一种为超宽和360相机提供凝视和感知的方法、系统和接口，并且更具体地，涉及一种用于通过使用光源向超宽和360相机添加凝视和感知的装置和方法。
背景技术
在现有技术中，相机可以用于房间中。更具体地，可以在房间中设置相机(例如，视频相机)以用于诸如安全、监控、跨远程物理位置的交互式通信等的一个或更多个功能。存在现有技术的360°相机，其可以用于对诸如会议室、办公室、家庭或者其它场馆空间的整个房间进行成像。与现有技术的“平移变焦(Pan Tilt Zoom)”相机相比较，现有技术的360°相机不需要用于操作的机械移动结构(例如，伺服器(servo)或者相关电机)，并且能够容易地放置在任何位置以在所有时间在所有方向上提供可视性。
根据现有技术的连接能力，现有技术的360°相机可以提供用于在没有位于相同房间中的用户之间进行远程会议的机制，或者提供用于在特定环境中(例如，在房子中)的自动视频辅助的机制。
然而，现有技术的360°相机具有各种问题和缺点。例如而非限制，尽管现有的360°相机针对远程地观察房间中的用户的远程观看器或者AI代理提供对房间的完全凝视/感知，但是房间中的本地用户本身不会感知到位于远程并且正在观看的观看器的方向或者数量。
在一个现有技术的示例中，一个或更多个远程对等体可能正在通过360相机远程观看房间中的一个或更多个本地用户。然而，该一个或更多个本地用户不具有用于通过查看360相机来了解远程对等体是否正在观看那些特定用户或者甚至是远程对等体在360相机中聚焦的一般方向、角度、视场等的任何机制。
此外，诸如AI代理或者其它视觉助手的自动捕获工具可能正在观看位于具有360相机的房间中的一个或更多个用户。然而，该一个或更多个用户不具有用于确定他们是否正在被观看以及多少个自动捕获工具正在观察他们的任何机制。这一现有技术的问题是由于以下事实产生的：现有技术的360相机不包括任何用于本地用户以确定远程观看器的方向、身份或数量的视觉指示器。
因此，现有技术中存在为具有360相机的房间中的用户提供一种能够在不妨碍协作的情况下保留隐私的系统和方法的未得到满足的需要，该系统和方法允许房间中的用户能够在不实质干扰协作的情况下确定关于一个或多个远程观看器的信息。
发明内容
根据示例实施方式的各个方面，一种设备包括：360相机，该360相机被配置为对包括一个或更多个本地用户的空间(volume)进行成像，并针对远程用户生成输出；以及照明装置，该照明装置被配置为基于远程观看器的感兴趣区域的映射，针对所述一个或更多个本地用户生成视觉输出，所述视觉输出指示所述远程用户的观看方向和数量，其中，所述照明装置与所述360相机相关联。
根据另一方面，所述远程用户包括自动代理和人中的至少一种。
根据再一方面，所述远程观看器的所述感兴趣区域的映射包括针对所述远程用户中的每一个的被映射到所述照明装置的偏航值、俯仰值和视场值。
根据又一方面，所述照明装置包括视觉指示器灯的堆叠。此外，所述视觉指示器灯的堆叠被嵌入在被配置为容纳所述360相机的冠部中。
根据另一方面，所述视觉输出包括所述照明装置的亮度、尺寸和颜色中的至少一个，所述视觉输出指示所述远程用户的观看方向或者数量，或者指示所述远程用户中的一个或更多个加入、离开、讲话和同步到由所述一个或更多个本地用户确定的视口。
根据另一方面，所述远程用户的运动由与所述运动相对应的所述360相机周围的所述照明装置的运动和亮度表示。并且，所述远程用户的所述运动包括摇移、倾斜和变焦中的一个。
还提供了一种方法，所述方法包括：从360相机接收输入，其中，所述输入与本地环境的经由所述360相机接收的信息相关联；生成针对多个远程用户中的每一个的流，每一个远程用户经由装置与所述360相机交互；基于来自所述远程用户的所述装置的针对每一个远程用户的流和信息，确定感兴趣区域信息；将所确定的感兴趣区域信息映射到与所述360相机相关联的特定点亮配置的特定灯结构；生成命令并且将所述命令提供到所述点亮配置；以及基于所述命令，生成指示与所述远程用户相关联的所述感兴趣区域信息的灯输出，使得在所述360相机处或者附近的本地用户能够观看所述灯输出。
此外，提供了一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括处理器，所述处理器被配置为执行存储在存储装置中的指令，所述指令包括：生成针对多个远程用户中的每一个的流，每一个远程用户经由装置与360相机交互，所述360相机提供与本地环境相关联的信息；基于来自所述远程用户的装置的针对每一个远程用户的流和信息，确定感兴趣区域信息；将所确定的感兴趣区域信息映射到与所述360相机相关联的特定点亮配置的特定灯结构；并且生成命令以输出指示与所述远程用户相关联的所述感兴趣区域信息的灯显示，使得在所述360相机处或者附近的本地用户能够观看灯输出。
附图说明
图1A至图1C说明了根据示例实施方式的360相机的示例。
图2示出了根据示例实施方式指示感兴趣区域到360相机周围的点亮配置(lighting)的映射的流程图。
图3示出了根据示例实施方式对360相机上的感兴趣区域进行建模。
图4示出了根据示例实施方式与360相机上的点亮配置相关联的机制。
图5示出了根据示例实施方式的方法。
图6示出了具有适合于在一些示例实施方式中使用的示例计算机装置的示例计算环境。
图7示出了适合于一些示例实施方式的示例环境。
具体实施方式
下面的详细描述提供了本申请的附图和示例实施方式的更多细节。为了清楚起见，省去了附图之间的冗余元件的附图标记和描述。在整个说明书中使用的术语被作为示例提供并且并不意在是限制性的。例如而非限制，本文使用的术语“360相机”可以指代诸如360°相机或超宽相机的相机，其不需要任何机械电机或者其它移动结构，并且能够被放置在房间中以在所有时间在所有方向上检测活动。
例如而非限制，示例实施方式可以包括具有整个球形的视场的相机，或者具有捕获水平面中的360度视场的能力的相机。此外，术语“360相机”可以包括但不限于超宽相机，例如，具有焦距比膜或传感器的短边短的透镜。然而，“360相机”不包括摇移/倾斜/变焦相机。
在当前示例实施方式中，相机可以正在捕捉多个远程用户的视频、静止图像或者二者，该远程用户具有允许该远程用户调整他们在360相机内的感兴趣区域的观看装置。观看装置可以向处理器提供与感兴趣区域相关联的参数信息，该处理器提供该参数信息和与360相机相关联的点亮方案之间的映射。基于该映射，点亮方案被控制以便于向本地用户提供与远程用户的感兴趣区域有关的指示，而不干扰360相机的房间中的活动。
示例实施方式的各个方面涉及使用360相机。如上面解释的，360相机可以用于各种场景，包括但不限于远程会议、安全、监控、辅助或者本领域技术人员能够理解的其它场景。在这些和其它场景中，可以使用360相机，因为它们能够提供房间的整个空间的观看，并且不会生成由于典型地与必须摇移、变焦或者倾斜的相机相关联的机械电机而导致的移动或者附加噪声。360相机能够被放置在例如会议室的天花板上，并且360相机的视频馈送可以被提供给远程参与者。
远程参与者可以是另一用户，或者可以是例如感测、接收和存储360相机关于会议或者其它活动(例如，检测由位于诸如家庭、工厂或者其它场馆的位置中的用户执行的活动)的输出的自动系统。360相机也可以被结合到较小的会议空间中，并且可选地，360相机可以是移动的(例如，被放置在房间中的会议桌上)以包括会议中的远程参与者。
如上面解释的，因为该360相机能够在任何时间从房间中的任何地点接收输入，而不给出远程用户接收输入的方向的指示，所以用户不能够确定对于该360相机的远程用户焦点(更不用说远程用户的身份)，因此现有技术的360相机可能产生由360相机感测的那些用户的隐私和/或感知问题。作为现有技术，因为位于360相机的本地的参与者不能够确定远程用户正在查看哪里，与360相机相关联的凝视和感知的缺少会对协作具有负面影响。
示例实施方式的方面至少涉及前述的相关问题。更具体地，示例实施方式在360相机附近或者该360相机上提供视觉指示器，以使得360相机处的本地用户可以提供有远程用户正在感测输入或者正在查看的方向以及正在通过360相机的方式远程观察本地用户的远程用户的数量的凝视和感知的指示。
也就是说，根据示例实施方式，360相机可以包括一个或更多个照明源以提供远程用户的指示，该远程用户是使用远程观看装置的真实的人或者自动系统。此外，针对远程用户中的每一个，可以为其提供视口，使得用户的实际偏航值、俯仰值和视场值可以被映射到在与360相机相关联的硬件中可用的光源。
光源可以是例如可选地被设置在基座内侧的一个或更多个视觉指示器灯(包括但不限于LED环)的堆叠，该光源可以被设置为产生不干扰360相机的对于用户视觉上有感染力的输出。此外，光源的颜色和亮度可以用于指示远程用户的数量和类型。
此外，远程代理的诸如摇移/倾斜/变焦的运动可以由与360相机相关联的灯的运动和亮度表示，以指示诸如摇移、倾斜或者变焦的相对应的动作。而且，可以向360相机处的本地用户提供视觉和/或音频指示器以例如向特定视口指示特定的人加入、离开、说话和同步。
图1A示出了根据示例实施方式的360相机。例如而非限制，这一示例实施方式100提供对其上可以固定360相机(例如，用螺栓固定或粘接)的冠部(crown)(例如，基座)的说明。更具体地，可以提供诸如发光二极管(LED)的视觉指示器的一个或更多个环。在101处，提供其上可以固定360相机的上部105。
此外，视觉指示器灯的下部109以一种颜色发光(illuminate)(在这种情况下是蓝色)。在10处3，较外视觉指示器灯的上部107以另一种颜色发光(在这种情况下是绿色)。此外，下部111可以或可以不与上部109同时发光(在这种情况下也是绿色，但是可选地可以是另一颜色)。应该注意到，视觉指示器灯的各种视觉属性可以用于区分可见光输出。
例如而非限制，发光的视觉指示器灯的部分的宽度或厚度可以指示远程用户的类型、远程观看的持续时间、远程用户与房间中的用户之间的关系、远程用户的类型(例如人类或自动)或者在给定方向上查看的远程用户的数量。
可见光输出的其它属性可以代替前述属性或者与前述属性组合使用，可见光输出的其它属性包括但不限于亮度、脉冲持续时间或者视觉指示器灯(例如但不限于LED环)的其它属性。因此，具有360相机的房间中的用户可以能够确定远程用户的数量，以及那些远程用户正在查看包括360相机的房间的哪里。
图1B示出了与示例实施方式相关联的示例冠部的模型。例如，如在121中示出的，冠部123包括带125、129，该带125、129被配置为传输放置在其中的视觉指示器灯的视觉输出。中间层127被设置为位于上部视觉指示器灯(例如，上部LED环)与下部视觉指示器灯(例如，下部LED环)之间的分隔。此外，基座131被设置在冠部123的一端处。因此，根据360相机是位于天花板上、桌子上还是其它位置上，360相机可以位于基座131上，或者位于带125的端部上。
图1C示出了与具有灯的集成360相机相关联的示例实施方式。例如，在141处，壳体143被设置为包括一体的360相机145、用户接口147、状态指示器149和151处的两行LED灯。如本领域技术人员将能够理解的那样，LED灯的数量以及LED灯的行和颜色的数量可以在创造性范围内进行修改。这一示例实施方式可以提供能够用于诸如较小房间或桌面上的位置中的更加紧凑的结构。
根据包括在桌面上使用360相机的示例实施方式，相机可以被安装在上面描述的并且在附图中示出的示例冠部上。此外，示例冠部的视觉指示器灯的每一集合可以编程发光，以提供与查看焦点的远程用户的方向相关联的指示。例如而非限制，底部视觉指示器灯可以指示关于360相机的底部和正面的对象是当前焦点。另一方面，上环可以指示相反方向上的对象(例如，用户的面部或者房间中的白板)是当前焦点。
根据包括更大的场景(例如，董事会会议室等)的另一示例实施方式，冠部可以被安装在天花板上，并且360相机可以被安装在冠部下方，朝向向下方向。如上面关于桌面示例实施方式描述的，可以类似地部署LED范围，以指示远程用户的观看方向，以及位于360相机的焦点中的对象的相对位置。
本文描述的示例实施方式例如通过一个或更多个光源，为与360相机相关联的本地用户提供一个或更多个远程用户的视觉指示，以及一个或更多个远程用户的焦点的方向。视觉指示可以由一个或更多个灯(例如，LED)提供，其不具有导致影响360相机镜头的高亮度。根据上面的示例实施方式，LED可以被装在也被称为基座的冠部中，以便管理或者限制照明，并且为本地用户提供灯输出的期望的视觉外观。结果，本地用户和远程用户能够继续他们的协作，同时允许本地用户具有与远程观看器的方向和数量相关联的隐私保留点亮功能。
尽管与示例实施方式相关联地描述了前述光源，但是本发明构思并不限于此。例如而非限制，可以使用其它可编程光源来代替LED。根据另一示例实施方式，如果柔性LCD显示器可以被缠绕在基座周围，可以提供诸如半球形的灯的布置，或者可以使用完全平板LCD显示器。因此，当前示例实施方式可以被设计为控制感兴趣区域的精度，与视觉指示器相关联的功率要求以及制造、安装、维护等的复杂度。
例如而非限制，视觉指示器可以包括但不限于输出屏幕(例如，从一个区域生成光以便于向外投射(例如，从底部到从投影仪外侧可视的半透明锥体)的投影仪)。另选地，可以实现LCD屏幕(例如，圆形LCD附接到360相机上方的天花板上，也根据示例实施方式示出灯)。结果，每一个用户将能够观看有效视口。
如果用户被充分变焦，前述的示例观看可以被实现为完全360，或者用户可以被缩小到聚焦区域中。在其中用户被充分放大的示例实施方式中，圆环将表现为点亮的圆形。如果用户被从左到右缩小到视口(例如，从45到15度)，则圆环的弧度可以被呈现在输出显示器上。然而，示例实施方式并不局限于此，并且根据映射(例如，1:1)、可视区域的调整(例如，向房间中的人们可视地指示区域)，等等，可以代替地采用其他实施方式。
在示例实施方式中，需要能够可编程地控制光源。在本示例实施方式中，与360相机相关联的房间的本地区域中的感兴趣区域可以被映射。基于这一映射，360相机周围的灯可以被点亮。例如而非限制，针对安装在天花板上的360相机，远程参与者可以被提供有诸如3-D观看器的观看器，以在他们扫描360相机所位于的房间时将感兴趣区域移动到焦点位置。例如，远程用户可以聚焦到房间中的投影仪上、询问问题的参与者、标记板或者其它视觉焦点上，并且观看器的感兴趣区域能够因此自动地或者通过远程用户而被移动。
根据示例实施方式，光源可以被建模以提供点亮方案。在一个示例实施方式中，光源被建模并作为传感器显示，并且具有诸如视场(FoV)、偏航和俯仰的角度值以及空间的各种相关联的属性。
如图2中所示，多个远程观看器可能正在观看从会议室中的360相机提供的灯相机流。在示例实施方式中，远程参与者中的两个可能正在大致观看相同的方向(例如，在包含360相机的房间中投影显示，可能展示的幻灯片等)。正在远程观看的另一参与者以及360相机的输出可能在另一方向(例如，房间的背面、用户中的一个、或者房间的另一部分)上具有焦点，该方向可选地与询问问题或者在其位置提供信息的参与者相关联；该参与者聚焦在人上。
在前述示例中，聚焦在360相机的相同方向上的两个参与者将具有相同的偏航值，以及稍微向下聚焦的小俯仰；另一方面，其它参与者将具有高的俯仰值以及小的视场，因为其聚焦在那个房间中的单个用户或人上。
使用针对每一个远程用户的感兴趣区域的偏航和俯仰的输入，系统提供对光源的可编程控制，以生成与这些值相关联的视觉输出。根据示例性非限制性实施方式，两个视觉指示器灯(例如，LED环)被堆叠在彼此之上，并且前述示例将导致上环在下方显示2，以表示正在查看投影显示的相应前两个参与者的位置，并且使用下环来照亮表示第三个远程用户正在查看的在询问问题的参与者处的方向。在中间俯仰值的情况下，上环和下环二者都可以发光，以提供俯仰值的平均值。
尽管前述示例实施方式涉及视觉指示器灯(例如，两个LED环)的两个空间布置，但是本发明构思不限于此。可以采用诸如半球形柔性食用色素显示器的其它技术来提供俯仰和偏航值的更加精准或者精确的视觉指示。
因此，当可以包括人或者自动工具的远程用户移动其视口以聚焦到360相机所位于的房间的另一区域上时，与远程用户的这一移动相关联的摇移、倾斜和变焦参数可以用于修正照明的亮度输出和对应的灯。例如而非限制，当远程用户基于360相机将其视口从查看投影仪屏幕朝向查看房间后面的参与者移动时，与360相机相关联的相应的灯在冠部装置周围移动，并改变亮度，并且远程用户放大。
堆叠的视觉指示器灯可能已经充分地结合偏航(例如，相机周围360°角)以便为360相机的房间中的本地参与者提供多少个远程用户正在访问该360的印象。应该注意到，根据环境，视口可以提供观看的一般区域，但是不提供视口的精确或中央焦点。
图2说明了与示例实施方式相关联的示例流程图200。在201处，360相机接收输入。在203处，360相机的输入被流式传送到一个或更多个远程用户S1、S2、……、Sn。流中的每一个与远程用户或远程参与者中的每一个的感兴趣区域相关联。例如，可以向远程用户中的每一个提供视口。
基于给定用户的特定感兴趣区域，生成针对诸如俯仰、偏航和视场以及空间的参数的指示值。如上所述，这些值在207处被输出到映射函数，其将与感兴趣区域相关联的俯仰、偏航和视场映射到灯输出。
因此，在209处，当通过系统将信号提供到冠部处的点亮配置时，灯环根据在207处生成的映射而发光，该映射基于在205处的远程参与者感兴趣区域接收到的参数，该参数转而基于在203处从201处的360相机接收到的相应流。
图3示出了根据示例实施方式基于映射的示例输出。在300中，提供装置301，该装置301包括360相机303以及包括一个或更多个灯环的冠部305。
在前述示例中，两个远程观看器正相对于360相机直直地向前查看，并且它们相对彼此沿相同的方向工作。另一方面，第三参与者正在沿与前两个远程用户不同的方法向下观看。基于上面解释的映射，在位于冠部305的上部区域处的309处提供视觉输出。因为与沿307的方向查看的一个远程用户相比，存在两个沿309的方向查看的远程用户，所以该具有第一颜色(这种情况下是橘色)的视觉输出是在307处提供的视觉输出的两倍长。
此外，因为与聚焦在房间中较低位置上的第三用户(例如，坐在其桌子处的人)相比，远程用户聚焦在房间中较高的位置(例如，投影屏幕)上，所以与307处的视觉输出相比，309处的视觉输出在冠部上更高。此外，基于如上面解释所获取的信息(例如，通过其视口)，基于远程用户中的每一个的视场，因为与坐在其桌子处的人的窄视场相比，投影仪屏幕的视场更宽，所以与309相比，较小数量的灯在307处发光。
根据另一示例实施方式，正在通过360相机观看会议的远程用户可能数量上很大。在这种情形下，可能相对难于按照上面解释的方式精确地表示在给定方向上远程工作的观看器的实际数量。作为另选方案，灯功率(例如，强度或亮度)可以用于提供多个用户的指示。例如而非限制，在存在具有类似的偏航和俯仰角度的更多个远程用户的情况下，视觉指示器灯可以发射更亮的颜色。此外，针对当一个或更多个远程用户连接到360相机或者与360相机断开的情况，因此指示用户正在加入或正在领导会议，可以提供特殊的点亮效果。
此外，根据另一示例实施方式，一个或更多个本地参与者可能希望了解特定远程用户的状态或者身份。根据一个示例，公司的首席执行官(CEO)可以是远程用户，也可以是到会议的一个或者更多个其它远程用户。在这一情况下，具有360相机的房间中的本地参与者可能希望了解与CEO的远程活动相关联的光源。
为了适应前述情形，可以提供双向音频，以使得CEO可以在连接时或者在其它类型时介绍自己。此外，可以采用保留动作效果，以使得本地参与者可以知道特定的灯与作为远程用户的CEO相关联。例如而非限制，某些用户可以基于他们的用户标识或者基于凭证具有保留的颜色。
根据另一示例实施方式，远程用户可能被锁定在特定视口上。根据这一示例实施方式，本地演说者或者远程演说者可以能够要求每一个远程用户将他们的远程观看仅聚焦到某些感兴趣区域。例如，本地演说者可能希望强迫所有远程参与者具有他们的感兴趣区域以及正在展示的幻灯片。因而，本地演说者可以将远程观看器锁定在与投影仪相关联的视口上。当执行这一锁定功能时，与360相机相关联的灯可以输出诸如移动所有灯以对准4.2投影仪的动画的可视化效果，例如，可以使本地参与者能够感知到所有远程用户现在被锁定在那个方向上。
如上所示，远程用户可以是诸如用于家庭自动代理的自动监控系统的代理。这些代理也可以由与360相机相关联的灯视觉表示(例如，使用特定的颜色)以将代理与和人相关联的其它远程用户区分开。针对这些代理，特别是那些使用人工智能的代理，可以使用多方向麦克风阵列(也被称为“3D麦克风”)来确定一些人是否当前正在与360相机相关联的房间中进行本地讲话。因此，360相机上的灯可以发光以指示基于AI的代理正在经由360相机进行远程感测，使得本地用户将感知到代理的焦点。
上述示例实施方式的管理和控制(例如，点亮、映射、用户设置等的控制)，可以由一个或更多个方案控制，包括但不限于网络用户体验、移动在线应用、基于文本的通信服务信道以及语音命令。该系统可以是交互式的(例如，自动程序(bot)和/或语音激活的系统)。
360相机和相关联的光源可以提供用于关断或者接通的特殊信号，以及音频效果。例如而非限制，可以采用网站，以使得能够控制与命令相关联的颜色。类似地，可以控制由灯装置输出的光的其它方面。
根据前述示例的一个实施方式，例如在图4中的400处示出的，使用LED条带401来构建基座，条带堆叠在彼此的顶部上并且被包围在3-D打印的半透明基座内侧。360相机接着被安装在该结构的顶部上。被包围在基座中的LED不会负面影响360相机的性能，并且因而协作事件能够继续而不中断。这一设备被部署在会议室中，并且360视频观看器被提供给远程用户，以使得偏航值、俯仰值和视场值被从远程用户接收。LED环被控制并且被连接到服务器。
图5示出了根据示例实施方式的示例过程500。在501处，从360相机接收输入。例如，这一输入可以与本地环境的经由360相机在所有时间在所有方向上接收到的信息相关联。
在503处，针对每一个远程用户生成流。如上面解释的，远程用户可以包括但不限于与人和代理相关联的远程用户。每一个远程用户可以经由诸如视口的组织与360相机交互。
在505处，基于来自远程用户的组织的流和信息，确定感兴趣区域信息和空间信息。例如，可以确定俯仰、偏航和视场。此外，也可以在505处生成或者确定诸如远程用户是人还是代理的与远程用户相关联的信息，并且如果远程用户是人，则该远程用户是否是具有特定凭证或者诸如头衔(例如，CEO)的其它身份指示符的人。
在507处，执行映射功能，该映射功能提取在505处获得或者确定的信息，并且将该信息映射到与360相机相关联的特定点亮配置的特定灯结构。由于不同的360相机会具有不同的点亮配置和功能，因此可以使用不同的映射，以使得可以使用具有多个360相机布置的系统。
基于在507中执行的映射，可以在509处生成并且向点亮配置提供命令。如上面解释的，基于该命令，生成指示与远程用户相关联的感兴趣区域的灯输出，以使得具有360相机的房间中的本地用户感知到远程用户的活动(例如，远程观看器的数量，远程观看器中的每一个的观看方向等等)。
图6示出了适合于在一些示例实施方式中使用的示例计算机装置605的示例计算环境600。计算环境600中的计算装置605可以包括一个或更多个处理单元、核心、或者处理器610，存储器615(例如，RAM、ROM和/或其它)、内部存储装置620(例如，磁性、光学、固态和/或有机存储装置)和/或I/O接口625中的任意一个能够联接在用于传送信息或者嵌入在计算装置605中的总线630或者通信机制上。
计算装置605能够通信地联接到输入/接口635和输出装置/接口640。输入/接口635和输出装置/接口640中的任一个或者二者能够是有线或无线接口并且能够是可拆卸的。输入/接口635可以包括能够用于提供输入(例如，按钮、触摸屏接口、键盘、指向/光标控制、麦克风、相机、盲人用点字法、运动传感器、光学读取器和/或其它)的物理的或虚拟的任何装置、组件、传感器或接口。
输出设备/接口640可以包括显示器、电视机、监视器、打印机、扬声器、盲人用点字法或者其它。在一些示例实施方式中，输入/接口635(例如，用户接口)和输出装置/接口640能够被嵌入有计算装置605或者物理地联接到计算装置605。在其它示例实施方式中，其它计算装置可以用作输入/接口635和输出装置/接口640或者提供计算装置605的输入/接口635和输出装置/接口640的功能。这些元件可以包括但不限于公知的AR硬件输入以允许用户与AR环境交互。
计算装置605的示例可以包括但不限于高度移动的装置(例如，智能电话、车辆和其它机器中的装置、由人和动物携带的装置，以及其他)、移动装置(例如，平板电脑、笔记本电脑、膝上型电脑、个人计算机、便携式电视机、收音机以及其它)、以及没有被设计用于移动性的装置(例如，桌上型计算机、服务器装置、其它计算机、信息亭、具有嵌入在其中和/或联接到其的一个或更多个处理器的电视机、收音机以及其它)。
计算装置605可以被通信地联接(例如，经由I/O接口625)到外部存储装置645和网络650，用于与任何数量的联网组件、装置和系统通信，包括具有相同或者不同配置的一个或更多个计算装置。计算装置60或者任何连接的计算装置能够用作服务器、客户端、瘦服务器、通用机器、专用机器或另一标签，提供服务器、客户端、瘦服务器、通用机器、专用机器或另一标签的服务或者被称为服务器、客户端、瘦服务器、通用机器、专用机器或另一标签。
I/O接口625可以包括但不限于使用任何通信或者I/O协议或标准的有线和/或无线接口(例如，以太网、802.11xs、通用系统总线、WiMAX、调制解调器、蜂窝网络协议以及其它)，以用于向计算环境600中至少所有连接的组件、装置和网络传送信息和/或从计算环境600中至少所有连接的组件、装置和网络接收信息。网络650能够是任何网络或者网络的组合(例如，互联网、局域网、广域网、电话网络、蜂窝网络、卫星网络以及其它)。
计算装置605能够使用计算机可用或者计算机可读介质，或者使用计算机可用或计算机可读介质进行通信，包括暂时性介质和非暂时性介质。暂时性介质包括传输介质(例如，金属电缆、光纤)、信号、载波和其它。非暂时性介质包括磁介质(例如，磁盘和磁带)、光学介质(例如，CD ROM、数字视频光盘、蓝光光盘)、固态介质(例如，RAM、ROM、闪存、固态存储装置)和其它非易失性存储装置或存储器。
计算装置605可以用于在一些示例计算环境中实现技术、方法、应用、过程或计算机可执行指令。计算机可执行指令可以被从暂时性介质取回，并且被存储在非暂时性介质上并且从非暂时性介质上取回。可执行指令能够源于任何编程、脚本和机器语言中的一个或更多个(例如，C、C++、C#、Java、Visual Basic、Python、Perl、JavaScript和其它)。
处理器610能够在任何操作系统(OS)(未示出)下、在本地或虚拟环境中执行。可以部署一个或更多个应用，包括逻辑单元655、应用编程接口(API)单元660、输入单元665、输出单元670、ROI确定675、ROI到灯映射680、360相机/流685、以及用于不同单元与彼此、与OS以及与其它应用(未示出)进行通信的单元间通信机制695。
例如，ROI确定675、ROI到灯映射680和360相机/流685可以针对图1A至图1C和图4示出的结构而实现图2和图5中示出的一个或更多个过程。所描述的单元和元件能够在设计、功能、配置或实现方面变化，并且不局限于所提供的描述。
在一些示例实施方式中，当信息或执行指令由API单元660接收时，其可以被传送到一个或更多个其它单元(例如，逻辑单元655、输入单元665、ROI确定675、ROI到灯映射680和360相机/流685)。例如，ROI确定675可以识别来自从360相机接收的流的输入，并且确定感兴趣区域，以及俯仰、偏航和视场信息，如上面解释的。ROI到灯映射680可以执行ROI信息和与360相机相关联的点亮系统之间的匹配，以提供命令信号，使得灯基于ROI信息发光。此外，360相机/流685可以向远程用户提供流。
在一些实例中，逻辑单元655可以被配置为控制在单元之间的信息流并且在上面描述的一些示例实施方式中指导由API单元660、输入单元665、ROI确定675、ROI到灯映射680和360相机/流685提供的服务。例如，一个或更多个过程或实施方式的流可以由逻辑单元655单独控制或者与API单元660结合进行控制。
图7示出了适合于一些示例实施方式的示例环境。环境700包括装置705到装置745，并且装置705到装置745中的每一个经由例如网络760(例如，通过有线和/或无线连接)通信地连接到至少一个其他装置。一些装置可以通信地连接到一个或更多个存储装置730和745。
一个或更多个装置705到装置745的示例可以分别是在图6中描述的计算装置605。装置705到装置745可以包括但不限于上面解释的具有监视器和相关联的网络相机的计算机705(例如，膝上型计算装置)、移动装置710(例如，智能电话或平板计算机)、电视机715、与车辆相关联的装置720、服务器计算机725、计算装置735到740、存储装置730和745。
装置可以通信地连接到包括但不限于本领域技术人员已知的AR外围装置，以允许用户在AR、VR、混合现实或其它环境中交互。此外，装置可以包括媒体对象捕获硬件，这对于本领域技术人员来说容易理解。
在一些实施方式中，装置705到装置720可以被认为是与企业的用户相关联的用户装置。装置725到装置745可以是与服务提供商相关联的装置(例如，由外部主机使用以提供上面描述的服务以及关于各种图和/或存储诸如网页、文本、文本部分、图像、图像部分、音频、音频片段、视频、视频片段和/或关于其信息的数据)。
前述示例实施方式相对于现有技术可以具有各种优点和益处。例如而非限制，尽管现有技术的360相机可以提供功能灯，但是现有技术的方案不为本地用户提供远程用户的方向或数量、他们是人或者代理的任何指示。因此，本示例实施方式为用户提供远程用户的方向、数量或者甚至身份的这样的视觉指示。此外，应注意的是，视觉指示可以是图标等而不是LED环。
类似地，本地会议的参与者可以被提供有增强的用于隐私保护的机会，以及增强的本地参与者和远程参与者之间的凝视和感知，以提供潜在改善的协作。例如，由于系统通过标志或其它方式区分人工或人类远程用户，所以可以改善隐私。
根据另一示例实施方式，可以提供桌面型版本，以使得在他或她桌面处的用户可以采用360相机来按照上面标注的方式与另一用户或者多个其它用户进行通信。
根据再一示例实施方式，前述特征可以被集成在虚拟现实增强的现实系统中。例如，由远程用户使用来观看360相机的装置可以是VR/AR观看器，使得远程用户能够从360相机的位置(例如，在房间的天花板处)的角度体验正在会议中。也应该注意到，前述系统可以用于在VR、AR观看器或者其它情况下的实时流式传送、双路通信。
尽管示出和描述了一些示例实施方式，但是这些示例实施方式被提供为向熟悉本领域的技术人员传递本文描述的主题。应该理解，本文描述的主题可以被实现为各种形式，而不限于所描述的示例实施方式。本文描述的主题可以在没有所定义或者描述的事物的情况下实践或者可以用未描述的其它或不同的元件或事物实践。本领域普通技术人员将理解到，可以在不偏离如在所附权利要求书及其等同物中定义的主题的情况下对这些示例实施方式做出改变。

Claims (20)

1.一种设备，该设备包括：
360相机，该360相机被配置为对包括一个或更多个本地用户的空间进行成像，并针对远程用户生成输出；以及
照明装置，该照明装置被配置为基于远程观看器的感兴趣区域的映射，针对所述一个或更多个本地用户生成视觉输出，所述视觉输出指示所述远程用户的观看方向和数量，
其中，所述照明装置与所述360相机相关联。
2.根据权利要求1所述的设备，其中，所述远程用户包括自动代理和人中的至少一种。
3.根据权利要求1所述的设备，其中，所述远程观看器的所述感兴趣区域的映射包括针对所述远程用户中的每一个的被映射到所述照明装置的偏航值、俯仰值和视场值。
4.根据权利要求1所述的设备，其中，所述照明装置包括视觉指示器灯的堆叠。
5.根据权利要求4所述的设备，其中，所述视觉指示器灯的堆叠被嵌入在被配置为容纳所述360相机的冠部中。
6.根据权利要求1所述的设备，其中，所述视觉输出包括所述照明装置的亮度、尺寸和颜色中的至少一个，所述视觉输出指示所述远程用户的所述观看方向或所述数量，或者指示所述远程用户中的一个或更多个加入、离开、讲话和同步到由所述一个或更多个本地用户确定的视口。
7.根据权利要求1所述的设备，其中，所述远程用户的运动由与所述运动相对应的所述360相机周围的所述照明装置的亮度和运动表示。
8.根据权利要求7所述的设备，其中，所述远程用户的所述运动包括摇移、倾斜和变焦中的一个或更多个。
9.一种方法，该方法包括以下步骤：
从360相机接收输入，其中，所述输入与本地环境的经由所述360相机接收的信息相关联；
生成针对多个远程用户中的每一个的流，每一个远程用户经由装置与所述360相机进行交互；
基于来自所述远程用户的所述装置的针对每一个远程用户的流和信息，确定感兴趣区域信息；
将所确定的感兴趣区域信息映射到与所述360相机相关联的特定点亮配置的特定灯结构；
生成命令并且将所述命令提供给所述点亮配置；以及
基于所述命令，生成指示与所述远程用户相关联的所述感兴趣区域信息的灯输出，以使得在所述360相机处或者附近的本地用户能够观看所述灯输出。
10.根据权利要求9所述的方法，其中，所述远程用户包括自动代理和人中的至少一种。
11.根据权利要求9所述的方法，其中，远程观看器的所述感兴趣区域的映射包括针对所述远程用户中的每一个的被映射到照明装置的偏航值、俯仰值和视场值。
12.根据权利要求9所述的方法，其中，照明装置包括视觉指示器灯的堆叠，并且所述视觉指示器灯的堆叠被嵌入在被配置为容纳所述360相机的冠部中。
13.根据权利要求9所述的方法，其中，视觉输出包括照明装置的亮度、尺寸和颜色中的至少一个，所述视觉输出指示所述远程用户的观看方向或数量，或者指示所述远程用户中的一个或更多个加入、离开、讲话和同步到由所述一个或更多个本地用户确定的视口。
14.根据权利要求9所述的方法，其中，所述远程用户的运动由与所述运动相对应的所述360相机周围的照明装置的亮度和运动表示，并且所述远程用户的所述运动包括摇移、倾斜和变焦中的一个。
15.一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括处理器，所述处理器被配置为执行存储在存储装置中的指令，所述指令包括：
生成针对多个远程用户中的每一个的流，每一个远程用户经由装置与提供与本地环境相关联的信息的360相机进行交互；
基于来自所述远程用户的所述装置的针对每一个远程用户的流和信息，确定感兴趣区域信息；
将所确定的感兴趣区域信息映射到与所述360相机相关联的特定点亮配置的特定灯结构；以及
生成命令以输出指示与所述远程用户相关联的所述感兴趣区域信息的灯显示，以使得在所述360相机处或者附近的本地用户能够看到灯输出。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述远程用户包括自动代理和人中的至少一种。
17.根据权利要求15所述的非暂时性计算机可读介质，其中，远程观看器的所述感兴趣区域的映射包括针对所述远程用户中的每一个的被映射到照明装置的偏航值、俯仰值和视场值。
18.根据权利要求15所述的非暂时性计算机可读介质，其中，照明装置包括视觉指示器灯的堆叠，并且所述视觉指示器灯的堆叠被嵌入在被配置为容纳所述360相机的冠部中。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，视觉输出包括照明装置的亮度、尺寸和颜色中的至少一个，所述视觉输出指示所述远程用户的观看方向或者数量，或者指示所述远程用户中的一个或更多个加入、离开、讲话和同步到由所述一个或更多个本地用户确定的视口。
20.根据权利要求15所述的非暂时性计算机可读介质，其中，所述远程用户的运动由与所述运动相对应的所述360相机周围的照明装置的亮度和运动表示，并且所述远程用户的所述运动包括摇移、倾斜和变焦中的一个。
CN201911322423.4A 2018-12-21 2019-12-20 为超宽和360相机提供凝视和感知的系统和方法 Active CN111355883B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/230,669 US10887514B2 (en) 2018-12-21 2018-12-21 System and method of providing gaze and awareness for ultra wide and 360 cameras
US16/230,669 2018-12-21

Publications (2)

Publication Number Publication Date
CN111355883A true CN111355883A (zh) 2020-06-30
CN111355883B CN111355883B (zh) 2023-06-13

Family

ID=71097983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911322423.4A Active CN111355883B (zh) 2018-12-21 2019-12-20 为超宽和360相机提供凝视和感知的系统和方法

Country Status (3)

Country Link
US (1) US10887514B2 (zh)
JP (1) JP7472483B2 (zh)
CN (1) CN111355883B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100091088A1 (en) * 2006-12-22 2010-04-15 France Telecom Device for a videoconference communication and associated communication method
US20110096137A1 (en) * 2009-10-27 2011-04-28 Mary Baker Audiovisual Feedback To Users Of Video Conferencing Applications
US20120306992A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Techniques to provide fixed video conference feeds of remote attendees with attendee information
US20130188007A1 (en) * 2012-01-19 2013-07-25 Microsoft Corporation Remote participant placement on a unit in a conference room
US20130342638A1 (en) * 2009-11-12 2013-12-26 Arun Sobti & Associates Llc Apparatus and Method for Integrating Computing Devices
US20160050245A1 (en) * 2014-08-18 2016-02-18 Cisco Technology, Inc. Region on Interest Selection
CN106134176A (zh) * 2014-04-03 2016-11-16 高通股份有限公司 用于多焦点成像的系统和方法
WO2017065935A1 (en) * 2015-10-15 2017-04-20 Microsoft Technology Licensing, Llc Methods and apparatuses for controlling video content displayed to a viewer
CN106797448A (zh) * 2014-10-02 2017-05-31 英特尔公司 交互式视频会议
US20180077356A1 (en) * 2016-09-15 2018-03-15 Project Ray Ltd. System and method for remotely assisted camera orientation
US10009568B1 (en) * 2017-04-21 2018-06-26 International Business Machines Corporation Displaying the simulated gazes of multiple remote participants to participants collocated in a meeting space
US10148912B1 (en) * 2017-06-26 2018-12-04 Amazon Technologies, Inc. User interface for communications systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3823219C1 (zh) * 1988-07-08 1989-05-18 Telenorma Telefonbau Und Normalzeit Gmbh, 6000 Frankfurt, De
US5443076A (en) * 1992-05-22 1995-08-22 Bau; Marcel Means for enhancing the productivity of video telecommunication systems
JP3817020B2 (ja) * 1997-05-23 2006-08-30 ▲舘▼ ▲すすむ▼ 仮想空間における画像生成方法及び装置並びに撮像装置
JP2005086365A (ja) * 2003-09-05 2005-03-31 Sony Corp 通話装置、会議装置および撮像条件調整方法
US9258394B2 (en) * 2009-11-12 2016-02-09 Arun Sobti & Associates, Llc Apparatus and method for integrating computing devices
US9286898B2 (en) * 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound
US9398250B2 (en) * 2014-01-06 2016-07-19 Arun Sobti & Associates, Llc System and apparatus for smart devices based conferencing
JP7189406B2 (ja) 2017-12-15 2022-12-14 株式会社電通国際情報サービス コミュニケーション装置及び遠隔コミュニケーションシステム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100091088A1 (en) * 2006-12-22 2010-04-15 France Telecom Device for a videoconference communication and associated communication method
US20110096137A1 (en) * 2009-10-27 2011-04-28 Mary Baker Audiovisual Feedback To Users Of Video Conferencing Applications
US20130342638A1 (en) * 2009-11-12 2013-12-26 Arun Sobti & Associates Llc Apparatus and Method for Integrating Computing Devices
US20120306992A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Techniques to provide fixed video conference feeds of remote attendees with attendee information
US20130188007A1 (en) * 2012-01-19 2013-07-25 Microsoft Corporation Remote participant placement on a unit in a conference room
CN106134176A (zh) * 2014-04-03 2016-11-16 高通股份有限公司 用于多焦点成像的系统和方法
US20160050245A1 (en) * 2014-08-18 2016-02-18 Cisco Technology, Inc. Region on Interest Selection
CN106797448A (zh) * 2014-10-02 2017-05-31 英特尔公司 交互式视频会议
WO2017065935A1 (en) * 2015-10-15 2017-04-20 Microsoft Technology Licensing, Llc Methods and apparatuses for controlling video content displayed to a viewer
US20170111595A1 (en) * 2015-10-15 2017-04-20 Microsoft Technology Licensing, Llc Methods and apparatuses for controlling video content displayed to a viewer
US20180077356A1 (en) * 2016-09-15 2018-03-15 Project Ray Ltd. System and method for remotely assisted camera orientation
US10009568B1 (en) * 2017-04-21 2018-06-26 International Business Machines Corporation Displaying the simulated gazes of multiple remote participants to participants collocated in a meeting space
US10148912B1 (en) * 2017-06-26 2018-12-04 Amazon Technologies, Inc. User interface for communications systems

Also Published As

Publication number Publication date
CN111355883B (zh) 2023-06-13
US10887514B2 (en) 2021-01-05
JP2020102845A (ja) 2020-07-02
US20200204731A1 (en) 2020-06-25
JP7472483B2 (ja) 2024-04-23

Similar Documents

Publication Publication Date Title
US10880582B2 (en) Three-dimensional telepresence system
US20230245395A1 (en) Re-creation of virtual environment through a video call
US10440322B2 (en) Automated configuration of behavior of a telepresence system based on spatial detection of telepresence components
US9143724B2 (en) Telepresence portal system
CN102685440B (zh) 显示信息的自动选择及切换
US20190180509A1 (en) Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
CN105306868B (zh) 视频会议系统及方法
US10356393B1 (en) High resolution 3D content
KR20160091316A (ko) 물리적 위치들 간 비디오 대화
US9830739B2 (en) Automultiscopic display with viewpoint tracking and scalability for multiple views
US20180124374A1 (en) System and Method for Reducing System Requirements for a Virtual Reality 360 Display
US9848168B2 (en) Method, synthesizing device, and system for implementing video conference
EP3465631B1 (en) Capturing and rendering information involving a virtual environment
US10778891B2 (en) Panoramic portals for connecting remote spaces
CN111355883B (zh) 为超宽和360相机提供凝视和感知的系统和方法
US11212485B2 (en) Transparency system for commonplace camera
CN114631323A (zh) 区划适应性视频生成
JP2004289779A (ja) 移動体撮像方法、移動体撮像システム
CN116670722A (zh) 增强现实协作系统
WO2022014441A1 (ja) 表示装置、表示方法、及びプログラム
US20210258503A1 (en) Systems and methods for tracking a viewing area of a camera device
KR20150076637A (ko) 지능형 프레젠테이션 장치 및 방법과 발표자 단말

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant