CN110178368A - 基于所接收的信息的视频变焦控制 - Google Patents

基于所接收的信息的视频变焦控制 Download PDF

Info

Publication number
CN110178368A
CN110178368A CN201780073375.2A CN201780073375A CN110178368A CN 110178368 A CN110178368 A CN 110178368A CN 201780073375 A CN201780073375 A CN 201780073375A CN 110178368 A CN110178368 A CN 110178368A
Authority
CN
China
Prior art keywords
information
boundary
marker
collaboration region
user collaboration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780073375.2A
Other languages
English (en)
Other versions
CN110178368B (zh
Inventor
H·王
K·E·比格斯
C·J·斯坦西尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN110178368A publication Critical patent/CN110178368A/zh
Application granted granted Critical
Publication of CN110178368B publication Critical patent/CN110178368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在一些示例中，响应于来自被布置成指示物理用户协作区域的边界的标记器的光而由光学传感器感测信息，以在视频会议会话期间接收用户输入标记，其中标记器与物理用户协作区域有差别。基于所接收的信息，确定物理用户协作区域的边界。基于所确定的边界，在视频会议会话期间控制到物理用户协作区域中的视频变焦。

Description

基于所接收的信息的视频变焦控制
背景技术
可以在位于不同位置处的参与者间形成视频会议会话，所述参与者可以在一个城市内或者跨不同的城市、州或国家或甚至在办公室空间或校园的不同房间中的不同位置处地理上分散开。在视频会议会话中，视频会议装备位于每个位置处，其中视频会议装备包括用于捕获每个位置处的(一个或多个)参与者的视频的相机，以及用于显示在一个远程位置(或多个远程位置)处的(一个或多个)参与者的视频的显示设备。
附图说明
参考以下附图描述了本公开的一些实现。
图1是根据一些示例的视频会议布置的框图，在该视频会议布置中可以在多个位置处的参与者间建立视频会议会话。
图2是根据一些示例的过程的流程图。
图3图示了根据另外的示例的视频会议会话的位置处的示例布置。
图4是根据可替代示例的过程的流程图。
图5是根据一些示例的系统的框图。
图6是根据一些示例的存储机器可读指令的存储介质的框图。
具体实施方式
在本公开中，除非上下文另有明确指示，否则措辞“一”、“一个”或“该”的使用意图也包括复数形式。此外，措辞“包括”、“包括有”、“包含”、“含有”、“具有”或“带有”在本公开中使用时，指定所述元素的存在，但不排除其他元素的存在或添加。
在视频会议会话期间，视频会议会话的各个位置处的相机通常聚焦于在各个位置处的视频会议会话的人类参与者。在一些情况下，第一位置处的参与者可能希望在物理用户协作区域上呈现信息，所述物理用户协作区域诸如白板、粉笔板、纸张或其中用户可以诸如通过使用笔、标记器等输入标记的任何其他物理区域。在一些情况下，物理用户协作区域可以是数字板或触敏显示设备，其中用户可以使用数字笔、触笔、用户的手指等来在数字板或触敏显示设备上做出标记。
对于远程参与者(在远离第一位置的位置处)可能难以查看在第一位置处的物理用户协作区域上的内容。在一些示例中，由第一位置处的本地参与者执行手动干预以物理地移动(例如，平移和倾斜)在第一位置处的相机以聚焦于物理用户协作区域，并且手动地将相机变焦到物理用户协作区域中。然而，一旦调整第一位置处的相机使得其聚焦于第一位置处的物理用户协作区域且变焦到第一位置处的物理用户协作区域中，相机可能不会捕获第一位置处的(一个或多个)本地参与者，使得(一个或多个)远程参与者将不再能够查看(一个或多个)本地参与者。
根据本公开的一些实现，提供自动化技术或机制以允许系统在视频会议会话期间自动标识在第一位置处的物理用户协作区域的边界，并在视频会议会话期间变焦到物理用户协作区域中。物理用户协作区域的视频可以显示为单独的视频馈送(附加于第一位置处的(一个或多个)参与者的视频馈送)。在这类示例中，可以由另一位置处的视频会议装备同时显示第一位置处的物理用户协作区域的视频和第一位置处的(一个或多个)参与者的视频。可替代地，在不同时间显示物理用户协作区域的视频和(一个或多个)参与者的视频，其中远程参与者选择在任何给定时间显示哪个视频。
图1示出了包括视频会议系统102的示例布置，视频会议系统102支持在多个位置(图1中示出的位置1和位置2)处的参与者之间的视频会议。视频会议系统102可以实现为执行指令以支持视频会议会话的计算机或计算机的分布式布置。视频会议会话可以指代通信会话，其中在通信会话的端点之间或端点间通过网络交换在通信会话的端点处捕获的视频图像和其他媒体(例如，音频、文本等)。
视频会议系统102通过网络耦合到各个位置处的视频会议装备，其中每个位置处的视频会议装备可以包括用于显示远程位置的视频的显示设备，以及用于捕获本地位置的视频的相机。
在图1的示例中，假设视频会议会话涉及在两个位置(位置1和位置2)处的参与者。在其他示例中，视频会议会话可以涉及在多于两个位置处的参与者。位置1处的视频会议装备包括显示设备104和相机106，相机106可以捕获位置1处的人类参与者108的视频。在位置2处，视频会议装备包括显示设备110和相机112，相机112用于捕获位置2处的人类参与者114的视频。位置1处的显示设备104能够显示在位置2处的参与者114的视频126(由位置2处的相机112所捕获)。位置2处的显示设备110能够显示在位置1处的参与者108的视频128(由位置1处的相机106所捕获)。
应指出，每个位置处的视频会议装备还可以包括可以执行对各个显示设备处的视频的显示控制并与视频会议系统102通信的一个计算机(或多个计算机)。位置1处的计算机130通信地耦合到显示设备104和相机106，并且位置2处的计算机132通信地耦合到相机112、显示设备110和(下面讨论的)光学传感器116。
根据本公开的一些实现，位置2处的视频会议装备还包括光学传感器116，光学传感器116能够感测来自在相对于物理用户协作区域120的指定位置处的标记器118的光，在物理用户协作区域120中用户可以诸如在视频会议会话期间输入标记121。标记器118可以包括光发射器或光反射器。光发射器包括可以生成光的光源。光反射器反射从另一个光源产生的光。
标记器118与物理用户协作区域120有差别。例如，标记器118在物理上与物理用户协作区域120分离，尽管标记器118可以附接到物理用户协作区域120。更一般地，如果标记器118不是物理用户协作区域120的部分，则标记器118与物理用户协作区域120有差别。例如，标记器118未被写入在物理用户协作区域120上或印刷到物理用户协作区域120上。
虽然在图1中仅描绘了一个标记器118，但应指出，在另外的示例中，可以存在多于一个标记器118。例如，在其中物理用户协作区域120在形状方面大体为矩形的示例中，可以在物理用户协作区域120的四个角落处提供四个标记器。对于其他形状的物理用户协作区域，可以沿着这类其他物理用户协作区域的边界在各个不同位置处部署不同数量的标记器。
在一些示例中，捕获来自标记器118的光的光学传感器116可以包括红外(IR)光学传感器以捕获IR光。在其他示例中，光学传感器116可以捕获可见光谱中的光。虽然图1将光学传感器116示出为与位置2处的相机112分离，但应指出，在其他示例中，相机112可以执行(一个或多个)参与者和其他对象的视频捕获以及检测标记器118两者。
响应于来自标记器118的光，由光学传感器116获取的测量信息由光学传感器116提供给用户协作区域聚焦模块122，用户协作区域聚焦模块122包括在视频会议系统102中可执行的机器可读指令。由用户协作区域聚焦模块122从光学传感器116接收的信息可以指示位置2处的物理用户协作区域120的边界。
基于物理用户协作区域120的所指示的边界，用户协作区域聚焦模块122能够控制相机112以执行到物理用户协作区域120中的视频变焦。视频变焦涉及相机聚焦到包括物理用户协作区域120的区中，使得包括物理用户协作区域120的区的视频被放大。物理用户协作区域120的经变焦的视频由视频会议系统102传送到位置1处的显示设备104，显示设备104显示物理用户协作区域120的经变焦的视频124。
在图1的示例中，假设显示设备104能够同时显示位置2处的参与者114的视频126和物理用户协作区域120的经变焦的视频124两者。在其他示例中，位置1处的参与者108可以选择在任何给定时间显示位置2处的参与者114的视频126和物理用户协作区域120的经变焦的视频124中的哪个。
位置2处的参与者114的视频126可以由显示设备104在第一窗口中显示，并且物理用户协作区域120的视频124由显示设备104在第二窗口中显示。可以同时显示第一和第二窗口，或者可以基于用户或程序选择一次显示一个窗口。
图2是可以由图1的用户协作区域聚焦模块122执行的示例过程的流程图。在图2中，该过程包括接收(在202处)响应于来自标记器118的光而由光学传感器116感测的信息，标记器118被布置成指示物理用户协作区域120的边界。如果标记器118位于物理用户协作区域120的边界上或附近(在某个指定距离内)的位置处，则标记器118被布置成指示物理用户协作区域120的边界。
该过程还包括基于所接收的信息确定(在204处)物理用户协作区域120的边界。在其中仅存在一个标记器118的示例中，用户协作区域聚焦模块122能够使用关于物理用户协作区域120的形状(例如，矩形形状、圆形形状、椭圆形形状、三角形形状等)的信息，来基于标记器118的位置确定物理用户协作区域120在何处。关于物理用户协作区域120的形状的信息可以由用户、管理员、通过程序等录入。
在其中存在多个标记器118的示例中，用户协作区域聚焦模块122能够根据多个标记器118的位置确定物理用户协作区域120的边界。例如，如果物理用户协作区域120在形状方面大体为矩形，并且在物理用户协作区域120的角落处存在四个标记器118，则用户协作区域聚焦模块122能够基于所确定的角落来确定物理用户协作区域120的边界。类似地，如果物理用户协作区域120在形状方面大体为三角形，并且在三角形的角落处存在三个标记器118，则用户协作区域聚焦模块122可以基于所确定的角落来确定边界。
此外，该过程包括基于所确定的边界来控制(在206处)到物理用户协作区域120中的视频变焦，使得远程参与者可以更容易地看到物理用户协作区域120的内容。控制到物理用户协作区域120中的视频变焦涉及控制位置2处的相机112(或不同的相机)聚焦到包括物理用户协作区域120的区中，使得物理用户协作区域120的放大视图在位置1处是可能的。在一些情况下，控制到物理用户协作区域120中的视频变焦还可以涉及平移和倾斜相机112(或不同的相机)以指向朝向物理用户协作区域120的方向。
图3是示出视频会议会话的位置的示意图，其中该位置包括在桌子304处的参与者302。此外，图3中示出的位置包括物理用户协作区域306，诸如在其上用户可以使用笔输入标记的白板。在图3中，在形状方面大体为矩形的物理用户协作区域306的角落处提供四个标记器308。为了在不同标记器308之间进行区分，来自不同标记器308的光信号可以编码不同的信息。在其中标记器308是光发射器的示例中，每个光发射器可以传输包含编码数字代码的光信号，其中数字代码可以被幅度调制到光信号上、相位调制到光信号上等等。包含在由不同光发射器发射的光信号中的数字代码可以彼此不同。
在其中标记器308是光反射器的另外示例中，不同的光反射器可以在光反射器的反射表面上包括不同的图案，使得从不同的光反射器反射的光信号将提供反射信号的不同图案。反射信号的不同图案提供允许彼此区分标记器308的不同信息。
用户协作区域聚焦模块122能够检测编码到由光学传感器310所接收并传送到用户协作区域聚焦模块122的光信号中的不同信息。由光学传感器310捕获的标记器308的图像包括标记器308的子图像。用户协作区域聚焦模块122能够使用不同的编码信息来在不同的标记器308之间进行区分。基于在不同标记器之间进行区分，用户协作区域聚焦模块122能够确定物理用户协作区域306的边界。通过能够在不同标记器之间进行区分，用户协作区域聚焦模块122能够确定第一标记器对应于物理用户协作区域306的边界上的第一点，第二标记器对应于物理用户协作区域306的边界上的第二点，以此类推。根据边界上的这些点，用户协作区域聚焦模块122能够导出物理用户协作区域306的边界。
虽然图1和图3仅示出了用于感测来自(一个或多个)标记器的光的一个光学传感器116或310，但应指出，在其他示例中，可以存在用于感测来自(一个或多个)标记器的光的多个光学传感器116或310。
在一些示例中，在没有任何用户输入来触发物理用户协作区域120的边界确定的情况下来执行物理用户协作区域120的边界确定。换句话说，用户协作区域聚焦模块122能够确定物理用户协作区域120的边界，而用户不必诸如通过激活按钮、输入命令等来手动参与确定该边界的过程。
在其他示例中，用户可以诸如通过在物理用户协作区域120前面挥动数字笔或其他输入设备、通过输入命令、通过激活按钮等等，来触发物理用户协作区域120的边界确定。
附加于分别对图1和3的标记器118或标记器308的使用，用户协作区域聚焦模块122可以附加地执行由相机所捕获的物理用户协作区域120或306的图像的图像处理，以标识对应于物理用户协作区域120或306的表面的纹理。例如，用户协作区域聚焦模块122可以寻找光滑的并且代表在其上可以做出用户标记的表面的区域，诸如纸张表面、塑料表面、粉笔板表面等等。
应指出，在用户协作区域聚焦模块122已经确定了物理用户协作区域(120或306)的边界之后，可以将区域120或306的位置和边界保存到简档中。“简档”可以指代可以诸如由用户协作区域聚焦模块122存储的任何信息。在物理用户协作区域的位置和边界被保存到简档中之后，可以移除标记器118或标记器308，这是因为用户协作区域聚焦模块122可以使用所保存的简档来确定物理用户协作区域120或306的位置和边界，以用于包括其中物理用户协作区域120或306所位于的位置的后续视频会议会话。
图4是根据另外的实现的示例过程的流程图。在图4中，未使用诸如图1的标记器118或图3的标记器308之类的标记器。而是，可以使用用户输入信息来确定物理用户协作区域的位置和边界，而不是依赖于发射或反射光的标记器。例如，可以由用户协作区域聚焦模块122来执行图4的过程。
图4的过程包括接收(在402处)与物理用户协作区域的边界中的位置相关的用户输入信息，以在视频会议会话期间接收用户输入标记。可以使用角度信息以及对应于物理用户协作区域的位置的坐标来指示物理用户协作区域的位置和边界，所述角度信息指定相机和物理用户协作区域之间的角度。用户输入信息可以指示在视频会议会话期间捕获视频的相机的视场内的物理用户协作区域的位置和边界。
图4的过程还包括在视频会议会话期间，基于由用户输入信息指示的位置和边界，控制(在404处)到物理用户协作区域中的视频变焦。
图5是根据一些示例的系统500的框图。系统500可以实现为计算机或计算机布置。系统500包括处理器502(或多个处理器)，以及存储机器可读指令的非暂时性机器可读或计算机可读存储介质，所述机器可读指令在处理器502上可执行以执行各种任务。处理器可以包括微处理器、多核微处理器的核、微控制器、可编程集成电路、可编程门阵列或另一硬件处理电路。
在处理器上可执行的指令可以指代在一个处理器上或在多个处理器上可执行的指令。机器可读指令包括光学传感器信息接收指令506，用于接收响应于来自标记器的光而由光学传感器感测的信息，该标记器被布置成指示物理用户协作区域的边界，其中标记器与物理用户协作区域有差别。机器可读指令还包括边界确定指令508，用于基于所接收的信息确定物理用户协作区域的边界。此外，机器可读指令包括视频变焦控制指令510，用于在视频会议会话期间基于所确定的边界控制到物理用户协作区域中的视频变焦。
图6是存储机器可读指令的非暂时性机器可读或计算机可读存储介质600的框图，所述机器可读指令在执行时引起系统执行各种任务。在涉及多个位置处的参与者的视频会议会话期间执行图6的机器可读指令。图6的机器可读指令包括光学传感器信息接收指令602，用于接收由第一位置处的光学传感器感测的信息，其中所接收的信息响应于来自标记器的光，该标记器被布置成指示物理用户协作区域的边界。图6的机器可读指令还包括边界确定指令604，用于基于所确定的边界而在由多个位置中的第二位置处的视频会议装备显示的视频中控制到物理用户协作区域中的视频变焦。
存储介质504或600可以包括以下各项中的任何一个或某种组合：半导体存储器设备，诸如动态或静态随机存取存储器(DRAM或SRAM)、可擦除且可编程只读存储器(EPROM)、电可擦除且可编程只读存储器(EEPROM)和闪速存储器；磁盘，诸如固定盘、软盘和可移除盘；包括磁带的另一磁介质；光学介质，诸如致密盘(CD)或数字视频盘(DVD)；或另一类型的存储设备。应指出，上面讨论的指令可以在一个计算机可读或机器可读存储介质上被提供，或者可替代地，可以在分布在具有可能的多个节点的大型系统中的多个计算机可读或机器可读存储介质上被提供。一种或多种这类计算机可读或机器可读存储介质被认为是物品(或制品)的一部分。物品或制品可以指代任何制造的单个组件或多个组件。一种或多种存储介质可以位于运行机器可读指令的机器中，或者位于远程站点处，从所述远程站点可以通过网络下载机器可读指令以供执行。
在前述描述中，阐述了许多细节以提供对本文公开的主题的理解。然而，可以在没有这些细节中的一些细节的情况下实践实现。其他实现可以包括根据上面讨论的细节的修改和变型。意图所附权利要求覆盖这类修改和变型。
权利要求书(按照条约第19条的修改)
1.一种系统，包括：
处理器；以及
存储指令的非暂时性存储介质，所述指令在处理器上可执行以：
接收响应于来自被布置成指示物理用户协作区域的边界的各个不同位置的多个标记器的光而由光学传感器感测的信息，以在视频会议会话期间接收用户输入标记，其中所述多个标记器与物理用户协作区域有差别；
基于所接收的信息确定物理用户协作区域的边界；以及
在视频会议会话期间，基于所确定的边界控制到物理用户协作区域中的视频变焦。
2.根据权利要求1所述的系统，其中接收所述信息包括接收响应于来自所述多个标记器的光而由多个光学传感器感测的信息。
3.根据权利要求1所述的系统，其中来自所述多个标记器中的第一标记器的第一光被编码有第一信息，并且来自所述多个标记器中的第二标记器的第二光被编码有不同于第一信息的第二信息，并且其中所述指令在处理器上可执行以：
基于第一信息和第二信息在所述多个标记器之间进行区分，
其中边界的确定基于在所述多个标记器之间进行区分。
4.根据权利要求3所述的系统，其中所述多个标记器包括传输不同数字代码的多个光发射器，不同数字代码包括第一信息和第二信息，
其中，在所述多个标记器之间进行区分基于不同数字代码。
5.根据权利要求1所述的系统，其中所述多个标记器包括多个光发射器，并且所接收的信息对应于由光学传感器所感测的从所述多个光发射器发射的光。
6.根据权利要求1所述的系统，其中所述多个标记器包括多个光反射器，并且所接收的信息对应于由光学传感器所感测的来自所述多个光反射器的反射光。
7.根据权利要求1所述的系统，其中所述指令在处理器上可执行，以基于所接收的信息确定物理用户协作区域的边界，而不用任何用户输入来触发物理用户协作区域的边界确定。
8.根据权利要求1所述的系统，其中所述指令在处理器上可执行，以进一步基于分析由相机捕获的物理用户协作区域的图像中的物理用户协作区域的纹理来确定物理用户协作区域的边界。
9.一种方法，包括：
由包括处理器的系统接收响应于来自被布置成指示物理用户协作区域的边界的各个不同位置的多个标记器的光而由光学传感器感测的信息，以在视频会议会话期间接收用户输入标记；以及
在视频会议会话期间，由所述系统基于根据所接收的信息确定的边界来控制到物理用户协作区域中的视频变焦。
10.根据权利要求9所述的方法，其中所述多个标记器包括多个光发射器。
11.根据权利要求9所述的方法，其中来自所述多个标记器中的第一标记器的第一光被编码有第一信息，并且来自所述多个标记器中的第二标记器的第二光被编码有不同于第一信息的第二信息，所述方法还包括：
由所述系统基于第一信息和第二信息而在所述多个标记器之间进行区分。
12.一种存储指令的非暂时性机器可读存储介质，所述指令在执行时引起系统：在涉及多个位置处的参与者的视频会议会话期间：
接收由所述多个位置中的第一位置处的光学传感器感测的信息，所接收的信息响应于来自被布置成指示物理用户协作区域的边界的各个不同点的多个标记器的光以接收第一位置处的用户输入标记，其中所述多个标记器与物理用户协作区域有差别；
基于所接收的信息确定物理用户协作区域的边界；以及
基于所确定的边界，在由所述多个位置中的第二位置处的视频会议装备显示的视频中控制到物理用户协作区域中的视频变焦。
13.根据权利要求12所述的非暂时性机器可读存储介质，其中所接收的信息响应于来自包括光发射器的所述多个标记器的光。
14.根据权利要求13所述的非暂时性机器可读存储介质，其中光发射器传输被编码有不同信息的光信号，并且其中所述指令在执行时引起所述系统：
基于在传输的光信号中编码的不同信息来确定边界。
15.根据权利要求12所述的非暂时性机器可读存储介质，其中所述指令在执行时引起所述系统：
将与物理用户协作区域的位置和边界相关的信息保存到简档中；以及
对于涉及包括第一位置的位置处的参与者的后续视频会议会话，访问所述简档以确定第一位置处的物理用户协作区域的位置和边界。

Claims (15)

1.一种系统，包括：
处理器；以及
存储指令的非暂时性存储介质，所述指令在处理器上可执行以：
接收响应于来自被布置成指示物理用户协作区域的边界的标记器的光而由光学传感器感测的信息，以在视频会议会话期间接收用户输入标记，其中标记器与物理用户协作区域有差别；
基于所接收的信息确定物理用户协作区域的边界；以及
在视频会议会话期间，基于所确定的边界，控制到物理用户协作区域中的视频变焦。
2.根据权利要求1所述的系统，其中接收所述信息包括接收响应于来自标记器的光而由多个光学传感器感测的信息。
3.根据权利要求1所述的系统，其中接收由光学传感器感测的信息包括接收响应于来自多个标记器的光而由光学传感器感测的信息，所述多个标记器被定位以指定物理用户协作区域的边界。
4.根据权利要求3所述的系统，其中来自所述多个标记器中的第一标记器的第一光被编码有第一信息，并且来自所述多个标记器中的第二标记器的第二光被编码有不同于第一信息的第二信息，并且其中所述指令在处理器上可执行以：
基于第一信息和第二信息在所述多个标记器之间进行区分，
其中边界的确定基于在所述多个标记器之间进行区分。
5.根据权利要求4所述的系统，其中所述多个标记器包括传输不同数字代码的多个光发射器，不同数字代码包括第一信息和第二信息，
其中，在所述多个标记器之间进行区分基于不同数字代码。
6.根据权利要求1所述的系统，其中标记器包括光发射器，并且所接收的信息对应于由光学传感器所感测的从光发射器发射的光。
7.根据权利要求1所述的系统，其中标记器包括光反射器，并且所接收的信息对应于由光学传感器所感测的来自光反射器的反射光。
8.根据权利要求1所述的系统，其中所述指令在处理器上可执行，以基于所接收的信息确定物理用户协作区域的边界，而不用任何用户输入来触发物理用户协作区域的边界确定。
9.根据权利要求1所述的系统，其中所述指令在处理器上可执行，以进一步基于分析由相机捕获的物理用户协作区域的图像中的物理用户协作区域的纹理来确定物理用户协作区域的边界。
10.一种方法，包括：
由包括处理器的系统接收与物理用户协作区域的位置和边界相关的用户输入信息，以在视频会议会话期间接收用户输入标记；以及
在视频会议会话期间，由所述系统基于用户输入信息指示的位置和边界来控制到物理用户协作区域中的视频变焦。
11.根据权利要求10所述的方法，其中所接收的用户输入信息指示在视频会议会话期间捕获视频的相机的视场内的物理用户协作区域的位置和边界。
12.一种存储指令的非暂时性机器可读存储介质，所述指令在执行时引起系统：
在涉及多个位置处的参与者的视频会议会话期间：
接收由所述多个位置中的第一位置处的光学传感器感测的信息，所接收的信息响应于来自被布置成指示物理用户协作区域的边界的标记器的光以接收第一位置处的用户输入标记，其中标记器与物理用户协作区域有差别；
基于所接收的信息确定物理用户协作区域的边界；以及
基于所确定的边界，在由所述多个位置中的第二位置处的视频会议装备显示的视频中控制到物理用户协作区域中的视频变焦。
13.根据权利要求12所述的非暂时性机器可读存储介质，其中所接收的信息响应于来自在沿着物理用户协作区域的边界的不同点处布置的多个标记器的光。
14.根据权利要求13所述的非暂时性机器可读存储介质，其中所述多个标记器包括传输被编码有不同信息的光信号的多个光发射器，并且其中所述指令在执行时引起所述系统：
基于在传输的光信号中编码的不同信息来确定边界。
15.根据权利要求12所述的非暂时性机器可读存储介质，其中所述指令在执行时引起所述系统：
将与物理用户协作区域的位置和边界相关的信息保存到简档中；以及
对于涉及包括第一位置的位置处的参与者的后续视频会议会话，访问所述简档以确定第一位置处的物理用户协作区域的位置和边界。
CN201780073375.2A 2017-01-31 2017-01-31 基于所接收的信息的视频变焦控制 Active CN110178368B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/015707 WO2018143909A1 (en) 2017-01-31 2017-01-31 Video zoom controls based on received information

Publications (2)

Publication Number Publication Date
CN110178368A true CN110178368A (zh) 2019-08-27
CN110178368B CN110178368B (zh) 2021-12-14

Family

ID=63040957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780073375.2A Active CN110178368B (zh) 2017-01-31 2017-01-31 基于所接收的信息的视频变焦控制

Country Status (4)

Country Link
US (1) US11032480B2 (zh)
EP (1) EP3529982B1 (zh)
CN (1) CN110178368B (zh)
WO (1) WO2018143909A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652460B2 (en) * 2017-03-30 2020-05-12 Canon Kabushiki Kaisha Image-capturing apparatus and image-capturing control method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060092178A1 (en) * 2004-10-29 2006-05-04 Tanguay Donald O Jr Method and system for communicating through shared media
US20100085385A1 (en) * 2008-10-03 2010-04-08 Canon Kabushiki Kaisha Image processing apparatus and method for the same
CN102244807A (zh) * 2010-06-02 2011-11-16 微软公司 自适应视频变焦
CN104364825A (zh) * 2012-04-09 2015-02-18 华为技术有限公司 增强现实辅助视频会议的视觉调节
CN104798104A (zh) * 2012-12-13 2015-07-22 英特尔公司 使用标记区域对视频流的手势预处理
CN104869304A (zh) * 2014-02-21 2015-08-26 三星电子株式会社 显示对焦的方法和应用该方法的电子设备
US20150262013A1 (en) * 2014-03-17 2015-09-17 Sony Corporation Image processing apparatus, image processing method and program
CN106127203A (zh) * 2016-06-29 2016-11-16 孟祥雨 一种对目标物定位和追踪的装置及图像识别的方法
CN106165406A (zh) * 2014-04-10 2016-11-23 思科技术公司 视频会议端点中最佳视图分幅的面部检测和运动检测的使用

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816626B1 (en) 2001-04-27 2004-11-09 Cisco Technology, Inc. Bandwidth conserving near-end picture-in-picture videotelephony
US20030169339A1 (en) * 2001-10-01 2003-09-11 Digeo. Inc. System and method for tracking an object during video communication
US7657117B2 (en) 2004-12-20 2010-02-02 Palo Alto Research Center Incorporated Method and apparatus for calibrating a camera-based whiteboard scanner
US8237769B2 (en) * 2007-09-21 2012-08-07 Motorola Mobility Llc System and method of videotelephony with detection of a visual token in the videotelephony image for electronic control of the field of view
US8502857B2 (en) 2008-11-21 2013-08-06 Polycom, Inc. System and method for combining a plurality of video stream generated in a videoconference
NO332204B1 (no) 2009-12-16 2012-07-30 Cisco Systems Int Sarl Fremgangsmate og anordning for automatisk kamerastyring i et videokonferanseendepunkt
US8248448B2 (en) * 2010-05-18 2012-08-21 Polycom, Inc. Automatic camera framing for videoconferencing
WO2012068675A1 (en) * 2010-11-25 2012-05-31 Lester Kirkland An imaging robot
US9716858B2 (en) * 2011-03-07 2017-07-25 Ricoh Company, Ltd. Automated selection and switching of displayed information
US9086798B2 (en) * 2011-03-07 2015-07-21 Ricoh Company, Ltd. Associating information on a whiteboard with a user
US9154737B2 (en) 2012-11-02 2015-10-06 Cisco Technology, Inc. User-defined content magnification and multi-point video conference system, method and logic
WO2014175919A1 (en) 2013-04-26 2014-10-30 Intel IP Corporation Shared spectrum reassignment in a spectrum sharing context
US9710057B2 (en) * 2014-03-14 2017-07-18 Sony Interactive Entertainment Inc. Methods and systems including tracking a head mounted display (HMD) and calibrations for HMD headband adjustments
FR3007175B1 (fr) * 2013-06-13 2016-12-09 Solidanim Systemes de reperage de la position de la camera de tournage pour le tournage de films video
US20150033146A1 (en) 2013-07-25 2015-01-29 Cisco Technology, Inc. Automatic detection and magnification of focus region for content shared during an online meeting session
US9213903B1 (en) 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US9438858B1 (en) 2015-08-13 2016-09-06 Bandwidth.Com, Inc. Techniques for sharing image data remotely
US10403050B1 (en) * 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060092178A1 (en) * 2004-10-29 2006-05-04 Tanguay Donald O Jr Method and system for communicating through shared media
US20100085385A1 (en) * 2008-10-03 2010-04-08 Canon Kabushiki Kaisha Image processing apparatus and method for the same
CN102244807A (zh) * 2010-06-02 2011-11-16 微软公司 自适应视频变焦
CN104364825A (zh) * 2012-04-09 2015-02-18 华为技术有限公司 增强现实辅助视频会议的视觉调节
CN104798104A (zh) * 2012-12-13 2015-07-22 英特尔公司 使用标记区域对视频流的手势预处理
CN104869304A (zh) * 2014-02-21 2015-08-26 三星电子株式会社 显示对焦的方法和应用该方法的电子设备
US20150262013A1 (en) * 2014-03-17 2015-09-17 Sony Corporation Image processing apparatus, image processing method and program
CN106165406A (zh) * 2014-04-10 2016-11-23 思科技术公司 视频会议端点中最佳视图分幅的面部检测和运动检测的使用
CN106127203A (zh) * 2016-06-29 2016-11-16 孟祥雨 一种对目标物定位和追踪的装置及图像识别的方法

Also Published As

Publication number Publication date
US20190052812A1 (en) 2019-02-14
WO2018143909A1 (en) 2018-08-09
EP3529982B1 (en) 2023-10-11
EP3529982A1 (en) 2019-08-28
US11032480B2 (en) 2021-06-08
CN110178368B (zh) 2021-12-14
EP3529982A4 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
US10733801B2 (en) Markerless image analysis for augmented reality
US9767336B2 (en) Methods, computer program products, and systems for providing automated video tracking via radio frequency identification
US8634848B1 (en) Inter-device location determinations
CN102413300B (zh) 信息处理装置、信息处理系统和信息处理方法
US20180173393A1 (en) Apparatus and method for video zooming by selecting and tracking an image area
CN108106605A (zh) 基于上下文的深度传感器控制
TW201506687A (zh) 用以管理封閉區域之行動擴增實境
CN104427252A (zh) 用于合成图像的方法及其电子设备
Claus et al. Reliable automatic calibration of a marker-based position tracking system
CN110058705A (zh) 绘本辅助阅读方法、计算设备、点读侧设备与电子设备
Chen et al. Snaplink: Fast and accurate vision-based appliance control in large commercial buildings
JP6625734B2 (ja) 現実シーンの写真に仮想画像を重ね合わせるための方法及び装置、並びに携帯デバイス
US11694433B2 (en) Detection of projected infrared patterns using difference of Gaussian and blob identification
US9426416B2 (en) System and method for utilizing a surface for remote collaboration
US9336607B1 (en) Automatic identification of projection surfaces
KR101962543B1 (ko) 마커 인식 기반 증강현실 생성 시스템 및 방법
CN110178368A (zh) 基于所接收的信息的视频变焦控制
JP2007219814A (ja) 入力位置設定方法、入力位置設定装置、入力位置設定プログラムおよび情報入力システム
RU2602829C2 (ru) Оценка признаков управления от устройства дистанционного управления с камерой
JP2014102183A (ja) 画像処理装置および画像処理システム
RU2679200C1 (ru) Способ и система отображения данных с видеокамеры
CN112199339A (zh) 一种输电线路上红外热像图自动命名设备方法
US11600015B2 (en) Fiducial web for computer vision
JP2005310142A (ja) 照明スポット整列化
Khan et al. Optimality of black to white ratio and information complexity for robust marker recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant