CN1783998A - 用于记录的会议时间线的自动脸部提取 - Google Patents

用于记录的会议时间线的自动脸部提取 Download PDF

Info

Publication number
CN1783998A
CN1783998A CNA2005101185909A CN200510118590A CN1783998A CN 1783998 A CN1783998 A CN 1783998A CN A2005101185909 A CNA2005101185909 A CN A2005101185909A CN 200510118590 A CN200510118590 A CN 200510118590A CN 1783998 A CN1783998 A CN 1783998A
Authority
CN
China
Prior art keywords
spokesman
timeline
face image
face
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101185909A
Other languages
English (en)
Other versions
CN1783998B (zh
Inventor
R·G·卡特勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1783998A publication Critical patent/CN1783998A/zh
Application granted granted Critical
Publication of CN1783998B publication Critical patent/CN1783998B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Abstract

一次聚会或会议中的发言者的脸部被自动检测，对应于每个发言者的脸部图像储存在脸部数据库中。创建一条时间线在会议记录的回放中图形化地标识发言者的发言时间。示出脸部图像以标识与时间线相关联的每个发言者，取代了一般地在时间线中识别每个用户。

Description

用于记录的会议时间线的自动脸部提取
有关申请的交叉引用
本申请是于2002年6月21日提交的序号为10/177315，发明名称为“分布式会议的系统与方法(A System and Method for Distributed Meetings)”的美国专利申请的部分延续，该申请已转让给微软公司，本申请的受让人。申请人要求所述申请的申请日的优先权，该专利申请整体引用在此作为参考。
(1)技术领域
下文的说明一般地涉及视频图像处理。更具体地，下文的说明涉及提供一条索引的时间线用于视频回放。
(2)背景技术
包含多于一个发言者的场景的记录的视频的回放——如记录的会议的回放——通常是通过一条索引的时间线同期显示的。使用时间线，用户可以快速移至会议中的一个特定的时间通过操纵一个或多个时间线的控件。当视频包含多于一个发言者时，可以使用多条时间线其中每条时间线与一个特定的发言者相关联。每条时间线指示了对应的发言者何时发言。那样，用户可以导航至会议中某个特定发言者正在发言的部分。
这种多条时间线可以用一般的方法标上标签以识别每一个发言者，例如，“发言者1”、“发言者2”等。用于自动将时间线标记于具体的发言者姓名的现有技术是不准确的并且还可能需要一个用户的数据库以及用户的相关的声音样本和脸部样本，这可能会蒙受安全性与隐私的问题。
(3)附图说明
通过参考下文的具体的说明书，并结合附图，前述的方面与本发明的许多伴随的优势将变得更容易体会以及变得更好理解，其中：
图1是一幅方框图，描述了构成用于实现本发明的示例性系统的通用计算/摄像设备。
图2是一幅方框图，表述了一个示例性的全景摄像机和客户端设备。
图3是一个示例性的回放屏幕的示意图，带有一个全景图像和一条面部图像时间线。
图4是一个示例性的回放屏幕，带有一个全景图像和一条面部图像时间线。
图5是一个示例性的用于创建带有面部图像的时间线的方法的实施例的流程图。
图6是一个示例性的用于创建面部数据库的方法的实施例的流程图。
(4)具体实施方式
下文的描述涉及用于在多发言者环境中自动检测每个发言者的脸部并将一个或多个发言者的脸部图像与对应于该发言者的一部分时间线相关联的各种实施方式与实施例。这类特殊的标记对于一般标记的优势在于观看者可以更容易地确定哪一部分时间线对应于多个发言者中的某一个。
在下面的讨论中，将描述一个全景摄像机的例子，其中全景摄像机用于记录一个具有多于一个参与者和/或发言者的会议。虽然所描述全景摄像机包括多个摄像机，但下面的描述还是涉及到单个摄像机和具有两个或更多摄像头的多摄像头设备。
全景图像被输入至一个脸部跟踪器(FT)，该跟踪器在会议中检测并跟踪脸部。一个麦克风阵列被输入至一个声音源定位器(SSL)，该定位器根据声音检测发言者的位置。脸部追踪系统和声音源定位器的输出被输入至一个虚拟电影放映机以检测发言者的位置。
发言者通过一个发言者聚集模块被后置处理，该模块将发言者在时间上和在空间上聚集以更好地描绘具有两根或多条独立时间线的集合时间线。该(集合)时间线储存在一个时间线数据库中。创建一个脸部数据库为每一个发言者储存一张或多张照片，每个脸部的至少一张将用于与发言者相关联的时间线。
这里表述和声明的概念在下文中会非常详细的描述，有关于一个或多个适合的工作环境。下文描述的元件中的一些也描述于2002年6月21日提交的第10/177,315号，题为“分布式会议的系统和方法”(A System andMethod for Distributed Meetings)美国专利申请中。参考并合并于此。
示例性工作环境
图1是一幅方框图，描述了一个通用计算/摄像设备。图1示出了适用的计算系统环境100的例子。计算系统环境100仅仅是适用的计算环境的一个例子，并不打算暗示对本发明的使用范围或功能的任何限制。也不应将计算环境100解释成相对于示例性操作环境100中示出的组件的任一个或其组合具有任何依赖或要求。
本发明可以用各种其它通用或专用计算系统环境或配置来运行。适用于本发明使用的公知的计算系统、环境和/或配置的例子包括但不限于：个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子设备、网络PC、小型机、大型机、包括任何以上系统或设备的任一个的分布式计算环境等等。
本发明可以在诸如由计算机执行的程序模块等计算机可执行指令的通用上下文中描述。一般而言，程序模块包括完成特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。本发明还可以在分布式计算环境中实践，其中任务由通过通信网络链接的远程处理设备来完成。在分布式计算环境中，程序模块可以位于本地或远程计算机存储介质中，包括存储器存储设备。
参照图1，用于实现本发明的示例性系统包括计算机110形式的通用计算设备。计算机110的组件可包括但不限于：处理单元120、系统存储器130和将包括系统存储器的各种系统组件耦合到处理单元120的系统总线121。系统总线121可以是若干种总线结构的任何一种，包括存储器总线或存储器控件、外围总线、和使用多种总线体系结构的任何一种的局部总线。作为例子，而非限制，这种体系结构包括工业标准结构(ISA)总线、微通道结构(MCA)、增强型ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线、以及外围部件互连(PCI)总线(也称为Mezzanine总线)。
计算机110通常包括各种计算机可读介质。计算机可读介质可以是可以由计算机110访问的任何可用介质，包括易失性和非易失性介质、可移动和不可移动介质。作为例子，但非限制，计算机可读介质可包含计算机储存介质或通信介质。计算机储存介质包括以任何方法和技术实现来存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的易失性和非易失性、可移动和不可移动介质。计算机储存介质包括，但不限于：RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘储存或其它磁储存设备，或者能够用来存储所要求的信息并能够由计算机110访问的任何其它介质。通信介质通常在载波或其它传输机制等已调制数据信号中具体化计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息递送介质。术语“已调制数据信号”指其一个或多个特征以在信号中编码信息的方式而设置或改变的信号。作为例子，但非限制，通信介质包括有限介质，如有限网络或直接线路连接，以及无线介质，如声学、RF、红外和其它无线介质。以上各种组合也应该被包括在计算机可读介质的范围之内。
系统存储器130包括易失性和/或非易失性存储器形式的计算机储存介质，例如只读存储器(ROM)131和随机存取存储器(RAM)132。基本输入/输出系统133(BIOS)包含如在启动时帮助在计算机110中的元件之间传输信息的基本例程，通常储存在ROM 131中。RAM 132通常包含处理单元120可直接访问和/或当前正在操作的数据和/或程序模块。作为例子，但非限制，图1示出操作系统134、应用程序135、其它程序模块136和程序数据137。
计算机110还可包括其它可移动/不可移动、易失性/非易失性计算机储存介质。仅仅作为例子，图1示出读取或写入不可移动、非易失性磁介质的硬盘驱动器141、读取或写入可移动、非易失性磁盘152的磁盘驱动器151、以及读取或写入可移动、非易失性光盘156，例如CD-ROM或其它光介质的光盘驱动器155。可用于示例性操作环境中的其它可移动/不可移动、易失性/非易失性计算机储存介质包括但不限于：磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器141通常通过不可移动存储器接口(如接口140)连接到系统总线121，而磁盘驱动器151和光盘驱动器155通常由可移动存储器接口(例如接口150)连接到系统总线121。
以上讨论并且在图1中示出的驱动器及其相关联的计算机储存介质为计算机110提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图1中，例如，在图1中，硬盘驱动器141被示出为储存操作系统144、应用程序145、其它程序模块146和程序数据147。注意，这些组件可以与操作系统134、应用程序135、其它程序模块136和程序数据137相同或不同。操作系统144、应用程序145、其它程序模块146和程序数据147在此被给以不同的标号以表示至少它们是不同的副本。用户可以通过输入设备，如键盘162和定点设备161(通常指鼠标、跟踪球或触摸垫)输入命令和信息到计算机110。其它输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其它输入设备经常通过耦合到系统总线121的用户输入接口160连接到处理单元120，但是也可以由其它接口和总线结构，如并行端口、游戏端口或通用串行总线(USB)连接。监视器191或其它类型显示设备也通过接口，如视频接口190连接到系统总线121。除了监视器以外，计算机还可包括其它外围输入设备，如扬声器197和打印机196，它们可以通过输出外围接口195连接。能够捕捉图像序列193的摄像机192(如数字/电子静态或视频摄像机，或者胶卷/照片扫描仪)也能够作为个人计算机110的输入设备被包括在内。此外，尽管仅仅描述了一台摄像机，然而也可包括多台摄像机，作为个人计算机110的输入设备。来自一台或多台摄像机的图像193通过适当的摄像机接口194输入到计算机110。该接口194连接到系统总线121，因此允许图像被路由到并储存在RAM 132中，或者与计算机110相关联的其它数据储存设备之一中。然而，要注意，图像数据也能够从上述任一计算机可读介质输入到计算机110，而不要求使用摄像机192。
计算机110可以使用到一个或多个远程计算机(如远程计算机180)的逻辑连接在网络环境中操作。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它公共网络结点，并且通常包括许多或所有关于计算机110所描述的元件，尽管在图1中仅仅示出了存储器储存设备181。在图1中描述的逻辑连接包括局域网(LAN)171和广域网(WAN)173，但是还可以包括其它网络。这样的网络环境普遍存在于办公室、企业范围计算机网络、内联网和因特网中。
当在LAN网络环境中使用时，计算机110通过网络接口或适配器170连接到LAN 171。当在WAN网络环境中使用时，计算机110通常包括调制解调器172或通过WAN 173(例如因特网)建立通信的其它装置。调制解调器172可以是内置或者外置的，它可以通过用户输入接口160或者其它适当的机制连接到系统总线121。在网络环境中，相对于计算机110所描述的程序模块或其部分可以存储在远程存储器储存设备中。作为例子，但非限制，图1示出远程应用程序185驻留在存储器设备181上。将会明白，示出的网络连接是示例性的，并且可以使用在计算机之间建立通信链路的其它手段。
示例性全景摄像机和客户机设备
图2是一幅方框图，表述了一个示例性的全景摄像机设备200和示例性的客户端设备222。虽然示出了一个详细的配置，但需注意的是全景摄像机200可以是任何包含全景摄像机或等同功能的设备。比全景摄像机设备200中所包括的比所示的更多或更少的组件可能包含在一个实际的申请中，结合了此处所述的一项或多项技术特征。
全景摄像机设备200包括一个处理器202和存储器204。全景摄像机设备200通过将由多个摄像机206(从206 1至206n)产生的几幅独立图像拼接在一起生成一个全景图像。全景图像可以是一幅完整的360度图像或者是其中的一部分。需注意的是虽然这里示出并描绘了全景摄像机设备200，但所述的技术也可用单个摄像机完成。
全景摄像机设备200也包括一个麦克风阵列208。如下文将要更详细的描述的，配置一个麦克风阵列使声音方向可以被定位。换句话说，输入至麦克风阵列的声音的分析产生一个被检测到的声音产生的方向。发言者210也可包含在全景摄像机设备200中以打开一个扩音器或者发送通知信号及其类似至用户。
存储器204存储几个摄像机设置212如校准数据、曝光设置、拼接表等。控制摄像机功能的操作系统214与一个或多个摄像机软件应用程序216一起也存储在存储器204中。
全景摄像机设备200还包括一个输入/输出(I/O)模块218用于发送来自全景摄像机设备200的数据并接受送至全景摄像机设备200以及各种其它摄像功能中所需的硬件220元件的数据。
全景摄像机设备200与至少一个客户机设备222通信，该客户机设备包括一个处理器224、存储器226、大容量存储设备242(如硬盘驱动器)以及执行下文的客户机设备222的功能所需要的其它硬件230。
存储器226储存一个脸部跟踪器(FT)模块230和一个声音源定位(SSL)模块232。脸部跟踪器模块230和声音源定位(SSL)模块232连同一个虚拟电影放映机234用于检测摄像机场景中的人物并确定该人物是否在发言以及何时在发言。几种传统的声音定位方法中的任一种都可使用。各种脸部跟踪方法(或人物检测和跟踪系统)，包括在相关的源申请中的所描述的方法，可如所描述的用在此处。
存储器226还储存一个发言者聚集模块236，该模块配置为当两个或多个人在发言时确定一个主要的发言者并集中一个特殊的时间线部分给主要发言者。在大多数会议环境中，存在同时又多于一个人发言的实例。一般地，一个主要的发言者在发言而另一个人打断该发言者一小段时间或者与发言者进行讨论。发言者聚集模块236配置成将发言者在时间上和在空间上聚集以理清时间线。
虚拟电影放映机234生成时间线238。时间线238储存在大容量储存设备242上的时间线数据库224中。时间线数据库238包括多个域，包括但不限于，时间、发言者编号、以及在一幅摄像机图像(x、y、宽、高)内的发言者边界框。时间线数据库238还可包括一个或多个发言者脸部角度(方位角和仰角)。
脸部提取模块240也储存在存储器226中并配置成从摄像机图像的脸部边界框中(由脸部跟踪器230识别)提取发言者脸部的图像。脸部提取模块240将经提取的脸部图像存储到大容量储存设备242上的脸部数据库246中。
在至少一个实施例中，可以为一个或多个发言者储存多个脸部图像。可以限定参数以确定在什么特殊时间使用哪幅脸部图像。或者，用户可以手动从多个脸部图像中选择一个特殊的脸部图像。
在至少一个可选择的实施例中，只为每个发言者储存了一幅单独的脸部图像。储存的脸部图像可以使一幅由脸部提取模块提取的单独图像，但脸部提取图像240也可配置成选择一幅发言者最佳的图像。
选择一幅发言者最佳的图像可以通过识别正面脸部角度(假设一幅具有正面脸部图像的图像相比可选择图像有更好的表现性)，通过识别存在最小量的动作的脸部图像、或者通过识别最大化脸部对称性的脸部图像来实现。
经记录的会议248也储存在大容量储存设备242上这使它可以在之后重播和回放。
关于图2所示出并描述的元件和功能，结合下面的附图，将会在下文更全面的描述。
示例性的回放屏幕
图3是一个示例性的回放屏幕300的示意图，带有一个全景图像302和一条面部图像时间线304。全景图像302显示了具有第一会议参与者303以及第二会议参与者305。回放屏幕300还显示了具有一个标题栏306和一个独立图像308。独立图像308是一个可任选的特征，其中聚焦了一个特殊的个人，典型地是主要发言者。在图3中，独立图像308显示了第一会议参与者303的脸部图像。
示例性的回放屏幕300还包括一个控制部分310，该控制部分包含了控件，典型地可以在一个媒体播放器中找到，比如一个播放按钮、一个快进按钮、一个后退按钮等。回放屏幕300中包括一个信息区域312，在其中可以显示有关于回放屏幕300的主体。例如，会议题目、会议室编号、会议出席者名单、诸如此类可以显示在信息区域312中。
脸部图像时间线304包括一个第一副时间线314对应于第一会议参与者303以及一个第二副时间线316对应于第二会议参与者。每个副时间线314、316显示了时间连接区域的相应会议参与者正在发言的部分。用户可以直接访问副时间线314、316上的任何时间点以立即访问特殊的会议参与者正在发言的那部分会议。
第一会议参与者303的第一脸部图像318出现在第一副时间线314相邻处以表示第一副时间线314与第一会议参与者303相关联。第二会议参与者305的脸部图像320出现在第二副时间线316相邻处以表示第二副时间线316与第二会议参与者305相关联。
图4显示了一个示例性的回放屏幕400，包括与图3所示并描述的示例性的回放屏幕300相似的元件。关于图3中显示和描述的元件和参考数字也会使用在关于图4的示例性回放屏幕400中。
示例性回放屏幕400包括一个全景图像302和一个脸部图像时间线304。全景图像302显示了第一会议参与者303和第二会议参与者305。标题栏306横跨回放屏幕400的顶部，一幅独立图像408显示了第二会议参与者303。
示例性的回放屏幕400还包括一个白色书写板发言者图像402显示了一个位于白色书写板前面的会议参与者(在这个例子中，是第二会议参与者305)。白色书写板发言者图像402并不包括在图3的回放屏幕300中，并在此处用于显示其它图像是如何被包括在任何特殊的回放屏幕300和400中的。
控制部分310包括多媒体控件和一个显示回放屏幕400上所显示的会议的有关信息的信息区域312。
脸部图像时间线304包括第一副时间线314、第二副时间线316以及第三副时间线404。需要注意的是虽然图3中只有两根副时间线，但一条时间线可包含任何可管理的数量的副时间线。例如，在图4中，有三根时间线。
需要注意的是虽然在本例中只有两个会议参与者，但却有三根时间线。这是因为单个发言者可与多于一条的副时间线相关联。在本例中，当第二会议参与者305处于白色书写板时，第二副时间线316与第二会议参与者305相关联，而当第二会议参与者305处于白色书写板之外的其它位置时，第三副时间线404与第二会议参与者305相关联。
这种情况可发生于在会议中一个会议参与者具有多于一个位置时。在本例中虚拟电影放映机234在三个位置检测到发言者。不需要知道在那些位置上只有两个发言者在场。这个特性在用户主要对一个发言者在某一位置上的发言感兴趣的情况下对用户起到帮助。例如，用户可能只想播放发言者在白色书写板前时的那部分经记录的会议。
示例性的回放屏幕400还包括第一会议参与者303的第一脸部图像318以及第二会议参与者305的第二脸部图像320。另外，还包括第三脸部图像406，其与第三副时间线404相关联。第三脸部图像406对应于第二会议参与者305的第二个位置。
用于表述示例性的回放屏幕300和400的技术，结合其它附图，将会在下文更详细的描述。
示例性的方法的实施例：脸部图像时间线的创立
图5是一个示例性的用于创建带有面部图像的时间线的方法的实施例的流程图500。在下面的示例性的流程图500的讨论中，以前的附图中所示的元件和参考数字将继续沿用。
在方框502，全景摄像机设备200对一幅或多幅视频图像进行采样以生成一幅全景图像。全景图像被输入至脸部跟踪器230(方框504)，脸部追踪器在图像中检测并跟踪脸部。在方框506大致同步地，麦克风阵列208对与全景图像相对应的声音进行采样，并输入该声音至声音源定位器232，在方框508，音源定位器根据经采样的声音检测发言者的位置。
在方框510，虚拟电影放映机234处理来自脸部跟踪器230和声音源定位器232的数据，并创建时间线238。在方框512，发言者聚集模块236将发言者在时间上和在空间上聚集以巩固和阐明时间线238的部分，如前文所述。
时间线储存在时间线数据库244，数据库有下述域：时间、发言者编号、图像内的发言者边界框(x、y、宽、高)、发言者脸部角度(方位角和仰角)等。
使用全景图像和得自脸部跟踪器230的脸部识别坐标(即脸部边界框)，在方框514，脸部提取器240提取一幅发言者的面部图像。经提取的脸部图像储存在脸部数据库246中并与发言者编号相关联。
如以前所述的，脸部跟踪器240可配置成为每位发言者提取多于一幅的图像并使用脸部提取器240确定的时间线238中最佳的那幅图像。
选择一幅“最佳”面部图像和创建脸部数据库246的示例性的方法的实施例将结合图6在下文中示出并描述。
示例性的方法的实施例：创建一个脸部数据库
图6是一个示例性的流程图600表述了用于创建面部数据库的方法的实施例。在下文的关于图6的讨论中，以前的一幅或多幅附图中所示的元件和参考数字将继续沿用。
在方框602，脸部提取器240从以前所述的全景图像中提取一幅脸部图像。如果发言者的脸部图像还没有储存在脸部数据库246中(“否”分支，方框604)，那么在方框610，脸部图像会储存入脸部数据库246。需要注意的是确定脸部图像是否已存储不必取决于在脸部图像中出现的个人是否具有已存储的他们的相似的图像，而取决于经识别的发言者是否具有已存储的与该发言者相对的图像。这样，如果位于第一个位置的一个发言者具有已存储的面部图像而随后发言者被检测到处于第二位置，处于第二位置的该发言者的面部图像不会与已存储的处于第一位置的该发言者的面部图像做比较以确定是否发言者已有面部图像被存储。
如果该发言者的面部图像已存储在面部数据库246——在下文中，“已存储的面部图像”——(“是”分支，方框604)，则在606，面部图像与已存储的面部图像做比较。如果脸部提取器240确定脸部图像比已存储的面部图像更好或更容易接受(“是”分支，方框608)，则面部图像被存入面部数据库246，这样就覆盖了原先已存储的面部图像。
如果确定脸部图像不比已存储的面部图像更好(“否”分支，方框608)，则该面部图像被丢弃而保留已存储的面部图像。
确定哪幅面部图像是较好的面部图像的标准可以是多种多样的。例如，脸部提取器240可配置成确定一幅“最佳的”面部图像是一个发言者处于某一位置时所拍摄的，在该位置发言者的脸部大多数是处于正面的位置。或者，如果一个第一面部图像显示了运动的迹象而第二面部图像没有，则提取器240可确定第二面部图像是最佳面部图像。或者，脸部提取器240可配置成确定发言者的多幅图像中哪一幅具有最大的对称性，就将那幅面部图像用于时间线中。其它此处未列举的标准也可用作确定最适用于时间线的面部图像。
如果有另一个发言者(“是”分支，方框612)，则流程回到方框602并为每个唯一的发言者重复该流程。重申的是，在上下文中使用的“唯一的发言者”指的并不必定指的是一个唯一的发言者，因为一个人出现在不同的发言位置也解释成是不同的发言者。当没有更多的唯一的发言者需识别时(“否”分支，方框612)流程终止。
总结
虽然已图示并描述了一个或多个示例性实施例，可以理解的是可以做出各种改变而不背离附加的权利要求的精神和范围。

Claims (32)

1.一种方法，包括：
在一个视频样本中检测一幅或多幅面部图像；
在一个与视频样本相对应的音频样本中检测一个或多个发言者；
储存由发言者标识符标识的发言者时间线和每次沿发言者时间线上的发言者位置；
为每个检测到的发言者在脸部数据库中储存至少一幅脸部图像；以及
把发言者时间线和脸部图像与每个检测到的发言者相关联。
2.如权利要求1所述的方法，其特征在于，所述的检测一幅或多幅脸部图像进一步包括使用脸部跟踪检测一幅或多幅脸部图像。
3.如权利要求1所述的方法，其特征在于，所述的检测一个或多个发言者进一步包括使用声音源定位来检测一个或多个发言者。
4.如权利要求1所述的方法，其特征在于，进一步包括：
为每个发言者识别多于一幅脸部图像；以及
选择一幅最佳的脸部图像储存在脸部数据库中。
5.如权利要求4所述的方法，其特征在于，所述的选择进一步包括选择一幅具有最多的正面脸部视图的脸部图像作为最佳脸部图像。
6.如权利要求4所述的方法，其特征在于，所述的选择进一步包括选择一幅呈现最少运动的脸部图像作为最佳脸部图像。
7.如权利要求4所述的方法，其特征在于，所述的选择进一步包括选择一幅呈现最大对称性的脸部图像作为最佳脸部图像。
8.如权利要求1所述的方法，其特征在于，所述的发言者位置由视频样本坐标标识的发言者边界框所标记。
9.如权利要求1所述的方法，其特征在于，所述的发言者位置由视频样本中的方位角和仰角标识的发言者脸部角度所标记。
10.一种方法，包括：
显示一个其中包含了一个或多个发言者的音频/视频(A/V)样本；
显示一个对应于每个发言者的发言者时间线，所述发言者时间线指示了对应于该发言者时间线的发言者在时间连续区的哪些时间点上正在进行发言；
将发言者脸部图像与每个发言者时间线相关联，所述发言者脸部图像对应于与发言者时间线相关联的发言者；以及
与相应发言者时间线一起显示脸部图像。
11.如权利要求10所述的方法，其特征在于，进一步包括从时间线数据库中检索发言者时间线，所述时间线数据库通过发言者标识符、发言者位置以及发言者发言时的一个或多个时间来标识每个发言者。
12.如权利要求10所述的方法，其特征在于，进一步包括从脸部数据库中获取发言者脸部图像，所述脸部数据库将每个发言者标识符与对应于发言者标识符的发言者的至少一幅脸部图像相关联
13.一种或多种包含可执行指令的计算机可读媒体，当所述指令被执行时，实现了下述方法：
在音频/视频样本中通过发言者标识符识别每个发言者；
在音频/视频样本中为每个发言者识别位置；
为音频/视频样本中所识别的每个发言者提取至少一副脸部图像；
为音频/视频样本中所识别的每个发言者创建一条发言者时间线，每条发言者时间线指示了时间、发言者标识符和发言者位置；以及
将发言者的脸部图像与对应于同一发言者的发言者时间线相关联。
14.如权利要求13所述的一种或多种计算机可读媒体，其特征在于，进一步包括使用声音源定位来识别每个发言者。
15.如权利要求13所述的一种或多种计算机可读媒体，其特征在于，进一步包括使用脸部跟踪器识别每个发言者。
16.如权利要求13所述的一种或多种计算机可读媒体，其特征在于，所述发言者位置由音频/视频样本中的发言者边界框所标示。
17.如权利要求13所述的一种或多种计算机可读媒体，其特征在于，进一步包括储存发言者时间线和脸部图像，并将每条发言者时间线与合适的脸部图像相链接。
18.如权利要求13所述的一种或多种计算机可读媒体，其特征在于，进一步包括为每个发言者提取多于一幅的脸部图像。
19.如权利要求18所述的一种或多种计算机可读媒体，其特征在于，进一步包括选择一幅最佳的脸部图像与发言者时间线相关联。
20.如权利要求19所述的一种或多种计算机可读媒体，其特征在于，所述的选择一最佳脸部图像进一步包括选择一幅具有最多的正面脸部视图的脸部图像。
21.如权利要求19所述的一种或多种计算机可读媒体，其特征在于，所述的选择最佳脸部图像进一步包括选择一幅呈现最少运动的脸部图像。
22.如权利要求19所述的一种或多种计算机可读媒体，其特征在于，所述的选择最佳脸部图像进一步包括选择一幅呈现最大对称性的脸部图像。
23.一种或多种计算机可读媒体，包括
发言者时间线数据库为音频/视频样本中的每一个发言者包括了一条发言者时间线，每条发言者时间线为沿时间连续区域上多个时间识别发言者和发言者位置；以及
脸部数据库在发言者时间线中为所识别的每个发言者包括至少一幅脸部图像和一个将每个脸部图像与发言者时间线数据库中合适的发言者时间线相链接的发言者标识符。
24.如权利要求23所述的一种或多种计算机可读媒体，其特征在于，所述的发言者时间线数据库中的每个发言者时间线包括合适的发言者标识符将发言者时间线数据库与脸部数据库相链接。
25.一种系统，包括：
音频/视频样本；
用于识别音频/视频样本中所出现的每个发言者的装置；
用于识别音频/视频样本中所识别的每个发言者的脸部图像的装置；
用于为音频/视频样本中所识别的每个发言者创建时间线的装置；以及
用于将脸部图像与合适的发言者时间线相关联的装置。
26.如权利要求25所述的系统，其特征在于，所述用于识别每个发言者的装置进一步包括声音源定位器。
27.如权利要求25所述的系统，其特征在于，所述用于识别脸部图像的装置进一步包括脸部跟踪器。
28.如权利要求25所述的系统，其特征在于，所述发言者时间线通过发言者标识符识别与发言者时间线相关联的发言者和沿时间连续区域上对于多个时间中的每一个的发言者的位置。
29.如权利要求28所述的系统，其特征在于，所述的将脸部图像与合适的发言者时间线相关联进一步包括将每个脸部图像与发言者标识符相关联。
30.如权利要求25所述的系统，其特征在于，进一步包括储存发言者时间线和脸部图像。
31.如权利要求30所述的系统，其特征在于，所述发言者时间线和脸部图像被分开存储。
32.如权利要求25所述的系统，其特征在于，所述音频/视频样本进一步包括一记录的会议。
CN2005101185909A 2004-10-30 2005-10-25 用于记录的会议时间线的自动脸部提取 Expired - Fee Related CN1783998B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/978,172 US7598975B2 (en) 2002-06-21 2004-10-30 Automatic face extraction for use in recorded meetings timelines
US10/978,172 2004-10-30

Publications (2)

Publication Number Publication Date
CN1783998A true CN1783998A (zh) 2006-06-07
CN1783998B CN1783998B (zh) 2010-07-21

Family

ID=35658932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101185909A Expired - Fee Related CN1783998B (zh) 2004-10-30 2005-10-25 用于记录的会议时间线的自动脸部提取

Country Status (11)

Country Link
US (1) US7598975B2 (zh)
EP (1) EP1659518B1 (zh)
JP (1) JP5027400B2 (zh)
KR (1) KR101238586B1 (zh)
CN (1) CN1783998B (zh)
AU (1) AU2005220252A1 (zh)
BR (1) BRPI0504224A (zh)
CA (1) CA2521670C (zh)
ES (1) ES2645313T3 (zh)
MX (1) MXPA05010595A (zh)
RU (1) RU2398277C2 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350906B (zh) * 2008-09-04 2012-06-27 北京中星微电子有限公司 图像矫正方法和图像矫正装置
CN102522102A (zh) * 2010-10-15 2012-06-27 微软公司 基于事件标识的重播的智能确定
CN102724181A (zh) * 2012-05-30 2012-10-10 中兴通讯股份有限公司 会议控制方法和装置
CN101502088B (zh) * 2006-10-11 2013-07-24 思科技术公司 基于对会议参与者的脸部识别的交互
CN103297688A (zh) * 2013-04-16 2013-09-11 宁波高新区阶梯科技有限公司 一种多媒体全景录制系统及录制方法
US8750678B2 (en) 2012-01-16 2014-06-10 Huawei Technologies Co., Ltd. Conference recording method and conference system
US9064160B2 (en) 2010-01-20 2015-06-23 Telefonaktiebolaget L M Ericsson (Publ) Meeting room participant recogniser
CN104932665A (zh) * 2014-03-19 2015-09-23 联想(北京)有限公司 一种信息处理方法以及一种电子设备
CN105376515A (zh) * 2014-09-02 2016-03-02 华为技术有限公司 用于视频通讯的通讯信息的呈现方法、装置及系统
CN105512348A (zh) * 2016-01-28 2016-04-20 北京旷视科技有限公司 用于处理视频和相关音频的方法和装置及检索方法和装置
CN105976828A (zh) * 2016-04-19 2016-09-28 乐视控股（北京）有限公司 一种声音区分方法和终端
CN108933915A (zh) * 2017-05-26 2018-12-04 和硕联合科技股份有限公司 视频会议装置与视频会议管理方法
CN111193890A (zh) * 2018-11-14 2020-05-22 株式会社理光 会议记录解析装置、方法和会议记录播放系统
CN111899743A (zh) * 2020-07-31 2020-11-06 斑马网络技术有限公司 获取目标声音的方法、装置、电子设备及存储介质

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602412B2 (en) * 2002-06-21 2009-10-13 Microsoft Corporation Temperature compensation in multi-camera photographic devices
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7259784B2 (en) 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
JP2006350577A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 動作分析装置
GB2432064B (en) * 2005-10-31 2011-01-19 Hewlett Packard Development Co Method of triggering a detector to detect a moving feature within a video stream
US7808521B2 (en) * 2006-01-09 2010-10-05 Apple Inc. Multimedia conference recording and manipulation interface
US7636450B1 (en) 2006-01-26 2009-12-22 Adobe Systems Incorporated Displaying detected objects to indicate grouping
US7813526B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Normalizing detected objects
US7706577B1 (en) * 2006-01-26 2010-04-27 Adobe Systems Incorporated Exporting extracted faces
US7694885B1 (en) 2006-01-26 2010-04-13 Adobe Systems Incorporated Indicating a tag with visual data
US7813557B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects
US8259995B1 (en) 2006-01-26 2012-09-04 Adobe Systems Incorporated Designating a tag icon
US7720258B1 (en) 2006-01-26 2010-05-18 Adobe Systems Incorporated Structured comparison of objects from similar images
US7978936B1 (en) 2006-01-26 2011-07-12 Adobe Systems Incorporated Indicating a correspondence between an image and an object
US7716157B1 (en) 2006-01-26 2010-05-11 Adobe Systems Incorporated Searching images with extracted objects
US7823056B1 (en) 2006-03-15 2010-10-26 Adobe Systems Incorporated Multiple-camera video recording
US8024189B2 (en) 2006-06-22 2011-09-20 Microsoft Corporation Identification of people using multiple types of input
GB2440993C (en) * 2006-07-25 2014-03-19 Sony Comp Entertainment Europe Apparatus and method of interaction with a data processor
US7623755B2 (en) 2006-08-17 2009-11-24 Adobe Systems Incorporated Techniques for positioning audio and video clips
EP2102865A1 (en) * 2006-12-13 2009-09-23 Thomson Licensing System and method for acquiring and editing audio data and video data
IL182391A0 (en) * 2007-04-10 2007-07-24 Nario C System, method and device for presenting video signals
US8553948B2 (en) 2007-09-01 2013-10-08 Eyelock, Inc. System and method for iris data acquisition for biometric identification
US9002073B2 (en) * 2007-09-01 2015-04-07 Eyelock, Inc. Mobile identity platform
US8212870B2 (en) 2007-09-01 2012-07-03 Hanna Keith J Mirror system and method for acquiring biometric data
US9117119B2 (en) 2007-09-01 2015-08-25 Eyelock, Inc. Mobile identity platform
US9036871B2 (en) 2007-09-01 2015-05-19 Eyelock, Inc. Mobility identity platform
JP5247356B2 (ja) * 2008-10-29 2013-07-24 キヤノン株式会社 情報処理装置およびその制御方法
JP5483863B2 (ja) * 2008-11-12 2014-05-07 キヤノン株式会社 情報処理装置およびその制御方法
US8645283B2 (en) * 2008-11-24 2014-02-04 Nokia Corporation Determination of event of interest
JP2011205599A (ja) * 2010-03-26 2011-10-13 Toshiba Corp 信号処理装置
US20110304774A1 (en) * 2010-06-11 2011-12-15 Microsoft Corporation Contextual tagging of recorded data
JP5740972B2 (ja) * 2010-09-30 2015-07-01 ソニー株式会社 情報処理装置および情報処理方法
JP2012085009A (ja) * 2010-10-07 2012-04-26 Sony Corp 情報処理装置および情報処理方法
US8868657B2 (en) 2010-12-17 2014-10-21 Avaya Inc. Method and system for generating a collaboration timeline illustrating application artifacts in context
KR101760345B1 (ko) * 2010-12-23 2017-07-21 삼성전자주식회사 동영상 촬영 방법 및 동영상 촬영 장치
KR102024949B1 (ko) 2011-02-17 2019-09-24 아이락 엘엘씨 단일 센서를 이용하여 장면 이미지 및 홍채 이미지를 획득하기 위한 효율적인 방법 및 시스템
US8949123B2 (en) 2011-04-11 2015-02-03 Samsung Electronics Co., Ltd. Display apparatus and voice conversion method thereof
US9449303B2 (en) * 2012-01-19 2016-09-20 Microsoft Technology Licensing, Llc Notebook driven accumulation of meeting documentation and notations
CN103686219B (zh) * 2012-09-24 2017-09-29 华为技术有限公司 一种视频会议录播的方法、设备及系统
WO2014092711A1 (en) 2012-12-13 2014-06-19 Empire Technology Development Llc Gaming scheme using general mood information
US9124762B2 (en) 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9020120B2 (en) 2013-02-06 2015-04-28 Avaya Inc. Timeline interface for multi-modal collaboration
TWI611692B (zh) * 2013-09-18 2018-01-11 佳能企業股份有限公司 電子裝置及影像顯示方法
US9257117B2 (en) * 2014-02-04 2016-02-09 Avaya Inc. Speech analytics with adaptive filtering
JP5959771B2 (ja) * 2014-06-27 2016-08-02 株式会社東芝 電子機器、方法およびプログラム
US9672829B2 (en) * 2015-03-23 2017-06-06 International Business Machines Corporation Extracting and displaying key points of a video conference
CN106101857B (zh) * 2016-06-16 2019-07-19 华为技术有限公司 一种视频画面的显示方法及装置
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
JP6672399B2 (ja) * 2018-08-13 2020-03-25 Ｄｙｎａｂｏｏｋ株式会社 電子機器
RU2719328C1 (ru) * 2019-12-26 2020-04-17 Общество с ограниченной ответственностью "ФАН ЭДИТОР" Система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов
US11463499B1 (en) * 2020-12-18 2022-10-04 Vr Edu Llc Storage and retrieval of virtual reality sessions state based upon participants
TWI790669B (zh) * 2021-07-02 2023-01-21 信驊科技股份有限公司 會議檢視方法及裝置
CN114819110B (zh) * 2022-06-23 2022-10-21 之江实验室 一种实时识别视频中说话人的方法及装置

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59196679A (ja) * 1983-04-22 1984-11-08 Toshiba Corp 複数のカラ−テレビジヨンカメラのホワイトバランス調整方式
US5504524A (en) * 1993-10-15 1996-04-02 Vlsi Vision Limited Method and apparatus for controlling color balance of a video signal
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US5745305A (en) * 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5990934A (en) * 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5539483A (en) * 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5793527A (en) * 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US6111702A (en) * 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6115176A (en) * 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6493032B1 (en) * 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6373642B1 (en) * 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
US6459451B2 (en) * 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6341044B1 (en) * 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
WO1998047291A2 (en) 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6356296B1 (en) * 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6593956B1 (en) * 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6101287A (en) * 1998-05-27 2000-08-08 Intel Corporation Dark frame subtraction
US6404900B1 (en) 1998-06-22 2002-06-11 Sharp Laboratories Of America, Inc. Method for robust human face tracking in presence of multiple persons
JP4194133B2 (ja) * 1998-06-24 2008-12-10 キヤノン株式会社 画像処理方法及び装置及び記憶媒体
US6924832B1 (en) * 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6128143A (en) * 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6285365B1 (en) * 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6195204B1 (en) * 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6144501A (en) * 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
GB2342802B (en) 1998-10-14 2003-04-16 Picturetel Corp Method and apparatus for indexing conference content
US6369818B1 (en) 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6175454B1 (en) 1999-01-13 2001-01-16 Behere Corporation Panoramic imaging arrangement
US6597520B2 (en) * 1999-01-13 2003-07-22 Be Here Corporation Panoramic imaging arrangement
US6788340B1 (en) * 1999-03-15 2004-09-07 Texas Instruments Incorporated Digital imaging control with selective intensity resolution enhancement
TW420937B (en) * 1999-05-06 2001-02-01 Umax Data Systems Inc Dynamic calibration method
US6795106B1 (en) 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
JP4581210B2 (ja) 2000-09-29 2010-11-17 日本電気株式会社 テレビ会議システム
US6741250B1 (en) * 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
JP2002251393A (ja) * 2001-02-22 2002-09-06 Ricoh Co Ltd 記録装置、記録方法、プログラムおよび記録媒体並びに記録再生システム
US6756990B2 (en) * 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
US20040008423A1 (en) 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US20040021764A1 (en) * 2002-01-28 2004-02-05 Be Here Corporation Visual teleconferencing apparatus
US20030142402A1 (en) 2002-01-30 2003-07-31 Be Here Corporation Method and apparatus for triggering a remote flash on a camera with a panoramic lens
US20030146982A1 (en) * 2002-02-01 2003-08-07 Tindall John R. Special color pigments for calibrating video cameras
JP2003230049A (ja) 2002-02-06 2003-08-15 Sharp Corp カメラ制御方法及びカメラ制御装置並びにテレビ会議システム
US6995791B2 (en) * 2002-04-02 2006-02-07 Freescale Semiconductor, Inc. Automatic white balance for digital imaging
US6917702B2 (en) * 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
US7012757B2 (en) * 2002-05-08 2006-03-14 Be Here Corporation Method for designing a lens system and resulting apparatus
US20030220971A1 (en) 2002-05-23 2003-11-27 International Business Machines Corporation Method and apparatus for video conferencing with audio redirection within a 360 degree view
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US20050046703A1 (en) 2002-06-21 2005-03-03 Cutler Ross G. Color calibration in photographic devices
US7602412B2 (en) 2002-06-21 2009-10-13 Microsoft Corporation Temperature compensation in multi-camera photographic devices
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
WO2004004320A1 (en) 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
GB2395780A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
GB2395852B (en) * 2002-11-29 2006-04-19 Sony Uk Ltd Media handling system
US20040254982A1 (en) 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
US7019918B2 (en) * 2003-06-12 2006-03-28 Be Here Corporation Panoramic imaging system
US7433327B2 (en) * 2003-10-09 2008-10-07 Hewlett-Packard Development Company, L.P. Method and system for coordinating communication devices to create an enhanced representation of an ongoing event

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101502088B (zh) * 2006-10-11 2013-07-24 思科技术公司 基于对会议参与者的脸部识别的交互
CN101350906B (zh) * 2008-09-04 2012-06-27 北京中星微电子有限公司 图像矫正方法和图像矫正装置
US9064160B2 (en) 2010-01-20 2015-06-23 Telefonaktiebolaget L M Ericsson (Publ) Meeting room participant recogniser
CN102713935B (zh) * 2010-01-20 2016-08-10 瑞典爱立信有限公司 会议室参与者辨识器
CN102522102A (zh) * 2010-10-15 2012-06-27 微软公司 基于事件标识的重播的智能确定
US9484065B2 (en) 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
US8750678B2 (en) 2012-01-16 2014-06-10 Huawei Technologies Co., Ltd. Conference recording method and conference system
CN102724181A (zh) * 2012-05-30 2012-10-10 中兴通讯股份有限公司 会议控制方法和装置
CN103297688A (zh) * 2013-04-16 2013-09-11 宁波高新区阶梯科技有限公司 一种多媒体全景录制系统及录制方法
CN104932665B (zh) * 2014-03-19 2018-07-06 联想(北京)有限公司 一种信息处理方法以及一种电子设备
CN104932665A (zh) * 2014-03-19 2015-09-23 联想(北京)有限公司 一种信息处理方法以及一种电子设备
CN105376515A (zh) * 2014-09-02 2016-03-02 华为技术有限公司 用于视频通讯的通讯信息的呈现方法、装置及系统
CN105376515B (zh) * 2014-09-02 2019-03-19 华为技术有限公司 用于视频通讯的通讯信息的呈现方法、装置及系统
CN105512348A (zh) * 2016-01-28 2016-04-20 北京旷视科技有限公司 用于处理视频和相关音频的方法和装置及检索方法和装置
CN105512348B (zh) * 2016-01-28 2019-03-26 北京旷视科技有限公司 用于处理视频和相关音频的方法和装置及检索方法和装置
CN105976828A (zh) * 2016-04-19 2016-09-28 乐视控股（北京）有限公司 一种声音区分方法和终端
CN108933915A (zh) * 2017-05-26 2018-12-04 和硕联合科技股份有限公司 视频会议装置与视频会议管理方法
CN108933915B (zh) * 2017-05-26 2020-06-16 和硕联合科技股份有限公司 视频会议装置与视频会议管理方法
CN111193890A (zh) * 2018-11-14 2020-05-22 株式会社理光 会议记录解析装置、方法和会议记录播放系统
CN111899743A (zh) * 2020-07-31 2020-11-06 斑马网络技术有限公司 获取目标声音的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US7598975B2 (en) 2009-10-06
RU2005133403A (ru) 2007-05-10
BRPI0504224A (pt) 2006-06-27
EP1659518B1 (en) 2017-08-02
MXPA05010595A (es) 2006-05-04
JP2006129480A (ja) 2006-05-18
EP1659518A3 (en) 2010-01-13
EP1659518A2 (en) 2006-05-24
CA2521670A1 (en) 2006-04-30
CA2521670C (en) 2013-12-24
KR101238586B1 (ko) 2013-02-28
ES2645313T3 (es) 2017-12-04
US20050285943A1 (en) 2005-12-29
KR20060051672A (ko) 2006-05-19
AU2005220252A1 (en) 2006-05-18
CN1783998B (zh) 2010-07-21
JP5027400B2 (ja) 2012-09-19
RU2398277C2 (ru) 2010-08-27

Similar Documents

Publication Publication Date Title
CN1783998A (zh) 用于记录的会议时间线的自动脸部提取
US7730407B2 (en) Systems and methods for bookmarking live and recorded multimedia documents
JP5966622B2 (ja) 注釈付きコンテンツをモバイル装置でキャプチャおよび編成するシステム、方法、およびプログラム
US8111282B2 (en) System and method for distributed meetings
JP4833573B2 (ja) 複合的な電子表現物を作成する方法、装置及びデータ処理システム
EP1671211B1 (en) Management system for rich media environments
CN1890622A (zh) 使用富媒体环境的通信和协作系统
US20060251383A1 (en) Automatic video editing for real-time generation of multiplayer game show videos
US20090113278A1 (en) System and methods for generating automatic and user-controllable movies of presentations on small devices
CN108369816A (zh) 用于从全向视频创建视频剪辑的设备和方法
KR20120102043A (ko) 비디오 세션의 자동 라벨링
CN101056389A (zh) 电子会议系统、电子会议支持方法、电子会议控制装置,以及便携式存储设备
CN102044175A (zh) 智能跟踪拍摄、录像、直播的数字化教学方法和装置
US20150319402A1 (en) Providing video recording support in a co-operative group
WO2015058494A1 (zh) 会议标签生成及应用方法、装置、系统
TWM594323U (zh) 智能會議記錄系統
WO2023160288A1 (zh) 会议纪要生成方法、装置、电子设备和可读存储介质
JP2016063477A (ja) 会議システム、情報処理方法、及びプログラム
CN100347657C (zh) 多媒体打印驱动器对话界面
JP2012053855A (ja) コンテンツ閲覧装置、コンテンツ表示方法及びコンテンツ表示プログラム
CN117897930A (zh) 用于混合在线会议的流式数据处理
US20220070501A1 (en) Social video platform for generating and experiencing content
US11290753B1 (en) Systems and methods for adaptive livestreaming
Xu et al. Towards intelligent interaction in classroom
US20230261895A1 (en) Dynamic Note Generation In Communication Sessions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150429

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150429

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100721

Termination date: 20191025