CN100527825C - 投影仪－摄像机－白板系统中视觉回波消除系统和方法 - Google Patents

投影仪－摄像机－白板系统中视觉回波消除系统和方法 Download PDF

Info

Publication number
CN100527825C
CN100527825C CNB2005100094851A CN200510009485A CN100527825C CN 100527825 C CN100527825 C CN 100527825C CN B2005100094851 A CNB2005100094851 A CN B2005100094851A CN 200510009485 A CN200510009485 A CN 200510009485A CN 100527825 C CN100527825 C CN 100527825C
Authority
CN
China
Prior art keywords
blank
image
written contents
color
albedo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005100094851A
Other languages
English (en)
Other versions
CN1680867A (zh
Inventor
周涵宁
张正友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1680867A publication Critical patent/CN1680867A/zh
Application granted granted Critical
Publication of CN100527825C publication Critical patent/CN100527825C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种发送白板工作表面的清晰图像用于远程协作的系统和方法。该图像被分割成两个部分：工作表面的投影的图像，以及由参与者实际添加到白板的书写内容。这一分割有若干种益处。其带宽需求远低于视频电话会议，并且改进了白板共享的益处。可消除在物理白板上造成的视觉回波。

Description

投影仪—摄像机—白板系统中视觉回波消除系统和方法
技术领域
本发明涉及将白板结合到投影仪—摄像机系统中的系统，尤其涉及通过采用视觉回波消除技术发送用于远程协作的白板工作表面的清晰图像的系统和方法。
背景技术
在过去的几年中，视频摄像机和投影仪经历了从昂贵的实验室器材到花费得起的消费者产品的转换。这触发了许多人类—计算机交互系统的创建，它们结合了由投影仪提供的大尺寸显示和来自一个或多个摄像机的智能反馈两者。另一方面，白板仍是许多会议(包括演讲、演示和集体讨论)的不可缺少的一部分，因为它为会议参与者提供了大的共享空间，以集中他们的注意力，并自发地表达和交换他们的意见。
先前的工作已将白板集成到投影仪—摄像机系统中。然而，这些先前的工作大多数集中在同一物理位置上的组协作上。另一方面，当在有远程参与者的情况下，白板的使用会引起各种问题。例如，远程会议参与者无法提供写在白板上的内容，因为他们物理上不在与白板相同的位置。另外，通过网络将白板的图像发送到远程参与者使用大量的网络带宽，并且通常相当慢。
因此，需要的是一种用于捕捉并发送写在白板上的内容的系统和方法，这些内容可通过网络以清晰的方式传输到远程参与者，而无需大量的带宽。该系统应当也允许远程参与者提供白板内容，并允许将白板内容存档用于在以后的日子里察看。
发明内容
本发明的系统和方法通过将白板同时用作书写表面和投影表面，将白板集成到投影仪—摄像机系统中。本发明用摄像机捕捉白板的图像序列或视频，并将白板上书写的内容从投影到其上的内容中分离出来。
通过在原始的计算机演示上数字地添加所提取的书写内容用于在远程场所显示，远程出席者可具有比仅观看在白板上的书写内容不可用的情况下所发送的显示内容更好的观看体验。他们也可具有比仅观看原始显示内容质量较差的原始白板视频更好的观看体验。此外，如果远程出席者向本地会议室发送一注释，则该注释将被投影，但是它不会被发送回远程场所。根据音频会议中的回波消除类推，这被称为视觉回波消除。在严格的定义上，视觉回波是由摄像机观察到的所投影的注释(从远程出席者)的样子。然而，由于计算机演示被发送到远程出席者用于更好的观看质量，也必须考虑所投影的演示作为视觉回波的样子。如果可从投影在白板上的项目的视频或图像序列中仅提取具体书写内容，则视觉回波消除得以解决。为此，需要对由摄像机观看到的计算机投影的内容的样子的准确预测。这进而要求两个基本组件：几何校准和色彩校准。几何校准关注摄像机视域中的位置和投影仪屏幕中的位置之间的映射，在本情况中投影屏幕为白板。色彩校准关注投影的内容的实际色彩与摄像机所见到的色彩之间的映射。
依照本发明的系统和方法可以使用的一个典型的过程如下。最初，获取几何校准数据和色彩校准数据。捕捉在其上投影了项目的白板的图像或视频，诸如投影演示或由远程参与者作出的注释，以及书写在物理白板上的内容。然后，计算给定捕捉图像的视觉回波。然后使用视觉回波消除以将白板上书写的内容从投影的内容(如，远程参与者的注释和电子演示)中隔离。书写内容可被发送到远程参与者，以结合所发送的演示和由远程参与者作出的注释在远程显示上显示。类似地，书写可被存档用于将来的察看。
依照本发明的系统和方法的若干直接的优点是计算机演示和白板讨论被无缝地集成到一个会话中。会议出席者不会因将其注意力从投影仪屏幕切换到白板而分散注意力，反之亦然。此外，这一系统使本地和远程出席者能够在单个相互共享的工作空间上彼此协作。本地出席者具有比使用诸如电子白板等商业大显示产品更自然的书写表面。更重要的是，该系统可在现有会议环境上面容易地安置。因此，本发明的系统和方法比大多数需要专门安装通常昂贵的器材和附件的大显示产品经济得多。
除上述的益处之外，当结合附图阅读以下的详细描述时，可以更清楚本发明的其它优点。
附图说明
参考以下描述、附图和所附权利要求书，可以更好地理解本发明的具体特征、方面和优点，附图中：
图1是描述构成用于实现本发明的一个示例性系统的通用计算设备的通用系统图。
图2所示是依照本发明的投影仪—摄像机—白板系统。
图3所示是用于依照本发明将投影的内容和白板书写内容分离的通用过程的示例性流程图。
图4所示是用于依照本发明的几何校准过程的流程图。
图5所示是由依照本发明的系统和方法采用的角检测过程的流程图。
图6所示是由依照本发明的系统和方法采用的色彩校准过程的流程图。
图7所示是由依照本发明的系统和方法采用的估算视觉回波的流程图。
图8所示是由依照本发明的系统和方法采用的消除视觉回波的流程图。
图9所示是通过使用依照本发明的视觉回波消除系统和方法获得的实验结果。
具体实施方式
在以下本发明的较佳实施例的描述中，参考附图，其形成了本发明的一部分，并且其中通过图示示出了可实施本发明的具体实施例。可以理解，也可以使用其它实施例，并可以在不脱离本发明的范围的情况下作出结构上的改变。
1.0 示例性操作环境
图1示出了适合在其中实现本发明的计算系统环境100的一个示例。计算系统环境100仅为合适的计算环境的一个示例，并非暗示对本发明的使用范围或功能的局限。也不应将计算环境100解释为对示例性操作环境100中示出的任一组件或其组合具有任何依赖或需求。
本发明可以使用众多其它通用或专用计算系统环境或配置来操作。适合使用本发明的众所周知的计算系统、环境和/或配置的示例包括但不限于，个人计算机、服务器计算机、诸如蜂窝电话和PDA等手持式、膝上或移动计算机或通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子设备、网络PC、小型机、大型机、包括任一上述系统或设备的分布式计算环境等等。
本发明可以在诸如由计算机执行的程序模块等计算机可执行指令的一般上下文环境中描述。一般而言，程序模块包括例程、程序、对象、组件、数据结构等等，执行特定的任务或实现特定的抽象数据类型。本发明也可以在分布式计算环境中实施，其中，任务由通过通信网络连接的远程处理设备来执行。在分布式计算环境中，程序模块可以位于本地和远程计算机存储介质中，包括存储器存储设备。参考图1，用于实现本发明的示例性系统包括计算机110形式的通用计算装置。
计算机110的组件可包括但不限于，处理单元120、系统存储器130以及将包括系统存储器的各类系统组件耦合至处理单元120的系统总线121。系统总线121可以是若干种总线结构类型的任一种，包括存储器总线或存储器控制器、外围总线以及使用各类总线体系结构的任一种的局部总线。作为示例而非局限，这类体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线以及外围部件互连(PCI)总线，也称为Mezzanine总线。
计算机110通常包括各种计算机可读介质。计算机可读介质可以是可由计算机110访问的任一可用介质，包括易失和非易失介质、可移动和不可移动介质。作为示例而非局限，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质包括以用于储存诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任一方法或技术实现的易失和非易失，可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储设备、或可以用来储存所期望的信息并可由计算机110访问的任一其它介质。通信介质通常在诸如载波或其它传输机制的已调制数据信号中包含计算机可读指令、数据结构、程序模块或其它数据，并包括任一信息传送介质。术语“已调制数据信号”指以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非局限，通信介质包括有线介质，如有线网络或直接连线连接，以及无线介质，如声学、RF、红外和其它无线介质。上述任一的组合也应当包括在计算机可读介质的范围之内。
系统存储器130包括以易失和/或非易失存储器形式的计算机存储介质，如只读存储器(ROM)131和随机存取存储器(RAM)132。基本输入/输出系统133(BIOS)包括如在启动时帮助在计算机110内的元件之间传输信息的基本例程，通常储存在ROM 131中。RAM 132通常包含处理单元120立即可访问或者当前正在操作的数据和/或程序模块。作为示例而非局限，图1示出了操作系统134、应用程序135、其它程序模块136和程序数据137。
计算机110也可包括其它可移动/不可移动、易失/非易失计算机存储介质。仅作示例，图1示出了对不可移动、非易失磁介质进行读写的硬盘驱动器141、对可移动、非易失磁盘152进行读写的磁盘驱动器151以及对可移动、非易失光盘156，如CD ROM或其它光介质进行读写的光盘驱动器155。可以在示例性操作环境中使用的其它可移动/不可移动、易失/非易失计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字视频带、固态RAM、固态ROM等等。硬盘驱动器141通常通过不可移动存储器接口，如接口140连接到系统总线121，磁盘驱动器151和光盘驱动器155通常通过可移动存储器接口，如接口150连接到系统总线121。
图1讨论并示出的驱动器及其关联的计算机存储介质为计算机110提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图1中，示出硬盘驱动器141储存操作系统144、应用程序145、其它程序模块146和程序数据147。注意，这些组件可以与操作系统134、应用程序135、其它程序模块136和程序数据137相同，也可以与它们不同。这里对操作系统144、应用程序145、其它程序模块146和程序数据147给予不同的标号来说明至少它们是不同的副本。用户可以通过输入设备，如键盘162和定点设备161(通常指鼠标、跟踪球或触摸板)向计算机110输入命令和信息。其它输入设备(未示出)可包括麦克风、操纵杆、游戏垫、圆盘式卫星天线、扫描仪等等。这些和其它输入设备通常通过耦合至系统总线121的用户输入接口160连接至处理单元120，但是也可以通过其它接口和总线结构连接，如并行端口、游戏端口或通用串行总线(USB)。监视器191或其它类型的显示设备也通过接口，如视频接口190连接至系统总线121。除监视器之外，计算机也可包括其它外围输出设备，如扬声器197和打印机196，通过输出外围接口195连接。
此外，计算机110也可包括能够捕捉图像序列193的摄像机192(诸如数码/电子照相机或摄影机，或胶片/照片扫描仪)，作为输入设备。此外，尽管仅描述了一个摄像机192，然而可包括多个摄像机作为计算机110的输入设备。多个摄像机的使用提供了同时或顺序地捕捉图像的多个视图的能力，以捕捉三维或深度图像，或捕捉场景的全景图像。来自一个或多个摄像机192的图像193通过适当的摄像机接口194输入到计算机110。该接口连接到系统总线121，由此允许图像193被路由并储存到RAM 132中，或与计算机110相关联的其它上述数据存储设备中的任一个。然而，注意，图像数据也可以从上述计算机可读介质中的任一个输入到计算机110中，而无需使用摄像机192。
计算机110可以在使用到一个或多个远程计算机，如远程计算机180的逻辑连接的网络化环境中操作。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它公用网络节点，并通常包括许多或所有上述与计算机110相关的元件，尽管在图1中仅示出了存储器存储设备181。图1描述的逻辑连接包括局域网(LAN)171和广域网(WAN)173，但也可包括其它网络。这类网络环境常见于办公室、企业范围计算机网络、内联网以及因特网。
当在LAN网络环境中使用时，计算机110通过网络接口或适配器170连接至LAN 171。当在WAN网络环境中使用时，计算机110通常包括调制解调器172或其它装置，用于通过WAN 173，如因特网建立通信。调制解调器172可以是内置或外置的，通过用户输入接口160或其它合适的机制连接至系统总线121。在网络化环境中，描述的与计算机110相关的程序模块或其部分可储存在远程存储器存储设备中。作为示例，而非局限，图1示出远程应用程序185驻留在存储器设备181中。可以理解，示出的网络连接是示例性的，也可以使用在计算机之间建立通信链路的其它装置。
现在已经讨论了示例性操作环境，本描述的剩余部分将专用于实施本发明的程序模块和过程的讨论。
2.0 投影仪—摄像机—白板系统中的回波消除系统和方法
本发明的系统和方法通过将白板同时用作书写表面和投影表面，而将白板集成到投影仪—摄像机系统中。本发明捕捉视频或白板的图像序列，并从投影的图像中分离出白板上的书写内容。为各种原因能够从投影的内容中分离出白板书写内容是非常有益的。例如，它动态地降低了对于电话会议的带宽要求，因为与受阴影和光照变化影响的原始混合视频相比，所提取的书写内容和计算机投影的内容都可以用非常低的带宽来发送。另外，所提取的书写内容对归档和离线浏览会议是必需的。在白板上书写通常指示会议中的重要事件。通过将结果反馈到光学字符识别(OCR)系统，可以更容易地访问会议档案并将其以其它形式传输。
2.1 系统综述
图2示出了本发明的投影仪—摄像机—白板系统200的一个实施例。本地会议室202配备了投影仪204、摄像机206和白板208。投影仪204和摄像机206较佳地严格地连接在一起，尽管理论上它们可以位于任何地方，只要投影仪投影在白板208上，且摄像机能够看见整个投影区域(被称为投影仪空间)。投影仪204和摄像机206链接(无线或不无线地)到计算机210，并且计算机链接到通信网络(如内联网或因特网)212。远程出席者214也将其计算机链接到通信网络212。会议室中的计算机和远程计算机之间的数据传输较佳地通过实时传输协议(RTP)来进行。
电子演示216通过视频混合器218和投影仪204投影在白板208上，并且也通过网络212发送到远程参与者214用于在远程参与者处显示。演示216可以是，例如，幻灯片演示、电子表格、PDF文件等等，它们是通常在会议、演讲或集体讨论会话中呈现的任何内容。演示220的数据流由图2中的“P”指示。远程出席者214可注释该演示，并且注释流222由“A”指示。演示数据流“P”220和注释数据流“A”222在发送到投影仪204以将它们投影在白板208上之前，通过视频混合器218混合在一起。在演示过程中，演示者或其它本地出席者可在白板上书写或绘画。摄像机206捕捉投影的内容和书写内容两者。通过几何和色彩校准，系统预测由摄像机观看到的所投影的“P”和“A”数据流的样子，即，视觉回波。计算机210中的视觉回波消除模块224通过从由摄像机捕捉的现场视频/图像中减去预测的视觉回波，仅提取白板226上的书写内容，由“W”指示。在远程端，演示数据流“P”和白板书写流“W”226在远程出席者的计算机显示器230上显示之前通过混合器228混合。
依照本发明的系统和方法可使用的一个典型过程在图3中示出。如图3所示，在处理行动302，获取几何校准数据。类似地，如处理行动304所示，获取色彩校准数据。捕捉其上投影了项目的白板的图像或视频，例如，投影的演示和/或由远程参与者作出的注释，以及书写在物理白板上的书写内容，如处理行动306所示。然后，如处理行动308所示，计算捕捉的图像的视觉回波。然后使用视觉回波消除以从投影的内容(如，远程参与者的注释和电子演示)中隔离出书写在白板上的书写内容，如处理行动310所示。书写内容可被发送到远程参与者，以结合所发送的演示和由远程参与者作出的注释在远程显示器上显示。同样，书写内容可被存档用于将来的察看(处理行动312)。
上述系统和过程的各种细节在以下段落中提供。
2.2 几何校准
对于视觉回波消除，需要知道摄像机视域的位置和投影仪屏幕的位置之间的关系。这是几何校准的任务。假定摄像机和投影仪是可线性投影的(linearprojective)，并且白板表面是平坦的，则可容易地示出在摄像机视域中的点和投影仪屏幕/白板中的点之间的映射是单应性的(homography)，并且可由被定义至缩放系数的3×3矩阵H来描述。
对于几何校准，假定摄像机和投影仪都是可线性投影的，并且通过充分利用投影仪可活动地投影期望的图案的事实实现了一种健壮、准确且简单的技术。
图4示出了由依照本发明的系统和方法采用的几何校准过程的简化流程图。在一个起作用的实施例中，整个几何校准过程耗时少于2分钟，并且仅当摄像机相对投影仪移动时才是必需的。如图4所示，在处理行动402，最初将N个矩形顺序地投影到白板上，并同时使用固定的摄像机捕捉其图像。在本发明的一个起作用的实施例中，使用N＝40。下一步，如处理行动404所示，检测图像中每一矩形的四个角，如以下段落中所讨论的。然后，使用这4×N个检测的角及其在投影仪空间中的对应已知位置来估算投影仪屏幕/白板和摄像机图像平面之间的单应性(处理行动406)。投影仪空间可以被视为计算机显示屏的虚拟平面。由于可控制在计算机屏幕的何处显示矩形，因此角在投影仪空间中的位置是已知的。应当注意，理论上，仅需要四个点(即，一个矩形)来估算单应性。为达到更高的准确率，本发明的系统和方法使用投影到白板的不同位置上的更多的矩形。与其它几何校准方法相比，依照本发明的系统和方法利用了摄像机和投影空间之间的相对位置在校准过程中是固定的这个事实。因此，不同的图像中检测到的对应性可用于估算单个单应性，这提高了系统和方法的准确度和健壮性，而不会使角检测算法复杂化。
2.3 几何校准的角检测
可用于角检测的一个过程在图5中示出。该角检测过程通过将彩色图像转换成灰度级图像开始，如处理502所示。为降低边缘图(edge map)中的噪声并提高对比度，需要找出所投影的矩形内部和外部的区域，并量化灰度级值。由于内部区域是亮且均匀的，因此它形成了直方图的较高范围的峰值p1，而背景形成了较低范围的峰值p2。使用一种基于从粗到细直方图的方法来找出两个峰值，并将较高的阈值设为 h 1 = 3 4 × p 1 + 1 4 × p 2 , 将较低的阈值设为 h 2 = 1 4 × p 1 + 3 4 * p 2 . h1以上的所有像素的灰度级值被设为h1，而低于h2的那些像素的灰度值被设为h2，中间的保持不变。然后使用常规的边检测方法之一在灰度级图像中检测矩形的边缘，以创建边缘图(处理行动504)。然后使用Hough变换来检测边缘图上的直线(处理行动506)。然后使用这些线拟合一四边形，如处理行动508所示。然后找出该四边形的角(处理行动510)。
2.4 色彩校准
对于视觉回波消除，对白板上的投影仪空间中的给定像素，通过上述几何校准知道了其在摄像机空间中的对应位置。然而，也需要知道在捕捉的图像/视频中投影仪空间中的对应色彩看上去应当是什么，这由色彩校准来确定。投影仪空间中相同的色彩在摄像机中看上去不同，这取决于色彩被投影到白板上的何处。这是由于投影仪的灯泡不产生均匀的光照，房间中的光照是闪烁且不均匀的，并且白板的表面不是朗伯的(Lambertian)。因此，色彩校准应当是依赖色彩和位置的。
对于色彩校准，视觉回波的像素被模型化为独立的高斯随机变量，并且使用一基于查找表的方法。注意，几何校准和色彩校准应当对不同于视觉回波消除的其它任务都是有用的，如投影仪的自动梯形失真(keystone)纠正。
图6示出了色彩校准的流程图。如图6所示，在处理行动602，该过程通过将RGB色彩空间量化成箱(bin)开始。在本发明的一个起作用的实施例中，使用了9×9×9或729个箱。在处理行动604，将每一量化的色彩投影到整个显示区域，并且同步地捕捉其图像，为每一色彩储存n个帧(处理行动606)。在一个起作用的实施例中，对每一色彩储存5个帧。在处理行动608，使用几何校准中找到的单应性H将每一图像扭曲变换(warp)到投影的屏幕坐标。该显示区域被均匀地划分成矩形块(如，32×32或1024)，并且跨n帧计算每一块中每一色彩的均值和方差，如处理610所示。均值和方差被输入到色彩C的查找表中(处理行动612)，并且投影下一色彩，直到投影了所有量化的色彩(处理行动614和616)。
使用图6的过程，在每一块(如，1024个块)上为量化的色彩(如，729)构建一查找表。注意，空间维数是必需的，因为同样投影的色彩在屏幕/白板的不同位置将具有不同的外观。如果对每一像素位置构建一查找表，可获得最佳结果，但是基于实验数据，这看上去是不必要的，因为色彩外观在显示表面上平滑地改变。
通常，执行色彩校准过程一次就足够。然而，如果投影仪的某些设置(色彩温度、对比度或亮度)或者摄像机的某些设置(曝光或白平衡)改变，则可能必须再次执行色彩校准。在本发明的一个实施例中，以10fps投影和捕捉729×n(当n＝5时，＝3645)个帧(以确保投影和捕捉是同步的)花费大约6分钟。
2.5 视觉回波消除
以下段落描述了视觉回波估算和消除过程。
2.5.1 视觉回波估算
给定所捕捉的对象的任意显示内容(处理行动702)，本发明的系统和方法通过最初用色彩校准过程中定义的查找表中的对应平均色彩替换每一像素(处理行动704)来估算视觉回波E，如图7所示。对于不在表中的色彩，使用两个最接近的箱的线性内插。然后，如处理行动706所示，图像中的每一像素被扭曲变换到摄像机视域。为获取对每一像素误差范围的估算，也查找并扭曲变换方差以获取像素范围的方差映射V(处理行动708)。
2.5.2 视觉回波消除
图8示出了依照本发明的通用视觉回波消除过程的流程图。其细节在以下小节中解释。如图8所示，在处理行动802，将包含诸如演示和任何注释等投影内容的白板的图像，以及对其计算视觉回波的可能的白板书写内容输入到系统中。使用所捕捉的图像的反照率与视觉回波的反照率之比，将图像的投影内容(如，投影的演示和注释)与纠正的图像(视觉回波)进行比较，如处理过程804所示。使用反照率之比，识别出白板上的书写内容(与投影的内容相对)，并恢复其色彩，如处理行动806所示。
2.5.2.1 捕捉图像的生成过程
通过用记号笔在白板上书写/绘画，实际上改变了白板的表面反照率，并因此改变了反射。因此，在一般意义上，提取白板上的书写内容归结为检测表面反照率的改变。
假定所有的图像都是几何上对齐的，并且用P表示入射光映射，用A表示白板的表面反照率，用C表示由摄像机传感器引起的像素范围色彩变换，并用E表示视觉回波，可得E＝C×A×P。如果在白板上没有书写内容，则捕捉的图像I应等于E。如果在白板上书写了内容，则表面反照率改变，并且用
Figure C200510009485D0016122838QIETU
表示。捕捉的图像然后可以用 I = C × A ~ × P 描述，可通过估算色彩通道c∈{R，G，B}中像素[x，y]的反照率比 a = A ~ / A 来计算反照率改变，给出如下：
a [ x , y ] , c = I [ x , y ] , c E [ x , y ] , c - - - ( 1 )
注意，白板上的书写内容吸收了光，因此 A ~ < A , 并且结果，a[x，y]，c≤1。
基于反照率比a，可检测书写内容并恢复其色彩。没有书写内容的白板区域的反照率应当为1。假定反照率上的传感器噪声是加性的，并且具有方差为
Figure C200510009485D00173
的零均值高斯分布，以下决策规则可得：
当且仅当
1 - a [ x , y ] , R + a [ x , y ] , G + a [ x , y ] , B 3 > V [ x , y ] , R + V [ x , y ] , G + V [ x , y ] , B E [ x , y ] , R + E [ x , y ] , G + E [ x , y ] , B - - - ( 2 )
像素[x，y]属于书写区域。
注意，决策理论是单边的，因为如上所述，白板书写区域的反照率比严格小于1。
对于属于书写区域的每一像素[x，y]，可用其色彩恢复该书写内容，如
W[x，y]，c＝a[x，y]，c×255                  (3)
假定色彩强度范围从0到255。
2.5.2.2 实际考虑事项
由于几何校准中的噪声，I和E不完全对齐。在E中的强边(strong edge)附近，最多有1到2个像素的误差。因此，在书写区域部分，首先在E上应用侵蚀(erosion)，它增加了暗区域。侵蚀是一种标准的图像形态操作。在二进制图像中，它向具有某一邻域图案的像素分配0(黑)值。它扩展到灰度级和彩色图像。本发明的系统和方法使用其在彩色图像中的扩展。由此，E中黑区域附近的像素具有较高的A，并且较不可能被分类为书写区域。这一预处理减少了误差，因为为了令书写更可见，大多数用户偏爱在较亮的背景上面书写，而非在较暗的背景上书写。
实际上，为使W中的色彩可见，需要将摄像机的曝光设置为高于常态。这将导致色彩校准期间的过曝光(over-exposure)。本发明的系统和方法通过为色彩校准设置曝光优化，并使用分类方法来恢复书写的色彩，解决了这一问题。选择四种最常用的记号笔(红、黑、蓝和绿)作为分类M0～M3。对于受监控的训练，使用公式(2)和(3)来恢复书写W的设置，然后将其从RGB色彩空间转换到HSI(色调、饱和度和强度)色彩空间，并将新图像表示为W’。类别Mi的训练数据通过选择由记号笔i书写的区域，并收集其直方图ni(h，s，i)来手动加标签。
为分类从公式(3)中获得的像素W[x，y]，将其RGB值转换成HSI空间中的W’[x，y]，并评估它属于聚类i的似然性为
p ( [ x , y ] | M i ) = n i ( W &prime; [ x , y ] h , W &prime; [ x , y ] s , W &prime; [ x , y ] i ) N i , 对i＝0，...3        (4)
其中，Ni是直方图i中数据点的总数。
由于摄像机传感器中的噪声，MAP决策规则可能无法给出空间一致的结果，因此使用61×61的窗来从邻域中所有的像素收集投票，并基于最大投票对中心像素进行分类。
3.0 实验结果
利用各种投影仪(包括InFocus LP530和Proxima DP6155)和各种视频摄像机(包括Aplex USB2、Logitech Pro4000和SONY EVI30)，在人工照明和自然照明条件下使用几何校准方法。基于对应性的解决单应性的拟合误差范围从0.3到0.7像素。
对于色彩校准，使用了SONY投影仪和EVI30摄像机。将估算的视觉回波E与实际捕捉的图像I进行比较，平均误差大约为3(色彩强度范围0～255)。大多数差异围绕在强边的区域周围，这是由于几何校准中的噪声。
图9示出了在各种背景上所得的视觉回波消除结果。可以看到，除非常复杂的背景上的部分之外，大多数书写内容都被恢复。然而，在这一情况下，即使人类的眼睛也很难辨别出书写内容。
为说明和描述目的提出了本发明的以上描述。它并不意味着本发明的全部或将本发明限于所解释的精确形式。鉴于上述教程，许多修改和变化都是可能的。本发明的范围并非由该详细描述，而是由所附权利要求书来限制。

Claims (25)

1.一种用于分割在白板工作表面上书写的书写内容的方法，其特征在于，它包括以下处理行动：
用摄像机捕捉白板的图像，所述图像包括投影在所述白板上的一个或多个项目以及书写在所述白板上的书写内容；以及
将投影在所述白板上的一个或多个项目和书写在所述白板上的书写内容分割成两个文件，其中将投影在所述白板上的一个或多个项目和书写在所述白板上的书写内容分割成两个文件包括以下处理行动：
通过几何校准确定在所述摄像机视域和投影在所述白板上的一个或多个项目之间的关系；
通过色彩校准确定书写在所述白板上的书写内容的色彩和在所述图像中捕捉到的书写在所述白板上的书写内容的色彩之间的关系；
使用所述几何校准和所述色彩校准的结果估算一视觉回波图像，它纠正了捕捉的图像以在几何和色彩上与所述白板匹配；
使用视觉回波消除，通过比较所捕捉的图像的反照率与所述视觉回波图像的反照率之比，来识别书写在所述白板上的书写内容。
2.如权利要求1所述的方法，其特征在于，它还包括将包含书写在所述白板上的书写内容的文件发送到远程参与者的处理行动。
3.如权利要求1所述的方法，其特征在于，它还包括存档包含书写在所述白板上的书写内容的文件的处理行动。
4.如权利要求1所述的方法，其特征在于，投影在所述白板上的所述一个或多个项目包括电子演示。
5.如权利要求1所述的方法，其特征在于，投影在所述白板上的所述一个或多个项目包括从远程参与者接收的注释。
6.如权利要求1所述的方法，其特征在于，所述视觉回波包括来自远程参与者的注释和投影的内容。
7.如权利要求1所述的方法，其特征在于，如果所捕捉的图像的反照率与所述视觉回波的反照率之比小于1，则当且仅当
1-(红、绿和蓝色彩通道的总和的反照率比)/3大于(红、绿和蓝色彩通道的像素方差之和)/(红、绿和蓝色彩通道的像素的视觉回波之和)时，给定的像素[x，y]属于所述书写内容。
8.如权利要求7所述的方法，其特征在于，对于属于所述书写内容的像素[x，y]，对一给定的色彩通道，所捕捉的图像中的色彩可以通过将其对给定通道的反照率比乘以255来纠正。
9.一种识别书写在白板上的内容的方法，其特征在于，它包括以下处理行动：
获取几何校准数据，它确定了白板和由摄像机捕捉的所述白板的视域之间的几何关系；
获取色彩校准数据，它确定了书写在所述白板上的书写内容的色彩与由所述摄像机捕捉的图像中书写在白板上的书写内容之间的色彩关系；
由所述摄像机捕捉具有投影的内容和书写在所述白板上的书写内容的所述白板的图像；
使用所述几何校准数据和所述色彩校准数据，通过纠正所捕捉的图像的色彩和几何结构，计算所捕捉的图像的视觉回波；以及
使用所捕捉的图像的反照率与所述视觉回波的反照率之比来识别所述白板上的书写内容。
10.如权利要求9所述的方法，其特征在于，它还包括以下处理行动：
分割出所识别的书写内容；以及
将所分割的书写内容发送到一远程场所用于显示。
11.如权利要求9所述的方法，其特征在于，它还包括以下处理行动：
分割出所识别的书写内容；以及
保存所分割的书写内容用于以后的察看。
12.如权利要求9所述的方法，其特征在于，获取几何校准数据包括以下处理行动：
将一矩形图案序列投影到所述白板上，并同时捕捉图像序列中的所述矩形图案序列；
检测用所述摄像机捕捉的图像序列中的所述矩形图案的角；以及
使用在所述角在所述图像序列中的位置和所述白板上的矩形图案的角之间的对应关系，来估算一单应性，它定义了所述摄像机视域与所述白板之间的几何关系。
13.如权利要求12所述的方法，其特征在于，检测所述角包括以下处理行动：
将所述图像转换成灰度级图像；
使用边缘检测来检测所述灰度级图像中的矩形的边缘，由此创建一边缘图；
使用Hough变换来检测所述边缘图上的直线；
使用所检测的直线对每一所述矩形拟合一四边形；以及
找出所述四边形的角。
14.如权利要求9所述的方法，其特征在于，获取所述色彩校准数据包括以下处理行动：
将红、绿、蓝色彩空间量化成箱；
对于所量化的色彩集合的每一个，
将一已知色彩投影到被划分成子区域的整个白板上；
用所述摄像机拍摄投影到所述白板上的所述已知颜色的n个图像，并储存所述n个图像；
使用由所述几何校准找出的单一性将所述n个图像的每一个扭曲变换成白板坐标；
跨每一子区域的n个帧，计算每一色彩的均值和方差；以及
对所述已知色彩，创建每一子区域的均值和方差的查找表。
15.如权利要求9所述的方法，其特征在于，如果所捕捉的图像的反照率与所述视觉回波的反照率之比等于1，则没有在所述白板上书写任何内容。
16.如权利要求9所述的方法，其特征在于，如果所捕捉的图像的反照率与所述视觉回波的反照率之比小于1，则在所述白板上书写了书写内容。
17.如权利要求9所述的方法，其特征在于，如果所捕捉的图像的反照率与所述视觉回波的反照率之比小于1，则当且仅当
1-(红、绿和蓝色彩通道的总和的反照率比)/3大于(红、绿和蓝色彩通道的像素方差之和)/(红、绿和蓝色彩通道的像素的视觉回波之和)时，给定像素[x，y]属于所述书写内容。
18.如权利要求17所述的方法，其特征在于，对于属于所述书写内容的像素[x，y]，对一给定的色彩通道，所捕捉的图像中的色彩可通过将所述给定通道的反照率比乘以255来纠正。
19.一种用于分割在白板工作表面上书写的书写内容的系统，其特征在于，它包括：
一摄像机，它捕捉白板的一个或多个图像，所述图像包括投影在所述白板上的一个或多个项目以及书写在所述白板上的书写内容；以及
一视觉回波消除模块，用于将投影在所述白板上的一个或多个项目以及书写在所述白板上的书写内容分割成两个文件，所述用于将投影在所述白板上的一个或多个项目以及书写在所述白板上的书写内容分割成两个文件的视觉回波消除模块包括用于以下操作的子模块：
获取几何校准数据，它确定了白板和由摄像机捕捉的所述白板视域之间的几何关系；
获取色彩校准数据，它确定了书写在所述白板上的书写内容的色彩与由所述摄像机捕捉的图像中书写在所述白板上的书写内容的色彩之间的色彩关系；
由所述摄像机捕捉具有投影的内容和书写在所述白板上的书写内容的所述白板的图像；
使用所述几何校准数据和所述色彩校准数据，通过纠正所捕捉的图像的色彩和几何结构，计算所捕捉的图像的视觉回波；以及
使用所捕捉的图像的反照率与所述视觉回波的反照率之比来识别所述白板上的书写内容。
20.如权利要求19所述的系统，其特征在于，它还包括：
远程场所，它具有一显示屏，用于显示投影在所述白板上的一个或多个项目以及书写在所述白板上的书写内容；以及
网络，用于将投影在所述白板上的一个或多个项目以及书写在所述白板上的书写内容发送到所述远程场所。
21.如权利要求20所述的系统，其特征在于，书写在所述白板上的书写内容和投影在所述白板上的一个或多个项目以两个单独的文件被发送到所述远程场所。
22.如权利要求20所述的系统，其特征在于，所述远程场所具有向所述白板发回注释的能力，以便与投影在所述白板上的一个或多个项目一起显示。
23.如权利要求19所述的系统，其特征在于，如果所捕捉的图像的反照率与所述视觉回波的反照率之比小于1，则当且仅当：
1-(红、绿和蓝色彩通道的总和的反照率比)/3大于(红、绿和蓝色彩通道的像素方差之和)/(红、绿和蓝色彩通道的像素的视觉回波之和)时，给定像素[x，y]属于所述书写内容。
24.如权利要求23所述的系统，其特征在于，对属于所述书写内容的像素[x，y]，对一给定的色彩通道，所捕捉的图像中的书写内容的色彩通过将所述给定通道的反照率比乘以255来纠正。
25.如权利要求24所述的系统，其特征在于，对属于所述书写内容的像素[x，y]，对一给定的色彩通道，所捕捉的图像中的色彩可通过以下来纠正：
选择对应于用于在所述白板上做标记的最常用的记号笔的四个类别的颜色；
恢复所述书写内容；
对红、绿和蓝色彩通道，纠正所捕捉的图像中的书写内容的色彩；
将所述书写内容的色彩从红、绿和蓝色彩空间转换到色调、饱和度和强度色彩空间，以创建一新图像；
手动地定义对应于所述四种类别颜色的书写内容，并按照色调、饱和度和强度来对这些书写内容建直方图；以及
基于所述直方图，评估所述新图像中的每一像素属于所述四种类别之一的概率。
CNB2005100094851A 2004-02-17 2005-02-17 投影仪－摄像机－白板系统中视觉回波消除系统和方法 Expired - Fee Related CN100527825C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/780,209 US7496229B2 (en) 2004-02-17 2004-02-17 System and method for visual echo cancellation in a projector-camera-whiteboard system
US10/780,209 2004-02-17

Publications (2)

Publication Number Publication Date
CN1680867A CN1680867A (zh) 2005-10-12
CN100527825C true CN100527825C (zh) 2009-08-12

Family

ID=34701443

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100094851A Expired - Fee Related CN100527825C (zh) 2004-02-17 2005-02-17 投影仪－摄像机－白板系统中视觉回波消除系统和方法

Country Status (5)

Country Link
US (1) US7496229B2 (zh)
EP (1) EP1564682A3 (zh)
JP (1) JP2005253067A (zh)
KR (1) KR101040865B1 (zh)
CN (1) CN100527825C (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007007227A2 (en) * 2005-07-11 2007-01-18 Philips Intellectual Property & Standards Gmbh Method of controlling a control point position on a command area and method for control of a device
US7794090B2 (en) * 2006-01-24 2010-09-14 Seiko Epson Corporation Efficient dual photography
US7880719B2 (en) * 2006-03-23 2011-02-01 International Business Machines Corporation Recognition and capture of whiteboard markups in relation to a projected image
US20080002160A1 (en) * 2006-06-30 2008-01-03 Nelson Liang An Chang System and method for generating and displaying sub-frames with a multi-projector system
JP5162855B2 (ja) * 2006-07-18 2013-03-13 富士ゼロックス株式会社 画像処理装置、遠隔画像処理システム及び画像処理方法
KR100844129B1 (ko) * 2006-09-13 2008-07-04 한국전자통신연구원 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체
US7924305B2 (en) 2006-09-15 2011-04-12 Hewlett-Packard Development Company, L.P. Consistent quality for multipoint videoconferencing systems
US8125510B2 (en) 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
US20090119593A1 (en) * 2007-11-01 2009-05-07 Cisco Technology, Inc. Virtual table
US8838489B2 (en) 2007-12-27 2014-09-16 Amazon Technologies, Inc. On-demand generating E-book content with advertising
US8929586B2 (en) * 2008-05-09 2015-01-06 Hartford Fire Insurance Company System and method for detecting potential property insurance fraud
US20090309853A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Electronic whiteboard system and assembly with optical detection elements
US8275197B2 (en) 2008-06-14 2012-09-25 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events
US8149279B2 (en) * 2008-08-18 2012-04-03 Apple Inc. Apparatus and method for compensating for variations in digital cameras
CN101770353A (zh) * 2008-12-30 2010-07-07 上海京城高新技术开发有限公司 一种电子白板显示处理方法
US8619178B2 (en) * 2009-01-28 2013-12-31 Hewlett-Packard Development Company, L.P. Image rendition and capture
US8488042B2 (en) * 2009-01-28 2013-07-16 Hewlett-Packard Development Company, L.P. Systems for capturing images through a display
NO332210B1 (no) * 2009-03-23 2012-07-30 Cisco Systems Int Sarl Grensesnittenhet mellom videokonferansekodek og interaktiv whiteboard-tavle
US8542267B1 (en) * 2009-10-01 2013-09-24 Hewlett-Packard Development Company, L.P. Calibrating a visual-collaborative system
KR20110069958A (ko) 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
CN101753994B (zh) * 2009-12-31 2015-06-03 马宇尘 场景录制传播方法及其系统
JP5541679B2 (ja) * 2010-01-05 2014-07-09 キヤノン株式会社 画像処理装置及び方法、並びに、プログラム
JP2011205615A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 描画画像共有装置、描画画像共有方法、プログラムおよび記録媒体
JP5771981B2 (ja) * 2010-03-15 2015-09-02 株式会社リコー 描画画像共有装置、データ処理方法、プログラムおよび記録媒体
JP5563390B2 (ja) * 2010-06-30 2014-07-30 キヤノン株式会社 画像処理装置およびその制御方法、及びプログラム
CN101907953A (zh) * 2010-07-02 2010-12-08 东莞市日新传导科技股份有限公司 交互式投影设备及其投影方法
US20120050302A1 (en) * 2010-08-31 2012-03-01 Texas Instruments Incorporated Method and apparatus for enhancing a white-board
US8988489B2 (en) 2010-09-15 2015-03-24 Hewlett-Packard Development Company, L. P. Determining a synchronization relationship
US8878894B2 (en) 2010-09-15 2014-11-04 Hewlett-Packard Development Company, L.P. Estimating video cross-talk
CN102446345B (zh) * 2010-09-30 2015-09-30 株式会社理光 一种对于白板彩色图像进行颜色增强的方法、装置及系统
JP5633320B2 (ja) * 2010-11-05 2014-12-03 株式会社リコー 描画画像共有装置
US8896692B2 (en) * 2010-11-10 2014-11-25 Ricoh Company, Ltd. Apparatus, system, and method of image processing, and recording medium storing image processing control program
JP6014995B2 (ja) * 2010-11-25 2016-10-26 株式会社リコー 画像処理装置、及び画像処理プログラム
JP2012134959A (ja) * 2010-11-29 2012-07-12 Ricoh Co Ltd 画像処理装置、及び画像処理プログラム
US8655071B2 (en) * 2011-02-24 2014-02-18 Sharp Laboratories Of America, Inc. Methods and systems for determining a document region-of-interest in an image
CN102651810A (zh) * 2011-02-25 2012-08-29 株式会社理光 白板共享系统和白板共享方法
US20140139668A1 (en) * 2011-08-02 2014-05-22 David Bradley Short Projection capture system and method
JP6281857B2 (ja) * 2012-01-13 2018-02-21 株式会社ドワンゴ 映像システム、および撮影方法
EP2637353B1 (en) * 2012-03-06 2016-05-18 Alcatel Lucent A system for remote collaboration
US9001183B2 (en) * 2012-06-15 2015-04-07 Cisco Technology, Inc. Adaptive switching of views for a video conference that involves a presentation apparatus
US9088688B2 (en) 2012-09-05 2015-07-21 Cisco Technology, Inc. System and method for collaboration revelation and participant stacking in a network environment
CN104769563B (zh) * 2012-11-09 2018-03-06 日立麦克赛尔株式会社 影像信息终端装置和影像显示系统
US8805068B2 (en) * 2012-12-13 2014-08-12 Microsoft Corporation Automatic classification and color enhancement of a markable surface
US9148573B2 (en) * 2013-03-15 2015-09-29 Hewlett-Packard Development Company, L.P. Non-uniform correction illumination pattern
CN104079862A (zh) * 2013-03-30 2014-10-01 深圳市潮流网络技术有限公司 一种视频电子白板业务实现方法及装置
JP5796596B2 (ja) * 2013-04-26 2015-10-21 コニカミノルタ株式会社 支援方法、支援システム、制御装置、画像形成装置、および支援プログラム
JP2014220720A (ja) * 2013-05-09 2014-11-20 株式会社東芝 電子機器、情報処理方法及びプログラム
US9489114B2 (en) * 2013-06-24 2016-11-08 Microsoft Technology Licensing, Llc Showing interactions as they occur on a whiteboard
US9883138B2 (en) 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience
US9762855B2 (en) 2014-03-18 2017-09-12 Getgo, Inc. Sharing physical whiteboard content in electronic conference
CN105302283B (zh) * 2014-06-06 2019-05-07 洪水和 映射投影的控制系统及其控制方法
TWI589160B (zh) * 2015-01-09 2017-06-21 廣達電腦股份有限公司 視訊會議系統及其互動顯示方法
US10268886B2 (en) 2015-03-11 2019-04-23 Microsoft Technology Licensing, Llc Context-awareness through biased on-device image classifiers
US20160267349A1 (en) * 2015-03-11 2016-09-15 Microsoft Technology Licensing, Llc Methods and systems for generating enhanced images using multi-frame processing
US10055672B2 (en) 2015-03-11 2018-08-21 Microsoft Technology Licensing, Llc Methods and systems for low-energy image classification
CN106570834B (zh) * 2016-10-26 2019-11-12 东南大学 一种用于像素调制可见光通信系统的图像矫正方法
US20180232192A1 (en) * 2017-02-14 2018-08-16 Samson Timoner System and Method for Visual Enhancement, Annotation and Broadcast of Physical Writing Surfaces
JP6842329B2 (ja) * 2017-03-24 2021-03-17 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置
US10284815B2 (en) * 2017-07-26 2019-05-07 Blue Jeans Network, Inc. System and methods for physical whiteboard collaboration in a video conference
WO2019067704A1 (en) 2017-09-27 2019-04-04 Dolby Laboratories Licensing Corporation VIDEO PROCESSING COMPRISING A PHYSICAL WRITE SURFACE
US20190220699A1 (en) * 2018-01-15 2019-07-18 Gyrfalcon Technology Inc. System and method for encoding data in an image/video recognition integrated circuit solution
JP2020098420A (ja) * 2018-12-17 2020-06-25 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10976983B2 (en) 2019-03-26 2021-04-13 International Business Machines Corporation Smart collaboration across multiple locations
US11206294B2 (en) 2020-03-31 2021-12-21 Konica Minolta Business Solutions U.S.A., Inc. Method for separating local and remote content in a camera-projector based collaborative system
WO2021257918A1 (en) * 2020-06-18 2021-12-23 Radyx Ventures, Llc Improved technique for natural whiteboard collaboration
CN112050752B (zh) * 2020-09-02 2022-03-18 苏州东方克洛托光电技术有限公司 一种基于二次投影的投影仪标定方法
US11982926B2 (en) 2021-06-25 2024-05-14 Konica Minolta Business Solutions U.S.A., Inc. Method for eliminating video echo in a projector-camera based remote collaborative system
WO2023122537A1 (en) * 2021-12-20 2023-06-29 Canon U.S.A., Inc. Apparatus and method for enhancing a whiteboard image

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239373A (en) * 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
JPH06261317A (ja) * 1993-03-08 1994-09-16 Nippon Telegr & Teleph Corp <Ntt> 遠隔共有空間を構成する映像システム
JPH07129322A (ja) * 1993-09-07 1995-05-19 Sony Corp コンピュータディスプレイシステム
US6388654B1 (en) * 1997-10-03 2002-05-14 Tegrity, Inc. Method and apparatus for processing, displaying and communicating images
JP2000122767A (ja) * 1998-10-14 2000-04-28 Nippon Telegr & Teleph Corp <Ntt> 同室感を持つ共有空間作成方法及び装置ならびに通信システム
WO2002043390A2 (en) * 2000-11-06 2002-05-30 Jianbo Shi Paper-based remote sketching system
CA2438739C (en) 2001-02-16 2009-12-29 Imatte, Inc. Interactive teleconferencing display system
JP4037128B2 (ja) * 2001-03-02 2008-01-23 株式会社リコー 投影型表示装置、及びプログラム
JP4620909B2 (ja) 2001-07-26 2011-01-26 日東光学株式会社 画像入出力装置
US6802611B2 (en) * 2002-10-22 2004-10-12 International Business Machines Corporation System and method for presenting, capturing, and modifying images on a presentation board

Also Published As

Publication number Publication date
KR20060041840A (ko) 2006-05-12
KR101040865B1 (ko) 2011-06-14
EP1564682A2 (en) 2005-08-17
EP1564682A3 (en) 2014-12-03
JP2005253067A (ja) 2005-09-15
US20050180631A1 (en) 2005-08-18
CN1680867A (zh) 2005-10-12
US7496229B2 (en) 2009-02-24

Similar Documents

Publication Publication Date Title
CN100527825C (zh) 投影仪－摄像机－白板系统中视觉回波消除系统和方法
US7426297B2 (en) System and method for real-time whiteboard capture and processing
US7880719B2 (en) Recognition and capture of whiteboard markups in relation to a projected image
CN109804622B (zh) 红外图像流的重新着色
KR100995218B1 (ko) 화이트보드 콘텐츠의 개선된 데이터 스트림 생성용 컴퓨터구현 처리방법, 시스템 및 컴퓨터 판독가능 기록 매체
CN104284133B (zh) 用于白板协作的系统和方法
CN1477590B (zh) 用于白色书写板和音频捕获的一个系统和方法
US7254268B2 (en) Object extraction
US7468742B2 (en) Interactive presentation system
US20180232192A1 (en) System and Method for Visual Enhancement, Annotation and Broadcast of Physical Writing Surfaces
CN110222694B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN110809769B (zh) 智能白板协作系统和方法
CN102147684B (zh) 一种触摸屏屏幕扫描方法及其系统
CN103546803A (zh) 一种图像处理的方法、客户端和图像处理的系统
US20200304713A1 (en) Intelligent Video Presentation System
CN113302915A (zh) 在视频会议中共享物理书写表面
Chen et al. Robust detection of dehazed images via dual-stream CNNs with adaptive feature fusion
CN109076251A (zh) 远程会议传输
US11893791B2 (en) Pre-processing image frames based on camera statistics
WO2021226821A1 (en) Systems and methods for detection and display of whiteboard text and/or an active speaker
Duque et al. Color and quality enhancement of videoconferencing whiteboards
Zhou et al. Visual echo cancellation in a projector-camera-whiteboard system
Verdon Indexicality or Technological Intermediate? Moving Image Representation, Materiality, and the Re
Yuan et al. Optimal radiometric calibration for camera-display communication
CN112668396A (zh) 一种二维虚假目标识别方法、装置、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150423

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150423

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090812

Termination date: 20210217

CF01 Termination of patent right due to non-payment of annual fee