CN102150430B - 视频处理和远程呈现系统及方法 - Google Patents

视频处理和远程呈现系统及方法 Download PDF

Info

Publication number
CN102150430B
CN102150430B CN2009801367299A CN200980136729A CN102150430B CN 102150430 B CN102150430 B CN 102150430B CN 2009801367299 A CN2009801367299 A CN 2009801367299A CN 200980136729 A CN200980136729 A CN 200980136729A CN 102150430 B CN102150430 B CN 102150430B
Authority
CN
China
Prior art keywords
video
pixel
coder
video flowing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009801367299A
Other languages
English (en)
Other versions
CN102150430A (zh
Inventor
伊恩·克里斯托弗·奥康奈尔
阿莱克·豪斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Musion IP Ltd
Original Assignee
Musion IP Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB0821996.6A external-priority patent/GB0821996D0/en
Application filed by Musion IP Ltd filed Critical Musion IP Ltd
Publication of CN102150430A publication Critical patent/CN102150430A/zh
Application granted granted Critical
Publication of CN102150430B publication Critical patent/CN102150430B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

编译码器，包括接收连续的视频流的视频输入端(33)，将所述视频流编码以产生已编码视频流的编码器(42)，传输所述视频流的视频输出端(37)以及切换装置(39)。所述切换装置用来在编码过程中将所述已编码视频流在第一模式和第二模式之间切换，在所述第一模式中，所述视频流根据第一编码格式被编码，在所述第二模式中，所述视频流根据第二编码格式被编码。本发明还涉及将所述视频流解码的相应的编译码器。在另一方面，本发明涉及识别在视频影像内的对象的轮廓的处理器。

Description

视频处理和远程呈现系统及方法
技术领域
本发明涉及视频处理，特别但非仅涉及视频编译码器和视频处理器，其用于远程呈现系统以产生“实时”佩珀尔幻象和/或从所拍摄对象后面的背景剔出(键出)来的该对象的影像(以下称为“剔出的对象影像”)。
背景技术
在传统的远程呈现系统中，把在一个位置捕捉到的、完整的在其背景内的对象的视频影像通过例如互联网或多协议标记交换(MPLS)网传输至远程位置，所述对象和背景的影像在所述远程位置以佩珀尔幻象的形式被投影或以其他形式被显示。可进行所述传输以致能在所述远程位置产生“实时”影像或至少假实时影像，以在该远程位置给所述对象“远程呈现”。所述视频的传输通常包括使用预先设定的编译码器在所述系统的各传输端和接收端将视频编码和/或解码。
通常，编译码器包括的软件将所述视频(包括音频)流加密并压缩成数据包以作传输。编码方法包括接收所述视频流并将其编码为隔行信号(interlaced signal)或逐行信号(progressive signal)(也可包括压缩技术)。
已发现从逐行视频信号产生的大体上静止的对象的剔出的对象影像或佩珀尔幻象产生清楚而仔细的影像。然而，在相等的每秒显示帧数(fps)下，逐行信号的大小是隔行信号大小的两倍，并且在远程呈现系统中，在一个位置捕捉到的所述视频影像通过有限带宽的通信线路传输至另一位置，传输大的逐行信号可以导致延时/不一致，令投影的“实时”影像中产生不想要的失真。例如，如果所述视频的对象正在移动，则所述剔出的对象或佩珀尔幻象可能显得不流畅，所述延时可能导致在所述剔出的对象或佩珀尔幻象与真人的互动上产生可察觉的延迟或者通信线路中的瓶颈可能产生视频的临时空白帧和/或音频丢失。这降低了所述对象的远程呈现的逼真感。
有可能通过压缩所述视频流或使用隔行视频信号去编码来减少这种信号延迟。一般而言，未经处理的BP标准分辨率(SD)流是每秒270Mb并能被压缩成每秒1.5至2Mb、720P能被压缩成每秒2至3Mb之间以及1080P能被压缩成每秒4和10Mb之间。
然而，压缩视频流导致原始数据的完整性中某些部分被丢失或在某种程度上降级。例如，压缩HD视频流通常致使影像颜色饱和度变淡，对比度降低并且由于镜头焦点明显的或可察觉到的丢失而使对象本体的周围出现动态模糊。在对象物体突然或快速地向左或向右移动以及视频影像具有高对比度的情况下，这种明显的影像柔化在影像变暗的细节区域，例如眼窝，是最明显的。
由于隔行视频信号在相同的帧率(fps)下使用逐行信号一半的带宽，所以可使用隔行信号来减少信号延时，同时保持剔出的对象或佩珀尔幻象流畅移动的表现。然而，隔行视频信号的奇数行和偶数行之间的隔行切换效应减低了图像的垂直分辨率(resolution)的质量。这能通过使影像模糊(边缘柔化)来补偿，然而采用这种边缘柔化减损了影像的清晰度。
隔行信号比逐行信号具有的优点是：因为隔行信号每帧使用两个场，自隔行信号产生的影像中的动态比自逐行信号产生的影像中的动态显得更加流畅。由于减少了动态的捕捉以及逐行地显示所述视频的全帧，所以使用逐行视频信号产生的剔出的对象影像或佩珀尔幻象看来会更扁平，因而不如使用隔行视频信号产生的影像般逼真。然而，由于自逐行信号产生的影像对于静态图像来说具有更光滑、更清晰的轮廓边，所以文字和图像，尤其是静态图形，能使用逐行视频信号来产生而受益。
因此，不管预先设定编译码器使用哪种编码格式，都有可能在所产生的剔出的对象或佩珀尔幻象中出现不理想的效果。这对于在公共/大型活动时产生远程呈现尤其是个难题，其中要拍摄例如舞台上的情节，以及系统要求都可能在整个制作过程中显著地变化。
对于某些远程呈现系统(下文称为“拟真的远程呈现系统”)来说，从在一个位置捕捉的，被剔出背景的对象的视频影像(剔出的对象影像)被发送至远程位置，在那里所述剔出的影像被显示为剔出的对象影像和/或佩珀尔幻象，有可能在所述远程位置的真实对象旁。这能被用于形成所述剔出的影像的对象实际上存在于所述远程位置的幻觉。非所述对象的影像区域包括黑色，理想的是在其最纯的色(即，非灰色)。然而，所述剔出的对象影像的处理和传输有可能被错误的视频信号污染所述影像的黑色区域，产生失真例如斑点、低亮度和带有颜色的干扰，其削弱了拟真的远程呈现的体验。
发明内容
根据本发明的第一方面，本发明提供了编译码器，包括接收连续的视频流的视频输入端，将所述视频流编码以产生已编码视频流的编码器，传输所述已编码视频流的视频输出端以及在所述视频流编码的过程中将所述编码器在第一模式和第二模式之间切换的切换装置，在所述第一模式中所述视频流根据第一编码格式被编码，在所述第二模式中所述视频流根据第二编码格式被编码。
根据本发明的第二方面，本发明提供了编译码器，包括接收已编码视频流的视频输入端，将所述已编码视频流解码以产生已解码视频流的译码器，传输所述已解码视频流的视频输出端以及在所述已编码视频流的解码过程中将所述译码器在第一模式和第二模式之间切换的切换装置，在所述第一模式中所述已编码视频流根据第一编码格式被解码，在所述第二模式中所述已编码视频流根据第二编码格式被解码。
本发明的一个优点是所述编译码器能够中途进行切换以将所述视频流以不同的格式编码以适于所拍摄影片的长度、网络性能，例如可用带宽，和/或其他外部因素。所述切换装置可对外部控制信号作出反应以将所述编码器/译码器在所述第一模式和所述第二模式之间切换。例如，可在探测到特定条件时自动地或者由用户，例如主持人、演员或其他控制员操作按钮/开关而产生所述外部控制信号。
所述编译码器可被设置成传输和接收来自/到达相应的编译码器的控制信息，所述编译码器从所述相应的编译码器接收所述已编码视频流/把所述已编码视频流传输至相应的编译码器，所述控制信息包括将所述视频流编码所用的编码格式的指示。所述编译码器可被设置成应接收到的控制信息而在模式之间切换。
所述编码格式可将所述视频信号编码为逐行，例如720p、1080p，或隔行，例如1080i，的视频信号，将所述视频流以特定帧率，例如每秒24至120帧编码，和/或将所述视频信号压缩，例如根据某个特定的色彩压缩标准，例如3∶1∶1、4∶2∶0、4∶2∶2或4∶4∶4编码或者根据以获得特定的输入/输出数据速率来编码，例如在1.5和4Mb/s之间。因而，所述编译码器可在适当时在逐行和隔行信号、不同的帧率和/或压缩标准之间切换。
应该理解的是，不同的位传输率格式，例如MPEG，在本文所用的术语的含义内是单一的编码格式。
根据本发明的第三方面，本发明提供了远程呈现系统，包括拍摄被显示为剔出的对象和/或佩珀尔幻象的对象的摄像机，接收所述摄像机产生的视频流并输出已编码视频流的根据本发明第一方面的第一编译码器，把所述已编码视频流传输至根据本发明第二方面在远程位置的第二编译码器的装置，该第二编译码器被设置成将所述已编码视频信号解码并把该已解码视频信号输出至装置以基于所述已解码视频信号生成剔出的对象影像和/或佩珀尔幻象，以及被设置成产生控制信号以使得所述第一编译码器在所述第一模式和所述第二模式之间切换的用户操作切换开关。
这种系统允许操作员，例如导演、主持人、演员等基于所拍摄的情节而控制编码方法。例如，如果对象很少移动，操作员可选择提供很少压缩或没有压缩的逐行信号的格式，而当对象显著地移动时，操作员可选择提供隔行信号的格式，并可选择地作出高压缩。
用户操作的切换开关可进一步被设置成产生使得所述第二编译码器在所述第一模式和所述第二模式之间切换的控制信号。或者，所述第二编译码器可被设置成自动地确定所述已编码视频流的编码格式，并进行切换以使用正确的(第一或第二)模式将所述已编码视频流解码。
根据本发明的第四方面，本发明提供了产生对象的远程呈现的方法，包括拍摄所述对象以产生连续的视频流，把所述视频流传输至远程位置以及在所述远程位置根据所传输的视频流生成剔出的影像和/或佩珀尔幻像，其中传输所述视频流包括在传输所述视频流的过程中基于所拍摄的情节的变化从多个编码格式中选择不同的格式以及在传输过程中把所述编码格式改变为所选择的编码格式。
被拍摄的情节的变化可为所述对象的移动、额外的对象进入视频帧、所述对象照明的变化、所述被拍摄对象与在所述远程位置的人的互动程度的变化、加入文字或图像或所拍摄/形成视频的情节的其他合适的变化。
根据本发明的第五方面，本发明提供了远程呈现系统，包括拍摄显示为剔出的影像和/或佩珀尔幻象的对象的摄像机，把已编码视频流和与生成剔出的影像和/或佩珀尔幻象有关的更多数据传输至远程位置的通信线路，使用所传输视频流产生剔出的影像和/或佩珀尔影像的位于所述远程位置的装置以及在带宽不是用于传输所述更多数据时分配所述通信线路的带宽以传输所述视频信号的切换装置。
本发明的第五方面的系统的优点是其将可用的带宽集中起来以获得更逼真的剔出的影像和/或佩珀尔幻象。例如，所述更多数据可为数据，例如音频流，其是需要给被拍摄对象与所述远程位置的人，例如观众，之间互动时用上以及所述需传输的更多数据的量可随互动程度的变化而改变。
根据本发明的第六方面，本发明提供了视频处理器，其包括接收视频流的视频输入端，传输已处理的视频流的视频输出端，其中所述处理器被设置成通过扫描各帧的像素以识别邻近一些像素或像素组，而其中所述邻近像素或像素组的属性之间的相对差异是高于预定水平，和把所述轮廓限定为这些像素或像素组之间的连续的线，来识别所述视频流的各帧中的对象的轮廓，并且使落在所述轮廓之外的像素成为预先选定的颜色，优选为黑色。
由于所述本发明的第六方面的视频处理器能自动地剔出所述视频流的各帧中的对象而消除在所述对象的轮廓之外的噪点失真(noise artefact)，所以是有利的。所述视频处理器可被设置成大体上实时地处理所述视频流以致能连续地传输(或至少显示)所述视频流。
所述相对差异可为亮度和/或色彩的对比度，代表所述对象的像素或像素组看起来比代表周围深色背景的像素或像素组为明亮。如果视频中的对象有背光以在所述对象的周围形成明亮的光缘(rim of light)(这在远程呈现的照明布置中相当常见)，则可增强这种对比度。
所述相对差异可为在所述邻接的像素或像素组中捕捉到的特征光谱的差异。特别是，像素的特征光谱可为所述像素的不同频率成分，例如红、蓝、绿(RGB)，的相对强度。例如，可用灯从后面照亮所述视频中的对象，所述灯发出的光与照亮所述对象前面的灯发出的光带有不同的频率光谱。因此，各像素的频率成分的相对强度将取决于该像素所代表的区域大部分是由面光灯还是由背光灯照亮。在邻近像素或像素组的频率成分的相对强度有高于预定水平的变化时，能识别所述对象的轮廓。例如，白色的LED可在非常特定的频率产生锐峰，从而导致像素的特征光谱与宽频波段上产生光的光源，例如钨丝灯，所生成的特征光谱不同。
识别所述轮廓可包括确定预先设定的连续像素数量，其具有的属性(例如亮度和/或色彩)与邻近的预先设定的连续像素数量的属性成对比。通过把所述预先设定的像素数量设定为合适的阈值，所述处理器不会把零星的噪点错误地识别为所述对象的轮廓(噪点所产生的像素失真的数量大大少于即使是所述对象的小物体所产生的像素的数量)。在一个实施例中，所述视频处理器带有调整预先设定数量(即调整阈值，在该阈值对比像素被视为由所述对象的存在而非噪点失真导致)的装置。
所述处理器可被设置成修改所述帧以沿着已识别的轮廓提供带有高相对亮度的像素行。各高相对亮度的像素可带有其所替代的相应像素具有相同的色彩。由于所述对象周围的明亮的光缘可有助于形成所述影像是3D而非2D影像的幻觉，所以使用高亮度像素可增强已处理视频流所形成的剔出的对象影像和/或佩珀尔幻像的逼真感。此外，通过让高亮度像素使用相同的色彩，高亮度像素的应用不会使所述影像不逼真。
在一种布置中，识别所述对象的轮廓包括降低所述帧的色彩位深以生成降低了色彩位深的帧，扫描所述降低了色彩位深的帧以识别帧中包含对比度高于预定水平的像素或像素组的区域，在与降低了位深的帧的识别区域对应的原始帧(色彩位深还未被降低的帧)的区域内扫描像素，以识别对比度高于预定水平的像素或像素组并把所述轮廓限定为这些像素或像素组之间的连续的线。
由于能够首先以较低的粒度在降低了色彩位深的帧进行扫描并且仅需要于所述原始帧的识别区域以高粒度扫描，所以所述布置是有利的。这样，可更快地识别出轮廓。
根据本发明的第七方面，本发明提供了存储有指令的数据载体，在处理器执行所述指令时，所述数据载体使得所述处理器接收视频流，通过扫描各帧的像素以识别邻近的像素或像素组，而其中所述邻近的像素或像素组的属性之间的相对差异是高于预定水平，和把轮廓限定为这些像素或像素组之间的连续的线，来识别所述视频流的各帧中的对象的轮廓，并且使落在所述轮廓之外的像素成为预先选定的颜色，优选为黑色，并且传输所述已处理的视频流。
所述视频处理器可为根据本发明第一方面的编译码器的一部分，所述视频处理器在将所述视频流编码之前处理所述视频流，或者可位于将所述视频流编码的编译码器的上游。所述将对象从背景剔出/键出可允许使用更多的增强技术用作所述编译码器的编码程序的一部分。
根据本发明的第八方面，本发明提供了拍摄以佩珀尔幻像的形式被投影的对象的方法，该方法包括在带有照亮对象的前面的一个或多个面光灯和照亮对象的背面的一个或多个背光灯的照明布置下拍摄所述对象，其中所述面光灯发出的光所带有的特征频率光谱与所述背光灯发出的光的特征频率光谱不同。
所述面光灯可为发出宽频带的光的灯，例如钨丝灯或卤素灯，或者为发出分散在可见光光谱中具有许多频率(至少多于两个)尖峰的光的灯，例如弧光灯。所述背光灯可为在一个或两个特定频率发光的灯，例如LED灯。然而，可以理解的是在不同的实施例中，所述面光灯可为LED灯，所述背光灯可为钨丝灯、卤素灯或弧光灯。
在替代性实施例中，所述面光灯和背光灯是同一类型的灯但被设置成发出的光带有以不同频率为中心的频率光谱。例如，所述面光灯和背光灯可为弧光灯，所述面光灯被设置成发出白光而所述背光灯被设置成发出蓝光。由于在所产生的片段中捕捉主要由所述背光灯照亮的区域的像素中缺少光谱的黄色部分，这会再次在特征频率光谱中形成差异。
在另一实施例中，所述面光灯和背光灯可被设置成发出在正常人类视力范围之外的不同频率的光，但所述光能在合适的装置中被探测到，例如红外线或紫外光。
所述方法可包括对所产生的片段进行光谱分析以识别所述对象的轮廓。可使用根据本发明第六方面的视频处理器进行所述光谱分析。
所述方法可包括在开着所述背光灯和面光灯中其中之一盏并且关上其余的所述面光灯和背光灯时测量存在的特征频率光谱以及通过识别影片中的像素来识别所产生的影片中对象的轮廓，其中所测量的特征频率光谱是在预先设定的阈值之上。
根据本发明的第九方面，本发明提供了视频处理器，包括接收视频流的视频输入端，传输已处理视频流的视频输出端，其中所述处理器被设置成通过扫描各帧的像素以识别邻近的像素或像素组，而其中所述邻近的像素或像素组的属性之间的相对差异是高于预定水平的，并且把这些像素或像素组的其中之一或二者都更改为具有比像素或像素组的原本亮度更高的亮度，来识别所述视频流的各帧中对象的轮廓。
根据本发明的第十方面，本发明提供了存储有指令的数据载体，在处理器执行指令时，所述数据载体使得所述处理器接收视频流，通过扫描各帧的像素识别邻近的像素或像素组，而其中所述邻近的像素或像素组的属性之间的相对差异由于与明亮的对象相比之下深色的背景而高于预先设定水平，并且把这些像素或像素组的其中之一或二者都修改成亮度比像素或像素组的原本亮度高，来识别所述视频流的各帧中对象的轮廓。
根据本发明的第十一方面，本发明提供了编译码器，包括接收对象的视频流的视频输入端，将所述视频流编码以产生已编码视频流的编码器以及传输所述已编码视频流的视频输出端，所述编码器被设置成通过识别所述对象的轮廓，例如以所述本发明的第六方面的方式，来处理所述视频流的各帧，以及将落在所述轮廓之内的像素编码而无需理会落在所述轮廓之外的像素以形成所述已编码视频流。
由于通过仅将所述对象编码并不理会各帧的剩余部分，可减少已编码视频信号的大小，所以所述本发明的第十一方面是有利的。这可有助于减少所需的带宽和传输过程中的信号延时。
通过过滤带有指定色彩或色彩范围，例如黑色或黑色至灰色的范围，的像素，或者具有亮度在指定程度之下的像素，可不理会落在所述轮廓之外的像素。或者，可从限定所述对象的轮廓的高亮度像素识别落在所述轮廓之外的像素并且无需理会所述高亮度像素的轮廓的一侧(外部)的像素。由于可保留所述对象中呈现为深色和/或低亮度的像素，避免所述对象的这些部分不必要地被柔化，所以利用高亮度像素作为指南去除不想要的背景是有利的。
所述编码器可包括多路复用所述视频流的多路复用器。落在所述对象的轮廓之内的像素可被分为多个部分并且各部分可作为频分多路复用(FDM)信号在各自的载体被传输。这有可能降低所述视频流所需的压缩需要(如有的情况下)。频分多路复用将提供更多带宽使得所述编译码器在减少压缩(如有的情况下)时在原始时基上拉所述视频流。这样，减少了信号延时而增加了所传输的信息。
在一个实施例中，所述编码器可包括缩放器(scalar)以基于可用的带宽缩放所需的影像大小。例如，如果没有充足的带宽去携带4∶4∶4RGB信号，则可把所述影像缩放，将4∶4∶4RGB信号缩减至4∶2∶2YUV信号。这可能是需要用来减少信号延时，例如在所述剔出的对象和/或佩珀尔幻像与在显示所述剔出的对象和/或佩珀尔幻像的位置的人之间可进行“问答”环节时的信号延时。
在几乎各种环境中调整所述编码格式，例如压缩、帧率等将影响信号延时的程度。对于预先设定的编译码器来说，能通过适当的测量可预先确定信号延时以及考虑到所述信号延时在所述剔出的对象和/或佩珀尔幻像显示的位置同步视频和音频。然而，通过根据本发明的可切换编译码器，其中可在所述视频流的传输过程中改变所述编码格式，必须考虑信号延时的变化以保持音频和视频同步。此外，例如因为在所述网络，例如电信网络的路由选择上不可预测的变化，所以即使对于包括预先设定的编译码器的系统，所述信号延时在视频流的传输过程中和/或传输之间也确实会变化。
根据本发明的第十二方面，本发明提供了编译码器，包括接收视频流和相关音频流的视频输入端，将所述视频和音频流编码的编码器以及把已编码视频和音频流传输至另一编译码器的视频输出端，其中所述编译码器被设置成，在传输所述视频和音频流的过程中，定期把测试信号(因特网包探索器(ping))传输至另一编译码器，接收从所述另一编译码器对测试信号作出的回波反应(echo response)，从发送所述测试信号和接收到回波反应之间的时间确定传输至所述另一编译码器的信号延时以及为所确定的信号延时把适当的延迟引入所述或另外的音频流。
根据本发明的第十三方面，本发明提供了编译码器，包括从另一编译码器接收已编码视频流和相关音频流的视频输入端，将所述视频和音频流解码的译码器以及传输所述已解码视频和音频流的视频输出端，其中所述编译码器被设置成，在传输所述视频和音频流的过程中，应接收到测试信号(因特网包探索器(ping))而把回波反应传输至另一编译码器。
这样，所述编译码器能够补偿在所述两个编译码器之间传输而引起的信号延时的变化，保持所述视频和音频流的回波消除和/或同步。可把系统的其他部分的固定的时间延迟(即除在所述两个编译码器之间传输而引起的信号延时之外的所有部分)编程入根据本发明第十一方面所述的编译码器并且所述编译码器可通过把所确定的信号延时加至所述固定的时间延迟来确定引入所述音频流的合适延迟。例如，由于信号处理以及在所述剔出的对象和/或佩珀尔幻像的显示位置的音频和显示系统的延时，能引入更多的固定延时，并且这些延时可在传输所述音频和视频流之前被测量并把其预编程入所述编译码器。
根据本发明的第十四方面，本发明提供了传输用来显示为剔出的对象和/或佩珀尔幻像的多个视频流的系统，其包括编译码器，以接收所述多个视频流，将所述多个视频流编码并将已编码的多个视频流传输至远程位置，其中基于所述多个视频信号的其中之一个而将所述多个视频流为同步锁定(Genlocked)。
由于根据本发明的第十四方面的系统保证所述视频流在显示为剔出的影像或佩珀尔幻像时是同步的，所以是有利的。例如，所述系统可为通信联接系统的一部分，其中在一个位置拍摄多方/多个对象，并把所产生的多个视频流传输至另一位置。为了保证在显示视频流时视频流是同步的，所述编译码器将所述视频流同步锁定。
可以理解的是，本发明的各方面能够独立地或结合本发明的其他方面使用。
附图说明
现仅通过例子参照附图描述本发明的实施例，在附图中：
图1是根据本发明的实施例的远程呈现系统的概要示意图；
图2是根据本发明的实施例的编译码器的概要示意图；
图3是根据本发明的实施例的摄影设定的概要示意图；
图4是根据本发明的实施例的生成佩珀尔幻像的装置的概要示意图；
图5是视频影像的帧，概要地显示所述编译码器对所述帧的处理；
图6是在根据本发明的另一实施例的远程呈现系统的音频电子设备的概要示意图；以及
图7和8为灯光配置的示意图，其中灯光设定用于拍摄以佩珀尔幻象的形式被投影的对象。
具体实施方式
图1所示为根据本发明的实施例的远程呈现系统，其包括第一位置1和远离第一位置1的第二位置2，其中，在第一位置拍摄以佩珀尔幻象的形式被显示的对象，在第二位置2产生对象的佩珀尔幻象。数据通过双向通讯联接系统20在第一位置1和第二位置2之间通讯。双向通讯联接系统例如为互联网或多协议标记交换网(MPLS)，两者都可使用虚拟专用网络或类似网络。
参照图1、3、7和8，可为电影工作室的第一位置1包括摄像机12，其用于捕捉例如演员或会议参与者的对象104，以将其以佩珀尔幻象的形式投影在位置2。在互动的系统中，对象104与位于位置2的人互动，第一位置可包括半透明屏幕108(例如如第WO2005096095或第WO2007052005号专利所述的箔)和用于将影像投影至半透明屏幕108的平视显示器14，以致对象104能够在半透明屏幕108中看到投影影像的反射118。工作室的地面以黑色材料112覆盖以防止在摄像机的镜头中由于半透明屏幕108的存在而产生的眩光/闪光。
对象104被灯光布置照亮，该灯光布置包括面光灯(front light)403至409和背光灯410至416，面光灯用于照亮对象的前面(摄像机12所捕捉的对象的一侧)，背光灯用于照亮对象的背面和侧面。
面光灯403至409包括用于照亮对象104不同部分的灯，在本实施例中，其包括用于照亮对象的头部和躯干的一对高处面光灯403、404，以及用于照亮对象的腿部和脚部的一对低处面光灯405、406。面光灯还包括用于照亮对象的眼睛的高眼灯(higheyelights)407，以及用于消除对象的衣服上的阴影的两盏地面补光灯408、409。
背光灯410至416还包括用于照亮对象104不同部分的灯。在本实施例中，背光灯410至416包括用于照亮对象104的头部和躯干的高处背光灯410、411，以及用于照亮对象104的腿部和脚部的一对低处背光灯412，413。背光灯还包括用于照亮对象104头部和腰部的高处中央背光灯414。侧光灯415和416照亮对象104的侧面。
灯417和418从上方照亮对象104。例如为黑色墙壁的无花纹的背景幕布419提供了空白的背景幕布。
摄像机12包括广角变焦镜头和可调节的快门速度；帧速率可在25至120隔行每秒帧数(fps)之间调整；以及能够以高至60fps逐行进行拍摄。
摄像机12产生的未经处理的数据视频流输入至第一编译码器18的输入端53。编译码器18可与摄像机12成为一体，或者与其分离。在另一个实施例中，摄像机可向第一编译码器18输出逐行的、隔行的或其他预先格式化的视频流。
第一编译码器18将视频流编码(结合参考图2如下所述)，并且将已编码视频流通过通讯联接系统20传输至第二位置2。
现参照图1和4，第二位置2包括第二编译码器22，其接收已编码视频流并将所述视频流解码，以使用如图4所示的设备以佩珀尔幻象84的形式显示。
该设备包括投影机90，其接收由第二编译码器22输出的已解码视频流，并且向半透明屏幕92投影基于该已解码视频流的影像，该半透明屏幕被支撑在腿88和支索点96之间。优选地，投影机90为1080HD，并且既能够处理逐行的视频流，也能够处理隔行的视频流。半透明屏幕92为如在第WO2005096095和/或第WO2007052005专利中所述的箔屏幕。
观看半透明屏幕92的观众成员100察觉由半透明屏幕所反射到舞台86上的影像84。观众100在正面的遮光物94和98之间观看影像84。在舞台86的后部提供黑色的帷幕82，为投影影像提供背景幕布。相应的声音经由扬声器30产生。
在一个实施例中，位置2还可包括用于拍摄观众成员100或舞台86上的情节的摄像机26以及用于在位置2录音的麦克风24。该摄像机既能够处理逐行的视频流，也能够处理隔行的视频流。将由摄像机26产生的视频流和麦克风24产生的音频流输入至编译码器22，以传输至位置1。
第一编译码器18将传输至位置1的视频解码，并且平视显示器14投影基于已解码视频的影像，以致对象104能观看到反射在屏幕108的影像118。通过扬声器16播放传输到的音频。
在本实施例中，编译码器18和22是相同的。然而，可以理解在另一个实施例，编译码器18和22可以是不同的。例如，如位置2不包括向位置1输出视频和音频流的摄像机26和麦克风24，则编译码器22可仅为用作接收视频和音频流的解码器，并且编译码器18可仅为将视频和音频流编码的编码器。
第一和第二编译码器18和22与图2中所示的编译码器32相一致。编译码器32具有视频输入端33和音频输入端35，其中视频输入端用于接收由摄像机12或26捕捉的连续的视频流，音频输入端用于接收由麦克风10或24录下的音频流。所接收的视频流被输入并经过滤波器及时基校正器53，经过滤波和时基校正后的视频信号被输入至视频处理器。在本实施例中，视频处理器为光学清晰度增强器(optical sharpnessenhancer)(OSE)36。在本实施例中，OSE36是被显示为编译码器32的一部分，但可以理解在另一个实施例中OSE36与编译码器32是可分开的。
参见图5，布置OSE以通过以下的方式在视频流的每帧中识别对象202的轮廓201：扫描视频流的每帧203中的像素，以识别具有高于预定水平的对比度的像素204、204’或像素组205(所示的仅为一部分)、205’，并且在这些像素204、204’或像素组205、205’之间以连续的线限定轮廓。在图5中，低亮度像素204和像素组205以阴影线表示，高亮度像素以空白和一系列的点表示。
可以理解低亮度像素和高亮度像素的确切光亮度是因应各个像素而不同，并且以阴影线表示的像素和以空白表示的像素是想去代表一个可能的低亮度和高亮度的范围。
通过找出邻近的像素204、204’的亮度之间或邻近的像素组205、205’的亮度之间的差额，并除以帧203的所有像素的平均亮度而确定对比度。如果像素204、204’或像素组205、205’之间的对比度高于预定水平，则可确定这些像素构成了帧中对象的轮廓。在用于产生剔出的对象影像或佩珀尔幻象的典型系统中，对象在深色(通常为黑色)的背景幕布前被拍摄，以致对象周围的背景是暗的，则就产生了影像，其中低亮度像素204代表了背景。此外，对象通常由背面和侧面的灯从后方照亮，这些灯在对象边缘的周围产生了光缘，并因此在对象的周围产生高亮度像素，这与代表背景的低亮度像素形成了对比。
通过从一侧到另一侧扫描帧203，OSE36能够在第一次获取到高对比度(高于预定水平的对比度)，并且假设预定水平被正确地设定，这应为表示背景的低亮度像素和表示光缘的高亮度像素之间的边界。
扫描过程可以任何适合的方式执行。例如，扫描过程能从单侧开始扫描各个像素，然后以水平地、垂直地或对角线方向继续扫描，或者从相对侧同时扫描。在前者的情况下，如果扫描装置从一侧到另一侧扫描过整个帧203，或者，在后者的情况下，如果两个扫描在中间相遇，其未能在像素或像素组之间探测到高对比度，则OSE36确定沿着那条轨迹不存在着对象。
识别轮廓可包括比较邻近的像素204、204’以确定该些像素是否具有高于预定水平的对比度，或识别轮廓可包括比较邻近的像素组205、205’以确定该些像素组是否具有高于预定水平的对比度。后者的优点在于其可防止OSE36将噪点失真识别为对象的轮廓。例如，通过电子传输及处理视频流，噪点可被引入到帧203中，这在帧203中产生具有高亮度或低亮度的随机像素206或207。通过比较像素组205、205’的亮度而不是比较单个像素204、204’的亮度，OSE36能够区分出噪点和对象的轮廓。
在本实施例中，与一组像素组相应的预设数量为三个连续的像素，但一组像素组可包括其他的像素数量，例如4、5或6个像素。从而通过将预设的像素数量设定为合适的阀值，处理器不会错误地将零散的噪点识别为对象的轮廓(由噪点产生的像素失真的数量是远小于由对象的即使小的物体所产生的像素的数量。)
在一个实施例中，编译码器32/OSE36可具有装置去调整形成一组像素组的预设像素数量。例如，编译码器32/OSE36可具有用户输入端，其允许用户选定形成一组像素组的像素数量。这或是可取的，因为用户可设定粒度(granularity)，其中扫描装置基于该用户相信可能已引入视频流的噪点数量来搜索对象的轮廓。
OSE36通过以下的方法比较像素组205、205’：计算形成像素组的所有像素的亮度的总和，找出两个像素组的亮度总和之间的差额，并且将该差额除以帧203的平均像素亮度。如果最终值是高于预定值，则可确定像素组之间的边界构成了对象的轮廓。各个像素可成为多于一组像素组的部分，例如扫描先比较成一行的第一、第二及第三像素与第四、第五及第六像素之间的对比度，接着比较该行的第二、第三及第四像素与第五、第六及第七像素之间的对比度。
一旦OSE36识别出对象的轮廓，OSE36修改该帧以沿着已识别的轮廓提供带有高相对亮度的一行像素线(以带点的像素208表示)。例如，带点的像素可带有高于帧203中其他任何像素的亮度。如图5所示的帧中，轮廓的三个像素已被修改为高相对亮度像素，而轮廓的其他像素，例如204’，未被修改。各高相对亮度的像素208可与其所替代的相应像素具有相同色彩。应用高亮度像素208可增强通过已处理视频流所制造的佩珀尔幻象的逼真感，因为对象周围的明亮的光缘可有助于制造影像是3-D而不是2-D影像的幻象。此外，通过给高亮度像素208使用相同的色彩，使用高亮度像素208不会致使影像不逼真。
OSE36还使得落在轮廓之外的低亮度像素变成黑色或另一种适用于显示的预先选定的颜色(通常与背景幕布/帷幕82相同颜色)。
在一个实施例中，OSE36可对帧执行双重扫描，第一重为当帧的色彩位深被降低，其减少了对比度中的粒度，但允许进行快速扫描，以识别可能为对象的边缘的区域，第二重为在帧上仅在降低了色彩位深的帧中被识别为边缘的位置的周围区域(例如几十个像素的宽/高)以全色位深位扫描。此过程可加快找到对象的边缘所花费的时间。
参见图2，已处理视频流从OSE36输出至编码器42。编码器42被设置成将已接收到的视频流编码至选定的编码格式，例如逐行的视频信号，720p，1080p或隔行的视频信号，1080i，和/或编码器将视频信号压缩，例如提供可变的位传输率，该可变的位传输率在无压缩和将视频信号压缩至1.5Mb/s之间。
音频信号也被输入至编码器42，并将其编码至合适的格式。
编码可包括将落在轮廓之内的像素编码，同时不顾落在轮廓之外的像素，以形成已编码视频流。从OSE36插入的高亮度像素208可识别落在轮廓之内的像素。
已编码视频流和已编码音频流被输入至多路复用器46，并且多路复用信号经由信号馈给接头(signal feed connection)48输出，经由输入/输出端37输出至双向通讯联接系统20。
在本实施例中，落入在对象的轮廓之内的像素被分为多个部分，并且各部分可作为频分多路复用(frequency division multiplexed)(FDM)信号的形式在各自的载体被传输。频分多路复用会提供额外的带宽，其允许编译码器在原来的时基上拉信号，同时减小压缩率(如有的情况下)。通过这种方式，减少信号的延时，同时增加所传输的信息。
编译码器32还包括切换装置39，其布置为将编码器42在多个模式之间切换，其中根据不同的编码格式将视频信号编码。切换装置39和编码器42被设置成能够在传输连续的视频流期间在模式之间切换，即通过不防止视频流在位置2或1被连续地(实时地)投影的方法在传输视频流不被打断的情况下发生切换，以产生佩珀尔幻象。切换装置39使得编码器42对所接收到的控制信号作出反应而切换模式，在本实施例中，所接收到的控制信号来自由用户促动的开关41或43。
编译码器32还接收来自双向联接系统20的已编码视频和音频流，并且馈给接头48将该已接收的信号导向多路解复用器50。该视频和音频流被多路解复用(demultiplex)，并将已被多路解复用的信号输入至译码器44。
设置译码器44以将已接收到的视频流从选定的编码格式(例如逐行的视频信号，720p，1080p或隔行的视频信号，1080i)解码，和/或将视频信号解压以产生适用于显示的视频流。
已解码视频流被输入至时基校正器40，并经由输出端47输出至显示器90或20。已解码音频流被输入至校正信号扩展的均衡器38，并经由输出端49输出音频流至扬声器30或16。
设置切换装置45以将译码器44在多个模式之间切换，其中根据不同的编码格式将视频信号解码。设置切换装置45和译码器44，以致能够在传输连续的视频流的期间在模式之间切换，即通过不防止视频在位置1或2被连续地(实时地)投影的方法在传输视频流不被打断的情况下发生切换。切换装置45使得译码器44对所接收到的控制信号作出反应而切换模式，在本实施例中，所接收到的控制信号来自由用户促动的开关43或41。在本实施例中，编译码器18的切换装置45对由用户促动的开关41作出反应，并且编译码器22的切换装置45对由用户促动的开关43作出反应。
编码器42和译码器44可还能够根据系统的需要将视频影像从一种大小或分辨率转化成另一种大小或分辨率。这允许系统根据需要投影和/或传输的视频影像而作出适应。例如，视频影像可能以窗口的方式投影在更大的影像内，并因此需要减小该视频影像的大小和/或分辨率。或者或额外地，该视频影像可基于可用的带宽而缩放。例如，如果没有足够的带宽以承载4∶4∶4的信号，可将该影像按比例由4∶4∶4RGB信号缩放到4∶2∶2YUV信号。为了减小信号的延时，这可能是需要的，以致例如能够在佩珀尔幻象的对象和位于显示佩珀尔幻象的位置的真人之间进行“问答”环节。设置带有集成缩放器在其中的编译码器意味着无需使用单独的视频缩放器，这减少了设置另一层硬件的需要，而设置另一层硬件会增加系统的复杂性。
设置编译码器32以向音频流施加延迟，以确保视频和音频流在其被发送的位置同步地显示/发出声音。编译码器32还被设置为提供回波消除。在一个实施例中，所施加到音频流的延迟是可变的延迟，其基于在传输视频和音频信号期间所测定的信号延时而确定。图6显示了编译码器的设定，其能够实现所述的音频延迟。在如图6所示的编译码器设定中，音频延迟模块/音频消除模块301、301’位于音频输入端335、335’和音频输出端343、343’之间，并且施加于音频输出的可变延迟是基于如下所述的方法。
编译码器32是编程了固定的时间延迟，并且在传输视频和音频流的期间，编译码器318或322周期性地向另外一个编译码器322或318传输测试信号(因特网包探索器(ping))。另外一个编译码器322或318向编译码器318或322发送回波反应，以对收到测试信号作出反应。从发送测试信号和收到回波反应之间的时间，编译码器318、322能够确定传输的信号延时。通过将该信号延时加入固定的延迟内而确定瞬时的总时间延迟，此总时间延迟被引入至音频流。
预先编程的固定的时间延迟是用于考虑到来自于其他来源的音频信号的传输延迟，而不是编译码器318、322之间的传输延迟。例如，由处理视频流而产生的信号延时以及用于输出已传输音频的扬声器316、330内的延时可导致延迟。固定的时间延迟可在音频和视频流传输前通过以下方式确定：将所有的麦克风310、324和扬声器316、330设定至参考水平，接着将1KHz脉冲(例如具有几毫秒或几十毫秒的持续时间)以固定的分贝水平(例如-18dB FS)发送至编译码器318、322的输入端，并测定该脉冲从编译码器的输出端被传输出来所花费的时间，该脉冲横过音频系统而被传输至另一个编译码器322、318，例如从扬声器318、330传输至与另一个编译码器322、318连接的麦克风310、324，然后返回至另一个编译码器322、318的输入端，再返回至第一编译码器318、322。这提供了系统中用于传输脉冲的总延迟。接着以如上所述的方法测定沿着传输线320的信号延时，并且从所测定的总延迟中减去该已确定的信号延时。这为音频提供了固定的时间延迟，该固定的时间延迟不是来自于该两个编译码器318、322之间的传输，而是来自其他来源。
如上所述，视频和音频流的传输过程中，能将已测定的信号延时(可变的时间延迟)加入到固定的时间延迟以在系统中提供瞬时的总时间延迟，这已确定的瞬时时间延迟是用于消除回波。
通过将输入至输入端的音频流分至编译码器318、322，并将其中一个被分流的音频流输入至回波消除模块301、301’而实现回波消除。回波消除模块318、322还接收由编译码器318、322确定的瞬时的固定的总时间延迟。回波消除模块318、322延迟其所接收到的音频流，并将该音频流倒相。该已延迟及倒相的音频流则叠加在输出的音频流上，以(至少部分地)消除在输出的音频流内输入的音频流的回波。
在一个实施例中，多个视频和音频流可在编译码器18、22、318、322之间传输。例如，可在第二位置2拍摄舞台上的例如表演者的人(未图示)以及一名或多名的观众成员100，并且与这个视频拍下相关的视频和音频流经由编译码器318、322传输至位置1，该视频流以剔出的对象影像和/或佩珀尔幻象的形式在该位置1显示。为了确保多个视频流的显示是同步的，多个视频流是基于多个视频信号中的其中一个(例如，舞台上的人的视频流)而同步锁定的(Genlocked)。
在一个实施例中，系统容许在第一位置1正被拍摄的对象104观看来自第二位置2的不同的视频档，该视频档包括一个或多个以下的档：由位于舞台前方的固定摄像机所拍摄的舞台86上的人、由摄像机所拍摄的舞台86上的人给观众(包括对象的佩珀尔幻象)提供全景、由摄像机所拍摄为舞台工作人员提供全景，以及其中一名或多名观众成员100。对象可以选择观看哪一个视频流，并且或或者可以选择改变各个视频流中正被拍摄的内容。相应地，该对象可能够进行虚拟飞越第二位置2，以能够观看到被一个或多个摄像机所捕捉到的第二位置2的多个不同的元素。这可通过对象104可用到的触摸屏界面(未图示)而执行。该界面允许对象104与编译码器18，22，318，322互动，其可包括场地的视觉景观/视野角度。该场地可为显示多点广播(multi-pointbroadcast)的地图上的场地或者其可为其他参与者的一览表，对象104可选定一览表以观看完整的视频流。
在传输多重视频流的系统中，可提供编译码器盒，其包括用于传输各个视频流的多个可拆卸的个别编解码模块32(blades)。例如，位置2可包括两个视频摄像机，其中一个用于拍摄舞台86上的情节，另一个用于拍摄观众成员100，两个视频流都可被传输至位置1，以在平视显示器上投影。为此，可需要个别编译码器32，每个视频流各需要一个。
使用中，摄像机12拍摄对象104，并且所产生的视频流在操纵员105(例如制片人)的控制下输入至第一编译码器18。第一编译码器18根据选定的格式将视频信号编码，并且将已编码视频流传输至编译码器22。编译码器22将视频流解码，并将已解码视频流输入至投影机90，投影机基于视频流投影影像以产生佩珀尔幻象84。
控制员105在拍摄过程中观察对象104，并且如果该观察者认为特定的需要(例如对象104增加移动或显示文字或图像)正在发生或在不久的将来将会发生，控制员105操作切换开关41以使编译码器18和22切换模式而使用不同的编码格式。例如，当显示文字或图像时，控制员105可选定逐行编码格式；当对象104有很大的动作时，控制员105可选定高度压缩的隔行编码格式；或当片段/正被拍摄的对象包括许多细微而复杂的细节并且不希望在视频流的压缩过程中丢失这些细节时，控制员105可选定未压缩的隔行编码格式或逐行编码格式。在一个实施例中，切换开关为计算机屏幕上的菜单，其允许控制员105选定所想要的编码格式。
在一个实施例中，系统还包括记录位于位置2的观众成员或其他人的摄像机24，以在平视显示器14/118上显示。以与视频流正被从位置1传输至位置2的相同方式，位于位置2的控制员可操作切换开关43以切换编译码器22以不同的格式将正被从位置2传输至位置1的视频流编码，并且控制员可操作切换开关43以切换编译码器18而基于摄像机26所拍摄的片段使用不同的格式将视频流解码。
在另一个实施例中，在各个位置的操作员或其他人可以互相进行通讯，以对影像84或118的任何的质量下降提供反馈，并且操作员可使编译码器18，22基于该反馈而切换编码格式。
在另一个实施例中，面光灯403至409发光，该光具有与背光灯410至416所发出的光不同的特征频率光谱。例如，面光灯403至409可为钨丝灯，卤素灯或弧光灯，背光灯410至416可为LED灯。设置编译码器18以识别对象的轮廓，这是根据邻近的像素204、204’或像素组205、205’的不同频率组分的相对强度的差别而识别对象的轮廓，而不是根据录制的视频的像素204、204’或像素组205、205’的相对亮度而识别对象的轮廓。
通常，视频的各个像素包括不同的频率组分，例如红、蓝、绿(RGB)。各个频率组分的强度取决于照亮该像素所捕捉的区域的光的特征光谱。相应地，通过比较各个像素的频率组分的相对强度，而可以识别该点是主要由面光灯403至409发出的光所照亮的，还是主要由背光灯410至416发出的光所照亮的。主要由面光灯403至409发出的光照明的区域为对象104，其中面光灯403至409发出的光被对象反射。主要由背光灯410至416发出的光照亮的区域为对象104外缘的周围。因此，通过比较邻近的像素或像素组的频率组分的相对强度，能够识别对象104的轮廓。
在另一个实施例中，系统包括用于探测可用带宽的装置，其自动地生成控制信号以将编译码器切换至适合于所可用带宽的不同模式。例如，如果测定的信号延时升高至超过预定水平，可将编码格式从逐行的切换为隔行的，或者切换至更高的压缩率。
在另一个实施例中，设置编译码器18和22以分配带宽给不同的数据流(例如视频数据流、音频数据流及控制数据流)，其中如果编译码器18和22识别到音频数据流或控制数据流的减少，其将这可用带宽重新分配至视频流。
在一个实施例中，编译码器18和22可被设置为自动地确定接收到的已编码视频流的编码格式，并且被设置为切换至使用正确的解码格式将已编码视频流解码。
可以理解编译码器18和20可以在软件或硬件的方式执行。
可以理解可对本发明做出改变和调整而不偏离权利要求的范围。

Claims (3)

1.产生对象的远程呈现的方法，包括拍摄所述对象以产生连续的视频流，把所述视频流传输至远程位置以及在所述远程位置根据所传输的视频流生成佩珀尔幻像，其中传输所述视频流包括在传输所述视频流的过程中基于所拍摄的情节的变化从多个编码格式中选择不同的格式以及在传输过程中把视频流编码所用的编码格式改变为所选择的编码格式。
2.产生对象的远程呈现的方法，包括拍摄所述对象以产生连续的视频流，把所述视频流传输至远程位置以及在所述远程位置根据所传输的视频流生成剔出的对象影像，其中传输所述视频流包括在传输所述视频流的过程中基于所拍摄的情节的变化从多个编码格式中选择不同的格式以及在传输过程中把视频流编码所用的编码格式改变为所选择的编码格式。
3.根据权利要求1或权利要求2所述的方法，其中情节的变化是所述对象的移动多少的变化、对所述对象的照明的变化、所述被拍摄对象与在所述远程位置的人的互动程度的变化和/或在所显示的影像中加入文字或图像。
CN2009801367299A 2008-07-14 2009-07-14 视频处理和远程呈现系统及方法 Expired - Fee Related CN102150430B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US8041108P 2008-07-14 2008-07-14
US61/080,411 2008-07-14
GB0821996.6 2008-12-02
GBGB0821996.6A GB0821996D0 (en) 2008-12-02 2008-12-02 Mobile studio
GBGB0905317.4A GB0905317D0 (en) 2008-07-14 2009-03-27 Video processing and telepresence system and method
GB0905317.4 2009-03-27
GB0911401.8 2009-07-01
GBGB0911401.8A GB0911401D0 (en) 2008-07-14 2009-07-01 Video processing and telepresence system and method
PCT/GB2009/050852 WO2010007423A2 (en) 2008-07-14 2009-07-14 Video processing and telepresence system and method

Publications (2)

Publication Number Publication Date
CN102150430A CN102150430A (zh) 2011-08-10
CN102150430B true CN102150430B (zh) 2013-07-31

Family

ID=40672235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801367299A Expired - Fee Related CN102150430B (zh) 2008-07-14 2009-07-14 视频处理和远程呈现系统及方法

Country Status (12)

Country Link
US (2) US20100007773A1 (zh)
EP (1) EP2308231A2 (zh)
JP (1) JP2011528208A (zh)
KR (1) KR20110042311A (zh)
CN (1) CN102150430B (zh)
BR (1) BRPI0916415A2 (zh)
CA (1) CA2768089A1 (zh)
EA (2) EA201300170A1 (zh)
GB (2) GB0905317D0 (zh)
IL (1) IL210658A (zh)
MX (1) MX2011000582A (zh)
WO (1) WO2010007423A2 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100253700A1 (en) * 2009-04-02 2010-10-07 Philippe Bergeron Real-Time 3-D Interactions Between Real And Virtual Environments
US8749658B2 (en) * 2009-04-06 2014-06-10 Nec Corporation Data processing device, image matching method, program, and image matching system
TWI415480B (zh) * 2009-06-12 2013-11-11 Asustek Comp Inc 影像處理方法與影像處理系統
US20110273364A1 (en) * 2010-05-06 2011-11-10 360Brandvision Llc Device for portable viewable reflective display system
DE102010028865A1 (de) 2010-05-11 2011-11-17 Stephan Overkott Holografisches Live-Präsentationssystem und Verfahren zur Liveübertragung einer holografischen Präsentation
US8457701B2 (en) * 2010-06-16 2013-06-04 Incase Designs Corp. Case for portable electronic device
US9049459B2 (en) * 2011-10-17 2015-06-02 Exaimage Corporation Video multi-codec encoders
JP2012175613A (ja) * 2011-02-24 2012-09-10 Sony Corp 画像送信装置、画像送信方法、及びプログラム
CN102868873B (zh) * 2011-07-08 2017-10-17 中兴通讯股份有限公司 一种远程呈现方法、终端和系统
US9245514B2 (en) * 2011-07-28 2016-01-26 Aliphcom Speaker with multiple independent audio streams
KR101331096B1 (ko) * 2012-03-21 2013-11-19 주식회사 코아로직 차량용 영상 기록 장치 및 방법
CN102752368A (zh) * 2012-05-31 2012-10-24 上海必邦信息科技有限公司 提高电子设备之间的界面远程显示效率和画质的方法
JP2015529059A (ja) 2012-08-01 2015-10-01 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ オーディオ遅延を画像フレームレートに適合させるための方法及び装置
US9432219B2 (en) * 2012-09-10 2016-08-30 Verizon Patent And Licensing Inc. Voice energy collision back-off
US9516305B2 (en) 2012-09-10 2016-12-06 Apple Inc. Adaptive scaler switching
US9916718B2 (en) 2012-09-18 2018-03-13 Joze Pececnik Terminal, system and game play method for random number selection events
US8734260B2 (en) * 2012-09-28 2014-05-27 Elektroncek D.D. Three-dimensional auditorium wagering system
US9679500B2 (en) * 2013-03-15 2017-06-13 University Of Central Florida Research Foundation, Inc. Physical-virtual patient bed system
CN103353760B (zh) * 2013-04-25 2017-01-11 上海大学 适应任意脸部方位的显示界面调节装置及方法
EP3008887A4 (en) * 2013-06-15 2016-12-21 The Supergroup Creative Omnimedia Inc METHOD AND DEVICE FOR INTERACTIVE TWO-WAY VISUALIZATION USING AT THE SAME TIME AND PROJECTED VIDEO STREAMS
JP2015007734A (ja) * 2013-06-26 2015-01-15 ソニー株式会社 画像投影装置、画像投影システム、画像投影方法及び表示装置
US20150186341A1 (en) * 2013-12-26 2015-07-02 Joao Redol Automated unobtrusive scene sensitive information dynamic insertion into web-page image
KR101695783B1 (ko) 2014-08-07 2017-01-13 한국전자통신연구원 맞춤형 텔레프레즌스 서비스 제공 방법 및 장치
US9819903B2 (en) 2015-06-05 2017-11-14 The SuperGroup Creative Omnimedia, Inc. Imaging and display system and method
JP2018028625A (ja) * 2016-08-19 2018-02-22 日本電信電話株式会社 虚像表示システム
WO2018066982A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
JP6953531B2 (ja) * 2016-12-07 2021-10-27 アーベーベー・シュバイツ・アーゲーＡＢＢ Ｓｃｈｗｅｉｚ ＡＧ 航行およびマッピング能力を備える液浸式の検査ビークル
CN107544769B (zh) * 2017-07-12 2022-02-11 捷开通讯(深圳)有限公司 基于振动电机采集语音命令的方法及音频组件、音频终端
US11113113B2 (en) * 2017-09-08 2021-09-07 Apple Inc. Systems and methods for scheduling virtual memory compressors
WO2019165378A1 (en) * 2018-02-23 2019-08-29 Fulton Group N.A., Inc. Compact inward-firing premix mesh surface combustion system, and fluid heating system and packaged burner system including the same
RU2018133712A (ru) * 2018-09-25 2020-03-25 Алексей Викторович Шторм Способы подтверждения транзакций в распределенной сети наружной рекламы
WO2021015484A1 (ko) * 2019-07-19 2021-01-28 인텔렉추얼디스커버리 주식회사 무선 통신 시스템에서 적응적인 오디오 처리 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
US12008917B2 (en) 2020-02-10 2024-06-11 University Of Central Florida Research Foundation, Inc. Physical-virtual patient system
CN117237993B (zh) * 2023-11-10 2024-01-26 四川泓宝润业工程技术有限公司 作业现场违规行为检测方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163217A1 (en) * 2004-01-27 2005-07-28 Samsung Electronics Co., Ltd. Method and apparatus for coding and decoding video bitstream
WO2005107116A2 (en) * 2004-04-16 2005-11-10 Broadcast International Systems, devices and methods for securely distributing highly-compressed multimedia content
US20070107029A1 (en) * 2000-11-17 2007-05-10 E-Watch Inc. Multiple Video Display Configurations & Bandwidth Conservation Scheme for Transmitting Video Over a Network
US20070201004A1 (en) * 2004-04-01 2007-08-30 Musion Systems Limited Projection Apparatus And Method For Pepper's Ghost Illusion

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4656507A (en) * 1984-04-10 1987-04-07 Motion Analysis Systems, Inc. Quad-edge video signal detector
US4967272A (en) * 1988-01-27 1990-10-30 Communications Satellite Corporation Bandwidth reduction and multiplexing of multiple component TV signals
JPH06203157A (ja) * 1992-10-14 1994-07-22 Fujitsu Ltd カラー画像処理方法および装置
US5534941A (en) * 1994-05-20 1996-07-09 Encore Media Corporation System for dynamic real-time television channel expansion
JP3193240B2 (ja) * 1994-09-08 2001-07-30 株式会社東芝 画像処理装置
US5734419A (en) * 1994-10-21 1998-03-31 Lucent Technologies Inc. Method of encoder control
EP0710033A3 (en) * 1994-10-28 1999-06-09 Matsushita Electric Industrial Co., Ltd. MPEG video decoder having a high bandwidth memory
US5974184A (en) * 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
US6400831B2 (en) * 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
US6310979B1 (en) * 1998-10-01 2001-10-30 Sharewave, Inc. Method and apparatus for digital data compression
WO2001011880A1 (en) * 1999-08-10 2001-02-15 Peter Mcduffie White Communications system
JP2008102946A (ja) * 1999-10-22 2008-05-01 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
FR2817694B1 (fr) * 2000-12-05 2003-10-03 Thomson Licensing Sa Procede et dispositif de lissage spatial pour les zones sombres d'une image
US7599434B2 (en) * 2001-09-26 2009-10-06 Reynolds Jodie L System and method for compressing portions of a media signal using different codecs
JP3757857B2 (ja) * 2001-12-12 2006-03-22 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US7130461B2 (en) * 2002-12-18 2006-10-31 Xerox Corporation Systems and method for automatically choosing visual characteristics to highlight a target against a background
BRPI0511858B1 (pt) * 2004-06-07 2020-12-22 Sling Media, Inc. transmissor de mídia pessoal e respectivo sistema de transmissão, métodos de provimento de acesso a fonte áudio/visual em localização remota da fonte áudio/visual e de fluxo (streaming) de sinal de mídia para local de assinante remoto
US7352410B2 (en) * 2005-05-31 2008-04-01 Kolorific, Inc. Method and system for automatic brightness and contrast adjustment of a video source
JP2007143076A (ja) * 2005-11-22 2007-06-07 Ntt Electornics Corp コーデック切り替え装置
US8023041B2 (en) * 2006-01-30 2011-09-20 Lsi Corporation Detection of moving interlaced text for film mode decision
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
US8428125B2 (en) * 2006-12-22 2013-04-23 Qualcomm Incorporated Techniques for content adaptive video frame slicing and non-uniform access unit coding
US20080317120A1 (en) * 2007-06-25 2008-12-25 David Drezner Method and System for MPEG2 Progressive/Interlace Type Detection
US8289367B2 (en) * 2008-03-17 2012-10-16 Cisco Technology, Inc. Conferencing and stage display of distributed conference participants

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070107029A1 (en) * 2000-11-17 2007-05-10 E-Watch Inc. Multiple Video Display Configurations & Bandwidth Conservation Scheme for Transmitting Video Over a Network
US20050163217A1 (en) * 2004-01-27 2005-07-28 Samsung Electronics Co., Ltd. Method and apparatus for coding and decoding video bitstream
US20070201004A1 (en) * 2004-04-01 2007-08-30 Musion Systems Limited Projection Apparatus And Method For Pepper's Ghost Illusion
WO2005107116A2 (en) * 2004-04-16 2005-11-10 Broadcast International Systems, devices and methods for securely distributing highly-compressed multimedia content

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2007-143076A 2007.06.07

Also Published As

Publication number Publication date
JP2011528208A (ja) 2011-11-10
IL210658A (en) 2016-02-29
CA2768089A1 (en) 2010-01-21
MX2011000582A (es) 2011-07-28
IL210658A0 (en) 2011-03-31
US20110235702A1 (en) 2011-09-29
EA018293B1 (ru) 2013-06-28
US20100007773A1 (en) 2010-01-14
KR20110042311A (ko) 2011-04-26
CN102150430A (zh) 2011-08-10
EA201170188A1 (ru) 2011-08-30
GB0905317D0 (en) 2009-05-13
WO2010007423A3 (en) 2010-07-15
EP2308231A2 (en) 2011-04-13
BRPI0916415A2 (pt) 2019-09-24
EA201300170A1 (ru) 2013-09-30
WO2010007423A2 (en) 2010-01-21
GB0911401D0 (en) 2009-08-12

Similar Documents

Publication Publication Date Title
CN102150430B (zh) 视频处理和远程呈现系统及方法
US10447967B2 (en) Live teleporting system and apparatus
JP4950988B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
US20080260350A1 (en) Audio Video Synchronization Stimulus and Measurement
CN101467452A (zh) 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统及视听环境控制方法
US8264523B2 (en) Device for a videoconference communication and associated communication method
US20130083997A1 (en) Temporally structured light
WO1995013684A1 (fr) Procede de projection tridimensionnelle en temps partage permettant de projeter une image en trois dimensions et signal d'affichage supplementaire
CN220874615U (zh) 一种用于虚拟影棚内的3d拍摄系统
CN208029013U (zh) 一种可产生立体影像的投影仪
RU28579U1 (ru) Устройство для получения объемного телевизионного изображения (варианты)
TW202213992A (zh) 即時三維影像顯示的直播方法
Mitsumine et al. Immersive virtual studio
JP4709897B2 (ja) 視聴環境制御システム、視聴環境制御装置、視聴環境照明制御システム、及び視聴環境制御方法
TW202213990A (zh) 即時三維影像顯示的直播系統
CN113891101A (zh) 实时三维影像显示的直播方法
JP2005229451A (ja) 映像表示装置、映像表示方法、映像表示方法のプログラム及び映像表示方法のプログラムを記録した記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130731

Termination date: 20160714

CF01 Termination of patent right due to non-payment of annual fee