CN107534797B

CN107534797B - 一种增强媒体记录的方法和系统

Info

Publication number: CN107534797B
Application number: CN201680023726.4A
Authority: CN
Inventors: H.M.斯托克金; M.普林斯; O.A.尼亚穆特; R.科恩恩; E.托马斯
Original assignee: Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO; Koninklijke KPN NV
Current assignee: Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO; Koninklijke KPN NV
Priority date: 2015-04-24
Filing date: 2016-04-22
Publication date: 2020-08-21
Anticipated expiration: 2036-04-22
Also published as: EP3286922A1; US20180091860A1; CN107534797A; WO2016170123A1; EP3286922B1

Abstract

提供了用于增强包括场景的相机记录的媒体记录的系统和方法，其中场景包括显示视觉内容的屏幕。在相机记录中，如在屏幕上显示的视觉内容通常具有欠佳的质量。通过分析相机记录、访问视觉内容的原始版本、并且在相机记录中将在屏幕上显示的视觉内容替换为视觉内容的原始版本，获得了增强媒体记录。即，在增强媒体记录中，避免了视觉内容的“数字到光到数字”转换，这是视觉内容在相机记录中具有欠佳质量的至少一个原因。

Description

一种增强媒体记录的方法和系统

技术领域

本发明涉及用于增强媒体记录的系统和方法。本发明还涉及用于在系统中使用的发送器设备或接收器设备。本发明还涉及包括用于使得处理器系统执行该方法的指令的计算机程序产品。

背景技术

由于数字相机和屏幕的普遍性，可能经常发生的是场景的相机记录包括显示作为相机记录的部分的视觉内容的屏幕。这可能巧合地发生。例如，当利用数字视频相机在某人的客厅中记录家庭视频时，可能存在在背景中播出电视节目的电视。因此，家庭视频可以包括在记录时在电视上播放的电视和视觉内容的相机记录。

媒体记录还可以更结构地包括显示视觉内容的屏幕的相机记录。在此并且在下文中，术语“屏幕”指代诸如被包括在电视、监视器、平板设备、智能电话等中的那些的显示器，包括二维、三维、光场和全息显示器，而且还指代投影屏幕和可以在其上再现视觉内容的其他类型的表面，以及指代视觉内容的其他类型的视觉再现。

可以在视频会议系统和移动视频通信应用（例如Skype、Lync、WebRTC、FaceTime）的领域中找到显示视觉内容的屏幕的更结构记录的非限制性示例，其允许远程定位的人通过经由麦克风记录音频并经由相机记录视频并且将结果所得的媒体记录发送到参与方而具有实时的对话。最初，视频会议系统专注于仅记录参与对话的人，因为人通常将坐在相机前面。相机记录技术的进步（诸如增加的分辨率和更大的视角）使得有可能记录远远超过仅记录人；相机还可以记录他/她的环境，诸如客厅或办公室隔间，包括可能存在的任何屏幕，诸如正在示出电视内容的电视屏幕或者正在示出视觉媒体的平板设备。此外，视频会议技术越来越多地用于非中介的共享体验，其中参与者使用视频会议来共享他们的活动和环境，以供其他人看和加入。例如，在社交电视体验中，参与者将分享他们观看电视内容项目的体验，从而使得其他人能够看到他们的房间和他们的电视屏幕。作为另一个示例，用户还可以故意地记录他们的电视屏幕，以便对正在显示的内容进行评论并与其他用户共享结果所得的记录。

因此，现今的相机记录经常包括显示视觉内容的屏幕。然而，明显的缺点在于，在这种相机记录中，在记录中通常欠佳地表示在屏幕上显示的视觉内容；场景的其他部分通常看起来更好，或者甚至好得多。

可能存在针对此的各种原因，包括但不限于：

- 相机的传感器光栅（raster）与屏幕光栅之间的干扰，从而造成莫尔效应（空间干扰）；

- 屏幕上的视觉内容的刷新速率与相机的采样速率之间的不匹配（时间干扰）；

- 场景和照明条件的动态范围（在室内时，屏幕通常比环境亮得多，这导致过度曝光，在大白天在室外时，可能发生相反情况，即曝光不足）；

- 相机相对于屏幕的运动；

- 用于相机记录的相机的质量；

- 记录人为现象（artifact）（撕裂；混叠；交错）；

- 在编码媒体记录的情况下的编码器设置；

- 相机相对于屏幕的视角

为了改进相机记录中的视觉内容的质量，人们可以选择增加相机记录的质量，例如通过增加记录分辨率、帧速率和/或视频质量。不利地，这可能导致更大大小的相机记录。这可能由于带宽或存储限制而是不合期望的或难以忍受的，并且当使用通常可用的现今的记录设备（诸如不包含这种高质量相机功能的智能电话或平板电脑）时，这可能是不可能的。此外，即使当可行时，记录质量方面的增加也无法解决诸如动态范围问题等之类的问题。

发明内容

将有利的是获得用于增强包括场景的相机记录的媒体记录以获得增强媒体记录的系统或方法，其中场景包括显示视觉内容的屏幕。

本发明的以下方面涉及在相机记录中利用最初记录或生成的版本替换在屏幕上示出的视觉内容。因此，可以避免“数字到光到数字”转换步骤，这是视觉内容在相机记录中具有欠佳质量的至少一个原因。即，在相机记录中，视觉内容在通过显示从数字域转换到光域然后通过相机记录转换回到数字域中之后示出。

根据本发明的第一方面，可以提供用于增强媒体记录的方法，所述方法可以包括：

- 访问所述媒体记录，所述媒体记录包括场景的相机记录，所述场景包括显示视觉内容的屏幕；

- 分析所述相机记录以确定所述屏幕在所述相机记录中的坐标；

- 访问所述视觉内容的原始版本；以及

- 在所述相机记录中并且使用所述屏幕的坐标将在所述屏幕上显示的视觉内容替换为所述视觉内容的原始版本，由此获得增强媒体记录。

根据本发明的另一方面，可以提供用于使得处理器系统执行所述方法的计算机程序。

根据本发明的另一方面，可以提供用于增强媒体记录的系统，所述系统可以包括：

- 第一输入接口，用于访问所述媒体记录，所述媒体记录包括场景的相机记录，所述场景包括显示视觉内容的屏幕；

- 分析子系统，用于分析所述相机记录以确定所述屏幕在所述相机记录中的坐标；

- 第二输入接口，用于访问所述视觉内容的原始版本；以及

- 替换子系统，用于在所述相机记录中并且使用所述屏幕的坐标将在所述屏幕上显示的视觉内容替换为所述视觉内容的原始版本，由此获得增强媒体记录。

根据本发明的其他方面，可以提供发送器设备和接收器设备以供在所述系统中使用。

上述措施涉及访问至少包括场景的相机记录的媒体记录。例如，可以访问媒体流，其表示媒体记录的编码版本。另一个示例是可以访问由相机做出的静止图像。相机记录是包括显示视觉内容的屏幕的场景的。因此，例如，如果屏幕仅部分地包括在相机记录的记录帧中，或者如果屏幕的部分被场景中的另一个物体所覆盖，则相机记录可以至少间歇地示出显示视觉内容的屏幕或其部分。

可以分析相机记录以确定屏幕在相机记录中的位置。该位置可以被表达为坐标。例如，在矩形屏幕的情况下，坐标可以表示屏幕的一个或多个角落（corner）。坐标可以采取任何合适的形式，诸如图像网格坐标（列号、行号）或规范化图像坐标。

然后可以访问视觉内容的原始版本。本文，术语“原始版本”指代不通过显示视觉内容的屏幕的相机记录的间接（indirection）而获得的版本。更确切地，原始版本表示最初记录或生成的版本。非限制性示例是，如果在屏幕上示出的视觉内容通过媒体流的播出而获得，则访问相同的媒体流。另一个示例是，电视可以示出特定的电视频道，并且包含该相同电视频道的TV信号或该电视频道的记录版本可以作为视觉内容的原始版本被访问。又另一个示例是，如果在屏幕上示出的视觉内容表示来自演示的幻灯片，则访问该演示的计算机文件。与视觉内容的相机记录相比，内容的原始版本可以具有更高的质量，原因在于可以避免如在背景技术章节中列举的视觉内容在媒体记录中具有欠佳质量的原因中的一个或多个。特别地，原始版本可以避免视觉内容通过显示从数字域转换到光域然后通过相机记录转换回到数字域中的“数字到光到数字”转换步骤。

在屏幕上显示的视觉内容然后可以在相机记录中被替换为视觉内容的原始版本。为此目的，可以利用屏幕的坐标。例如，视觉内容的原始版本可以覆盖在相机记录中的屏幕之上，由此替换相机记录中的视觉内容的记录版本。由于视觉内容的原始版本在质量方面可以比相机记录中示出的视觉内容更好，所以可以获得增强媒体记录。

本发明人认识到，随着数字化方面的不断增加，当获得显示视觉内容的屏幕的相机记录时，视觉内容的原始版本通常以数字形式可用并且可以被访问。这样的原始版本可以用于替换如在相机记录中的屏幕上示出的视觉内容。通过将这样的相机记录的视觉内容替换为视觉内容的原始版本，可以改进视觉内容的质量。另一个优点是，可以不需要以其他方式提高相机记录的质量以便更好地捕获在屏幕上示出的视觉内容。替换相机记录中的视觉内容的又另一个优点是，可以不需要在单独的窗口中例如作为插入的画中画或与相机记录并排显示原始版本，其可能以其他方式影响场景的组成。例如，如果相机记录示出演示者指向视觉内容处，则这样的指向被保留，并且否则如果视觉内容被单独地示出，则会丢失。又另一个优点可以是，可以避免如在背景技术章节中列举的与记录屏幕相关联的问题中的一个或多个或者甚至全部。

在实施例中，访问所述视觉内容的原始版本可以包括：

- 标识在所述屏幕上显示的视觉内容；

- 基于所显示的视觉内容已经被标识，标识包括所述视觉内容的原始版本的资源位置；以及

- 从所述资源位置访问所述视觉内容的原始版本。

虽然存在访问视觉内容的原始版本的若干种可能性，但是有时候可能需要或期望标识在屏幕上显示的视觉内容以便访问视觉内容的原始版本。例如，如果存在在资源位置处可用的多个媒体流，其中每个表示不同的视觉内容，则可以在已经标识在屏幕上显示的视觉内容之后检索适当的媒体流。因此，可以首先标识视觉内容，并且基于此，可以标识包括视觉内容的原始版本的资源位置。本文，术语“资源”可以指代服务器、存储介质、广播频道等，而“资源位置”可以表示允许访问资源的信息，诸如互联网地址，例如通用资源定位符（URL）地址。

在实施例中，标识在所述屏幕上显示的视觉内容可以包括：

- 标识与在所述屏幕上显示的视觉内容相关联的相机记录的内容数据；

- 将自动内容识别技术应用于所述内容数据以标识所述视觉内容。

可以通过向媒体记录应用自动内容识别技术来标识视觉内容。这样的自动内容识别本身是已知的。使用自动内容识别的优点可以在于，可能不需要从记录位置获得另外的信息（诸如从在屏幕上播出视觉内容的媒体设备获得播出信息），以标识视觉内容。实际上，可能没有附加信息从这样的媒体设备被需要。注意，自动内容识别可能仍然涉及与诸如内容识别数据库之类的其他实体的信息交换。

在实施例中，自动内容识别技术可以包括确定以下中的至少一个：所述内容数据的音频水印、视频水印或指纹（fingerprint）。例如，当使用视频水印时，自动内容识别技术可以例如使用屏幕的坐标仅应用于如在相机记录中示出的屏幕的区域上。可以使用任何合适的自动内容识别技术，如从自动内容识别的领域本身已知的，包括基于加水印和/或加指纹的那些。注意，除了视觉数据之外，内容识别可以考虑附加的或其他的信息。例如，视觉内容可以与可以通过利用嵌入在音频内容中的音频水印而可标识的音频内容相关联。

在实施例中，在所述屏幕上显示的视觉内容可以表示由媒体设备的播出，并且标识在所述屏幕上显示的视觉内容可以包括从媒体设备获得指示所述视觉内容的播出信息。在屏幕上显示的视觉内容可以表示由诸如所连接的媒体播放器之类的媒体设备的播出。因此，可以借助于媒体设备来标识所述视觉内容。特别地，可以使用由媒体设备生成并且指示视觉内容的播出信息。例如，播出信息可以标识媒体流，包括媒体流在其处可用的资源位置。另一个示例是，播出信息可以标识节目标题。

在实施例中，获得播出信息可以包括：

- 经由网络查询媒体设备以得到所述播出信息；或者

- 媒体设备经由网络发送所述播出信息。

利用所连接的媒体设备的普遍性，已经变得有可能经由（本地）网络从这样的媒体设备获得播出信息。例如，媒体设备可以例如使用多播DNS、DLNA、DIAL或其他媒体协议来广播或以其他方式发送其当前活动。可以例如使用相同或类似的协议来查询媒体设备以得到播出信息。

在实施例中，在场景的相机记录中的视觉内容的替换可以包括调整所述视觉内容的原始版本的一个或多个视觉性质。视觉内容的原始版本可能具有与场景的相机记录中的视觉内容不同的外观，并且通常可能不匹配整个相机记录的外观。因此，视觉内容的原始版本的一个或多个视觉性质可以在将其插入到相机记录中时或之前进行调整。这可以为媒体记录的观众提供更愉悦的、自然的体验。

在实施例中，一个或多个视觉性质可以包括以下中的一个或多个：对比度、亮度、白平衡、动态范围、帧速率、空间分辨率、几何形状、焦点、3D角度、3D深度。场景的相机记录中的视觉内容的几何形状可能是非矩形的，例如，由于相机失真、相机相对于屏幕不配准（align）（例如，不直接面对屏幕进行记录）等。因此，视觉内容的原始版本的几何形状可以在将其插入到相机记录中时或之前进行调整。类似地，可以调整其他视觉性质以更好地匹配整个相机记录的外观。如果相机记录是三维（3D）记录，则也可以调整诸如3D角度或3D深度之类的3D参数。

在实施例中，所述媒体记录可以由发送器设备获得以用于发送到接收器设备，在场景的相机记录中的视觉内容的替换可以由接收器设备执行，并且所述方法还可以包括：

- 发送器设备检索所述视觉内容的原始版本并随后将所述视觉内容的原始版本发送到接收器设备；或者

- 发送器设备向接收器设备发送指示所述视觉内容的原始版本可从其访问的资源位置的元数据，并且接收器设备基于所述元数据从所述资源位置检索所述视觉内容的原始版本。

所述方法也可以不是由单个设备执行而是使用若干个设备来执行，诸如发送器/接收器系统的那些，其中媒体记录可以由发送器设备获得以用于发送到接收器设备，其中接收器设备然后将场景的相机记录中的视觉内容替换为视觉内容的原始版本。这样的系统的示例是视频会议系统。在该特定示例中，每个视频会议客户端可以充当用于发送本地记录的媒体流的发送器设备并且充当用于接收远程记录的（多个）媒体流的接收器设备两者。然而，也可能存在从发送器设备到接收器设备的媒体记录的单向发送。通常，存在接收器设备能够从资源位置检索视觉内容的原始版本的若干种可能性。例如，发送器设备可以检索视觉内容的原始版本并随后将其发送到接收器设备，或者可以向接收器设备发送指示可从其访问视觉内容的原始版本的资源位置的元数据。通常，接收器设备可以是用于播出增强媒体记录的播出设备。然而，接收器设备也可以是进一步将增强媒体记录发送到一个或多个播出设备的中间设备。

在实施例中，发送器设备可以包括：

- 第一输入接口，用于访问所述媒体记录；以及

- 分析子系统，用于分析所述相机记录以确定所述屏幕在所述相机记录中的坐标。

在实施例中，接收器设备可以包括：

- 第二输入接口，用于访问所述视觉内容的原始版本；以及

在实施例中，该方法还可以包括发送器设备在元数据中包括屏幕在相机记录中的坐标。因此，接收器设备可能不再需要确定屏幕在相机记录中的坐标，因为这样的坐标可以由发送器设备确定并使其可用。可以提供该效果的元数据。

在实施例中，接收器设备除了第二输入接口和替换子系统之外还可以包括：

- 第一输入接口，用于访问所述媒体记录；以及

因此，接收器设备可以执行所有所要求保护的操作。例如，接收器设备可以使用自动内容识别技术来标识要被替换的视觉内容，检索视觉内容的原始版本，并将该原始版本插入到相机记录中。

本领域技术人员将理解的是，本发明的上述实施例、实现和/或方面中的两个或更多个可以以被认为有用的任何方式组合。

本领域技术人员可以在本说明书的基础上执行对应于系统的所描述修改和变化的方法和/或计算机程序产品的修改和变化。

附图说明

本发明的这些和其他方面从下文描述的实施例是显而易见的，并将参考下文描述的实施例来阐明。在附图中，

图1A图示了以视频相机的形式的、记录包括人和显示视觉内容的屏幕的场景的记录设备；

图1B示出了结果所得的相机记录，其中如在屏幕上显示的视觉内容被示出为具有次优质量；

图2示出了增强媒体记录的方法，其中在屏幕上显示的视觉内容被替换为视觉内容的原始版本，由此获得增强媒体记录；

图3示出了包括用于使得处理器系统执行该方法的指令的计算机程序产品；

图4示出了用于增强媒体记录的系统，其中在屏幕上显示的视觉内容被替换为视觉内容的原始版本，由此获得增强媒体记录；

图5示出了使场景的媒体记录可用的记录设备以及使用媒体记录来生成指示包括视觉内容的原始版本的资源位置的元数据的发送器设备，场景包括显示视觉内容的屏幕；

图6示出了从发送器设备接收元数据的接收器设备，其中元数据用于访问视觉内容的原始版本，以便在媒体记录中替换在屏幕上显示的内容；

图7示出了用于增强媒体记录的系统，其中播出视觉内容的媒体设备直接向系统提供视觉内容；

图8A示出了系统主动轮询网络以便发现网络中的媒体设备的存在的示例；以及

图8B示出了媒体设备经由通知消息向系统多播其存在的示例；

应当注意，在不同附图中具有相同附图标记的项目具有相同的结构特征和相同的功能，或者是相同的信号。在已经解释了这样的项目的功能和/或结构的情况下，在详细描述中不必重复其解释。

附图标记的列表

以下的附图标记的列表为了便于解释附图而被提供，并且不应被解释为限制权利要求。

010 显示视觉内容的屏幕

012 媒体设备

015 人

020 记录设备

022 记录设备的视场

030 媒体记录

030X 媒体记录的媒体流

032 场景的相机记录

034 如在屏幕上显示的相机记录的视觉内容

040 增强媒体记录

042 场景的增强相机记录

050 到替换子系统的通信

052 元数据

060 视觉内容的原始版本

060X 表示原始版本的媒体流

062 视觉内容的经调整版本

064 资源位置信息

100 用于增强媒体记录的系统

110 第一输入接口

120 分析子系统

130 第二输入接口

140 替换子系统

142 替换子系统的再现器

144 替换子系统的场景合成器

200 增强媒体记录的方法

210 访问媒体记录

220 分析相机记录

230 访问视觉内容的原始版本

240 替换在屏幕上显示的视觉内容

250 计算机可读介质

260 存储为非暂时数据的计算机程序

300 包括分析子系统的发送器设备

400 包括替换子系统的接收器设备。

具体实施方式

系统和方法的以下实施例涉及在相机记录中将在屏幕上示出的视觉内容替换为最初记录或生成的版本。因此，可以获得相机记录中的视觉内容的（很大）改进的质量。参考图1-4提供一般的解释，而图5-7示出特定的实施例。这些实施例都不应被理解为表示本发明的限制。

图1A示出了以相机的形式的、记录包括人015和显示视觉内容的屏幕010的场景的记录设备020。在该示例中以及在以下示例中，屏幕010以示例的方式被示出为电视010的屏幕，并且因此在图中被指示为“TV”。然而，这不是限制，原因在于屏幕010可以采取任何合适的形式，如也在以下段落中指示的。示意性地指示了相机020的视场022。图1B示出了结果所得的相机记录032。可以看到，在相机记录032中示出人和电视。然而，如也象征性地由覆盖屏幕010的图案所指示的，如在屏幕上显示的视觉内容034在相机记录032中具有次优的质量。针对此的可能原因已经在背景技术和介绍章节中陈述。一个特别的原因是“数字到光到数字”转换步骤，因为视觉内容034在已经通过电视010从数字域转换到光域然后通过记录场景的相机020转换回到数字域中之后示出在相机记录032中。

图2示出了增强媒体记录的方法200，其中在屏幕上显示的视觉内容被替换为视觉内容的原始版本，由此获得增强媒体记录。方法200包括在题为“访问媒体记录”的操作210中访问媒体记录，媒体记录包括场景的相机记录，场景包括显示视觉内容的屏幕。方法200还包括在题为“分析相机记录”的操作220中分析相机记录以确定屏幕在相机记录中的坐标。方法200还包括在题为“访问视觉内容的原始版本”的操作230中访问视觉内容的原始版本。方法200还包括在题为“替换在屏幕上显示的视觉内容”的操作240中在相机记录中并且使用屏幕的坐标将在屏幕上显示的视觉内容替换为视觉内容的原始版本，由此获得增强媒体记录。注意，虽然图2示出了顺序执行上述操作210-240，但是这些操作可以以任何合适的次序执行，例如，连续地、同时地或其组合，受制于在适用的情况下，特定次序是必要的，例如通过输入/输出关系。

将理解的是，根据本发明的方法可以以包括用于使得处理器系统执行该方法的指令的计算机程序的形式来实现。该方法还可以在专用硬件中或者作为上述的组合来实现。

计算机程序可以以非暂时的方式存储在计算机可读介质上。所述非暂时的存储可以包括提供具有不同的电、例如磁性或光学性质或值的一系列机器可读物理标记和/或一系列元素。图3示出了包括计算机可读介质250和存储在其上的计算机程序260的计算机程序产品。计算机程序产品的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。

图4示出了用于增强相机记录的系统100，其中在屏幕上显示的视觉内容被替换为视觉内容的原始版本，由此获得增强的相机记录。系统100的操作可以对应于图2的方法200的执行，并且反之亦然。

注意，相机记录可以是整个媒体记录的一部分，其可以包括附加组成部分，诸如例如字幕叠加、附加音轨、各种元数据等。然而，媒体记录也可以仅由相机记录构成。因此，这两个术语在适当的情况下可以互换地使用。还要注意的是，相机记录可以是视频，但可以同样地包括一个或多个静止图像或者由一个或多个静止图像组成。

系统100被示出为包括用于访问媒体记录030的第一输入接口110。第一输入接口110可以采取任何合适的形式，诸如到局域网或广域网的网络接口、到内部或外部数据存储的存储接口等。媒体记录030可以是预先记录的，但也可以是实时的“直播”流。也如图4所示，第一输入接口110可以可选地包括解码器，解码器用于对媒体记录030的媒体流030X进行解码，由此使媒体记录030或其部分以未压缩或一般其他格式可用。例如，解码器可以使相机记录032的一个或多个视频帧可用。

系统100还被示出为包括用于分析相机记录的分析子系统120。这样的分析可以涉及确定屏幕在相机记录中的坐标。然而，如以下段落中将阐明的，分析子系统120还可以具有其他（例如附加）的功能。坐标可以通过图像分析技术来确定，如从图像分析的领域本身已知的。这样的技术的示例在以下的段落中参考屏幕的追踪来描述。

系统100还被示出为包括用于访问视觉内容的原始版本的第二输入接口130。像第一输入接口110一样，第二输入接口130可以是任何合适的类型，诸如到局域网或广域网的网络接口、到内部或外部数据存储的存储接口等。所述原始版本060可以是预先记录的，但也可以是实时的“直播”流。也如图4所示，第二输入接口130可以可选地包括解码器，解码器用于对视觉内容的原始版本060的媒体流060X进行解码，由此使所述原始版本060或其部分以未压缩格式或一般其他格式可用。例如，如果使屏幕的坐标可用于解码器，则解码器可以使所述原始版本060的一个或多个图像帧或所述（多个）图像帧的一部分可用。如果以不需要使用解码器的形式获得相机记录，则第二接口130可以使所述（多个）图像帧可用。

系统100还被示出为包括替换子系统140，用于在相机记录032中并且使用屏幕的坐标将在屏幕上显示的视觉内容替换为视觉内容的原始版本060，由此获得增强相机记录042，并且因而获得增强媒体记录040。为此目的，替换子系统被示出为从第二输入接口130接收视觉内容的原始版本060并从第一输入接口110接收媒体记录030。然而，如将参考图5-7所示，替换子系统也可以从不同的源接收媒体记录030。分析子系统120还被示出为将数据050传送到替换子系统140，数据050可以包括如由分析子系统120所确定的屏幕的坐标。

一般方面

通常，系统和方法的实施例可以包括：

- 检测完全地、部分地或潜在地存在于相机记录中的屏幕，例如通过分析相机记录或经由其他机制，

- 标识检测到的屏幕是否显示视觉内容以及（如果是的话）哪个视觉内容，

- 解析视觉内容的原始版本，例如通过确定包括视觉内容的原始版本的合适的资源位置；

- 将视觉内容的原始版本处理成空间地（例如，几何地）和/或时间地将其与相机记录配准；

- 例如通过检测其坐标来追踪相机记录中的屏幕，并将追踪数据存储在相关联的元数据中，以便使得相机记录中的视觉内容能够被替换为所述原始版本；以及

- 使用生成的元数据将相机记录中的视觉内容替换为视觉内容的原始版本。

当涉及相机记录的分析时，这样的功能可以由分析子系统执行，并且否则由替换子系统执行。例如，分析子系统可以检测被认为在屏幕上再现视觉内容的媒体设备。注意，在一些情况下，屏幕可以包括媒体设备，或反之亦然，诸如在具有集成媒体播放器功能的电视的情况下。然而，在其他情况下，媒体设备可以直接地或间接地连接到屏幕。媒体设备的示例包括但不限于电视、监视器、投影仪、媒体播放器和记录器、机顶盒、智能电话、相机、PC、膝上型电脑、平板设备、智能手表、智能眼镜、专业视频装备等。

检测媒体设备

检测播出视觉内容的媒体设备可以包括以下中的一个或多个：

- 可以使用图像分析技术来检测相机记录本身中的媒体设备。图像分析技术可以由分析子系统本地地执行，或者通过分析子系统将相机记录转发到远程图像分析组件远程地执行。这样的远程图像分析组件的示例是http://idtv.me/。合适的图像分析技术本身从图像分析和计算机视觉的领域中已知，其在例如由Richard Szelisk，2010，在http://szeliski.org/Book/drafts/SzeliskiBook_20100903_draft.pdf处在2015年4月15日咨询的“Computer Vision：Algorithms and Applications”中描述的。

- 媒体设备可以在本地网络上宣告其活动，例如使用多播DNS、DLNA、DIAL或其他媒体协议。作为示例，这样的宣告可以是包括“播放频道1”；URL=……”的消息。

- 分析子系统可以例如经由本地网络查询媒体设备以得到其存在和活动。

- 用户可以例如经由图形用户界面手动地配置媒体设备的存在和/或活动。

标识视觉内容

标识由媒体设备播出的视觉内容可以包括以下中的一个或多个：

- 媒体设备可以例如通过信令TV频道标识符（“BBC 1”）来信令哪个媒体正被播出，或者可以针对该信息被查询。

- 媒体设备可以提供关于媒体源的附加信息，诸如到媒体的源的URL（“http：//webserver/BBC1.mpd”）。

- 视觉内容可以由分析子系统标识，所述分析子系统标识与在屏幕上显示的视觉内容相关联的相机记录的内容数据，并且随后将自动内容识别技术应用于内容数据以标识所述视觉内容。自动内容识别技术可以包括确定以下中的一个或多个：内容数据的音频水印、视频水印或指纹。这可能需要利用适当类型的标识符的对这样的内容的索引。

- 用户可以例如通过提供到呈现正在播出的视觉内容的源的媒体设备的链接来手动地提供媒体源。

注意，视觉内容可以例如使用电视域名系统（TV-DNS）系统（http://www.w3.org/TR/TVWeb-URI-Requirements，http：//tools.ietf.org/htmI/rfc2838）被描述为元数据，并且因此可以以这样的元数据的形式被宣告、信令或存储。

在相机记录是视频记录而不是例如静止图像的情况下，分析子系统可以追踪视频记录中的屏幕，或者可以追踪视频记录中的媒体设备，例如，如果屏幕包括在媒体设备中的话。本文，术语追踪可以指代随时间（例如在不同的图像帧中）标识屏幕的一个或多个坐标。这样的追踪可以使得能够空间上精确地替换在屏幕上示出的视觉内容。即，相机和屏幕可以随时间相互移动，从而使得屏幕位于不同的图像坐标处。为了追踪屏幕，可以使用图像和/或对象追踪技术，如本领域中公知的并且广泛可用的。例如，CDVS标准ISO/IEC FDIS15938-13（在本发明时的最新发布版本）提供了从图像（关键点及其坐标）提取视觉特征并以紧凑位流压缩它们的方式。追踪数据可以作为相关联的元数据存储到记录。元数据还可以包含设备运动信息、定时信息（例如为了同步目的）、遮挡信息。与视频有关的注释可以使用允许时空注释的MPEG-7标准ISO/IEC 15938-3来表达。例如，该标准允许在多个帧之上（即，从视频的时间t₁到时间t₂）表达区域（例如对象）的坐标，其可以用于追踪视频记录中的屏幕。

访问视觉内容的原始版本

访问视觉内容的原始版本可以涉及媒体设备本身例如通过以MPEG-DASH流的形式流式传送媒体流来提供视觉内容的所述原始版本。替代地或另外，可以标识包括所述原始版本的资源位置。例如，使得可用于替换子系统的元数据可以包含相机记录中的屏幕上正在播出的TV频道的简要标识，例如标识符“BBC 1”。然后，替换子系统可以例如经由网际协议电视（IPTV）服务来标识和访问频道“BBC 1”，从其可以访问视觉内容的媒体流。

替换视觉内容

在获得对视觉内容的原始版本的访问之后，在屏幕上显示的视觉内容可以被替换为视觉内容的原始版本，由此获得增强媒体记录。这样的替换可以是但不需要以实时且以同步的方式执行，使得增强媒体记录中的视觉内容至少在一定程度上与先前在媒体记录中示出的视觉内容同步。将参考“时间配准”来进一步阐明所述同步方面。

将在屏幕上显示的视觉内容替换为视觉内容的原始版本可以以多种方式来执行。例如，替换子系统可以将视觉内容的原始版本叠加或以其他方式插入到相机记录中。注意，这样的替换可能不需要是像素精确的，也不需要完全替换在屏幕上显示的视觉内容。例如，视觉内容的原始版本可以被alpha混合到相机记录中，其中相机记录的视觉内容的残差（residual）（例如，1-alpha加权残差）因此保留在相机记录中。

注意，如果视觉内容是从特定版本的视觉内容（例如，特定的媒体流）的播出获得的，则替换不限于通过播出的特定版本的替换，而是可以涉及不同的版本。例如，替换可以是通过已经被向下采样或具有较低位率的经处理版本。这样的经处理版本可能不会影响感知的质量或甚至可以增强感知的质量，如将参考“视频会议方面”进一步阐明的。

替换可以在各个阶段处执行。例如，替换可以已经在记录设备本身中执行，使得媒体记录的经编码版本包含原始版本。另一种方式是让接收器设备访问媒体记录和视觉内容的原始版本两者，并将原始版本插入到媒体记录中。在以下段落中将进一步阐明该方面。也可以在媒体记录的播出期间执行替换。因此，增强媒体记录可能不被单独存储，而是可以“在进行中（on the fly）”生成。

系统划分

将理解，分析子系统和替换子系统可以是单个设备的部分。然而，两个子系统也可以是不同设备的部分，或者可以以分布式方式实现。非限制性示例是发送器/接收者系统的，其中，在发送器侧处，媒体记录可以由发送器设备获得以用于发送到接收器设备，其中，在接收器侧处，接收器设备然后将场景的相机记录中的视觉内容替换为视觉内容的原始版本。本文，发送器设备可以包括第一输入接口和分析子系统，并且接收器设备可以包括第二输入接口和替换子系统。这样的系统的非限制性示例是视频会议系统。

图5示出了这样的系统的发送器侧的示例。本文，示出了包括人015和显示视觉内容的屏幕010的场景。在图5的示例中，屏幕010是接收和播出视觉内容060的电视的屏幕。记录设备020被示出为记录场景。如图1中，记录设备020的视场022在图5中示意性地指示。记录设备020被示出为使得结果所得的媒体记录030可用于发送器设备300，并且如将进一步参考图6所示，可用于接收器设备400。这样的使得可用可以采取任何合适的形式，包括诸如流式传送媒体记录的直接形式以及介质记录被间歇地存储、处理等所采用的间接形式。

一般来说，发送器设备、屏幕和记录设备可以共同位于例如相同的房间、相同的建筑物、相同的外部区域中。然而，这不是要求，原因在于发送器设备300可以位于发送器侧处（例如“发送”位置处），而屏幕可以由其他地方（例如在第三位置即“记录”位置处）的记录设备定位和记录。

图5进一步示出了电视010使得资源位置信息064可用于发送器设备300。这样的资源位置信息064可以使得能够访问被播出的视觉内容的原始版本060，并且可以采取任何合适的形式，如遍及本说明书所讨论的。例如，电视010可以经由包括引用清单文件的URL的网络消息来宣告它正在播出视觉内容。该清单文件可以是提供关于媒体流的各种信息的MPEGDASH的媒体呈现描述（MPD）文件，其示例是诸如“http://example.com/description-of-resource.mpd”的URL。另一个示例是，电视可以通告通信频道端点，诸如WebSocket（rfc6455，WebSocket协议）端点，经由其电视可以直接递送MPD。

发送器设备300并且特别是其分析子系统可以分析包括在媒体记录030中或由媒体记录030表示的相机记录，以确定屏幕在相机记录中的坐标。为此目的，可以使用早前描述的追踪技术。然后，发送器设备300可以格式化并使得这些坐标可用作元数据052。这样的元数据的具体示例将在以下段落中给出。作为元数据052的一部分，发送器设备300可以包括资源位置信息064。

图6示出了接收器侧的示例。本文，接收器设备400示意性地示出为包括用于接收媒体记录030的输入接口130和被划分为再现器142和场景合成器144的替换子系统。再现器142被示出为接收由发送器设备300所生成的元数据052，并且基于例如元数据052中包括的资源位置信息来访问视觉内容的原始版本060。基于如从元数据052所获得的屏幕的坐标，再现器062然后可以调整视觉内容的原始版本060的一个或多个视觉性质（诸如其几何形状），以便更好地适合媒体记录030中的屏幕上所显示的视觉内容。也可以调整所述原始版本060的各种其他方面，包括但不限于对比度、亮度、白平衡、动态范围、帧速率、空间分辨率、焦点、3D角度、3D深度。为了将所述视觉性质与媒体记录030的那些相匹配，再现器142可以例如从发送器设备的分析子系统接收关于所述性质的信息，或者本身可以访问和分析接收器设备140内的媒体记录030（图6中未明确示出）。在调整了视觉内容的原始版本060之后，由此获得其调整后的版本062，场景合成器144然后可以将在媒体记录030中的屏幕上显示的视觉内容替换为视觉内容的所述调整后的原始版本062，由此获得增强媒体记录040。

图7示出了用于增强媒体记录的系统的另一示例，其中在屏幕上显示的视觉内容被替换为视觉内容的原始版本，由此获得增强媒体记录。本文，示出了分析子系统120和替换子系统140，同时为了简洁起见省略了如早前在图2中所示的各个输入接口。两个子系统可以是单个设备的部分，或者如早前参考图5和图6所示的，也可以是不同设备的部分，或者可以以分布式方式实现。在该示例中，示出了播出视觉内容060的媒体设备012。虽然在图7中未明确示出，但是媒体设备012可以包括屏幕，或者可以连接到屏幕，其中屏幕然后被记录设备020记录。如与图5的媒体设备（即，电视010）相反，图7的媒体设备012被示出为直接向替换子系统140提供视觉内容的原始版本060，而不是提供（仅）资源位置信息。例如，媒体设备012可以在向替换子系统140宣告播出或者替换子系统140发现媒体设备012的播出之后流式传送所述原始版本060。与图5和图6相比，替换子系统120可以因而直接从负责在屏幕上播出视觉内容的媒体设备012获得视觉内容的原始版本060。

发现

图8A和8B涉及不同的发现机制，其可以用于发现由媒体设备播出的媒体内容，以便发现在相机记录中的屏幕上示出的视觉内容。图8A示出了系统主动轮询网络以便发现网络中的媒体设备的存在的示例，而图8B示出了媒体设备经由通知消息向系统多播其存在的示例。

主动轮询网络可以基于各种协议。一个示例是UPnP协议。本文，M-SEARCH用于首先直接地或通过UPnP服务器发现本地网络中的设备。发现消息的示例如下所示。这是用于发现所有UPnP设备的一般发现消息。作为利用ssdp：all搜索所有设备的代替，也可以针对特定设备（例如针对媒体再现器）发送发现消息。UPnP中的显示设备（例如电视）将通常是媒体再现器。

在本地网络上多播M-SEARCH，从而指定要查找的内容，在这种情况下为所有设备。在图8A中，这通过从系统100指向媒体设备012的题为“1.M-SRCH”的箭头示意性地指示。

响应可以是包含关于进行响应的设备的信息的200 OK消息，在这种情况下，媒体设备012是媒体再现器。

替代地或另外，如图8B中所示，媒体设备012还可以偶尔多播其存在，其可以由系统100检测。通告消息的示例在下面示出。该消息在内容方面与对M-SEARCH进行响应时的200 OK消息类似，并且在图8B中通过从媒体设备012指向系统100的题为“1.NTFY”的箭头所指示。

注意，图8A和8B的示例在UPnP的上下文内，同时存在均可以代替地使用的各种发现协议。

信令屏幕坐标

进一步参考检测屏幕在相机记录中的坐标的分析子系统，这些坐标可以被信令给其他方，诸如替换子系统。该信令可以涉及分析子系统以元数据的形式格式化坐标并使得坐标可用。可以通过在X和Y坐标中编码检测到的屏幕来生成这样的元数据。然而，即使屏幕通常是矩形的，屏幕也可以以一定角度记录。在这种情况下，坐标可以表示屏幕的所有四个角落。此外，关于视觉内容的信息可以被检测并信令给其他方。下面是XML中的这样的元数据的示例。

注意，上述基于XML的元数据被示出为指示矩形屏幕的坐标。对于其他类型的屏幕，可能需要供应更多或更少的元数据。例如，智能手表可能具有圆形显示器，其当从一定角度被捕获时可能显现为椭圆形。在这种情况下，针对中心的坐标以及描述圆形或椭圆形的参数可以被检测并信令。对于弯曲的屏幕，屏幕的顶部和底部可能不是直线。因此，除了角落的坐标之外，描述曲率的参数可以被检测并信令。对于全息投影或光场显示，可以使用3D坐标来描述其中显示3D图像的区域。屏幕也可能在相机记录中被部分地遮挡，或者仅部分地示出在记录设备的视场中。因此，坐标还可以描述表示屏幕的未遮挡的可见部分的多边形。

注意，为了以元数据的形式格式化坐标并使得坐标可用，可以使用题为“Carriageof Timed Metadata Metrics of Media in ISO Base Media File Format”的ISO/IEC标准23001-10。虽然在编写时该标准仅包含相对于MPEG Green标准的定时元数据（参见ISO/IEC 23001-11）和视觉质量度量（诸如PSNR），但是MPEG已经启动了修改23001-10以添加也携带2D坐标的过程。

时间配准

当将在屏幕上显示的视觉内容替换为视觉内容的原始版本时，替换可以使用检测到的屏幕的坐标作为插入原始版本的位置。但是，当视频随时间改变时，这样的替换也可能具有时间方面。因此，原始版本的插入可以与相机记录中的显示的视觉内容同步，原因在于与之前确切相同的内容可以在替换之后示出。这可能涉及标识相机记录中的播出点，并在原始版本中标识该相同的播出点，并且在替换期间使用其。为此目的，可以使用来自媒体同步的任何已知技术，包括缓冲并在视频中向前寻找。注意，在一些情况下，例如在演示者与在屏幕上示出的视觉内容交互的情况下，可能期望在相对高的程度上将原始版本与相机记录同步，例如，在数十或数百毫秒的量级上具有残余差异。然而，在许多情况下，确切的定时不太重要，并且与记录中的显示的视觉内容相比，原始版本的插入可以在时间方面稍微偏移。作为示例，屏幕可以示出TV频道，例如频道“NPO1”。如果该TV频道被访问以用于替换，则可以使用当前可用的播出。这可能与在相机记录中的显示的视觉内容在播出定时方面不同，因为TV频道的播出可以在各个位置处变化，这取决于TV提供商、使用的分发技术、分发期间的转码等。这样的差异通常在若干秒的数量级上，并且可能与一分钟一样大。因此，媒体记录的增强版本可以在场景中的屏幕上示出的视觉内容的定时方面稍微不同。

视觉性质的调整

进一步参考视觉内容的原始版本060的一个或多个视觉性质的调整，如早前参考图6所描述的，视觉内容的原始版本可能需要在其插入到媒体记录中之前被适配。这可以涉及整个场景性质的分析（例如通过直方图分析）和视觉内容的原始版本的调整，以便使其视觉性质与记录的场景配准。可以使用各种图像分析和图像处理技术，如例如在由RichardSzelisk，2010，在2015年4月15日在http://szeliski.org/Book/drafts/SzeliskiBook_ 20100903_draft.pdf处咨询的“Computer Vision：Algorithms and Applications”中描述的，例如，在第3.1章（点运算符）和3.6（几何变换）中。替代地，如果视觉内容的原始版本已经具有期望的视觉性质，则其可以直接用于替换在屏幕上示出的视觉内容。

高效地编码媒体记录

媒体记录中的屏幕上示出的视觉内容将被替换为视觉内容的原始版本。因此，当在发生所述替换之前对媒体记录进行编码以例如用于发送或存储时，可以以优化的方式对媒体记录进行编码以获得更高的编码效率。以下描述了两个可能的动作，它们也可以进行组合。

第一动作是媒体记录的预处理，这可以涉及使得表示所显示的视觉内容的区域易于编码。这样，该区域将在编码后的位流中占较少的位。这样做的一种可能方式是通过相同的像素值（例如“零”或黑色）来代替所捕获的视频帧的该区域中的所有像素值。即，当利用帧内预测或块匹配机制时，均匀区域对于编码器可高效地编码。

第二动作是所谓的非感兴趣区域编码。无论视频编码标准如何，许多编码器提供了定义针对其应分配更多或更少的质量（更多或更少的位）的视频帧中的区域的可能性。在本上下文内，向表示所显示的视觉内容的区域分配欠佳的质量可能是有益的。通常，经由量化参数（QP）来调整该区域的质量。QP越高，编码后的流的质量越低。通过向该区域局部地应用更高的QP，人们可以实现屏幕上显示的视觉内容的“非兴趣”编码的该区域。

第三动作可以构成对第二动作的替代，其可能需要经修改的编码器。即，人们可以考虑不编码不被需要的内容。在这种情况下，要丢弃的区域（即，表示所显示的视觉内容的区域）的坐标可以直接被编码器用来在对视频流进行编码时将其忽略。有效地，输出位流然后可以包含具有“孔”的帧。区域的这样的丢弃可以涉及使用高效率视频编码（HEVC）拼贴（tile）。例如，假设在相机记录中仅示出有一个屏幕，则记录设备可以以使得在编码过程期间可以丢弃表示屏幕的拼贴的方式定义用于HEVC编码器的拼贴网格。拼贴网格可以基于屏幕的位置而动态地调整。替代地，拼贴网格可以是静态的，并且可以丢弃仅包含来自在屏幕上显示的视觉内容的像素的拼贴。

视频会议方面

注意，在视频会议场景中，可能不需要针对用户B使用用户A看到的相同的流；如果针对用户B呈现记录的屏幕较小或者以低分辨率提供，则检索要在用户B的视域中显示的视觉内容的低位率版本可能是足够的。在此以及在下文中，对用户A的引用被理解为对他/她的发送器设备的引用，并且对用户B的引用被理解为对他/她的接收器设备的引用。示例：用户A在他/她的大屏幕TV上观看全HD TV频道（1920x1080像素），其涉及10Mbit/s的位率。用户B仅在他的记录视域中看用户A的TV的按比例缩小的版本，因此较低分辨率版本（SD）可能足以得到可接受的结果。注意，这也可以一般地应用于从媒体流播出的视觉内容，原因在于可能不需要检索相同的媒体流，以便替换在相机记录中的屏幕中示出的视觉内容。更确切地，可以检索不同的（例如较低的）位率版本。仍然可以获得更高的质量，例如通过避免数字到光到数字转换步骤。进一步参考视频会议场景，用户A和用户B可以通过所述媒体流在它们之间高效地分发（例如通过经由多播或对等到对等（P2P）的分发）来访问相同的媒体流。系统还可以检测或解析用户A正在观看的资源也可用于用户B，但是经由不同的路由。示例：用户A经由TV提供商A的订阅来观看TV频道“NP01”；系统然后可以检测用户B可以经由IPTV提供商B的订阅来访问所述TV频道的媒体流，使得不需要将媒体流从用户A传送到用户B。

其他一般方面

注意，如果相机记录示出来自PC、平板电脑或智能电话或其他类型的计算设备的屏幕，则所述计算设备的屏幕捕获功能可以用作用于视觉内容的原始版本的媒体源，原因在于（多个）屏幕捕获可以被访问并用于替换在相机记录中的在屏幕上显示的视觉内容。

注意，分析子系统和/或替换子系统可以被体现为单个设备或装置或者体现在单个设备或装置中，诸如记录设备或另一用户设备。设备或装置可以包括执行适当软件的一个或多个微处理器。软件可以已被下载和/或存储在对应的存储器中，例如诸如RAM的易失性存储器或诸如闪存的非易失性存储器。替代地，分析子系统和/或替换子系统可以以可编程逻辑的形式在设备或装置中实现，例如作为现场可编程门阵列（FPGA）。通常，系统的每个功能单元可以以电路的形式实现。注意，分析子系统和/或替换子系统也可以以分布式方式实现，例如涉及不同的设备或装置。例如，分析子系统和/或替换子系统可以被实现为由诸如服务器之类的媒体分发网络内的实体所执行的基于软件的功能。

在权利要求中，放置在括号之间的任何附图标记不应被解释为限制权利要求。动词“包括”及其变化的使用不排除除了权利要求中所述的那些元素或步骤之外的元素或步骤的存在。元素之前的冠词“一”或“一个”不排除多个这样的元素的存在。本发明可以通过包括若干不同元件的硬件以及通过适当编程的计算机来实现。在列举了若干部件的设备权利要求中，这些部件中的若干个可以由硬件的一个且同一项目体现。在相互不同的从属权利要求中记载某些措施的仅有的事实并不指示不能有利地使用这些措施的组合。

Claims

1.一种增强媒体记录的方法，包括：

- 访问所述视觉内容的原始版本；以及

2.根据权利要求1所述的方法，其中访问所述视觉内容的原始版本包括：

- 标识在所述屏幕上显示的视觉内容；

- 从所述资源位置访问所述视觉内容的原始版本。

3.根据权利要求2所述的方法，其中标识在所述屏幕上显示的视觉内容包括：

- 标识与在所述屏幕上显示的视觉内容相关联的所述相机记录的内容数据；

4.根据权利要求3所述的方法，其中所述自动内容识别技术包括确定以下中的至少一个：所述内容数据的音频水印、视频水印或指纹。

5.根据权利要求2所述的方法，其中在所述屏幕上显示的视觉内容表示由媒体设备的播出，并且其中标识在所述屏幕上显示的视觉内容包括从媒体设备获得指示所述视觉内容的播出信息。

6.根据权利要求5所述的方法，其中获得所述播出信息包括：

- 针对所述播出信息经由网络查询媒体设备；或者

- 媒体设备经由网络发送所述播出信息。

7.根据上述权利要求中任一项所述的方法，其中在场景的相机记录中的视觉内容的替换包括调整所述视觉内容的原始版本的一个或多个视觉性质。

8.根据权利要求7所述的方法，其中所述一个或多个视觉性质包括以下中的一个或多个：对比度、亮度、白平衡、动态范围、帧速率、空间分辨率、几何形状、焦点、3D角度、3D深度。

9.根据上述权利要求1至6中任一项所述的方法，其中所述媒体记录由发送器设备获得以用于发送到接收器设备，其中在场景的相机记录中的视觉内容的替换由接收器设备执行，并且其中所述方法还包括：

10.根据权利要求9所述的方法，还包括发送器设备在所述元数据中包括所述屏幕在所述相机记录中的坐标。

11.一种具有存储于其上的指令的计算机可读介质，当所述指令被执行时使得处理器系统执行根据权利要求1至10中任一项所述的方法。

12.一种用于增强媒体记录的系统，包括：

- 第二输入接口，用于访问所述视觉内容的原始版本；以及

13.根据权利要求12所述的系统，包括发送器设备和接收器设备，所述发送器设备包括：

- 所述第一输入接口；

- 所述分析子系统；

并且所述接收器设备包括：

- 所述第二输入接口；以及

- 所述替换子系统。

14.根据权利要求13所述的系统，其中：

- 发送器设备被配置用于检索所述视觉内容的原始版本并随后将所述视觉内容的原始版本发送到接收器设备；或者

- 发送器设备被配置用于向接收器设备发送指示所述视觉内容的原始版本可从其访问的资源位置的元数据，并且接收器设备被配置用于基于所述元数据从所述资源位置检索所述原始版本。

15.根据权利要求13或14所述的发送器设备或接收器设备。