CN103314583A

CN103314583A - 保留ppg相关信息的视频编码和解码设备及方法

Info

Publication number: CN103314583A
Application number: CN2011800643674A
Authority: CN
Inventors: I.O.基伦科; G.德哈安; A.J.范里斯特
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2011-01-05
Filing date: 2011-12-27
Publication date: 2013-09-18
Anticipated expiration: 2031-12-27
Also published as: WO2012093320A2; BR112013017072A2; EP2846550B1; US20130294505A1; EP2661885A2; RU2013136494A; RU2597994C2; EP2846550A1; JP5940558B2; CN103314583B; JP2014506062A; WO2012093320A3

Abstract

本发明涉及一种用于对视频数据编码的视频编码设备（10，10’，10’’）和方法以及相应的视频解码设备（60，60’’）和方法。为了在编码之后在无需大量的附加数据用于视频编码器输出流的情况下保留PPG相关信息，所提出的视频编码设备包括：选择单元（20，20’），其用于在输入视频数据（100）中选择提供强PPG信号的感兴趣区（101）；第一编码单元（30，30’），其用于依照预定编码方案利用编码的第一设置对所述输入视频数据（100）的所述选择的感兴趣区（101）编码以便在编码的感兴趣区中保留PPG相关信息；第二编码单元（40，40’），其用于依照所述预定编码方案利用编码的第二设置对所述输入视频数据（100）的其余部分（103）编码；以及编码器组合单元（50），其用于将所述输入视频数据的编码的感兴趣区（102）和编码的其余部分（104）组合成编码器输出视频流（105）。

Description

保留PPG相关信息的视频编码和解码设备及方法

技术领域

本发明涉及一种通过其保留PPG（光体积描记成像）相关信息的用于对视频数据编码的视频编码设备和相应的视频编码方法。

此外，本发明涉及一种用于对编码的视频数据解码的视频解码设备和相应的视频解码方法。

更进一步，本发明涉及一种用于对视频数据编码和解码的视频编码系统以及一种用于实现所述方法的计算机程序。

背景技术

存在日益增长的提供用于人的生物统计信号的鲁棒连续监视的技术解决方案的需求。该需求是在年轻一代中越来越了解健康和积极的生活方式的重要性的结果。而且，作为预期寿命提高的结果的持续老龄化的人口给对于人的日常生命活动具有最小干扰的健康监视系统的必要性带来额外的压力。生物统计信号的不显眼的监视可以用来在任何时间提供关于身体和精神状况的几乎即时的反馈并且尽可能快地评估人的健康状态的变化。

常规的测量生物统计信号（例如心率、呼吸速率、血压、皮肤氧化作用等等）的设备和方法要求用户穿戴令人讨厌的身体传感器，这可能被体验为对于正常的人类生命活动是侵扰性的。因此，近年来看到开发用于远程监视至关重要的身体信号的无接触技术的尝试。最近的发展展示了借助于被设计用于消费者（网络摄像头）或广播视频的成像传感器实现不显眼的远程监视。

Wim Verkruysse, Lars O. Svaasand, and J. Stuart Nelson, “Remote plethysmographic imaging using ambient light”, Optics Express, Vol. 16, No. 26, December 2008中描述了一种称为光体积描记成像（PPG）的测量肤色变化的方法。它基于以下原理：皮肤中的血容量的时间变化导致皮肤光吸收的变化。这样的变化可以由拍摄皮肤区域（例如脸）的图像的视频照相机登记，同时处理计算人工选择区（在该系统中典型地为脸颊的部分）上的像素平均值。通过查看该平均信号的周期性变化，可以提取出心跳速率和呼吸速率。

已知的用于远程测量心跳或呼吸速率信号的系统基于紧接在图像感测之后对于未压缩、未处理的视频序列的分析。在大多数“现实生活”应用中，视频序列以压缩的形式存储或传输。视频信号的压缩意味着一些冗余（从视觉感知的观点来看）信息的移除。遗憾的是，对于视觉感知不重要的信息可能对于检测生物统计信号是至关重要的。例如，MPEG压缩标准利用了轻微地改变视频信号的时间信息的帧间预测。这些改变使得时间生物统计信号的检测是困难的或者甚至不可能。然而，对于许多应用而言，从视频中提取心跳信号应当在视频记录发生之后实现。在这些情况下，将处理压缩的视频。

如果以高比特率压缩了视频，那么可以在编码的比特流中保留PPG相关信息。然而，以低压缩比压缩视频将增大存储文件的尺寸或者增大传输带宽。因此，需要在尤其是依照常规视频编码标准之一的视频记录和压缩期间保留离线提取生物统计信号所需的信息。

标准视频编码技术（比如MPEG2、MPEG4、H.264）通过应用时间预测而实现了视频信息的显著压缩。视频序列中的大多数帧（类型B和P，B表示“双向预测帧”，P表示“前向预测帧”）被编码为原始帧与运动补偿帧间编码帧（类型B或P）之间的量化差异。一些视觉信息由于量化和运动预测的原因而丢失。尽管该信息从视觉感知的观点来看是无关紧要的，但是它包含了对于提取诸如心跳之类的生物统计信号至关重要的数据。

如果以高比特率压缩了视频，而不应用时间预测和/或去块滤波器（对于H.264而言），那么可以在视频序列中保留PPG信息。例如，可以应用仅仅基于帧内编码的MJPEG或MJPEG2K来压缩视频和保留PPG信号。然而，全部帧的帧内编码不能提供大多数多媒体应用所需的压缩比。因此，尤其是需要一种允许使用标准有损视频压缩技术压缩视频并且保留在解码视频之后提取PPG信号所需的图像信息的方法和设备。

发明内容

本发明的一个目的是提供一种用于对视频数据编码的视频编码设备和相应的视频编码方法，通过所述设备和方法，保留了PPG相关信息，而无需大量的附加数据。本发明的另一目的是提供一种相应的视频解码设备和方法、视频编码系统以及用于实现所述方法的计算机程序。

在本发明的第一方面中，给出了一种视频编码设备，该设备包括：

- 选择单元，其用于在输入视频数据中选择提供强PPG信号的感兴趣区，

- 第一编码单元，其用于依照预定编码方案利用编码的第一设置对所述输入视频数据的所述选择的感兴趣区编码（102）以便在编码的感兴趣区中保留PPG相关信息，

- 第二编码单元，其用于依照所述预定编码方案利用编码的第二设置对所述输入视频数据的其余部分编码，以及

- 编码器组合单元，其用于将所述输入视频数据的编码的感兴趣区和编码的其余部分组合成编码器输出视频流。

在本发明的另一方面中，给出了一种用于对编码的视频流解码的视频解码设备，所述编码的视频流包括编码的视频数据，其中已经依照预定编码方案利用编码的第一设置对输入视频数据的感兴趣区进行了编码以便在编码的感兴趣区中保留PPG相关信息，并且已经依照所述预定编码方案利用编码的第二设置对所述输入视频数据的其余部分进行了编码，所述视频解码设备包括：

- 第一解码单元，其用于依照与已经用于对所述感兴趣区编码的编码方案互补的解码方案对编码的感兴趣区解码，

- PPG提取单元，其用于从所述解码的感兴趣区中提取PPG信号。

在本发明的另外的方面中，给出了相应的视频编码方法和相应的视频解码方法、视频编码系统和包括程序代码装置的计算机程序，所述程序代码装置用于当所述计算机程序在计算机上执行时使得计算机执行所提出的方法的步骤。

从属权利要求中限定了本发明的优选实施例。应当理解的是，要求保护的视频解码设备、视频编码系统、方法和计算机程序具有与要求保护的视频编码设备相似和/或相同的且如从属权利要求中所限定的优选实施例。

本发明基于以下思想：为了在编码的视频信号中保留PPG相关信息，对包含具有PPG相关信息的允许导出强PPG信号，尤其是最强PPG信号（即在PPG相关信号方面基本上没有损失）的区域，而不是从其不会（或者甚至不能）提取出PPG信号的视频数据的其他区域的选择的感兴趣区编码。特别地，设定用于对选择的感兴趣区编码的局部编码参数（通常为编码器的特定设置），并且可以将比特预算分配给对于提取PPG信号有用的一个或多个空间图像区域（即所述一个或多个感兴趣区），同时提供编码（即压缩比）与提取自（至少部分）解码的信号的PPG信号的质量之间的最佳折衷。

可以使用光体积描记术（PPG）原理从视频序列中检测生物统计信号，所述视频序列例如流送自视频照相机或者未压缩地被记录。如上面所提到的，在实际应用中，这样的观察并不总是受支持。本发明实现在例如标准视频编码器的视频压缩期间保留用于提取PPG信号/生物统计信号的PPG视觉信息，同时允许以低比特率压缩。优选地，本发明允许生成符合标准的编码的比特流，例如以便存储在数据载体上或者通过传输线（例如互联网）或者通过移动通信系统传输。

在本文中，表述“PPG相关信息”应当被理解为与获得PGG信号相关的信息。这样的PPG相关信息可以包括包含在原始视频数据中的没有为人眼所识别的信息，例如人的皮肤的轻微颜色变化。在本文中，表述“PPG信号”通常表示可以通过光体积描记术分析获得的任何信号，诸如时间生物统计信号，例如心跳、心动周期、SpO2、呼吸速率、麻醉深度或者低血容量和高血容量。

在一个优选的实施例中，编码设备进一步包括：区域选择单元，其用于在输入视频数据中将一定区域（尤其是皮肤区域）选择为感兴趣区，其中所述视频数据包括视频帧序列，所述帧被划分成空间块；以及块选择单元，其用于确定用于所述选择的区域的空间块，所述确定的空间块代表感兴趣区。通常，视频数据可用作视频帧序列，并且每帧被划分成空间块（例如尺寸包括4x4或者16x16像素）。因此，依照该实施例，为了进行后续编码，寻找应当利用第一编码单元编码的最佳空间块。

依照另一实施例，所述区域选择单元包括：检测单元，其用于在输入视频数据中检测可能用作感兴趣区的潜在可用区域（尤其是皮肤区域）集合；以及分析单元，其用于分析所述检测的潜在可用区域集合并且基于一个或多个预定选择准则将一定区域选择为感兴趣区。这样的分析单元可以例如包括用于在视频数据中，尤其是在一个或多个视频帧中检测脸和/或皮肤区的脸和/或皮肤检测器。因此，优选地，脸或皮肤是潜在地可用的。优选地，将（时间上）最稳定的脸和/或皮肤区选择为感兴趣区。但是，也可以使用其他的选择准则，例如空间尺寸、照明稳定性和/或颜色稳定性。例如，Paul Viola, Michael Jones, “Robust Real-time Object Detection”, 2^nd Intern. Workshop on Statistical and Computational Theories of Vision, Vancouver, Canada, 2001中描述了这样的检测器。

在另一个实施例中，所述分析单元包括PPG提取单元，该PPG提取单元用于从所述检测的潜在可用区域中提取PPG信号并且用于基于提取的PPG信号的质量和/或内容将一定区域选择为感兴趣区。因此，分析单元可以更好地预知哪些潜在可用区域将提供强PPG信号并且因此相应地做出感兴趣区的选择。

优选地，所述PPG提取单元适于确定用于编码的第一设置的一个或多个参数，以供第一编码单元用于基于提取的PPG信号对所述选择的感兴趣区编码，并且所述第一编码单元适于使用第一设置的所述一个或多个参数以用于对所述选择的感兴趣区编码。因此，PPG提取的结果将用来控制选择的感兴趣区的编码过程，以便使用最佳编码器设置实现在解码器中可以从编码的感兴趣区中提取最好的可能的PPG信号。用于编码单元的第一设置的那些参数可以包括压缩率、块/场/帧的帧内或帧间编码模式、使用的AC系数的数量、量化器尺度、帧内DC精度、定制的量化器矩阵等等中的一个或多个。

在一个实施例中，所述第一编码单元适于对所述选择的感兴趣区的至少色度分量，尤其是仅仅色度分量编码，并且所述第二编码单元适于对所述选择的感兴趣区的亮度分量编码并且适于对所述输入视频数据的其余部分的色度分量和亮度分量编码。这有助于降低用于编码的感兴趣区视频数据的数据量。优选地但是非通常地，仅仅选择和编码色度分量。

依照另一个实施例，所述第一编码单元适于通过块内编码对所述选择的感兴趣区编码，并且所述第二编码单元适于通过块间和/或块内编码对所述输入视频数据的其余部分编码。这提供了基本上无损失地对感兴趣区编码。块内编码和块间编码是公知的技术，并且例如在MPEG编码器中经常用于编码。因此，进一步的细节将不在这里加以解释，因为这些细节是技术人员已知的。

更进一步，在一个实施例中，所述第一编码单元适于对所述选择的感兴趣区的至少色度分量，尤其是仅仅色度分量的块间或块内的仅仅DC分量编码。这进一步有助于降低用于编码的感兴趣区的数据量，在对色度分量的块间或块内的仅仅DC分量编码的情况下，尤其如此。PPG相关信息通常由所有像素携带，但是通常对空间信息没有太多兴趣。相反地，只需要一样多的像素以进行平均，以便提高各像素中的希望的PPG信号（例如心跳）的信噪比。PPG相关信息/PPG信号通常甚至比未压缩的8比特视频信号的量化步长更小。该平均可以基于DC分量，并且并非绝对需要知道各像素值，尽管它可能在包含皮肤和某些其他图像部分（例如在脸的边界处）的块中有帮助。

更进一步，在一个实施例中，选择单元适于在输入视频数据中选择提供强PPG信号，尤其是最强PPG信号的两个或更多感兴趣区，并且第一编码单元适于对选择的感兴趣区编码。因此，不仅单个感兴趣区而且若干感兴趣区可用于在解码期间评估和获取PPG信号，这提高了可靠性。例如，在一个实施例中，可以从所述感兴趣区中的每一个中获取PPG信号，并且此后可以执行PPG信号的评估，该评估具有最高的可靠性或者所有PPG信号的平均。

在一个实施例中，可以尤其由选择单元生成ROI信息，所述ROI信息包括关于感兴趣区的位置的信息，并且其可以被包含到编码器输出视频数据中。然后，解码设备可以使用该ROI信息容易地找到感兴趣区以便从中解码和提取PPG信号。

在解码期间，视频解码设备至少能够从解码器输入视频数据中对编码的感兴趣区解码，并且从解码的感兴趣区中提取PPG信号。为此目的，PPG提取使用如例如上面提到的关于PPG的论文中所描述的或者如描述PPG的基础知识的其他引文中所描述的公知方法。然而，在另一实施例中，解码单元也可以适于尤其是依照与编码期间使用的编码方案互补的解码方案对完整的视频数据解码。因此，视频编码设备中执行的编码必须适于确保这点。

附图说明

本发明的这些和其他方面根据此后描述的实施例将是清楚明白的，并且将参照所述实施例进行阐述。在以下附图中：

图1示出了依照本发明的视频编码设备的第一实施例的示意性框图，

图2示出了依照本发明的视频解码设备的第一实施例的示意性框图，

图3示出了依照本发明的视频编码设备的第二实施例的示意性框图，

图4示出了依照本发明的视频编码设备的第三实施例的示意性框图，

图5示出了依照本发明的视频解码设备的第二实施例的示意性框图，

图6示出了依照本发明的视频解码设备的第三实施例的示意性框图，以及

图7示出了依照本发明的视频编码设备的第四实施例的示意性框图。

具体实施方式

图1示出了依照本发明的视频编码设备10的第一普通实施例的示意性框图。依照该实施例，将也称为输入视频数据的原始视频流100提供给选择单元20，该选择单元在输入视频数据100中选择提供强PPG信号的感兴趣区101。将选择的感兴趣区101提供给第一编码单元30，该第一编码单元用于依照预定编码方案利用编码的第一设置对所述选择的感兴趣区101编码以便在编码的感兴趣区102中保留PPG相关信息。并行地，第二编码单元40依照所述预定编码方案利用编码的第二设置对所述输入视频数据100的其余部分103编码。在编码器组合单元50中，将所述输入视频数据100的编码的感兴趣区102和编码的其余部分104编码到编码器输出视频流105中。

通过将所述第一设置用于对选择的感兴趣区101编码，基本上确保了至少在选择的感兴趣区101中包括的PPG相关信息方面，基本上无损失地对选择的感兴趣区101编码，从而可以在解码设备中从选择的感兴趣区101中提取强PPG信号。输入视频数据100的其余部分103单独地利用编码的第二设置，例如以低比特率（或者至少可能对于感知是最佳的、但是对于PPG提取不是足够的比特率）编码。

图2示出了依照本发明的视频解码设备60的第一普通实施例的示意性框图。依照该实施例，对接收的编码的视频流160解码。所述编码的视频流160除了在存储和/或传输期间引入的干扰之外，应当与编码器输出视频流105相应并且包括编码的视频数据，该编码的视频数据包括输入视频数据100的编码的感兴趣区161和编码的其余部分162。

视频解码设备60包括：第一解码单元70，其用于依照与已经在视频编码设备10中用于对所述感兴趣区101编码的编码方案互补的解码方案对编码的感兴趣区161解码；以及PPG提取单元80，其用于从所述解码的感兴趣区163中提取PPG信号164。为了限定这样的感兴趣区，优选地例如通过读取包含在视频解码器输入流160中的ROI信息或者通过图像分析（例如通过检查可以通过其将编码的感兴趣区与编码的其余区相区分的量化等级）而从相应ROI信息中获得感兴趣区的坐标。

可选地，可以提供分离单元90，其用于将编码的感兴趣区161和编码的其余部分162分离或者至少用于从解码器输入视频数据160中获取编码的感兴趣区161。此外，可选地，可以提供用于依照所述解码方案对所述输入视频数据的编码的其余部分162解码的第二解码单元75，并且然后可以提供用于将解码的感兴趣区163和解码的其余部分165组合成解码器输出视频流166的解码器组合单元95。

图6示出了依照本发明的视频解码设备60’’的第二更简单的实施例的示意性框图。依照该实施例，输入视频流160未像在图2中所示的实施例中那样被分解。首先，在公共解码单元71中，对输入视频流160解码。然后，在解码的视频流167中，在选择单元72中选择感兴趣区168，PPG提取单元80从该感兴趣区中提取PPG信号164。

图3示出了依照本发明的视频编码设备10’的第二更详细的实施例的示意性框图，该实施例包括选择单元20’的优选实施例。特别地，选择单元20’包括区域选择单元21，该区域选择单元用于在输入视频数据100中将一定区域123（尤其是皮肤区域）选择为感兴趣区，其中所述视频数据包括视频帧序列，所述帧被划分成空间块。此外，选择单元20’包括块选择单元24，该块选择单元用于确定用于所述选择的区域123的空间块101，所述确定的空间块101代表感兴趣区。

在如图3中所示的进一步改进中，区域选择单元21包括：检测单元22，其用于在输入视频数据100中检测可能用作感兴趣区的潜在可用区域（尤其是皮肤区域）集合122；以及分析单元23，其用于分析所述检测的潜在可用区域集合122并且基于一个或多个预定选择准则将一定区域123选择为感兴趣区。然后，在块选择单元24中根据所述选择的感兴趣区确定相应的空间块101，所述空间块随后如上面所描述的由第一编码单元30’编码。

潜在可用区域的检测优选地适于尤其是通过用于皮肤检测的可用方法检测脸或皮肤区域。取决于特定的视频内容，检测的皮肤区域可能占据视频帧的小部分或者整个视频帧。在第二种情况下，例如使用块内编码对整个检测的皮肤区域的编码将造成压缩效率的显著降低。

而且，通常不是整个皮肤区域可能对于PPG信号的提取是有用的。例如，只有皮肤区域的小部分在特定时间段上是临时稳定的。因此，只有该部分皮肤区域应当用于PPG信号提取。因此，分析单元23分析由检测单元22在视频帧中检测的所有皮肤区域，并且仅仅选择基于包括空间尺寸、时间稳定性、照明稳定性和/或颜色稳定性的若干准则中的一个或多个是最佳的部分。

因此，分析单元23优选地搜索最稳定的脸和/或皮肤区，因为这样的稳定区通常应该提供最强的PPG信号。单元23可以选择能够提供PPG信号的最小的ROI。PPG信号的期望强度可以通过分析ROI内部的空间像素均匀性或者通过检测优选的脸区域（例如额头、脸颊）而加以分析。分析单元23的输出为例如ROI信息形式的关于感兴趣区的位置的信息，其被提供给块选择单元24以便在输入视频数据100中选择属于选择的感兴趣区的空间块。

这在输入视频数据100的视频帧被划分成空间块（取决于对应压缩方案而具有从例如4x4像素至16x16像素的尺寸）的情况下尤其是所需要的。然后，最佳皮肤区域的坐标123由分析单元23提供给块选择单元124，该块选择单元选择具有最佳皮肤区域的块101，即代表选择的感兴趣区的块。在使用若干感兴趣区的情况下，这提供了在PPG信号提取期间提高选择最好的PPG信号的能力或者用于对从不同区获得的PPG信号取平均的选项。

选择的皮肤区域的压缩以保证在编码之后以及在（以后）解码/解压缩之后保留PPG相关信息的方式完成。PPG信号165（参见图2）主要从视频流的色度通道提取。因此，在一个实施例中，为了保留PPG相关信息，那些块101将由第一编码单元30’编码为帧内块。取决于第二编码单元40’的设置和类型，其他帧块103（即其余部分的块）在第二编码单元40’中例如由标准编码器编码为帧间块或者帧内块。视频编码标准允许在块的基础上选择帧内或帧间编码模式。因此，所提出的算法将允许创建具有保留的PPG相关信息的符合标准的编码的比特流105。

分析单元23和块选择单元24将找到可靠的PPG信号提取所需的皮肤区域的尺寸与由于将大的比特预算分配用于皮肤区域的帧内编码而引起的压缩比的损失之间的最佳折衷。在另一个实施例中，分析单元23可能（非强制性地）包括PPG信号提取25以及可能地引导皮肤区域的选择的PPG信号度量。

如在又一个实施例中所提供的，为了提取PPG信号，通常需要无误差的临时色度信息，这可以通过以更高的比特率编码色度块而实现。特别地，在如图4中所示的视频编码设备10’’的又一个实施例中，第一编码单元30’’适于对所述选择的感兴趣区101的至少（优选地仅仅）色度分量101a编码，而第二编码单元40’’适于对所述选择的感兴趣区101的亮度分量101b编码并且适于对所述输入视频数据100的其余部分103的色度分量和亮度分量编码。

原则上，块间编码可以用于选择的块的色度编码，只要DC分量在不损失信息的情况下（无损地）被压缩，并且AC分量的量化引入伪像。可以有信息损失地对亮度块编码，因为它们对于PPG提取过程的贡献没有色度分量的贡献那么显著。

依照又一个实施例，或者仅仅将选择的感兴趣区的色度分量编码为帧内块，或者将与选择的感兴趣区关联的色度和亮度分量二者编码为帧内块。在该实施例中，在选择的皮肤区域（即感兴趣区）不移动的情况下，无需额外的比特花费在将块编码为帧内块。然而，如果选择的皮肤区域在移动，那么不会引入伪像，从而该实施例将是更加高效的。

所提出的解码过程允许不仅例如依照视频编码标准重建视频流，而且从部分解码的视频流中，尤其是从解码的感兴趣区中提取PPG信号。

图5示出了依照本发明的视频解码设备60’的第二更详细的实施例，其基本上与图3中所示的补充的视频编码设备10’相应。在该实施例中，将解码器输入视频数据160提供给第一解码单元70和第二解码单元75’。虽然第一解码单元70基本上与上面解释的第一解码单元70相同并且输出解码的感兴趣区163，但是第二解码单元75’不仅对其余区域解码，而且对完整的解码器输入视频数据160解码，并且输出完整的解码器输出视频数据166，即所有视频数据（例如常规上）都在那里被解码。

因此，首先应用对输入比特流解码的标准过程，直到编码的块提取的层级。之后，进一步对整个比特流和/或帧内编码的块解码。那些帧内编码的块与编码器侧选择的最佳皮肤区域相应。

为了获得PPG信号164，PPG信号提取单元80’包括块提取单元81，该块提取单元用于从解码的感兴趣区163中提取感兴趣区的已经由视频编码设备10’的第一编码单元30’编码的块。

随后，通过使用块提取单元提供的块信息181，重建单元82根据感兴趣区的解码的帧内块重建感兴趣区，例如一个或多个皮肤区域。例如，如果在第一解码单元70中感兴趣区的至少（优选地仅仅）色度分量被解码，那么在重建单元82中重建感兴趣区的色度分量。

随后，在PPG信号提取单元83中，将PPG信号提取算法应用到重建的感兴趣区182，例如只有在没有PPG相关信息损失地对仅仅色度分量编码的情况下应用到色度分量，以便最终获得希望的PPG信号164。

在视频解码设备的另一个实施例中，可以从色度、亮度通道中或者在色度和亮度分量二者被视频编码设备编码为例如帧内块的情况下从这两个通道中提取PPG信号164。因此，视频编码设备和视频解码设备的最佳实施例的选择可以基于用于重建PPG信号的方法而完成。

如所提到的，PPG信号提取单元83检测并且提取来自重建的感兴趣区（例如重建的皮肤区域）的PPG信号164。原则上，只有重建的感兴趣区用于PPG信号的提取。因此，以完全的原始分辨率解码视频序列不是强制性的，而是通常仅仅对感兴趣区（例如帧内块）解码就足以获得PPG信号。因此，如果只有PPG信号，而不是完全解码的视频数据的提取是所希望的，那么可以节省在其他情况下由运动补偿和重建所有帧间块所需的计算能力。

用于提取PPG信号的特定方法和参数可以在PPG信号的解码和提取期间进行限定和修改。换言之，所提出的视频编码设备既没有限制PPG信号提取方法的选择，也没有限制所监视的对象的选择。一旦编码，视频序列可以在解码期间或者之后由不同的PPG提取方法进行处理，并且可以提取不同的生命体征（例如心率、心率变异性、SpO2、呼吸、PPG成像等等）。所提出的PPG友好视频解码设备可以由新的PPG提取算法升级，这将允许更好地从已经编码的视频序列中提取PPG信号。

相同的编码的视频序列也可以由标准视频解码设备进行解码，而无需用于提取PPG信号的嵌入式算法，从而保持与现有视频解码设备的后向兼容性。

在所提出的方案中使用的标准编解码器包含环内去块滤波器以减少编码伪像的情况下，这样的去块滤波器应当针对至少与选择的感兴趣区关联的块的色度分量关闭。否则，环内去块滤波器可能抑制对于PPG信号的提取至关重要的视觉信息。

PPG提取算法可以是实时的，或者具有参数的人工调整而为非实时的。而且，取决于特定的应用，本发明通常允许在记录了视频数据之后，选择生物统计信号提取的任何特定方法。因此，相同的视频可以用于提取不同的生物统计信号（例如心率、心率变异性、SpO2、呼吸、PPG成像）。

图7中示意性地绘出了依照本发明的视频编码设备10’’’的又一个实施例。该实施例与图1中所示的视频编码设备10的实施例非常相似，但是此外在利用第一编码单元30’’’形成的反馈环中提供了解码单元35和PPG信号提取单元36。该反馈环控制分配给选择的感兴趣区101的比特数量，即控制用于对所述选择的感兴趣区101编码的编码设置以便确保在编码的感兴趣区102中保留PPG相关信息。

因此，解码单元35对编码的感兴趣区102解码（应用与第一编码单元30’’’应用的第一编码方案互补的解码方案），并且PPG信号提取单元36从解码的感兴趣区106中提取PPG信号107。然后，第一编码单元30’’’可以决定PPG信号是否具有足够的质量或者是否需要改变用于编码的设置（例如是否需要更多的比特被分配用于编码的感兴趣区，和/或是否需要降低压缩率）以便提高提取的PPG信号的质量。因此，可以确保在解码设备中可以提取具有足够的质量的PPG信号。

因此，出于允许提取生命体征的目的，本发明修改了视频压缩期间的SNR或质量可伸缩性的已知概念。本发明可以用于视频流送以及用于存储压缩的视频材料。通常，只有包括编码的视频数据的比特流才被传输或解压缩以便获得基本质量的视频数据，其中所有视频数据相同地被编码，即利用单个编码方案和相同的编码参数设置进行编码。依照本发明，将附加的数据包括在保留PPG必要信息的编码的比特流中，其仅仅在应当提取生物统计信号的情况下被传输或解压缩。通过这种方式，可以实现压缩效率与在压缩的视频中保留生物统计信息之间的最佳折衷。

总的说来，所提出的本发明允许在视频（解）压缩之后提取PPG信号。PPG提取算法的复杂度和精度可以基于具体的应用而选择。例如，一些应用可能要求仅仅提取心率信息，而其他应用可能需要跳至跳（beat to beat）的精确心跳信号和/或呼吸和/或SpO2（氧化作用）。而且，本发明允许从压缩的视频中离线地（非实时地）提取PPG信号，具有人工选择和调整最佳参数的可能性。

通常，本发明并不限于特定的编码/解码方案。通常，用于对一个或多个选择的感兴趣区编码的第一编码的损失小于用于对其余数据编码的第二编码。在特定的实施例中，使用块内和/或块间编码对PPG相关视觉信息编码，同时使用帧间编码对对于生物统计信号提取不是至关重要的其他视觉信息编码。因此，实现了在从帧内编码的块进行视频解码期间的快速且低成本的PPG信息提取，而无需对完整的视频帧解码。

尽管在所述附图和前面的描述中已经详细地图示和描述了本发明，但是这样的图示和描述应当被认为是说明性或示例性的，而不是限制性的；本发明并不限于所公开的实施例。本领域技术人员在实施要求保护的本发明时，根据对于所述附图、本公开内容以及所附权利要求书的研究，应当能够理解并实施所公开实施例的其他变型。

在权利要求书中，词语“包括”并没有排除其他的元件或步骤，并且不定冠词“一”并没有排除复数。单个元件或其他单元可以实现权利要求中所记载的若干项目的功能。在相互不同的从属权利要求中记载特定措施这一事实并不意味着这些措施的组合不可以加以利用。

计算机程序可以存储/分布于适当的非暂时性介质上，例如存储/分布于与其他硬件一起提供或者作为其他硬件的一部分而提供的固态介质或者光学存储介质上，但是也可以以其他的形式分发，例如经由因特网或者其他有线或无线电信系统分发。

权利要求书中的任何附图标记都不应当被解释为限制范围。

Claims

1.一种用于对视频数据编码的视频编码设备（10，10’，10’’，10’’’），包括：

- 选择单元（20，20’），其用于在输入视频数据（100）中选择提供强PPG信号的感兴趣区（101），

- 第一编码单元（30，30’，30’’，30’’’），其用于依照预定编码方案利用编码的第一设置对所述输入视频数据（100）的所述选择的感兴趣区（101）编码以便在编码的感兴趣区中保留PPG相关信息，

- 第二编码单元（40，40’，40’’），其用于依照所述预定编码方案利用编码的第二设置对所述输入视频数据（100）的其余部分（103）编码，以及

- 编码器组合单元（50），其用于将所述输入视频数据的编码的感兴趣区（102）和编码的其余部分（104）组合成编码器输出视频流（105）。

2.如权利要求1所述的视频编码设备（10’），

其中所述选择单元（20’）包括：

- 区域选择单元（21），其用于在输入视频数据（100）中将一定区域，尤其是皮肤区域选择为感兴趣区，其中所述视频数据包括视频帧序列，所述帧被划分成空间块，以及

- 块选择单元（24），其用于确定用于所述选择的区域的空间块（123），所述确定的空间块代表感兴趣区。

3.如权利要求2所述的视频编码设备（10’），

其中所述区域选择单元（21）包括：

- 检测单元（22），其用于在输入视频数据中检测可能用作感兴趣区的潜在可用区域（122），尤其是皮肤区域的集合，以及

- 分析单元（23），其用于分析所述检测的潜在可用区域（122）集合并且基于一个或多个预定选择准则将一定区域（123）选择为感兴趣区。

4.如权利要求3所述的视频编码设备（10’），

其中所述分析单元（23）适于使用空间尺寸、时间稳定性、照明稳定性和/或颜色稳定性作为选择准则。

5.如权利要求3所述的视频编码设备（10’），

其中所述分析单元（23）包括PPG提取单元（25），该PPG提取单元用于从所述检测的潜在可用区域中提取PPG信号（180）并且用于基于提取的PPG信号的质量和/或内容将一定区域（123）选择为感兴趣区。

6.如权利要求5所述的视频编码设备（10’），

其中所述PPG提取单元（25）适于确定用于编码的第一设置的一个或多个参数以供第一编码单元（30，30’）用于基于提取的PPG信号对所述选择的感兴趣区编码，并且

其中所述第一编码单元（30，30’）适于使用第一设置的所述一个或多个参数以用于对所述选择的感兴趣区编码。

7.如权利要求1所述的视频编码设备（10’’），

其中所述第一编码单元（30）适于对所述选择的感兴趣区（101）的至少色度分量（101a），尤其是仅仅色度分量（101a）编码，并且

其中所述第二编码单元（40）适于对所述选择的感兴趣区（101）的亮度分量（101b）编码并且适于对所述输入视频数据（100）的其余部分（103）的色度分量和亮度分量编码。

8.如权利要求1所述的视频编码设备（10，10’，10’’），

其中所述第一编码单元（30，30’）适于通过块内编码对所述选择的感兴趣区（101）编码，并且

其中所述第二编码单元（40，40’）适于通过块间编码和/或块内编码对所述输入视频数据（100）的其余部分（103）编码。

9.如权利要求1所述的视频编码设备（10’’），

其中所述第一编码单元（30）适于对所述选择的感兴趣区（101）的至少色度分量（101a），尤其是仅仅色度分量（101a）的块间或块内的仅仅DC分量编码。

10.一种用于对视频数据编码的视频编码方法，包括步骤：

- 在输入视频数据（100）中选择提供强PPG信号的感兴趣区（101），

- 依照预定编码方案利用编码的第一设置对所述输入视频数据（100）的所述选择的感兴趣区（101）编码以便在编码的感兴趣区中保留PPG相关信息，

- 依照所述预定编码方案利用编码的第二设置对所述输入视频数据（100）的其余部分（103）编码，以及

- 将所述输入视频数据的编码的感兴趣区（102）和编码的其余部分（104）组合成编码器输出视频流（105）。

11.一种用于对编码的视频流解码的视频解码设备（60，60’，60’’），所述编码的视频流（160）包括编码的视频数据，其中已经依照预定编码方案利用编码的第一设置对输入视频数据（100）的感兴趣区（101）进行了编码以便在编码的感兴趣区（102）中保留PPG相关信息，并且已经依照所述预定编码方案利用编码的第二设置对所述输入视频数据（100）的其余部分（103）进行了编码，所述视频解码设备包括：

- 第一解码单元（70），其用于依照与已经用于对所述感兴趣区编码的编码方案互补的解码方案对编码的感兴趣区（161）解码，以及

- PPG提取单元（80，80’），其用于从所述解码的感兴趣区（163）中提取PPG信号（164）。

12.如权利要求11所述的视频解码设备（60’），进一步包括：

- 第二解码单元（75），其用于依照所述解码方案对所述输入视频数据的编码的其余部分（162）解码，以及

- 解码器组合单元（95），其用于将解码的感兴趣区（163）和解码的其余部分（165）组合成解码器输出视频流（166）。

13.一种用于对编码的视频流解码的视频解码方法，所述编码的视频流（160）包括编码的视频数据，其中已经依照预定编码方案利用编码的第一设置对输入视频数据（100）的感兴趣区（101）进行了编码以便在编码的感兴趣区（102）中保留PPG相关信息，并且已经依照所述预定编码方案利用编码的第二设置对所述输入视频数据（100）的其余部分（103）进行了编码，所述视频解码方法包括步骤：

- 依照与已经用于对所述感兴趣区编码的编码方案互补的解码方案对编码的感兴趣区（161）解码，以及

- 从所述解码的感兴趣区（163）中提取PPG信号（164）。

14.一种用于对视频数据编码和解码的视频编码系统，包括：

如权利要求1所述的视频编码设备（10，10’，10’’），其用于对输入视频数据编码，以及

如权利要求11所述的视频解码设备（60，60’），其用于对由所述视频编码设备编码的编码的视频数据解码。

15.一种包括程序代码装置的计算机程序，所述程序代码装置用于当所述计算机程序在计算机上执行时使得计算机执行如权利要求10或13所述的方法的步骤。