CN1655622A - 视频通信设备与视频通信方法 - Google Patents

Abstract

本发明提高了视频的保密性，同时不会造成处理负荷增加。系数扫描器123按照由扫描顺序确定器150指定的扫描顺序，扫描基本层的正交变换系数。系数扫描器133按照由扫描顺序确定器150指定的扫描顺序，扫描增强层的正交变换系数。当以隐私模式进行扫描时，扫描顺序确定器150分别确定基本层与增强层的隐私模式扫描顺序，并且生成分别指示基本层与增强层的扫描顺序的扫描列表。扫描列表发送器180只向特定用户发送在扫描顺序确定器150中生成的基本层与增强层的扫描列表。

Description

视频通信设备与视频通信方法

技术领域

本发明涉及一种视频通信设备与视频通信方法。更具体地，本发明涉及一种用来发送与接收通过分层编码方案编码的视频数据的视频通信设备与视频通信方法。

背景技术

近年来，视频编码技术已经取得了显著的发展。目前，通过使用例如JPEG(联合图像专家组)方案、H.261方案、以及MPEG(运动图像专家组)方案，可能压缩与编码视频信号到某一带宽之下，这使得可能容易地经由网络发送已压缩的编码视频。

然而，为了经由传输带宽不断波动的网络(例如因特网)发送视频，经常使用允许在可用带宽范围内的自适应带宽调整的分层编码方案。具体地，根据2002年标准化的MPEG-4 FGS(精细粒度可量测性，ISO/IEC 14496-2修改2)的分层编码方案，编码两类层——即基本层与增强层——以控制增强层中的编码数据量。通过这种方法，可能以符合网络带宽的质量水平(例如PSNR(峰值信号噪声比)和帧频)实现视频发送与视频回放。

近年来，诸如上述的技术已经使得可能在远程地点通过例如以网络相机为代表的网络监控由城市角落处以及家庭中的监视相机记录的视频。另外，从现在开始，可以预测将安装更多数目的监视相机来打击恐怖主义与犯罪，并且会更加频繁地经由网络监控监视相机视频，以高效地监控来自大量监视相机的视频。

在这种情况下，可以访问网络的不确定的大量用户将能够接收并监控监视相机视频，并且这会在隐私(privacy)保护方面产生严重问题。因此，例如，通过对监视相机视频应用加密处理并通过使用IPv6(互联网协议版本6)中的IPSec功能来提高视频的保密性也成为必须。然而，该IPSec功能以统一方式加密所有IP数据包并发送这些数据包，这就使得难以实现响应于用户要求的灵活控制。为此，为了提高监视相机视频的保密性，希望将视频数据经过加密处理，并且发送该结果。

同时，随着监视相机中像素数目的增加，即随着视频分辨率的增加，视频数据量也在增加。一般地，诸如上述的加密处理的处理负荷与数据量成正比。即，数据量的增加将导致加密与解密处理中的处理负荷增加。这样的结果包含监视相机和接收监视相机视频的接收终端的增加的成本、以及由于加密与解密处理而造成的处理延迟。现在，预期通过加密处理来提高视频的保密性，并且防止加密处理的处理负荷增加。

为了满足这些矛盾的需求，直到此时，视频数据经过分层编码，并且为了降低加密处理中的负荷，只有一部分层经过加密处理。例如，专利文献1(已公开日本专利申请公开号HEI11-331618)提供了一个例子。即，以上专利文献1中的图像处理设备使输入的视频经过分层编码，并且从高质量层开始部分地执行加密处理，由此与加密整个视频时相比减少了加密处理的负荷。

另外，专利文献2(已公开日本专利申请公开号2002-374421)公开了：通过重新排列被分割为较小部分的视频块来提高视频的保密性。更具体地讲，专利文献2的图像处理设备使输入的视频经过小波变换，以任意次序基于每块而实现编码，由此只有当以与编码中相同的块次序进行解码时才允许视频回放，并且使得与加密处理相比可能提高视频的保密性。

然而，参照上述以上专利文献1，只对特定层执行加密处理的上述方案仍然具有以下问题：根据经过加密处理的视频数据量，处理负荷还会增长。具体地，即使当只有特定层经过加密处理时，加密高分辨率视频所需的处理负荷仍然很大。另外，为了更高保密性执行更强的加密处理将进一步增加处理负荷。

另外，关于以上专利文献2公开的通过块次序重新排列来提高保密性的方案，仍然可能单个地解码块，并且因此仍然存在以下问题：块单元中的视频可能泄露给非特定的大量用户。如果可以解码块单元中的视频，则容易从相邻块中的图像信息破译整个视频，从而隐私保护将变得不完善。

此外，如果采用使用小波变换的编码类型，则也使用利用块之间的零相关的零树编码来提高编码效率。然而，改变块的编码顺序将改变零树配置，并且这将导致编码效率退化。另外，当专利文献2中公开的技术应用于使用DCT(直接余弦变换)而非小波变换的MPEG-4 FGS时，如上所述，破译整个视频将变得容易，隐私没有被完全保护。

发明内容

因此，本发明的目的在于提供一种提高经过发送与接收的视频的保密性同时不增加处理负荷的视频通信设备与视频通信方法。

根据本发明的一个方面，提供了一种视频通信终端设备，具有：确定器，用来确定隐私模式扫描顺序，所述扫描顺序不同于正常模式扫描顺序；扫描器，用来按照隐私模式扫描顺序而扫描从输入视频获得的正交变换系数；编码器，用来编码所扫描的值，并且生成视频流；以及发送器，用来发送视频流以及有关隐私模式扫描顺序的信息，并且，在该设备中，发送器只向具有播放视频流权限的特定用户发送有关隐私模式扫描顺序的信息。

根据本发明的另一方面，提供了一种视频通信设备，具有：接收器，用来接收视频流；判决器，用来确定是否接收到有关与视频流对应的扫描顺序的信息；和逆扫描器，当接收到所述有关扫描顺序的信息时，用来根据所述信息逆向扫描视频流，并且当未接收到所述信息时，用来按照正常模式扫描顺序逆向扫描视频流。

根据本发明的另一方面，提供了一种视频通信方法，具有以下步骤：确定隐私模式扫描顺序，所述扫描顺序不同于正常模式扫描顺序；按照隐私模式扫描顺序扫描从输入视频获得的正交变换系数；编码所扫描的值，并且生成视频流；以及发送视频流；以及只向具有播放视频流权限的特定用户发送有关隐私模式扫描顺序的信息。

根据本发明的另一方面，提供了一种视频通信方法，具有以下步骤：接收视频流；确定是否接收到有关与视频流对应的扫描顺序的信息；以及当接收到所述有关扫描顺序的信息时，根据所述信息逆向扫描视频流，并且当未接收到所述信息时，按照正常模式扫描顺序逆向扫描视频流。

附图说明

通过结合其中图示了例子的附图来考虑以下描述，本发明的以上以及其他目的与特征将变得更全面，其中：

图1为示出了根据实施例1的视频发送设备的配置的方框图；

图2为示出了根据实施例1的视频接收设备的配置的方框图；

图3为示出了实施例1的视频发送设备的操作的流程图；

图4为示出了实施例1的视频发送设备的基本层编码处理的流程图；

图5为示出了实施例1的视频发送设备的增强层编码处理的流程图；

图6A示出了正常模式扫描图案的例子；

图6B示出了隐私模式扫描图案的例子；

图7A示出了扫描列表头部的例子；

图7B示出了扫描矩阵的例子；

图8A示出了块中的正交变换系数的例子；

图8B示出了正常模式扫描中的正交变换系数；

图8C示出了隐私模式扫描中的正交变换系数；

图9为示出了实施例1的视频接收设备的操作的流程图；

图10为示出了实施例1的视频接收设备的基本层解码处理的流程图；

图11A示出了块中正交变换系数的例子；

图11B示出了隐私模式扫描中的正交变换系数；

图11C示出了正常模式扫描中的正交变换系数；

图11D示出了隐私模式逆向扫描中的正交变换系数；

图12为示出了实施例1的视频接收设备的增强层解码处理的流程图；

图13为示出了根据本发明实施例2的视频发送设备的配置的方框图；

图14为示出了根据实施例2的视频接收设备的配置的方框图；

图15为示出了实施例2的视频发送设备的操作的流程图；

图16示出了根据实施例2的图像识别的例子；

图17为示出了实施例2的视频接收设备的操作的流程图；

图18为示出了根据本发明实施例3的视频发送设备的配置的方框图；

图19为示出了根据实施例3的视频接收设备的配置的方框图；

图20为示出了实施例3的视频发送设备的操作的流程图；

图21示出了根据实施例3的块索引信息的例子；

图22A示出了隐私模式扫描列表头部的例子；

图22B示出了隐私模式扫描矩阵的例子；

图23A示出了指定隐私模式扫描列表头部的例子；

图23B示出了指定隐私模式扫描矩阵的例子；和

图24为示出了实施例3的视频接收设备的操作的流程图；

具体实施方式

以下将参照附图描述本发明的实施例。

本实施例的大意是：按不同于正常模式扫描顺序的隐私模式扫描顺序扫描输入图像(或者通过运动补偿预测编码确定的、根据输入图像与参考图像之间的差而生成的残留图像信号)，并且向具有播放输入视频的权限的用户发送指示该隐私模式扫描顺序的扫描列表。现在，以下将参照附图详细描述本发明的实施例。

这里将利用该实施例描述采用MPEG-4 FGS作为输入视频的编码方法的情况。由MPEG-4 FGS编码的视频数据形成为：(a)基本层，表示可以被单独解码的运动图像流，与(b)增强层，表示被提供用于提高基本层中的已解码运动图像的质量的运动图像流。如果只使用基本层，虽然具有可以最小化传输带宽的优点，但是只能以低质量获得视频数据。然而，通过根据可用带宽发送并合并增强层，以改进的质量与自由度来获得视频数据成为可能。

本发明所使用的视频编码方案不限于使用DCT编码的MPEG-4 FGS，只要视频编码方案正交变换并量化输入图像，扫描经过量化与正交变换的系数，并且编码输入视频，就可使用任何视频编码方案，例如使用小波编码的各种编码方案。

(实施例1)

图1为示出了根据本发明实施例1的视频发送设备的配置的方框图。图1所示视频发送设备100具有视频输入110、基本层编码器120、增强层编码器130、基本层解码器140、扫描顺序确定器150、多路复用器160、视频发送器170、以及扫描列表发送器180。

视频输入110通过诸如监视相机的成像装置接收视频作为输入，并且将构成输入视频的图像逐一地输出到基本层编码器120与增强层编码器130。

基本层编码器120使用从视频输入110输入的图像生成基本层视频流。更具体地讲，基本层编码器120具有：运动补偿器121、量化器122、系数扫描器123、以及变长编码器134。这些组件实现以下操作。

运动补偿器121检查来自视频输入110的输入图像以及从基本层解码器140输出的基本层的解码图像(此后称为“参考图像”)，并且找到这些图像之间的相关性最高的地点。因此，运动补偿器121以包含16×16像素的宏块为单位找到相关性最高的地点。另外，运动补偿器121计算指示具有最高相关性的地点的相对位置的向量(此后称为“运动向量”)，并输出该结果至变长编码器124。此外，运动补偿器121找到最高相关性的地点上以像素为单位的差，并且由此生成残留图像，并且输出结果至量化器122。

顺便提及，运动补偿器121不对编码处理开始时第一次输入的图像以及在预定间隔处的输入图像进行上述处理，并且在这种情况下，将输入图像原样输出到量化器122。

量化器122对从运动补偿器121输出的残留图像(或者未改变的输入图像)应用作为正交变换的变形的DCT变换，并且然后用通过将这些系数除以量化值获得的商(此后称为“正交变换系数”)替换所获得的系数。因此，量化器122以由8×8像素构成的块为单位对残留图像(或者未变化的输入图像)进行DCT变换。

顺便提及，量化器122可以使用小波变换而不是DCT变换来进行残留图像的正交变换。

系数扫描器123按照由扫描顺序确定器150指定的扫描顺序而扫描从量化器122输出的正交变换系数，并且依次输出结果至变长编码器124。更具体地讲，系数扫描器123按照正常模式扫描顺序或者隐私模式扫描顺序来扫描正交变换系数。以后将详细描述这些扫描顺序。

变长编码器124使用变长代码表，对从运动补偿器121输出的运动向量以及从系数扫描器123输出的正交变换系数应用变长编码处理，并且输出所获得的基本层视频流至多路复用器160。与上述扫描顺序类似，变长编码器124可以使用正常模式变长代码表或隐私模式变长代码表来执行变长编码。仅对于按隐私模式扫描顺序在系数扫描器123中扫描的正交变换系数使用隐私模式变长代码表。

增强层编码器130使用来自视频输入110的输入图像生成增强层视频流。更具体地讲，增强层编码器130具有：误差处理器131、正交变换器132、系数扫描器133、以及变长编码器134。这些组件实现以下操作。

误差处理器131对来自视频输入110的输入图像与从基本层解码器140输出的参考图像应用误差处理，并且生成且输出残留图像至正交变换器132。

正交变换器132对从误差处理器131输出的残留图像以块为单位进行DCT变换，并且将正交变换系数输出到系数扫描器133。

当从正交变换器132输出的正交变换系数以二进制方法表示时，系数扫描器133将同一比特位置(即位平面)上的比特作为每个块中的处理单元，并且相应地扫描系数，并依次将结果输出到变长编码器134。与上述系数扫描器123类似，系数扫描器133按照正常模式扫描顺序或隐私模式扫描顺序扫描正交变换系数。以后将详细描述这些扫描顺序。

变长编码器134使用变长代码表，基于每个位平面，对从系数扫描器133输出的正交变换系数应用变长编码处理，并且将所获得的增强层视频流输出到多路复用器160。顺便提及，与上述扫描顺序类似，变长编码器134可以使用正常模式变长代码表或隐私模式变长代码表来执行变长编码处理。仅对于按隐私模式扫描顺序在系数扫描器133中扫描的正交变换系数使用隐私模式变长表。

基本层解码器140对从量化器122输出的正交变换系数应用解量化与逆正交变换处理，并且解码残留图像。另外，基本层解码器140使用先前已解码的图像与从运动补偿器121输出的运动向量，并且对在运动补偿器121中使用的参考图像以及残留图像执行相加处理，并由此生成当前解码图像。

扫描顺序确定器150确定使用正常模式扫描顺序与隐私模式扫描顺序中的哪一个来扫描基本层与增强层，并且当以正常模式实现扫描时，将其指示给系数扫描器123与系数扫描器133。

另外，当实现隐私模式扫描时，扫描顺序确定器150分别为基本层与增强层确定隐私模式扫描顺序，分别生成指示基本层与增强层的扫描顺序的扫描列表，将这些列表分别输出到系数扫描器123与系数扫描器133，并且将基本层与增强层的扫描顺序的两个列表输出至扫描顺序列表发送器180。此处正常模式扫描可以采用在MPEG-4视频编码标准(ISO/IEC 14496-2)中提出的之字形(ZIGZAG)扫描。对于隐私扫描顺序，扫描顺序确定器150确定例如随机扫描顺序。然而，如下所述，正常模式扫描顺序仅必须具有如之字形扫描的规律性。例如，当处理隔行扫描图像时，也包含在MPEG-4视频编码标准(ISO/IEC 14496-2)中提出的交替扫描，其以特定图案有规律地改变扫描顺序以得到更高的编码效率。与此不同，隐私模式扫描顺序是指没有规律性的随机扫描顺序，以及在编码方与解码方之间不设置规则并使得如果编码方不将扫描图案报告给解码方，则不可能正确解码的扫描顺序。

多路复用器160对从变长编码器124输出的基本层视频流与从变长编码器134输出的增强层视频流进行多路复用，并由此生成单一的视频流。

视频发送器170通过网络200向用户发送在多路复用器160中生成的视频流。

扫描列表发送器180通过网络200只向特定用户发送由扫描顺序确定器150生成的基本层与增强层的扫描列表。此处“特定用户”是指具有解码以隐私模式扫描的图像的权限的用户。顺便提及，扫描列表发送器180可以加密扫描列表，并然后发送这些列表。对扫描列表的加密可以采用任何方法，包含使用与特定用户共享的私钥的共享密钥加密方法或者使用特定用户的公钥的公钥加密方法。

图2为示出了根据实施例1的视频接收设备的配置的方框图。图2所示的视频接收设备300具有：视频接收器310、分离器320、扫描列表接收器330、基本层解码器340、增强层解码器350、扫描顺序控制器360、以及视频显示器370。

视频接收器3 10通过网络200接收来自视频发送设备100的视频流，并且将视频流输出至分离器320。

分离器320在视频流中检测基本层与增强层的开始代码，并且由此将视频流分离为基本层与增强层的各个流。

扫描列表接收器330接收从视频发送设备100发送来的扫描列表，并且将该列表输出至扫描顺序控制器360。如果经过特定时间而没有接收到任何扫描列表，则扫描列表接收器330输出代表“SCAN LIST OFF”(扫描列表关)的信息至扫描顺序控制器360。

基本层解码器340根据从分离器320输出的基本层视频流而生成基本层的解码图像。更具体地讲，基本层解码器340具有：变长解码器341、逆系数扫描器342、解量化器343、以及运动补偿器343。这些组件进行以下操作。

变长解码器341使得基本层视频流经过变长解码，并由此解码正交变换系数与运动向量。另外，变长解码器341将正交变换系数输出至逆系数扫描器342，并将运动向量输出至运动补偿器344。如果视频发送设备的变长编码器124区分正常模式变长代码表与隐私模式变长代码表，并且相应地使用这些表，则变长解码器341与变长解码器124一样，使用正常模式变长代码表与隐私模式变长代码表。

逆系数扫描器342按照由扫描顺序控制器360指示的扫描顺序而逆向扫描从变长解码器341输出的正交变换系数，并且将结果输出至解量化器343。更具体地讲，逆系数扫描器342按正常模式扫描顺序或者按隐私模式扫描顺序逆向扫描正交变换系数。即，当从扫描顺序控制器360输入扫描列表时，逆系数扫描器342按隐私模式扫描顺序实现逆向扫描，并且当没有输入这样的扫描列表时，按正常模式扫描顺序实现逆向扫描。

解量化器343对从逆系数扫描器342输出的正交变换系数应用解量化与逆正交变换处理，并且解码残留图像。

运动补偿器344使用从解量化器343输出的残留图像、从变长解码器341输出的运动向量、以及先前的已解码图像，并且生成新的已解码图像。

增强层解码器350根据从分离器320输出的增强层视频流而生成增强层的已解码图像。更具体地讲，增强层解码器350具有：变长解码器351、逆系数扫描器352、正交变换器353、以及相加处理器354。这些组件进行以下操作。

变长解码器351对增强层视频流应用变长解码处理，并由此解码以决为单位基于每个位平面而扫描的正交变换系数，并且将这些正交变换系数输出至逆系数扫描器352。如果视频发送设备100的变长编码器134区分正常模式变长代码表与隐私模式变长代码表，并且相应地使用这些表，则变长解码器351与变长解码器134一样，使用正常模式变长代码表与隐私模式变长代码表。

逆系数扫描器352按照由扫描顺序控制器360指示的扫描顺序，基于每个位平面，而逆向扫描从变长解码器351输出的正交变换系数，并且将结果输出至正交变换器353。更具体地讲，逆系数扫描器352按正常模式扫描顺序或者按隐私模式扫描顺序逆向扫描正交变换系数。即，当从扫描顺序控制器360输入扫描列表时，逆系数扫描器352按隐私模式扫描顺序实现逆向扫描，并且当没有输入此类扫描列表时，按正常模式扫描顺序实现逆向扫描。

正交变换器353对从逆系数扫描器352输出的正交变换系数执行逆DCT变换，并且解码残留图像。

相加处理器354对从运动补偿器344输出的基本层已解码图像以及从正交变换器353输出的残留图像执行相加处理，并且将所获得的已解码图像输出至视频显示器370。

当从扫描列表接收器330输入扫描列表时，扫描顺序控制器360理解该扫描列表头部的内容。如果该扫描列表是基本层的列表，则将该列表输出到逆系数扫描器342。如果该扫描列表是增强层的列表，则将该列表输出到逆系数扫描器352。

一旦从扫描列表接收器330接收到表示“SCAN LIST OFF”的信息作为输入，如果没有基本层的扫描列表，则扫描顺序控制器360输出表示“NOSCAN LIST”(没有扫描列表)的信息到逆系数扫描器342，并且如果没有增强层的扫描列表，则扫描顺序控制器360输出表示“NO SCAN LIST”的信息到逆系数扫描器352。

视频显示器370在例如显示装置上显示已解码的图像。

接着，将参照图3所示的流程图描述具有以上配置的视频发送设备100的操作。在视频发送设备100中，图3中的流程图的操作以控制程序的形式存储在存储装置中(未示出：例如ROM或闪存)并且由CPU控制(未示出)。

首先，视频输入110输入视频(ST1000)。更具体地讲，具有诸如监视相机的成像装置的视频输入110输入视频，并且一幅一幅图像地将构成输入视频的图像输出到运动补偿器121与误差处理器131。

然后，扫描顺序确定器150确定基本层与增强层的正交变换系数的扫描顺序，并且向各层提供相应的扫描顺序(ST1100)。此处所确定的扫描顺序不同于正常模式扫描顺序(例如之字形扫描顺序)，并且采用例如随机顺序。作为结果，在没有有关扫描顺序的信息的情况下，接收视频流的接收方不能准确地实现逆向扫描，并且不能获得已解码图像。

只有当以隐私模式实现扫描时才以这种方式确定扫描顺序。即，为了使已解码图像只能为特定用户可用，例如，采用随机扫描顺序使得普通用户或者非特定用户不能准确地解码视频流，由此有可能进行隐私保护。也可能将输入图像分割为多个块，并且对于各个块确定各不相同的扫描顺序。在这种情况下，隐私保护被更强地实现。

另一方面，当以正常模式实现扫描时，不确定扫描顺序。相反，扫描顺序确定器150向系数扫描器123与系数扫描器133报告将以正常模式进行扫描。

当确定扫描顺序时，扫描顺序确定器150生成分别表示基本层与增强层的扫描顺序的扫描列表(ST1200)，并且将这两个扫描列表输出到扫描列表发送器180，同时还将基本层的扫描列表输出到系数扫描器123，将增强层的扫描列表输出到系数扫描器133。如果为各个块确定了各不相同的扫描顺序，则生成分别对应于这些扫描顺序的多个扫描列表。

当生成扫描列表时，基本层编码器120编码基本层，并且由此生成基本层视频流(ST1300)。更具体地讲，执行例如图4流程图所示的处理。

即，运动补偿器121使用输入图像以及从基本层解码器140输出的先前已解码图像(即，参考图像)，并且找到输入图像与参考图像之间的相关性最高的地点(“运动预测处理”)。另外，利用指示该位置的向量并且通过以像素为单位的输入图像与参考图像的误差处理，而获得残留图像(“运动补偿处理”)(ST1310)。在ST1310中获得的残留图像被输出到量化器122，并且运动向量被输出到变长编码器124。

量化器122以块为单位对残留图像执行DCT变换，并由此量化残留图像(ST1320)。量化处理之后的正交变换系数被输出到系数扫描器123与基本层解码器140。如上所述，量化器122中的正交变换决不限于DCT变换，并且可以是诸如小波变换的其他方法。

当量化处理之后的正交变换系数被输出到系数扫描器123时，进行系数扫描处理，其在图4的流程图中以点线表示。即，系数扫描器123确定是否已经输入了扫描列表(ST1330)。作为该确定的结果，如果经过某一时间而没有输入扫描列表，或者如果从扫描顺序确定器150接收到将以正常模式实现扫描的报告，则系数扫描器123采用例如之字形扫描顺序等等，以正常模式实现扫描(ST1340)。通过扫描获得的正交变换系数依次输出至变长编码器124。另一方面，ST1330的确定产生已经输入了扫描列表的结果，系数扫描器123按照由扫描列表指示的扫描顺序，以隐私模式实现扫描(ST1350)。通过扫描获得的正交变换系数被依次输出至变长编码器124。

变长编码器124对从运动补偿器121输出的运动向量以及从系数扫描器123输出的正交变换系数执行变长编码处理(ST1360)，并且将所获得的基本层视频流输出至多路复用器160。如果在ST1350中以隐私模式实现扫描，则可以使用隐私模式变长代码表来执行变长编码。通过这种方法，可能防止由于使用为之字形扫描而优化的正常模式变长代码表而引起的编码效率下降。

由此，基本层编码器120生成基本层视频流，并且基本层解码器140生成基本层的已解码图像(ST1370)。即，基本层解码器140对从量化器122输出的正交变换系数进行逆量化与逆正交变换，并且由此解码残留图像。另外，使用在运动补偿器121中使用的参考图像与运动向量进行相加处理，并生成新的解码图像。这些解码图像被输出到运动补偿器121与误差处理器131。

再次参照图3的流程图，如上所述，在ST1300中执行基本层的编码，并且同时增强层编码器130编码增强层，并且生成增强层视频流(ST1400)。更具体地讲，执行例如图5的流程图所示的处理。

误差处理器131对输入图像以及从基本层解码器140输出的基本层的解码图像进行误差处理(ST1410)，并且输出所获得的残留图像至正交变换器132。

然后，正交变换器132对残留图像以块为单位进行DCT变换(ST1420)，并且将正交变换系数输出到系数扫描器133。

当正交变换系数被输出到系数扫描器133时，执行以点线包围的与上述图4流程图中ST1330至ST1350的系数扫描处理相同或等同的处理(ST1430)。

即，系数扫描器133确定是否已经输入了扫描列表，并且如果还没有输入扫描列表，则以正常模式实现扫描。另一方面，当已经输入了扫描列表时，通过利用该扫描列表，以隐私模式实现扫描，在该扫描列表中，当以二进制方法表示正交变换系数时位于同一比特位置(即位平面)的比特是块中的处理单元，并且所获得的正交变换系数被依次输出至变长编码器134。

变长编码器134基于每个位平面而对从系数扫描器133输出的正交变换系数进行变长编码处理(ST1440)，并且输出所获得的增强层的视频流到多路复用器160。如果在ST1430中以隐私模式实现扫描，则可以使用隐私模式变长代码表进行变长编码。

参照图3的流程图，如果在ST1400中以上述方式实现增强层的编码，则多路复用器160对从变长编码器124输出的基本层视频流以及从变长编码器134输出的增强层视频流进行多路复用(ST1500)，并输出所获得的视频流至视频发送器170。

然后，视频发送器170向网络200发送视频流(ST1600)。此后，如果在ST1300与ST1400编码操作中以隐私模式实现扫描，则扫描列表发送器180通过网络200向特定用户发送基本层与增强层的扫描列表(ST1700)。除了视频流发送之外，还实现该扫描列表的发送。即，例如，以不同的定时、使用不同的信道等来发送扫描列表。

顺便提及，完全可能向不同的用户分别发送基本层与增强层的扫描列表。即，例如，假定用监视相机实现远程监控系统，就可能向管理员与普通用户发送低质量回放所必须的基本层的扫描列表，并且只向管理员发送高质量回放所必须的增强层的扫描列表。通过这种方法，只允许管理员监控诸如人的物象的高质量视频。另一方面，管理员之外的普通用户只允许低质量回放，从而有可能对如个别人的脸的物象进行某种程度的隐私保护。当输入视频流与扫描列表时，确定是否满足终止处理的要求(ST1800)。如果满足这些要求，则将中止处理，并且如果不满足这些要求，则从ST1000重复处理。接着，将使用例子详细解释在上述视频发送设备100的操作中实现的扫描顺序确定。

图6示出了在系数扫描器123与系数扫描器133中使用的扫描顺序的例子。该图示出了在包含8×8像素的单个块中的扫描顺序，其中从对应于小数目像素的系数开始依次扫描正交变换系数。

另外，图6A示出了正常模式扫描顺序的例子，而图6B示出了隐私模式扫描顺序的例子。

图6A所示正常模式扫描顺序的例子表示在MPEG-4视频编码标准(ISO/IEC 14496-2)中提出的、之字形扫描中的扫描顺序，并且该图使得从左上位置的像素至右下位置的像素以之字形图案实现扫描更清楚。顺便提及，如上所述，正常模式扫描顺序不仅包含以上之字形扫描，而且包含打算用来提高交错序列(interlaced sequence)的编码效率的交替扫描。

另一方面，图6B所示的扫描顺序没有规律性，并且显然该扫描是按随机顺序实现的。在隐私模式中，按这种随机顺序实现扫描，并且因此在不按相同的扫描顺序实现逆向扫描的情况下，解码方不能准确地解码视频。换而言之，为了在隐私模式下实现正确的视频解码，必须知道隐私模式下的扫描顺序，这是因为该扫描顺序是视频流解码的密钥。

扫描顺序确定器150生成扫描列表作为这种密钥。图7示出了扫描列表的例子。图7A表示扫描列表头部，而图7B表示扫描矩阵。

图7A所示的扫描列表头部包含三种类型的信息：(1)应用扫描矩阵的图像的标号(图中为“N”)；(2)应用扫描矩阵的层(图中为基本层)；以及(3)指示应用扫描矩阵的块的块映射(block map)400。块映射400具有包含与图像内所有块数目相同的元素的网格结构，其中扫描矩阵被应用到与值为1的元素对应的块。

图7B所示的扫描矩阵表示分别对应于块中8×8像素的正交变换系数的扫描顺序。因此，根据图7A中的扫描列表头部的信息，对于具有标号N的图像的基本层，通过使所有块中的扫描顺序都如图7B扫描矩阵所示，来实现扫描。虽然在该图中未示出，但是增强层的扫描列表具有与图7B所示扫描矩阵不同的扫描矩阵。

扫描列表的数据格式决不限于图7所示的格式，并且只要能基于每个块而正确描述扫描顺序，则任何数据格式都可以。另外，可能将单一图像与多个扫描列表相关联，并且通过这种方法，当各个块采用不同的扫描顺序时，可能产生具有分别对应于各个块的各个扫描矩阵的多个扫描列表。在这种情况下，参照每个扫描列表中的块映射400，并且扫描列表的扫描矩阵被应用到表示块映射中值1的块。

如果例如图8A所示的块通过使用此类扫描列表来扫描，则当以正常模式实现扫描(例如之字形扫描)时，按图8B所示的顺序(68，38，60...)扫描正交变换系数。另一方面，如果通过使用图7所示的扫描列表以隐私模式实现扫描，则按图8C所示的顺序(8，0，18...)扫描正交变换系数。

接着，将参照图9所示流程图描述本实施例的视频接收设备300的操作。

在视频接收设备300中，图9流程图的操作以控制程序的形式存储在存储装置中(未示出：例如，ROM或闪存)并且由CPU控制(未示出)。

首先，视频接收器310从网络200接收视频流(ST2000)，并且将视频流输出至分离器320。另外，扫描列表接收器330从网络200接收扫描列表(ST2100)，并且将列表输出至扫描顺序控制器360。如果经过某一时间而没有接收到扫描列表，则扫描列表接收器330输出表示“SCAN LIST OFF”的信息至扫描顺序控制器360。如果在发送扫描列表之前执行了加密处理，则扫描列表接收器330撤销该加密。如果接收到多个扫描列表，则这些扫描列表都输出到扫描顺序控制器360。

分离器320在从视频接收器310输出的视频流中检测基本层与增强层的开始代码，并且由此将视频流分离为基本层视频流与增强层视频流(ST2200)，并且将基本层视频流输出到基本层解码器340，而将增强层视频流输出到增强层解码器350。

然后，扫描顺序控制器360将基本层扫描列表输出到逆系数扫描器342，将增强层扫描列表输出到逆系数扫描器352。当从扫描列表接收器330向扫描顺序控制器360输入关于基本层的表示“SCAN LIST OFF”的信息时，在扫描逆系数扫描器342中输入表示“NO SCAN LIST”的信息。当输入关于增强层的表示“SCAN LIST OFF”的信息时，向逆系数扫描器352输入表示“NO SCAN LIST”的信息(ST2300)。

这就使逆系数扫描器342与逆系数扫描器352能够分别以正常模式或隐私模式进行逆向扫描。

换言之，当从扫描顺序控制器360输出表示“NO SCAN LIST”的信息时，以正常模式进行逆向扫描，并且当从扫描顺序控制器360输入扫描列表时，根据该扫描列表以隐私模式进行逆向扫描。

当如上所述实现扫描顺序控制时，基本层解码器340解码基本层，并且生成基本层的已解码图像(ST2400)。更具体地讲，执行例如图10流程图所示的处理。

即，变长解码器341使用变长代码表对基本层视频流进行变长解码，并以块为单位获得正交变换系数与运动向量(ST2410)。在ST2410中获得的正交变换系数被输出至逆系数扫描器342，并且运动向量被输出至运动补偿器343。如果以隐私模式扫描基本层视频流，则可以使用隐私模式变长代码表进行变长编码。

当向逆系数扫描器342输出正交变换系数时，实现逆系数扫描处理，其在图10的流程图中以点线示出。即，逆系数扫描器342确定是否已经输入了扫描列表(ST2420)。如果作为该确定的结果，没有输入扫描列表，而是输入了表示“NO SCAN LIST”的信息，则逆系数扫描器342以块为单位在正常模式下实现逆向扫描(ST2430)。通过逆向扫描获得的正交变换系数被输出到解量化器343。另一方面，如果作为ST2420确定的结果，输入了扫描列表，则逆系数扫描器342以块为单位按照由该扫描列表表示的扫描顺序以隐私模式逆扫描实现隐私模式扫描(ST2440)。通过逆向扫描获得的正交变换系数被输出到解量化器343。在按各自的扫描顺序扫描块的情况下，参照分别对应于各个块的多个扫描列表来实现正交变换系数的逆向扫描。

图11示出了逆系数扫描操作的例子。当本实施例的视频发送设备100以隐私模式扫描图11A所示块的正交变换系数时，按照图11B所示的顺序获得系数。当以正常模式逆向扫描图11B所示的这些系数时，获得图11C所示的正交变换系数。如果以隐私模式逆向扫描这些系数，则获得图11D所示的正交变换系数。顺便提及，在图11C与图11D中，为了容易解释，省略了某些正交系数。

图11C与图11D相比于图11A示出了：只有当以隐私模式逆向解码时，才能将以隐私模式扫描的系数解码回与其在视频发送设备100中的扫描之前相同的正交变换系数。相反，当以正常模式逆向扫描以隐私模式扫描的系数时，显然不可能得到正确的视频解码。

因此，如果没有接收到扫描列表，则以隐私模式扫描的视频流就不能被正确解码，因此提高了保密性。另外，当采用正常解码设备时，一般地，按照正常模式扫描顺序(例如之字形扫描顺序)实现逆向扫描。这造成正确的逆向扫描和正确的解码，因此提高了保密性。

解量化器343对通过以上逆向扫描而获得的正交变换系数进行解量化与逆正交变换处理，并且解码残留图像(ST2450)。运动补偿器344使用残留图像、运动向量、以及先前的已解码图像(即参考图像)，并且通过与视频发送设备100的基本层解码器140中相同的操作而生成基本层的已解码图像(ST2460)。

再次参照图9的流程图，如上所述，在ST2400中，执行基本层的解码，并且同时增强层解码器350解码增强层，并且生成增强层的已解码图像(ST2500)。更具体地讲，执行如图12流程图所示的处理。

变长解码器351使用变长代码表，对增强层视频流进行变长解码处理，由此获得以块为单位基于每个位平面而扫描的正交变换系数(ST2510)。在ST2510中获得的正交变换系数被输出至逆系数扫描器352。如果增强层视频流以隐私模式进行扫描，则可以使用隐私模式变长代码表进行变长编码。

当正交变换系数被输出至逆系数扫描器352时，进行逆系数扫描处理，其在图10流程图中以点线表示。即，逆系数扫描器352确定是否已经输入了扫描列表，并且如果已经输入表示“NO SCAN LIST”的信息，则以正常模式实现逆向扫描。当已经输入扫描列表时，以隐私模式按由扫描列表表示的顺序重复几次逆向扫描，并且以块为单位而获得各个位平面的正交变换系数(ST2520)。通过逆向扫描获得的正交变换系数被输出到正交变换器353。

在再次进行的增强层的逆向扫描操作中，与上述基本层的逆向扫描操作类似，如果没有接收到隐私模式扫描列表，则不可能有正确的视频解码，因此可以保持保密性。换而言之，对于高质量视频回放，需要接收增强层的扫描列表。

通过逆向扫描获得的正交变换系数经过逆DCT变换，并且由此解码残留图像(ST2530)。然后，相加处理器354对基本层已解码图像以及从正交变换器353输出的残留图像执行相加处理，并且生成已解码图像(ST2540)。已解码图像被输出至视频显示器370。

如果在ST2540的相加处理中，没有正确解码基本层与增强层之一，则可能跳过相加处理，并且只输出正确解码的层或者蓝色背景(blue back)图像给视频显示器370。

回去参照图9的流程图，如果在ST2500中执行上述的增强层解码，则视频显示器370通过显示装置或其等同显示已解码图像(ST2600)。

由此，根据本实施例，在隐私模式下，视频发送设备按随机扫描顺序扫描图像，并且发送视频流，并且在视频流之外，只向特定用户发送指示扫描顺序的扫描列表。因此，只有收到这些扫描列表的特定用户的视频解码设备能够正确地解码视频流。相反，没有收到扫描列表的普通用户不能正确地解码视频流。作为结果，可能采用加密处理，并且提高经过通信的视频的保密性，同时不增加处理负荷。

另外，根据本实施例，可以在各自的隐私模式下处理基本层与增强层。这使得以下类型的隐私管理成为可能：普通用户只允许基本层低质量回放，而特定用户允许添加了增强层的高质量回放。

顺便提及，虽然已经用该实施例描述了相对于基本层也设置隐私模式的情况，但是当然可能只以正常模式扫描基本层。通过这种方式，即使当使用传统解码设备时，低质量回放也是可能的，从而最大数目的用户能够观看低质量视频。然而，同时，对于高质量回放，以隐私模式扫描的增强层需要使用隐私模式扫描列表来正确解码。例如，假定实现了监视相机系统，如果只有诸如管理员的被授权的特定用户允许高质量回放，并且来自监视相机的摘要视频以低质量向普通用户公开，则保护了对象人物的隐私，例如面部区域等等，同时该监视相机确实提高了防止犯罪的有效性。

另外，在分层编码方案中，可能将增强层分割为多个块，并且发送和播放它们。

此外，在增强层中存在多种类型的层，包括用于改进SNR(信噪比)的质量增强层、用于改进帧频的帧频增强层、以及用于改进分辨率的分辨率增强层。现在，当然可能为多个层设置相应的隐私模式，并且将这些层发送给相应的视频接收设备。这使得可能实现根据各个接收者的观看权限适应性地管理质量、帧频、分辨率、以及分辨度的视频通信。

虽然用该实施例描述了每次输入图像时都确定扫描顺序的情况，但是本发明决不限于此，例如，同样可能有规律地确定新的扫描顺序。通过这种方式，可能减少扫描顺序确定所需的处理负荷。

虽然用该实施例描述了利用变长代码表实现变长编码的情况，但是本发明决不限于此，同样可能只向特定用户报告隐私模式变长代码表，并且由此使得在未接收到扫描列表与变长代码表两者的情况下不可能进行视频回放。作为结果，确保较高保密级别的这类视频通信是可能的。

虽然用该实施例描述了同步实现视频编码处理、发送处理、接收处理、以及视频解码处理的情况，但是本发明决不限于此，并且同样可能异步地进行这些处理。即，例如，同样可能预先执行图像编码处理，然后执行发送处理、接收处理、以及解码处理，或者预先执行视频编码处理、发送处理、和接收处理，然后执行视频解码处理。

(实施例2)

本发明实施例2的特征在于：一旦确定了正交变换系数的扫描顺序，在例如出现警报时的异常情况下不以隐私模式实现扫描，并且允许没有扫描列表的普通用户进行视频回放。

图13为示出了根据本发明实施例2的视频发送设备的配置的方框图。在该图中示出的视频发送设备中，与图1所示视频发送设备中相同的部件被分配相同的标号，并且没有进一步的解释。图13所示视频发送设备500具有视频输入110、基本层编码器120、增强层编码器130、基本层解码器140、扫描顺序确定器150a、多路复用器160、视频发送器170、扫描列表发送器180、图像识别器510、以及警报接收器520。

图像识别器510通过图像处理检查从视频输入110输出的输入图像，以发现在数据库中预先存储的诸如面部图像的注册图像。一旦在输入图像中检测到匹配注册图像的物体，图像识别器510就向扫描顺序确定器150a输出警报信息的三个元素：警报信号(“ALARM”)；所检测物体的中心坐标(“G”)；以及所检测物体的大小(“S”)。

警报接收器520接收从视频接收设备600以及其他传感器(以后描述)发送来的警报信息，并且将警报信息输出到扫描顺序确定器150a。

只有当未从图像识别器510以及警报接收器520输入警报信息时，扫描顺序确定器150a才实现与实施例1的顺序确定器150相同的操作。当输入警报信息时，扫描顺序确定器150a确定基本层与增强层两者都将以正常模式实现扫描，并且将不确定隐私模式扫描顺序，也不输出扫描列表。

图14为示出了根据实施例2的视频接收设备的配置的方框图。在该图示出的视频接收设备中，与图2所示视频接收设备中相同的部件被分配相同的标号，并且没有进一步的解释。图14所示视频接收设备600具有：视频接收器310、分离器320、扫描列表接收器330、基本层解码器340、增强层解码器350、扫描顺序控制器360、视频显示器370、以及警报输入/发送器610。

警报输入/发送器610从监控在视频显示器370上显示的视频的用户接收作为输入的警报请求，并且一旦接受该作为输入的警报请求，就将警报信息发送到视频发送设备500。

一旦接收到来自用户的警报取消请求，警报输入/发送器610就停止发送警报信息。

接着，将参照图15的流程图描述具有以上配置的视频发送设备500的操作。在该流程图中，与图3的流程图中一样的步骤被分配相同的标号，并且没有进一步解释。

从视频输入110输出的输入图像被输出到图像识别器510。图像识别器510通过图像处理检查输入图像，以发现在数据库中预先存储的诸如面部图像的注册图像(ST3000)。如果作为该图像识别处理的结果，在输入图像中的物体找到匹配的注册图像，则如图16所示，则将所检测物体的中心坐标(G(X，Y))和所检测物体的大小(W，H)与警报信号(ALARM)一起输出到扫描顺序确定器150a。虽然作为所检测物体的例子在图16中只显示了一个正方形形状，但是所检测物体的数目决不限于1，并且同样可能使用各种形状，例如圆形与多边形。

由此，当图像识别器510输出警报信息时，警报接收器520监控从视频接收设备600以及其他传感器发送来的警报信息(ALARM)。当警报接收器520接收到警报信号(ALARM)时，警报信息将被输出到扫描顺序确定器150a。

顺便提及，上述“其他传感器”是指例如靠近监视相机安装的红外线传感器，用来检测异常情况，并且向视频发送设备500发送警报信号(ALARM)。

然后，扫描顺序确定器150a确定是否已经输入了警报信息(ST3100)。如果作为该确定的结果还没有输入警报信息，则与实施例1类似，以正常模式或者以隐私模式确定扫描顺序，并且在以隐私模式确定扫描顺序时，生成扫描列表。另一方面，如果作为ST3100确定的结果已经输入了警报信息，则无条件地确定对基本层与增强层两者都应用正常模式扫描，并且不实现隐私模式扫描顺序的确定与扫描列表的生成。

通过这种方式，当表示异常情况的警报信息被输入到扫描顺序确定器150a中时，以正常模式执行扫描。作为结果，没有实现高质量回放权限的普通用户将能够实现高质量视频显示。只是作为例子，在监视相机系统中，这对广泛地公开犯罪信息以尽早定位并逮捕罪犯是有效的。

接着，将参照图17的流程图描述根据本实施例的视频接收设备600的操作。在该图的流程图中，与图9流程图中相同的步骤被分配相同的标号，并没有进一步解释。

除了实施例1(图2)的视频接收设备300的视频接收操作之外，本实施例的视频接收设备600实现输入与发送警报的操作。即，警报输入/发送器610从监控在视频显示器370上显示的视频的用户接收作为输入的警报请求，并且一旦接受作为输入的警报请求，就开始将警报信号(ALARM)发送到视频发送设备500，并且以规则间隔重复发送(ST4000)。警报信号(ALARM)发送之间的间隔小于或等于视频显示器370上的视频显示间隔。当从用户输入警报取消请求时，警报输入/发送器610停止发送警报信号(ALARM)。

由此，根据本实施例，当在图像识别的过程中由视频发送设备或者在监控过程中由用户检测到异常情况时，视频发送设备取消隐私模式，并且按正常模式扫描顺序扫描图像，并且发送视频流。因此，在正常情况下，保护了隐私。在另一方面，在异常情况时，例如当需要立即逮捕罪犯时，可能允许较大区域内的普通用户解码高质量监视相机视频，以提高发现并逮捕罪犯的可能性。

虽然已经用本实施例描述了警报信息取消隐私模式的情况，但是本发明决不限于此，同样可能响应于来自用户的请求而设置隐私模式。这使得以高自由度根据来自用户的请求进行隐私保护成为可能。

还可能根据时间信息与输入图像的图像数目以规则周期自动在多个模式之间变化。在这种情况下，通过预先只向特定用户报告模式变化周期，就可能使这些特定用户能够实现高质量回放而无需总是发送扫描列表。这使得高自由度的隐私保护成为可能。例如，这样的系统完全可能存在：其中在夜间，自动实现隐私模式。

(实施例3)

本发明实施例3的特征在于：图像中的特定块，即那些在图像识别过程中指定的、或者由用户指定的块，按照所指定的隐私模式的扫描顺序被扫描，并且采用、生成、以及发送与正常隐私模式下采用的扫描列表不同的扫描列表。

图18为示出了根据本发明实施例3的视频发送设备的配置的方框图。在该图示出的视频发送设备中，与图1和图13所示的视频发送设备中相同的部件被分配与图1和图13中相同的标号，并且没有进一步解释。图18所示视频发送设备700具有视频输入110、基本层编码器120、增强层编码器130、基本层解码器140、扫描顺序确定器150b，多路复用器160、视频发送器170、扫描列表发送器180、图像识别器510a、以及模式变化接收器710。

图像识别器510a通过图像处理检查从视频输入110输出的输入图像，以发现在数据库中预先存储的诸如面部图像的注册图像，并且一旦在输入图像中检测到匹配注册图像的物体，就向扫描顺序确定器输出模式变化信息的三个元素：模式变化信号(“PRIVACY”)；所检测物体的中心频率(“G”)；以及所检测物体的大小(“S”)。在该实施例中，图像识别器510a检测在隐私保护方面为重要区域的面部区域，并且与模式变化信号(PRIVACY)一起输出面部区域的中心坐标(G)以及大小(S)。

模式变化接收器710接收从视频接收设备800(以后描述)发送来的模式变化信息，并且输出该信息至扫描顺序确定器150b。

扫描顺序确定器150b根据从图像识别器510a与模式变化接收器710输入的模式变化信息，基于每个块而确定正交变换系数的扫描顺序，并且输出块的各个扫描列表到系数扫描器123与系数扫描器133。

图19为示出了根据本发明实施例3的视频接收设备的配置的方框图。在该图中示出的视频接收设备中，与图2和图14所示的视频接收设备中相同的部件被分配与图2和图14中相同的标号，并没有进一步解释。图19所示视频接收设备800具有：视频接收器310、分离器320、扫描列表接收器330、基本层解码器340、增强层解码器350、扫描顺序控制器360、视频显示器370、以及模式变化发送器810。

模式变化发送器810从用户接收作为输入的关于特别需要隐私保护的区域(例如在该实施例中的面部区域)的模式变化请求，并且一旦接受到作为输入的模式变化请求，就将模式变化信息发送到视频发送设备700。

接着，将参照图20所示的流程图描述具有以上配置的视频发送设备700的操作。

在该图所示的流程图中，与图3和图15的流程图中一样的步骤被分配与图3和图15中相同的标号，并没有进一步解释。

另外，在以下解释中，所有图像都以隐私模式进行扫描，并且不进行正常模式扫描。

与实施例2的情况类似，在该实施例中，图像识别器510a也在ST3000进行图像识别，并且同时模式变化接收器710一直接收从视频接收设备800发送来的模式变化信号(PRIVACY)。当模式变化接收器710接收到模式变化信号(PRIVACY)时，模式变化信息将被输出到扫描顺序确定器150b。

然后，扫描顺序确定器150b确定将处理的图像中的块是否为由模式变化信息指定的特定块之一(ST5000)。这些“特定块”是指在由与模式变化信号(PRIVACY)一起输入的中心坐标(G)与大小(S)定义的正方形内的块。在该实施例中，这些块是面部区域内的块。

如果作为该确定的结果目标块为正常块而不是特定块之一，则与实施例1一样，分别以隐私模式(以正常隐私模式)确定该块的基本层与增强层的扫描顺序(ST5100)。同时，扫描顺序确定器150b存储表示目标块的扫描顺序为正常隐私模式的扫描顺序的块索引信息。

另一方面，如果作为ST5000的确定结果，目标块为特定块之一，则以不同于正常隐私模式的指定隐私模式确定该块的基本层与增强层的扫描顺序(ST5200)。同时，扫描顺序确定器150b存储指示目标块的扫描顺序为指定隐私模式的扫描顺序的块索引信息。

图21示出了块索引信息的例子。该图中所示的块索引信息具有包含与输入图像内所有的块数目相同的元素的网格结构，其中每个网格值指示在该位置的块是否为特定块。即，在网格中具有值“S”的块为特定块。在网格中具有值“0”的块为正常块。例如，块900在网格中具有值S，显然为特定块。

然后，扫描顺序确定器150b确定是否图像中所有块都已经确定了扫描顺序(ST5300)。如果还未确定扫描顺序，则目标块改变为其他块，并且重复从ST5000开始的处理。另一方面，如果已经确定了扫描顺序，则生成扫描列表。

一旦生成扫描列表，扫描顺序确定器150b就使用块索引信息，并且生成指示所有块的扫描顺序的扫描列表。即，当使用图21所示的块索引信息时，生成图22与图23所示的扫描列表。即，对于基本层与增强层生成两个扫描列表，一个用于在块索引信息中具有网格值S的特定块，一个用于具有网格值0的正常块，并且将这些列表发送给扫描列表发送器180。

图22A示出了正常隐私模式下的扫描列表头部，其形成有应用图22B所示扫描矩阵的图像的标号、层与块映射910，其中以正常隐私模式扫描的块的位置显示为1。

图23A示出了指定隐私模式下的扫描列表头部，其形成有应用图23B所示扫描矩阵的图像的标号、层与块映射920，其中以指定隐私模式扫描的块的位置显示为1。

这些扫描列表从扫描列表发送器180通过网络200分别发送给预定视频接收设备800。例如，基本层的隐私模式扫描列表被发送给普通用户。增强层的隐私模式扫描列表发送给管理员。基本层与增强层的指定隐私模式扫描列表只被发送给例如在安装监视相机的区域或其附近居住的居民。通过这种方式，就可能提高由监视相机记录其面部或身体的居民的隐私性。另外，可以基于每个特定块而设置隐私模式，从而以能够以改善的自由度实现隐私保护。

接着，将参照图24的流程图描述根据本实施例的视频接收设备800的操作。在该图所示的流程图中，与图9与图17所示的流程图中相同的步骤被分配与图9与图17中相同的标号，并没有进一步解释。

除了实施例1(图2)的视频接收设备300的视频接收操作之外，本实施例的视频接收设备800还实现发送模式变化信息的操作。模式变化发送器810通过网络200向视频发送器700发送用于设置指定隐私模式的模式变化信息，其包含模式变化信号(PRIVACY)、指定区域的中心坐标(G)、与指定区域的大小(S)(ST6000)。

由此，根据本实施例，视频发送设备使得位于指定区域内的特定块的扫描顺序与位于其他位置的正常块的扫描顺序不同。作为结果，可能以比所有块都采用普通扫描顺序时更高的级别保持保密性，并且由此以较高的自由度实现隐私模式。

如上所述，根据本发明，视频通信终端设备采用以下配置，具有：确定器，用来确定隐私模式扫描顺序，所述扫描顺序不同于正常模式扫描顺序；扫描器，用来按照隐私模式扫描顺序基于输入视频而扫描正交变换系数；编码器，用来编码所扫描的值，并且生成视频流；以及发送器，用来发送视频流以及有关隐私模式扫描顺序的信息，并且在该设备中，发送器只向具有播放视频流权限的特定用户发送有关隐私模式扫描顺序的信息。在该配置中，发送按照隐私模式扫描顺序扫描的视频流，并且只向特定用户发送有关隐私模式扫描顺序的信息，从而只有这些接收到有关扫描顺序的信息的特定用户才能按照正确的扫描顺序逆向扫描视频流并解码视频流，由此提高经过发送与接收的视频的保密性，而不会增加处理负荷。

本发明的视频通信设备还可以采用以下配置，其中：扫描器正交变换输入视频，获得分别对应于各个像素的正交变换系数，并且按隐私模式扫描顺序扫描这些系数。在该配置中，按照隐私模式扫描顺序扫描正交变换系数，从而当采用对输入视频进行正交变换的编码方案时，仍然可能提高经过发送与接收的视频的保密性，而不会增加处理负荷。

本发明的视频通信设备还可以采用以下配置，其中：扫描器对基于输入视频中的帧之间的相关性而获得的残留图像进行正交变换，获得分别对应于各个像素的正交变换系数，并且按隐私模式扫描顺序扫描这些系数。在该配置中，残留图像经过正交变换，并且得到的正交变换系数按隐私模式扫描顺序进行扫描，从而当采用对残留图像进行正交变换的编码方案时，仍然可能提高经过发送与接收的视频的保密性，而不会增加处理负荷，并可能改进编码效率。

本发明的视频通信设备还可以采用以下配置，其中：确定器为形成输入视频的多个层中的每个层而确定隐私模式扫描顺序；扫描器按照与包含像素的层相关地确定的隐私模式扫描顺序而扫描所述像素值；以及发送器根据每个特定用户对多个层中的哪个层具有回放权限，而发送有关所述多个层的相应扫描顺序的各个信息。在该配置中，按照逐层确定的隐私模式扫描顺序实现扫描，并且根据每个特定用户对多个层中的哪个层具有回放权限，而发送有关每层的扫描顺序的信息，从而可能以多个级别设置特定用户的观看权限，并且能够以较高自由度实现隐私保护。

本发明的视频通信设备还可以采用以下配置，其中：确定器留下所述多个层中的至少一个层，不确定所述多个层中的至少一个层的隐私模式扫描顺序；并且扫描器按正常模式扫描顺序扫描对应于所述多个层中的至少一个层的像素值。在该配置中，发送按正常模式扫描顺序扫描的层，从而非特定用户能够正确地解码该层。例如，对于监视相机，可能只按正常模式扫描顺序扫描低质量回放所需的基本层，并且向公众公开监视相机的摘要视频。作为结果，保护了对象人物的隐私，同时监视相机确实提高了(只作为例子)防止犯罪的优势。

本发明的视频通信设备还可以采用以下配置，其中：确定器为形成输入视频的多个块中的每一个确定隐私模式扫描顺序，所述多个块的每一个包含预定数目的像素；扫描器按照与包含像素的块相关地确定的隐私模式扫描顺序扫描所述像素值；以及发送器向特定用户发送有关所述多个块的相应扫描顺序的各个信息。在该配置中，按照逐块确定的隐私模式扫描顺序实现扫描，并且根据每个特定用户对多个块中的哪个块具有播放权限，而发送有关每块的扫描顺序的信息，从而与所有块都按普通扫描顺序进行扫描时相比，可能极大地提高视频的保密性。

本发明的视频通信设备还可以采用以下配置，其中：确定器为对应于指定区域的多个块中的至少一个块而确定指定隐私模式扫描顺序，该块对应于在图像识别结果中标识的、或者由来自外界的请求所确定的指定区域，所述指定隐私模式扫描顺序不同于与所述多个块中的其余块相关地确定的隐私模式扫描顺序；并且发送器只向具有播放对应于指定区域的块的权限的特定用户发送有关指定隐私模式扫描顺序的信息。在该配置中，按照指定隐私模式扫描顺序扫描对应于指定区域的块，从而可能以多个级别设置特定用户的观看权限，并且能够以高自由度实现隐私保护。

本发明的视频通信设备还可以采用以下配置，还具有不同于正常模式变长代码表的隐私模式变长代码表，并且在该设备中，通过使用隐私模式变长代码表来编码按隐私模式扫描顺序扫描的像素值。在该配置中，当按隐私模式扫描顺序进行扫描时，通过使用隐私模式变长代码表来进行编码，从而可能防止由于按照不同于正常模式扫描顺序的扫描顺序扫描而引起的代码效率下降。

本发明的视频通信设备还可以采用以下配置，其中：发送器只向特定用户发送隐私模式变长代码表。在该配置中，只向特定用户发送隐私模式变长代码表，从而可能防止编码效率下降，只使得接收到有关扫描顺序的信息与变长代码表的特定用户能够正确地解码视频流，并且提高视频的保密性。本发明的视频通信设备还可以采用以下配置，其中：发送器加密有关隐私模式扫描顺序的信息，并且将所述信息向特定用户发送。在该配置中，加密有关该扫描顺序的信息，从而即使当有关扫描顺序的信息被截获时，正确解码视频流的可能性仍然保持不高，从而可能进一步提高视频的保密性。

本发明的视频通信设备还可以采用以下配置，其中：确定器根据图像识别结果或者来自外界的请求，确定是否采用隐私模式扫描顺序；并且当确定器确定不采用隐私模式扫描顺序时，扫描器按照正常模式扫描顺序扫描输入视频中的像素值。在该配置中，通过在隐私模式扫描顺序与正常模式扫描顺序之间动态地切换来进行扫描，从而可能以较高的自由度实现隐私保护。

本发明的视频通信设备还可以采用以下配置，其中：当警报警告存在异常情况时，确定器确定不采用隐私模式扫描顺序。在该配置中，当出现警报时，按照正常模式扫描顺序进行扫描，从而可能在正常时间内实现隐私保护，并且在另一方面，当出现警报时，例如当需要立即逮捕罪犯时，向普通非特定用户公开监视相机视频，由此提高了发现并逮捕罪犯的可能性。

本发明的视频通信设备还可以采用以下配置，其中：确定器按预定周期确定隐私模式扫描顺序；并且发送器对于每个所述预定周期发送有关隐私模式扫描顺序的信息，或者可替换地，在该配置中，扫描器按预定周期在隐私模式扫描顺序与正常模式扫描顺序之间切换，并且扫描输入视频中的像素值。在该配置中，按预定周期确定隐私模式扫描顺序，并且逐周期地发送有关扫描顺序的信息，从而可能减少扫描顺序确定操作的处理负荷，并且减少发送有关扫描顺序的信息对带宽的影响。

本发明的视频通信设备还可以采用以下配置，具有：接收器，用来接收视频流；判决器，用来确定是否接收到有关对应于视频流的扫描顺序的信息；和逆扫描器，当接收到所述有关扫描顺序的信息时，用来根据所述信息逆向扫描视频流，并且当未收到所述信息时，用来按照正常模式扫描顺序逆向扫描视频流。在该配置中，当接收到有关扫描顺序的信息时，根据所述信息逆向扫描视频流，或者当未接收到所述信息时，按照正常模式扫描顺序扫描视频流，由此将正确解码视频流的操作限于被赋予了播放视频流的权限的地方，并且提高了视频的保密性而未增加处理负荷。

另外，本发明的视频通信方法具有以下步骤：确定不同于正常模式扫描顺序的隐私模式扫描顺序；按照隐私模式扫描顺序扫描从输入视频获得的正交变换系数；编码所扫描的值，并且生成视频流；  发送视频流；以及只向具有播放视频流权限的特定用户发送有关隐私模式扫描顺序的信息。在该方法中，发送按照隐私模式扫描顺序扫描的视频流，并且只向特定用户发送有关隐私模式扫描顺序的信息，从而只允许这些收到有关扫描顺序的信息的特定用户按照正确的扫描顺序逆向扫描视频流并且解码视频流，由此提高经过发送与接收的视频的保密性，而不会增加处理负荷。

本发明的视频通信方法具有以下步骤：接收视频流；确定是否收到有关对应于视频流的扫描顺序的信息；并且当收到所述有关扫描顺序的信息时，根据所述信息逆向扫描视频流，并且当未收到所述信息时，按照正常模式扫描顺序逆向扫描视频流。在该方法中，当收到有关扫描顺序的信息时，根据所述信息逆向扫描视频流，或者当未收到所述信息时，按照正常模式扫描顺序扫描视频流，由此将正确解码视频流的操作限于被赋予了播放视频流权限的地方，并且提高了视频的保密性而未增加处理负荷。

因此，根据本发明，按照不同于正常扫描顺序的扫描顺序，来扫描视频编码中的正交变换系数，并且只向特定用户发送扫描列表。因此，本发明产生最小的处理负荷，提高了保密性，并且改善了视频发送的隐私性。

作为结果，本发明的视频通信设备与视频通信方法改善了经过发送与接收的视频的保密性，同时未造成处理负荷增加。只作为例子，在采用多个监视相机以监控远程地点的远程监控系统中，本发明保护了对象人物的隐私。

本发明不限于上述实施例，在不脱离本发明的范围的情况下，可能有各种修改与变化。

本申请基于2004年2月10日提交的日本专利申请第2004-033587号，这里通过引用而特别合并其全部内容。

Claims (17)

1.一种视频通信设备，包含：

确定器，用来确定隐私模式扫描顺序，所述扫描顺序不同于正常模式扫描顺序；

扫描器，用来按照隐私模式扫描顺序而扫描从输入视频获得的正交变换系数；

编码器，用来编码所扫描的值，并且生成视频流；以及

发送器，用来发送视频流以及有关隐私模式扫描顺序的信息，

其中发送器只向具有播放视频流权限的特定用户发送有关隐私模式扫描顺序的信息。

2.如权利要求1所述的视频通信设备，其中扫描器对输入视频进行正交变换，获得正交变换系数，并且按隐私模式扫描顺序扫描所述系数。

3.如权利要求1所述的视频通信设备，其中扫描器对基于输入视频中的帧之间的相关性而获得的残留图像进行正交变换，获得正交变换系数，并且按隐私模式扫描顺序扫描所述系数。

4.如权利要求1所述的视频通信设备，其中：

确定器为形成输入视频的多个层中的每个层确定隐私模式扫描顺序；

扫描器按与包含所述像素的层相关地确定的隐私模式扫描顺序扫描像素值；以及

发送器根据每个特定用户对多个层中的哪个层具有回放权限，而发送有关所述多个层的相应扫描顺序的各个信息。

5.如权利要求4所述的视频通信设备，其中：

确定器留下所述多个层中的至少一个层，不确定隐私模式扫描顺序；以及

扫描器按正常模式扫描顺序扫描与所述多个层中的至少一个不确定隐私模式扫描顺序的层对应的像素值。

6.如权利要求1所述的视频通信设备，其中：

确定器为形成输入视频的多个块中的每一个确定隐私模式扫描顺序，所述多个块的每一个包含预定数目的像素；

扫描器按照与包含所述像素的块相关地确定的隐私模式扫描顺序而扫描像素值；以及

发送器向特定用户发送有关所述多个块的相应扫描顺序的各个信息。

7.如权利要求6所述的视频通信设备，其中：

确定器为对应于在图像识别结果中标识的、或者由来自外界的请求所确定的指定区域的多个块中的至少一个块确定指定隐私模式扫描顺序，所述指定隐私模式扫描顺序不同于与所述多个块中的其余块相关地确定的隐私模式扫描顺序；以及

发送器只向具有播放对应于指定区域的块的权限的特定用户发送有关指定隐私模式扫描顺序的信息。

8.如权利要求1所述的视频通信设备，还包含隐私模式变长代码表，所述表不同于正常模式变长代码表，

其中按隐私模式扫描顺序扫描的像素值通过使用隐私模式变长代码表来进行编码。

9.如权利要求8所述的视频通信设备，其中发送器只向特定用户发送隐私模式变长代码表。

10.如权利要求1所述的视频通信设备，其中该发送器加密有关隐私模式扫描顺序的信息，并且将所述信息发送到特定用户。

11.如权利要求1所述的视频通信设备，其中：

确定器基于图像识别结果或者来自外界的请求，而确定是否采用隐私模式扫描顺序；以及

当确定器确定不采用隐私模式扫描顺序时，扫描器按照正常模式扫描顺序扫描输入视频中的像素值。

12.如权利要求11所述的视频通信设备，其中当警报警告存在异常情况时，确定器确定不采用隐私模式扫描顺序。

13.如权利要求1所述的视频通信设备，其中：

确定器按预定周期确定隐私模式扫描顺序；以及

发送器对于每个所述预定周期发送有关隐私模式扫描顺序的信息。

14.如权利要求1所述的视频通信设备，其中扫描器按预定周期在隐私模式扫描顺序与正常模式扫描顺序之间切换，并且扫描视频输入中的像素值。

15.一种视频通信设备，包含：

接收器，用来接收视频流；

判决器，用来确定是否接收到有关与视频流对应的扫描顺序的信息；和

逆扫描器，当收到所述有关扫描顺序的信息时，用来根据所述信息逆向扫描视频流，并且当未收到所述信息时，用来按照正常模式扫描顺序逆向扫描视频流。

16.一种视频通信方法，包含以下步骤：

确定隐私模式扫描顺序，所述扫描顺序不同于正常模式扫描顺序；

按照隐私模式扫描顺序扫描从输入视频获得的正交变换系数；

编码所扫描的值，并且生成视频流；以及

发送视频流；以及

只向具有播放视频流权限的特定用户发送有关隐私模式扫描顺序的信息。

17.一种视频通信方法，包含以下步骤：

接收视频流；

确定是否收到有关与视频流对应的扫描顺序的信息；以及

当收到所述有关扫描顺序的信息时，根据所述信息逆向扫描视频流，并且当未收到所述信息时，按照正常模式扫描顺序逆向扫描视频流。

Images