CN101116102A - 图像处理装置 - Google Patents

Abstract

在缩小对隐匿对象实施了马赛克的原图像来降低分辨率时，计算缩小分辨率下的马赛克块大小。在缩小马赛克块大小的马赛克中、判定是否是人眼能够视觉辨认隐蔽对象的大小，如果在缩小马赛克块大小的马赛克中人眼能够视觉辨认隐蔽对象，则以适当的再马赛克块大小对隐蔽对象进行再马赛克处理。由此，在降低对隐蔽对象实施了马赛克的原图像的分辨率而进行了缩小的缩小图像中，也可以保护隐蔽对象的隐私。

Description

图像处理装置

技术领域

本发明涉及图像处理技术，尤其涉及一种对图像实施了马赛克的再马赛克处理的技术。

背景技术

近年来，基于数字广播与通信路径宽带化的实现等，对HDTV(HighDefinition TV)等的高分辨率图像内容进行分发的机会逐渐增多。作为一个例子，在日本的地上数字广播方式中，将一个信道分割成13个“段(segment)”，通过绑定几个段来发送视频、数据或音频等。可以认为通过将所述13个段中的12个段分配给高清晰广播(高分辨率)，一个段分配给移动体广播(低分辨率)，会增多以高分辨率和低分辨率分发同一内容的机会。

在通过便携终端等接收、再生HDTV(High Definition TV)等的高分辨率图像内容时，根据终端的显示设备的分辨率及通信路径的带宽的限制，如图1所示，HDTV等的高分辨率图像内容被缩小为QVGA(QuarterVideo Graphics Array)等低分辨率图像。在图1中，表示了将1920×1080像素的HDTV图像，以1/6倍缩小率缩小为能够由QVGA显示的320×180像素的图像。

图2表示了具备这种缩小功能的分辨率变换装置100。

分辨率变换装置100由图像缩小装置1001构成。图像缩小装置1001将所输入的分辨率的图像缩小到所输入的缩小分辨率为止，并输出缩小后的图像。该分辨率变换装置100，如图3所示被配置在图像发送之前，或如图4所示被配置在再生之前。通过这样的分辨率变换装置100，可以不受终端的显示设备的分辨率或通信路径的带宽限制的影响，由便携终端接收或再生HDTV的高分辨率图像内容。

可是，在电视或大众传媒(mass media)中，为了保护个人隐私，有时会进行将脸等规定部分(下面称作马赛克区域)的图像处理成块状的马赛克处理。

该马赛克处理的原理如图5所示，将马赛克区域分割成某一特定大小的四方形块(下面称作马赛克块大小)，将所述块内的任意一个像素的像素值设定为该块内的整体像素值。另外，有时不是一个像素的像素值，而是块内像素的平均像素值。

但是，在为了通过便携终端等接收、再生视频而缩小被马赛克处理后的HDTV分辨率的内容，例如缩小到QVGA分辨率的情况下，将导致块状的马赛克消失，存在着无法实现原本对个人隐私进行保护的目的的课题。例如，在HDTV分辨率下的马赛克块大小为8×8像素，且被缩小到QVGA为止时(缩小率为1/6)，QVGA分辨率下的马赛克块大小约为1×1像素(8/6×8/6)，导致块上的马赛克消失，宛如马赛克被解除一样。

发明内容

因此，本发明是鉴于上述课题而完成的发明，其目的在于，提供在降低了对隐蔽对象实施过马赛克的原图像的分辨率并进行了缩小的缩小图像中，也能够保护隐蔽对象的隐私的图像处理装置、程序及再马赛克处理方法、和使用了这些的装置。

而且，还提供在降低了对隐蔽对象实施过马赛克的原图像的分辨率并进行了缩小的缩小图像中，以无法视觉辨认隐蔽对象的块大小进行再马赛克处理的图像处理装置、程序及再马赛克处理方法、和使用了这些的装置。

解决上述课题的第一发明提供一种图像处理装置，其特征在于，具有：对在给原图像的隐蔽对象所实施的马赛克的马赛克块大小下，是否因缩小原图像而使得马赛克从视觉上消失进行判定的机构；和在利用所述判定机构判定为对所述隐蔽对象所实施的马赛克从视觉上消失了的情况下，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理的再马赛克处理机构。

解决上述课题的第二发明提供一种图像处理装置，其特征在于，具有：根据被输入的图像的分辨率与缩小分辨率之比、即缩小率，计算缩小分辨率下的隐蔽对象的缩小马赛克块大小，并将所述缩小马赛克块大小与规定阈值进行比较的比较机构；以及在所述缩小马赛克块大小为所述规定阈值以下时，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述输入图像的隐蔽对象进行再马赛克处理的再马赛克处理机构。

解决上述课题的第三发明根据上述第二发明而提出，其特征在于，所述规定阈值是在缩小分辨率的图像中，无法以人眼对所述隐蔽对象进行视觉辨认的马赛克块大小。

解决上述课题的第四发明根据上述第二或第三发明而提出，其特征在于，所述规定阈值为2个像素。

解决上述课题的第五发明根据上述第二～第四发明中任意一个而提出，其特征在于，再马赛克处理机构以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小进行再马赛克处理。

解决上述课题的第六发明根据上述第二～第五发明中任意一项而提出，其特征在于，再马赛克处理机构以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像的缩小图像进行再马赛克处理。

解决上述课题的第七发明根据上述第五发明而提出，其特征在于，再马赛克处理机构以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像进行再马赛克处理。

解决上述课题的第八发明根据上述第二～第七发明中任意一项而提出，其特征在于，再马赛克处理机构在频率区域上进行再马赛克处理。

解决上述课题的第九发明提供一种图像传送装置，具有：根据所输入的图像的分辨率与缩小分辨率之比、即缩小率，计算对缩小分辨率下的图像的隐蔽对象所实施的马赛克的缩小马赛克块大小，并将所述缩小马赛克块大小与规定阈值进行比较的比较机构；在所述缩小马赛克块大小为所述规定阈值以下时，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理的再马赛克处理机构；和对再马赛克处理后的图像进行编码并传送的传送机构。

解决上述课题的第十发明提供一种信息处理终端，具有：对所接收到的图像数据进行解码的解码机构；根据所述解码后的图像分辨率相对原图像的缩小率，计算对所述图像的隐蔽对象所实施马赛克的马赛克块大小，并将所述马赛克块大小与规定阈值进行比较的比较机构；在所述马赛克块大小为所述规定阈值以下时，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理的再马赛克处理机构；和对再马赛克处理后的图像进行显示的显示机构。

解决上述课题的第十一发明提供一种图像处理装置的程序，使所述图像处理装置作为以下机构而发挥功能：对在给原图像的隐蔽对象所实施的马赛克的马赛克块大小下，是否因缩小原图像而使得马赛克从视觉上消失进行判定的机构；和在利用所述判定机构判定为对所述隐蔽对象所实施的马赛克从视觉上消失了的情况下，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理的再马赛克处理机构。

解决上述课题的第十二发明提供一种图像处理装置的程序，使所述图像处理装置作为以下机构而发挥功能：根据所输入的图像的分辨率与缩小分辨率之比、即缩小率，计算对缩小分辨率下的图像的隐蔽对象所实施的马赛克的缩小马赛克块大小，并将所述缩小马赛克块大小与规定阈值进行比较的比较机构；和在所述缩小马赛克块大小为所述规定阈值以下时，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理的再马赛克处理机构。

解决上述课题的第十三发明根据上述第十二发明而提出，其特征在于，所述规定阈值是在缩小分辨率的图像中，无法以人眼视觉辨认所述隐蔽对象的马赛克块大小。

解决上述课题的第十四发明根据上述第十二或第十三发明而提出，其特征在于，所述规定阈值是2个像素。

解决上述课题的第十五发明根据上述第十二～第十四发明中任意一项而提出，其特征在于，所述程序使所述再马赛克处理机构发挥下述功能：以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小进行再马赛克处理。

解决上述课题的第十六发明根据上述第十五发明而提出，其特征在于，所述程序使再马赛克处理机构发挥下述功能：以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像的缩小图像进行再马赛克处理。

解决上述课题的第十七发明根据上述第十五发明而提出，其特征在于，所述程序使再马赛克处理机构发挥下述功能：以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像进行再马赛克处理。

解决上述课题的第十八发明根据上述第十二～第十七发明中任意一项而提出，其特征在于，所述程序使再马赛克处理机构发挥下述功能：在频率区域上进行再马赛克处理。

解决上述课题的第十九发明提供一种马赛克处理方法，具有：判断在给原图像的隐蔽对象所实施的马赛克的马赛克块大小下，是否因缩小原图像而使得马赛克从视觉上消失的步骤；和在判定为对所述隐蔽对象所实施的马赛克从视觉上消失了的情况下，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理的步骤。

解决上述课题的第二十发明提供一种马赛克处理方法，具有：根据被输入的图像的分辨率与缩小分辨率之比、即缩小率，计算对缩小分辨率下的图像的隐蔽对象所实施的马赛克的缩小马赛克块大小，并将所述缩小马赛克块大小与规定阈值进行比较的步骤；以及在所述缩小马赛克块大小为所述规定阈值以下时，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述输入图像的隐蔽对象进行再马赛克处理的步骤。

解决上述课题的第二十一发明根据上述第二十发明而提出，其特征在于，所述规定阈值是在缩小分辨率的图像中，无法以人眼视觉辨认所述隐蔽对象的马赛克块大小。

解决上述课题的第二十二发明根据上述第二十或第二十一发明而提出，其特征在于，所述规定阈值是2个像素。

解决上述课题的第二十三发明根据上述第二十～第二十二发明中任意一项而提出，其特征在于，再马赛克处理以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小进行再马赛克处理。

解决上述课题的第二十四发明根据上述第二十三发明而提出，其特征在于，再马赛克处理以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像的缩小图像进行再马赛克处理。

解决上述课题的第二十五发明根据上述第二十三发明而提出，其特征在于，再马赛克处理以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像进行再马赛克处理。

解决上述课题的第二十六发明根据上述第二十～第二十五发明中任意一项而提出，其特征在于，再马赛克处理在频率区域上进行再马赛克处理。

解决上述课题的第二十七发明提供一种图像处理装置，其能够存储编辑历史记录，具有：判断在过去的编辑历史记录中是否有马赛克的图像处理的机构；在所述过去的编辑历史记录中有马赛克的图像处理，且当所述马赛克的图像处理之后对图像进行缩小时，计算缩小分辨率下的隐蔽对象的缩小马赛克块大小，并比较所述缩小马赛克块大小和规定阈值的机构；以及在所述缩小马赛克块大小为所述规定阈值以下时，以即使因图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对原图像的隐蔽对象进行再马赛克处理的机构。

解决上述课题的第二十八发明提供一种能够存储编辑历史记录的图像处理装置的程序，所述程序使所述图像处理装置作为以下机构而发挥功能：判断在过去的编辑历史记录中是否有马赛克的图像处理的机构；在所述过去的编辑历史记录中有马赛克的图像处理，且当所述马赛克的图像处理之后对图像进行缩小时，计算缩小分辨率下的隐蔽对象的缩小马赛克块大小，并比较所述缩小马赛克块大小和规定阈值的机构；以及在所述缩小马赛克块大小为所述规定阈值以下时，以即使因图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对原图像的隐蔽对象进行再马赛克处理的机构。

解决上述课题的第二十九发明提供一种图像处理方法，一边存储编辑历史记录一边进行图像处理，具有：判断在过去的编辑历史记录中是否有马赛克的图像处理的步骤；当在所述过去的编辑历史记录中有马赛克的图像处理，且在所述马赛克的图像处理之后对图像进行缩小时，计算缩小分辨率下的隐蔽对象的缩小马赛克块大小，并比较所述缩小马赛克块大小和规定阈值的步骤；以及在所述缩小马赛克块大小为所述规定阈值以下时，以即使因图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对原图像的隐蔽对象进行再马赛克处理的步骤。

解决上述课题的第三十发明提供一种图像处理装置，具有对被实施了马赛克的图像的隐蔽对象再次进行马赛克处理的再马赛克处理机构。

解决上述课题的第三十一发明提供一种图像处理装置，具有对被实施了马赛克的图像的隐蔽对象，以无法视觉辨认所述隐蔽对象的大小的马赛克块大小，再次进行马赛克处理的再马赛克处理机构。

解决上述课题的第三十二发明提供一种图像处理装置的程序，所述程序使所述图像处理装置作为对被实施了马赛克的图像的隐蔽对象，再次进行马赛克处理的再马赛克处理机构而发挥功能。

解决上述课题的第三十三发明提供一种图像处理装置的程序，所述程序使所述图像处理装置作为对被实施了马赛克的图像的隐蔽对象，以无法视觉辨认所述隐蔽对象的大小的马赛克块大小，再次进行马赛克处理的再马赛克处理机构而发挥功能。

解决上述课题的第三十四发明提供一种图像处理方法，对被实施了马赛克的图像的隐蔽对象再次进行马赛克处理。

解决上述课题的第三十五发明提供一种图像处理方法，对被实施了马赛克的图像的隐蔽对象，以无法视觉辨认所述隐蔽对象的大小的马赛克块大小再次进行马赛克处理。

本发明的特征在于，在因图像的缩小等，使得被实施了马赛克的图像的隐蔽对象可被视觉辨认时，以无法视觉辨认隐蔽对象的大小的马赛克块大小，对被实施了马赛克的图像的隐蔽对象再次进行马赛克处理。

并且，本发明在缩小对隐匿对象实施了马赛克的原图像而降低分辨率的情况下，根据原图像的分辨率和缩小图像的分辨率，计算缩小分辨率下的马赛克块大小。而且，在缩小马赛克块大小的马赛克中，判定人眼是否能够视觉辨认隐蔽对象。

如果在缩小马赛克块大小的马赛克中，人眼能够视觉辨认隐蔽对象，则以即使因原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对原图像的隐蔽对象进行再马赛克处理。

发明效果

根据本发明，在降低对隐蔽对象实施了马赛克的原图像的分辨率而进行了缩小的缩小图像中，可按照能够视觉辨认对隐蔽对象所实施的马赛克的方式进行再马赛克处理，由此，具有对隐蔽对象的隐私进行保护的出色效果。

附图说明

图1是表示对高分辨率的图像内容进行图像缩小的例子的图。

图2是表示现有的分辨率变换装置100的图。

图3是分辨率变换装置100被配置在图像发送之前的情况下的框图。

图4是分辨率变换装置100被配置在图像再生之前的情况下的框图。

图5是用于说明马赛克处理的原理的图。

图6是表示实施例1中的分辨率变换装置100的构成的图。

图7是用于说明马赛克区域等的图。

图8是实施例2中的分辨率变换装置100的框图。

图9是表示以往的使用了8×8尺寸的DCT的图像传送及再生的图。

图10是表示将图像的分辨率缩小为1/2倍的例子的图。

图11是使用了缩小倒DCT的图像处理装置的框图。

图12是实施例3中的使用了缩小倒DCT的图像处理装置的框图。

图13是将本发明的分辨率变换装置工具化的信息处理系统的一般结构框图。

图14是实施例5的系统框图。

图15是实施例5的传送装置的框图。

图16是实施例6的系统框图。

图17是图像处理装置502的框图。

图18是实施例7的图像处理装置700的框图。

图中：100—分辨率变换装置，200—再马赛克判定装置，300—马赛克处理装置。

具体实施方式

下面，对本发明的实施例进行说明。

实施例1

说明本发明的实施例1。

图6表示了本发明实施例1中的分辨率变换装置100的构成。

实施例1的分辨率变换装置100相对图2所示的现有分辨率变换装置100，具备再马赛克判定装置200和马赛克处理装置300。另外，由于图像缩小装置1001的构成与以往相同，所以省略其详细说明。

向再马赛克判定装置200供给输入图像的分辨率(rw，rh)、缩小分辨率(dsrw，dsrh)、及马赛克标志、原马赛克区域、原马赛克块大小。马赛克标志是表示输入图像中是否存在马赛克区域的信息。当马赛克标志mozaic_flag有效时，如图7所示，原马赛克坐标表示马赛克区域的坐标(mulx，muly，mw，mh)，原马赛克块大小msize表示输入分辨率下的马赛克块的尺寸。其中，输入图像的分辨率(rw，rh)、及马赛克标志、原马赛克区域、原马赛克块大小，能够根据输入图像附带的历史记录等而取得。另外，也可以利用图像识别的技术，检测出分辨率(rw，rh)、及马赛克标志、原马赛克区域、原马赛克块大小。

再马赛克判定装置200根据输入图像的分辨率与缩小分辨率之比，计算缩小分辨率下的马赛克块大小ds_msize(ds_msize＝msize*ds_ratio)，并判定缩小马赛克块大小ds_msize是否是人眼可以视觉辨认马赛克下的隐蔽对象的大小。具体而言，在缩小马赛克块大小ds_msize接近缩小分辨率中的一个像素的情况下，是人眼能够视觉辨认马赛克下的隐蔽对象的大小。例如，在HDTV分辨率下的原马赛克块大小msize为8个像素，且被缩小到QVGA为止时(缩小率为1/6)，QVGA分辨率下的缩小马赛克块大小ds_msize约为1个像素(8×1/6≈1.333)，导致块上的马赛克消失，宛如马赛克被解除一样。

鉴于此，如果缩小马赛克块大小ds_msize为人眼无法视觉辨认马赛克下的隐蔽对象的大小以下，则再马赛克标志re_mozaic_flag有效，否则无效。另外，当再马赛克标志有效时，对表示缩小图像上的马赛克区域的再马赛克区域(mulx2，muly2，mw2，mh2)、及再马赛克块大小msize2进行计算。

上述的再马赛克判定装置200的动作定式地如下所述。

ds_ratio＝dsrw/rw           (1)

or

ds_ratio＝dsrh/rh           (1)’

ds_msize＝msize*ds_ratio    (2)

if(mozaic_flag＝ON AND ds_msize＜msize_th)

re_mozaic_flag＝ON

else

re_mozaic_flag＝OFF     (3)

mulx2＝mulx*ds_ratio    (4)

muly2＝muly*ds_ratio    (5)

mw2＝mw*ds_ratio        (6)

mh2＝mh*ds_ratio        (7)

msize2＝max(ideal_msizel，ds_msize)    (8)

这里，msize_th是人眼能够视觉辨认马赛克下的隐蔽对象的块大小的阈值，ideal_msizel是缩小分辨率中马赛克不会从视觉上消失的缩小分辨率上的理想再马赛克块尺寸，max(a，b)是返回具有较大值的输入值的函数。例如，当缩小分辨率下的马赛克块大小ds_msize小于阈值msize_th时，人眼可以视觉辨认缩小图像中的马赛克隐蔽对象。因此，该情况下，通过将再马赛克块大小msize2设为大于ds_msize的ideal_msizel，可以防止因缩小引起的马赛克从视觉上消失。

在本实施方式中，作为更具体的ideal_msizel的值，优选如果缩小分辨率为QVGA(320×240像素)则为4个像素(4×4的马赛克)以上，如果缩小分辨率为SQVGA(Sub QVGA：160×120像素)则为3个像素(3×3的马赛克)以上。另外，作为msize_th的值，优选为2个像素(2×2的马赛克)以上。

如果从再马赛克判定装置200供给的再马赛克标志re_mozaic_flag有效，则马赛克处理装置300针对缩小后的图像的再马赛克区域(mulx2，muly2，mw2，mh2)进行再马赛克块大小msize2下的马赛克处理。马赛克处理可以按照上述以往的方式进行，当然也可以由一个像素置换块内所有的像素，还可以由平均值进行置换。

通过上述本实施方式中的分辨率变换装置100的动作，可以减轻因缩小引起的马赛克块的消失。由此，即使进行将图像分辨率极端地降低的缩小，也可以实现马赛克原本的保护个人隐私的目的。

实施例2

说明本发明的实施例2。

在上述的实施例1中，在图像的缩小之后进行了再马赛克处理。但是，也可以不在图像缩小后而是在图像的缩小之前进行再马赛克处理。因此，实施例2中针对在图像的缩小之前进行再马赛克处理的例子进行说明。

图8是实施例2中的分辨率变换装置100的框图。

再马赛克判定装置200根据输入图像的分辨率与缩小分辨率之比，计算缩小分辨率下的马赛克块大小，并判定缩小马赛克块大小ds_msize是否是人眼可以视觉辨认马赛克下的隐蔽对象的大小。其中，该情况下，缩小马赛克块大小ds_msize是在假定缩小了原马赛克块的情况下的马赛克块大小。

如果是人眼可以视觉辨认隐蔽对象的大小，则使再赛马赛克标志re_mozaic_flag有效，否则无效。另外，当再马赛克标志有效时，预先计算缩小图像上的表示马赛克区域的再马赛克区域(mulx2，muly2，mw2，mh2)以及再马赛克块大小msize2。

本实施例中的再马赛克判定装置200的动作定式地如下所述。

ds_ratio＝dsrw/rw           (1)

or

ds_ratio＝dsrh/rh           (1)’

ds_msize＝msize*ds_ratio    (2)

if(mozaic_flag＝ON AND ds_msize＜msize_th)

re_mozaic_flag＝ON

else

re_mozaic_flag＝OFF    (3)

mulx2＝mulx            (4)’

muly2＝muly            (5)’

mw2＝mw                (6)’

mh2＝mh                (7)’

msize2＝max(ideal_msize2，msize)    (8)’

这里，ideal_msize2是为了马赛克在缩小分辨率下不从视觉上消失的输入分辨率下的理想再马赛克块大小。例如，当缩小分辨率下的马赛克块大小ds_msize小于阈值msize_th时，人眼可以视觉辨认缩小图像中的马赛克的隐蔽对象。因此，该情况下，通过将再马赛克块大小msize2设定为大于原马赛克块大小msize的ideal_msize2，可以防止因缩小引起的马赛克从视觉消失于未然。

本实施方式中，作为更具体的ideal_msize2的值，优选如果缩小分辨率为QVGA(320×240像素)则为4×(1/ds_ratio)像素((4×(1/ds_ratio))×(4×(1/ds_ratio))的马赛克)以上，如果缩小分辨率为SQVGA(SubQVGA：160×120像素)则为3×(1/ds_ratio)像素((3×(1/ds_ratio))×(3×(1/ds_ratio))的马赛克)以上。

实施例3

说明本发明的实施例3。

在实施例3中，针对DTC(Discrete Cosine Transform)与HT(HadamardTransform)等频率区域中的分辨率变换，说明利用了本发明的例子。

首先，图9中简单地表示以往的利用了8×8尺寸的DCT的图像的传送及再生。

DCT装置1011以8×8块的单位对图像img(xx，yy)(1≤xx≤width-1，0≤yy≤height-1)进行DCT，将被块分割的图像f(x，y)(0≤x≤7，0≤y≤7)从图像空间区域变换到频率区域。将前面被DCT的图像信号称作DCT系数。

一般对于上述DCT而言，可利用下面的公式。

$F(u,v)=\frac{2}{N}\left(u\right)C\left(v\right)\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)\cos \frac{(2x+1)\mathrm{u\π}}{2N}\cos \frac{(2y+1)\mathrm{v\π}}{2N}$

这里，N是DCT的块大小(本例中N＝8)，x，y是像素空间中的坐标，u，v是频率区域中的坐标，设

$C\left(u\right),C\left(v\right)=\left\{\begin{array}{cc}\frac{1}{\sqrt{2}}& \mathrm{for\; u\; v}=0\\ 1& \mathrm{otherwise}\end{array}\right..$

量化装置1012以与量化参数对应的量化阶(quantization step size)对上述DCT系数进行量化。所述量化后的DCT系数被称作电平值。

所述电平值被熵编码装置1013熵编码，作为位列即位流输出。而且，此时所述量化参数也作为编码参数被熵编码，复用于位流。

位流通过熵解码装置1023被熵解码，成为原来的编码参数和原来的电平值。

逆量化装置1022以与解码后的量化参数对应的量化阶，对所述解码后的DCT系数进行反量化，输出DCT系数。

逆DCT装置1021以8×8块的单位对所述DCT系数进行逆DCT，使DCT系数从频率区域返回到空间区域。由此，能够在再生侧从位流解码为原来的图像f(x，y)。

一般对于所述逆DCT而言，可利用下面的公式。

$f(x,y)=\frac{2}{N}\underset{u=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}C\left(u\right)C\left(v\right)F(u,v)\cos \frac{(2x+1)\mathrm{u\π}}{2N}\cos \frac{(2y+1)\mathrm{v\π}}{2N}$

在上述的利用了DCT的图像再生装置(解码)中，通过改变编码侧的DCT大小(NxN)和解码侧的IDCT大小(PxP)，可以缩小图像(N＞P)。图10表示了设N为8、P为4、将图像的分辨率缩小为4/8＝1/2倍的例子。

通过利用上述的缩小DCT，能够将被使用DCT编码过的图像的位流直接缩小。

在图11的情况下，如果设原来的图像的分辨率为org res、编码侧的DCT的块大小为NxN、缩小后的图像的分辨率为ds_rest，则缩小DCT的块大小PxP的P值如下所示。

P＝N*ds_rest/org_res

例如，如果设原来的图像的分辨率为HDTV、缩小后的图像的分辨率为QVGA、N＝8，则P＝8*1920/320＝8/6＝1(四舍五入)，缩小后的图像的分辨率成为HDTV的1/8(P＝1/N＝8)  (DCT区域中的图像的缩小只能为1/8，2/8，3/8，4/8，5/8，6/8，7/8倍，但由于运算量比像素区域中的缩小少，所以经常被利用)。

但是，在上述频率区域下的分辨率变换中，也会发生上述的马赛克块消失(尤其是在P＝1的情况下)。

接着，对本发明进行说明。

参照图12，对解决马赛克块消失的问题的、采用了发明方式的频率区域中的分辨率变换进行说明。

与图11相比，在实施例3中，再马赛克处理判定装置200具有DCT系数修正装置1025。此外，再马赛克处理判定装置200与上述的实施例相同。

当再赛马赛克标志有效时，DCT系数修正装置1025对再马赛克区域的DCT系数进行以下步骤的处理。

步骤1  针对再马赛克区域中所包含的NxN块各自的DCT系数F(u，v)而言，将DC以外的全部设为0。

F(u.v)＝0 for u！＝0 and v！＝0

步骤2  如果P大于再马赛克块大小m_bs，则进入步骤3，否则结束处理。

步骤3  对邻接的再马赛克区域所包含的NxN块的DC系数F(0，0)进行以下的更新，使得再马赛克块成为m_bs。

${F_{x,y}}^{\′}\left(\mathrm{0,0}\right)=\frac{1}{\mathrm{sz}\×\mathrm{sz}}\underset{a=x}{\overset{x+\mathrm{sz}-1}{\mathrm{\Σ}}}\underset{b=y}{\overset{y+\mathrm{sz}-1}{\mathrm{\Σ}}}{F}_{a,b}\left(\mathrm{0,0}\right)$

sz＝m_bs/P

这里，Fx，y’(0，0)表示更新后的块坐标(x，y)的DC系数，Fx，y(0，0)表示更新前的块坐标(x，y)的DC系数。

通过上述的处理，大小比再马赛克块m_bs大的块上的马赛克能够在缩小后的图像的马赛克区域上再现。

由此，即使在频率区域进行分辨率变换的情况下，也可以解决马赛克块消失的课题。

实施例4

进而，根据上述的说明可知，在上述的实施例中能够由硬件进行构成，但也可以通过计算机程序来实现。

图13是将本发明的分辨率变换装置工具化的信息处理系统的一般的结构框图。

图13所示的信息处理系统由处理器800、程序存储器801及存储介质802构成。存储介质802可以是独立的存储介质，也可以是由同一存储介质构成的存储区域。作为存储介质可采用硬盘等磁存储介质。

在程序存储器801中存储有进行与上述再马赛克判定装置200和马赛克处理装置300同样动作的程序，通过该程序使处理器800工作，将进行与实施例1、实施例2或实施例3同样的处理。

实施例5

对本发明的实施例5进行说明。

在今后普及的地上数字广播中，通过如上所述将一个信道的13个段中的12个段分配给高清晰广播(高分辨率)，一个段分配给移动体广播(低分辨率)，会增多以高分辨率和低分辨率分发同一内容的机会。鉴于此，在实施例5中，针对具有上述实施例1、实施例2及实施例3的分辨率变换装置100的传送装置进行说明。

图14是实施例5的系统框图，图15是实施例5的传送装置的框图。

如图14所示，该系统具有：被输入高分辨率例如HDTV分辨率图像(被实施了马赛克)的传送装置300；以及被输入高分辨率图像、和从传送装置300输出的低分辨率例如QVGA分辨率图像的送出装置301。

传送装置300被输入高分辨率例如HDTV分辨率的图像，将该图像缩小，生成并输出低分辨率例如QVGA分辨率的图像。而且，传送装置300如图15所示，具有分辨率变换装置100和编码部10。分辨率变换装置100与实施例1及实施例2中所说明的分辨率变换装置100是相同的构成。编码部101是将被分辨率变换装置100缩小的图像编码，并送出图像位流的编码设备。

送出装置301被输入从传送装置300输出的低分辨率图像和高分辨率的图像，将低分辨率的图像作为部分阶层的图像、高分辨率的图像作为固定阶层的图像进行发送。

根据本实施例5，即使在对高分辨率的内容实施马赛克处理、将高分辨率的内容缩小来分发低分辨率的同一内容时，也能够减轻因缩小引起的马赛克消失，从而可以安心地分发高分辨率、低分辨率的同一内容。

实施例6

对实施例6进行说明。

在实施例6中，针对在接收、再生侧实施马赛克的再处理的情况进行说明。

图16是实施例6的系统框图，图17是图像处理装置502的框图。

从送出装置400以图像位流输出被实施了马赛克处理的高分辨率图像。其中，设与该图像相关的马赛克标志、原马赛克坐标、原马赛克块大小的信息，被图像位流复用而传送。

便携终端500具有：接收部501，其接收从送出装置400发送的高分辨率图像；图像处理部502，其将接收到的高分辨率图像缩小，以便能够由自己终端的显示设备进行显示；和显示器等显示设备503。

图像处理部502具有：输入图像位流并进行解码的解码部102；和将图像缩小到能够由自终端的显示设备显示的分辨率为止，并且，进行再马赛克处理的分辨率变换装置100。分辨率变换装置100与实施例1、实施例2及实施例3所说明的分辨率变换装置100是同样的构成。

根据本实施例6，由于即使对被实施了马赛克处理的高分辨率内容进行分发，也会在接收侧缩小高分辨率的内容、进行再马赛克处理，所以，不需要在送出侧准备不同分辨率的图像。

实施例7

对实施例7进行说明。

在实施例7中，针对将本发明应用于一边记录编辑历史记录、一边进行图像处理的图像处理装置的情况进行说明。

图18是本发明的实施例7中的图像处理装置700的框图。

实施例7所示的图像处理装置700除了实施例1所示的部件之外，还具有对编辑历史记录进行记录的编辑历史记录记录部701。

编辑历史记录记录部701对图像处理的种类、进行了处理的图像区域等进行记录。例如，在对原图像进行了马赛克处理的情况下，将马赛克处理的执行(相当于马赛克标记)、原马赛克区域、原马赛克块大小等作为编辑历史记录进行记录。

作为编辑历史记录，向再马赛克判定装置200供给马赛克标志、原马赛克区域、原马赛克块大小。另外，在马赛克处理之后对原图像进行缩小处理的情况下，提供输入图像的分辨率(rw，rh)和缩小分辨率(dsrw，dsrh)。再马赛克判定装置200根据编辑历史记录判断过去是否对图像实施了马赛克处理，在实施了马赛克处理的情况下，通过与实施例1同样的动作判定是否需要再马赛克，并进行处理。

与实施例1同样，如果从再马赛克判定装置200供给的再赛马赛克标志re_mozaic_flag有效，则马赛克处理装置300对图像的再马赛克区域进行再马赛克块大小下的马赛克处理。

下面，对实施例7中的动作进行如下说明。

步骤1

再马赛克判定装置200判断过去的编辑历史记录中是否有马赛克的图像处理。如果存在马赛克的图像处理则进入步骤2，否则结束处理。

步骤2

再马赛克判定装置200判断后续的图像处理是否是缩小。如果是缩小则进入步骤3，否则结束处理。

步骤3

根据上述公式(2)，计算缩小马赛克块大小ds_msize，如果该ds_msize为阈值msize_th以下，则进入步骤4，否则结束处理。

步骤4

通过上述公式(4)～(8)，计算针对缩小图像的再马赛克块大小msize2，以所述再马赛克块大小msize2对缩小图像进行再马赛克的处理。将进行了再马赛克处理的缩小图像作为缩小的结果而输出。

根据上述本实施例中的图像处理装置，可减轻因缩小引起的马赛克块从视觉上的消失。由此，可实现马赛克原本的对个人隐私进行保护的目的。

另外，在上述的步骤4中，如果对进行马赛克处理之前的图像(马赛克前原图像)进行存储，则也可以对马赛克前的原图像首先进行缩小，然后对缩小后的马赛克前的原图像进行上述再马赛克的处理。

此外，本实施例不限定于图像处理装置，也能够应用于一边存储编辑历史记录一边进行图像处理的图像处理程序。在该情况下，替代上述的各部，如实施例4所述那样，由基于程序工作的CPU进行同样的动作。

Claims (35)

1.一种图像处理装置，具有：

判定机构，其对在给原图像的隐蔽对象所实施的马赛克的马赛克块大小下，是否因缩小原图像而使得马赛克从视觉上消失进行判定；和

再马赛克处理机构，其在利用所述判定机构判定为对所述隐蔽对象所实施的马赛克从视觉上消失了的情况下，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理。

2.一种图像处理装置，具有：

比较机构，其根据被输入的图像的分辨率与缩小分辨率之比、即缩小率，计算缩小分辨率下的隐蔽对象的缩小马赛克块大小，并将所述缩小马赛克块大小与规定阈值进行比较；以及

再马赛克处理机构，其在所述缩小马赛克块大小为所述规定阈值以下时，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述输入图像的隐蔽对象进行再马赛克处理。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述规定阈值是在缩小分辨率的图像中，无法以人眼对所述隐蔽对象进行视觉辨认的马赛克块大小。

4.根据权利要求2或3所述的图像处理装置，其特征在于，

所述规定阈值为2个像素。

5.根据权利要求2～4中任意一项所述的图像处理装置，其特征在于，

再马赛克处理机构以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小进行再马赛克处理。

6.根据权利要求5所述的图像处理装置，其特征在于，

再马赛克处理机构以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像的缩小图像进行再马赛克处理。

7.根据权利要求5所述的图像处理装置，其特征在于，

再马赛克处理机构以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像进行再马赛克处理。

8.根据权利要求2～7中任意一项所述的图像处理装置，其特征在于，

再马赛克处理机构在频率区域上进行再马赛克处理。

9.一种图像传送装置，具有：

比较机构，其根据所输入的图像的分辨率与缩小分辨率之比、即缩小率，计算对缩小分辨率下的图像的隐蔽对象所实施的马赛克的缩小马赛克块大小，并将所述缩小马赛克块大小与规定阈值进行比较；

再马赛克处理机构，其在所述缩小马赛克块大小为所述规定阈值以下时，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理；和

传送机构，其对再马赛克处理后的图像进行编码并传送。

10.一种信息处理终端，具有：

解码机构，其对所接收到的图像数据进行解码；

比较机构，其根据所述解码后的图像分辨率相对原图像的缩小率，计算对所述图像的隐蔽对象所实施马赛克的马赛克块大小，并将所述马赛克块大小与规定阈值进行比较；

再马赛克处理机构，其在所述马赛克块大小为所述规定阈值以下时，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理；和

显示机构，其对再马赛克处理后的图像进行显示。

11.一种图像处理装置的程序，使所述图像处理装置作为以下机构而发挥功能：

判定机构，其对在给原图像的隐蔽对象所实施的马赛克的马赛克块大小下，是否因缩小原图像而使得马赛克从视觉上消失进行判定；和

再马赛克处理机构，其在利用所述判定机构判定为对所述隐蔽对象所实施的马赛克从视觉上消失了的情况下，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理。

12.一种图像处理装置的程序，使所述图像处理装置作为以下机构而发挥功能：

比较机构，其根据所输入的图像的分辨率与缩小分辨率之比、即缩小率，计算对缩小分辨率下的图像的隐蔽对象所实施的马赛克的缩小马赛克块大小，并将所述缩小马赛克块大小与规定阈值进行比较；和

再马赛克处理机构，其在所述缩小马赛克块大小为所述规定阈值以下时，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理。

13.根据权利要求12所述的图像处理装置的程序，其特征在于，

所述规定阈值是在缩小分辨率的图像中，无法以人眼视觉辨认所述隐蔽对象的马赛克块大小。

14.根据权利要求12或13所述的图像处理装置的程序，其特征在于，

所述规定阈值是2个像素。

15.根据权利要求12～14中任意一项所述的图像处理装置的程序，其特征在于，

所述程序使所述再马赛克处理机构发挥下述功能：以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小进行再马赛克处理。

16.根据权利要求15所述的图像处理装置的程序，其特征在于，

所述程序使再马赛克处理机构发挥下述功能：以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像的缩小图像进行再马赛克处理。

17.根据权利要求15所述的图像处理装置的程序，其特征在于，

所述程序使再马赛克处理机构发挥下述功能：以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像进行再马赛克处理。

18.根据权利要求12～17中任意一项所述的图像处理装置的程序，其特征在于，

所述程序使再马赛克处理机构发挥下述功能：在频率区域上进行再马赛克处理。

19.一种马赛克处理方法，具有：

判断在给原图像的隐蔽对象所实施的马赛克的马赛克块大小下，是否因缩小原图像而使得马赛克从视觉上消失的步骤；和

在判定为对所述隐蔽对象所实施的马赛克从视觉上消失了的情况下，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述原图像的隐蔽对象进行再马赛克处理的步骤。

20.一种马赛克处理方法，具有：

根据被输入的图像的分辨率与缩小分辨率之比、即缩小率，计算对缩小分辨率下的图像的隐蔽对象所实施的马赛克的缩小马赛克块大小，并将所述缩小马赛克块大小与规定阈值进行比较的步骤；以及

在所述缩小马赛克块大小为所述规定阈值以下时，以即使因所述原图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对所述输入图像的隐蔽对象进行再马赛克处理的步骤。

21.根据权利要求20所述的马赛克处理方法，其特征在于，

所述规定阈值是在缩小分辨率的图像中，无法以人眼视觉辨认所述隐蔽对象的马赛克块大小。

22.根据权利要求20或21所述的马赛克处理方法，其特征在于，

所述规定阈值是2个像素。

23.根据权利要求20～22中任意一项所述的马赛克处理方法，其特征在于，

再马赛克处理以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小进行再马赛克处理。

24.根据权利要求23所述的马赛克处理方法，其特征在于，

再马赛克处理以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像的缩小图像进行再马赛克处理。

25.根据权利要求23所述的马赛克处理方法，其特征在于，

再马赛克处理以在原图像被缩小的缩小图像中，人眼无法视觉辨认隐蔽对象的大小的再马赛克块大小，对原图像进行再马赛克处理。

26.根据权利要求20～25中任意一项所述的马赛克处理方法，其特征在于，

再马赛克处理在频率区域上进行再马赛克处理。

27.一种图像处理装置，能够存储编辑历史记录，具有：

判断在过去的编辑历史记录中是否有马赛克的图像处理的机构；

在所述过去的编辑历史记录中有马赛克的图像处理，且当所述马赛克的图像处理之后对图像进行缩小时，计算缩小分辨率下的隐蔽对象的缩小马赛克块大小，并比较所述缩小马赛克块大小和规定阈值的机构；以及

在所述缩小马赛克块大小为所述规定阈值以下时，以即使因图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对原图像的隐蔽对象进行再马赛克处理的机构。

28.一种图像处理装置的程序，该图像处理装置能够存储编辑历史记录，所述程序使所述图像处理装置作为以下机构而发挥功能：

判断在过去的编辑历史记录中是否有马赛克的图像处理的机构；

在所述过去的编辑历史记录中有马赛克的图像处理，且当所述马赛克的图像处理之后对图像进行缩小时，计算缩小分辨率下的隐蔽对象的缩小马赛克块大小，并比较所述缩小马赛克块大小和规定阈值的机构；以及

在所述缩小马赛克块大小为所述规定阈值以下时，以即使因图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对原图像的隐蔽对象进行再马赛克处理的机构。

29.一种图像处理方法，一边存储编辑历史记录一边进行图像处理，具有：判断在过去的编辑历史记录中是否有马赛克的图像处理的步骤；

当在所述过去的编辑历史记录中有马赛克的图像处理，且在所述马赛克的图像处理之后对图像进行缩小时，计算缩小分辨率下的隐蔽对象的缩小马赛克块大小，并比较所述缩小马赛克块大小和规定阈值的步骤；以及

在所述缩小马赛克块大小为所述规定阈值以下时，以即使因图像的缩小，马赛克也不会从视觉上消失的再马赛克块大小，对原图像的隐蔽对象进行再马赛克处理的步骤。

30.一种图像处理装置，具有对被实施了马赛克的图像的隐蔽对象再次进行马赛克处理的再马赛克处理机构。

31.一种图像处理装置，具有对被实施了马赛克的图像的隐蔽对象，以无法视觉辨认所述隐蔽对象的大小的马赛克块大小，再次进行马赛克处理的再马赛克处理机构。

32.一种图像处理装置的程序，所述程序使所述图像处理装置作为对被实施了马赛克的图像的隐蔽对象，再次进行马赛克处理的再马赛克处理机构而发挥功能。

33.一种图像处理装置的程序，所述程序使所述图像处理装置作为对被实施了马赛克的图像的隐蔽对象，以无法视觉辨认所述隐蔽对象的大小的马赛克块大小，再次进行马赛克处理的再马赛克处理机构而发挥功能。

34.一种图像处理方法，对被实施了马赛克的图像的隐蔽对象再次进行马赛克处理。

35.一种图像处理方法，对被实施了马赛克的图像的隐蔽对象，以无法视觉辨认所述隐蔽对象的大小的马赛克块大小再次进行马赛克处理。

Images