CN102780882B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN102780882B
CN102780882B CN201210149476.2A CN201210149476A CN102780882B CN 102780882 B CN102780882 B CN 102780882B CN 201210149476 A CN201210149476 A CN 201210149476A CN 102780882 B CN102780882 B CN 102780882B
Authority
CN
China
Prior art keywords
specific region
frame
evaluation
estimate
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210149476.2A
Other languages
English (en)
Other versions
CN102780882A (zh
Inventor
五十岚进
大川浩司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102780882A publication Critical patent/CN102780882A/zh
Application granted granted Critical
Publication of CN102780882B publication Critical patent/CN102780882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图像处理设备和图像处理方法。从关注帧的图像中提取拍摄有特定被摄体的区域作为特定区域,并且使用预定评价公式来获得特定区域的评价值。判断关注帧之前的帧中的特定区域的评价值是否超过预定阈值。当判断为特定区域的评价值超过预定阈值时,对关注帧进行编码,以将关注帧的图像中的特定区域的编码量设置成小于关注帧之前的帧的图像中的特定区域的编码量。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种图像处理设备和图像处理方法,尤其涉及编码技术。
背景技术
使用图像信号编码技术来传输、累积和重放运动图像。在这些技术中,诸如ISO/IEC国际标准14496-2(MPEG-4Visual)等的国际标准化编码方法被已知为运动图像编码技术。其它国际标准化编码方法有由ITU-T和ISO/IEC定义的H.264。在该规范中,将ITU-T Rec.H.264高级视频编码|ISO/IEC国际标准14496-10(MPEG-4AVC)简称为H.264。
这些技术还被用于摄像机和记录器等领域,而且近年来尤其被积极应用于监视摄像机(以下称为监视照相机)。在应用于监视照相机中,由于需要长时间记录,所以通常以相对低的比特率对运动图像进行编码以抑制编码数据的大小。然而,低比特率编码丢失了大量信息且使图像质量劣化,并且监视照相机不能实现诸如指定人面部等的本来用途。
为了防止这些问题,通常采用这样一种技术,该技术不是均匀地对整个帧进行编码,而是检测诸如人面部等的重要区域作为特定区域以将帧分成特定区域和非特定区域。该技术对运动图像进行编码以抑制非特定区域中的编码量,并且防止特定区域的图像质量的劣化。
然而,该技术存在的问题是:当在帧中存在多个特定区域时,如果向所有特定区域都分配大的编码量,则整个帧的编码量增大而且超过目标值。该技术存在的问题还有:如果向所有特定区域平均地分配编码量以使得整个帧的编码量不超过目标值,则特定区域不能获得用于指定人物等的图像质量。
提出了通过控制向各特定区域分配编码量来解决这些问题的技术。传统技术的例子有专利文献1(日本特开2010-193441)。在专利文献1中,当特定区域与整个输入图像的面积比相对高时,使要向特定区域分配的编码量增大的程度降低。当特定区域与整个输入图像的面积比相对低时,使要向特定区域分配的编码量增大的程度增加。该技术可以可靠地创建能够清晰地重放拍摄得较小的面部的压缩数据。对于拍摄得较大的面部,即使几乎不减小压缩率,也可以维持足以识别面部的高的图像质量。
然而,在该传统技术中,即使当特定区域与整个输入图像的面积比低时,如果存在许多特定区域,也可能无法获得期望的图像质量。根据特定区域与整个输入图像的面积比来控制要分配的编码量。例如,当被摄体面朝着侧面时,不能判别拍摄得较小的面部。
发明内容
做出本发明以解决上述问题,并且本发明提供一种即使在整个图像中存在许多特定区域时,也能够在不增大该图像的编码量的情况下针对特定区域获得期望的图像质量的编码技术。
根据本发明的第一方面,一种图像处理设备,用于对形成运动图像的各个帧进行编码,所述图像处理设备包括:提取单元,用于从关注帧的图像中提取拍摄有特定被摄体的区域作为特定区域;评价单元,用于使用预定评价公式来获得所述特定区域的评价值;判断单元,用于判断从所述关注帧之前的帧到所述关注帧的各个帧中的所述特定区域的评价值是否超过预定阈值;以及编码单元,用于当所述判断单元判断为所述特定区域的评价值超过所述预定阈值时,对所述关注帧进行编码,以将所述关注帧的图像中的所述特定区域的编码量设置成小于所述关注帧之前的帧的图像中的所述特定区域的编码量。
根据本发明的第二方面,一种图像处理方法,其由用于对形成运动图像的各个帧进行编码的图像处理设备来执行,所述图像处理方法包括以下步骤:提取步骤,用于从关注帧的图像中提取拍摄有特定被摄体的区域作为特定区域;评价步骤,用于使用预定评价公式来获得所述特定区域的评价值;判断步骤,用于判断从所述关注帧之前的帧到所述关注帧的各个帧中的所述特定区域的评价值是否超过预定阈值;以及编码步骤,用于当在所述判断步骤中判断为所述特定区域的评价值超过所述预定阈值时,对所述关注帧进行编码,以将所述关注帧的图像中的所述特定区域的编码量设置成小于所述关注帧之前的帧的图像中的所述特定区域的编码量。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得清楚。
附图说明
图1是示例性说明图像处理设备的功能结构的框图;
图2是示出图像处理设备要进行的处理的流程图;
图3是示出图像处理设备要进行的处理的流程图;
图4是示例性说明图像处理设备的功能结构的框图;
图5是示出图像处理设备要进行的处理的流程图;
图6是示出图像处理设备要进行的处理的流程图;以及
图7是示例性说明编码处理的图。
具体实施方式
将参考附图说明本发明的实施例。注意,下面的实施例仅是用于具体实现本发明的例子,并且是所附权利要求书的范围所定义的结构的详细例子。
第一实施例
第一实施例说明对形成运动图像的各个帧进行编码的图像处理设备。首先,参考图1的框图说明根据第一实施例的图像处理设备的功能结构。
将形成运动图像的各个帧的图像顺次输入给检测单元101和编码单元105。
检测单元101从输入帧的图像(关注帧的图像)检测(提取)拍摄了特定被摄体的区域作为特定区域。对于所检测到的特定区域,检测单元101生成包括图像中特定区域的位置以及特定区域的大小和标识符的特定区域信息。例如,当检测单元101从图像中检测到特定区域1、特定区域2、……、特定区域P时,检测单元101输出(图像中特定区域1的位置、特定区域1的大小和标识符=1)作为特定区域1的特定区域信息。作为特定区域P的特定区域信息,检测单元101输出(图像中特定区域P的位置、特定区域P的大小和标识符=P)。这样,检测单元101针对从图像中所检测到的各特定区域生成特定区域信息。检测单元101针对每一帧都进行该处理。注意,特定区域信息是任意的,只要其可以唯一指定图像中的各特定区域即可。
通过使用预定评价公式,评价单元102计算从关注帧的图像中所检测到的特定区域的评价值。当从图像中检测到多个特定区域时,评价单元102针对每一特定区域计算评价值。
判断单元103判断在从比关注帧提前了N(N为自然数)个帧的帧到关注帧的所有帧中,是否存在评价值超过阈值的特定区域。当从图像中检测到多个特定区域时,判断单元103针对每一特定区域进行该判断。
控制单元104对于关注帧的图像中的特定区域和非特定区域分别设置编码参数。特别地,控制单元104针对在从比关注帧提前了N个帧的帧到关注帧的各个帧中被判断为评价值超过阈值的特定区域设置如下编码参数。更具体地,控制单元104针对关注帧的图像中的特定区域设置编码参数,以使得关注帧的图像中的特定区域的编码量小于关注帧之前的帧的图像中的该特定区域的编码量。作为编码参数的例子,本实施例运用量化步长。除编码参数的设置以外,控制单元104还控制整个图像处理设备的操作。
编码单元105使用控制单元104针对各个区域所设置的量化步长,对关注帧的图像中的特定区域和非特定区域进行编码。编码单元105输出编码结果,作为关注帧的图像的编码结果。
参考图2和3的流程图说明图1所示的各个单元的操作。在步骤S100,控制单元104将随后处理中所使用的变量F()初始化成0。F()是阵列变量。在这种情况下,将F()初始化成F(1)=F(2)=...=F(Q)=0(Q是足够大的给定值)。
在步骤S101,检测单元101和编码单元105获取输入给图像处理设备的关注帧的图像。
在步骤S102,检测单元101从关注帧的图像检测拍摄了特定被摄体的区域作为特定区域。对于所检测到的特定区域,检测单元101生成包括图像中特定区域的位置以及特定区域的大小和标识符的特定区域信息。对于在检测时发布了标识符的特定区域,检测单元101在所有帧中保持跟踪该特定区域,并且发布相同的标识符。注意,“特定被摄体”没有特别限制,并且可以是任何对象,只要根据使用情况预先将其设置为重要被摄体即可,诸如人面部、人体、动物面部或汽车牌照等。
在步骤S103,控制单元104在下面所使用的变量M中设置检测单元101从关注帧的图像中所检测到的特定区域的数量。特定区域的数量等于针对检测单元101从关注帧的图像中所检测到的各个特定区域所发布的标识符中的最大值。
在步骤S104,控制单元104将随后处理中所使用的变量i初始化成1。
在步骤S105,评价单元102通过使用预定评价公式,计算具有标识符=i的特定区域(称为特定区域i)的评价值Ve(i)。将参考图3的流程图详细说明步骤S105的处理。
在步骤S1051,评价单元102在变量A中设置包含在特定区域i的特定区域信息中的特定区域i的大小。由于编码单元105将图像分成多个像素块并且对这些像素块进行编码,所以特定区域i的大小意为特定区域i中所包含的像素块的数量。注意,可以根据关注帧的图像或者关注帧之前的帧的图像来生成这里所使用的特定区域i的特定区域信息。
在步骤S1052,评价单元102在变量D中设置与在关注帧(或者关注帧之前的帧)的图像内的特定区域i中所拍摄的被摄体的方向相对应的值。例如,当被摄体面部正面朝前时,在变量D中设置10,当被摄体面部正对着侧面时,在变量D中设置5,以及当被摄体面部朝着正后方时,在变量D中设置0。对于其它方向,根据方向的程度在变量D中设置这些值之间的中间值。可以通过众所周知的图像识别技术来获得图像中的被摄体的方向,因此省略对其的详细说明。
在步骤S1053,评价单元102在变量BD中设置与从关注帧之前的帧的特定区域i的编码结果所获得的特定区域i的块失真相对应的值。例如,当不存在块失真时,在变量BD中设置0,以及失真变得越大,则在变量BD中设置越大的值。例如,在使用当前所设置的编码参数对关注帧的图像进行编码然后进行解码之后,可以从编码之前的像素块和解码之后的像素块来获得块失真。该方法没有特别限制。
在步骤S1054,评价单元102通过使用在步骤S1051~S1053确定了值的变量A、D和BD来求解下面的公式,来获得针对特定区域i的评价值Ve(i)。
Ve=Ca·A×Cd·D/Cbd·(BD+1)
其中,Ca、Cd和Cbd是预定加权系数。对于各加权系数预先设置0以上的任意值。该计算可以提供针对特定区域i的评价值Ve(i)。注意,评价值计算方法和计算评价值所使用的参数不局限于以上所述的方法和参数。
返回参考图2,在步骤S106,判断单元103判断在从比关注帧提前了N(N为自然数)个帧的帧到关注帧为止的各个帧中,评价值Ve(i)是否超过了预定阈值。N是预定值。
如果判断单元103判断为评价值Ve(i)超过了阈值,则处理进入步骤S107;如果为“否”,则进入步骤S108。在步骤S107,在针对特定区域i的变量F(i)中设置1。
在步骤S108,控制单元104判断是否针对步骤S102所检测到的所有特定区域都进行了步骤S105、S106和S107的处理,即判断变量i的值是否等于变量M的值。如果控制单元104判断为i=M,则处理进入步骤S110;如果i<M,则进入步骤S 109。
在步骤S109,控制单元104将变量i的值递增1。然后,处理返回到步骤S105以对未处理的特定区域进行随后的处理。
在步骤S110,控制单元104针对关注帧的图像中的特定区域和非特定区域设置编码参数。针对特定区域所设置的编码参数根据将1和0中哪一个设置为特定区域的变量F()的值而改变。
在针对特定区域i设置编码参数时,首先参考变量F(i)的值。在F(i)=1的情况下,设置编码参数以使得关注帧的特定区域i的编码量小于关注帧之前的帧的图像中的特定区域i的编码量。本实施例使用量化步长作为编码参数。在这种情况下,可以改变量化步长以使其大于针对F(i)=0的特定区域i所设置的量化步长、或者大于针对特定区域i所设置的前一量化步长。因此,除非将F()初始化成0,否则对F()变为1的特定区域的编码量进行抑制。
相反,在F(i)=0的情况下,设置编码参数以使得关注帧的特定区域i的编码量大于关注帧之前的帧的图像中的特定区域i的编码量。本实施例使用量化步长作为编码参数。在这种情况下,可以改变量化步长以使其小于针对特定区域i所初始设置的量化步长、或者小于针对特定区域i所设置的前一量化步长。在F(i)=0的情况下,为了降低总编码量,编码参数可以根据期望保持不变。
对于非特定区域,设置至少比F(i)=0的情况下所设置的量化步长大的量化步长。
在步骤S111,编码单元105通过使用控制单元104对各个区域所设置的编码参数来对关注帧的图像中的特定区域和非特定区域进行编码,从而对关注帧的图像进行编码。编码单元105输出编码结果作为编码流。输出目的地没有特别限制,并且可以将编码流输出至由图像处理设备或者外部设备所管理的存储器,或者经由网络传送至外部设备。
在步骤S112,控制单元104判断是否对输入给图像处理设备的所有帧都进行了步骤S101~S111的处理。如果控制单元104判断为对所有帧都进行了步骤S101~S111的处理,则结束该处理。如果存在没有经过步骤S101~S111的处理的帧,则处理进入步骤S101以对该帧进行随后的处理。
通过以从关注帧的图像中检测到两个特定区域(特定区域1和特定区域2)的情况为例,将参考图7示例性说明上述编码处理。在图7中,将阈值设置为10。
从在时刻T0和时刻T1之间的时间段(时间段01)所输入的各帧中检测到特定区域1和特定区域2,并且将这两个特定区域的大小保持为5。因此,在时间段01,在针对各个特定区域的变量A中设置5。在时间段01,各个特定区域的被摄体方向保持为侧向。在时间段01,在针对各个特定区域的变量D中设置相应值5。在时间段01,特定区域1和特定区域2中的块失真分别为7和8。在时间段01,在针对各个特定区域的变量BD中设置7和8。
当预先将所有加权系数Ca、Cd和Cbd设置成1时,根据下面的公式计算针对特定区域1的评价值Ve(1)和针对特定区域2的评价值Ve(2):
Ve(1)=Ca·A×Cd·D/Cbd·(BD+1)
=1·5×1·5/1·(7+1)
=3.13
Ve(2)=Ca·A×Cd·D/Cbd·(BD+1)
=1·5×1·5/1·(8+1)
=2.78
这样,在时间段01,特定区域1和特定区域2的评价值保持为并未超过阈值的值。因此,量化步长在时间段01不会改变。
在时刻T1,特定区域1的大小从5改变成10。由于非特定区域的面积相对减小,所以分配给非特定区域的编码量降低。另外,由于特定区域1的大小改变,所以评价值Ve(1)从3.13改变成6.25。相反,Ve(2)没有从2.78改变。在随后的时刻T1和时刻T2之间的时间段(时间段12),特定区域1和特定区域2的评价值既不改变,也没有超过阈值。因此,量化步长在时间段12不会改变。
在时刻T2,特定区域1中的被摄体面部正面朝前,并且变量D的值从5改变成10。据此,评价值Ve(1)从6.25改变成12.5,并且超过阈值。相反,Ve(2)没有从2.78改变。在随后的时刻T2和时刻T3之间的时间段(时间段23),评价值Ve(1)超过阈值,但是时间段23的持续时间不会超过N。另外,特定区域2的评价值既不改变也没有超过阈值。因此,量化步长在时间段23不会改变。
在时刻T3,特定区域1的评价值Ve(1)在N个连续帧中超过了阈值。在这种情况下,在针对特定区域1的变量F(1)中设置1。此时,F(2)=0,因此将针对特定区域1的量化步长设置得较大。在随后的时刻T3和时刻T4之间的时间段(时间段34),由于针对特定区域1的量化步长被设置得较大,所以针对特定区域1的块失真从7改变成17。因此,评价值Ve(1)从12.5改变成5.56。随着针对特定区域1的量化步长的增大,分配给特定区域1的编码量预期降低。控制单元104进行控制以减小特定区域2的量化步长。通过该控制,针对特定区域2的块失真从8改变成2。因此,评价值Ve(2)从2.78改变成8.33。由于特定区域1和特定区域2的量化步长已改变,所以分配给特定区域1的编码量降低,并且分配给特定区域2的编码量增大。在随后的直到时刻T4的时间段,评价值Ve(2)不会超过阈值,并且量化步长不会改变。
在时刻T4,特定区域1中的被摄体从面部正面朝前转向朝侧方,变量D的值从10改变成5。因此评价值Ve(1)从5.56改变成2.78。相反,评价值Ve(2)没有从8.33改变。在随后的时刻T4和时刻T5之间的时间段(时间段45),评价值Ve(2)不会超过阈值,并且量化步长不会改变。
第二实施例
将参考图4的框图说明根据第二实施例的图像处理设备的功能结构。注意,图4中的检测单元201、判断单元203、控制单元204和编码单元205进行与图1所示的检测单元101、判断单元103、控制单元104和编码单元105的操作相同的操作,并且不再重复对这些单元的说明。将主要说明不同于图1的构件。
评价单元202使用预定评价公式和通过重要度确定单元206所获得的特定区域的重要度,计算从关注帧的图像中所检测到的特定区域的评价值。当从图像中检测到多个特定区域时,评价单元202针对各个特定区域计算评价值。
重要度确定单元206通过将特定区域中的被摄体和与数据库210中所保持的许多被摄体有关的信息进行比较,来确定从关注帧的图像中所检测到的特定区域的重要度。当从图像中检测到多个特定区域时,重要度确定单元206计算每一特定区域的重要度。
将参考图5和6的流程图说明图4所示的各个单元的操作。注意,图5所示的步骤S200~S204和S207~S213与图2所示的步骤S100~S104和S106~S112是相同的处理步骤,并且不再重复对这些步骤的说明。
在步骤S205,重要度确定单元206通过将表示特定区域i中的被摄体的被摄体信息和与登记在数据库210中的各种被摄体有关的被摄体信息进行比较,来确定特定区域i内的被摄体的重要度P(i)。
例如,对于各被摄体图像,预先将表示被摄体的重要度的重要度信息相互关联地登记在数据库210中。重要度确定单元206从登记在数据库210中的各个被摄体图像中指定与特定区域i中的被摄体图像的相似度最高的图像,并且读出与该指定图像相关联地登记在数据库210中的重要度信息。重要度确定单元206在P(i)中设置由所读出的重要度信息所表示的重要度。不用说,用于确定重要度P(i)的方法不局限于此。
在步骤S206,评价单元202使用预定评价公式和步骤S205所获得的重要度P(i),来计算特定区域i的评价值Ve(i)。将参考图6的流程图详细说明步骤S206的处理。注意,图6所示的步骤S2061~S2063是与图3的步骤S1051~S1053相同的处理步骤,并且不再重复对这些步骤的说明。
在步骤S2064,评价单元202将步骤S205所获得的重要度P(i)设置在变量Cp中。
在步骤S2065,评价单元202通过使用在步骤S2061~S2064确定了值的变量A、D、BD和Cp求解下面的公式,来获得针对特定区域i的评价值Ve(i)。
Ve=Ca·A×Cd·D/Cbd·(BD+1)·Cp
其中,Ca、Cd和Cbd是预定加权系数。对于各加权系数预先设置0以上的任意值。由于对于越高的重要度P(i)所计算的评价值Ve(i)越小,所以倾向于向更重要的特定区域分配较大的编码量。该计算可以提供针对特定区域i的评价值Ve(i)。注意,评价值计算方法和计算评价值所使用的参数不局限于以上所述的方法和参数。
如上所述,向已被编码为具有较大评价值(例如,高到足以指定人物的水平)的特定区域分配较大的量化步长,并且向其余区域分配较大的编码量。结果,可以将其余区域编码为具有较大的评价值。
在第一和第二实施例中,当在特定帧中将变量F()设置成“1”时,变量F()在随后的帧中保持“1”。然而,可以适当将变量F()初始化成“0”。例如,可以根据检测单元101(201)的特定区域跟踪功能的性能,每L(L是自然数)个帧地周期性初始化变量F()。当已知跟踪功能的性能不太高时,通过设置较小的L值,可以降低由错误特定区域跟踪结果所引起的风险。
即使对于变量F()为“1”的特定区域,也可以保持变量F()变为“1”时所获得的大小A和面部方向D的值。在这种情况下,当A和D变得大于这些值时,将变量F()初始化成0。这可以保留具有较大的评价值的结果。
第一和第二实施例使用量化步长作为编码参数的例子。可选地,可以使用任意参数作为编码参数,只要该参数可以控制编码量即可,诸如量化缩放值或量化表选择编号等。
第一和第二实施例没有特别说明要使用的编码技术。然而,本发明使用诸如H.264或MPEG-2等的具有用于根据帧内的位置来控制编码量的编码参数的编码方法。
第一和第二实施例各自所述的图像处理设备不仅可用作实时编码器,还可用作在对以高图像质量临时编码的数据进行解码然后适当对其进行再次编码时所使用的再编码器。
第三实施例
尽管可以通过硬件组件实现图1或图4所示的各个单元,但还可以通过数据文件来实现数据库210并且还可以通过软件组件(计算机程序)来实现除数据库210以外的各单元。在这种情况下,包括数据库210的计算机和用于保持这些软件组件的存储装置(例如,硬盘)可以用作根据第一和第二实施例中的每一个的图像处理设备。更具体地,计算机通过利用计算机的CPU读出软件组件(如果需要,甚至从数据库210读出数据)并且执行处理来实现图1或图4所示的各个单元的功能。该计算机可以由一个设备构成或者由两个以上的设备构成。
产业上的可利用性
根据上述实施例,即使在帧中存在人面部等的许多重要区域时,也可以抑制整个帧的编码量,并且可以对该帧进行编码以容易地识别各区域中的诸如人面部等的重要被摄体。本发明可有利地适用于监视目的用的摄像机等。
其它实施例
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的各方面,其中,系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。为此,例如,通过网络或者通过用作存储器装置的各种类型的记录介质(例如,计算机可读介质)将该程序提供给计算机。
尽管参考典型实施例说明了本发明,但是应该理解,本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有修改、等同结构和功能。

Claims (7)

1.一种图像处理设备,用于对形成运动图像的各个帧进行编码,其特征在于,所述图像处理设备包括:
提取单元,用于检测帧中的特定被摄体并且基于所检测出的特定被摄体在所述帧中的位置从所述帧中提取特定区域;
评价单元,用于使用预定评价公式来获得所述特定区域的评价值;
判断单元,用于判断关注帧之前的预定数量的前帧中的所述特定区域的评价值是否超过预定阈值,其中所述预定数量的前帧中的所述特定区域与所述关注帧中的所述特定区域相对应;以及
编码单元,用于当所述判断单元判断为所述特定区域的评价值超过所述预定阈值时,对所述关注帧进行编码,以使得所述关注帧中的所述特定区域的编码量小于判断为所述特定区域的评价值未超过所述预定阈值的情况下所述关注帧中的所述特定区域的编码量。
2.根据权利要求1所述的图像处理设备,其特征在于,当所述判断单元判断为所述特定区域的评价值没有超过所述预定阈值时,所述编码单元对所述关注帧进行编码,以使得所述关注帧中的所述特定区域的编码量大于所述前帧中的所述特定区域的编码量。
3.根据权利要求1所述的图像处理设备,其特征在于,所述评价单元使用如下的评价公式来获得所述特定区域的评价值,其中,该评价公式使所述评价值随着所述特定区域的大小的增大而增大。
4.根据权利要求1所述的图像处理设备,其特征在于,所述评价单元使用如下的评价公式来获得所述特定区域的评价值,其中,该评价公式使所述评价值随着所述特定被摄体越来越接近正面向前而增大。
5.根据权利要求1所述的图像处理设备,其特征在于,所述评价单元使用如下的评价公式来获得所述特定区域的评价值,其中,该评价公式使所述评价值随着所述特定区域的块失真的增大而增大。
6.根据权利要求1所述的图像处理设备,其特征在于,所述评价单元从保持用于表示各被摄体的重要度的重要度信息的数据库中,获取与所述特定被摄体的相似度最高的被摄体的重要度信息,并且使用如下的评价公式来获得所述特定区域的评价值,其中,该评价公式使所述评价值随着所获取的重要度信息所表示的重要度的增大而降低。
7.一种图像处理方法,其由用于对形成运动图像的各个帧进行编码的图像处理设备来执行,其特征在于,所述图像处理方法包括以下步骤:
提取步骤,用于检测帧中的特定被摄体并且基于所检测出的特定被摄体在所述帧中的位置从所述帧中提取特定区域;
评价步骤,用于使用预定评价公式来获得所述特定区域的评价值;
判断步骤,用于判断关注帧之前的预定数量的前帧中的所述特定区域的评价值是否超过预定阈值,其中所述预定数量的前帧中的所述特定区域与所述关注帧中的所述特定区域相对应;以及
编码步骤,用于当在所述判断步骤中判断为所述特定区域的评价值超过所述预定阈值时,对所述关注帧进行编码,以使得所述关注帧中的所述特定区域的编码量小于判断为所述特定区域的评价值未超过所述预定阈值的情况下所述关注帧中的所述特定区域的编码量。
CN201210149476.2A 2011-05-12 2012-05-14 图像处理设备和图像处理方法 Active CN102780882B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-107636 2011-05-12
JP2011107636A JP6016332B2 (ja) 2011-05-12 2011-05-12 画像処理装置、画像処理方法

Publications (2)

Publication Number Publication Date
CN102780882A CN102780882A (zh) 2012-11-14
CN102780882B true CN102780882B (zh) 2015-10-21

Family

ID=47125626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210149476.2A Active CN102780882B (zh) 2011-05-12 2012-05-14 图像处理设备和图像处理方法

Country Status (3)

Country Link
US (1) US9066101B2 (zh)
JP (1) JP6016332B2 (zh)
CN (1) CN102780882B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114923581A (zh) * 2012-12-27 2022-08-19 杭州美盛红外光电技术有限公司 红外挑选装置和红外挑选方法
WO2014101804A1 (zh) * 2012-12-27 2014-07-03 Wang Hao 热像选择装置和热像选择方法
US20160005156A1 (en) * 2012-12-27 2016-01-07 Hao Wang Infrared selecting device and method
CN103900710A (zh) * 2012-12-27 2014-07-02 杭州美盛红外光电技术有限公司 热像挑选装置和热像挑选方法
CN103900713A (zh) * 2012-12-27 2014-07-02 杭州美盛红外光电技术有限公司 热像检测装置和热像检测方法
CN107770528B (zh) * 2016-08-19 2023-08-25 中兴通讯股份有限公司 视频播放方法及装置
JP6942959B2 (ja) * 2016-12-01 2021-09-29 沖電気工業株式会社 画像処理システム
JP6606530B2 (ja) * 2017-06-20 2019-11-13 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、監視システム
US20190002234A1 (en) 2017-06-29 2019-01-03 Canon Kabushiki Kaisha Elevator control apparatus and elevator control method
CN109698957B (zh) * 2017-10-24 2022-03-29 腾讯科技(深圳)有限公司 图像编码方法、装置、计算设备及存储介质
US20240333928A1 (en) * 2021-09-30 2024-10-03 Nec Corporation Information processing system, information processing method, and information processing apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304606B1 (en) * 1992-09-16 2001-10-16 Fujitsu Limited Image data coding and restoring method and apparatus for coding and restoring the same

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3187097B2 (ja) * 1991-10-17 2001-07-11 株式会社東芝 動画像符号化における符号量配分方法とこれを用いた動画像符号化方法及び装置
EP0717554B1 (en) 1994-12-16 2001-06-06 Canon Kabushiki Kaisha Coding/decoding apparatus and coding/decoding method
JP4453175B2 (ja) * 2000-08-25 2010-04-21 ソニー株式会社 受信装置、及び、受信方法
JP4449206B2 (ja) * 2000-11-14 2010-04-14 ソニー株式会社 階層変調放送受信装置及び階層変調放送受信方法
EP1217843B1 (en) 2000-12-19 2012-11-28 Canon Kabushiki Kaisha Image processing method, apparatus, and storage medium
US6603413B2 (en) 2001-02-07 2003-08-05 Canon Kabushiki Kaisha Variable-length decoding apparatus and method
JP3977087B2 (ja) 2001-02-13 2007-09-19 キヤノン株式会社 画像符号化装置、方法及びプログラム
JP2002261623A (ja) 2001-02-28 2002-09-13 Canon Inc 復号装置、復号方法、記憶媒体及びプログラムソフトウェア
JP3984877B2 (ja) 2001-10-05 2007-10-03 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2005109606A (ja) * 2003-09-29 2005-04-21 Sony Corp 信号処理方法、信号処理装置、記録装置、再生装置
JP4375143B2 (ja) * 2004-07-06 2009-12-02 株式会社日立製作所 動画像符号化装置
JP4241562B2 (ja) * 2004-09-29 2009-03-18 三洋電機株式会社 画像圧縮装置
JP2006332882A (ja) * 2005-05-24 2006-12-07 Mitsubishi Electric Corp 動画像符号化装置
JP2007036615A (ja) * 2005-07-26 2007-02-08 Matsushita Electric Ind Co Ltd カメラ制御装置及び監視システム
JP4993676B2 (ja) * 2006-09-01 2012-08-08 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP4804378B2 (ja) * 2007-02-19 2011-11-02 パナソニック株式会社 映像表示装置及び映像表示方法
JP2008245237A (ja) * 2007-02-28 2008-10-09 Sanyo Electric Co Ltd 画像処理方法、画像処理装置およびそれを用いた撮像装置
JP2008243095A (ja) * 2007-03-29 2008-10-09 Toshiba Corp 顔検出システム、および顔検出方法
JP2009049979A (ja) * 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP4981571B2 (ja) * 2007-07-27 2012-07-25 パナソニック株式会社 画像センシング装置および画像センシングシステム
JP4958713B2 (ja) * 2007-10-04 2012-06-20 キヤノン株式会社 動画像符号化装置及びその制御方法
JP4970239B2 (ja) * 2007-12-27 2012-07-04 セコム株式会社 複合型侵入検知装置
JP5285632B2 (ja) * 2009-01-26 2013-09-11 パナソニック株式会社 動画像処理装置、動画像処理方法および撮像装置
JP2010200056A (ja) * 2009-02-26 2010-09-09 Hitachi Ltd 記録再生装置
JP5178662B2 (ja) * 2009-07-31 2013-04-10 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP2011087090A (ja) * 2009-10-14 2011-04-28 Panasonic Corp 画像処理方法、画像処理装置、及び撮像システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304606B1 (en) * 1992-09-16 2001-10-16 Fujitsu Limited Image data coding and restoring method and apparatus for coding and restoring the same

Also Published As

Publication number Publication date
US9066101B2 (en) 2015-06-23
CN102780882A (zh) 2012-11-14
JP6016332B2 (ja) 2016-10-26
JP2012239085A (ja) 2012-12-06
US20120288204A1 (en) 2012-11-15

Similar Documents

Publication Publication Date Title
CN102780882B (zh) 图像处理设备和图像处理方法
US8811661B2 (en) Monitoring camera system, monitoring camera, and monitoring camera control apparatus
US8558903B2 (en) Accelerometer / gyro-facilitated video stabilization
US20090154565A1 (en) Video data compression method, medium, and system
TWI539407B (zh) 移動物體偵測方法及移動物體偵測裝置
Su et al. Detection of double-compression in MPEG-2 videos
KR102261669B1 (ko) 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
WO2017096824A1 (zh) 用于运动视频的码率控制方法及装置
CN111131825A (zh) 一种视频处理方法及相关装置
US20190158885A1 (en) Intelligent compression of grainy video content
WO2011045875A1 (ja) 画像処理方法、画像処理装置、及び撮像システム
KR20230040287A (ko) 영상정보의 비트스트림정보에 기반하여 객체의 낙상이벤트를 감지하는 방법 및 시스템
TW201535324A (zh) 移動物體偵測方法及其裝置
EP2950529B1 (en) Video image storage method and apparatus
Bakas et al. Mpeg double compression based intra-frame video forgery detection using cnn
Aliouat et al. An efficient low complexity region-of-interest detection for video coding in wireless visual surveillance
WO2012027891A1 (en) Video analytics for security systems and methods
KR20040037104A (ko) 비디오 비트스트림에서의 씬 컷 검출
US20120314956A1 (en) Image processing apparatus and image processing method
Szczerba et al. Fast compressed domain motion detection in H. 264 video streams for video surveillance applications
Kong et al. Temporal-fluctuation-reduced video encoding for object detection in wireless surveillance systems
KR101420504B1 (ko) Cctv용 영상저장장치 및 이를 이용한 영상저장방법
CN112165619A (zh) 一种面向监控视频压缩存储的方法
US10003826B2 (en) Method of reducing noise of video signal
KR102557904B1 (ko) 동적프레임이 존재하는 구간의 검출방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant