CN109587480B - 图像处理设备、图像处理方法和记录介质 - Google Patents

图像处理设备、图像处理方法和记录介质 Download PDF

Info

Publication number
CN109587480B
CN109587480B CN201811138852.1A CN201811138852A CN109587480B CN 109587480 B CN109587480 B CN 109587480B CN 201811138852 A CN201811138852 A CN 201811138852A CN 109587480 B CN109587480 B CN 109587480B
Authority
CN
China
Prior art keywords
moving object
image
region
image frame
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811138852.1A
Other languages
English (en)
Other versions
CN109587480A (zh
Inventor
米沢恵子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109587480A publication Critical patent/CN109587480A/zh
Application granted granted Critical
Publication of CN109587480B publication Critical patent/CN109587480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种图像处理设备、图像处理方法和记录介质。图像获取单元获取摄像单元所拍摄到的运动图像的图像帧。运动物体检测单元进行用于从图像获取单元所获取到的图像帧中检测运动物体的运动物体检测处理。编码单元基于运动物体检测单元所进行的运动物体检测处理的结果来对图像获取单元所获取到的图像帧进行编码。编码单元通过使用编码控制或编码参数来对改变区域进行编码，该改变区域是从要编码的图像帧的先前图像帧中的基于运动物体检测处理的结果所获得的运动物体区域改变为要编码的图像帧中的非运动物体区域的区域，其中对改变区域进行编码所使用的编码控制或编码参数与用于其它非运动物体区域的编码控制或编码参数不同。

Description

图像处理设备、图像处理方法和记录介质
技术领域
本发明涉及图像处理技术。
背景技术
近年来，随着智能电话和数字摄像机已经普及，拍摄图像并生成图像数据的机会不断增加。然而，对于用于记录数据的存储容量以及发送和接收数据时的通信带宽存在限制。因此，期望用于对图像数据进行高效压缩的技术。已知被称为H.264/AVC的标准作为图像压缩的方法。另外，被称为H.265/HEVC的标准已开始广泛使用。
在图像编码技术中，规定了诸如量化参数等的参数以调整图像质量。期望通过使用这些参数,在防止图像质量的劣化的同时使数据量最少。
日本特开2010-130558论述了以下方法，该方法用于针对各宏块计算运动矢量，基于运动矢量的值来检测运动区域和静止区域之间的运动边界区域，并且设置运动边界区域的量化参数。此外，日本特开2008-219147论述了基于宏块的诸如运动特性和平坦度特性等的特性来设置编码模式的方法。
然而，在日本特开2010-130558的方法中，使用运动矢量来选择量化残差小的位置，并且该选择不一定与运动一致。因此，在一些情况下，不能有效地防止图像质量的劣化。在日本特开2010-130558中，在运动速度低的情况下，难以进行使用阈值的检测。在日本特开2008-219147中，考虑到主观质量来设置编码模式。如果采用这些传统技术，则根据图像，图像质量可能会部分地显著劣化。
发明内容
本发明涉及提供如下技术，该技术在进行编码时，可以降低在图像内产生与其它区域相比图像质量显著劣化的区域的可能性。为了提供这种技术，本发明的图像处理设备例如包括以下结构。
根据本发明的一个方面，一种图像处理设备，包括：图像获取单元，其被配置为获取摄像单元所拍摄到的运动图像的图像帧；运动物体检测单元，其被配置为进行用于从所述图像获取单元所获取到的图像帧中检测运动物体的运动物体检测处理；以及编码单元，其被配置为基于所述运动物体检测单元所进行的所述运动物体检测处理的结果，对所述图像获取单元所获取到的图像帧进行编码，其中，所述编码单元通过使用编码控制或编码参数来对改变区域进行编码，其中所述改变区域是从要编码的图像帧的先前图像帧中的基于所述运动物体检测处理的结果所获得的运动物体区域改变为所述要编码的图像帧中的非运动物体区域的区域，其中对所述改变区域进行编码所使用的编码控制或编码参数与用于其它非运动物体区域的编码控制或编码参数不同。
根据本发明的一个方面，一种图像处理方法，包括：获取摄像单元所拍摄到的运动图像的图像帧；进行用于从所获取到的图像帧中检测运动物体的运动物体检测处理；以及基于所述运动物体检测处理的结果，对所获取到的图像帧进行编码，其中，在所述编码中，使用编码控制或编码参数来对改变区域进行编码，其中所述改变区域是从要编码的图像帧的先前图像帧中的基于所述运动物体检测处理的结果所获得的运动物体区域改变为所述要编码的图像帧中的非运动物体区域的区域，其中对所述改变区域进行编码所使用的编码控制或编码参数与用于其它非运动物体区域的编码控制或编码参数不同。
根据本发明的一个方面，一种计算机可读记录介质，其存储程序，所述程序用于使计算机作为以下单元进行工作：图像获取单元，其被配置为获取摄像单元所拍摄到的运动图像的图像帧；运动物体检测单元，其被配置为进行用于从所述图像获取单元所获取到的图像帧中检测运动物体的运动物体检测处理；以及编码单元，其被配置为基于所述运动物体检测单元所进行的所述运动物体检测处理的结果，对所述图像获取单元所获取到的图像帧进行编码，其中，所述编码单元通过使用编码控制或编码参数来对改变区域进行编码，其中所述改变区域是从要编码的图像帧的先前图像帧中的基于所述运动物体检测处理的结果所获得的运动物体区域改变为所述要编码的图像帧中的非运动物体区域的区域，其中对所述改变区域进行编码所使用的编码控制或编码参数与用于其它非运动物体区域的编码控制或编码参数不同。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出包括根据各个典型实施例的摄像设备的结构的网络结构的图。
图2是示出根据第一典型实施例的摄像设备的结构的框图。
图3是示意性示出根据第一典型实施例的示出图像质量劣化的图像的图。
图4是示意性示出在H.264或H.265中I帧和P帧的大小变化的图。
图5是示出根据第一典型实施例的图像处理方法的流程图。
图6是示出根据第二典型实施例的摄像设备的结构的框图。
图7是示出根据第二典型实施例的图像处理方法的流程图。
图8是示意性示出根据第二典型实施例的背景图像的图。
图9是示意性示出根据第二典型实施例的背景图像中的示出高复杂度的区域和示出低复杂度的区域的图。
图10是示出根据各个典型实施例的摄像设备的硬件结构的图。
具体实施方式
以下将参考附图来详细说明本发明的典型实施例。在以下的各个典型实施例中所述的结构仅是示例，并且本发明不限于在以下的典型实施例中所述的结构。在各个典型实施例中，将说明为了监视的目的的摄像作为示例，但这些典型实施例可以应用于诸如广播等的各种目的所用的摄像技术。另外，以下将说明能够通过连接至网络与其它设备进行通信的摄像设备(网络照相机)作为示例，但这些实施例也可应用于不能连接至网络的摄像设备。另外，将说明具有作为图像处理设备的功能的摄像设备作为示例，但可以单独设置摄像设备和图像处理设备。
根据第一典型实施例，识别图像(帧)内与其它区域相比有可能表现出显著的图像质量劣化的区域，并且以与对其它区域的编码控制不同的方式控制所识别的区域的编码。以下将说明根据本典型实施例的摄像设备。将使用运动图像作为示例来提供说明。
图1是示出包括摄像设备(图像处理设备)100的系统结构的图。客户端设备200是摄像设备100的外部设备。摄像设备100和客户端设备200以这些设备可以经由网络300彼此通信的状态连接。
客户端设备200向摄像设备100发送命令。这些命令包括用以分发视频(图像)流的分发请求命令和用以设置与编码有关的参数的设置命令。摄像设备100响应于分发请求命令来将视频流分发至客户端设备200。客户端设备200可以通过在诸如个人计算机、平板终端或智能电话等的计算机上安装程序来实现。
图2是示出根据第一典型实施例的摄像设备100的框图。摄像设备100具有摄像单元210、控制单元220、存储单元230、编码单元240、通信单元250、运动物体检测单元260和区域识别单元270。
摄像单元210在摄像元件处接收通过透镜进行成像的光。摄像单元210将所接收到的光转换成电荷，由此生成运动图像的图像数据。对于摄像元件，例如，可以使用互补金属氧化物半导体(CMOS)图像传感器。电荷耦合器件(CCD)图像传感器也可用于摄像元件。摄像单元210可以根据经由控制单元220所设置的参数来生成(获取)通过适当地调整例如白平衡和曝光所获得的图像数据。将说明摄像单元210如此作为图像获取单元起作用的示例。然而，仅要提供作为图像获取单元的功能，还可以从外部获取运动图像的图像数据。
控制单元220控制摄像设备100中的各单元的操作，并且进行各种处理。例如，控制单元220将诸如白平衡和曝光等的照相机参数设置在摄像单元210中，并且将编码所用的编码参数设置到编码单元240。
运动物体检测单元260在摄像单元210所生成的图像数据的各帧(图像帧)中检测运动物体区域。例如，运动物体检测单元260通过使用帧间差方法或背景差方法来检测运动物体区域。这些方法各自基于检测对象帧的像素值和其它图像(例如，背景图像)的像素值之间的差值来进行检测。
可选地，可以针对帧被分割成的各个预定块来判断运动物体区域。在这种情况下，例如，在块内的一半以上的像素中差值超过阈值的情况下，该块可被判断为运动物体区域。此外，判断是否是运动物体区域的块可以是在编码中被分配了量化参数的单位(块)。例如，在使用H.264/AVC的情况下，块可以是宏块。在使用H.265/HEVC的情况下，块可以是编码单位(CU)或者由多个CU形成的单位。
区域识别单元270将对当前帧所进行的运动物体检测的结果与对当前帧之前的帧所进行的运动物体检测的结果进行比较，由此识别图像(帧)内与其它区域相比更可能存在图像质量劣化的区域。以下将详细说明区域识别单元270中的处理。
编码单元240基于区域识别单元270所识别出的区域的位置来进行当前帧的编码。以下还将详细说明编码单元240中的处理。
存储单元230存储控制单元220进行的处理所需的程序和各种信息。存储单元230存储例如与诸如针对摄像单元210所获取到的图像数据的白平衡和曝光等的照相机参数有关的信息、以及与编码有关的参数。这些信息适当地由各个其它单元读出并使用。
通信单元250将利用编码单元240进行编码后的图像数据以例如流格式经由网络300发送至客户端设备200。
这里，将说明在典型实施例中有所减少的图像质量劣化。
首先，将说明可能会进一步引起典型实施例旨在减少的图像质量劣化的压缩技术。在为了监视所安装的摄像设备中，在许多情况下，与一般摄像机相比，在所获取到的图像中运动较少或者关注目标受到限制。因此，使用适合这些特征的压缩技术，但这些压缩技术可能会部分地引起显著的图像质量劣化。
例如，存在用于动态地改变图像组(GOP)的长度的技术(其被称为动态GOP技术)。
这里，将说明动态GOP技术。在H.264/AVC和H.265/HEVC中，存在被称为I帧的帧和被称为P帧的帧。此外，存在被称为B帧的帧。
I帧是用于在作为压缩对象的I帧内的各区域中在无需使用帧间的预测(帧间预测(inter-prediction))的情况下进行编码的帧。帧间预测是使用一个或多个其它帧的图像所进行的预测。更具体地，在I帧中执行预测编码的情况下，基本上，使用帧内的预测(帧内预测(intra-prediction))。此外，P帧和B帧是用于在对压缩对象帧内的任何区域进行压缩编码的情况下、通过使用帧间预测来进行编码的帧。换句话说，I帧是仅可以使用帧内预测的帧，并且P帧和B帧是可以使用帧间预测和帧内预测这两者的帧。
动态GOP技术是用于动态地控制I帧和P帧之间的比例的技术。通常，I帧与P帧相比具有更大的代码量(数据量)。在不进行GOP控制的情况下，I帧和P帧之间的比例是恒定的。动态GOP控制通过根据图像的内容利用P帧替换I帧来减少总体代码量。换句话说，该技术根据情况来动态地改变用于插入I帧的间隔。
将更详细地说明I帧和P/B帧。
将说明如下情况：作为示例，帧的图像大小为3840×2160个像素，帧频为30fps，并且每秒进行30个帧的摄像。用于确定压缩的图像质量的量化参数(qP)值例如可以为32。假定在不使用动态GOP技术的情况下的默认GOP长度为1秒。在这种情况下，由于帧频为30fps，因此如果不进行动态GOP控制，则每30个帧中的1个帧被生成为I帧，并且剩余的29个帧中的各帧是P帧或B帧。
图4示意性示出I帧410、P帧或B帧420以及GOP长度430之间的关系。在该示意图中，纵轴表示帧大小(代码量的大小)，并且横轴表示时间。该图示出：在代码量大的I帧410之后，创建了29个帧作为代码量小的P帧420。这样，通常，I帧与P帧和B帧相比具有更大的代码量。
在本典型实施例中，将说明不采用B帧并且仅使用P帧的情况。然而，在各个典型实施例中也可以使用B帧。
如上所述，如果通过动态GOP技术延长GOP长度(从生成I帧起直到生成下一I帧为止的间隔)，则可以适当减少I帧的数量。这在减少数据量方面是有效的。然而，对于P/B帧，使用其它帧的图像来进行编码，因此P/B帧可能容易受到其它帧中的图像质量劣化的影响。更具体地，在一些情况下，图像质量劣化保留在相同位置，直到对I帧进行编码为止。
除动态GOP技术外，还存在用于动态地改变关注区域(ROI)的位置的技术(其被称为动态ROI技术)。ROI是用户作为目标的区域。该区域由用户设置，或者根据利用摄像设备或客户端设备的图像分析的结果来自动设置。
动态ROI技术根据例如检测图像中的运动物体的位置来动态地改变用于设置ROI的位置，使得部分地提供高图像质量。换句话说，该技术根据情况来动态地改变图像中的要提高图像质量的区域的位置。
在编码中，可以通过使用不同的参数来量化并编码图像中的区域。量化参数值(以下称为qP值)较大的压缩得到较低的图像质量。这是因为，随着量化参数值的升高，量化步长增大。
在仅在重要区域中通过动态ROI技术提高图像质量的情况下，例如，如果由于某种原因而导致在ROI外的区域中发生图像质量劣化，则该劣化可能变得更加明显。
如上所述，本典型实施例还可应用于除监视所用的摄像设备以外的设备。然而，本典型实施例在与上述的图像质量劣化明显的可能性高的技术组合的情况下更加有效。
图3是示意性示出在各个典型实施例中要减少的图像质量劣化的图。
图3示出作为运动物体的人320通过用于确认标识(ID)卡的翼闸的场景作为示例。如在诸如办公楼等的场所经常看到的，作为背景的墙壁区域310相对平坦。人320在这里通过翼闸，并且在该人的后方正在发生图像质量劣化330。如图3所示，人(行人)320的头部具有深色(诸如黑色等)，而墙壁区域310具有相对单调(平坦)的发白颜色，即对比度的差异大。在这种情况下，图像质量劣化330变得容易明显。这种图像质量劣化的原因被认为是对比度的差异以及帧间预测中的可预测性(运动矢量搜索精度)的下降。在任何情况下，在运动物体通过非运动物体区域(运动物体区域以外的区域)之后可能发生图像质量劣化。更特别地，即使在运动物体消失之后，由于运动物体的影响，因而图像质量劣化也可能保留在诸如墙壁等的非运动物体区域中。
接着，将参考图5的流程图来说明利用根据第一典型实施例的摄像设备100的处理。
在步骤S510中，控制单元220从存储单元230获取与图像数据有关的设置(信息)，并且将所获取到的信息设置在摄像单元210中。这里，与图像数据有关的信息包括要生成的图像的帧频和图像大小(分辨率)。例如，在本典型实施例中，图像大小为3840×2160个像素，并且帧频为30fps。
在步骤S510中，控制单元220从存储单元230获取与编码有关的设置(信息)，并且将所获取到的信息设置在编码单元240中。在本典型实施例中，例如，假定使用符合H.264的编码来执行动态ROI。此外，假定qP值在ROI内为32，并且在非ROI(ROI以外的区域)内为47。在本典型实施例中，将说明不进行动态GOP并且GOP长度固定为10秒的情况作为示例。然而，本典型实施例不限于采用固定GOP的情况，并且可以同时使用动态GOP。
接着，在步骤S520中，摄像单元210根据所设置的信息来生成图像数据。然后，将所生成的图像数据输出至运动物体检测单元260和编码单元240。
在步骤S530中，运动物体检测单元260对步骤S520中生成的图像数据的各帧进行运动物体检测处理。可以针对图像数据的所有帧进行运动物体检测处理，或者可以按数帧的间隔进行运动物体检测处理。已知有多个方法作为运动物体检测方法。通常，存在帧间差方法和背景差方法。在帧间差方法中，根据帧之间的差来检测运动区域。在背景差方法中，生成背景图像，并且基于与背景图像的差来将运动区域检测为相对于背景的前景。
假定使用帧间差方法。在这种情况下，运动物体检测单元260计算作为运动物体检测对象的帧(当前帧)的像素值和在与当前帧的定时不同的定时所拍摄到的帧(例如，紧前帧)的像素值之间的差值。将差值等于或大于预定阈值的区域确定为运动物体区域。
此外，在使用背景差方法的情况下，例如，将假定在不存在运动物体时所拍摄到的帧确定为背景图像。随后，计算背景图像的像素值和当前帧的像素值之间的差值。将差值等于或大于预定阈值的区域确定为运动物体区域。
可以基于超过预定阈值的像素的位置来将差值小于阈值的像素确定为运动物体区域。例如，在差值小于阈值的像素被差值等于或大于阈值的像素包围的情况下，可以将差值较小的像素确定为运动物体区域。
在使用背景差方法的情况下，可以采用以下处理。首先，运动物体检测单元260通过将所获取的帧分割成多个区域(块)来提取特征量。然后，运动物体检测单元260针对各区域将所提取的特征量与背景图像中的特征量进行比较，由此判断该帧是背景还是前景(运动物体区域)。这种情况下的区域由作为H.264的宏块的单位的16×16个像素形成。然而，该区域的大小可以根据例如图像大小而改变。作为这里所使用的特征量，例如，可以使用在对区域内的像素亮度值进行离散余弦变换(DCT)的情况下的低频侧的变换系数。也可以使用颜色信息。此外，可以将诸如多个帧的平均值等的值用于背景图像。
可以针对各区域准备背景图像的特征量。在图像随时间的经过而改变时，逐渐更新该针对各区域的特征量。作为这种更新方法，可以使用用于利用新的背景图像来替换与以前相比被作为背景图像进行参考的频率较低的图像的方法。还可以使用在参考时反映当前帧的区域的特征量的更新方法。前者可以解决背景自身改变的情况，并且后者可以解决由于诸如日照变化等的变化而导致背景逐渐改变的情况。
这样，运动物体检测单元260针对各区域进行与多个背景的特征量的比较，由此判断该区域是背景(非运动物体区域)还是前景(运动物体区域)。然后，运动物体检测单元260进行诸如孤立点去除等的后处理(用于在背景由被判断为前景的像素包围的情况下判断为背景是前景的处理)，并且确定最终的运动物体区域。将表示如此获取到的运动物体区域的位置的信息存储在存储单元230中。此外，运动物体检测单元260将表示运动物体区域的位置的信息输出到区域识别单元270中。表示该区域的位置的信息可以由例如基于使用帧的左上角作为原点的像素位置的坐标来表示，或者在该区域的位置固定的情况下可以是该区域的编号。
在步骤S540中，区域识别单元270通过使用在步骤S530中获取到的当前帧的运动物体区域的位置和在先前帧中所识别出的运动物体区域的位置，来识别发生图像质量劣化的可能性高的具有劣化可能性的区域。
具体地，区域识别单元270获取存储单元230中所存储的表示先前帧中的运动物体区域的位置的信息。然后，区域识别单元270将所获取到的信息与当前帧中的运动物体区域的位置进行比较，由此识别在当前帧中作为非运动物体区域但在先前帧中作为运动物体区域的区域。
另外，区域识别单元270将当前帧中的运动物体区域确定为ROI。此外，区域识别单元270将在当前帧中作为非运动物体区域并且在先前帧中也作为非运动物体区域的区域确定为非ROI。此外，如上所述，区域识别单元270将在当前帧中作为非运动物体区域但在先前帧中作为运动物体区域的改变区域确定为可能发生图像质量劣化的具有劣化可能性的区域。然后，将这些识别结果输出到编码单元240中。因而，具有劣化可能性的区域是从运动物体区域改变为非运动物体区域的区域。
接着，在步骤S550中，编码单元240确定适合步骤S540中所识别出的各区域的编码内容。例如，编码单元240确定预测方法或参数(例如，qP值)。
例如，对于ROI，qP值为32以提高图像质量。对于非ROI，与ROI相比，qP值大了15。换句话说，qP值为47。对于具有劣化可能性的区域，尽管该区域是非ROI区域，但qP值为32。这样，在具有劣化可能性的区域中，qP值至少小于其它非运动物体区域(这里为非ROI)的qP值。因而，即使在发生图像质量劣化的情形中，也可以减少劣化。如上所述，在qP值小的情况下，与qP值大的情况相比，图像质量变高。这里，具有劣化可能性的区域的qP值与ROI的qP值相同。然而，在将较大的值(例如，qP值约为36)设置为ROI的qP值的情况下，qP值可能小于ROI的qP值(图像质量可能更高)，从而抑制由于图像质量劣化而产生的劣化。
对于具有劣化可能性的区域，可以针对数帧使qP值减小(可以提高图像质量)。然而，只是针对仅一帧减小qP值仍是有效的。
具有劣化可能性的区域在下一帧中变为非ROI的可能性高。在这种情况下，qP值变为大的值。更具体地，在没有执行本典型实施例的处理而发生图像质量劣化的情况下，非ROI的状态继续。因此，图像质量劣化的状态在后续帧中继续，直到生成I帧为止。为了抑制这种劣化，尽管代码量暂时增加，但qP值减小(图像质量提高)，这消除了图像质量劣化的痕迹。因此，即使在后续帧中qP值增大的情况下，也可以利用小的代码量来生成图像质量劣化小的帧。
作为针对具有劣化可能性的区域的处理，代替改变qP值，可以使用帧内预测来强制对具有劣化可能性的区域进行编码。换句话说，可以限制该处理，使得不使用帧间预测。另外，即使帧是P帧，也可以使用帧内预测来部分地进行编码。通常，由于预测残差大，因此代替帧间预测，更有可能使用帧内预测来对在先前帧中被判断为前景(运动物体区域)并且在当前帧中被判断为背景(非运动物体区域)的区域进行编码。然而，在前景保留在该区域的一部分中的情况下，预测残差不是那么大，因而可能不选择帧内预测。在这种情况下，该区域内的预测残差大的数个像素的劣化可能仍未解决。因此，可以通过使用帧内预测对具有劣化可能性的区域进行编码来消除图像质量劣化。除此之外，可以使用诸如I-PCM模式或转换量化旁路模式等的模式来强制对具有劣化可能性的区域进行编码。
此外，作为针对具有劣化可能性的区域的处理，可以进行以下。
在H.265中，首先，将帧分割成64×64个编码树单位(CTU)。然后，根据例如图像的复杂度来将CTU进一步分割成编码单位(CU)。如果在按大的单位进行帧间预测或帧内预测时评价预测残差，则部分残留的预测残差的影响小，这使得在一些情况下难以选择帧内预测。因此，具有劣化可能性的区域可被配置为更容易进行向更小CU的块分割(区域分割)。更具体地，可以使用能够容易地进行块分割的条件来判断块分割。例如，假定在块的复杂度高的情况下采用进行分割的条件。在这种情况下，该判断条件的阈值可能降低。在采用更小的CU的情况下，可以通过更精细地设置预测方法或参数来进行编码，并由此可以提高图像质量。
另外，一旦发生这种劣化，则GOP长度越长，在图像中图像质量劣化残留得越长。因此，可以根据所设置的GOP长度来改变对具有劣化可能性的区域的编码控制。在所设置的GOP长度较长的情况下，进行用于抑制图像质量劣化的更强处理。这里，作为用于抑制图像质量劣化的更强处理，可以减小qP值，或者可以将帧内预测用于数帧。
说明将继续返回至图5的流程图。在步骤S560中，编码单元240根据在步骤S550中确定的编码方法或参数来对当前帧进行编码。然后，通信单元250将编码后的图像数据发送至外部设备。代替发送图像数据，可以将图像数据记录在存储器(未示出)中。
在步骤S570中，控制单元220判断是否存在要编码的图像数据。如果存在要编码的图像数据(步骤S570中为“是”)，则处理返回至步骤S520并继续针对下一图像数据。如果不存在要编码的图像数据(步骤S570中为“否”)，则处理结束。
如图4所示，在GOP长度和比特率之间的关系中，即使在诸如图3所示的场景等的存在运动的场景中，P帧的大小也为I帧的约十分之一。在运动较少的场景中，该比率变小。因此，如果GOP长度(间隔)增大，则比特率相应地减小。
具体而言，以下是在30fps时P帧相对于I帧的数据量的比约为0.1的情况。也就是说，在GOP长度为2秒的情况下，与GOP长度为1秒的情况相比，比特率降低到约88％。在GOP长度为5秒的情况下，与GOP长度为1秒的情况相比，比特率为81％。在GOP长度为20秒的情况下，与GOP长度为1秒的情况相比，比特率降低到约78％。
此外，以下是运动变少并且P帧相对于I帧的数据量的比约为0.01的情况。也就是说，在GOP长度为2秒的情况下，与GOP长度为1秒的情况相比，比特率降低到约62％。在GOP长度为5秒的情况下，与GOP长度为1秒的情况相比，比特率降低到约39％。在GOP长度为30秒的情况下，与GOP长度为1秒的情况相比，比特率降低到约26％。因此，如果在运动较少的场景处GOP长度增大，则比特率降低的效果变得更加显著。
关于GOP长度和图像质量之间的关系，通常，如果GOP长度增大，则主观图像质量的劣化通常变得更差。图像评价所使用的指标的示例通常包括均方误差(MSE)、峰值信噪比(PSNR)和结构相似性(SSIM)。然而，利用这种指标，难以定量地检测劣化的状况。具体地，在图像包括诸如图3所示的图像等的运动的情况下，PSNR对于最初的5个帧降至约3.8％，并且对于15个帧降至约4.8％。然而，PSNR即使对于30个帧也约为5％，并且之后保持几乎不变。
图像质量劣化在相同位置处继续的时间通常取决于GOP长度。假定在图3的图像中，在从左右出现的人在通过翼闸之后消失之前，需要约10秒。此外，假定在人们不频繁通过的情况下GOP长度为30秒。此外，假定在30秒中的10秒期间，P帧相对于I帧的数据量的比为0.1。此外，假定对于剩余的20秒，P帧相对于I帧的数据量的比为0.01。然后，在GOP长度为30秒的情况下，与GOP长度为1秒的情况相比，比特率可以约为57％。然而，在人通过之后，在最长20秒期间图像质量劣化残留在图像的宽范围中。
相比之下，在进行本典型实施例的处理的情况下，例如，即使具有劣化可能性的区域的qP值是与ROI相同的值，与GOP长度为1秒的情况相比，比特率也约为63％。也就是说，与在没有执行本典型实施例的情况下GOP长度为30秒的情况相比，比特率增大约10％，但随着该量增大，可以生成没有出现图像质量劣化的运动图像的图像数据。
另一方面，对于用于通过使用本典型实施例所述的运动物体区域的检测来识别具有劣化可能性的区域的方法，该方法与用于基于运动矢量搜索来控制图像质量的方法相比存在以下优点。
如果使用运动矢量搜索，则针对相对于帧频缓慢的运动，检测精度可能差。具体地，例如，在人来到接待台并办理一些手续的场景中，可以在人走到接待台的帧中正确地检测运动矢量。然而，在人停留在接待台的帧中，与先前帧的运动差异小，因而不能正确地检测运动矢量。如果没有将运动矢量正确地检测为运动，则也难以检测运动区域和非运动区域之间的边界区域。相比之下，在本典型实施例所述的方法(特别是背景差方法)中，在背景中没有人在接待台办理一些手续。因此，即使办理一些手续的人的动作很小，也可以将该人检测为前景。由于该原因，甚至小动作或慢动作也可被正确地检测到，因而识别“具有劣化可能性的区域”的精度也更高。
另外，在运动矢量搜索中，存在运动物体大并且运动物体内的图像特征的差异小的可能性。具体地，在诸如卡车等的运动物体通过时，在卡车的车厢的区域内图像特征几乎相同。在这种情况下，在先前帧中在车厢前方的区域中并且在当前帧中在车厢后方的区域中可能无法检测到运动矢量。在这种情况下，在车厢的前方和后方各自出现运动区域和静止区域的对，并且可以在不是要检测的边界的车厢中间部分设置边界区域。相比之下，本典型实施例所述的方法(特别是背景差方法)由于背景是不存在卡车的道路因此可以正确地检测整个卡车。因此，将卡车的整个车厢确定为ROI，并且可以在卡车的后方精确地设置作为卡车通过之后的区域的具有劣化可能性的区域。
如上所述，在根据第一典型实施例的摄像设备100中，基于要进行压缩编码的当前帧、以及先前帧的运动物体检测结果，在当前帧中识别极有可能存在图像质量劣化的具有劣化可能性的区域。在该区域中，可以通过使用与其它非运动物体区域的编码方法或编码参数不同的编码方法或编码参数进行编码，来降低图像质量劣化的可能性。这里所述的先前帧可以是紧前帧或数帧之前的帧。另外，即使使用诸如动态GOP技术等的技术来增大GOP长度，结果也可以通过如本典型实施例那样降低图像质量劣化的可能性来使图像质量的劣化不太明显。
接着，将说明第二典型实施例。将适当省略对与第一典型实施例相同的部分的说明。
在第一典型实施例中，基于当前帧和先前帧的运动物体检测结果，将在当前帧中作为非运动物体区域但在先前帧中作为运动物体区域的区域识别为具有劣化可能性的区域。在本典型实施例中，考虑到图像质量劣化不太明显且复杂度高的区域来进行控制。更具体地，在以下要说明的本典型实施例中，针对各区域计算并存储背景图像的复杂度，并且根据复杂度的程度来改变具有劣化可能性的区域的编码。
图6是示出根据第二典型实施例的摄像设备100的框图。除复杂度计算单元280以外，图6所示的框图与图2所示的第一典型实施例的摄像设备100的框图基本相同。因此，适当省略了对该框图的说明。
复杂度计算单元280针对背景图像中的各区域来计算运动物体检测单元260所获取到的背景图像的复杂度。在不使用背景差方法、但使用帧间差方法的情况下，可以计算当前帧的各区域的复杂度。
接着，将参考图7的流程图来说明利用根据第二典型实施例的摄像设备100的处理。除步骤S710、S720、S730和S750以外，各步骤与图5所示的相应步骤相同，因此将不进行说明。
在步骤S710中，摄像单元210生成用于生成背景图像的多个图像(帧)。然后，将所生成的图像存储在存储单元230中。
在步骤S720中，复杂度计算单元280使用步骤S710中获取到的用于生成背景图像的图像，按照如下来生成背景图像。
首先，运动物体检测单元260将存储单元230中所存储的各帧分割成预定区域。例如，将各帧分割成各自由16×16个像素形成的区域。例如，在分辨率为4K(3840×2176个像素)的情况下，将各帧分割成32640个区域。
然后，运动物体检测单元260通过使用各区域的诸如颜色信息或频率分量等的特征作为特征量，对存在于各帧中的相应位置(同一位置)处的区域进行聚类(分类)。以具有相似特征的区域属于同一组的方式进行聚类。仅对包括在最大群组中的区域进行累积并将这些区域确定为要用于背景图像的区域。计算各帧的像素值的平均值或中值，并且将由此获得的图像确定为要用于背景图像的图像。因而，可以排除存在运动物体的图像的区域。在各区域中进行相同的处理，并且组合这些区域以形成背景图像。
已知有各种方法作为用于生成背景图像的方法。可以采用用于针对各区域保持多个背景作为候选区域的方法，或者可以使用用于使背景图像随时间的经过而改变的方法。例如，如参考第一典型实施例的步骤S530所述，可以通过从预定时间段的图像中针对各子区域提取背景并组合所提取的背景来生成背景图像。可选地，可以选择没有表现出运动的帧并且将该帧确定为背景图像。图8示出根据图3所示的翼闸的图像所生成的背景图像的示例。如图8所示，生成运动物体尽可能少的背景图像。
假定预先获取各帧的图像以生成背景图像。然而，背景图像的生成不限于这种情况。如第一典型实施例中所述，还可以在进行图像压缩和分发的同时生成并更新背景图像。
接着，在步骤S730中，复杂度计算单元280针对各区域计算步骤S720中所生成的背景图像的复杂度。这里所述的区域是在生成背景图像时帧被分割成的各个区域。
复杂度计算单元280通过使用例如利用内核大小为13×13的滤波器的滤波处理来计算各区域的复杂度。滤波器通过使用在垂直方向上变为低通滤波器并且在水平方向上变为带通滤波器的内核、以及通过切换前者内核的垂直分量和水平分量所获得的内核来提取纵方向和横方向上的边缘。然后，针对各子区域来对针对各像素所计算出的边缘的大小进行累积。由此可以计算出针对各子区域的复杂度。
图9示出如下示例的示意图：根据针对图8所示的所获取到的背景图像计算复杂度的结果，基于预定阈值来进行向高复杂度区域和低复杂度区域的分类。图9示出复杂度小于预定阈值的区域910和复杂度等于或大于预定阈值的区域920。在图8中，地板部分具有图案，因而该部分的复杂度高。复杂度可以不分割成两个级别，而是可以分类成数量更多的级别。可选地，可以简单地使用表示复杂度的程度的值。
在步骤S750中，编码单元240基于在步骤S540中获取到的区域分割的结果和在步骤S730中获取到的背景图像的各区域的复杂度，来进行编码控制。
具体地，与步骤S550相同，将运动物体区域(ROI)的qP值确定为32，并且将非ROI的qP值确定为47。对于具有劣化可能性的区域，将与非ROI的qP值相同的qP值47设置到高复杂度区域，并且将与ROI内的qP值相同的qP值32设置到低复杂度区域。这样，即使区域具有劣化可能性，qP值也根据与该区域相对应的背景图像的复杂度而改变。
对于与复杂度相对应的具有劣化可能性的区域的编码控制，可以使用各种方法。具体地，根据背景的复杂度的值，可以使具有劣化可能性的区域的qP值连续地改变为ROI内/外的值。换句话说，可以确定具有劣化可能性的区域的qP值，使得复杂度越高，非ROI的qP值越接近47，并且复杂度越低，ROI的qP值越接近47。
如果具有劣化可能性的区域的复杂度低于阈值，则可以将该区域的编码模式确定为帧内预测模式(帧内预测模式)。
更具体地，在复杂度高的区域中，在qP值减小或者编码模式为帧内模式的情况下，代码量的增加较大。因此，考虑到成本效益，通过仅针对复杂度低的区域解决图像质量劣化，可以在防止比特率过度上升的同时更适当地抑制图像质量劣化。
如上所述，在根据第二典型实施例的摄像设备100中，除当前帧和先前帧之间的运动物体检测结果方面的比较以外，还考虑到背景的复杂度来确定诸如qP值等的编码参数或者编码模式(帧内预测或帧间预测)。因此，可以通过提高对主观图像质量的影响小的区域的图像质量来抑制比特率的增加，并由此可以仅针对对主观图像质量的影响大的区域抑制图像质量劣化。
第二典型实施例说明了用于生成背景图像并且计算背景图像的复杂度、由此根据具有劣化可能性的区域的背景的复杂度来改变该区域的编码控制的方法。在第三典型实施例中，为了提取图像质量劣化明显的具有劣化可能性的区域，将背景图像与前景(运动物体区域)之间的对比度高的区域确定为图像质量劣化明显的区域。
具体地，在第二典型实施例中在步骤S730中计算出背景图像的复杂度之后，获取背景图像的各区域的颜色信息。该颜色信息可以是各区域的RGB的平均值。
在步骤S750中进行对具有劣化可能性的区域的编码控制时，对具有劣化可能性的区域的颜色信息和相应背景图像的区域的颜色信息进行比较。如果差异大(如果对比度高)，则进行用于更强地抑制图像质量劣化的处理。例如，如果颜色信息的差的平均值等于或大于预定阈值，则判断为差异大，并且进行与对复杂度低的区域的处理相同的处理。可以在qP值减小或者编码模式被设置为帧内模式的情况下进行用于更强地抑制图像质量劣化的处理。
其它实施例
接着，将参考图10来说明用于实现典型实施例的各功能的硬件结构。摄像设备100中的除镜头和机械部分以外的组件可以通过图10所示的硬件结构来实现。
随机存取存储器(RAM)451暂时存储中央处理单元(CPU)450所要执行的计算机程序。RAM 451还暂时存储诸如经由通信接口453从外部获取到的命令和图像数据等的数据。此外，RAM 451提供在CPU 450执行各种处理时要使用的工作区。RAM 451还作为例如帧存储器和缓冲存储器起作用。
CPU 450执行RAM 451中所存储的计算机程序。除CPU以外，可以使用诸如数字信号处理器(DSP)或专用集成电路(ASIC)等的处理器。
硬盘驱动器(HDD)452存储操作系统的程序以及图像数据。
HDD 452中所存储的计算机程序和数据在CPU 450的控制下被适当地加载到RAM451中并且由CPU 450执行。除HDD以外，可以使用诸如闪速存储器等的存储介质。总线454连接各硬件。硬件经由总线454彼此交换数据。在各典型实施例中采用以上所述的硬件结构。
本发明还可以在通过读出用于实现上述典型实施例的一个或多个功能的程序并利用一个或多个处理器执行该程序所进行的处理中实现。可以将该程序经由网络或存储介质供给至具有处理器的系统或设备。本发明还可以由用于实现上述典型实施例的一个或多个功能的电路(例如，ASIC)来实现。
摄像设备的所有组件可以由图10所示的硬件实现，并且也可以由软件实现。
本发明不限于上述典型实施例，并且可以在本发明的精神内的范围内进行各种修改。例如，这些典型实施例的组合也包括在本说明书的公开内容中。
根据上述典型实施例，在进行编码的情况下，可以降低在图像内生成与其它区域相比图像质量显著劣化的区域的可能性。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (8)

1.一种图像处理设备，包括：
图像获取单元，其被配置为获取摄像单元所拍摄到的运动图像的图像帧；
运动物体检测单元，其被配置为进行用于从所述图像获取单元所获取到的图像帧中检测运动物体的运动物体检测处理；以及
编码单元，其被配置为基于所述运动物体检测单元所进行的所述运动物体检测处理的结果，对所述图像获取单元所获取到的图像帧进行编码，
其中，所述编码单元通过使用量化参数来对要编码的图像帧中的第一非运动物体区域进行编码，其中对所述第一非运动物体区域进行编码所使用的量化参数小于用于所述要编码的图像帧中的第二非运动物体区域的量化参数，其中所述第一非运动物体区域和所述第二非运动物体区域是在所述要编码的图像帧中未检测到所述运动物体的区域，所述第一非运动物体区域是在所述要编码的图像帧之前的先前图像帧中检测到所述运动物体的区域，所述第二非运动物体区域是在所述先前图像帧中未检测到所述运动物体的区域。
2.根据权利要求1所述的图像处理设备，其中，所述先前图像帧是紧挨在所述要编码的图像帧之前的图像帧。
3.根据权利要求1所述的图像处理设备，其中，所述编码单元通过使用量化步长小于所述第二非运动物体区域中的量化步长的所述量化参数来对所述第一非运动物体区域进行编码。
4.根据权利要求1所述的图像处理设备，其中，所述编码单元通过使用取决于图像组长度的所述量化参数的值来对所述第一非运动物体区域进行编码。
5.根据权利要求1所述的图像处理设备，其中，所述编码单元通过使用以针对所述第一非运动物体区域与针对所述第二非运动物体区域相比更频繁地对块进行分割为条件的编码控制，来对所述要编码的图像帧进行编码。
6.根据权利要求1所述的图像处理设备，还包括：
背景图像生成单元，其被配置为根据所述图像获取单元所获取到的图像帧来生成背景图像；以及
复杂度计算单元，其被配置为计算所述背景图像中的各区域的复杂度，
其中，所述编码单元进一步基于所述复杂度来确定所述第一非运动物体区域的量化参数。
7.一种图像处理方法，包括：
获取摄像单元所拍摄到的运动图像的图像帧；
进行用于从所获取到的图像帧中检测运动物体的运动物体检测处理；以及
基于所述运动物体检测处理的结果，对所获取到的图像帧进行编码，
其中，在所述编码中，使用量化参数来对要编码的图像帧中的第一非运动物体区域进行编码，其中对所述第一非运动物体区域进行编码所使用的量化参数小于用于所述要编码的图像帧中的第二非运动物体区域的量化参数，其中所述第一非运动物体区域和所述第二非运动物体区域是在所述要编码的图像帧中未检测到所述运动物体的区域，所述第一非运动物体区域是在所述要编码的图像帧之前的先前图像帧中检测到所述运动物体的区域，所述第二非运动物体区域是在所述先前图像帧中未检测到所述运动物体的区域。
8.一种计算机可读记录介质，其存储程序，所述程序用于使计算机作为以下单元进行工作：
图像获取单元，其被配置为获取摄像单元所拍摄到的运动图像的图像帧；
运动物体检测单元，其被配置为进行用于从所述图像获取单元所获取到的图像帧中检测运动物体的运动物体检测处理；以及
编码单元，其被配置为基于所述运动物体检测单元所进行的所述运动物体检测处理的结果，对所述图像获取单元所获取到的图像帧进行编码，
其中，所述编码单元通过使用量化参数来对要编码的图像帧中的第一非运动物体区域进行编码，其中对所述第一非运动物体区域进行编码所使用的量化参数小于用于所述要编码的图像帧中的第二非运动物体区域的量化参数，其中所述第一非运动物体区域和所述第二非运动物体区域是在所述要编码的图像帧中未检测到所述运动物体的区域，所述第一非运动物体区域是在所述要编码的图像帧之前的先前图像帧中检测到所述运动物体的区域，所述第二非运动物体区域是在所述先前图像帧中未检测到所述运动物体的区域。
CN201811138852.1A 2017-09-29 2018-09-28 图像处理设备、图像处理方法和记录介质 Active CN109587480B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017191759A JP6961443B2 (ja) 2017-09-29 2017-09-29 画像処理装置、画像処理方法、及びプログラム
JP2017-191759 2017-09-29

Publications (2)

Publication Number Publication Date
CN109587480A CN109587480A (zh) 2019-04-05
CN109587480B true CN109587480B (zh) 2023-03-24

Family

ID=65897482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811138852.1A Active CN109587480B (zh) 2017-09-29 2018-09-28 图像处理设备、图像处理方法和记录介质

Country Status (3)

Country Link
US (1) US11095899B2 (zh)
JP (1) JP6961443B2 (zh)
CN (1) CN109587480B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201817780D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
CN111200734B (zh) * 2018-11-19 2022-03-11 浙江宇视科技有限公司 视频编码方法及装置
GB2619640A (en) * 2019-07-05 2023-12-13 V Nova Int Ltd Quantization of residuals in video coding
CN110324708A (zh) * 2019-07-16 2019-10-11 浙江大华技术股份有限公司 视频处理方法、终端设备及计算机存储介质
JP2021017505A (ja) * 2019-07-22 2021-02-15 積水化学工業株式会社 樹脂材料及び多層プリント配線板
JP7136458B2 (ja) * 2019-07-26 2022-09-13 サイレックス・テクノロジー株式会社 符号化装置、再生装置、作成装置、再生システム、符号化方法、再生方法、作成方法、および、プログラム
US11188756B2 (en) * 2019-10-16 2021-11-30 Realtek Singapore Private Limited Object localization and classification system and method thereof
CN112929663B (zh) * 2021-04-08 2022-07-15 中国科学技术大学 一种基于知识蒸馏的图像压缩质量增强方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754371B1 (en) * 1999-12-07 2004-06-22 Sony Corporation Method and apparatus for past and future motion classification
US6879723B1 (en) * 1999-11-12 2005-04-12 8X8, Inc. Method and apparatus for encoding frames of image data at a varying quality level
CN101202913A (zh) * 2006-11-28 2008-06-18 三星电子株式会社 用于编码和解码视频图像的方法和设备
CN101494718A (zh) * 2009-01-23 2009-07-29 逐点半导体（上海）有限公司 图像编码方法和装置
CN101882316A (zh) * 2010-06-07 2010-11-10 深圳市融创天下科技发展有限公司 一种图像区域划分/编码方法、装置及系统
CN101999232A (zh) * 2008-04-04 2011-03-30 富士胶片株式会社 图像处理系统、图像处理方法、以及计算机可读介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4748603B2 (ja) 2007-02-28 2011-08-17 株式会社Ｋｄｄｉ研究所 動画像符号化装置
CN101755461B (zh) * 2007-07-20 2012-06-13 富士胶片株式会社 图像处理设备、图像处理方法
JP4519933B2 (ja) * 2008-11-28 2010-08-04 株式会社東芝 動画像符号化装置および動画像符号化方法
KR101840008B1 (ko) * 2011-06-24 2018-05-04 에스케이플래닛 주식회사 고화질 비디오 스트리밍 서비스 방법 및 시스템
JP2013187769A (ja) * 2012-03-08 2013-09-19 Panasonic Corp 符号化装置
EP3021589A4 (en) * 2013-07-10 2017-02-15 Sharp Kabushiki Kaisha Image decoding device and image encoding device
US9589363B2 (en) * 2014-03-25 2017-03-07 Intel Corporation Object tracking in encoded video streams
GB201417536D0 (en) * 2014-10-03 2014-11-19 Microsoft Corp Adapting quantization
JP6024999B2 (ja) * 2014-11-26 2016-11-16 パナソニックＩｐマネジメント株式会社 撮像装置、録画装置および映像出力制御装置
EP3029937B1 (en) * 2014-12-03 2016-11-16 Axis AB Method and encoder for video encoding of a sequence of frames
EP3422309A4 (en) * 2016-02-29 2020-02-26 Signpost Corporation INFORMATION PROCESSING SYSTEM
WO2017214510A1 (en) * 2016-06-10 2017-12-14 Affirmed Networks, Inc. Transcoding using time stamps
US10873763B2 (en) * 2017-06-02 2020-12-22 Apple Inc. Video compression techniques for high dynamic range data
US10582196B2 (en) * 2017-06-30 2020-03-03 Intel Corporation Generating heat maps using dynamic vision sensor events

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879723B1 (en) * 1999-11-12 2005-04-12 8X8, Inc. Method and apparatus for encoding frames of image data at a varying quality level
US6754371B1 (en) * 1999-12-07 2004-06-22 Sony Corporation Method and apparatus for past and future motion classification
CN101202913A (zh) * 2006-11-28 2008-06-18 三星电子株式会社 用于编码和解码视频图像的方法和设备
CN101999232A (zh) * 2008-04-04 2011-03-30 富士胶片株式会社 图像处理系统、图像处理方法、以及计算机可读介质
CN101494718A (zh) * 2009-01-23 2009-07-29 逐点半导体（上海）有限公司 图像编码方法和装置
CN101882316A (zh) * 2010-06-07 2010-11-10 深圳市融创天下科技发展有限公司 一种图像区域划分/编码方法、装置及系统

Also Published As

Publication number Publication date
CN109587480A (zh) 2019-04-05
US20190104314A1 (en) 2019-04-04
JP6961443B2 (ja) 2021-11-05
JP2019068248A (ja) 2019-04-25
US11095899B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
CN109587480B (zh) 图像处理设备、图像处理方法和记录介质
US20220312021A1 (en) Analytics-modulated coding of surveillance video
US11159797B2 (en) Method and system to improve the performance of a video encoder
CN112534818B (zh) 使用运动和对象检测的用于视频编码的译码参数的基于机器学习的自适应
US8139883B2 (en) System and method for image and video encoding artifacts reduction and quality improvement
CN105472205B (zh) 编码过程中的实时视频降噪方法和装置
US8873869B2 (en) Image processing apparatus and control method for the same
US11281927B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
US20150062371A1 (en) Encoding apparatus and method
US10917648B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US8488892B2 (en) Image encoder and camera system
CN114157870A (zh) 编码方法、介质及电子设备
JP2021013146A (ja) 画像処理装置、画像処理方法
US20210329285A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
Fernandez et al. Integrated H. 264 region-of-interest detection, tracking and compression for surveillance scenes
US10516896B2 (en) Encoding device, encoding method, and storage medium
JP7363279B2 (ja) 画像記録装置、画像記録方法、及び画像記録プログラム
Hong et al. Real-time foreground segmentation for the moving camera based on h. 264 video coding information
JP6624106B2 (ja) 画像読取装置、画像形成システム、画像読取方法及び画像読取プログラム
US20180027242A1 (en) Image processing apparatus, image processing method, and program
JP2010233186A (ja) 電子カメラ及び符号化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant