CN102783153B

CN102783153B - 信号处理装置以及动态图像拍摄装置

Info

Publication number: CN102783153B
Application number: CN201180012475.7A
Authority: CN
Inventors: 内田友和; 方城正博
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Nuvoton Technology Corp Japan
Priority date: 2010-03-09
Filing date: 2011-01-28
Publication date: 2016-08-03
Anticipated expiration: 2031-01-28
Also published as: JP5583992B2; WO2011111292A1; CN102783153A; JP2011188243A; US20120328008A1; US9854167B2

Abstract

一种信号处理装置以及动态图像拍摄装置。通过设置：对所输入的图像数据进行编码的编码处理部(110)、通过比较图像移动信息和阈值从而进行编码实施判断的编码判断处理部(111)、在不实施编码时进行跳帧控制的跳帧控制部(113)和基于编码处理的结果来修正编码判断用阈值的阈值修正部(112)，来实现与场景相适应的跳帧处理。在编码判断处理部(111)使用的图像移动信息为：例如以由像素移动计算部(109)进行的代表点匹配方式获得的像素移动信息、能够从透镜控制部(108)获取的角速度传感器信息、能够从图像处理部(107)获取的频率信息当中的任意一者或者是它们的组合。

Description

信号处理装置以及动态图像拍摄装置

技术领域

本发明涉及一种动态图像的编码技术，特别涉及一种拍摄分辨率高并且比特率低的动态图像时的编码技术。作为所使用的产品有网络相机、车载相机以及数码相机等。

背景技术

近年来，网络相机的高分辨率化不断发展。尽管实现了高分辨率化，但要求作为目标的比特率仍然是按照以往的低比特率。因此，与高分辨率无关，分配给每一帧的编码量仍保持以往的状态，因此，画质变差就成为了技术课题。

在以往的编码器中，为了获得所希望的比特率，按照单纯的跳帧(frameskip)算法来降低帧率。但是，若利用该单纯的跳帧，则在解码时使视觉质量产生明显的不协调的情况很多。

因此，作为防止该视觉质量变差的方法，获取进行编码的帧图像与编码时参照的图像的像素单位的差分，对判断为差分小的图像进行跳帧处理的技术为人所知。判断“像素差分小＝运动小”，只对动作小的帧进行跳帧，减少视觉上的不协调，并且，增加分配给每一帧的编码量(参照专利文献1)。

现有技术文献

专利文献

专利文献1：JP特开2008-236789号公报

发明概要

发明要解决的课题

在利用上述输入帧与参照帧的像素差分进行跳帧判断的情况下，可能即使针对稍微运动，像素差分也会表现得较大。在这种情况下，即使对于运动小的帧也不进行跳帧判断，分配给一帧的编码量变小，会使画质变差。特别是在包含很多高频分量的输入图像的情况下，这种倾向表现显著。

另外，由于在动态图像中对参照帧的移动量和残留的差分值进行编码，因此，像素差分量与编码后的代码大小不成比例关系。因此，即使对于编码量小的帧，如果像素差分大，则判断为跳帧，会留下视觉上的不协调。特别是在包含很多高频分量的输入图像的情况下，这种倾向表现显著。

而且，由于无论对于什么样的场景都利用相同的算法进行跳帧判断，因此，有时不能进行适合场景的跳帧处理。

另外，如果是上述算法，则只能进行针对运动小的场景的跳帧。在运动激烈的场景中，虽然与运动小的场景相比，压缩效率差，但是每一帧的编码量不变，因此，画质变差没有得到改善。

发明内容

本发明的目的是提供一种在拍摄分辨率高并且比特率低的动态图像时，能够动态地变更跳帧的判断阈值的信号处理装置以及动态图像拍摄装置。

解决课题的技术手段

为了达到上述目的，本发明所采用的构成为，在对多个帧的图像数据进行压缩并生成流的信号处理装置中，具有：编码处理部，对所输入的图像数据进行编码；编码判断处理部，通过对图像移动信息和阈值进行比较来进行编码实施判断；跳帧控制部，在不实施编码时进行跳帧控制；以及阈值修正部，基于编码处理的结果来修正编码判断处理部的编码判断用阈值。

在编码判断处理部使用的图像移动信息可以是：以由像素移动计算部进行的代表点匹配方式获得的像素移动信息、能够从透镜控制部获取的角速度传感器信息、能够从图像处理部获取的频率信息中的任意一者或者是它们的组合。

发明效果

在本发明中，如果利用一直以来用于相机的信息(角速度传感器信息或像素移动信息)来判断编码实施判断处理，则用于获取图像移动信息的处理的增加少。另外，由于看的是移动量而不是差分信息，因此，能够提高运动的检测精确度。

另外，相对于以往将运动小的帧全都进行跳帧的情况相比，能够只对运动小并且编码量大(编码效率差)的帧进行跳帧判断。这样一来，只对所需最小限度的帧进行跳帧处理，不仅增加了分配给每一帧的编码量，还能够生成没有视觉上的不协调的流。

除了上述效果之外，由于在进行运动大的场景的判断的情况下也利用编码结果来修正阈值，因此，能够只将编码效率差的帧判断为跳帧。如此一来，能够不过度降低帧率地生成没有视觉上的不协调的流。

附图说明

图1是具有本发明的信号处理装置的动态图像拍摄装置的框图。

图2(a)、(b)以及(c)是图1中的像素移动计算部的代表点匹配算法的说明图。

图3是从图1的透镜控制部获得的角速度传感器信息的说明图。

图4(a)以及(b)是从图1中的图像处理部获得的频率信息的说明图。

图5是表示图1中的信号处理装置的跳帧动作的例子的流程图。

图6是图1中的编码判断处理部的静止图像阈值的说明图。

图7是图1中的编码判断处理部的动态图像阈值的说明图。

图8是图1中的编码判断处理部的静止图像阈值以及动态图像阈值的说明图。

图9是表示使用图1中的阈值修正部的帧内宏块数的阈值修正算法的流程图。

图10是表示使用图1中的阈值修正部的运动矢量的阈值修正算法的流程图。

图11是表示使用图1中的阈值修正部的编码量以及量化参数值的阈值修正算法的流程图。

图12是图1中的跳帧控制部的动作说明图。

图13是图1中的跳帧控制部的另一动作说明图。

图14(a)以及(b)是图1中的编码判断处理部的编码判断实施帧的说明图。

图15(a)以及(b)是图1中的编码判断处理部的编码判断阈值的初始值设定说明图。

图16是图1中的编码判断处理部的虚拟帧模式的说明图。

图17是图1中的编码判断处理部的多阶段阈值控制算法的说明图。

图18是表示图1的变形例的框图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1所示的动态图像拍摄装置是例如进行动态图像记录的网络相机，具有：图像数据输入装置101，根据定时来生成并输出图像数据；信号处理装置102，对从图像数据输入装置101输出的图像数据进行图像处理，并进行编码处理，转换成网络发送用的信息包并输出；数据通信装置103，将从信号处理装置102输出的信息包发送给网络；以及数据存储装置104，暂时保存各处理数据。

图像数据输入装置101具有：拍摄部105，其将影像光转换成电信号；以及拍摄元件控制部106，其控制从拍摄部105输出的电信号的获取定时或影像光对拍摄元件的照射时间。

信号处理装置102具有：图像处理部107，其对从拍摄部105读出的影像信号实施规定的图像处理(AE(automaticexposure)处理、WB(whitebalance)处理、光圈处理和YC处理等)，从而转换成亮度信号以及色差信号；透镜控制部108，其进行透镜的控制；像素移动计算部109，其计算像素移动量；编码处理部110，其对所输入的图像数据进行编码；编码判断处理部111，其利用图像移动信息和阈值来判断是否在编码处理部110进行编码；阈值修正部112，其修正用于通过编码判断处理部111进行编码判断的阈值；跳帧控制部113，其当判断为在编码判断处理部111不实施编码时进行跳帧控制；信息包生成部114，其针对被编码的数据进行网络用的信息包分割；以及数据通信控制部115，其将用信息包生成部114进行了信息包分割之后的数据转送给数据通信装置103。

在此，利用图2(a)～图2(c)，对用于获得作为图像移动信息之一而从像素移动计算部109输出的像素移动信息的代表点匹配的算法进行说明。代表点匹配表示的是：将某一块(框)的代表点规定为一点，该点在下一帧移动了多少。图2(a)是表示第一帧的图，将点201作为代表点来保持该一点的信息。图2(b)是表示第二帧的图，搜索作为代表点所规定的点在该帧内移动到了何处。图2(c)表示的是将第一帧和第二帧重合，可知在第一帧规定的代表点202移动到了点203。在本发明中，将该像素移动量用作图像移动信息之一。

接下来，使用图3对作为图像移动信息所使用的由透镜控制部108输出的角速度传感器信息进行说明。角速度传感器信息是图3所示的相机的动态量的信息。能够利用传感器部分所带的角速度传感器表示相机移动了多少。在本发明中，将该角速度传感器信息用作图像移动信息之一。

针对所获得的角速度传感器信息进行动态量的计算。角速度传感器的信息在变焦中的情况下和非变焦中的情况下动态量不同。即使角速度传感器信息小，只要被变焦，则作为动态量会变大，因此，在由角速度传感器信息计算动态量的情况下，将角速度传感器信息与变焦的倍率相乘之后得到的值用作动态量。

另外，作为图像移动信息之一，当用图像处理部107处理所输入的数据时，能够获得图4(a)以及图4(b)所示的频率信息。在图像处理部107中，能够获得整个图像的频率信息，也能够将画面分割成多个从而获得各自的频率信息。在编码判断处理部111中，根据该图像的频率信息进行编码判断处理。例如，按照每个区域计算出进行编码的图像数据的频率信息与在编码时参照的图像的频率信息的差分，如果该计算结果小，则判断为图像没有移动，向跳帧控制部113通知不实施编码。

另外，通过将上述像素移动信息、角速度传感器信息和频率信息组合，能够进行精确度更高的编码判断控制。

图5表示的是组合了像素移动信息和频率信息的静止图像跳过判断处理算法。在S101中，从像素移动计算部109获取像素移动信息。在S102中，从图像处理部107获取整个图像的频率信息。在S103中，基于从图像处理部107获取的频率信息进行判断。在判断为低频的情况下，与以往一样，在S104，对像素移动量和静止图像阈值进行比较，如果小于阈值，则判断为没有必要实施编码，通过跳帧控制部113进行跳帧处理S105。如果大于阈值，则判断为需要编码，在S106，由编码处理部110进行编码处理。

当在S103判断为高频时，在S107，对像素移动信息和阈值进行比较，但由于图像为高频，因此，如果压缩，则输出编码量会变多。因此，增大阈值，使跳帧判断容易进行。这样一来，能够维持每一帧的所分配的编码量。如果小于阈值，则判断为没有必要实施编码，利用跳帧控制部113进行跳帧处理S105。如果大于阈值，则判断需要编码，在S106，由编码处理部110进行编码处理。

接下来，使用附图6～附图8对编码判断处理部111的编码判断处理方法进行说明。

首先，用图6对运动小的场景的跳过判断进行说明。运动小的场景的帧之间的变化量(差分)小，这一点被作为特征而举出。在拍摄动态图像的过程中，即使跳过变化小的帧，也几乎不会产生视觉上的不协调。因此，利用变化量小的这一特征，在编码判断处理部111中，将用于判断运动小的场景的低阈值保持为静止图像阈值303。在图像移动信息301低于静止图像阈值303的情况下(进入区域302的情况)，判断为跳帧对象帧。

接下来，利用图7对运动激烈的场景的跳过判断进行说明。运动激烈的场景的帧之间的变化量(差分)大，这一点被作为特征而举出。另外，利用从有运动的图像获得的信息少这一人类的视觉特性。在拍摄动态图像的过程中，即使跳过运动激烈的帧，也会多少产生视觉上的不协调，但是，由于与静止的帧相比，用一帧获得的信息少，因此，作为所生成的流没有很大的影响。不分配编码量地画质变差这一点，作为流而言是致命的问题。因此，利用运动激烈的场景的变化量大的这一特征，在编码判断处理部111中，将用于判断运动激烈的场景的高阈值保持为动态图像阈值403。在图像移动信息401超过动态图像阈值403的情况下(进入到区域402的情况下)，判断为跳帧对象帧。

另外，在编码判断处理部111中，由于同时具有静止图像阈值和动态图像阈值，因此能够进行更好的跳帧控制。利用图8对该内容进行说明。

在编码判断处理部111利用动态图像阈值501和静止图像阈值502这两者进行编码判断处理。这样一来，即使针对动态图像拍摄中的场景变化也能够实施最佳的跳帧处理。503是判断为跳过对象帧的区域。

在想要抑制动态图像场景的跳帧的情况下，提高静止图像阈值502，使运动小的帧易于跳过；并提高动态图像阈值501，使运动激烈的场景难以跳过，由此，能够不使分配给一帧的编码量变化地抑制运动激烈的场景的跳帧判断。

相反，在想要抑制静止图像场景的跳帧的情况下，降低动态图像阈值501，使运动激烈的帧易于跳过；并提高静止图像阈值502，使运动小的场景难以跳过，由此，能够不使分配给一帧的编码量变化地抑制运动小的场景的跳帧判断。

接下来，对利用阈值修正部112的控制方法进行说明。存在高频部分占据画面的大半的场景、低频部分占据画面的大半的场景、运动小的场景以及运动激烈的场景等各种场景，与各场景相适应的阈值也不同。在进行动态图像拍摄的过程中，场景不断变化，因此，阈值也需要与其相应地进行变化。因此，在阈值修正部112，基于编码结果的信息，与所记录的场景相应地进行阈值的修正。

首先，利用图9对使用帧内宏块数的动态图像阈值修正控制算法进行说明。在S201中，获取在编码时能够从编码处理部110获取的帧内宏块数，并且，从编码判断处理部111获取编码时的图像移动信息。在S202中，在阈值修正部112，在所获取的图像移动信息小的情况下，由于运动小，因此，判断为没有必要修正动态图像阈值，且不进行阈值的修正。在图像移动信息大的情况下，判断可能是运动激烈的场景，在S203，基于帧内宏块数来决定阈值修正的动作。即，判断“产生帧内宏块＝运动激烈”，进行阈值修正。具体而言，在判断为帧内宏块数少的情况下，判断是运动不激烈的场景，提高动态图像阈值，使得难以进行跳帧的判断(S204)。在判断为帧内宏块数多的情况下，判断是运动激烈的场景，降低动态图像阈值，使得易于判断为跳帧(S205)。

接下来，利用图10对使用作为阈值修正用的参数而由编码处理部10输出的帧内的运动矢量的方法进行说明。在S301中，获取在编码时能够从编码处理部110获取的运动矢量，并且从编码判断处理部111获取编码时的图像移动信息。在S302中，在阈值修正部112，在所获取的图像移动信息小的情况下，因运动小而判断为没有必要修正动态图像阈值，因而不进行阈值的修正。在图像移动信息大的情况下，判断为可能是运动激烈的场景，在S303，基于动态矢量来决定阈值修正的动作。即，由于运动矢量表示编码帧和参照帧之间的宏块的移动量，因此，判断为“运动矢量大＝运动激烈”。在判断为运动矢量大的情况下，判断是运动激烈的场景，在S304，降低运动图像阈值，使得易于判断为跳帧。在判断为运动矢量小的情况下，判断是运动不激烈的场景，在S305，提高动态图像阈值，使得难以判断为跳帧。

接下来，利用图11对使用作为阈值修正用的参数而由编码处理部110输出的帧内的编码量和量化参数值(QP)的方法进行说明。在S401中，获取在编码时能够从编码处理部110获取的编码量和QP值，并从编码判断处理部111获取编码时的图像移动信息。在S402中，在阈值修正部112，在获取的图像移动信息大的情况下，因运动大而判断为没有必要修正静止图像阈值，因而不进行阈值的修正。在图像移动信息小的情况下，判断为可能是运动小的场景，在S403、S404以及S406，基于编码量和QP值来决定阈值修正的动作。

首先，在编码量小并且QP值小的情况下，由于编码效率好，因此，判断为即使编码也不会对每一帧的编码量分配产生影响，因而进行阈值修正。具体而言，当在S403判断为编码量小时，在S404，判断QP值的大小。当在S404判断为QP值小的情况下，能够判断为该帧是编码效率好的帧，在S405，降低静止图像阈值并使得难以进行跳帧判断。当在S404判断为QP值大时，编码量小是因为进行了高压缩，并不是因为编码效率好，因此，不进行静止图像阈值的修正。

另一方面，当在S403判断为编码量大时，在S406，判断QP值的大小。当在S406判断为QP值小时，编码量大是因为低压缩的缘故，因此，不进行静止图像阈值的修正。当在S406判断为QP值大时，判断为该帧是压缩效率差的帧，在S407，提高静止图像阈值。

接下来，利用图12和图13对跳帧控制部113的跳帧处理进行说明。

作为跳帧处理有两个方法。图12所示的是单纯的帧间隔剔除法。在判断为在帧601不实施编码的情况下，不进行该帧601的编码，废弃该帧601，由此来降低帧率。

但是，根据各种流的规格或产品的不同，也有以将帧率保持为恒定的方式进行规定的情况。在这种情况下，也存在插入图13所示的虚拟帧的方法。根据图13，在判断为在帧701不实施编码的情况下，废弃该帧701而替换成虚拟帧702。虚拟帧702是仅由进行了跳过后的宏块构成的帧、即只将与参照源相同的信息进行了编码的帧，因此，只由极少量的信息构成。因此，即使插入虚拟帧702来代替废弃的帧701，对分配给每一帧的编码量的影响也少。

接下来，对在编码判断处理部111进行编码判断处理的图片类型进行说明。在编码判断处理部111中，并不是对所有的帧进行编码判断处理，而是考虑编码时的图片类型进行判断。

在跳过图14(a)的成为P图片802的被参照帧的P图片801的帧的情况下，在P图片802中，需要参照空出一帧的I图片803的帧。在这种情况下，由于时间上的差分变大，因此，帧之间的差分也变大，编码量会增大。

但是，即使跳过图14(b)的B图片804、即不被参照的帧，之后的参照帧的关系也不会改变，因此，不会导致编码量的增加。因此，通过根据图片类型来进行编码判断处理，能够进行更好的跳帧处理。

另外，上述阈值需要根据比特率或帧率的不同而进行变更。图15(a)以及图15(b)表示的是比特率相同而帧率不同的流的编码量分配。与图15(b)相比，图15(a)的分配给每一帧的编码量小，因此，为了增加编码量分配，需要分别将静止图像阈值设定得较高，将动态图像阈值设定得较低，并更多地设定跳过的阈值。

另外，在编码判断处理中，如果按照每一帧或每一特定的图片类型来实施编码判断，则帧率不固定，可能产生视觉上的不协调。特别是在运动激烈的场景中过多地跳过帧的情况下，其不协调感表现显著。因此，如图16所示，当以帧901进行跳帧判断时，过渡到虚拟置换模式，从该帧开始在多个帧之间以恒定的间隔使帧跳过。这样一来，能够以特定的间隔保持帧率。

但是，如果进行上述处理，则帧的跳过率成为固定，就变得不能进一步降低帧率。因此，按照每一动态图像阈值和每一静止图像阈值准备多个阶段的阈值。根据图17所示的静止图像阈值的例子，利用上限阈值1001，以成为1/2的帧率的方式在范围1003内进行跳帧处理；利用下限阈值1002，以成为1/4的帧率的方式在范围1004内进行跳帧处理。通过像这样按照图像移动信息的值来改变跳帧率，从而按照每一特定的间隔动态地变更帧率。

另外，通过将上述编码结果的信息用作图像移动信息，也能够实现编码判断处理。在如图18所示，在不能事先获取为了实现简化处理和缩减电路规模而进行编码的帧的信息的情况下，将编码结果用作下一帧的图像移动信息，进行跳帧判断处理。不过，由于在编码判断的信息和进行判断的帧之间会产生一帧份的延时，因此，编码判断处理的精确度降低。

产业上的可利用性

本发明的信号处理装置以及动态图像拍摄装置在进行编码之前基于代表点匹配信息或角速度传感器信息进行编码判断，并基于编码结果来动态地变更编码判断阈值。这样一来，就能够进行与每一场景相适应的跳帧判断处理，能够增加每一帧的编码量，能够不产生视觉上和画质上的不协调感地实施编码，因此，作为信号处理装置以及动态图像拍摄装置很有用。

附图标记的说明

101图像数据输入装置

102信号处理装置

103数据通信装置

104数据存储装置

105拍摄部

106拍摄元件控制部

107图像处理部

108透镜控制部

109像素移动计算部

110编码处理部

111编码判断处理部

112阈值修正部

113跳帧控制部

114信息包生成部

115数据通信控制部

Claims

1.一种信号处理装置，对多个帧的图像数据进行压缩并生成流，上述信号处理装置具有：

编码处理部，对所输入的图像数据进行编码；

图像处理部，获取上述图像数据的频率信息；

编码判断处理部，通过对表示在两个帧之间的同一像素的移动量的图像移动信息和编码判断用阈值进行比较来进行编码实施判断；

跳帧控制部，在由上述编码判断处理部判断为不实施编码的情况下进行跳帧控制；以及

阈值修正部，基于帧内的编码量和量子化参数值、或帧内的运动矢量、或帧内宏块数来修正上述编码判断处理部的上述编码判断用阈值，

上述编码判断处理部，在设置静止图像阈值作为上述编码判断用阈值的情况下，按照在上述频率信息为高频时将上述编码判断用阈值增大，在上述频率信息为低频时不变更上述编码判断用阈值的方式，进行上述编码实施判断。

2.根据权利要求1所述的信号处理装置，其特征为，

还具有像素移动计算部，并且

将以由上述像素移动计算部进行的代表点匹配方式获得的像素移动信息作为在上述编码判断处理部使用的图像移动信息。

3.根据权利要求1所述的信号处理装置，其特征为，

还具有透镜控制部，并且

将能够从上述透镜控制部获取的角速度传感器信息作为在上述编码判断处理部使用的图像移动信息。

4.根据权利要求1所述的信号处理装置，其特征为，

还具有像素移动计算部和透镜控制部之中的至少一者，并且

将以由上述像素移动计算部进行的代表点匹配方式获得的像素移动信息和能够从上述透镜控制部获取的角速度传感器信息之中的至少一者与能够从上述图像处理部获取的上述频率信息进行组合，来作为上述编码判断处理部使用的图像移动信息。

5.根据权利要求1所述的信号处理装置，其特征为，

上述编码判断处理部设置静止图像阈值作为上述编码判断用阈值，且对低于上述静止图像阈值的帧不实施编码。

6.根据权利要求1所述的信号处理装置，其特征为，

上述编码判断处理部设置动态图像阈值作为上述编码判断用阈值，且对超过上述动态图像阈值的帧不实施编码。

7.根据权利要求1所述的信号处理装置，其特征为，

上述编码判断处理部设置静止图像阈值和动态图像阈值作为上述编码判断用阈值，且对低于上述静止图像阈值的帧和超过上述动态图像阈值的帧不实施编码。

8.根据权利要求1所述的信号处理装置，其特征为，

当由上述编码判断处理部判断为不实施编码时，在上述编码处理部不进行编码，并由上述跳帧控制部插入仅将与参照源相同的信息进行了编码的虚拟帧。

9.根据权利要求1所述的信号处理装置，其特征为，

上述编码判断处理部针对进行编码判断的帧，根据编码时的图片类型来进行判断。

10.根据权利要求1所述的信号处理装置，其特征为，

根据生成的流的比特率、帧率或图像分辨率，来变更在上述编码判断处理部中用于判断的上述编码判断用阈值。

11.根据权利要求1所述的信号处理装置，其特征为，

在由上述编码判断处理部判断为运动小的情况下、或判断为运动大的情况下，从所判断的帧起，在之后的多个帧之间以恒定的间隔执行跳帧。

12.根据权利要求1所述的信号处理装置，其特征为，

由上述编码判断处理部多阶段地设置上述编码判断用阈值，使连续进行跳帧的帧数变化。

13.根据权利要求1所述的信号处理装置，其特征为，

上述编码判断处理部取代上述图像移动信息，而使用从上述编码处理部获取的帧内的帧内宏块数、从上述编码处理部获取的帧内的运动矢量、从上述编码处理部获取的编码量、以及量化参数值中的任意一者来进行编码实施判断。