CN102804783B - 图像编码装置和相机系统 - Google Patents

图像编码装置和相机系统 Download PDF

Info

Publication number
CN102804783B
CN102804783B CN201180014229.5A CN201180014229A CN102804783B CN 102804783 B CN102804783 B CN 102804783B CN 201180014229 A CN201180014229 A CN 201180014229A CN 102804783 B CN102804783 B CN 102804783B
Authority
CN
China
Prior art keywords
image
picture coding
forecasting methodology
coding device
coded treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180014229.5A
Other languages
English (en)
Other versions
CN102804783A (zh
Inventor
植松良介
方城正博
小川雅裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN102804783A publication Critical patent/CN102804783A/zh
Application granted granted Critical
Publication of CN102804783B publication Critical patent/CN102804783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients

Abstract

一种图像编码装置和相机系统。本发明的压缩控制部(111)，基于编码对象图像的空间频率，能够执行将正方向预测、反方向预测、以及双方向预测当中的任何一个选择作为用于编码处理的预测方法的预测方法选择处理，基于对编码对象图像的移动量进行表示的图像移动信息来判定是否执行预测方法选择处理。

Description

图像编码装置和相机系统
技术领域
本发明涉及一种将移动图像进行编码的图像编码装置和包括该图像编码装置的相机系统。
背景技术
现有技术中已知通过使用依据MPEG(移动图像专家组)的方式来进行帧内编码和帧间编码的图像编码装置。在这样的图像编码装置中，近年来，伴随着高质量图像所用的图像尺寸的放大，编码处理中所必需的耗电和处理时间的增大正成为问题。为了解决这样的问题，专利文献1所公开的图像编码装置，根据分辨率设定或者帧速率设定等编码的执行环境，来选择使用双方向编码的参照模式和不使用双方向编码的参照模式当中的任何一个。由此，进行与执行环境相应的编码处理。
现有技术文献
专利文献
专利文献1：国际公开第2005/076629号公报
发明概要
发明所要解决的技术问题
但是，在上述专利文献1中，由于被摄影的图像的性质没有被反映在参照模式的选择中，因此根据图像的不同，图像质量会显著地劣化了。
发明内容
本发明是用于解决上述现有技术的问题点而提出的，其目的在于，防止由移动图像的编码处理引起的图像质量的劣化，并同时减少编码处理所必需的耗电和处理时间。
为了解决上述的技术问题，本发明的一个方式是将移动图像进行编码的图像编码装置，其特征在于，包括：压缩处理部，对编码对象图像的亮度数据和色差数据，进行编码处理，并输出编码数据；以及压缩控制部，基于编码对象图像的空间频率，能够执行将正方向预测、反方向预测、以及双方向预测当中的任何一个选择作为用于所述编码处理的预测方法的预测方法选择处理，且进行基于对所述编码对象图像的移动量进行表示的图像移动信息来判定是否执行该预测方法选择处理的场景判定。
根据该方式，能够基于编码对象图像的空间频率来决定用于编码处理的预测方法。因此，能够合适地决定用于编码处理的预测方法，使得图像质量的劣化的抑制效果以及编码处理所需的耗电及处理时间的削减效果得到增大。
发明效果
通过本发明，能够防止由移动图像的编码处理引起的图像质量的劣化，并且能够削减编码处理所需的耗电及处理时间。
附图说明
图1是表示本发明实施方式1的相机系统的构成的方框图。
图2是表示本发明实施方式1的压缩处理部和压缩控制部的动作的流程图。
图3是表示本发明实施方式1的变形例1的压缩处理部和压缩控制部的动作的流程图。
图4是表示本发明实施方式1的变形例2的压缩处理部和压缩控制部的动作的流程图。
图5是表示本发明实施方式1的变形例3的压缩处理部和压缩控制部的动作的流程图。
图6是表示本发明实施方式2的相机系统的构成的方框图。
图7是表示本发明实施方式2的压缩处理部和压缩控制部的动作的流程图。
图8是表示本发明实施方式2的变形例1的压缩处理部和压缩控制部的动作的流程图。
图9是表示本发明实施方式2的变形例2的压缩处理部和压缩控制部的动作的流程图。
图10是表示本发明实施方式3的压缩处理部和压缩控制部的动作的流程图。
具体实施方式
下面，参照附图，说明本发明的实施方式。而且，在下面的实施方式中，对于进行与其他的实施方式同样的动作的步骤，赋予相同的标记，并省略说明。
(实施方式1)
本发明实施方式1的相机系统100，如图1所示，包括：摄像装置101；摄像控制装置102；图像处理装置103；存储装置104；以及显示装置105。相机系统100，例如，被安装于网络相机、车载相机、数字视频相机、数字静止相机。
摄像装置101通过摄像元件将影像光变换成电信号。
摄像控制装置102取入由摄像装置101的摄像元件所得到的电信号，进行对该电信号的数字变换，输出影像信号。此外，摄像控制装置102对所述电信号的取入定时以及影像光向摄像装置101的摄像元件的照射时间进行控制。
图像处理装置103包括图像输入部106和图像编码装置107。
图像输入部106通过对由摄像控制装置102输出的影像信号，实施自动曝光(AE：AutomaticExposure)处理、色调补正(WB：WhiteBalance)处理、孔径处理、YC(亮度色差信号)处理、以及噪声除去处理，来生成图像的亮度数据和色差数据。此外，图像输入部106包括移动检测部108和频率检测部109。移动检测部108基于由摄像控制装置102输出的影像信号，通过代表匹配方式而求得移动量(图像移动信息)。频率检测部109基于由摄像控制装置102输出的影像信号，从多个频率检测范围中检测出由该图像信号所表示的图像的空间频率。频率检测范围是将一个图像分割成多个的分割区域，各个频率检测范围(分割区域)由多个宏块构成。
图像编码装置107对由图像输入部106生成的亮度数据和色差数据进行编码并输出编码数据。详细地，图像编码装置107包括压缩处理部110、压缩控制部111、以及显示IF(接口)112。
压缩处理部110对由图像输入部106所生成的编码对象图像的亮度数据和色差数据进行编码处理并作为编码数据而输出。该编码处理以依据MPEG的方式来进行。在该编码处理之时，尽管参照任何一个的参照图像，但是通过压缩控制部111来进行控制。此外，通过编码处理，求得移动矢量和编码量。
压缩控制部111，基于由移动检测部108求得的移动量以及由频率检测部109检测出的空间频率，选择在编码处理之时由压缩处理部110所参照的参照图像。然后，控制压缩处理部110，使得参照所选择的参照图像来进行编码处理。压缩控制部111包括场景(scene)判定部113和图像差异判定部114。
图像差异判定部114基于编码对象图像的空间频率，选择参照图像。就是说，图像差异判定部114基于编码对象图像的空间频率，执行从正方向预测、反方向预测、以及双方向预测当中选择用于压缩处理部110的编码处理的预测方法的预测方法选择处理。
场景判定部113针对作为双方向预测编码图像(对前方帧和后方帧进行参照的图像)而被压缩的图像，判定是否进行由图像差异判定部114进行的预测方法选择处理。该判定基于由移动检测部108求得的移动量而进行。
显示IF112输出由图像输入部106生成的亮度数据和色差数据。
存储装置104暂时存储通过图像处理装置103的图像编码装置107所输出的编码数据。
显示装置105基于通过图像编码装置107的显示IF112所输出的亮度数据和色差数据来显示图像。
下面，参照图2，按每个步骤来说明压缩处理部110和压缩控制部111的详细动作。该动作针对作为双方向预测编码图像(前方后方帧参照图像)而被压缩的图像来进行。此外，该图2的动作针对每1帧而进行。就是说，参照图像的选择按每1帧而进行，参照图像的控制从开始1帧的编码开始到结束为止不被切换。
在步骤201，场景判定部113判定由移动检测部108求得的移动量是否是规定以上，在是规定以上的情况下，判定为在图像差异判定部114中不进行预测方法选择处理。在移动量是规定以上的情况下，前进到步骤204，另一方面，在是不满足规定的情况下，处理前进到步骤202。
在步骤202中，图像差异判定部114读出由频率检测部109检测到的空间频率，判定在多个频率检测范围中的空间频率的平均值是否是规定以上。在该平均值是规定以上的情况下，前进到步骤205，另一方面，在是不满足规定的情况下，处理前进到步骤203。
在步骤203中，图像差异判定部114，在成为此次编码的对象的编码对象图像的前方图像和后方图像当中，选择在多个频率检测范围中空间频率的平均值接近编码对象图像的一方。在前方图像被选择的情况下，处理前进到步骤206，另一方面，在后方图像被选择的情况下，处理前进到步骤207。
在步骤204，压缩控制部111控制压缩处理部110，使得使用正方向预测、反方向预测、以及双方向预测的全部的预测方法来进行编码处理。根据该控制，压缩处理部110进行编码处理。此时，在压缩处理部110上，前方图像和后方图像的输入成为必需。
在步骤205，压缩控制部111控制压缩处理部110，使得将前方图像和后方图像两者作为参照图像来进行编码处理。就是说，压缩控制部111控制压缩处理部110，使得通过双方向预测来进行编码处理。根据该控制，压缩处理部110进行编码处理，确定效率最好的预测方法(使通过编码处理得到的数据的信息量变成最少的预测方法)，将通过使用该预测方法的编码处理所得到的数据作为编码数据而输出。此时，对于压缩处理部110，前方图像和后方图像的输入成为必需。在这样被编码的图像的解码处理时，仅基于由压缩控制部111决定的参照图像和解码对象图像之间的差分所选择出的一个参照图像成为必需。因此，能够减轻解码处理中的存储器访问量。
在步骤206，压缩控制部111控制压缩处理部110，使得仅将前方图像作为参照图像来进行编码处理。就是说，压缩控制部111控制压缩处理部110，使得通过正方向预测来进行编码处理。根据该控制，压缩处理部110进行编码处理。此时，对于压缩处理部110，前方图像的输入成为必需。在这样被编码的图像的解码处理时，仅前方图像成为必需。因此，能够减轻编码处理和解码处理两者的存储器访问量。
在步骤207，压缩控制部111控制压缩处理部110，使得仅将后方图像作为参照图像来进行编码处理。就是说，压缩控制部111控制压缩处理部110，使得通过反方向预测来进行编码处理。根据该控制，压缩处理部110进行编码。此时，对于压缩处理部110，后方图像的输入成为必需。在这样被编码的图像的解码处理时，仅后方图像成为必需。因此，能够减轻编码处理和解码处理两者的存储器访问量。
根据本实施方式，在图像的移动量小并且空间频率低时，在编码处理之时，由于仅参照一张参照图像，因此编码处理和解码处理中的存储器访问量被减轻。因此，能够降低耗电。此外，在图像的移动小并且空间频率低时，由于即使削减参照图像也会对图像质量的影响小，因此能够抑制图像质量的劣化。
(实施方式1的变形例1)
在本发明实施方式1的变形例1的相机系统100中，压缩处理部110和压缩控制部111，取代图2所示的动作而执行图3所示的动作。如图3所示，在本变形例中，压缩控制部111取代步骤203而执行步骤301的动作。
在步骤301，图像差异判定部114在成为此次编码的对象的编码对象图像的前方图像和后方图像当中，选择在上述多个频率检测范围中空间频率的积分值接近编码对象图像的一方。在前方图像被选择的情况下，处理前进到步骤206，另一方面，在后方图像被选择的情况下，处理前进到步骤207。
由于其余的构成和动作与实施方式1是相同的，因此在图3中对于相同的处理赋予相同的标识，并省略其详细的说明。
(实施方式1的变形例2)
在本发明实施方式1的变形例2的相机系统100中，压缩处理部110和压缩控制部111，取代图2所示的动作而执行图4所示的动作。如图4所示，在本变形例中，压缩控制部111取代步骤203而执行步骤401的动作。
在步骤401，图像差异判定部114在成为此次编码的对象的编码对象图像的前方图像和后方图像当中，选择与此次的编码对象图像之间的在上述多个频率检测范围中空间频率的差分的最大值较小的一方。在前方图像被选择的情况下，处理前进到步骤206，另一方面，在后方图像被选择的情况下，处理前进到步骤207。
由于其余的构成和动作与实施方式1是相同的，因此在图4中对于相同的处理赋予相同的标识，并省略其详细的说明。
(实施方式1的变形例3)
在本发明实施方式1的变形例3的相机系统100中，压缩处理部110和压缩控制部111，取代图2所示的动作而执行图5所示的动作。如图5所示，在本变形例中，压缩控制部111取代步骤203而执行步骤501的动作。
在步骤501，图像差异判定部114在成为此次编码的对象的编码对象图像的前方图像和后方图像当中，选择在上述多个频率检测范围当中、对与此次编码对象图像的空间频率之间的差分变得比阈值还大的空间频率进行检测的频率检测范围的数量较多的一方。在前方图像被选择的情况下，处理前进到步骤206，另一方面，在后方图像被选择的情况下，处理前进到步骤207。
由于其余的构成和动作与实施方式1是相同的，因此在图5中对于相同的处理赋予相同的标识，并省略其详细的说明。
(实施方式2)
本发明实施方式2的相机系统100，如图6所示，压缩控制部111，除了场景判定部113和图像差异判定部114之外，还包括编码量蓄积部601。该编码量蓄积部601蓄积由压缩处理部110的编码处理所求得的编码量。
此外，在本实施方式2的相机系统100中，压缩处理部110和压缩控制部111，取代图2所示的动作而执行图7所示的动作。如图7所示，在本实施方式2中，压缩控制部111在步骤201之前，执行步骤701的动作。
在步骤701，场景判定部113判定在编码量蓄积部601所蓄积的编码量是否超过规定的阈值，在超过的情况下，判定为图像是高压缩状态，另一方面，在没有超过的情况下，判定为图像是通常压缩状态。在判定为图像是高压缩状态的情况下，处理前进到步骤204，另一方面，在判定为图像是通常压缩状态的情况下，处理前进到步骤201。
用于步骤701的判定的阈值可以是固定值，但是也可以基于目标系统的位速率来控制。通过控制为当位速率高时高、当位速率低时低，能够效率良好地选择参照图像。
由于其余的构成和动作是与实施方式1相同的，因此在图6和图7中对于相同的构成和处理赋予相同的标识，并省略其详细的说明。
根据本实施方式2，通过抑制在高压缩时发生的图像质量的劣化，并且减轻编码处理和解码处理中的存储器访问量，能够削减耗电。
(实施方式2的变形例1)
在本发明实施方式2的变形例1的相机系统100中，压缩处理部110和压缩控制部111，取代图7所示的动作而执行图8所示的动作。如图8所示，在本变形例中，压缩控制部111取代步骤701而执行步骤801的动作。
在步骤801，场景判定部113判定由压缩处理部110进行的编码处理中所用的压缩率是否低于规定的阈值，在低于的情况下，判定为图像是高压缩状态，另一方面，在不低于的情况下，判定为图像是通常压缩状态。在判定为图像是高压缩状态的情况下，处理前进到步骤204，另一方面，在判定为图像是通常压缩状态的情况下，处理前进到步骤201。
用于步骤801的判定的阈值，也与实施方式2同样地可以是固定值，也可以基于目标系统的位速率来控制。
由于其余的构成和动作与实施方式2是相同的，因此在图8中对于相同的处理赋予相同的标识，并省略其详细的说明。
(实施方式2的变形例2)
在本发明实施方式2的变形例2的相机系统100中，压缩处理部110和压缩控制部111，取代图7所示的动作而执行图9所示的动作。如图9所示，在本变形例中，压缩控制部111取代步骤701而执行步骤901的动作。
在步骤901，场景判定部113判定由压缩处理部110进行的编码处理的位速率是否超过规定的阈值，在超过的情况下，判定为图像是高压缩状态，另一方面，在不超出的情况下，判定为图像是通常压缩状态。在判定为图像是高压缩状态的情况下，处理前进到步骤204，另一方面，在判定为图像是通常压缩状态的情况下，处理前进到步骤201。
由于其余的构成和动作与实施方式2是相同的，因此在图9中对于相同的处理赋予相同的标识，并省略其详细的说明。
(实施方式3)
在本发明实施方式3的相机系统100中，压缩处理部110和压缩控制部111，取代图7所示的动作而执行图10所示的动作。如图10所示，在本实施方式3中，在步骤701中，在判定为在编码量蓄积部601所蓄积的编码量没有超过规定的阈值的情况下，使处理前进到步骤1001。
在步骤1001中，压缩控制部111判定在编码量蓄积部601所蓄积的编码量是否低于规定的阈值，在低于的情况下，判定为图像是低压缩状态，另一方面，在不低于的情况下，判定为图像是通常压缩状态。在判定为图像是低压缩状态的情况下，处理前进到步骤203，另一方面，在判定为图像是通常压缩状态的情况下，处理前进到步骤201。
由于其余的构成和动作是与实施方式2相同的，因此在图10中对于相同的处理赋予相同的标识，并省略其详细的说明。
根据本实施方式3，在被编码的数据的量是对图像质量的劣化难以影响的低压缩时，会将前方图像和后方图像当中的任何一个选择作为参照图像，因此能够有效地降低编码处理和解码处理中的存储器访问量。因此，能够抑制图像质量的劣化，并且能够有效地降低耗电。
而且，尽管在上述实施方式1～3和它们的变形例中，由压缩控制部111进行的参照图像的选择(由场景判定部113进行的判定)是按照每1帧进行的，但是，也可以按照每个宏块等构成帧的一部分的分割区域来进行。由此，能够更高精细地进行参照图像的选择。
此外，尽管在上述实施方式1～3和它们的变形例中，在步骤201，基于由移动检测部108求得的移动量来判定是否进行预测方法选择处理，但是，也可以基于由透镜控制部(没有图示)求得的角速度信息、或者对于编码对象图像的一个之前的图像由压缩处理部110求得的移动矢量来进行判定。也可以基于由移动检测部108求得的移动量、上述角速度信息、以及上述移动矢量当中的两个或者全部来进行判定。当在是否进行预测方法选择处理的判定中使用由压缩处理部110求得的移动矢量的情况下，每个宏块的判定会变得容易。
此外，在预测方法选择处理或者是否进行该预测方法选择处理的判定中，通过使用现有技术的相机中所使用的信息(相机的角速度、移动矢量(图像移动信息)、空间频率等)，能够抑制处理的增加。
此外，在预测方法选择处理或者是否进行该预测方法选择处理的判定中，通过使用由编码处理所取得的压缩信息(编码量、位速率等)，能够选择在通常的动态图像摄影时与速率控制相应的最合适的预测方法。
此外，在上述实施方式1～3和它们的变形例中，在步骤202，基于在多个频率检测范围中的空间频率的平均值是否是规定以上，来判定了将处理进行到步骤205和步骤203的哪一个。但是，该判定也可以基于在多个频率检测范围中的空间频率当中超过规定阈值的空间频率的个数是否是规定个以上来进行。当在各个频率检测范围(分割区域)的每一个上进行由压缩控制部111进行的参照图像的选择(由场景判定部113进行的判定)的情况下，也可以基于该频率检测范围的空间频率是否是规定以上来进行该判定。
本发明如果是使用双方向预测编码的编码方式，则也能够适用于MPEG以外的编码方式。
产业上的可利用性
本发明作为将移动图像进行编码的图像编码装置和包括该图像编码装置的相机系统，是有用的。
附图标记说明
100相机系统
102摄像装置
102摄像控制装置
104存储装置
105显示装置
106图像输入部
107图像编码装置
110压缩处理部
111压缩控制部

Claims (17)

1.一种图像编码装置，是将移动图像进行编码的图像编码装置，包括：
压缩处理部，对编码对象图像的亮度数据和色差数据进行编码处理，并输出编码数据；以及
压缩控制部，进行基于表示所述编码对象图像的移动量的图像移动信息来判定是否执行预测方法选择处理的场景判定，所述预测方法选择处理基于所述编码对象图像的多个频率检测范围中的空间频率，在所述空间频率的平均值为小于规定时，将正方向预测、反方向预测当中的任何一个选择作为用于所述编码处理的预测方法，在所述空间频率的平均值为规定以上时，将双方向预测选择作为用于所述编码处理的预测方法，
由所述压缩控制部进行的场景判定是如下判定，即：在所述移动量为规定以上时，判定为不执行所述预测方法选择处理，在所述移动量为小于规定时，判定为执行所述预测方法选择处理，
所述压缩控制部在通过所述场景判定而判定为执行所述预测方法选择处理的情况下，执行所述预测方法选择处理。
2.根据权利要求1的图像编码装置，其特征在于，
所述图像移动信息包含以代表点匹配方式求得的像素移动信息。
3.根据权利要求1的图像编码装置，其特征在于，
该图像编码装置被安装于相机上，
所述图像移动信息包含所述相机的角速度信息。
4.根据权利要求1的图像编码装置，其特征在于，
所述图像移动信息包含针对成为此次编码处理的对象的图像的一个之前的图像而求得的移动矢量。
5.根据权利要求1的图像编码装置，其特征在于，
所述图像移动信息包含以代表点匹配方式所求得的像素移动信息、角速度信息、以及针对成为此次编码处理的对象的图像的一个之前的图像而求得的移动矢量当中的至少2者。
6.根据权利要求1的图像编码装置，其特征在于，
所述预测方法选择处理，在作为所述编码处理的方法而选择正方向预测、以及反方向预测的任何一个时，选择参照图像的在多个频率检测范围中的空间频率的平均值与编码对象图像接近的一方。
7.根据权利要求1的图像编码装置，其特征在于，
所述预测方法选择处理，在作为所述编码处理的方法而选择正方向预测、以及反方向预测的任何一个时，选择参照图像的在多个频率检测范围中的空间频率的积分值与编码对象图像接近的一方。
8.根据权利要求1的图像编码装置，其特征在于，
所述预测方法选择处理，在作为所述编码处理的方法而选择正方向预测、以及反方向预测的任何一个时，选择参照图像和编码对象图像的在多个频率检测范围中的空间频率的差分的最大值较小的一方。
9.根据权利要求1的图像编码装置，其特征在于，
所述预测方法选择处理，在作为所述编码处理的方法而选择正方向预测、以及反方向预测的任何一个时，选择参照图像的在多个频率检测范围当中、对与编码对象图像的空间频率之间的差分成为比阈值还大的空间频率进行检测的频率检测范围的数量较多的一方。
10.根据权利要求1的图像编码装置，其特征在于，
所述场景判定，除了所述图像移动信息之外，还基于表示所述图像的编码量的压缩状态判定值，来判定是否执行所述预测方法选择处理。
11.根据权利要求1的图像编码装置，其特征在于，
所述场景判定，除了所述图像移动信息之外，还基于表示所述编码处理的压缩率的压缩状态判定值，来判定是否执行所述预测方法选择处理。
12.根据权利要求1的图像编码装置，其特征在于，
所述场景判定，除了所述图像移动信息之外，还基于表示所述编码处理的位速率的压缩状态判定值，来判定是否执行所述预测方法选择处理。
13.根据权利要求10的图像编码装置，其特征在于，
所述场景判定，判定所述压缩状态判定值是否超过规定的第1阈值，基于该判定结果，来判定是否执行所述预测方法选择处理。
14.根据权利要求13的图像编码装置，其特征在于，
所述场景判定，判定所述压缩状态判定值是否低于规定的第2阈值，基于该判定结果，来判定是否执行所述预测方法选择处理。
15.根据权利要求1的图像编码装置，其特征在于，
由所述压缩控制部进行的场景判定是按照每个帧来进行的。
16.根据权利要求1的图像编码装置，其特征在于，
由所述压缩控制部进行的场景判定是按照每个构成帧的一部分的分割区域来进行的。
17.一种相机系统，包括：
权利要求1～16中的任何一项的图像编码装置；
摄像装置，通过摄像元件将影像光变换成电信号；
摄像控制装置，对由所述摄像元件得到的电信号的取入定时、影像光对所述摄像元件的照射时间进行控制，并且对所述电信号进行数字变换并作为影像信号来输出；
图像输入部，基于由所述摄像控制装置输出的影像信号，生成所述亮度数据和色差数据；
存储装置，暂时存储由所述图像编码装置的压缩处理部所输出的编码数据；以及
显示装置，基于由所述图像编码装置的图像输入部所生成的亮度数据和色差数据，来显示图像。
CN201180014229.5A 2010-03-17 2011-03-07 图像编码装置和相机系统 Active CN102804783B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010061521A JP5583439B2 (ja) 2010-03-17 2010-03-17 画像符号化装置及びカメラシステム
JP2010-061521 2010-03-17
PCT/JP2011/001332 WO2011114654A1 (ja) 2010-03-17 2011-03-07 画像符号化装置及びカメラシステム

Publications (2)

Publication Number Publication Date
CN102804783A CN102804783A (zh) 2012-11-28
CN102804783B true CN102804783B (zh) 2016-04-06

Family

ID=44648770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180014229.5A Active CN102804783B (zh) 2010-03-17 2011-03-07 图像编码装置和相机系统

Country Status (4)

Country Link
US (1) US8488892B2 (zh)
JP (1) JP5583439B2 (zh)
CN (1) CN102804783B (zh)
WO (1) WO2011114654A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6093009B2 (ja) * 2013-04-19 2017-03-08 日立マクセル株式会社 符号化方法及び符号化装置
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
JP6875821B2 (ja) * 2016-10-19 2021-05-26 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法およびプログラム
GB201717011D0 (en) 2017-10-17 2017-11-29 Nokia Technologies Oy An apparatus a method and a computer program for volumetric video
JP7224892B2 (ja) * 2018-12-18 2023-02-20 ルネサスエレクトロニクス株式会社 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0658057A3 (en) * 1993-12-13 1996-06-19 Sharp Kk Moving picture encoder.
CN101018334A (zh) * 2007-02-13 2007-08-15 武汉大学 一种快速实现双帧参考视频流的时域可伸缩编码的方法
CN101039423A (zh) * 2002-07-15 2007-09-19 株式会社日立制作所 动态图像编码方法及解码方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088391A (en) * 1996-05-28 2000-07-11 Lsi Logic Corporation Method and apparatus for segmenting memory to reduce the memory required for bidirectionally predictive-coded frames
CN1217852A (zh) * 1997-02-13 1999-05-26 三菱电机株式会社 动态图象预测方式
JPH11298902A (ja) * 1998-04-08 1999-10-29 Sony Corp 画像符号化装置および方法
US6671323B1 (en) * 1999-02-05 2003-12-30 Sony Corporation Encoding device, encoding method, decoding device, decoding method, coding system and coding method
EP1351510A4 (en) * 2001-09-14 2008-12-10 Ntt Docomo Inc ENCODING METHOD, DECODING METHOD, ENCODING APPARATUS, DECODING APPARATUS, IMAGE PROCESSING SYSTEM, ENCODING PROGRAM, AND DECODING PROGRAM
JP2005516501A (ja) * 2002-01-24 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Ｐｂフレームモードでのビデオ画像の符号化
JP2004088736A (ja) * 2002-06-28 2004-03-18 Matsushita Electric Ind Co Ltd 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
WO2004004357A1 (ja) * 2002-06-28 2004-01-08 Matsushita Electric Industrial Co., Ltd. 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
WO2005076629A1 (ja) 2004-02-09 2005-08-18 Sanyo Electric Co., Ltd 画像符号化装置及び方法、画像復号化装置及び方法、及び撮像装置
JP4867497B2 (ja) * 2006-06-21 2012-02-01 ソニー株式会社 情報処理装置および方法、復号装置および方法、プログラム、並びに情報処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0658057A3 (en) * 1993-12-13 1996-06-19 Sharp Kk Moving picture encoder.
CN101039423A (zh) * 2002-07-15 2007-09-19 株式会社日立制作所 动态图像编码方法及解码方法
CN101018334A (zh) * 2007-02-13 2007-08-15 武汉大学 一种快速实现双帧参考视频流的时域可伸缩编码的方法

Also Published As

Publication number Publication date
WO2011114654A1 (ja) 2011-09-22
JP2011199411A (ja) 2011-10-06
CN102804783A (zh) 2012-11-28
JP5583439B2 (ja) 2014-09-03
US8488892B2 (en) 2013-07-16
US20120321208A1 (en) 2012-12-20

Similar Documents

Publication Publication Date Title
US8000393B2 (en) Video encoding apparatus and video encoding method
JP2008219870A (ja) 動画像符号化方法及び動画像符号化装置
EP2727330B1 (en) Encoder-supervised imaging for video cameras
JP2007067469A (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
CN102804783B (zh) 图像编码装置和相机系统
KR101167645B1 (ko) 장면 전환 검출 방법 및 장치
CN108632527B (zh) 控制器、摄像机以及用于控制摄像机的方法
JP2007318617A (ja) 画像符号化装置、及び画像符号化プログラム
JP5649296B2 (ja) 画像符号化装置
JP2001251627A (ja) 符号化装置、符号化方法及びプログラムを記録した記録媒体
JP2005340896A (ja) 動画像符号化装置
EP3547684B1 (en) Method, device and system for encoding a sequence of frames in a video stream
JP2005341601A (ja) 動画像符号化装置
TWI493942B (zh) 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式
JP5585271B2 (ja) 動画像符号化装置
JP5321363B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムならびに映像伝送装置
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
JP6740533B2 (ja) 符号化装置、復号装置及びプログラム
JP2007228101A (ja) 動画像符号化装置
JP6239838B2 (ja) 動画像符号化装置、その制御方法、及び撮像装置
JP4829951B2 (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009118097A (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
US9860567B2 (en) Image processing apparatus, image processing method, and storage medium
JP2005122571A (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5880737B2 (ja) 動画像符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150914

Address after: Japan Osaka

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200528

Address after: Kyoto Japan

Patentee after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Prefecture, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.