CN100369490C - 图像处理设备 - Google Patents

图像处理设备 Download PDF

Info

Publication number
CN100369490C
CN100369490C CNB2004100970396A CN200410097039A CN100369490C CN 100369490 C CN100369490 C CN 100369490C CN B2004100970396 A CNB2004100970396 A CN B2004100970396A CN 200410097039 A CN200410097039 A CN 200410097039A CN 100369490 C CN100369490 C CN 100369490C
Authority
CN
China
Prior art keywords
frame
image signal
motion
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100970396A
Other languages
English (en)
Other versions
CN1638485A (zh
Inventor
福岛信男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1638485A publication Critical patent/CN1638485A/zh
Application granted granted Critical
Publication of CN100369490C publication Critical patent/CN100369490C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明的一种图像处理设备包括：输入单元，用来输入运动图像信号；抽取单元，用来抽取用于由输入单元输入的多个帧的运动图像信号的部分；编码单元，用来使用帧内编码和帧间预测编码而编码由抽取单元抽取的运动图像信号的所述部分；及控制单元，用来探测由输入单元输入的运动图像信号的所述部分外的区域中的图像的运动，并且用来按照运动探测的结果控制使用由编码单元进行的帧内编码来进行编码的时间。

Description

图像处理设备
技术领域
本发明涉及图像处理设备，更具体地说，涉及用于图像信号的编码处理。
背景技术
运动图像专家组(MPEG)技术称作用于图像信号的编码技术，并且在例如日本专利公开No.2002-199408和日本专利公开No.9-163379中描述。
在MPEG编码技术中，图像信号被分类成要编码的I帧、P帧、及B帧。对于I帧，使用仅在同一帧内的图像信号进行编码。对于P帧，使用以前I帧或P帧的图像信号进行运动补偿预测编码。对于B帧，使用以前I帧或P帧和以后I帧或P帧的图像信号进行运动补偿预测编码。
为了使用有限传输速率的传输路径传输MPEG编码的图像信号或者为了把MPEG编码的图像信号记录在记录介质中，最好每单位时间的数据量(数据速率)保持恒定。用来保持数据速率恒定的模式称作恒定位速率(CBR)模式。
在MPEG技术中，P帧和B帧使用其它帧的图像信号进行运动补偿预测编码。因而，如果在屏幕中有很大变化，例如，如果新物体突然出现在P帧的屏幕中，则预测误差增大。
而且，由于数据速率必须在CBR模式中保持恒定，所以如果预测误差由于这样一种大运动而增大，则量化步骤的宽度必须增大，以便减小数据的量。
因而，在包括大变化的一部分中的图像的质量，与其它帧相比被降低。
发明内容
即使很大变化出现在屏幕中时，本发明也能防止图像质量的降低。
根据本发明的一个方面，图像处理设备包括：输入单元，用来输入运动图像信号；抽取单元，用来抽取用于由输入单元输入的多个帧的运动图像信号的一部分；编码单元，用来使用帧内编码和帧间预测编码而编码由抽取单元抽取的运动图像信号的所述部分；及控制单元，用来探测由输入单元输入的运动图像信号的所述部分外的区域中的图像的运动，并且用来按照运动探测的结果控制使用由编码单元进行的帧内编码来进行编码的时间。
由下面参照附图对实施例如下描述，本发明的其他特征和优点将变得显而易见。
附图说明
图1表示根据本发明的图像捕获设备的结构。
图2表示在本发明的实施例中使用的图像。
图3A至3C表明在实施例中用来探测运动的操作。
图4表示代码量的变化。
图5是流程图，表示在实施例中用来控制编码处理的过程。
图6是说明图，表示在实施例中代码量的变化。
具体实施方式
图1是方块图，表示根据本发明实施例的图像捕获设备100的结构。
根据这个实施例的图像捕获设备100，除拍摄运动图像的功能外，具有拍摄静止图像的功能。
电荷耦合器件(CCD)101具有其数量适于拍摄静止图像的象素。
例如，尽管包括720+Y(水平方向)×480+X(垂直方向)的约350,000个象素对于通过通常的美国国家电视系统委员会(NTSC)系统得到运动图像就足够了，其中X和Y代表信号处理必需的几个象素，但在这个实施例中提供具有包括1,600+Y(水平方向)×1,200+X(垂直方向)的约2,000,000个象素的CCD，以便拍摄静止图像。
信号处理单元102把从CCD 101输出的图像信号转换成数字信号。在对图像信号进行其它的必要处理之后，信号处理单元102把处理的图像信号输出到存储器103。存储器103存储用于从信号处理单元102输出的多个帧的图像信号。切出单元104按照摄影模式从在存储器103中存储的图像信号抽取一个切出区域，并且把切出区域的图像信号输出到调整大小单元105。调整大小单元105根据摄影模式把从切出单元104输出的图像信号的象素数量减小到适于记录格式的象素数量，并且把处理的图像信号输出到编码单元106。
编码单元106按照来自控制单元110的指令按MPEG或联合图像专家组(JPEG)格式对图像信号编码，并且把编码的图像信号输出到记录单元107。记录单元107把编码的图像数据记录在记录介质108中。例如，磁盘介质用作在这个实施例中的记录介质。
运动探测单元109从在存储器103中存储的用于多个帧的图像信号探测在由切出单元104读出的切出区域与其它区域之间的运动向量，并且把运动向量输出到控制单元110。
控制单元110按照来自操作单元111的指令在用于静止图像的摄影模式与用于运动图像的摄影模式之间切换。在用于运动图像的摄影模式中，控制单元110按照来自运动探测单元109的输出控制由编码单元106进行的MPEG编码处理。
图2表示在这个实施例中使用的图像信号。
参照图2，从CCD 101读出的图像屏幕201由信号处理单元102处理。由切出单元104抽取切出区域202。调整大小屏幕203具有的图像尺寸在用于运动图像的摄影模式中由调整大小单元105减小。能按希望设置调整大小屏幕203的尺寸。
根据图像捕获设备，在用于静止图像的摄影模式中，当从操作单元111给出摄影指令时，控制单元110控制信号处理单元102，以存储用于在存储器103中的帧的图像信号。而且，控制单元110控制切出单元104和调整大小单元105以把在存储器103中存储的图像信号的尺寸减小到指定尺寸，并且把处理的图像信号输出到编码单元106。
在这个实施例中，在用于静止图像的摄影模式中，要拍摄的静止图像的尺寸(象素数量)能被设置到在图2中表示的图像屏幕201的尺寸内的希望尺寸。
编码单元106JPEG对从调整大小单元105输出的图像信号编码，并且把编码的图像信号输出到记录单元107。记录单元107把编码的静止图像信号记录在记录介质108中。
将描述在用于运动图像的摄影模式中进行的处理。
当从操作单元111给出用来启动拍摄运动图像的指令时，控制单元110控制信号处理单元102，以便对于每个帧把从CCD 101输出的图像信号顺序写在存储器103中。在用于运动图像的摄影模式中，图像信号的预定切出区域(象素的数量)202由切出单元104从在存储器103中存储的在图2中表示的图像屏幕201抽取，并且输出到调整大小单元105。在如上所述顺序处理图像信号之后，处理的图像信号被输出到编码单元106。编码单元106对已处理的运动图像数据编码，并且记录单元107把编码的运动图像数据记录在记录介质108中。如上所述，在用于运动图像的摄影模式中，从CCD 101输出的部分图像被抽取和记录。
在用于运动图像的摄影模式中，控制单元110按照由运动探测单元109探测的输出控制编码单元106。
接着描述由控制单元110进行的控制操作。
图3A至3C表示在摄影场景中的图像。图3A、3B、及3C分别表示在时刻Ta、Tb、及Tc的图像。
参照图3A至3C，图像屏幕301的尺寸等于从CCD 101输出的图像的尺寸，如在图2中表示的图像屏幕201中那样。而且，记录区域302代表在用于运动图像的摄影模式中由切出单元104抽取的区域，如在图2中表示的切出区域202中那样。提供物体303和304。
在图3A表示的时刻Ta，物体303存在于记录区域302内。如图3B和3C中所示，物体304随着从时刻Tb到时刻Tc的一段时间，在时刻Tc时在记录区域302中运动。
图4表示当像在图3A至3C中表示的这样一种场景被MPEG编码时的数据的量。
参照图4，I代表I帧，而P代表P帧。为了解释更简单起见，表示其中没有B帧的例子。而且，帧号码被添加在用于帧号码的轴线上，以便顺序代表帧。
这里，每五个帧插入I帧。
在帧类型下面表示时刻Ta、Tb、及Tc。用于每帧的数据量相对地表示在数据量的轴线上。为了解释更简单起见，数据量被分类成四级作为近似值。这里，较大数字代表较大量的数据。
在CBR模式中，控制数据量，从而数据的平均量是12/5。
由于在时刻Ta的帧1是I帧，I帧具有大量数据，级是4。然后，由于帧2至5是P帧，P帧具有较小量数据，级是2。
由于在以前的I帧之后在时刻Tb的帧6是五个帧，所以帧6是I帧，并且帧6的级是4。
尽管在时刻Tb的帧以后的帧7是P帧，但由于物体304在时刻Tc运动到记录区域302内，所以在帧6与7之间的差增大。因而，数据量的级是3。
帧8的数据量的级应该是2，因为在帧7与8之间有较小的差。然而，由于是以前帧的帧7的级是3，所以如果帧8的级被设置到2，则在预定时刻的平均数据量超过一个基准量。因而，帧8的数据量的级不可避免地设置到1。然后，帧9和10的级是2。在帧11中，插入I帧，并且数据量的级是4。因而，从帧6至10的平均数据量是12/5。
如果如上述那样通过在预定时段处插入I帧进行编码，则当新物体突然运动到屏幕中时，如图3C中所示，代码的量增大，并且图像的质量降低。
在这个实施例中，在用于运动图像的摄影模式中，如图3B和3C中所示，探测在记录区域302外的物体的运动，并且按照运动探测的结果改变编码处理。
换句话说，在图1中表示的运动探测单元109从在存储单元103中存储的用于两个连续帧的图像探测在记录区域302外的图像的运动向量，并且把结果输出到控制单元110。
更具体地说，在图3B中表示的屏幕中，使用紧在前面的屏幕的图像信号探测物体304的运动向量。在这种情况下，由于探测到物体304向屏幕左方的运动，所以关于物体的位置的信息和探测的运动向量输出到控制单元110。
如果例如按照来自运动探测单元109的输出在时刻Tb的帧是I帧，则控制单元110控制编码单元106，以延迟用来插入I帧的时刻并且把在时刻Tb的屏幕编码为P帧。
接下来参考图5所示的流程图描述当进行编码处理时由控制单元110进行的处理。
当编码处理开始时，代表I帧的插入间隔的I_CNT设置到4，并且代表用来计数被处理的帧数的变量的F_CNT设置到0(步骤S501)。换句话说，当帧数量通过从0计数变成4时，插入I帧。然后，确定F_CNT是否大于或等于I_CNT(步骤S502)。如果F_CNT大于或等于I_CNT，即，如果F_CNT是4或更大，则确定在这种计时下应该插入I帧。在步骤S503，按照来自运动探测单元109的输出确定用来插入I帧的时刻是否应该延迟。
运动探测单元109探测在图3A至3C中表示的图像屏幕301中的记录区域302外的图像的运动向量。假设在特定宏块内的物体以相同速度运动，运动探测单元109预测物体运动到记录区域302内的时刻。
当预测在记录区域302外的物体在与以后帧相对应的时刻运动到记录区域302内时，输出一个延迟信号。
当没有从运动探测单元109输出延迟信号时，控制单元110控制编码单元106以把帧编码为I帧(步骤S504)，并且把F_CNT设置到0(步骤S505)。然后，过程返回到步骤S502。
如果在步骤S503从运动探测单元109输出用于I帧的延迟信号，则编码单元106被控制成把帧编码为P帧(步骤S506)，并且把1添加到F_CNT上(步骤S507)。然后，过程返回到步骤S502。
而且，如果在步骤S502中F_CNT没有达到I_CNT(4)，则确定不是用来插入I帧的时刻，并且把帧编码为P帧(步骤S506)，及把1添加到F_CNT上(步骤S507)。然后，过程返回到步骤S502。
图6表示当在图3A至3C中表示的场景被按上述那样编码时的数据量。
由于在时刻Ta的帧1是具有大量数据的I帧，所以级是4。然后，由于帧2至5是具有相对较小数据量的P帧，所以级是2。
尽管在时刻Tb的帧6应该是I帧，但由于帧6是在以前I帧之后的五个帧，所以这里反映由运动探测单元109进行的探测结果。
这里，运动探测单元109对于在存储器103中存储的多个帧探测在图像信号的记录区域302外的区域中的运动。尽管物体304位于在图3B中的记录区域302外，但预测物体304在与以后帧相对应的时刻运动到记录区域302内。
运动探测单元109把一个用来延迟I帧插入的延迟信号输出到控制单元110。
控制单元110接收延迟信号，并且控制编码单元106，以延迟I帧的插入。
因而，编码单元106把帧6编码为P帧而不编码为I帧。因而，数据量的级是2。物体304在时刻Tc运动到屏幕内，并且在帧6与7之间的图像差增大。然而，由于控制单元110预先接收到延迟信号，所以控制单元110指令编码单元106把帧7编码为I帧。因而，帧7的数据量的级是4。
计数以后的帧用于参照帧7插入I帧。
换句话说，帧8到11被编码为P帧。由于有来自相应以前帧的很小图像差，所以数据量是2。对于帧12，如果没有图像运动到记录区域302中，则不输出延迟信号，并且插入I帧。因而，数据量是4。
在这种情况下，帧1至5的平均值和帧7至11的平均值的每一个是12/5。然而，帧2至6的平均值是10/5，并且这落在希望的数据率12/5以下。
尽管这没有严格地定义为CBR，但不需要增大在仅包括很小图像变化的区域中的数据量。换句话说，不降低图像质量的数据量的减小不会引起实际问题。
如上所述，根据这个实施例，当拍摄图像的部分被抽取、被编码为运动图像、及记录时，探测在记录区域外的物体的运动。如果确定新物体运动到记录区域内，则改变用来插入I帧的时刻。因而，能防止归因于预测误差的增大的图像质量的降低。
尽管在上述实施例中描述了其中通过使用对于静止图像摄影比对于运动图像摄影具有更多象素的CCD而拍摄和编码一个运动图像信号的情形，但本发明不限于此。本发明也适用于装有比与记录区域相对应的象素有更多象素的CCD的图像捕获设备，以便补偿在拍摄运动图像时的模糊。
更具体地说，为了补偿模糊，例如，根据整个图像的运动向量运动在图2中表示的图像的切出区域202。在这样一种布置中，预测来自切出区域外的区域的物体的运动，并且改变用来插入I帧的时刻。因而，能防止归因于代码量增大的图像质量的降低。
而且，尽管作为在上述实施例中的规则对于每五个帧插入I帧，但当延迟I帧的插入时，该延迟引起与规则的偏差。此外，数据量临时落到平均值以下。
这在上述实施例中不重要，然而，依据该系统可能出现不方便。
在这种情况下，即使延迟I帧的插入，下个I帧也可以被控制成在用于插入的原始计划时刻被插入。
例如，在图6中，对于每五个帧：在帧1、帧6、及帧11中应该原始插入I帧。在这种情况下，即使当延迟I帧在帧6中的插入时，下个I帧也被插入在帧12中。
这种布置能与其中对于每五个帧插入I帧的布置相一致，并且与恒定位速率的规则相一致。通过改变控制单元110的控制程序能进行这种布置。
而且，用户能按希望改变在用于运动图像的摄影模式中要抽取的图像的区域。
尽管参照当前认为是实施例的方案已经描述了本发明，但要理解，本发明不限于公开的实施例。相反，本发明打算覆盖包括在所附权利要求书的精神和范围内的各种修改和等效布置。如下权利要求书的范围要符合最广义的解释，以便包容所有这样的修改和等效结构与功能。

Claims (9)

1.一种图像处理设备，包括：
输入装置，用来输入运动图像信号；
抽取装置，用来抽取用于由所述输入装置输入的多个帧的运动图像信号的一抽取部分；
编码装置，用来使用帧内编码和帧间预测编码对由所述抽取装置抽取的所述运动图像信号的所述抽取部分编码；
其特征在于还包括：
控制装置，用来探测在由所述输入装置输入的所述运动图像信号的所述抽取部分外的区域中的图像的运动，并且用来按照运动探测的结果控制用于使用所述由编码装置进行的所述帧内编码进行编码的时间。
2.根据权利要求1所述的设备，其中：
所述控制装置探测在当前帧中的所述抽取部分外的所述区域中的所述图像在连续随后帧中运动到所述抽取部分内；并且
所述控制装置把所述编码装置控制成，使用所述帧间预测编码而对在所述当前帧中的所述图像信号编码并且使用所述帧内编码而对在所述连续随后帧中的所述图像信号编码。
3.根据权利要求1所述的设备，其中：
所述编码装置对于预定帧间隔下的每个帧使用所述帧内编码进行编码；并且
即使当相应当前帧使用所述帧内编码被编码时，当在所述相应当前帧中的所述抽取部分外的所述区域中的所述图像被探测到在所述连续随后帧中运动到所述抽取部分内时，所述控制装置也把所述编码装置控制成，使用所述帧间预测编码而对所述当前帧编码。
4.根据权利要求1所述的设备，其中由所述抽取装置抽取的所述部分的尺寸是可变的。
5.根据权利要求1所述的设备，还包括：
设置装置，用来设置运动模式和静止图像模式，在所述运动模式中，所述编码装置对由所述输入装置输入的所述运动图像信号编码，而在所述静止图像模式中，由所述输入装置输入的运动图像信号的一个帧被选择，并且所述编码装置对所述被选择的帧的所述图像信号编码，其中
在所述静止模式中由所述抽取装置抽取的区域大于在所述运动图像模式中由所述抽取装置抽取的所述部分。
6.根据权利要求1所述的设备，其中：
所述输入装置包括用来存储用于所述多个帧的所述运动图像信号的存储器；并且
所述控制装置使用在所述存储器中存储的用于所述多个帧的所述运动图像信号探测运动。
7.根据权利要求1所述的设备，其中：
所述输入装置包括用来拍摄物体和输出所述运动图像信号的图像捕获单元。
8.根据权利要求7所述的设备，其中：
所述抽取装置包括用来存储由所述图像捕获单元获得的所述运动图像信号的存储器；并且
通过按照根据所述运动图像信号的所述图像运动量而改变在所述存储器中存储的所述运动图像信号的所述部分的位置，补偿根据所述运动图像信号的图像模糊。
9.根据权利要求1所述的设备，还包括用来把由所述编码装置编码的所述运动图像信号的所述抽取部分记录到记录介质中的记录装置。
CNB2004100970396A 2003-12-22 2004-12-21 图像处理设备 Expired - Fee Related CN100369490C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003424743A JP2005184626A (ja) 2003-12-22 2003-12-22 画像処理装置
JP424743/2003 2003-12-22

Publications (2)

Publication Number Publication Date
CN1638485A CN1638485A (zh) 2005-07-13
CN100369490C true CN100369490C (zh) 2008-02-13

Family

ID=34544931

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100970396A Expired - Fee Related CN100369490C (zh) 2003-12-22 2004-12-21 图像处理设备

Country Status (5)

Country Link
US (1) US7412079B2 (zh)
EP (1) EP1549078A3 (zh)
JP (1) JP2005184626A (zh)
KR (1) KR100675387B1 (zh)
CN (1) CN100369490C (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4726577B2 (ja) * 2005-08-25 2011-07-20 富士フイルム株式会社 スライドショー生成装置およびスライドショー用データ生成装置ならびにそれらの制御方法ならびにそれらを制御するプログラム
KR101532610B1 (ko) * 2009-01-22 2015-06-30 삼성전자주식회사 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터판독가능 저장매체
CN103891285A (zh) * 2011-10-20 2014-06-25 索尼公司 图像处理装置和方法
JP6066561B2 (ja) * 2012-01-26 2017-01-25 キヤノン株式会社 映像処理装置、映像処理方法およびプログラム
US10536702B1 (en) 2016-11-16 2020-01-14 Gopro, Inc. Adjusting the image of an object to search for during video encoding due to changes in appearance caused by camera movement

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1177259A (zh) * 1996-05-29 1998-03-25 三星电子株式会社 包含随机目标对象的活动图象的编码和解码系统
CN1202675A (zh) * 1997-03-26 1998-12-23 松下电器产业株式会社 图象解码装置
US6052417A (en) * 1997-04-25 2000-04-18 Sharp Kabushiki Kaisha Motion image coding apparatus adaptively controlling reference frame interval
CN1281310A (zh) * 1999-07-20 2001-01-24 Lg情报通信株式会社 传送静止图像的终端和方法
CN1283364A (zh) * 1997-10-27 2001-02-07 三菱电机株式会社 图像编码装置、图像编码方法、图像解码装置及图像解码方法
CN1360439A (zh) * 2000-12-12 2002-07-24 株式会社东芝 图像处理装置和使用它的电视接收装置和图像重放装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969039A (en) * 1987-07-01 1990-11-06 Nec Corporation Image processing system operable in cooperation with a recording medium
JPH05111008A (ja) * 1991-10-15 1993-04-30 Sony Corp 情報伝送装置及び情報受信装置
DE69536096D1 (de) * 1994-03-25 2010-09-30 Nec Corp Bildwiedergabevorrichtung
US5802211A (en) * 1994-12-30 1998-09-01 Harris Corporation Method and apparatus for transmitting and utilizing analog encoded information
US5682204A (en) * 1995-12-26 1997-10-28 C Cube Microsystems, Inc. Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
EP0822724A3 (en) * 1996-07-03 1999-06-02 Victor Company Of Japan, Limited Digital video signal recording and/or reproducing apparatus
KR100504416B1 (ko) * 1997-03-19 2005-10-21 소니 가부시끼 가이샤 화상부호화방법및장치
US6512793B1 (en) * 1998-04-28 2003-01-28 Canon Kabushiki Kaisha Data processing apparatus and method
JP3794529B2 (ja) 1998-12-24 2006-07-05 カシオ計算機株式会社 動画像記録装置、及び、動画像符号化方法
EP1244311A3 (en) * 2001-03-22 2004-10-06 Sony Corporation Picture encoding
US6804301B2 (en) * 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
US6954544B2 (en) * 2002-05-23 2005-10-11 Xerox Corporation Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences
JP2004096557A (ja) * 2002-09-02 2004-03-25 Canon Inc 画像処理装置及び画像処理方法
KR100615397B1 (ko) * 2003-03-20 2006-08-25 실리콤텍(주) 움직임 검출기능이 내장된 ｃｍｏｓ 이미지 센서 및 움직임 검출방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1177259A (zh) * 1996-05-29 1998-03-25 三星电子株式会社 包含随机目标对象的活动图象的编码和解码系统
CN1202675A (zh) * 1997-03-26 1998-12-23 松下电器产业株式会社 图象解码装置
US6052417A (en) * 1997-04-25 2000-04-18 Sharp Kabushiki Kaisha Motion image coding apparatus adaptively controlling reference frame interval
CN1283364A (zh) * 1997-10-27 2001-02-07 三菱电机株式会社 图像编码装置、图像编码方法、图像解码装置及图像解码方法
CN1281310A (zh) * 1999-07-20 2001-01-24 Lg情报通信株式会社 传送静止图像的终端和方法
CN1360439A (zh) * 2000-12-12 2002-07-24 株式会社东芝 图像处理装置和使用它的电视接收装置和图像重放装置

Also Published As

Publication number Publication date
CN1638485A (zh) 2005-07-13
JP2005184626A (ja) 2005-07-07
EP1549078A3 (en) 2009-04-22
US7412079B2 (en) 2008-08-12
KR100675387B1 (ko) 2007-01-29
KR20050063724A (ko) 2005-06-28
EP1549078A2 (en) 2005-06-29
US20050135686A1 (en) 2005-06-23

Similar Documents

Publication Publication Date Title
KR100464075B1 (ko) 비디오 하이라이트 자동 생성 방법 및 장치
CN1879409B (zh) 记录装置及方法、再生装置及方法
US5459517A (en) Moving picture scene detection system
US5493345A (en) Method for detecting a scene change and image editing apparatus
US6546189B1 (en) Method and apparatus for editing compressed moving pictures and storage medium
EP0590974B1 (en) Coded video data editing apparatus and edited coded video data decoding apparatus
CN1838737B (zh) 帧速率变换装置、摇摄/倾斜判断装置及视频装置
EP2028842A2 (en) Image signal recording/reproducing apparatus and method
EP0762778A2 (en) Video data encoding and recording
US20030147462A1 (en) Image data encoding and decoding using plural different encoding circuits
EP1195696A2 (en) Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method
EP0626789A2 (en) Image encoding apparatus and recording medium
US6819715B2 (en) Image decoding method, image decoding apparatus, and data storage medium
CN106165417A (zh) 图像处理设备和图像处理方法
CN100369490C (zh) 图像处理设备
US5793894A (en) Image data editing apparatus and decoding apparatus
EP1137265A2 (en) Image change detection apparatus, method, and program
US5122874A (en) Coding arrangement including variable length encoder incorporating a buffer filling control based on averaged block quality, and an associated decoding device
JP2002199398A (ja) 可変ビットレート動画像符号化装置および記録媒体
KR100201231B1 (ko) 가변속도 재생작동중 개량된 성능을 수행하는 압축 비디오 데이터 기록방법 기록장치
US7444025B2 (en) Motion encoding of still images
KR0166719B1 (ko) 디지탈카메라의 영상부호화방법 및 장치
US20010005451A1 (en) Image intermittent recording device and its method
EP0899962A2 (en) Apparatus for recording a digital picture
CN116546153A (zh) 图像处理设备、图像处理方法和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080213

Termination date: 20161221