CN1638485A - 图像处理设备 - Google Patents

图像处理设备 Download PDF

Info

Publication number
CN1638485A
CN1638485A CNA2004100970396A CN200410097039A CN1638485A CN 1638485 A CN1638485 A CN 1638485A CN A2004100970396 A CNA2004100970396 A CN A2004100970396A CN 200410097039 A CN200410097039 A CN 200410097039A CN 1638485 A CN1638485 A CN 1638485A
Authority
CN
China
Prior art keywords
frame
motion
image signal
image
input unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100970396A
Other languages
English (en)
Other versions
CN100369490C (zh
Inventor
福岛信男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1638485A publication Critical patent/CN1638485A/zh
Application granted granted Critical
Publication of CN100369490C publication Critical patent/CN100369490C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明的一种图像处理设备包括：输入单元，用来输入运动图像信号；抽取单元，用来抽取用于由输入单元输入的多个帧的运动图像信号的部分；编码单元，用来使用帧内编码和帧间预测编码而编码由抽取单元抽取的运动图像信号的所述部分；及控制单元，用来探测由输入单元输入的运动图像信号的所述部分外的区域中的图像的运动，并且用来按照运动探测的结果控制使用由编码单元进行的帧内编码来进行编码的时间。

Description

图像处理设备
技术领域
本发明涉及图像处理设备，更具体地说，涉及用于图像信号的编码处理。
背景技术
运动图像专家组(MPEG)技术称作用于图像信号的编码技术，并且在例如日本专利公开No.2002-199408和日本专利公开No.9-163379中描述。
在MPEG编码技术中，图像信号被分类成要编码的I帧、P帧、及B帧。对于I帧，使用仅在同一帧内的图像信号进行编码。对于P帧，使用以前I帧或P帧的图像信号进行运动补偿预测编码。对于B帧，使用以前I帧或P帧和以后I帧或P帧的图像信号进行运动补偿预测编码。
为了使用有限传输速率的传输路径传输MPEG编码的图像信号或者为了把MPEG编码的图像信号记录在记录介质中，最好每单位时间的数据量(数据速率)保持恒定。用来保持数据速率恒定的模式称作恒定位速率(CBR)模式。
在MPEG技术中，P帧和B帧使用其它帧的图像信号进行运动补偿预测编码。因而，如果在屏幕中有很大变化，例如，如果新物体突然出现在P帧的屏幕中，则预测误差增大。
而且，由于数据速率必须在CBR模式中保持恒定，所以如果预测误差由于这样一种大运动而增大，则量化步骤的宽度必须增大，以便减小数据的量。
因而，在包括大变化的一部分中的图像的质量，与其它帧相比被降低。
发明内容
即使很大变化出现在屏幕中时，本发明也能防止图像质量的降低。
根据本发明的一个方面，图像处理设备包括：输入单元，用来输入运动图像信号；抽取单元，用来抽取用于由输入单元输入的多个帧的运动图像信号的一部分；编码单元，用来使用帧内编码和帧间预测编码而编码由抽取单元抽取的运动图像信号的所述部分；及控制单元，用来探测由输入单元输入的运动图像信号的所述部分外的区域中的图像的运动，并且用来按照运动探测的结果控制使用由编码单元进行的帧内编码来进行编码的时间。
由下面参照附图对实施例如下描述，本发明的其他特征和优点将变得显而易见。
附图说明
图1表示根据本发明的图像捕获设备的结构。
图2表示在本发明的实施例中使用的图像。
图3A至3C表明在实施例中用来探测运动的操作。
图4表示代码量的变化。
图5是流程图，表示在实施例中用来控制编码处理的过程。
图6是说明图，表示在实施例中代码量的变化。
具体实施方式
图1是方块图，表示根据本发明实施例的图像捕获设备100的结构。
根据这个实施例的图像捕获设备100，除拍摄运动图像的功能外，具有拍摄静止图像的功能。
电荷耦合器件(CCD)101具有其数量适于拍摄静止图像的象素。
例如，尽管包括720+Y(水平方向)×480+X(垂直方向)的约350,000个象素对于通过通常的美国国家电视系统委员会(NTSC)系统得到运动图像就足够了，其中X和Y代表信号处理必需的几个象素，但在这个实施例中提供具有包括1,600+Y(水平方向)×1,200+X(垂直方向)的约2,000,000个象素的CCD，以便拍摄静止图像。
信号处理单元102把从CCD 101输出的图像信号转换成数字信号。在对图像信号进行其它的必要处理之后，信号处理单元102把处理的图像信号输出到存储器103。存储器103存储用于从信号处理单元102输出的多个帧的图像信号。切出单元104按照摄影模式从在存储器103中存储的图像信号抽取一个切出区域，并且把切出区域的图像信号输出到调整大小单元105。调整大小单元105根据摄影模式把从切出单元104输出的图像信号的象素数量减小到适于记录格式的象素数量，并且把处理的图像信号输出到编码单元106。
编码单元106按照来自控制单元110的指令按MPEG或联合图像专家组(JPEG)格式对图像信号编码，并且把编码的图像信号输出到记录单元107。记录单元107把编码的图像数据记录在记录介质108中。例如，磁盘介质用作在这个实施例中的记录介质。
运动探测单元109从在存储器103中存储的用于多个帧的图像信号探测在由切出单元104读出的切出区域与其它区域之间的运动向量，并且把运动向量输出到控制单元110。
控制单元110按照来自操作单元111的指令在用于静止图像的摄影模式与用于运动图像的摄影模式之间切换。在用于运动图像的摄影模式中，控制单元110按照来自运动探测单元109的输出控制由编码单元106进行的MPEG编码处理。
图2表示在这个实施例中使用的图像信号。
参照图2，从CCD 101读出的图像屏幕201由信号处理单元102处理。由切出单元104抽取切出区域202。调整大小屏幕203具有的图像尺寸在用于运动图像的摄影模式中由调整大小单元105减小。能按希望设置调整大小屏幕203的尺寸。
根据图像捕获设备，在用于静止图像的摄影模式中，当从操作单元111给出摄影指令时，控制单元110控制信号处理单元102，以存储用于在存储器103中的帧的图像信号。而且，控制单元110控制切出单元104和调整大小单元105以把在存储器103中存储的图像信号的尺寸减小到指定尺寸，并且把处理的图像信号输出到编码单元106。
在这个实施例中，在用于静止图像的摄影模式中，要拍摄的静止图像的尺寸(象素数量)能被设置到在图2中表示的图像屏幕201的尺寸内的希望尺寸。
编码单元106 JPEG对从调整大小单元105输出的图像信号编码，并且把编码的图像信号输出到记录单元107。记录单元107把编码的静止图像信号记录在记录介质108中。
将描述在用于运动图像的摄影模式中进行的处理。
当从操作单元111给出用来启动拍摄运动图像的指令时，控制单元110控制信号处理单元102，以便对于每个帧把从CCD 101输出的图像信号顺序写在存储器103中。在用于运动图像的摄影模式中，图像信号的预定切出区域(象素的数量)202由切出单元104从在存储器103中存储的在图2中表示的图像屏幕201抽取，并且输出到调整大小单元105。在如上所述顺序处理图像信号之后，处理的图像信号被输出到编码单元106。编码单元106对已处理的运动图像数据编码，并且记录单元107把编码的运动图像数据记录在记录介质108中。如上所述，在用于运动图像的摄影模式中，从CCD 101输出的部分图像被抽取和记录。
在用于运动图像的摄影模式中，控制单元110按照由运动探测单元109探测的输出控制编码单元106。
接着描述由控制单元110进行的控制操作。
图3A至3C表示在摄影场景中的图像。图3A、3B、及3C分别表示在时刻Ta、Tb、及Tc的图像。
参照图3A至3C，图像屏幕301的尺寸等于从CCD 101输出的图像的尺寸，如在图2中表示的图像屏幕201中那样。而且，记录区域302代表在用于运动图像的摄影模式中由切出单元104抽取的区域，如在图2中表示的切出区域202中那样。提供物体303和304。
在图3A表示的时刻Ta，物体303存在于记录区域302内。如图3B和3C中所示，物体304随着从时刻Tb到时刻Tc的一段时间，在时刻Tc时在记录区域302中运动。
图4表示当像在图3A至3C中表示的这样一种场景被MPEG编码时的数据的量。
参照图4，I代表I帧，而P代表P帧。为了解释更简单起见，表示其中没有B帧的例子。而且，帧号码被添加在用于帧号码的轴线上，以便顺序代表帧。
这里，每五个帧插入I帧。
在帧类型下面表示时刻Ta、Tb、及Tc。用于每帧的数据量相对地表示在数据量的轴线上。为了解释更简单起见，数据量被分类成四级作为近似值。这里，较大数字代表较大量的数据。
在CBR模式中，控制数据量，从而数据的平均量是12/5。
由于在时刻Ta的帧1是I帧，I帧具有大量数据，级是4。然后，由于帧2至5是P帧，P帧具有较小量数据，级是2。
由于在以前的I帧之后在时刻Tb的帧6是五个帧，所以帧6是I帧，并且帧6的级是4。
尽管在时刻Tb的帧以后的帧7是P帧，但由于物体304在时刻Tc运动到记录区域302内，所以在帧6与7之间的差增大。因而，数据量的级是3。
帧8的数据量的级应该是2，因为在帧7与8之间有较小的差。然而，由于是以前帧的帧7的级是3，所以如果帧8的级被设置到2，则在预定时刻的平均数据量超过一个基准量。因而，帧8的数据量的级不可避免地设置到1。然后，帧9和10的级是2。在帧11中，插入I帧，并且数据量的级是4。因而，从帧6至10的平均数据量是12/5。
如果如上述那样通过在预定时段处插入I帧进行编码，则当新物体突然运动到屏幕中时，如图3C中所示，代码的量增大，并且图像的质量降低。
在这个实施例中，在用于运动图像的摄影模式中，如图3B和3C中所示，探测在记录区域302外的物体的运动，并且按照运动探测的结果改变编码处理。
换句话说，在图1中表示的运动探测单元109从在存储单元103中存储的用于两个连续帧的图像探测在记录区域302外的图像的运动向量，并且把结果输出到控制单元110。
更具体地说，在图3B中表示的屏幕中，使用紧在前面的屏幕的图像信号探测物体304的运动向量。在这种情况下，由于探测到物体304向屏幕左方的运动，所以关于物体的位置的信息和探测的运动向量输出到控制单元110。
如果例如按照来自运动探测单元109的输出在时刻Tb的帧是I帧，则控制单元110控制编码单元106，以延迟用来插入I帧的时刻并且把在时刻Tb的屏幕编码为P帧。
接下来参考图5所示的流程图描述当进行编码处理时由控制单元110进行的处理。
当编码处理开始时，代表I帧的插入间隔的I_CNT设置到4，并且代表用来计数被处理的帧数的变量的F_CNT设置到0(步骤S501)。换句话说，当帧数量通过从0计数变成4时，插入I帧。然后，确定F_CNT是否大于或等于I_CNT(步骤S502)。如果F_CNT大于或等于I_CNT，即，如果F_CNT是4或更大，则确定在这种计时下应该插入I帧。在步骤S503，按照来自运动探测单元109的输出确定用来插入I帧的时刻是否应该延迟。
运动探测单元109探测在图3A至3C中表示的图像屏幕301中的记录区域302外的图像的运动向量。假设在特定宏块内的物体以相同速度运动，运动探测单元109预测物体运动到记录区域302内的时刻。
当预测在记录区域302外的物体在与以后帧相对应的时刻运动到记录区域302内时，输出一个延迟信号。
当没有从运动探测单元109输出延迟信号时，控制单元110控制编码单元106以把帧编码为I帧(步骤S504)，并且把F_CNT设置到0(步骤S505)。然后，过程返回到步骤S502。
如果在步骤S503从运动探测单元109输出用于I帧的延迟信号，则编码单元106被控制成把帧编码为P帧(步骤S506)，并且把1添加到F_CNT上(步骤S507)。然后，过程返回到步骤S502。
而且，如果在步骤S502中F_CNT没有达到I_CNT(4)，则确定不是用来插入I帧的时刻，并且把帧编码为P帧(步骤S506)，及把1添加到F_CNT上(步骤S507)。然后，过程返回到步骤S502。
图6表示当在图3A至3C中表示的场景被按上述那样编码时的数据量。
由于在时刻Ta的帧1是具有大量数据的I帧，所以级是4。然后，由于帧2至5是具有相对较小数据量的P帧，所以级是2。
尽管在时刻Tb的帧6应该是I帧，但由于帧6是在以前I帧之后的五个帧，所以这里反映由运动探测单元109进行的探测结果。
这里，运动探测单元109对于在存储器103中存储的多个帧探测在图像信号的记录区域302外的区域中的运动。尽管物体304位于在图3B中的记录区域302外，但预测物体304在与以后帧相对应的时刻运动到记录区域302内。
运动探测单元109把一个用来延迟I帧插入的延迟信号输出到控制单元110。
控制单元110接收延迟信号，并且控制编码单元106，以延迟I帧的插入。
因而，编码单元106把帧6编码为P帧而不编码为I帧。因而，数据量的级是2。物体304在时刻Tc运动到屏幕内，并且在帧6与7之间的图像差增大。然而，由于控制单元110预先接收到延迟信号，所以控制单元110指令编码单元106把帧7编码为I帧。因而，帧7的数据量的级是4。
计数以后的帧用于参照帧7插入I帧。
换句话说，帧8到11被编码为P帧。由于有来自相应以前帧的很小图像差，所以数据量是2。对于帧12，如果没有图像运动到记录区域302中，则不输出延迟信号，并且插入I帧。因而，数据量是4。
在这种情况下，帧1至5的平均值和帧7至11的平均值的每一个是12/5。然而，帧2至6的平均值是10/5，并且这落在希望的数据率12/5以下。
尽管这没有严格地定义为CBR，但不需要增大在仅包括很小图像变化的区域中的数据量。换句话说，不降低图像质量的数据量的减小不会引起实际问题。
如上所述，根据这个实施例，当拍摄图像的部分被抽取、被编码为运动图像、及记录时，探测在记录区域外的物体的运动。如果确定新物体运动到记录区域内，则改变用来插入I帧的时刻。因而，能防止归因于预测误差的增大的图像质量的降低。
尽管在上述实施例中描述了其中通过使用对于静止图像摄影比对于运动图像摄影具有更多象素的CCD而拍摄和编码一个运动图像信号的情形，但本发明不限于此。本发明也适用于装有比与记录区域相对应的象素有更多象素的CCD的图像捕获设备，以便补偿在拍摄运动图像时的模糊。
更具体地说，为了补偿模糊，例如，根据整个图像的运动向量运动在图2中表示的图像的切出区域202。在这样一种布置中，预测来自切出区域外的区域的物体的运动，并且改变用来插入I帧的时刻。因而，能防止归因于代码量增大的图像质量的降低。
而且，尽管作为在上述实施例中的规则对于每五个帧插入I帧，但当延迟I帧的插入时，该延迟引起与规则的偏差。此外，数据量临时落到平均值以下。
这在上述实施例中不重要，然而，依据该系统可能出现不方便。
在这种情况下，即使延迟I帧的插入，下个I帧也可以被控制成在用于插入的原始计划时刻被插入。
例如，在图6中，对于每五个帧：在帧1、帧6、及帧11中应该原始插入I帧。在这种情况下，即使当延迟I帧在帧6中的插入时，下个I帧也被插入在帧12中。
这种布置能与其中对于每五个帧插入I帧的布置相一致，并且与恒定位速率的规则相一致。通过改变控制单元110的控制程序能进行这种布置。
而且，用户能按希望改变在用于运动图像的摄影模式中要抽取的图像的区域。
尽管参照当前认为是实施例的方案已经描述了本发明，但要理解，本发明不限于公开的实施例。相反，本发明打算覆盖包括在所附权利要求书的精神和范围内的各种修改和等效布置。如下权利要求书的范围要符合最广义的解释，以便包容所有这样的修改和等效结构与功能。

Claims (10)

1.一种图像处理设备，包括：
输入装置，用来输入运动图像信号；
抽取装置，用来抽取用于由所述输入装置输入的多个帧的运动图像信号的一部分；
编码装置，用来使用帧内编码和帧间预测编码对由所述抽取装置抽取的所述运动图像信号的所述部分编码；及
控制装置，用来探测在由所述输入装置输入的所述运动图像信号的所述部分外的区域中的图像的运动，并且用来按照运动探测的结果控制用于使用所述由编码装置进行的所述帧内编码进行编码的时间。
2.根据权利要求1所述的设备，其中：
所述控制装置探测在当前帧中的所述部分外的所述区域中的所述图像在连续随后帧中运动到所述部分内；并且
所述控制装置把所述编码装置控制成，使用所述帧间预测编码而对在所述当前帧中的所述图像信号编码并且使用所述帧内编码而对在所述连续随后帧中的所述图像信号编码。
3.根据权利要求1所述的设备，其中：
所述编码装置对于预定帧间隔下的每个帧使用所述帧内编码进行编码；并且
即使当相应当前帧使用所述帧内编码被编码时，当在所述相应当前帧中的所述部分外的所述区域中的所述图像被探测到在所述连续随后帧中运动到所述部分内时，所述控制装置也把所述编码装置控制成，使用所述帧间预测编码而对所述当前帧编码。
4.根据权利要求1所述的设备，其中由所述抽取装置抽取的所述部分的尺寸是可变的。
5.根据权利要求1所述的设备，还包括：
设置装置，用来设置运动模式和静止图像模式，在所述运动模式中，所述编码装置对由所述输入装置输入的所述运动图像信号编码，而在所述静止图像模式中，由所述输入装置输入的运动图像信号的一个帧被选择，并且所述编码装置对所述被选择的帧的所述图像信号编码，其中
在所述静止模式中由所述抽取装置抽取的区域大于在所述运动图像模式中由所述抽取装置抽取的所述部分。
6.根据权利要求1所述的设备，其中：
所述输入装置包括用来存储用于所述多个帧的所述运动图像信号的存储器；并且
所述控制装置使用在所述存储器中存储的用于所述多个帧的所述运动图像信号探测运动。
7.根据权利要求1所述的设备，其中：
所述输入装置包括用来拍摄物体和输出所述运动图像信号的图像捕获单元。
8.根据权利要求7所述的设备，其中：
所述抽取装置包括用来存储由所述图像捕获单元获得的所述运动图像信号的存储器；并且
通过按照根据所述运动图像信号的所述图像运动量而改变在所述存储器中存储的所述运动图像信号的所述部分的位置，补偿根据所述运动图像信号的图像模糊。
9.根据权利要求1所述的设备，还包括用来把由所述编码装置编码的所述运动图像信号的所述部分记录到记录介质中的记录装置。
10.一种图像处理设备，包括：
输入装置，用来输入运动图像信号；
抽取装置，用来抽取用于由所述输入装置输入的多个帧的所述运动图像信号的一部分；
编码装置，用来对由所述抽取装置抽取的所述运动图像信号的所述部分编码；及
控制装置，用来探测在由所述输入装置输入的所述运动图像信号的所述部分之外的区域中的图像的运动，并且用来按照所述运动的探测结果控制由所述编码装置进行的编码处理。
CNB2004100970396A 2003-12-22 2004-12-21 图像处理设备 Expired - Fee Related CN100369490C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003424743A JP2005184626A (ja) 2003-12-22 2003-12-22 画像処理装置
JP424743/2003 2003-12-22

Publications (2)

Publication Number Publication Date
CN1638485A true CN1638485A (zh) 2005-07-13
CN100369490C CN100369490C (zh) 2008-02-13

Family

ID=34544931

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100970396A Expired - Fee Related CN100369490C (zh) 2003-12-22 2004-12-21 图像处理设备

Country Status (5)

Country Link
US (1) US7412079B2 (zh)
EP (1) EP1549078A3 (zh)
JP (1) JP2005184626A (zh)
KR (1) KR100675387B1 (zh)
CN (1) CN100369490C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103891285A (zh) * 2011-10-20 2014-06-25 索尼公司 图像处理装置和方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4726577B2 (ja) * 2005-08-25 2011-07-20 富士フイルム株式会社 スライドショー生成装置およびスライドショー用データ生成装置ならびにそれらの制御方法ならびにそれらを制御するプログラム
KR101532610B1 (ko) * 2009-01-22 2015-06-30 삼성전자주식회사 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터판독가능 저장매체
JP6066561B2 (ja) * 2012-01-26 2017-01-25 キヤノン株式会社 映像処理装置、映像処理方法およびプログラム
US10536702B1 (en) 2016-11-16 2020-01-14 Gopro, Inc. Adjusting the image of an object to search for during video encoding due to changes in appearance caused by camera movement

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969039A (en) * 1987-07-01 1990-11-06 Nec Corporation Image processing system operable in cooperation with a recording medium
JPH05111008A (ja) * 1991-10-15 1993-04-30 Sony Corp 情報伝送装置及び情報受信装置
EP1139670B1 (en) * 1994-03-25 2010-08-18 Nec Corporation Image reproducing device
US5802211A (en) * 1994-12-30 1998-09-01 Harris Corporation Method and apparatus for transmitting and utilizing analog encoded information
US5682204A (en) * 1995-12-26 1997-10-28 C Cube Microsystems, Inc. Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
KR100215451B1 (ko) * 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
EP0822724A3 (en) * 1996-07-03 1999-06-02 Victor Company Of Japan, Limited Digital video signal recording and/or reproducing apparatus
KR100504416B1 (ko) * 1997-03-19 2005-10-21 소니 가부시끼 가이샤 화상부호화방법및장치
US6212236B1 (en) * 1997-03-26 2001-04-03 Matsushita Electric Industrial Co., Ltd. Image decoding apparatus
JP3604864B2 (ja) * 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
JP3860323B2 (ja) * 1997-10-27 2006-12-20 三菱電機株式会社 画像復号化装置、画像復号化方法
US6512793B1 (en) * 1998-04-28 2003-01-28 Canon Kabushiki Kaisha Data processing apparatus and method
JP3794529B2 (ja) 1998-12-24 2006-07-05 カシオ計算機株式会社 動画像記録装置、及び、動画像符号化方法
DE10035109B4 (de) * 1999-07-20 2012-03-08 Lg Information & Communications, Ltd. Terminal und Verfahren zum Transportieren von Standbildern
JP3917363B2 (ja) * 2000-12-12 2007-05-23 株式会社東芝 画像復号化装置及び画像復号化方法
EP1244311A3 (en) * 2001-03-22 2004-10-06 Sony Corporation Picture encoding
US6804301B2 (en) * 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
US6954544B2 (en) * 2002-05-23 2005-10-11 Xerox Corporation Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences
JP2004096557A (ja) * 2002-09-02 2004-03-25 Canon Inc 画像処理装置及び画像処理方法
KR100615397B1 (ko) * 2003-03-20 2006-08-25 실리콤텍(주) 움직임 검출기능이 내장된 ｃｍｏｓ 이미지 센서 및 움직임 검출방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103891285A (zh) * 2011-10-20 2014-06-25 索尼公司 图像处理装置和方法

Also Published As

Publication number Publication date
EP1549078A3 (en) 2009-04-22
JP2005184626A (ja) 2005-07-07
EP1549078A2 (en) 2005-06-29
US7412079B2 (en) 2008-08-12
KR20050063724A (ko) 2005-06-28
KR100675387B1 (ko) 2007-01-29
CN100369490C (zh) 2008-02-13
US20050135686A1 (en) 2005-06-23

Similar Documents

Publication Publication Date Title
EP2476256B1 (en) Video editing and reformating for digital video recorder
CN1879409B (zh) 记录装置及方法、再生装置及方法
CN1129310C (zh) 时分复用信号反向重放的方法和装置
US8254702B2 (en) Image compression method and image processing apparatus
CN1120631C (zh) 运动补偿编码设备及方法,运动补偿设备
CN1125566C (zh) 数据编码方法和数据编码设备
CN1134168C (zh) 运动图像编码和解码装置及其方法
CN1212018C (zh) 和摄像机组合的视频记录/再现装置及其记录控制方法
CN105993177A (zh) 图像捕获加速器
CN1977532A (zh) 摄像装置及方法
CN1713710A (zh) 图像处理装置和图像处理方法
CN1497945A (zh) 图像生成设备和图像生成方法
CN1265320C (zh) 图像搜索设备
CN1226063A (zh) 视频记录设备、视频播放设备和视频记录/播放设备
CN1638485A (zh) 图像处理设备
CN1574066A (zh) 记录装置
CN1210957C (zh) 压缩多通道运动图像的数据量的方法和装置
CN1703911A (zh) 降低已压缩多媒体的比特率
US20110150413A1 (en) Moving picture recording/reproducing apparatus and method
CN1571500A (zh) 控制数字视频数据的比特率的方法和装置
EP4383705A1 (en) A method and device for pruning a video sequence
CN1053547C (zh) 用节目制作参数进行图象运动估计的装置及其方法
JP5576728B2 (ja) 動画像符号化装置
CN1645926A (zh) 信息记录装置
AU2014277749B2 (en) Video editing and reformatting for digital video recorder

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080213

Termination date: 20161221