CN101663899A - 运动检测装置、运动检测方法、以及运动检测程序 - Google Patents

运动检测装置、运动检测方法、以及运动检测程序 Download PDF

Info

Publication number
CN101663899A
CN101663899A CN200880012823A CN200880012823A CN101663899A CN 101663899 A CN101663899 A CN 101663899A CN 200880012823 A CN200880012823 A CN 200880012823A CN 200880012823 A CN200880012823 A CN 200880012823A CN 101663899 A CN101663899 A CN 101663899A
Authority
CN
China
Prior art keywords
motion detection
pixel data
stored
scope
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880012823A
Other languages
English (en)
Inventor
冈田耕平
井口雅保
高桥润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101663899A publication Critical patent/CN101663899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

运动检测装置，利用存储在多帧存储器(504)的参考图片的像素数据，对构成编码对象图片的宏块进行运动检测，其包括：局部存储器(702)，存储从所述多帧存储器(504)读出的参考图片的像素数据中的、包含在第一范围的像素数据，该第一范围是第一运动检测时的搜索范围；通常的运动检测部(704)，利用存储在所述局部存储器(702)的像素数据，进行所述第一运动检测；以及直接预测器(108)，利用包含在第二范围的所述参考图片的像素数据进行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算法，所述第二范围是包含所述第一范围、且比该第一范围大的范围。

Description

运动检测装置、运动检测方法、以及运动检测程序
技术领域
本发明涉及运动图像的编码，尤其涉及在运动图像的编码中进行运动检测处理的运动检测集成装置、运动检测方法、运动检测装置、以及运动检测程序。
背景技术
近几年，统一处理声音、图像及其他数据的多媒体时代到来，以往的信息媒体，即报纸、杂志、电视、收音机、电话等将信息传达给人的工具成为多媒体的对象。通常，多媒体不仅将文字还将图形、声音、尤其是图像等同时相关联来表示，不过，将所述以往的信息媒体作为多媒体对象的必须条件是将该信息用数字形式来表示。
然而，所述的各信息媒体具有的信息量作为数字信息量来进行估计时，文字的情况下每个字的信息量是1～2字节。与此相对，如果是声音每秒则需要64Kbits(电话质量)，进而如果是动画，则每秒需要100Mbits(现今电视接收质量)以上的信息量。因此，所述的信息媒体将所述庞大的信息直接用数字形式来处理，缺乏现实性。例如，可视电话以具有64Kbits～1.5Mbits传输速度的综合业务数字网(ISDN：Integrated Services DigitalNetwork)来实用化，不过，并非将电视摄像机拍摄的视频直接经由ISDN发送。
于是，就需要信息的压缩技术，例如，可视电话的情况下适用ITU-T(国际电信联盟.电信标准化部门)建议的H.261和H.263标准中的动画压缩技术。而且，根据MPEG-1标准的信息压缩技术，在通常的音乐用CD(compact disc)上能够记录声音信息和图像信息。
在此，MPEG(运动图像专家组：Moving Picture Experts Group)是被ISO/IEC(国际标准化组织/国际电工委员会)批准的运动图像信号压缩的国际标准。MPEG-1是将运动图像信号压缩到1.5Mbps，也就是将电视信号的信息压缩到大约100分之一为止的标准。而且，MPEG-1标准中作为对象的质量是中等程度的质量，即，主要以约1.5Mbps的传输速度就能够实现的程度，为了满足更高一层的高画质的需求而批准的MPEG-2中，运动图像信号的传输速度为2～15Mbps，实现了TV广播质量。进而最近，经过一直推进MPEG-1，MPEG-2以及标准化的工作组(ISO/IECJTC1/SC29/WG11)的努力，MPEG-4被批准，MPEG-4的压缩率超过MPEG-1，MPEG-2，它更是以物体为单位能够进行编码、解码、操作，实现了多媒体时代所需要的新功能。MPEG-4，起初以低比特率编码方法的标准化为目标进行了推进，不过，现在扩大到更为通用的编码方法，包括隔行(interlace)图像的编码方法以及高比特率的编码方法。
进而，在2003年，作为具有更高压缩率的图像编码方式，ISO/IEC和ITU-T共同开发了MPEG-4AVC以及H.264，这些已经成为标准化。H.264标准的适用范围扩大到适用于目前的高清晰(HD：High Definition)图像等的高级规范(High Profile)相对应的扩展标准上。H.264标准设想的应用程序与MPEG-2及MPEG-4相同，分布到数字广播、数字视盘(DVD：Digital Versatile Disk)播放器/记录器、硬盘播放器/记录器、便携式摄像机、可视电话等。
通常在运动图像的编码中，通过减少时间方向及空间方向的冗余来压缩信息量。于是，以减少时间冗余为目标的画面间预测编码中，参考前方或者后方的图片(picture)，以块为单位检测运动以及制作预测图像，并对得到的预测图像与编码对象图片之间的差分值进行编码。在此，图片是表示一幅画面的用语，在逐行(progressive)图像中意味着帧，在隔行图像中意味着帧或场。在此，隔行图像是一个帧由不同时刻的两个场构成的图像。在隔行图像的编码和解码处理中，可将一个帧原样地进行处理，或作为两个场进行处理，或按帧内的每个块作帧结构或场结构来进行处理。
将不参考参考图像而进行画面内预测编码的图片称为I图片。此外，将仅参考一幅参考图像进行画面间预测编码的图片称为P图片。此外，将能够同时参考两幅参考图像进行画面间预测编码的图片称为B图片。在B图片的画面间预测编码中，可以参考任意组合了显示时间位于前方或后方的两幅图片。参考图像(参考图片)能够对每个作为编码的基本单位的宏块(MB)进行指定，为了区别，将进行了编码的比特流中先记述的参考图片作为第一参考图片，将后记述的参考图片作为第二参考图片。但是，作为编码这些图片时的条件，所参考的图片必须是已经被编码的图片。
在P图片或B图片的编码中使用运动补偿画面间预测编码。运动补偿画面间预测编码是在画面间预测编码中适用了运动补偿的编码方式。运动补偿是指，并非单纯地从参考帧的像素值预测编码对象图片的像素值，而是检测图片内的各部的运动量(以下称为“运动矢量”)，通过考虑该运动量进行预测，来提高预测精度，同时减少数据量的方式。例如，检测编码对象图片的运动矢量，通过对仅移位了该运动矢量的位置上的预测值与编码对象图片的像素值之间的差分进行编码，从而减少数据量。在该方式的情况下，由于在解码时需要运动矢量的信息，因此，对运动矢量也进行编码后进行记录或传输。
运动矢量以宏块为单位被检测，具体而言，固定编码对象图片侧的宏块(标准块)，使参考图片侧的宏块在搜索范围内移动，找出与标准块最相似的参考块的位置，从而检测运动矢量。
图1是示出以往的运动图像编码装置的结构的方框图。
这个运动图像编码装置包括：运动检测器506、多帧存储器504、减法器512、减法器518、运动补偿器508、编码器520、加法器510、运动矢量存储器514、以及运动矢量预测器516。
在P图片或者B图片等的画面间预测中，运动检测器506，将从多帧存储器504输出的参考图像的像素即参考像素MEpel，与编码对象图像的画面信号Vin进行比较，输出运动矢量MV和参考帧编号RefNo。参考帧编号RefNo由确定参考图像的识别信号所表示，该参考图像是从多个参考图像中被选择的、编码对象图像所参考的图像。运动矢量MV被暂存在运动矢量存储器514之后，作为近旁运动矢量PrevMV而被输出，在运动矢量预测器516中，作为为了预测预测运动矢量PredMV而被参考的近旁运动矢量PrevMV而被使用。减法器518从运动矢量MV减去预测运动矢量PredMV，将所得到的差作为运动矢量预测差分DifMV来输出。
另一方面，多帧存储器504将在参考帧编号RefNo以及运动矢量MV所确定的像素作为运动补偿参考像素MCpel1来输出。运动补偿器508生成小数像素精度的参考像素，并输出参考画面像素MCpel2。减法器512从画面信号Vin减去参考画面像素MCpel2，并输出画面预测误差DifPel。
而且，编码器520对画面预测误差DifPel和运动矢量预测差分DifMV和参考帧编号RefNo进行可变长编码，并输出编码信号Str。并且，同时也输出解码画面预测误差RecDifPel，该解码画面预测误差RecDifPel为编码时的画面预测误差的解码结果。解码画面预测误差RecDifPel是在画面预测误差DifPel重叠了编码误差的误差，该解码画面预测误差RecDifPel与在画面间预测解码装置解码编码信号Str所得到的画面间预测误差一致。
加法器510将解码画面预测误差RecDifPel与参考画面像素MCpel12相加。相加的结果作为解码画面RecPel被存储到多帧存储器504。但是，为了有效地利用多帧存储器504的容量，当存储在多帧存储器504中的画面的区域没有必要时进行释放，或对于没有必要存储在多帧存储器504中的画面的解码画面RecPel，不存储到多帧存储器504中。
图2是示出以往的运动图像解码装置的结构的方框图。在图2中，对于与图1相同编号的处理部，因为具有相同的功能，适当省略其说明。
图2所示的以往的运动图像解码装置是解码编码信号Str并输出解码画面信号Vout的装置，上述编码信号Str是由图1所示的以往的运动图像预测编码装置所编码的信号，上述运动图像解码装置包括：多帧存储器504、运动补偿器508、加法器510、加法器614、运动矢量存储器514、运动矢量预测器516、解码器616。
解码器616中被输入编码信号Str。解码器616解码编码信号Str，并输出解码画面预测误差RecDifPel、运动矢量预测差分DifMV、以及参考帧编号RefNo。加法器614使预测运动矢量PredMV和运动矢量预测差分DifMV相加，解码运动矢量MV，上述预测运动矢量PredMV从运动矢量预测器516所输出，上述运动矢量预测差分DifMV从解码器616所输出。
在画面间预测中，多帧存储器504将在参考帧编号RefNo以及运动矢量MV所示出的像素作为运动补偿参考像素MCpel1来输出，运动补偿器508生成小数像素精度的参考像素，并输出参考画面像素MCpel2。加法器510将解码画面预测误差RecDifPel与参考画面像素MCpel2相加。相加的结果作为解码画面RecPel存储到多帧存储器504中。
但是，为了有效地利用多帧存储器504的容量，在存储在多帧存储器504中的画面区域不需要的情况下释放该区域，而且对于没有必要存储到多帧存储器504中的画面的解码画面RecPel，不存储到多帧存储器504中。如上所述，解码画面信号Vout，即解码画面RecPel能够从编码信号Str正确地解码。
此外，图3是示出运动检测处理工作的模式图，利用图3简单地说明一般的运动检测处理。在图3中，帧F11N-1及帧F11N是进行编码的图片，帧F11N-1是在时间上比帧F11N旧的图片。例如，区域P1100示出进行编码的图片的一部分。对区域P1100中以四角形表示的宏块，用帧F11N-1进行画面间预测的情况下表示如下，在区域P1101中，搜索范围的虚线所包围的区域中检测出朝着右上方向的箭头记号的运动，结果将椭圆的一部分作为参考图像来参考。而且，区域P1102同样示出进行编码的图片的一部分。对区域P1102中以四角形表示的宏块，用帧F11N-1进行画面间预测的情况下表示如下，在区域P1103中，搜索范围的虚线所包围的区域中检测出朝着左下方向的箭头记号的运动，将三角形的一部分作为参考图像来参考。
而且，区域P1104表示在每个宏块的处理中，使进行编码的宏块按照宏块1121、宏块1122、宏块1123、宏块1124的顺序移动。而且，帧F11N-1的区域P1105表示进行运动检测的搜索范围按照搜索范围1131、搜索范围1132、搜索范围1133、搜索范围1134的顺序移动。如上所述，通常的运动检测工作中，结合编码对象的宏块的切换工作来更新搜索范围，在宏块相邻的情况下，搜索范围的重叠部分相当多。
图4是实现以往的运动检测功能的第一方框图，示出了在图1的虚线所包围的范围502中的多帧存储器504和运动检测器506相连接的一个例子。在图4中，对于与图1相同编号的处理部，因为具有相同的功能，适当省略其说明。
运动检测器506包括局部存储器702以及通常的运动检测部704。
局部存储器702从多帧存储器504读出包括在搜索范围内的像素数据并存储。由此，在图3的区域P1105所示的进行运动检测的区域移动的状态中，能够实现无需再传输区域重叠的部分，减少参考像素MEpel的数据传输量。其次，存储在局部存储器702中的像素数据作为参考像素LMEpel供应到通常的运动检测部704。通常的运动检测部704进行运动检测，作为结果输出运动矢量MV。该结构，针对在多帧存储器504作为外部存储器外置等情况下，减少传输像素数据的带宽非常有效。
而且，需要从多个区域搜索运动矢量的情况下，专利文献1中公开了这样的结构，使用了多个与用于运动检测的局部存储器702同等的存储器。
然而，即使安装了局部存储器702，如果用了H.264标准，进而对应的视角变大的情况下，参考像素MEpel的数据传输量成为课题。图5是用于进行以往的运动检测的存储器管理的第一模式图。图5(a)是表示一个画面的图像数据的图，图5(b)是扩大了图5(a)的一部分的图。图5(b)所示的被扩大的部分表示，存储在局部存储器702中的搜索范围(白格3×3格，一个格对应一个宏块)，以及使搜索范围移动时所必要的传送区域(斜线)。如该图所示，以一个宏块为单位(＝16像素×16像素)进行运动检测处理的情况下，为了进行一宏块行的运动检测，需要进行传输量为(搜索范围的纵向长度)×(1画面的宽度)的存储器传输，进行1画面的运动检测的时候，需要进一步进行传输量为再乘上1画面的纵向宏块行数的存储器传送。也就是，在MPEG-2中的标准清晰度(SD)大小图像(720像素×480像素，45MB×30MB)，纵向横向各移动1宏块的像素范围作为搜索范围的情况下，在每个画面的运动检测中需要
(16+16×2)×720×30＝1,036,800
像素从多帧存储器504传输到局部存储器702。
在此，考虑到设想H.264的SD大小图像的参考用局部存储器的管理状态，进行小数像素精度的运动补偿时需要使用六个抽头的滤波器，从而与以往的MPEG-2等相比需要更多的周边像素(例如，参考非专利文献1)。也就是，在MPEG-2等，从包围小数精度像素位置的四个整数像素来制作小数精度像素，不过，在六抽头滤波器的情况下，从36整数像素来制作小数精度像素，所以在同样的区域进行搜索的情况下，与MPEG-2相比需要上方两行，下方两行，左方两列，右方两列的像素。从而，在H.264等的SD大小图像，纵向横向各移动1宏块的像素范围作为搜索范围的情况下，在每个画面的运动检测中需要
(16+16×2+4)×720×30＝1,123,200
像素从多帧存储器504传输到局部存储器702。
进而，在处理高清晰度(HD)大小(1920像素×1088像素，120MB×68MB)的图像的情况下，尤其是进行利用H.264的编码的情况下，前述的每个画面的像素传送量大幅度增加，可能会超过图4示出的参考像素MEpel的传输能力。
例如，考虑一下设想MPEG-2的HD大小图像的参考用局部存储器的管理状态。这个情况下，HD大小的图像与SD大小的图像相比具有约6倍的像素数，为了方便，设成搜索上下、左右各2.5倍的参考区域，则纵向横向的搜索范围变成纵向横向各移动40像素的像素范围，同样，在每个画面的运动检测中需要
(16+40×2)×1,920×68＝12,533,760
像素被传输。
进而，考虑一下设想H.264的HD大小图像的参考用局部存储器的管理状态，同样，在每个画面的运动检测中需要
(16+40×2+4)×1,920×68＝13,056,000
像素被传输，需要传输的量是MPEG-2的SD大小时必要的像素传送量的约13倍。
根据上述理由，可以考虑进一步包括高速缓冲存储器的运动检测器的结构。图6表示实现以往的运动检测功能的第二方框图。在图6中，对于与图4相同编号的处理部，因为具有相同的功能，适当省略其说明。
运动检测器806包括高速缓冲存储器802、局部存储器702、通常的运动检测部704。与图4所示的运动检测器506的不同点在于，在多帧存储器504和局部存储器702之间，还包括高速缓冲存储器802。
存储在多帧存储器504中的像素数据作为参考像素MEpel被传输，存储在高速缓冲存储器802中。进而该像素数据作为参考像素CMEpel被传输，存储在局部存储器702中。进而通常的运动检测部704，利用该像素数据进行运动检测，作为其结果输出运动矢量MV。
根据该以往结构，高速缓冲存储器802作为宏块行单位的行缓冲器来存储像素数据，从而省去了图5所示的再次获得相同宏块行的像素数据。图7是表示用于进行以往的运动检测的存储器管理的第二模式图，简单地表示了在高速缓冲存储器802的存储器管理的工作。也就是，在高速缓冲存储器802中存储包含全部用灰色涂抹的编码对象宏块meCnt的搜索范围的横线中所包含的像素数据、以及在下一个宏块行的运动检测时被使用的宏块行addArea所包含的像素数据。由此，在多帧存储器504作为外部存储器外置的情况下，省去了从参考图片几次获得相同的宏块行的像素数据，能够减少传输参考像素MEpel的像素数据的带宽。因此，这样的安装对减少带宽非常地有效。
如同上述，利用使用的像素数据的局部性，作成阶段性的存储器结构，即多帧存储器504、高速缓冲存储器802、局部存储器702，这样的安装能够实现以下：既能够抑制安装存储器的成本，又减少与外部存储器之间的带宽，还能够对应为了运动检测而增加的局部性访问频率。
图8是模式性表示与图7所示的存储器管理方法相比存储在高速缓冲存储器802中的像素数据的容量少的存储器管理方法的图。
在图8的高速缓冲存储器802的管理中，基本进行参考区域RefArea和备用存储区域SubArea的存储器管理，在下次释放区域RelArea的像素数据被存储的物理存储器位置上，存储下次获得区域NxtArea的像素数据，从而不用预先存储宏块行addArea的像素数据，就能够减少安装存储容量。
(直接预测的说明)
在H.264标准中存在一种被称为直接预测的画面间预测的模式。该模式是利用已编码块的运动信息，预测生成对象块的运动信息的编码模式，该模式具有这样的效果，因为对运动信息进行编码时不需要比特数，所以能够提高压缩效率。
由于利用直接预测而提高的压缩率，依赖于从已编码块预测对象块的运动信息的精度。于是导入了以下两种模式：主要利用时间方向运动信息的相关的“时间直接模式”、主要利用空间方向(图片内的水平以及垂直的二维空间)运动信息的相关的“空间直接模式”。
时间直接模式对于包含不同的运动且运动速度固定的图像中有效果，空间直接模式对于包含同样的运动且运动速度有变化的图像中有效果(例如，参考非专利文献1)。
另外，在对直接预测的图像和原图像之间的差分图像也不需要的情况下，进行对差分像素信息也不进行编码的跳跃预测，不过，为了简略，该情况也包括在直接预测中进行说明。
(包括直接预测的画面间预测)
下面对如同上述的技术背景及以往电路结构中，使用直接预测进行编码的处理流程的一个例子进行说明。图9是表示以往的运动检测处理的流程图。首先，利用局部存储器702进行运动检测处理，求最适合的运动矢量结果(S1701)。
其次，判断在S1701中求出的运动矢量结果，是否与通过直接预测被算出的运动矢量相等，或者大体上相等(S1702)。S1702的判断结果是真的情况下，作为直接预测进行编码处理(S1703)，不是真的情况下，作为通常的画面间预测进行运动检测结果的编码处理(S1704)。
专利文献1：日本特开2006-270683号公报
非专利文献1：ITU-T Recomendation H.264，″SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure ofaudiovisual services Coding of moving video：Advanced video codingfor generic audiovisual services，″March 2005.
此外，利用图4或者图6所示的运动检测器，例如对从电车车窗看到的景色，以及电视节目中加入固定的反射式字幕的运动图像进行编码的情况下，通过进行直接预测，能够大幅度提高编码效率。可是，局部存储器702中只存储有成为搜索范围的宏块，没有直接预测时需要使用的像素数据，所以无法直接预测，导致编码效率下降。
有关所述的一个例子，利用图10A和图10B来说明。图10A和图10B是用于说明以下处理的模式图，对拍摄了从车窗看到的风景的图像数据进行运动检测的处理。在该图中，图10A的帧F18N-1和图10B的帧F18N是设想了以下情况下的要进行编码的图片，即在电车等的内部通过车窗拍摄外边风景的情况，帧F18N-1是在时间上比帧F18N旧的图片。
在电车向右侧方向前进的情况下，从电车内部所看到的风景相对地向左侧移动。因此，帧F18N-1内的外面风景与帧F18N相比都偏移到左侧。通常，进行画面间预测时存在图片的整体移位的情况下，将进行运动检测的搜索范围整体挪动的方法比较有效。因此，例如在范围P1800内的四角形的影线部的宏块P1801，从帧F18N-1进行运动检测的情况下，如范围P1802所示，在搜索中心挪动到右侧的搜索范围P1803中，求出与宏块P1801对应的像素位置，进行运动矢量的搜索。在该图中，可以预想作出宏块P1801与区域P1804的相关度高的判断。
然而，区域P1809是设想包括车内的墙和扶手的一部分的区域。因此，例如编码以斜线示出的四角形的宏块P1805的情况下，受帧F18N-1的参考图像中的画面整体运动的影响，认为在搜索区域P1807中搜索对应于宏块P1805的位置，并进行运动矢量搜索。可是，对应于宏块P1805的位置不在搜索区域P1807中，不可能得到相关性高的图像。因此，结果上来说可以预想到不是用画面间预测的模式，而是用画面内预测来生成参考图像。
这个情况下，区域P1809在帧F18N-1和帧F18N的运动几乎不存在，所以运动矢量是0的情况下的区域P1808，作为对应于宏块P1805的区域而被选择，则可以预想能够有效地实现编码。例如，针对宏块P1805，假设利用左边和上边和右上边的周边宏块进行画面内预测时，关于宏块P1805以空间直接模式被预测的运动矢量成为0矢量(有关直接预测的算法参见非专利文献1)，由此可知，当选择直接预测时能够非常有效地编码宏块。然而，所述的以往技术中，局部存储器702内部没有存储P1808区域的宏块，所以不能利用直接预测。
而且，也可以考虑如专利文献1所示，设置多个存储器，即与用于运动检测的局部存储器702同等的多个存储器，从而对应直接预测。然而，如同上述的说明，全高清视角等的大视角化和H.264标准等的需要抽头(tap)数大的运动补偿的情况下，作为局部存储器702和高速缓冲存储器802来安装的存储器成为庞大的容量，安装成本的增加成为课题。
发明内容
本发明为了解决上述的课题而提出，其目的在于，在通过安装搜索范围分量的局部存储器而使从帧存储器传输数据的带宽减少了的系统中，提供一种既能够抑制存储器安装的成本，又能够对应于直接预测的运动检测装置。
本发明涉及的运动检测装置，利用存储在多帧存储器的参考图片的像素数据，对构成编码对象图片的宏块进行运动检测，其包括：局部存储器，存储从所述多帧存储器读出的参考图片的像素数据中的、包含在第一范围的像素数据，该第一范围是第一运动检测时的搜索范围；第一运动检测单元，利用存储在所述局部存储器的像素数据，进行所述第一运动检测；以及第二运动检测单元，利用包含在第二范围的所述参考图片的像素数据进行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算法，所述第二范围是包含所述第一范围、且比该第一范围大的范围。
第一运动检测单元参考的像素数据存储在局部存储器里。因此，能够减少运动检测装置和多帧存储器之间的平均带宽。而且，利用第一范围外的像素数据能够进行第二运动检测。因此，与只利用第一范围内的像素数据进行第二运动检测的情况相比，能够减少编码量。
最好是所述第二运动检测单元，利用存储在所述多帧存储器的所述参考图片的像素数据，进行所述第二运动检测。
第一运动检测单元参考的像素数据存储在局部存储器。因此，能够减少运动检测装置和多帧存储器之间的平均带宽。而且，通过利用容量比局部存储器大的多帧存储器来进行第二运动检测，从而能够利用第一范围外的像素数据来进行第二运动检测。因此，与只利用第一范围内的像素数据进行第二运动检测的情况相比，能够减少编码量。
由此，在通过安装搜索范围分量的局部存储器而使从帧存储器传输数据的带宽减少了的系统中，提供一种既能够抑制存储器安装的成本，又能够对应于直接预测的运动检测装置。
进而最好是所述的运动检测装置还包括选择单元，在所述第二运动检测单元利用所述第一范围内的像素数据进行所述第二运动检测的情况下，选择存储在所述局部存储器的像素数据，在所述第二运动检测单元利用所述第二范围之内、且所述第一范围之外的像素数据进行所述第二运动检测的情况下，选择存储在所述多帧存储器的像素数据，所述第二运动检测单元，利用所述选择单元选择的像素数据进行所述第二运动检测。
有时第一运动检测单元参考的像素数据存储在局部存储器，第二运动检测单元参考的像素数据也存储在局部存储器，所以能够减少运动检测装置和多帧存储器的平均带宽。
进而最好是所述的运动检测装置还包括执行控制单元，控制所述第二运动检测单元进行的所述第二运动检测的执行以及非执行。
根据执行控制单元，能够控制第二运动检测单元获得来自多帧存储器的像素数据。因此，能够避免多帧存储器的带宽溢出等的系统破裂。
进而最好是所述执行控制单元，仅在用于所述第二运动检测的像素数据的至少一部分存储在所述局部存储器的情况下，使所述第二运动检测单元执行所述第二运动检测。
仅在不需要从多帧存储器获得用于第二运动检测的像素数据的全部的情况下，进行第二运动检测。因此，能够减少运动检测装置和多帧存储器之间的平均带宽，还能够减少编码量。
进而最好是所述的运动检测装置还包括高速缓冲存储器，存储有从所述多帧存储器读出的参考图片的像素数据中的、包含在所述第二范围的像素数据，所述局部存储器，存储有从所述高速缓冲存储器读出的、包含在所述第一范围的像素的像素数据，所述第二运动检测单元，利用存储在所述高速缓冲存储器的所述参考图片的像素数据进行所述第二运动检测。
从高速缓冲存储器获得像素数据，该像素数据是第一运动检测单元参考的局部存储器中存储的像素数据，第二运动检测单元参考存储在高速缓冲存储器的像素数据。因此，能够减少运动检测装置和多帧存储器之间的平均带宽，且即使在局部存储器里没有存储着必要的像素数据，也能够进行第二运动检测，所以能够减少编码量。进而，高速缓冲存储器本身对于确保在第一运动检测中的传输的带宽也有贡献，所以具有这样的效果，用于进行第二运动检测的存储器的安装成本变得不需要。
进而最好是所述的运动检测装置还包括选择单元，在所述第二运动检测单元利用所述第一范围内的像素数据进行所述第二运动检测的情况下，选择存储在所述局部存储器的像素数据，在所述第二运动检测单元利用所述第二范围之内、且所述第一范围之外的像素数据进行所述第二运动检测的情况下，选择存储在所述高速缓冲存储器的像素数据，所述第二运动检测单元，利用所述选择单元选择的像素数据进行所述第二运动检测。
有时第一运动检测单元参考的像素数据存储在局部存储器，第二运动检测单元参考的像素数据也存储在局部存储器。因此，能够减少高速缓冲存储器的平均带宽。
进而最好是所述的运动检测装置还包括第二运动检测可否判断单元，仅在用于所述第二运动检测的像素数据存储在所述高速缓冲存储器的情况下，判断为能够进行所述第二运动检测，所述第二运动检测单元，在所述第二运动检测可否判断单元判断为能够进行所述第二运动检测的情况下，进行所述第二运动检测。
第二运动检测单元参考的像素数据没有存储在高速缓冲存储器的情况下，不需要从多帧存储器获得像素数据，或者不需要重新存储在高速缓冲存储器。因此，能够减少多帧存储器的平均带宽。
进而最好是所述第二运动检测可否判断单元，仅在用于所述第二运动检测的像素数据包含在下列区域的情况下判断为能够进行所述第二运动检测，所述区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、预先规定的一部分区域。
具体而言，所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、在纵方向上被加以限制的区域。
而且，所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、在右方向上被加以限制的区域。
而且，所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、在左方向上被加以限制的区域。
而且，所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、在纵方向和横方向上都被加以限制的区域。
判断存储在高速缓冲存储器的图像数据中是否存在第二运动检测单元参考的像素数据的区域，可以不管存储在高速缓冲存储器的图像数据的形状变得单纯。因此，第二运动检测可否判断单元的判断变得简单。
进而最好是所述高速缓冲存储器只存储有构成一幅参考图片的像素数据中的、包含在规定数的宏块行中的宏块的像素数据，每当成为所述第一运动检测对象的宏块被更新时，所述被存储的宏块中的最上行和最下行的宏块的像素数据就被更新。
还能抑制从进行第一运动检测时必要的多帧存储器到高速缓冲存储器的像素数据的传输，所以能够进一步减少多帧存储器的平均带宽。
进而最好是所述的运动检测装置还包括第二运动检测可否判断单元，仅在用于所述第二运动检测的像素数据存储在所述高速缓冲存储器的情况下，判断为能够进行所述第二运动检测，所述第二运动检测可否判断单元进行所述第二运动检测可否的判断，该判断是从存储在所述高速缓冲存储器的宏块中，将每当成为所述第一运动检测对象的宏块被更新时就被更新的宏块除外后而被进行的。
不管高速缓冲存储器更新的时机，可以判断是否能够进行第二运动检测。因此，第二运动检测可否判断单元的判断变得简单。
进而最好是所述第二运动检测单元，只利用存储在所述高速缓冲存储器的所述参考图片的像素数据进行所述第二运动检测。
在对难以确保传输的带宽的多帧存储器和局部存储器的平均带宽一律不增加的情况下，从第一运动检测的搜索范围之外也能够进行第二运动检测。
进而最好是所述第二运动检测是不需要进行预测运动矢量和运动矢量之间的差分处理的运动检测。
在由第二运动检测单元进行的运动检测结果的编码中，因为不需要对运动矢量预想差分进行编码，所以能够缩短平均编码长。
进而最好是所述第二运动检测是直接预测或者跳跃预测。
在直接预测中不需要编码运动矢量预想差分，并且跳跃预测中不需要编码差分像素信息，所以能够缩短平均编码长。
进而最好是所述运动检测装置由一个芯片构成。
高速缓冲存储器、局部存储器与运动检测单元构成在单一的芯片上，所以这些存储器的带宽变得容易确保。
另外，本发明不仅可以作为包括这样特征性单元的运动检测装置来实现，而且作为将运动检测装置包括的特征性单元作为步骤的运动检测方法来实现，也能作为用于使计算机执行运动检测方法中包括的特征性步骤的程序来实现。并且，也可以将该程序记录在只读光盘(CD-ROM：CompactDisc-Read Only Memory)等记录介质或通过因特网等通信网络来传输。
根据本发明，在通过安装搜索范围分量的局部存储器而使从帧存储器传输数据的带宽减少了的系统中，可以提供一种既能够抑制存储器安装的成本，又能够对应于直接预测的运动检测装置。
附图说明
图1是表示以往的运动图像编码装置的结构的方框图。
图2是表示以往的运动图像解码装置的结构的方框图。
图3是表示运动检测的工作的模式图。
图4是实现以往的运动检测功能的第一方框图。
图5是表示用于进行以往的运动检测的存储器管理的第一模式图。
图6是实现以往的运动检测功能的第二方框图。
图7是表示用于进行以往的运动检测的存储器管理的第二模式图。
图8是表示用于进行以往的运动检测的存储器管理的第三模式图。
图9是表示以往的运动检测处理的流程图。
图10A是表示对从车窗看到的风景进行运动检测的工作的模式图。
图10B是表示对从车窗看到的风景进行运动检测的工作的模式图。
图11是表示实现本发明的第一运动检测装置的结构的方框图。
图12是表示运动检测范围扩充的模式图。
图13是表示本发明的运动检测处理的流程图。
图14是表示实现本发明的第二运动检测装置的结构的方框图。
图15是说明运动检测范围的限制的模式图。
图16A是表示在本发明中对从车窗看到的风景进行运动检测的工作的模式图。
图16B是表示在本发明中对从车窗看到的风景进行运动检测的工作的模式图。
图17是实现H.264记录器的AV处理部的方框图。
图18A是根据计算机系统实施本发明的情况的说明图。
图18B是根据计算机系统实施本发明的情况的说明图。
图18C是根据计算机系统实施本发明的情况的说明图。
符号说明
100，200  运动检测器
106  选择器
108  直接预测器
110  访问标志存储部
112，204  直接判断器
504  多帧存储器
702  局部存储器
704  通常的运动检测部
802  高速缓冲存储器
具体实施方式
(实施例1)
下面，参照图11至图13对本发明的实施例1进行说明。
图11是表示实现本发明的第一运动检测装置的结构的方框图。在图11中，对于与图4相同编号的处理部，因为具有相同的功能，适当省略其说明。
第一运动检测装置包括多帧存储器504和运动检测器100。
运动检测器100，除了图4示出的运动检测器506的结构之外，还包括选择器106、直接预测器108、访问标志存储部110、以及直接判断器112。
运动检测器100进行下述工作，进行包括直接预测的运动检测。另外，通常的运动检测部704作为第一运动检测单元，直接预测器108作为第二运动检测单元，选择器106作为选择单元，访问标志存储部110及直接判断器112作为执行控制单元来发挥作用。
首先，在进行通常的运动检测的情况下、与以往技术中说明的处理流程一样，存储在多帧存储器504的像素数据，作为参考像素MEpel第一次存储到局部存储器702。存储在局部存储器702的像素数据，作为参考像素LMEpel输入到通常的运动检测部704。通常的运动检测部704利用被输入的参考像素LMEpel进行通常的运动检测。局部存储器702中存储有像素数据，即作为相当于搜索范围分量的像素数据和编码对象宏块移动的时候作为搜索范围而必要的程度的像素数据。例如，搜索如图5一样的区域的例子中，局部存储器702最好是存储有纵向三宏块和横向四宏块的像素数据。当然，按照搜索范围的大小等能够存储的区域可能会有所增减。其次，为了简化，仅对于用空间直接模式进行直接预测的情况进行说明。
在直接预测中，利用周边宏块的运动矢量信息，来确定直接预测用运动矢量dirMV，该直接预测用运动矢量dirMV被输入到直接判断器112。而且，将是否进行直接预测的控制信息作为访问标志存储在访问标志存储部110中。访问标志作为标志信号AFsig被输入到直接判断器112。
在直接判断器112中的访问标志表示的控制内容可以考虑几个内容，例如，按照运动检测器100的安装方法可以有下列1)～4)等内容。
1).仅在局部存储器702中包含直接预测时使用的所有像素数据的情况下，进行直接预测，只要有一部分没有包括，就不进行直接预测。
2).在局部存储器702中只要包含了一部分直接预测时使用的像素数据时进行直接预测，一点也没有包含的情况不进行直接预测。
3).从存储在局部存储器702的区域离得较远的图片空间中存在直接预测时使用的像素数据的情况下，不进行直接预测。
4).多帧存储器504和局部存储器702之间的总线的分配带宽没有余量的情况下，不进行直接预测。
导入访问标志的一个目的在于，抑制多帧存储器504和局部存储器702之间的数据传输带宽的增加。例如采用了如1)一样的控制方法的情况下，具有一律不增加多帧存储器504和局部存储器702之间的数据传输带宽的效果。但是，只进行该控制，就导致仅在搜索范围内包含全部参考像素时才进行直接预测，所以与以往方法相比较效果不明显。在采用了如2)和3)一样的控制方法的情况下，具有既抑制多帧存储器504和局部存储器702之间的数据传输带宽，又能够进行直接预测的效果。在采用了如4)一样的控制方法的情况下，具有能够按照系统整体的状况进行直接预测的效果。而且，当然能够组合1)至4)的控制方法。例如可以进行如下控制，在带宽有余量时进行直接预测，而在带宽没有余量时只有在局部存储器702内包含所有直接预测时使用的数据的情况下才进行直接预测。而且，还可以考虑其他的控制方法。例如，可以考虑只有在局部存储器702内存在一半以上的直接预测时使用的数据时，才进行直接预测的控制。
直接判断器112，根据直接预测用运动矢量dirMV和标志信号AFsig，判断是否进行直接预测，以及判断从哪个存储器获得直接预测时使用的像素数据，并将判断结果作为判断结果信号DJsig输出到选择器106和直接预测器108。选择器106，按照判断结果信号DJsig，直接预测时使用的像素数据存在于局部存储器702的情况下，选择存储在局部存储器702的参考像素LMEpel，将被选择的参考像素LMEpel作为参考像素DPpel输出到直接预测器108。而且，选择器106，在直接预测时使用的像素数据不存在于局部存储器702的情况下，选择存储在多帧存储器504的参考像素MEpel，将被选择的参考像素MEpel作为参考像素DPpel输出到直接预测器108。直接预测器108，利用输入像素数据的参考像素DPpel进行运动补偿，做出预测图像。
最后，在运动检测器100中，由未图示的判断器比较利用通常的运动检测部704时的编码成本和利用直接预测器108时的编码成本，将编码成本少的一方作为模式判断结果而采用。采用了通常的运动检测的情况下，与图1示出的以往的运动图像编码装置的处理的流程相同，运动矢量MV被输出，与预测运动矢量PredMV之间的差分，即运动矢量预测差分DifMV被编码。而且，采用了直接预测的情况下没有必要编码运动矢量预测差分DifMV，能够减少编码量。
通过进行上述编码处理，既能够将多帧存储器504和局部存储器702之间的带宽抑制到最低限度，又能够对局部存储器702里不存在的区域进行直接预测，从而能够实现减少编码量。
图12是表示运动检测范围扩充的模式图，将上述工作以视觉角度来说明。而且，图13是表示本发明的运动检测处理的流程图。下面，利用图12及图13来说明工作。在图12中，帧F2N-1和帧F2N是进行编码的图片，帧F2N-1是时间上比帧F2N旧的图片。
例如，编码帧F2N的宏块mb2的情况下，通常的运动检测部704，将帧F2N-1作为参考图像，为了进行通常的运动检测而利用存储在局部存储器702的运动矢量搜索范围srchArea内的参考像素LMEpel，来搜索运动矢量。搜索的结果，通常的运动检测部704，判断宏块mb2和包含椭圆的一部分的区域srchBlock之间的相关高，检测运动矢量MV(S301)。
另一方面，在直接预测中能够将从局部存储器702中包含的范围到扩充的区域dirArea为止作为参考图像来使用。本发明的实施例1中，因为也能够参考多帧存储器504中包含的范围，所以能够参考帧F2N-1的全部，不过，在这里图示的例子是进行如上述3)一样的控制，将被扩充的区域dirArea限制在直接预测能够使用的范围的情况。
其次，直接判断器112，判断被扩充的区域dirArea中是否包含由直接预测被生成的直接预测用运动矢量dirMV(S302)。在被判断为被扩充的区域dirArea中包含由直接预测被生成的直接预测用运动矢量dirMV的情况下(S302的“是”)，选择器106从多帧存储器504获得直接预测参考区域dirBlock的像素数据。而且，直接预测器108算出编码成本(S303)。
在被判断为被扩充的区域dirArea中没有包含由直接预测被生成的直接预测用运动矢量dirMV的情况下(S302的“否”)，直接预测器108从编码模式的候选中排除直接预测(S304)。在此，包括S301的过程P300和包括S302～S304的过程P301可以并行处理。
过程P300和过程P301结束时，对采用了运动矢量MV时的编码成本与进行了直接预测时的编码成本进行比较(S305)。
在被判断为直接预测的编码成本低的情况下(S305的“是”)，作为直接预测不需要对运动矢量预测差分DifMV进行编码，来进行编码处理(S306)。而且，在被判断为通常的运动检测的编码成本低的情况下，作为通常的画面间预测，包括运动矢量预测差分DifMV来进行编码处理(S307)。但是，在S304中直接预测从编码模式的候选中被排除的情况下，不在S305进行编码成本的判断，而是在S307中作为通常的画面间预测来进行编码处理。
此外，在实施例1中是输入到直接预测器108的像素数据的输入源在选择器106切换，不过也可以是这样的结构，进行直接预测的时候始终从多帧存储器504获得像素数据。根据该结构能够简化数据获得路径。而且，一般来说有可能成为这样的结构，局部存储器702和通常的运动检测部704之间的像素数据传输中，定常地使用最大限度的总线宽度。因此，即使直接预测的时候从多帧存储器504获得像素数据，也不会给局部存储器702和通常的运动检测部704的总线传输能力带来影响。
另外，本实施例的运动检测器100，为了确保在内部的总线传输能力(例如从局部存储器702到通常的运动检测部704的像素数据传输)，最好是以单芯片来构成。另一方面多帧存储器504需要大容量，所以通常是作为别的芯片来外置。
(实施例2)
其次，参照图14至图16B来说明本发明的实施例2。
图14是表示实现本发明的第二运动检测装置的结构的方框图。在该图中，对于与图11相同编号的处理部，因为具有相同的功能，适当省略其说明。
第二运动检测装置包括多帧存储器504以及运动检测器200。
运动检测器200，除了图11示出的运动检测器100的结构之外还包括在多帧存储器504和局部存储器702之间的高速缓冲存储器802。而且，运动检测器200不具有运动检测器100具有的访问标志存储部110。高速缓冲存储器802的存储容量比局部存储器702存储容量大，且比多帧存储器504存储容量小。
运动检测器200进行以下说明的工作，进行包括直接预测的运动检测。另外，通常的运动检测部704作为第一运动检测单元，直接预测器108作为第二运动检测单元，选择器106作为选择单元，直接判断器204作为第二运动检测可否判断单元，来发挥作用。
首先，在进行通常的运动检测的情况下，与说明以往技术的处理的流程相同，存储在多帧存储器504的像素数据，作为参考像素MEpel第一次存储在高速缓冲存储器802中。存储在多帧存储器504的像素数据，作为参考像素CMEpel第二次存储在局部存储器702中。存储在局部存储器702的像素数据作为参考像素LMEpel被输入到通常的运动检测部704。通常的运动检测部704，利用被输入的参考像素LMEpel进行通常的运动检测。局部存储器702中存储有相当于搜索范围分量的像素数据、以及作为编码对象的宏块移动时作为搜索范围所必要的程度的像素数据。例如，如果是搜索如图5一样的区域的例子，局部存储器702最好是存储纵向三宏块和横向四宏块的像素数据。当然，按照搜索范围的大小等被存储的区域可以有增减。另一方面，下面说明进行直接预测的情况，不过，与实施例1相同，为了简化仅对空间直接模式进行说明。
直接预测中，利用周边宏块的运动矢量信息，直接预测用运动矢量dirMV被确定，该直接预测用运动矢量dirMV被输入到直接判断器204。
直接判断器204，根据直接预测用运动矢量dirMV，判断是否进行直接预测、以及判断从哪个存储器获得直接预测时使用的像素数据，并将判断结果作为判断结果信号DJsig输出到选择器106和直接预测器108。选择器106，按照判断结果信号DJsig，在直接预测时使用的像素数据存在于局部存储器702的情况下，选择存储在局部存储器702的参考像素LMEpel，将被选择的参考像素LMEpel作为参考像素DPpel输出到直接预测器108。而且，选择器106，在直接预测时使用的像素数据不在局部存储器702，而在高速缓冲存储器802中的情况下，选择存储在高速缓冲存储器802的参考像素CMEpel，作为参考像素DPpel输出到直接预测器108。直接预测器108，利用输入像素数据的参考像素DPpel进行运动补偿，制作出预测图像。
最后，在运动检测器200中，由未图示的判断器来比较利用通常的运动检测部704时的编码成本和利用直接预测器108时的编码成本，将编码成本少的一方作为模式判断结果而被采用。通常的运动检测中，与图1示出的以往的运动图像编码装置的处理的流程相同，运动矢量MV被输出，与预测运动矢量PredMV之间的差分即运动矢量预测差分DifMV被编码。而且，在选择了直接预测的情况下没有必要编码运动矢量预测差分DifMV，能够减少编码量。
本实施例的一个特征在于下述结构，即不是从多帧存储器504，而是只从高速缓冲存储器802获得直接预测时使用的像素数据的结构。因为多数情况下多帧存储器504通常作为外部存储器而外置，所以确保传输像素数据的带宽是比较困难的。然而，做成本实施例的结构，就能够一律不增加与外置存储器之间的传输带宽，也能够从搜索范围之外进行直接预测。另外，与实施例1组合，做成从多帧存储器504也能够进行直接预测的结构的时候，具有与实施例1同样的效果。
进而，高速缓冲存储器本身对于确保通常的运动预测中的传输的带宽也有贡献，所以具有这样的优点，为了对应直接预测而追加的安装存储器的成本变得不需要。
根据进行上述的编码处理，无需增加多帧存储器504的传输量就能扩充直接预测的范围，而且，既能够对高速缓冲存储器802和局部存储器702的带宽抑制到最小限度，又能够对局部存储器702中不存在的区域进行直接预测。根据这些，能够实现减少编码量。
另外，本实施例中是将输入到直接预测器108的像素数据的输入源在选择器106进行切换，不过，可以做成这样的结构，进行直接预测的时候，始终从高速缓冲存储器802获得像素数据。即，从局部存储器702至选择器106的路径不存在的结构。通过做成这样的结构，能够简化数据获得路径。而且，一般来说有可能成为这样的结构，局部存储器702和通常的运动检测部704之间的像素数据传输中，定常地使用最大限度的总线宽度。因此，即使是做成这样的结构，也不会影响局部存储器702与通常的运动检测部704的总线传输能力。
另外，本实施例的运动检测器200，为了确保在内部的总线传输能力(例如从局部存储器702到通常的运动检测部704的像素数据传输)，最好是以单芯片来构成。另一方面多帧存储器504需要大容量，所以通常是作为别的芯片来外置。
另外，本实施例示出了在多帧存储器504和局部存储器702之间明示性地设置高速缓冲存储器802的结构，不过，也可以是由局部存储器702存储像素数据的结构，该像素数据是相当于高速缓冲存储器802存储的行缓冲器的程度的区域所包含的像素数据。可是，在这个情况下，存储在局部存储器702的像素数据的图像上的范围作为搜索范围时，导致通常的运动检测部704和局部存储器702之间的传输带宽极度增大。因而，可以做成这样的结构，在通常的运动检测部704，局部存储器702存储的像素数据中，仅在上述实施例示出的程度的特定的搜索范围内进行运动检测(图5的例子中是相当于纵向三宏块，横向三宏块的程度的范围)，直接预测器108，从局部存储器702所包含的行缓冲器的全部区域中进行直接预测。这个情况下，虽然局部存储器702的输出方的带宽增加，不过，既能够减少全体存储容量又不增加外部存储器的带宽来提高直接预测的性能。另外，在这个结构中也像后述一样，只要限制进行直接预测的范围就能够很容易控制直接判断器204。
(搜索扩充范围的条件追加)
在实施例2的结构中，通过使用高速缓冲存储器802，一边最大限度减少与多帧存储器504之间的像素数据传输量，一边扩充直接预测的能够预测范围。在此，通过在直接预测的扩充范围追加条件，从而对直接判断器204的控制变得容易，进而在安装方面也有好处。下面，继续说明直接预测的能够预测扩充范围的条件。
图15是说明运动检测范围的限制的模式图。图15(a)～图15(c)是以宏块单位的时间顺序记载了局部存储器702的像素控制内容的图。图15(a)中，使画面左端的宏块1002向右侧移位的宏块1004作为搜索中心的情况下的区域1006(3宏块×3宏块)成为运动检测范围。而且，该图表示为了进行下面的宏块处理(图15(b))，事先获得了以短斜线表示的3宏块的区域1008。存储器管理状态从图15(a)向图15(b)、图15(c)的状态变化。
图15(d)～图15(f)除了与图15(a)～图15(c)相同地表示每个宏块的局部存储器702的搜索范围的管理状态，还追加记载了包括主要划上横线的区域1010的高速缓冲存储器802的状态。这些图表示，高速缓冲存储器802安装了例如(图片宽×3宏块行)的存储容量的状态。表示随着从图15(d)到图15(e)、图15(f)搜索中心的宏块1004向右侧移位，在存储了上段以花格表示的逻辑区域1012的物理存储器区域中，逐步存储下段的花格逻辑区域1014的图像信息，从而逐步更新存储器状态的状况。
如图15(d)～图15(f)一样的管理中，直接预测的能够预测范围作为高速缓冲存储器802包含的全部的情况下，根据更新上述的存储器状态的逻辑区域1012及1014中的更新时机，直接预测会变得困难。而且，存储在高速缓冲存储器802的区域因为不是长方形，所以由直接判断器204进行的区域判断变得复杂。
于是，用于运动检测的搜索范围向右侧扩充的直接预测的能够预测扩充范围，限制在从存储在局部存储器702的搜索范围到固定宏块列为止的区域扩充。由此，像素数据的更新时机和直接预测区域的上下位置没有必要加在能够获得判断处理，所以能够简单地安装直接判断器204。例如，在图15(d)～图15(f)中，将直接预测右侧的备用扩充范围，限制在从搜索范围到2宏块列1016为止的区域时，没有必要在意更新的时机。当然，关于限制到什么范围为止，按照高速缓冲存储器802的存储容量和更新的算法，可适当进行变更。
而且，图15(g)～图15(i)除了与图15(a)～图15(c)相同地表示每个宏块的局部存储器702的搜索范围的管理状态，还追加记载了包含主要划上横线的区域1018的高速缓冲存储器802的状态。与图15(d)～图15(f)的不同之处在于，根据用图8来说明的存储器管理，减少了高速缓冲存储器802的安装容量。这些图表示，高速缓冲存储器802安装了例如(图片宽×3宏块行-α)的存储容量的情况下的状态。表示随着从图15(g)到图15(h)、图15(i)搜索中心的宏块1004向右侧移位，在存储了上段的以花格表示的逻辑区域1020的物理存储器区域中，逐步存储下段的花格逻辑区域1022的图像信息，从而逐步更新存储器状态的状况。
在进行如图15(g)～图15(i)一样的管理的前提下，直接预测的能够预测范围作为高速缓冲存储器802包含的全部的情况下，即使是从用于运动检测的探索范围到左侧，根据更新上述的存储器状态的以花格表示的逻辑区域1020及1022的更新时机，直接预测也会变得困难。而且，同样存储在高速缓冲存储器802的区域因为不是长方形，所以由直接判断器204进行的区域判断变得复杂。
于是，用于运动检测的搜索范围向左侧扩充的直接预测的能够预测扩充范围，限制在从存储在局部存储器702的搜索范围到固定宏块列为止的区域扩充。由此，像素数据的更新时机和直接预测区域的上下位置没有必要加在能够获得判断处理，所以能够简单地安装直接判断器204。例如，图15(d)～图15(f)中，将直接预测的备用扩充范围，限制在从搜索范围向右侧2宏块列1024、向左侧1宏块列1026为止的区域时，没有必要在意更新的时机。当然，关于限制到什么范围为止，按照高速缓冲存储器802的存储容量和更新的算法，可适当进行变更。
另外，也可以将扩充用于运动检测的搜索范围的直接预测的备用扩充范围，在纵方向加以限制。例如，考虑如图15(d)～图15(f)一样的管理的情况下，存储在高速缓冲存储器802的区域中最上行的宏块和最下行的宏块，随着对象宏块的移动而被更新，不过，中央的2宏块行不会被更新。于是，将直接预测的备用扩充范围限制在中央的2宏块行的宏块，从而直接判断器204可以简单地判断是否进行直接预测。当然，关于限制到什么范围为止，按照高速缓冲存储器802的存储容量和更新的算法，可适当进行变更。进而，限制范围不只是纵方向加以限制，或者只是横方向加以限制，而是根据高速缓冲存储器802的存储容量和更新的算法的不同，通过在纵方向和横方向都加以限制，从而直接判断器204能够更加容易进行判断。
(本实施例适用于车窗的图像)
图16A以及图16B是表示在本发明中对从车窗看到的风景进行运动检测的工作的模式图。在图16A中，帧F6N-1表示与图10A示出的帧F18N-1相同的参考图像。区域P600表示以高速缓冲存储器802进行管理的区域。区域P601表示在上述的直接判断器204中对直接预测的预测存储扩充范围加以限制的区域。而且，该图中表示有，成为搜索中心的宏块P602、进行运动检测的搜索范围P603、与图10B示出的帧F18N的编码对象的宏块P1805相同的空间上的位置的周边P604、直接预测中被选择的位置P605。在这里，与图10A以及图10B相同，假设搜索中心向右侧移位的状态。
图16B表示，帧F18N的编码对象宏块currMB(宏块1805)、其周边宏块即左相邻宏块mb6A、上相邻宏块mb6B、右上相邻宏块mb6C。为了简略说明，例如，搜索中心与全体的运动同步发生偏离，所以针对由左相邻宏块mb6A、上相邻宏块mb6B、右上相邻宏块mb6C组成的周边宏块，假设一致的参考图像不能从帧F6N-1得到，分别适应画面内预测。
以所述假设为基础，进行对编码对象宏块currMB的处理的情况下，周边宏块的编码模式全部成为画面内预测。因此，在空间直接模式的预测运动矢量成为0矢量。在此，假设进行运动检测的搜索范围P603，与对周边宏块的运动检测范围相同偏离到右侧时，从搜索范围P603中选择编码成本变高的参考图像。
在此，为了直接预测而生成的运动矢量是0矢量，直接判断器204进行判断，即判断直接预测中被选择的位置P605是否包含在区域P601，该区域P601是对直接预测的预测存储扩充范围加以限制的区域。其结果，判断为位置P605包含在区域P601时，作为直接预测进行编码。据此，能够进行比起画面内预测大大减少编码比特量的直接预测的编码。
另外，方框图(图11和图14等)的各功能块，典型的是作为集成电路即LSI来实现。这些可以将每一个制成一个芯片，也可以将一部分或者全部制成一个芯片。因为多帧存储器504等容量大，所以可安装在外置在LSI的大容量SDRAM等上，不过也可以制成一个包或者一个芯片。
而且，在这里是称为LSI，但是按照集成度的不同，也可以被称为IC、系统LSI、超级LSI、极超LSI等。还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA：Field Programmable Gate Array)或可动态地重构LSI内部的电路单元的连接或设定的可重构处理器。进一步，随着半导体技术的发展或者派生出别的技术出现了替换LSI的集成电路化的技术时，当然可以使用该技术进行功能块的集成化。有可能适用生物技术等。
(应用例1)
接着说明包含所述运动检测装置的运动图像编码装置的应用例。
图17是实现H.264记录器的AV处理部的方框图。AV处理部400表示再生被数字压缩的声音及图像的DVD记录器和硬盘记录器等AV处理部。
AV处理部400包括：流输入输出部402、存储器输入输出部404、AV控制部406、图像编码解码部408、声音编码解码部410、图像处理部412、图像输入输出部414、声音处理部416、声音输入输出部418。
流输入输出部402是输入输出声音和图像的流数据exStr的处理部，被连接在传输流数据和声音及图像的解码数据等数据的总线exBus、以及大容量存储装置(未图示)。
图像编码解码部408是进行图像的编码及解码的处理部，被连接在总线exBus上。
在AV处理部400外部，设有存储流数据和编码数据和解码数据等数据的存储器390，经由存储器输入输出部404，连接在总线exBus。
在此，图像编码解码部408包含图11和图14示出的运动检测装置。流数据exStr包含编码信号Str，存储器390包含图11中示出的多帧存储器504。
图像处理部412是对图像信号进行前处理及后处理的处理部，被连接在总线exBus上。图像输入输出部414，将在图像处理部412进行了处理的或者没有在图像处理部412进行处理只是通过的图像数据信号.作为图像信号exVSig而输出到外部，而且，图像输入输出部414读取来自外部的图像信号exVSig。
声音处理部416是对声音信号exASig进行前处理及后处理的处理部，被连接在总线exBus上。声音输入输出部418，将在声音处理部416进行了处理的或者没有在声音处理部416进行处理只是通过的声音数据信号，作为声音信号exASig而输出到外部，而且，声音输入输出部418读取来自外部的声音信号exASig。而且，AV控制部406是进行AV处理部400的整体控制的处理部。
在编码处理中，最先是图像信号exVSig被输入到图像输入输出部414，且声音信号exASig输入到声音输入输出部418。
首先记录处理中，利用被输入到图像输入输出部414的图像信号exVSig，在图像处理部412中进行滤波器处理和用于编码的特征量提取等。而且，特征量提取后的图像信号exVSig，经由存储器输入输出部404作为原图像存储到存储器390。其次，再次经由存储器输入输出部404从存储器390向图像编码解码部408，传输原图像数据和参考图像数据。相反，从图像编码解码部408向存储器390传输在图像编码解码部408被编码的图像流数据和局部复原数据。
另一方面，利用被输入到声音输入输出部418的声音信号exASig，在声音处理部416中进行滤波器处理和用于编码的特征量提取等，进行了特征量提取的声音信号exASig，经由存储器输入输出部404作为原声音数据被存储到存储器390。其次，再次经由存储器输入输出部404从存储器390取出原声音数据进行编码，被编码的声音数据，再次作为声音流数据被存储到存储器390。
在编码处理的最后，将图像流、声音流以及其他的流信息作为一个流数据来处理，经由流输入输出部402输出流数据exStr，在激光盘(DVD)和硬盘(HDD)等大容量存储装置进行写入处理。
其次，在解码处理中进行如下工作。首先，通过从激光盘和硬盘和半导体存储器等大容量存储装置，读出通过记录处理所存储的数据，从而声音及图像的流信号经由流输入输出部402输入流数据exStr。该流数据exStr所包含的图像流输入到图像编码解码部408，声音流输入到声音编码解码部410。
根据图像编码解码部408被解码的图像数据，经由存储器输入输出部404存储到存储器390。存储在存储器390的数据，在图像处理部412进行噪声消除等加工处理。而且，也可能是存储在存储器390的图像数据再次在图像编码解码部408中，作为画面间运动补偿预测的参考图片被使用。
而且，由声音编码解码部410解码的声音数据，经由存储器输入输出部404存储到存储器390。针对存储在存储器390的数据，在声音处理部416实施声响等加工处理。
最后，一边取声音和图像的时间同步，一边将在图像处理部412进行了加工处理的数据经由图像输入输出部414作为图像信号exVSig输出，并显示在电视画面等。在声音处理部416进行了加工处理的数据经由声音输入输出部418作为声音信号exASig输出，最终通过扬声器等输出。
(应用例2)
进而，将用于将所述各实施例示出的运动图像解码装置根据软件来实现的程序，记录在软磁盘等存储媒体，从而能够将所述各实施例示出的处理，便于在独立的计算机系统中实施。
图18A～图18C是利用软磁盘由计算机系统实施的情况的说明图，所述软磁盘存储了实现从所述实施例1到实施例2的运动图像解码装置的程序。
图18A示出从软磁盘正面看的外形、断面结构、以及软磁盘，图18B示出作为记录媒体主体的软磁盘的物理格式化的例子。软磁盘FD被内藏在盒F内，该盘的表面，以同心圆形状从外周向内周形成了多个磁道Tr，各磁道在角度方向上被分割为16扇区Se。从而，存储了所述程序的软磁盘中，在所述软磁盘FD上分配的区域上，记录作为所述程序的运动图像解码装置。
而且，图18C示出用于在软磁盘FD上进行上述程序的记录再生的结构。将上述程序记录在软磁盘FD的情况下，从计算机系统Cs经由软磁盘驱动器写入作为所述程序的运动图像解码装置。而且，由软磁盘内的程序在计算机系统中构筑运动图像解码装置的情况下，由软磁盘驱动器从软磁盘读出程序，并传输到计算机系统。
另外，在所述说明中作为记录媒体用软磁盘进行了说明，不过，也可以用激光盘进行同样的处理。而且，记录媒体不限于此，IC卡、只读存储器盒(ROM cassette)等，只要是能够记录程序就能实施同样的处理。
本发明的运动检测装置，针对超过通常的运动检测对应范围的参考图像空间，通过有效利用直接预测，从而从外部存储器或者内部的广域高速缓冲存储器获得像素数据，几乎不增加与外部存储器之间的传输带宽，而且不增加安装存储容量，就能够扩充画面间预测的对象范围。
在此公开的实施例的所有部分都是例示，应当认为并不是加以限制的内容。本发明的范围不在于上述的说明，是根据权利要求而表示的，并意味着包括与权利要求同等的意思以及在范围内的所有变更。
本发明适用于例如利用了H.264标准的HD图像大小等大视角的图片大小所对应的便携式摄像机以及记录器等。

Claims (26)

1、一种运动检测装置，利用存储在多帧存储器的参考图片的像素数据，对构成编码对象图片的宏块进行运动检测，其特征在于，包括：
局部存储器，存储从所述多帧存储器读出的参考图片的像素数据中的、包含在第一范围的像素数据，该第一范围是第一运动检测时的搜索范围；
第一运动检测单元，利用存储在所述局部存储器的像素数据，进行所述第一运动检测；以及
第二运动检测单元，利用包含在第二范围的所述参考图片的像素数据进行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算法，所述第二范围是包含所述第一范围、且比该第一范围大的范围。
2、如权利要求1所述的运动检测装置，其特征在于，
所述第二运动检测单元，利用存储在所述多帧存储器的所述参考图片的像素数据，进行所述第二运动检测。
3、如权利要求2所述的运动检测装置，其特征在于，
还包括选择单元，在所述第二运动检测单元利用所述第一范围内的像素数据进行所述第二运动检测的情况下，选择存储在所述局部存储器的像素数据，在所述第二运动检测单元利用所述第二范围之内、且所述第一范围之外的像素数据进行所述第二运动检测的情况下，选择存储在所述多帧存储器的像素数据，
所述第二运动检测单元，利用所述选择单元选择的像素数据进行所述第二运动检测。
4、如权利要求1所述的运动检测装置，其特征在于，
还包括执行控制单元，控制所述第二运动检测单元进行的所述第二运动检测的执行以及非执行。
5、如权利要求4所述的运动检测装置，其特征在于，
所述执行控制单元，仅在用于所述第二运动检测的像素数据的至少一部分存储在所述局部存储器的情况下，使所述第二运动检测单元执行所述第二运动检测。
6、如权利要求1所述的运动检测装置，其特征在于，
还包括高速缓冲存储器，存储有从所述多帧存储器读出的参考图片的像素数据中的、包含在所述第二范围的像素数据，
所述局部存储器，存储有从所述高速缓冲存储器读出的、包含在所述第一范围的像素的像素数据，
所述第二运动检测单元，利用存储在所述高速缓冲存储器的所述参考图片的像素数据进行所述第二运动检测。
7、如权利要求6所述的运动检测装置，其特征在于，
还包括选择单元，在所述第二运动检测单元利用所述第一范围内的像素数据进行所述第二运动检测的情况下，选择存储在所述局部存储器的像素数据，在所述第二运动检测单元利用所述第二范围之内、且所述第一范围之外的像素数据进行所述第二运动检测的情况下，选择存储在所述高速缓冲存储器的像素数据，
所述第二运动检测单元，利用所述选择单元选择的像素数据进行所述第二运动检测。
8、如权利要求6所述的运动检测装置，其特征在于，
还包括第二运动检测可否判断单元，仅在用于所述第二运动检测的像素数据存储在所述高速缓冲存储器的情况下，判断为能够进行所述第二运动检测，
所述第二运动检测单元，在所述第二运动检测可否判断单元判断为能够进行所述第二运动检测的情况下，进行所述第二运动检测。
9、如权利要求8所述的运动检测装置，其特征在于，
所述第二运动检测可否判断单元，仅在用于所述第二运动检测的像素数据包含在下列区域的情况下判断为能够进行所述第二运动检测，所述区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、预先规定的一部分区域。
10、如权利要求9所述的运动检测装置，其特征在于，
所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、在纵方向上被加以限制的区域。
11、如权利要求9所述的运动检测装置，其特征在于，
所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、在右方向上被加以限制的区域。
12、如权利要求9所述的运动检测装置，其特征在于，
所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、在左方向上被加以限制的区域。
13、如权利要求9所述的运动检测装置，其特征在于，
所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、在纵方向和横方向上都被加以限制的区域。
14、如权利要求6所述的运动检测装置，其特征在于，
所述高速缓冲存储器只存储有构成一幅参考图片的像素数据中的、包含在规定数的宏块行中的宏块的像素数据，每当成为所述第一运动检测对象的宏块被更新时，所述被存储的宏块中的最上行和最下行的宏块的像素数据就被更新。
15、如权利要求14所述的运动检测装置，其特征在于，
还包括第二运动检测可否判断单元，仅在用于所述第二运动检测的像素数据存储在所述高速缓冲存储器的情况下，判断为能够进行所述第二运动检测，
所述第二运动检测可否判断单元进行所述第二运动检测可否的判断，该判断是从存储在所述高速缓冲存储器的宏块中，将每当成为所述第一运动检测对象的宏块被更新时就被更新的宏块除外后而被进行的。
16、如权利要求6所述的运动检测装置，其特征在于，
所述第二运动检测单元，只利用存储在所述高速缓冲存储器的所述参考图片的像素数据进行所述第二运动检测。
17、如权利要求6所述的运动检测装置，其特征在于，
所述高速缓冲存储器的存储容量，比所述局部存储器的存储容量大、且比所述多帧存储器的存储容量小。
18、如权利要求1所述的运动检测装置，其特征在于，
所述第二运动检测是不需要进行预测运动矢量和运动矢量之间的差分处理的运动检测。
19、如权利要求18所述的运动检测装置，其特征在于，
所述第二运动检测是直接预测或者跳跃预测。
20、如权利要求1所述的运动检测装置，其特征在于，
所述运动检测装置由一个芯片构成。
21、如权利要求1所述的运动检测装置，其特征在于，
还包括所述多帧存储器。
22、一种运动检测方法，利用存储在多帧存储器的参考图片的像素数据，对构成编码对象图片的宏块进行运动检测，其特征在于，包括：
第一运动检测步骤，利用从所述多帧存储器读出的参考图片的像素数据中的、存储在局部存储器的包含在第一范围的所述参考图片的像素数据进行第一运动检测，该第一范围是所述第一运动检测时的搜索范围；以及
第二运动检测步骤，利用包含在第二范围的所述参考图片的像素数据进行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算法，所述第二范围是包含所述第一范围、且比该第一范围大的范围。
23、一种运动检测程序，利用存储在多帧存储器的参考图片的像素数据，对构成编码对象图片的宏块进行运动检测，所述运动检测程序使计算机执行以下步骤：
第一运动检测步骤，利用从所述多帧存储器读出的参考图片的像素数据中的、存储在局部存储器的包含在第一范围的所述参考图片的像素数据进行第一运动检测，该第一范围是所述第一运动检测时的搜索范围；以及
第二运动检测步骤，利用包含在第二范围的所述参考图片的像素数据进行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算法，所述第二范围是包含所述第一范围、且比该第一范围大的范围。
24、一种运动检测装置，利用参考图片的像素数据，对构成编码对象图片的宏块进行运动检测，其特征在于，包括：
第一存储器，存储所述参考图片内的像素中的、包含在运动检测时的搜索范围的像素的像素数据；
第二存储器，比所述第一存储器容量大，所述第二存储器存储向所述第一存储器传输的像素数据；
第一运动检测单元，利用存储在所述第一存储器的像素数据，进行第一运动检测；以及
第二运动检测单元，利用存储在所述第二存储器的像素数据进行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算法。
25、一种运动检测装置，利用存储在多帧存储器的参考图片的像素数据，对构成编码对象图片的宏块进行运动检测，其特征在于，包括：
局部存储器，存储从所述多帧存储器读出的参考图片内的像素中的、运动检测时的搜索范围以及与该搜索范围相邻的扩大范围内的像素的像素数据；
第一运动检测单元，利用存储在所述局部存储器的像素数据中的、包含在所述搜索范围的像素数据，进行第一运动检测；以及
第二运动检测单元，利用存储在所述局部存储器的像素数据中的、包含在所述搜索范围以及所述扩大范围的像素数据进行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算法。
26、如权利要求25所述的运动检测装置，其特征在于，
所述扩大范围是相当于包含所述搜索范围的中心的像素的多个行的范围。
CN200880012823A 2007-04-26 2008-04-03 运动检测装置、运动检测方法、以及运动检测程序 Pending CN101663899A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP116949/2007 2007-04-26
JP2007116949 2007-04-26

Publications (1)

Publication Number Publication Date
CN101663899A true CN101663899A (zh) 2010-03-03

Family

ID=39943299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880012823A Pending CN101663899A (zh) 2007-04-26 2008-04-03 运动检测装置、运动检测方法、以及运动检测程序

Country Status (5)

Country Link
US (1) US20100086053A1 (zh)
EP (1) EP2141930A4 (zh)
JP (1) JPWO2008136178A1 (zh)
CN (1) CN101663899A (zh)
WO (1) WO2008136178A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478319A (zh) * 2016-07-11 2019-03-15 三菱电机株式会社 动态图像处理装置、动态图像处理方法及动态图像处理程序
WO2020024152A1 (zh) * 2018-08-01 2020-02-06 深圳市大疆创新科技有限公司 视频处理设备和方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5082856B2 (ja) * 2005-11-30 2012-11-28 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
EP2315447A1 (en) * 2008-08-21 2011-04-27 Panasonic Corporation Motion detection device
JP5299820B2 (ja) * 2010-01-20 2013-09-25 株式会社日立国際電気 画像処理装置及び動画像符号化装置。
WO2011129067A1 (ja) * 2010-04-13 2011-10-20 パナソニック株式会社 動き補償方法、画像復号方法、画像符号化方法、動き補償装置、プログラム、及び集積回路
KR20120066305A (ko) * 2010-12-14 2012-06-22 한국전자통신연구원 비디오 움직임 예측 및 보상용 캐싱 장치 및 방법
US9955155B2 (en) * 2010-12-31 2018-04-24 Electronics And Telecommunications Research Institute Method for encoding video information and method for decoding video information, and apparatus using same
CN102088610B (zh) * 2011-03-08 2013-12-18 开曼群岛威睿电通股份有限公司 视频编解码器及运动估计方法
PL3136727T3 (pl) 2011-04-12 2018-11-30 Sun Patent Trust Sposób kodowania ruchomych obrazów i urządzenie do kodowania ruchomych obrazów
WO2012160803A1 (ja) 2011-05-24 2012-11-29 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
CA2834123C (en) 2011-05-27 2020-02-11 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
EP4270953A3 (en) 2011-05-31 2023-11-22 Sun Patent Trust Video decoding method, video decoding device
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
KR101900986B1 (ko) 2011-06-30 2018-09-20 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 및, 화상 부호화 복호 장치
EP2741499A4 (en) 2011-08-03 2014-12-10 Panasonic Ip Corp America VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO CODING DEVICE, VIDEO ENCODING DEVICE AND VIDEO ENCODING / DECODING DEVICE
CN103858428B (zh) 2011-10-19 2018-07-03 太阳专利托管公司 图像编码方法、图像编码装置、图像解码方法及图像解码装置
JP5917907B2 (ja) * 2011-12-22 2016-05-18 株式会社メガチップス 画像処理装置
JP5865696B2 (ja) * 2011-12-22 2016-02-17 株式会社メガチップス 画像処理装置
JP6094760B2 (ja) * 2012-02-07 2017-03-15 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
JP5906993B2 (ja) * 2012-08-22 2016-04-20 富士通株式会社 符号化装置、符号化方法、及びプログラム
US9883137B2 (en) * 2015-11-03 2018-01-30 Qualcomm Incorporated Updating regions for display based on video decoding mode
JP7224892B2 (ja) * 2018-12-18 2023-02-20 ルネサスエレクトロニクス株式会社 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1812584A (zh) * 2005-01-19 2006-08-02 威盛电子股份有限公司 具有快取的阶层式搜寻方法与系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03167984A (ja) * 1989-11-28 1991-07-19 Mitsubishi Electric Corp 画像情報伝送装置
JPH0591499A (ja) * 1991-09-30 1993-04-09 Sony Corp 動き補償付き差分符号化装置
JP2963269B2 (ja) * 1992-03-13 1999-10-18 富士通株式会社 動き補償予測装置
US6301299B1 (en) * 1994-10-28 2001-10-09 Matsushita Electric Industrial Co., Ltd. Memory controller for an ATSC video decoder
JP3803122B2 (ja) * 1995-05-02 2006-08-02 松下電器産業株式会社 画像メモリ装置および動きベクトル検出回路
JP4264571B2 (ja) * 1998-04-09 2009-05-20 ソニー株式会社 ディジタル画像復号装置及び方法、並びに記録媒体
JPH11308617A (ja) * 1998-04-23 1999-11-05 Hitachi Ltd ディジタル画像符号化装置とこれに用いる動きベクトル検出装置
JP2000175201A (ja) * 1998-12-04 2000-06-23 Sony Corp 画像処理装置及び方法、並びに提供媒体
JP2002218474A (ja) * 2001-01-24 2002-08-02 Mitsubishi Electric Corp 画像データ符号化装置
US7072395B2 (en) * 2001-07-20 2006-07-04 Ess Technology, Inc. Memory control apparatus and efficient search pattern for block-matching motion estimation
KR100450746B1 (ko) * 2001-12-15 2004-10-01 한국전자통신연구원 계층탐색 기반의 혼합형 움직임 추정 장치 및 방법
JP4195969B2 (ja) * 2002-08-05 2008-12-17 パナソニック株式会社 動きベクトル検出装置
JP2004266778A (ja) * 2003-03-04 2004-09-24 Matsushita Electric Ind Co Ltd 動きベクトル検出装置
US7881376B2 (en) * 2004-05-14 2011-02-01 Panasonic Corporation Motion compensation apparatus
JP4436782B2 (ja) * 2004-05-14 2010-03-24 パナソニック株式会社 動き補償装置
KR100668302B1 (ko) * 2004-07-28 2007-01-12 삼성전자주식회사 비디오 디코더/엔코더에서의 메모리 맵핑 장치 및 그 방법
US8019000B2 (en) * 2005-02-24 2011-09-13 Sanyo Electric Co., Ltd. Motion vector detecting device
JP4346573B2 (ja) 2005-03-25 2009-10-21 三洋電機株式会社 符号化装置と方法
JP2006287583A (ja) * 2005-03-31 2006-10-19 Victor Co Of Japan Ltd 画像データ領域取得補間回路
JP2007020123A (ja) * 2005-07-11 2007-01-25 Matsushita Electric Ind Co Ltd 動き検出装置、および動き検出方法
JP4570532B2 (ja) * 2005-08-02 2010-10-27 パナソニック株式会社 動き検出装置、動き検出方法、集積回路およびプログラム
KR100727989B1 (ko) * 2005-10-01 2007-06-14 삼성전자주식회사 동영상 부호화시의 인터 모드 결정 방법 및 장치
JP2007189518A (ja) * 2006-01-13 2007-07-26 Matsushita Electric Ind Co Ltd 信号処理装置、撮像装置、ネットワークカメラシステム及び映像システム
JP4757080B2 (ja) * 2006-04-03 2011-08-24 パナソニック株式会社 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1812584A (zh) * 2005-01-19 2006-08-02 威盛电子股份有限公司 具有快取的阶层式搜寻方法与系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478319A (zh) * 2016-07-11 2019-03-15 三菱电机株式会社 动态图像处理装置、动态图像处理方法及动态图像处理程序
WO2020024152A1 (zh) * 2018-08-01 2020-02-06 深圳市大疆创新科技有限公司 视频处理设备和方法

Also Published As

Publication number Publication date
JPWO2008136178A1 (ja) 2010-07-29
US20100086053A1 (en) 2010-04-08
EP2141930A1 (en) 2010-01-06
WO2008136178A1 (ja) 2008-11-13
EP2141930A4 (en) 2011-03-23

Similar Documents

Publication Publication Date Title
CN101663899A (zh) 运动检测装置、运动检测方法、以及运动检测程序
CN101036391B (zh) 画面编码装置和画面解码装置
CN100593336C (zh) 画面编码装置和画面解码装置
CN104350750B (zh) 用于简化视频随机访问的约束和单元类型的方法
CN100551074C (zh) 图像解码方法、图像解码装置和集成电路
CN101127913B (zh) 具有提供参考运动向量的位置的机制的帧间预测处理器
CN100525456C (zh) 运动检测装置
US20080279280A1 (en) Moving picture decoding integrated circuit
JP4757080B2 (ja) 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
CN102282851B (zh) 图像处理装置、解码方法、帧内解码装置、帧内解码方法以及帧内编码装置
CN101502121A (zh) 图像解码装置及方法、图像解码系统及系统lsi
TWI736186B (zh) 影像預測解碼裝置及影像預測解碼方法
CN102576411A (zh) 场景改变检测
CN101193306A (zh) 运动矢量检测装置和运动矢量检测方法
CN101895765A (zh) 代码转换器、记录装置和代码转换方法
CN1933602B (zh) 编码解码装置、编码解码方法及编码解码集成电路
CN103416063B (zh) 运动图像解码装置及运动图像解码方法
CN104243990A (zh) 对数字视频数据进行编码的方法
AU2020201377B2 (en) Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
CN102948150A (zh) 图像解码装置、图像编码装置、及其方法和程序
CN1925616B (zh) 一种宏块对级帧场自适应编解码方法
JP4902854B2 (ja) 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
CN101637027B (zh) 解码方法、解码器以及解码装置
CN1487738B (zh) 数字视频信号的记录和重放设备及其记录和重放的方法
CN102132568A (zh) 运动检测装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100303