CN101755462A - 图像编码装置以及图像编码方法 - Google Patents

图像编码装置以及图像编码方法 Download PDF

Info

Publication number
CN101755462A
CN101755462A CN200980000574A CN200980000574A CN101755462A CN 101755462 A CN101755462 A CN 101755462A CN 200980000574 A CN200980000574 A CN 200980000574A CN 200980000574 A CN200980000574 A CN 200980000574A CN 101755462 A CN101755462 A CN 101755462A
Authority
CN
China
Prior art keywords
image
signal
encoding section
local decode
repeat region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200980000574A
Other languages
English (en)
Inventor
清水健二
渊上龙司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101755462A publication Critical patent/CN101755462A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的图像编码装置(300)具有：信号分割部(302)，将输入图像信号(310)所包含的各个图片分割为第一编码对象范围(315A)以及第二编码对象范围(315B)；第一编码部(303A)，通过对第一编码对象范围(315A)进行编码，从而生成第一编码信号(313A)；第二编码部(303B)，通过对第二编码对象范围(315B)进行编码，从而生成第二编码信号(313B)；以及信号合成部(307)，通过合成第一编码信号(313A)和第二编码信号(313B)，从而生成输出编码信号(314)，信号分割部(302)，将第一编码部(303A)的运动矢量搜索范围决定为包含第一编码对象范围(315A)和第一重复区域(316A)的范围，且按规定的条件切换第一重复区域(316A)的大小。

Description

图像编码装置以及图像编码方法
技术领域
本发明涉及图像编码装置以及图像编码方法，尤其涉及将各图片分割为多个图像，并由多个编码部分别对被分割的图像进行编码的图像编码装置。
背景技术
以往，周知对HDTV(high definition television：高清晰度电视)图像等高像素速率的影像信号进行编码时，为了缓和处理速度，将HDTV图像分割为多个分割区域后，由低像素速率的编码部(压缩编码器)对被分割的各个图像信号进行编码的技术。据此，能够实现对应高像素速率的图像编码装置(例如，参照专利文献1)。图1是示出专利文献1所记载的以往的图像编码装置100的构成的方框图。
图1所示的图像编码装置100具有图像信号输入端子101、信号分割部102、编码部108、信号合成部106和编码信号输出端子107。并且，编码部108具有第一编码部103A和第二编码部103B。
高像素速率的输入图像信号(影像信号)110被供给到图像信号输入端子101。该高像素速率的输入图像信号110例如是如上所述的高清晰信号这样的顺序信号。
信号分割部102通过将输入图像信号110例如分割为上下2个，从而生成第一分割图像信号111A以及第二分割图像信号111B。例如，输入图像信号110的有效画框是480行(line)的情况下，第一分割图像信号111A以及第二分割图像信号111B分别是240行的图像信号。
第一编码部103A以及第二编码部103B是低像素速率用编码器。该第一编码部103A通过对第一分割图像信号111A进行压缩编码，从而生成第一编码信号112A。第二编码部103B通过对第二分割图像信号111B进行压缩编码，从而生成第二编码信号112B。
并且，第一编码部103A以及第二编码部103B在对第一分割图像信号111A以及第二分割图像信号111B的边界部分附近的图像进行运动检测以及运动补偿的情况下，利用由另一个编码部生成的与第一重复区域115A或第二重复区域115B对应的本地解码图像。
图2A是示出第一分割图像信号111A和第二重复区域115A的图。图2B是示出第二分割图像信号111B和第二重复区域115B的图。
并且，第一编码部103A在对第一分割图像信号111A进行编码时，生成该第一分割图像信号111A的本地解码图像。并且，第一编码部103A将所生成的本地解码图像中的、与第二编码部103B的第二搜索范围116B所包含的第二重复区域115B所对应的本地解码图像113A输出到第二编码部103B。
同样，第二编码部103B在对第二分割图像信号111B进行编码时，生成该第二分割图像信号111B的本地解码图像。并且，第二编码部103B将所生成的本地解码图像中的、与第一编码部103A的第一搜索范围116A所包含的第一重复区域115A所对应的本地解码图像113B输出到第一编码部103A。
并且，第一编码部103A在对第一分割图像信号111A进行运动检测以及运动补偿的情况下，利用与第一搜索范围116A对应的本地解码图像。并且，作为与第一搜索范围116A包含的第一重复区域115A所对应的本地解码图像，利用由第二编码部103B输出的本地解码图像113B。
并且，第二编码部103B在对第二分割图像信号111B进行运动检测以及运动补偿的情况下，利用与第二搜索范围116B对应的本地解码图像。并且，作为与第二搜索范围116B包含的第二重复区域115B所对应的本地解码图像，利用由第一编码部103A输出的本地解码图像113A。
信号合成部106通过合成被变换为低像素速率的第一编码信号112A以及第二编码信号112B，从而生成高像素速率的输出编码信号114，并将所生成的输出编码信号114输出到编码信号输出端子107。如此这般，专利文献1所记载的图像编码装置100利用低像素速率用第一编码部103A以及第二编码部103B，实现高像素速率用图像编码装置。
专利文献1：(日本)特开平10-178643号公报
然而，专利文献1所记载的图像编码装置100需要相邻的第一编码部103A和第二编码部103B之间共有从另一方参照的本地解码图像113A以及113B。据此，专利文献1所记载的图像编码装置100的课题是，输入图像信号110的像素速率越高，则本地解码图像113A以及113B的数据传送量越增加，而使带宽增加。
而且，多个第一编码部103A以及第二编码部103B分别以各自的集成电路实现的情况下，比起内部的编码处理，连接集成电路之间的外部总线的传送非常地迟缓，成为迟缓的经由外总线的传送。由此，以往的图像编码装置100的课题是，本地解码图像113A以及113B的数据传送的传输延迟时间(latency)的增加成为编码处理速度的瓶颈。
发明内容
本发明为了解决上述以往的课题，目的在于提供一种图像编码装置以及图像编码方法，能够削减在相邻的编码部之间传送的本地解码图像的数据量。
为了达到上述目的，本发明所涉及的图像编码装置，通过对输入图像信号进行编码，从而生成输出编码信号，所述图像编码装置具有：信号分割部，将所述输入图像信号所包含的各个图片分割为多个编码对象图像；多个编码部，分别与所述多个编码对象图像相对应，通过对所对应的所述编码对象图像进行包括运动补偿处理的编码处理，从而生成编码信号，并通过对所对应的所述编码对象图像进行编码以及解码，从而生成本地解码图像；以及信号合成部，通过合成由多个所述编码部生成的多个编码信号，从而生成所述输出编码信号，所述信号分割部，将各个所述编码部进行所述运动补偿处理时的搜索范围决定为包含该编码部所对应的编码对象图像和重复区域的范围，所述重复区域是与该编码对象图像相邻且包含于与该编码对象图像相邻的其他编码对象图像的区域，各个所述编码部，利用包含于所述搜索范围的第一本地解码图像和第二本地解码图像进行所述运动补偿处理，所述第一本地解码图像是由各个所述编码部自身生成的所述编码对象图像的本地解码图像，所述第二本地解码图像是由其他编码部生成的所述重复区域的本地解码图像，所述信号分割部，按照规定的条件切换所述重复区域的大小。
根据此构成，本发明所涉及的图像编码装置，例如，在编码部之间的数据传送量增加的情况下，通过使重复区域狭小，从而能够削减在相邻的编码部之间传送的本地解码图像的数据量。据此，能够削减编码部之间的通信带宽。而且，通过削减编码部之间的带宽，本发明所涉及的图像编码装置能够处理像素速率更高的输入图像信号。
并且，也可以是，所述信号分割部，在像素速率比第一阈值小的情况下，将所述重复区域的大小决定为第一大小，在所述像素速率比所述第一阈值大的情况下，将所述重复区域的大小决定为第二大小，所述像素速率是该图像编码装置在每单位时间内应处理的像素数，所述第二大小比所述第一大小小。
根据此构成，本发明所涉及的图像编码装置能够削减高像素速率时的、在编码部之间传送的第二本地解码图像的数据量。据此，能够削减编码部之间的通信带宽。而且，通过削减编码部之间的带宽，本发明所涉及的图像编码装置能够处理像素速率更高的输入图像信号。
而且，像素速率高的情况下，例如，比每秒30帧或60帧更高的帧速率(例如每秒300帧)的情况下，图片之间的时间间隔变小，所以被拍摄的被摄物或拍摄部的运动变小。因此，即使使运动补偿处理的搜索范围的大小变小，编码效率以及画质恶化的可能性也小。如此这般，本发明所涉及的图像编码装置能够抑制编码效率以及画质的恶化且能够对应高像素速率。
并且，也可以是，各个所述编码部具有：运动检测部，检测所对应的所述编码对象图像所包含的多个块中的各个块的运动矢量；以及运动补偿部，利用由所述运动检测部检测出的运动矢量进行所述运动补偿处理，所述图像编码装置还具有原图像存储部，所述原图像存储部分别与多个所述编码部相对应，并存储所对应的所述编码对象图像以及所对应的所述重复区域的图像以作为原图像，所述运动检测部，利用所述原图像存储部中存储的所述原图像，检测所述运动矢量。
根据此构成，本发明的图像编码装置能够在运动检测部利用原图像计算运动矢量的期间，获得第二本地解码图像。由此，本发明所涉及的图像编码装置能够削减到获得第二本地解码图像为止的运动检测部的等待时间，因此能够削减传输延迟时间。据此，本发明所涉及的图像编码装置能够对应更高的像素速率。
并且，也可以是，所述图像编码装置还具有本地解码图像存储部，所述本地解码图像存储部分别与所述多个编码部相对应，并存储所对应的编码部进行所述运动补偿处理时利用的所述第一本地解码图像以及所述第二本地解码图像，所述运动检测部，在所述像素速率比第二阈值大的情况下，利用所述原图像存储部中存储的所述原图像，检测所述运动矢量，在所述像素速率比所述第二阈值小的情况下，利用所述本地解码图像存储部中存储的所述第一本地解码图像以及所述第二本地解码图像，检测所述运动矢量。
根据此构成，本发明的图像编码装置，在高像素速率时，通过在利用原图像计算运动矢量的期间，获得第二本地解码图像，从而能够削减传输延迟时间。而且，本发明的图像编码装置，在低像素速率时，通过利用本地解码图像计算运动矢量，从而能够抑制画质的劣化。
并且，也可以是，各个所述编码部，向其他编码部请求所述第二本地解码图像，所述运动检测部，在所述像素速率比第二阈值大的情况下，在由该编码部获得按照所述请求而从所述其他编码部输出的所述第二本地解码图像之前，利用所述原图像存储部中存储的所述原图像，开始所述运动矢量的检测处理。
根据此构成，本发明的图像编码装置能够在运动检测部利用原图像计算运动矢量的期间，从其他的编码部获得第二本地解码图像。由此，本发明所涉及的图像编码装置能够削减到获得第二本地解码图像为止的运动检测部的等待时间，因此能够削减传输延迟时间。
并且，也可以是，所述图像编码装置还具有像素速率获得部，所述像素速率获得部获得通过用户的操作而被指定的所述像素速率。
并且，也可以是，所述图像编码装置还具有：第一计算部，利用所述输入图像信号所包含的信息，计算该输入图像信号的图像大小以及帧速率中的至少一方；以及第二计算部，利用所述第一计算部计算出的所述像素大小以及帧速率中的至少一方，计算所述像素速率。
根据此构成，本发明所涉及的图像编码装置能够自动地判定输入图像信号的像素速率，并按照判定出的像素速率，变更重复区域的大小。
并且，也可以是，所述第一计算部，利用所述输入图像信号所包含的像素时钟、水平同步信号以及垂直同步信号中的至少一个，计算该输入图像信号的图像大小以及帧速率中的至少一方。
并且，也可以是，所述图像编码装置还具有第一存储部，所述第一存储部存储由多个所述编码部生成的所述第一本地解码图像，所述信号分割部，在所述第一存储部的空余容量比第一阈值大的情况下，将所述重复区域的大小决定为第一大小，在所述空余容量比所述第一阈值小的情况下，将所述重复区域的大小决定为第二大小，所述第二大小比所述第一大小小。
根据此构成，在多个编码部的资源以及处理状况无富余的情况下，能够削减多个编码部的处理量。
并且，也可以是，所述第一存储部包括多个第二存储部，多个所述第二存储部分别与多个所述编码部相对应，并存储所对应的编码部在进行所述运动补偿处理时利用的所述第一本地解码图像以及所述第二本地解码图像，所述信号分割部，在多个所述第二存储部的空余容量中的最小的空余容量比所述第一阈值大的情况下，将所述重复区域的大小决定为所述第一大小，在所述最小的空余容量比所述第一阈值小的情况下，将所述重复区域的大小决定为所述第二大小。
根据此构成，多个编码部中的某一个的资源以及处理状况无富余的情况下，能够削减该编码部的处理量。
并且，也可以是，各个所述编码部具有：运动检测部，检测所对应的所述编码对象图像所包含的多个块中的各个块的运动矢量；以及运动补偿部，利用由所述运动检测部检测出的运动矢量进行所述运动补偿处理，所述信号分割部，在所述运动矢量比第一阈值大的情况下，将所述重复区域的大小决定为第一大小，在所述运动矢量比所述第一阈值小的情况下，将所述重复区域的大小决定为第二大小，所述第二大小比所述第一大小小。
根据此构成，本发明所涉及的图像编码装置在运动矢量小的情况下，使重复区域狭小。在此，在运动矢量小的情况下，即使使搜索范围的大小狭小，编码效率以及画质恶化的可能性也小。如此这般，本发明所涉及的图像编码装置能够抑制编码效率以及画质的恶化且能够对应像素速率更高的编码处理。
并且，也可以是，所述信号分割部，在跨越所述多个编码对象图像的边界的所述运动矢量中的最大的运动矢量比所述第一阈值大的情况下，将所述重复区域的大小决定为所述第一大小，在所述最大的运动矢量比所述第一阈值小的情况下，将所述重复区域的大小决定为所述第二大小。
根据此构成，本发明所涉及的图像编码装置按照与利用重复区域的图像进行运动补偿处理的编码对象图像的边界相邻的块的运动矢量，变更重复区域的大小。据此，本发明所涉及的图像编码装置能够抑制编码效率以及画质的恶化且能够削减在编码部之间传送的数据量。
并且，也可以是，各个所述编码部具有：运动检测部，检测所对应的所述编码对象图像所包含的多个块中的各个块的运动矢量；以及运动补偿部，利用由所述运动检测部检测出的运动矢量进行所述运动补偿处理，各个所述编码部，针对与所对应的所述编码对象图像和所对应的所述重复区域之间的边界相邻的块的运动矢量，通过利用该块周围的块的运动矢量来进行预测，在预测出的运动矢量示出所述边界的方向的情况下，获得由其他编码部生成的所述第二本地解码图像，在所述预测出的运动矢量不示出所述边界的方向的情况下，不获得由其他编码部生成的所述第二本地解码图像。
根据此构成，本发明所涉及的图像编码装置在不需要第二本地解码图像的情况下，不获得该第二本地解码图像。据此，图像编码装置能够更加削减在编码部之间的数据传送量。
另外，本发明不仅能够作为这样的图像编码装置来实现，而且也能够作为将图像编码装置所包含的具有特征的单元作为步骤的图像编码方法，或使计算机执行这样的具有特征的步骤的程序来实现等。并且，不言而喻，这样的程序能够通过CD-ROM等记录媒介以及互联网等传送媒介来使其流通。
而且，本发明能够作为实现这样的图像编码装置的功能的一部分或全部的半导体集成电路(LSI)来实现，或具有这样的图像编码装置的照相机来实现等。
根据上述内容，本发明能够提供一种图像编码装置以及图像编码方法，能够削减在相邻的编码部之间传送的本地解码图像的数据量。
(本申请的技术背景相关信息)
在日本2008年5月20日申请的申请号为2008-131508的说明书、附图以及权利要求书所公开的内容，参照其将其全部内容加入本申请中。
附图说明
图1是以往的图像编码装置的方框图。
图2A是示出以往的图像编码装置的图像的例子的图。
图2B是示出以往的图像编码装置的图面的例子的图。
图3是本发明的实施例1所涉及的图像编码装置的方框图。
图4A是本发明的实施例1所涉及的图像编码装置的图像分割例子的图。
图4B是本发明的实施例1所涉及的图像编码装置的图像分割例子的图。
图5是本发明的实施例1所涉及的图像编码装置进行处理的流程图。
图6是本发明的实施例1所涉及的图像编码装置进行图像分割处理的流程图。
图7A是示出本发明的实施例1所涉及的图像编码装置的高像素速率时的图像分割例子的图。
图7B是示出本发明的实施例1所涉及的图像编码装置的低像素速率时的图像分割例子的图。
图8是本发明的实施例1所涉及的第一编码部的方框图。
图9是本发明的实施例1所涉及的图像编码装置进行编码处理的流程图。
图10是本发明的实施例1所涉及的图像编码装置的原图像和本地解码图像的利用状况的图。
图11是本发明的实施例1所涉及的图像编码装置进行运动检测以及运动补偿处理的流程图。
图12是示出本发明的实施例1所涉及的图像编码装置的信号处理的例子的时间图。
图13是本发明的实施例1所涉及的图像编码装置进行是否需要本地解码图像的判定处理的流程图。
图14是示出本发明的实施例1所涉及的图像编码装置的运动矢量预测处理的图。
图15是本发明的实施例2所涉及的图像编码装置的方框图。
图16是本发明的实施例2所涉及的图像编码装置进行处理的流程图。
图17是本发明的实施例3所涉及的图像编码装置的方框图。
图18是本发明的实施例3所涉及的图像编码装置进行处理的流程图。
图19是本发明的实施例3所涉及的图像编码装置进行图像分割处理的流程图。
图20是本发明的实施例4所涉及的图像编码装置的方框图。
图21是本发明的实施例4所涉及的图像编码装置进行处理的流程图。
图22是本发明的实施例4所涉及的图像编码装置进行图像分割处理的流程图。
具体实施方式
以下，参照附图说明本发明的实施例。
(实施例1)
本发明的实施例1所涉及的图像编码装置300，在像素速率高的情况下，使作为运动检测处理以及运动补偿处理的搜索范围来被利用的重复区域的大小狭小。据此，在高像素速率时，能够削减在编码部之间传送的本地解码图像的数据量。
首先，说明本发明的实施例1所涉及的图像编码装置300的构成。图3是示出本发明的实施例1所涉及的图像编码装置300的构成的图。
图3所示的图像编码装置300是通过对输入图像信号310进行编码，从而生成输出编码信号314的运动图像编码装置。输入图像信号310是包含多个图片的顺序信号，例如是高清晰图像信号，或被高速拍摄的图像信号。在此高速拍摄是指，以比通常的帧速率(例如每秒30帧或60帧)更高的帧速率(例如每秒300帧等)进行的拍摄。
该图像编码装置300具有拍摄方式切换部301、信号分割部302、第一编码部303A、第二编码部303B、第一存储区域连接部304A、第二存储区域连接部304B、第一外部连接部305A、第二外部连接部305B、第一存储部306A、第二存储部306B以及信号合成部307。
拍摄方式切换部301相当于本发明的像素速率获得部，获得通过用户的操作而被指定的像素速率。具体而言，拍摄方式切换部301获得按照用户的开关操作设定的由i阶段构成的像素速率中的某一个。并且，拍摄方式切换部301将示出被设定的像素速率的识别信号311，输出到信号分割部302、第一编码部303A以及第二编码部303B。
在此，像素速率是指，图像编码装置300在单位时间内应进行编码处理的像素数。换而言之，像素速率相当于图像编码装置300在单位时间内应进行编码处理的处理量。具体而言，像素速率是图像大小和帧速率的积。
信号分割部302通过将输入图像信号310中包含的各个图片以包含一部分重复区域的状态例如分割为上下2个，从而生成第一分割图像信号312A和第二分割图像信号312B。在此，图片是指输入图像信号310中包含的一幅图像，即帧或场(field)。
图4A是示出第一分割图像信号312A的构成的图。图4B是示出第二分割图像信号312B的构成的图。
如图4A所示，第一分割图像信号312A包含第一编码对象范围315A和第一重复区域316A。并且，如图4B所示，第二分割图像信号312B包含第二编码对象范围315B和第二重复区域316B。
例如，输入图像信号310的有效画框是720行的情况下，第一编码对象范围315A以及第二编码对象范围315B分别是将输入图像信号310中包含的各个图片上下二等分的分别为360行的图像区域。并且，第一编码对象范围315A是第一编码部103A进行编码的图像区域，第二编码对象范围315B是第二编码部103B进行编码的图像区域。
第一重复区域316A包含在第二编码对象范围315B中，并且其是相邻于第一编码对象范围315A的n(n是1以上的整数)行的图像区域。第二重复区域316B包含在第一编码对象范围315A中，并且其是相邻于第二编码对象范围315B的n(n是1以上的整数)行的图像区域。
也就是说，信号分割部302将包含在输入图像信号310中的各个图片分割为第一编码对象范围315A以及第二编码对象范围315B。
并且，第一分割图像信号312A以及第二分割图像信号312B分别相当于第一编码部303A以及第二编码部303B进行运动检测处理以及运动补偿处理时的运动矢量搜索范围。也就是说，信号分割部302决定第一编码部303A以及第二编码部303B进行运动检测处理以及运动补偿处理时的运动矢量搜索范围。
信号分割部302按照拍摄方式切换部301输出的识别信号311以i阶段变更该第一重复区域316A以及第二重复区域316B的行数n。具体而言，信号分割部302，在像素速率比规定的阈值小的情况下，将第一重复区域316A以及第二重复区域316B的大小决定为第一大小(例如32行)，在像素速率比该规定的阈值大的情况下，将第一重复区域316A以及第二重复区域316B的大小决定为第二大小(例如16行)，第二大小比第一大小小。
并且，信号分割部302将所生成的第一分割图像信号312A输出到第一编码部103A，将所生成的第二分割图像信号312B输出到第二编码部103B。
第一编码部303A通过对由信号分割部302分割为二后的第一分割图像信号312A中包含的第一编码对象范围315A进行编码，从而生成第一编码信号313A。并且，第一编码部303A将所生成的第一编码信号313A输出到信号合成部307。
第二编码部303B通过对由信号分割部302分割为二后的第二分割图像信号312B中包含的第二编码对象范围315B进行编码，从而生成第二编码信号313B。并且，第二编码部303B将所生成的第二编码信号313B输出到信号合成部307。
并且，第一编码部303A通过对第一编码对象范围315A进行编码后，再进行解码，从而生成第一本地解码图像317A。并且，第二编码部303B通过对第二编码对象范围315B进行编码后，再进行解码，从而生成第一本地解码图像317B。也就是说，本地解码图像是与由解码装置对输出编码信号314进行解码而生成的图像相同的图像。
第一存储部306A被利用为第一编码部303A进行编码时的行存储器或帧存储器。此第一存储部306A将原图像(第一分割图像信号312A)、第一本地解码图像317A以及与第一重复区域316A对应的第二本地解码图像318A作为参照图像来存储。并且，第一编码部303A从该第一存储部306A读出过去的第一分割图像信号312A、第一本地解码图像317A以及第二本地解码图像318A以作为参照图像，并利用读出的第一分割图像信号312A、第一本地解码图像317A以及第二本地解码图像318A、进行当前的图片的编码处理。并且，并且，第一编码部303A将当前的图片的第一分割图像信号312A以及第一本地解码图像317A写入第一存储部306A以作为对后续的图片进行编码处理时要利用的参照图像。
第二存储部306B被利用为第二编码部303B进行编码时的行存储器或帧存储器。该第二存储部306B将原图像(第二分割图像信号312B)、第一本地解码图像317B以及与第二重复区域316B对应的第二本地解码图像318B作为参照图像来存储。并且，第二编码部303B从第二存储部306B读出过去的第二分割图像信号312B、第一本地解码图像317B以及第二本地解码图像318B以作为参照图像，并利用读出的第二分割图像分割信号312B、第一本地解码图像317B以及第二本地解码图像318B，对当前的图片进行编码处理。并且，第二编码部303B将当前的图片的第二分割图像信号312B以及第一本地解码图像317B写入第二存储部306B以作为对后续的图片进行编码处理时要利用的参照图像。
第一外部连接部305A读出第二存储部306B中存储的第一本地解码图像317B中包含的第二本地解码图像318A，将读出的第二本地解码图像318A写入第一存储部306A。第二外部连接部305B读出第一存储部306A中存储的第一本地解码图像317A中包含的第二本地解码图像318B，并将读出的第二本地解码图像318B写入第二存储部306B。
第一存储区域连接部304A进行第一编码部303A、第一存储部306A和第一外部连接部305A之间的数据的传递。第二存储区域连接部304B进行第二编码部303B、第二存储部306B和第二外部连接部305B之间的数据的传递。
信号合成部307通过合成由第一编码部303A生成的第一编码信号313A和由第二编码部303B生成的第二编码信号313B，从而生成一个比特流即输出编码信号314。
其次，说明图像编码装置300的工作。首先，说明图像编码装置300的工作流程的概况。
图5是示出本发明的实施例1所涉及的图像编码装置300的工作流程的流程图。
如图5所示，首先，拍摄方式切换部301获得按照用户的开关操作等而被设定的由i阶段构成的像素速率中的某一个(S101)。并且，以下为了简化说明，以像素速率以2阶段切换的例子进行说明。也就是说，i＝0的情况下，设定为像素速率低的低像素速率拍摄方式，在i＝1的情况下，设定为比起低像素速率拍摄方式像素速率高的高像素速率拍摄方式。
并且，拍摄方式切换部301生成示出被设定的像素速率的识别信号311。
然后，信号分割部302通过对输入图像信号310中包含的各个图片分割为二，从而生成第一分割图像信号312A和第二分割图像信号312B(S102)。
然后，第一编码部303A通过对第一分割图像信号312A进行编码，从而生成第一编码信号313A，第二编码部303B通过对第二分割图像信号312B进行编码，从而生成第二编码信号313B(S103)。
然后，信号合成部307通过合成第一编码信号313A和第二编码信号313B，从而生成输出编码信号314(S104)。
其次，说明信号分割处理(S102)的详细的工作。
图6是示出信号分割部302进行信号分割处理的流程的流程图。
如图6所示，首先，信号分割部302参照识别信号311，判定被设定的是低像素速率拍摄方式以及高像素速率拍摄方式中的哪一个拍摄方式(S120)。
被设定的是高像素速率拍摄方式的情况下(S120的“是”)，信号分割部302将第一重复区域316A以及第二重复区域316B设定为使其区域狭小(S121)。
然后，信号分割部302通过对输入图像信号310进行分割，从而生成包含其大小为在步骤S121设定的大小的第一重复区域316A的第一分割图像信号312A，和包含其大小为在步骤S121设定的的大小的第二重复区域316B的第二分割图像信号312B(S123)。
另一方面，被设定的是低像素速率拍摄方式的情况下(S120的“否”)，信号分割部302将第一重复区域316A以及第二重复区域316B设定为使其区域宽广(S122)。
然后，信号分割部302通过分割输入图像信号310，从而生成包含其大小为在步骤S122设定的大小的第一重复区域316A的第一分割图像信号312A，和包含其大小为在步骤S122设定的大小的第二重复区域316B的第二分割图像信号312B(S123)。
图7A是示出被设定的是高像素速率拍摄方式的情况下的第一分割图像信号312A的一个例子的图。并且，图7B是示出被设定的是低像素速率拍摄方式的情况下的第一分割图像信号312A的一个例子的图。
如图7A所示，被设定的是高像素速率拍摄方式的情况下，例如，第一重复区域316A的行数n被设定为“16”。并且，如图7B所示，被设定的是低像素速率拍摄方式的情况下，例如，第一重复区域316A的行数n被设定为“32”。另外，第二重复区域316B的行数n的设定也相同。
其次，说明第一编码部303A以及第二编码部303B进行的编码处理。
另外，因为第一编码部303A、第一存储区域连接部304A、第一外部连接部305A以及第一存储部306A与第二编码部303B、第二存储区域连接部304B、第二外部连接部305B以及第二存储部306B构成相同，所以以下仅说明第一编码部303A、第一存储区域连接部304A、第一外部连接部305A以及第一存储部306A的构成以及工作。
首先，说明第一编码部303A的详细的构成。
图8是示出第一编码部303A、第一存储区域连接部304A、第一外部连接部305A以及第一存储部306A的构成的方框图。
如图8所示，第一存储部306A具有原图像存储部702和本地解码图像存储部712。
原图像存储部702存储原图像(第一分割图像信号312A)。本地解码图像存储部712存储第一本地解码图像317A以及第二本地解码图像318A。
并且，第一编码部303A具有运动检测部701、减法部703、开关704、开关711、开关713、变换部705、量化部706、可变长编码部707、反量化部708、反变换部709、加法部710和运动补偿部714。
开关713将原图像存储部702中存储的原图像(第一分割图像信号312A)、和本地解码图像存储部712中存储的第一本地解码图像317A以及第二本地解码图像318A中的一方输出到运动检测部701。具体而言，开关713在识别信号311示出的是高像素速率拍摄方式的情况下，将第一分割图像信号312A输出到运动检测部701，而在识别信号311示出的是高像素速率拍摄方式的情况下，将原图像输出到运动检测部701。
在此，第一分割图像信号312A包含I图(帧内图)和P图(帧间图)。I图是利用该I图内的数据进行帧内编码的图片，P图是利用其他的图片的数据进行帧间编码的图片。
运动检测部701在第一分割图像信号312A中包含的处理对象图片(以下称为对象图片)是P图的情况下，通过利用其他的图片对该图片进行运动检测处理，从而生成运动矢量725。在此，其他图片是指由开关713输出的原图像或本地解码图像(第一本地解码图像317A以及第二本地解码图像318A)中包含的图片。
具体而言，运动检测部701，在像素速率比规定的阈值大的情况下，利用原图像存储部702中存储的原图像，检测对象图片的运动矢量725。并且，运动检测部701，在像素速率比该规定的阈值小的情况下，利用本地解码图像存储部712中存储的第一本地解码图像317A以及第二本地解码图像318A，检测对象图片的运动矢量725。
在此，运动检测处理是指，按对象图片中包含的每个图像块，搜索与该图像块的图像接近的过去的图片的图像块之后，计算该图像块中包含的图像从该过去的图片所运动的运动量以及方向(运动矢量725)的处理。
运动补偿部714通过利用由运动检测部701生成的运动矢量725，和本地解码图像存储部712中存储的第一本地解码图像317A以及第二本地解码图像318A中包含的其他图片，进行运动补偿处理，从而生成预测图像726。
在此，运动补偿处理是指，通过使过去的图片中包含的图像以运动矢量725示出的运动量在空间上移动，从而生成相当于对象图片的图像的预测图像726的处理。
减法部703通过从第一分割图像信号312A中包含的对象图片中减去预测图像726，从而生成预测误差信号721。
开关704，在第一分割图像信号312A中包含的对象图片是P图的情况下，将由减法部703生成的预测误差信号721输出到变换部705，而在对象图片是I图的情况下，将第一分割图像信号312A输出到变换部705。
变换部705通过对由开关704输出的预测误差信号721或第一分割图像信号312A进行DCT变换(正交变换)，从而生成DCT系数722。在此DCT变换(discrete cosine transform：离散余弦变换)是指，将被输入的信号从空间上向频率上变换的处理。
量化部706通过对由变换部706生成的DCT系数722进行量化，从而生成量化系数723。具体而言，量化部706通过以量化值Q除DCT系数722，从而生成量化系数723。
可变长编码部707通过对由量化部706生成的量化系数723进行可逆的可变长编码，从而生成比第一分割图像信号312A压缩了信息量的第一编码信号313A。
反量化部708通过对由量化部706生成的量化系数723进行反量化，从而生成DCT系数724。具体而言，反量化部708通过使量化系数723与量化部706所利用的量化值Q相乘，从而生成DCT系数724。在此，如果对DCT系数722进行量化，则一定会产生量化误差。对此，在反量化部708，通过进行反量化，从而能够生成对DCT系数722加上量化误差的信号，即与由解码装置进行解码时的DCT系数相同的DCT系数724。
反变换部709通过对由反量化部708生成的DCT系数724进行反DCT变换，从而生成对原来的第一分割影像信号312加上量化失真的本地解码信号727。
开关711，在第一分割图像信号312A中包含的对象图片是P图的情况下，将由运动补偿部714生成的预测图像726供给到加法部710，而在对象图片是I图的情况下，开放该开关711。
加法部710，在第一分割图像信号312A中包含的对象图片是P图的情况下，通过将由反变换部709生成的本地解码信号727和由开关711输出的预测图像726相加，从而生成第一本地解码图像317A。并且，加法部710，在对象图片是I图的情况下，将由反变换部709生成的本地解码信号727作为第一本地解码图像317A来输出。并且，由加法部710生成的第一本地解码图像317A被存储到本地解码图像存储部712。
其次，说明第一编码部303A进行的编码处理(S103)的工作流程。
图9是示出由第一编码部303A对第一分割图像信号312A中包含的1幅对象图片进行编码处理(S103)的工作流程的流程图。
如图9所示，第一编码部303A将第一分割图像信号312A包含的对象图片作为对以后的图片进行运动矢量检测要利用的参照图像，经由存储区域连接部304，以原图像原封不动的状态写入原图像存储部702(S131)。另外，将对象图片写入原图像存储部702的定时，不限定于图9所示的定时，可以以任意的定时进行。
然后，第一编码部303A判定第一分割图像信号312A中包含的对象图片是I图还是P图(S132)。
在对象图片是I图的情况下(S132的“否”)，第一分割图像信号312A被供给到运动检测部701。此时，运动检测部701不对处理对象图片进行矢量运算处理。
并且，在I图的处理中，开关704将第一分割图像信号312A输出到变换部705。变换部705将第一分割图像信号312A包含的对象图片的第一编码对象范围315A变换为DCT系数722(S135)。
然后，量化部706通过对DCT系数722进行量化，从而生成量化系数723(S136)。然后，可变长编码部707通过对量化系数723进行可变长编码，从而生成第一编码信号313A(S137)。
通过以上的处理，生成对象图片的第一编码对象范围315A的数据量被压缩了的第一编码信号313A。
另一方面，反量化部708通过对在步骤S136生成的量化系数723进行反量化，从而生成DCT系数724。然后，反变换部709通过对DCT系数724进行反DCT变换，从而生成本地解码信号727。
因为在对I图进行处理的情况下，开关711是开放的，所以被反DCT变换的本地解码信号727不需要由加法部710进行加法处理，依原样作为第一本地解码图像317A，经由存储区域连接部304，写入本地解码图像存储部712(S138)。
图10是示出原图像以及本地解码图像的关系的图。如图10所示，由第一编码部303A生成与对象图片的原图像中包含的第一编码对象范围315A对应的第一本地解码图像317A，并存储到第一编码部303A的本地解码图像存储部712。并且，第一本地解码图像317A中包含与第二编码部303B所利用的第二重复区域316B对应的第二本地解码图像318B。
另外，可以是，作成该第一本地解码图像317A的处理(S138)和可变长编码处理(S137)的顺序是任意的。并且，可以是，作成第一本地解码图像317A的处理(S137)和可变长编码处理(S138)中包含的至少一部分的处理同时进行。
其次，说明对P图的编码处理。
在步骤S132中，对象图片是P图的情况下(S132的“是”)，接下来，运动检测部701进行对象图片的运动检测处理以及运动补偿处理(S133)。
图11是示出第一编码部303A进行运动检测处理以及运动补偿处理(S133)的流程的流程图。
首先，第一编码部303A判定是否需要与第一重复区域316A对应的本地解码图像(S151)。另外，有关步骤S151的详细情况之后进行说明。
需要与第一重复区域316A对应的第二本地解码图像318A的情况下(S151的“是”)，第一编码部303A，经由第一外部连接部305A以及第二外部连接部305B，将传送相当于该本地解码图像存储部712存储的第一重复区域316A的第二本地解码图像318A的请求，输出到第二存储部306B具有的本地解码图像存储部712(S152)。
然后，在识别信号311示出高像素速率拍摄方式的情况下(S153的“是”)，开关713将原图像存储部702中存储的原图像输出到运动检测部701。然后，运动检测部701通过利用由开关713输出的原图像进行运动检测处理，从而计算运动矢量725(S154)。并且，该运动检测处理所利用的搜索范围，如图10所示，包含原图像的第一编码对象范围315A(360行)和第一重复区域316A(16行)。
另一方面，第一编码部303A，获得按照在步骤S152的传送请求而由第二存储部306B具有的本地解码图像存储部712输出的第二本地解码图像318A，并将所获得的第二本地解码图像318A作为参照图像存储到本地解码图像存储部712(S155)。
然后，如图10所示，运动补偿部714通过利用本地解码图像存储部712中存储的第一本地解码图像317以及第二本地解码图像318A进行运动补偿处理，从而生成预测图像726(S156)。
另一方面，识别信号311示出的是低像素速率拍摄方式的情况下(S153的“否”)，首先，第一编码部303A，获得按照在步骤S152的传送请求而由第二存储部306B具有的本地解码图像存储部712输出的第二本地解码图像318A，并将所获得的第二本地解码图像318A作为参照图像存储到本地解码图像存储部712(S157)。
在此，开关713将原图像存储部702中存储的原图像输出到运动检测部701。另外，可以是，运动检测部701直接从第一分割图像信号312A获得原图像。然后，运动检测部701通过利用由开关713输出的第一本地解码图像317A以及第二本地解码图像318A进行运动检测处理，从而计算运动矢量725(S158)。并且，如图10所示，该运动检测处理所利用的搜索范围包含与第一编码对象范围315A(360行)和第一重复区域316A(32行)对应的第一本地解码图像317A以及第二本地解码图像318A。
然后，运动补偿部714，如图10所示，通过利用本地解码图像存储部712中存储的第一本地解码图像317A以及第二本地解码图像318A进行运动补偿处理，从而生成预测图像726(S156)。
另一方面，在不需要与第一重复区域316A对应的第二本地解码图像318A的情况下(S151的“否”)，运动检测部701通过利用由开关713输出的第一本地解码图像317A进行运动检测处理，从而计算运动矢量725(S158)。
然后，运动补偿部714通过利用本地解码图像存储部712中存储的第一本地解码图像317A进行运动补偿处理，从而生成预测图像726(S156)。
并且，在步骤S156之后，如图9所示，接着，减法部703通过从原图像减去预测图像726，从而生成预测误差信号721(S134)。
然后，量化部706通过对DCT系数722进行量化，从而生成量化系数723(S136)。然后，可变长编码部707通过对量化系数723进行可变长编码，从而生成第一编码信号313A(S137)。
通过以上处理，生成对象图片的第一编码对象范围315A的数据量被压缩了的第一编码信号313A。
另一方面，反量化部708通过对在步骤S136生成的量化系数723进行反量化，从而生成DCT系数724。然后，反变换部709通过对DCT系数724进行反DCT变换，从而生成本地解码信号727。
在对P图进行处理的情况下，开关711将预测图像726输出到加法部710。加法部710通过将本地解码信号727和预测图像726相加，从而生成第一本地解码图像317A，并经由存储区域连接部304，将所生成的第一本地解码图像317A写入本地解码图像存储部712(S138)。
图12是示出低像素速率时以及高像素速率时的处理时间的图。
如图12所示，在高像素速率时，在第一编码部303A获得按照在步骤S152的请求而由第二编码部303B输出的第二本地解码图像318A之前(S155之前)，运动检测部701，利用原图像存储部702中存储的原图像，开始运动矢量的检测处理(S154)。如此这般，图像编码装置300通过不待获得第二本地解码图像318A，就利用在第一存储部306A中存储的原图像进行运动检测，从而能够提高处理速度。
其次，说明判定是否需要与第一重复区域316A对应的第二本地解码图像318A的处理(S151)。
图13是示出判定是否需要与第一重复区域316A对应的第二本地解码图像318A的处理流程的流程图。另外，如图13所示的处理按照第一编码对象范围315A包含的每个处理块进行。
首先，第一编码部303A判定处理对象块的搜索范围中是否包含第一重复区域316A(S161)。
在处理对象块的搜索范围中不包含第一重复区域316A的情况下(S161的“否”)，第一编码部303A判定为不需要第一重复区域316A的第二本地解码图像318A(S164)。
另一方面，在处理对象块的搜索范围中包含第一重复区域316A的情况下(S161的“是”)，接着，第一编码部303A判定已计算出的周围的多个块间的运动矢量的相关性是否大(S162)。具体而言，第一编码部303A判定周围的多个块之间的运动矢量的相关性是否在规定的阈值以上。
在周围的多个块之间的运动矢量的相关性大的情况下(S162的“是”)，接着，第一编码部303A利用该块周围的块的运动矢量，预测与第一编码对象范围315A和第一重复区域316A之间的边界即分割边界相邻的块的运动矢量。然后，第一编码部303A判定预测出的运动矢量是否方向向上(与第一重复区域316A相反的方向)(S163)。
图14是示出第一编码对象范围315A和第一重复区域316A之间的分割边界附近的运动矢量的一个例子的图。
在此，因为某一个块的运动矢量与周围的块的运动矢量之间有很强的相关性，所以利用周围的块的运动矢量，能够预测某一个块的运动矢量。例如，如图14所示，对于处理对象编码块901的运动矢量902，能够利用与编码块901相邻的相邻块903、905以及907的运动矢量904、906以及908来进行预测。此时，第一编码部303A通过计算相邻块的运动矢量904、906以及908的水平垂直成分的平均值，从而预测运动矢量902的方向向上。
预测出的运动矢量方向向上的情况下(S163的“是”)，因为运动补偿的运动目标不会是第一重复区域316A，所以可以仅以自身生成的第一本地解码图像317A进行运动补偿处理。由此，第一编码部303A判定为不需要第一重复区域316A的第二本地解码图像318A(S164)。
另一方面，在周围的多个块之间的运动矢量的相关性小的情况下(S162的“否”)，或预测出的运动矢量的方向向下的情况下(S163的“否”)，运动补偿的目标有可能会是第一重复区域316A内，因此第一编码部303A判定为需要第一重复区域316A的第二本地解码图像318A(S165)。
如此这般，第一编码部303A在预测出的运动矢量示出分割边界的方向的情况下，获得由第二编码部303B生成的第二本地解码图像318A，而在预测出的运动矢量不示出分割边界的方向的情况下，不获得由第二编码部303B生成的第二本地解码图像318A。
通过以上内容，本发明的第1实施例所涉及的图像编码装置300，在输入图像信号310的像素速率低的情况下，使第一重复区域316A以及第二重复区域316B宽广，而在输入图像信号310的像素速率高的情况下，使第一重复区域316A以及第二重复区域316B狭小。
据此，图像编码装置300能够削减高像素速率时在第一编码部303A和第二编码部303B之间传送的第二本地解码图像318A以及318B的数据量。据此，能够削减第一编码部303A和第二编码部303B之间的通信带宽。而且，能够削减存储所获得的第二本地解码图像318A以及318B的本地解码图像存储部712的存储容量。而且，通过削减第一编码部303A和第二编码部303B之间的带宽，图像编码装置300能够处理像素速率更高的输入图像信号310。
在此，像素速率高的情况下，例如，比每秒30帧或60帧更高的帧速率(例如每秒300帧)的情况下，图片间的时间间隔变小，所以被拍摄的被摄物或拍摄部的运动变小。据此，可设想到输入图像信号310的运动矢量也会变小。由此，即使使运动补偿处理的搜索范围(第一重复区域316A以及第二重复区域316B)的大小变小，编码效率以及画质恶化的可能性也小。如此这般，本发明的第1实施例所涉及的图像编码装置300抑制编码效率以及画质的恶化且能够对应像素速率更高的输入图像信号310。
并且，图像编码装置300，在比起高像素速率时其处理速度的要求低的低像素速率时，通过扩大运动补偿处理的搜索范围，从而提高编码效率以及画质。
并且，图像编码装置300在高像素速率时利用原图像来计算运动矢量。
据此，图像编码装置300，在一方的编码部的运动检测部701将原图像作为搜索范围来计算运动矢量期间，能够从另一方的编码部的本地解码图像存储部712传送相当于第一重复区域316A或第二重复区域316B的第二本地解码图像318A或318B。由此，图像编码装置300，因为能够削减获得对方一侧的第二本地解码图像318A或318B为止的运动检测部701的等待时间，所以能够削减传输延迟时间。
并且，图像编码装置300通过预测运动矢量，从而判定是否需要第一重复区域316A或第二重复区域316B的第二本地解码图像318A或318B。据此，图像编码装置300，因为能够削减第二本地解码图像318A或318B的传送量，所以能够削减第一编码部303A和第二编码部303B之间的带宽。
另外，在上述说明中，通过用户的开关操作设定了像素速率，但是也可以是，通过用户的开关操作设定图像大小和帧速率，而拍摄方式切换部301利用该图像大小以及帧速率计算像素速率。
而且，也可以是，通过用户的开关操作，设定图像大小和帧速率中的一方。此时，只要将上述说明中的像素速率替换为图像大小或帧速率即可。
(实施例2)
在本发明的实施例2对上述的实施例1所涉及的图像编码装置300的变形例进行说明。本发明的实施例2所涉及的图像编码装置300A，利用输入图像信号310中包含的信息判定输入图像信号310的像素速率，并按照所判定的像素速率变更第一重复区域316A以及第二重复区域316B的大小。
首先，说明本发明的实施例2所涉及的图像编码装置300A的构成。
图15是示出本发明的实施例2所涉及的图像编码装置300A的构成的方框图。另外，对于与图3相同的构成要素使用相同的符号，并省略其说明。
如图15所示的图像编码装置300A具有如图3所示的图像编码装置300的构成之外，还具有像素速率监视部308。并且，拍摄方式切换部301A的构成不同。
像素速率监视部308相当于本发明的第一计算部，利用摄像元件输出的输入图像信号310中包含的像素时钟、水平同步信号和垂直同步信号，计算输入图像信号310的图像大小以及帧速率。并且，像素速率监视部308将包括计算出的图像大小以及帧速率的监视结果320输出到拍摄方式切换部301A。
拍摄方式切换部301A相当于本发明的第二计算部，获得由像素速率监视部308生成的监视结果320，并利用该监视结果320，设定由i阶段构成的像素速率中的某一个。具体而言，拍摄方式切换部301A通过将监视结果320中包含的图像大小和帧速率相乘，从而计算推定像素速率。所计算出的推定像素速率越大，拍摄方式切换部301A，则设定由i阶段构成的像素速率中的越高的像素速率。例如，i是2的情况下，在推定像素速率比规定的值大的情况下，拍摄方式切换部301A，设定高帧速率的拍摄方式，在推定像素速率比该规定的值小的情况下，拍摄方式切换部301A，设定低帧速率的拍摄方式。并且，拍摄方式切换部301A将示出所设定的像素速率的识别信号311输出到信号分割部302、第一编码部303A以及第二编码部303B。
另外，可以是，拍摄方式切换部301A仅利用监视结果320中包含的图像大小以及帧速率中的一方，设定由i阶段构成的像素速率中的某一个。具体而言，监视结果320中包含的图像大小越大，拍摄方式切换部301A，则设定由i阶段构成的像素速率中的越高的像素速率。并且，监视结果320中包含的帧速率越高，拍摄方式切换部301A，则设定由i阶段构成的像素速率中的越高的像素速率。
其次，说明图像编码装置300A的工作。
图16是示出本发明的实施例2所涉及的图像编码装置300A的工作流程的流程图。另外，与如图5相同的处理使用相同的符号，并省略其说明。
首先，像素速率监视部308从由摄像元件输出的输入图像信号310中包含的信息，获得输入图像信号310的图像大小以及帧速率(S201)。具体而言，像素速率监视部308利用输入图像信号310中包含的像素时钟、水平同步信号和垂直同步信号，计算作为监视结果320的图像大小以及帧速率。
然后，拍摄方式切换部301A获得由像素速率监视部308生成的监视结果320，并计算与该监视结果320中包含的图像大小和帧速率对应的像素速率(S202)。然后，拍摄方式切换部301A，根据所算出的像素速率，决定拍摄方式(S203)。并且，拍摄方式切换部301A将示出所决定的拍摄方式的识别信号311输出到信号分割部302、第一编码部303A以及第二编码部303B。
另外，步骤S102以后的处理，与实施例1相同，因此省略其说明。
根据上述内容，本发明的实施例2所涉及的图像编码装置300A能够获得与上述实施例1相同的效果。
而且，本发明的实施例2所涉及的图形编码装置300A，通过像素速率监视部308直接监视由摄像元件输出的输入图像信号310，从而能够不依赖特定的摄像元件，而动态地、有适应性地识别由摄像元件输出的输入图像信号310的图像大小以及帧速率。并且，摄像元件按照由控制微型计算机等输出的指令等，变更图像大小以及帧速率。图像编码装置300A通过具备像素速率监视部308，从而能够有适应性地对应这些变化。
如此这般，本发明的实施例2所涉及的图像编码装置300A，不依赖于摄像元件或控制用微型计算机的构成，而能够实现削减编码部之间的带宽和像素速率更高的编码处理。
(实施例3)
在本发明的实施例3说明实施例1所涉及的图像编码装置300的变形例。本发明的实施例3所涉及的图像编码装置300B，按照第一存储部306A以及第二存储部306B的残余缓存容量，变更第一重复区域316A以及第二重复区域316B的大小。
首先，说明本发明的实施例3所涉及的图像编码装置300B的构成。
图17是示出本发明的实施例3所涉及的图像编码装置300B的构成的方框图。另外，对于与图3相同的构成要素使用相同的符号，并省略其说明。
图17所示的图像编码装置300B在如图3所示的图像编码装置300的构成之外，还具有残余缓存容量监视部309。并且，拍摄方式切换部301B的构成不同。
残余缓存容量监视部309，按照规定的时间，获得第一编码部303A作为帧缓存或行缓存来使用的第一存储部306A的存储区域中的空余区域即残余缓存容量321A。并且，残余缓存容量监视部309，获得第二编码部303B作为帧缓存或行缓存来使用的第二存储部306B的残余缓存容量321B。并且，存余缓存容量监视部309，生成示出残余缓存容量321A以及321B中的容量少的一方的容量的残余缓存容量322，并将所生成的残余缓存容量322输出到拍摄方式切换部301B。
拍摄方式切换部301B获得由残余缓存容量监视部309输出的残余缓存容量322。并且，拍摄方式切换部301B按照所获得的残余缓存容量322，设定由i阶段构成的像素速率中的某一个。
在此，高像素速率的编码处理时，第一编码部303A以及第二编码部303B的资源以及处理状况无富余，一般而言，比起低像素速率的编码处理时，残余缓存容321A以及321B变少。
由此，拍摄方式切换部301B能够利用该残余缓存容量321A以及321B判别像素速率。
具体而言，残余缓存容量322越大，拍摄方式切换部301B，则设定为像素速率越高。例如，i是2的情况下，拍摄方式切换部301B，在残余缓存容量322比规定的值大的情况下，设定为高像素速率拍摄方式，在残余缓存容量比规定的值小的情况下，设定为低像素速率的拍摄方式。并且，拍摄方式切换部301B将示出所设定的像素速率的识别信号311输出到信号分割部302、第一编码部303A以及第二编码部303B。
另外，也可以是，拍摄方式切换部301B不是从残余缓存容量322推定像素速率，而是输出示出残余缓存容量322是否比规定的值大的识别信号311。
并且，该识别信号311被利用于第一重复区域316A、第二重复区域316B、第二本地解码图像318A以及318B的宽度n的设定。具体而言，信号分割部302利用该识别信号311设定第一重复区域316A以及第二重复区域316B的宽度n。并且，第一编码部303A以及第二编码部303B利用该识别信号311决定运动搜索范围。
其次，说明图像编码装置300B的工作。
图18是本发明的实施例3所涉及的图像编码装置300B的工作流程的流程图。另外，对于与图5相同的处理使用相同的符号，并省略其说明。
首先，残余缓存容量监视部309获得第一编码部303A、以及第二编码部303B作为行缓存或帧缓存来使用的第一存储部306A以及第二存储部306B的残余缓存容量321A以及321B(S301)。而且，残余缓存容量监视部309生成示出残余缓存容量321A以及321B中的容量少的一方的容量的残余缓存容量322。
然后，拍摄方式切换部301B获得由残余缓存容量监视部309输出的残余缓存容量322。然后，拍摄方式切换部301B按照所获得的残余缓存容量322，决定像素速率。并且，拍摄方式切换部301B，将示出所设定的像素速率的识别信号311输出到信号分割部302、第一编码部303A以及第二编码部303B。
另外，步骤102之后的处理与实施例1相同，因此省略其说明。
其次，说明信号分割处理(S102)的详细的工作。
图19是示出信号分割部302的信号分割处理流程的流程图。
如图19所示，首先，信号分割部302参照识别信号311，判定残余缓存容量322(像素速率)是否是规定的值以下(S320)。
残余缓存容量322是规定的值以下的情况下(S320的“是”)，信号分割部302将第一重复区域316A以及第二重复区域316B设定为其区域狭小(S121)。
然后，信号分割部302，通过分割输入图像信号310，从而生成包含在步骤S121设定的大小的第一重复区域316A的第一分割图像信号312A，和包含在步骤S121设定的大小的第二重复区域316B的第二分割图像信号312B(S123)。
另一方面，在残余缓存容量322比规定的值大的情况下(S320的“否”)，信号分割部302将第一重复区域316A以及第二重复区域316B设定为其区域宽广(S122)。
然后，信号分割部302通过分割输入图像信号310，生成包含在步骤S122设定的大小的第一重复区域316A的第一分割图像信号312A，和包含在步骤S122设定的大小的第二重复区域316B的第二分割图像信号312B(S123)。
根据上述内容，本发明的实施例3所涉及的图像编码装置300B，由残余缓存容量监视部309监视由第一编码部303A以及第二编码部303B作为行缓存或帧缓存使用的第一存储部306A以及第二存储部306B的残余缓存容量321A以及321B。而且，图像编码装置300B能够利用该残余缓存容量321A以及321B，判断第一编码部303A以及第二编码部303B的资源富余度以及编码处理状况的进展，并按照判断的结果生成识别信号311。
如此这般，本发明的实施例3所涉及的图像编码装置300B能够获得与上述的实施例1相同的效果。
而且，本发明的实施例3所涉及的图像编码装置300B，在残余缓存容量321A以及321B变少的情况下，能够使第一重复区域316A以及第二重复区域316B的行数n减少。据此，能够不依赖于像素速率的高低，在第一编码部303A以及第二编码部303B的资源以及处理状况无富余的情况下，减少该第一编码部303A以及第二编码部303B的处理量。
如此这般，本发明的是实施例3所涉及的图像编码装置300B能够实现，按照第一编码部303A以及第二编码部303B具备的行缓存或帧缓存的资源状况削减存储区域，且削减编码部之间的带宽和像素速率更高的编码处理。
(实施例4)
在本发明的实施例4说明上述的实施例1所涉及的图像编码装置300的变形例。本发明的实施例4所涉及的图像编码装置300C，按照运动矢量变更第一重复区域316A以及第二重复区域316B的大小。
首先，说明本发明的实施例4所涉及的图像编码装置300C的构成。
图20是示出本发明的实施例4所涉及的图像编码装置300C的构成的方框图。另外，对于与图3相同的构成要素使用相同的符号，并省略其说明。
如图20所示的图像编码装置300C在如图3所示的图像编码装置300的构成之外，还具备运动矢量监视部330。并且，拍摄方式切换部301C的构成不同。
运动矢量监视部330获得由第一编码部303A生成的运动矢量331A以及第二编码部303B生成的运动矢量331B。而且，运动矢量监视部330将运动矢量331A以及331B中的最大的运动矢量332输出到拍摄方式切换部301C。具体而言，运动矢量监视部330，将运动矢量331A以及331B中包含的多个运动矢量中的例如跨越分割边界(第一编码对象范围315A以及第二编码对象范围315B的边界)的最大的运动矢量332输出到拍摄方式切换部301C。
并且，例如，运动矢量331A以及331B是由运动检测部701生成的一个像素的多个运动矢量725。换而言之，运动矢量监视部330按照输入图像信号310中包含的每个图片，选择最大的运动矢量332。
拍摄方式切换部301C获得由运动矢量监视部330输出的运动矢量332。并且，拍摄方式切换部301C按照所获得的运动矢量332，设定由i阶段构成的像素速率中的某一个。
在此，例如以高像素速率即高速拍摄的图像信号的编码处理时，被拍摄的被摄物或拍摄部的运动变小。由此，拍摄方式切换部301C能够利用运动矢量332判别像素速率。
具体而言，运动矢量332越大，拍摄方式切换部301C，则设定为像素速率越低。例如，i是2的情况下，拍摄方式切换部301C，在运动矢量332比规定的值大的情况下，设定为低像素速率拍摄方式，在运动矢量332比该规定的值小的情况下，设定为高像素速率拍摄方式。并且，拍摄方式切换部301C将示出所设定的像素速率的识别信号311输出到信号分割部302、第一编码部303A以及第二编码部303B。
其次，说明图像编码装置300C的工作。
图21是示出本发明的实施例4所涉及的图像编码装置300C的工作流程的流程图。另外，对于与图6相同的处理使用相同的符号，并省略其说明。
如图21所示，首先，运动矢量监视部330获得由第一编码部303A以及第二编码部303B生成的运动矢量331A以及331B(S401)。并且，运动矢量监视部330将所获得的运动矢量331A以及331B所包含的多个运动矢量中的，跨越分割边界的最大的运动矢量332输出到拍摄方式切换部301C。
然后，拍摄方式切换部301C获得由运动矢量监视部330输出的运动矢量332。然后，拍摄方式切换部301C按照所获得的运动矢量332决定像素速率。并且，拍摄方式切换部301C将示出所设定的像素速率的识别信号311输出到信号分割部302、第一编码部303A以及第二编码部303B。
另外，步骤S102以后的处理，与实施例1相同，因此省略其说明。
其次，说明信号分割处理(S102)的详细的工作。
图22是示出信号分割部302的信号分割处理流程的流程图。
如图22所示，首先，信号分割部302参照识别信号311，判定运动矢量332(像素速率)是否是在规定的值以下(S420)。
在运动矢量332是在规定的值以下的情况下(S420的“是”)，信号分割部302设定为第一重复区域316A以及第二重复区域316B使其区域狭小(S121)。
然后，信号分割部302，通过分割输入图像信号310，生成包含在步骤S121设定的大小的第一重复区域316A的第一分割图像信号312A，和包含在步骤S121设定的大小的第二重复区域316B的第二分割图像信号312B(S123)。
另一方面，运动矢量332比规定的值大的情况下(S420的“否”)，信号分割部302设定为第一重复区域316A以及第二重复区域316B的区域宽广(S122)。
然后，信号分割部302，通过分割输入图像信号310，生成包含在步骤S122设定的大小的第一重复区域316A的第一分割图像信号312A，和包含在步骤S122设定的大小的第二重复区域316B的第二分割图像信号312B(S123)。
通过上述内容，本发明的实施例4所涉及的图像编码装置300C监视运动矢量331A以及331B的最大值。并且，图像编码装置300C能够按照运动矢量331A以及331B的最大值，判断编码处理的预测信号状况，并按照判定结果生成识别信号311。
如此这般，本发明的实施例4所涉及的图像编码装置300C能够获得与上述的实施例1相同的效果。
而且，本发明的实施例4所涉及的图像编码装置300C，在运动矢量小的情况下，使第一重复区域316A以及第二重复区域316B的行数n减少。在运动矢量小的情况下，即使使运动补偿处理的搜索范围(第一重复区域316A以及第二重复区域316B)的大小小，编码效率以及画质恶化的可能性也小。如此这般，本发明的第4实施例所涉及的图像编码装置300C，能够抑制编码效率以及画质的恶化且能够对应高像素速率的编码处理。
并且，本发明的实施例4所涉及的图像编码装置300C，不依赖于像素速率的高低，在运动矢量小的情况下，使第一重复区域316A以及第二重复区域316B狭小。据此，能够更加削减第一编码部303A和第二编码部303B之间的数据传送量。
据此，本发明的实施例4所涉及的图像编码装置300C，能够通过按照第一编码部303A以及第二编码部303B生成的运动矢量331A以及331B，变更第一重复区域316A以及第二重复区域316B的大小，从而实现削减编码部之间的带宽和像素速率更高的编码处理。
并且，图像编码装置300C，按照跨越分割边界(第一编码对象范围315A和第二编码对象范围315B的边界)的最大的运动矢量332，变更第一重复区域316A以及第二重复区域316B的大小。据此，能够设定更加恰当的第一重复区域316A以及第二重复区域316B的大小。
具体而言，可设想到即使在图片全体的运动大的情况下，分割边界附近的运动也小的情况。在这样的情况下，因为分割边界附近的运动小，所以即使第一重复区域316A以及第二重复区域316B的大小小，编码效率以及画质恶化的可能性也小。对此，图像编码装置300C，在这样的情况下，能够设定为第一重复区域316A以及第二重复区域316B的大小小。据此，图像编码装置300C能够抑制编码效率以及画质的恶化且能够削减第一编码部303A和第二编码部303B之间的数据传送量。
以上，说明了本发明的实施例1～4所涉及的图像编码装置300～300C，但是本发明并不限定于这些实施例。
例如，上述实施例1～4的说明中，叙述了图像编码装置300～300C以2阶段变更第一重复区域316A以及第二重复区域316B的大小的例子，但是也可以是，以3阶段以上来进行变更。此时，像素速率越高，图像编码装置300～300C，使第一重复区域316A以及第二重复区域316B的大小越小即可。
并且，在上述实施例1～4的说明中，叙述了图像编码装置300～300C将输入图像信号310分割为上下2个的例子，但是也可以是，分割为左右2个。而且，也可以是，图像编码装置300～300C，具有将输入图像信号310分割为3个以上的图像，并分别对被分割的图像进行编码的3个以上的编码部。并且，也可以是，被分割的图像(第一编码对象范围315A以及第二编码对象范围315B)的大小不同。并且，也可以是，第一重复区域316A和第二重复区域316B的大小不同。
并且，在上述的实施例1～4的说明中，各图像编码装置300～300C，分别按照用户的开关操作、输入图像信号310中包含的信息、残余缓存容量322以及运动矢量332中的某一个来变更第一重复区域316A以及第二重复区域316B的大小，但是也可以是，按照上述4个中的2个以上来变更第一重复区域316A以及第二重复区域316B的大小。
例如，图像编码装置300～300C按照残余缓存容量322以及运动矢量332来变更第一重复区域316A以及第二重复区域316B的大小的情况下，该图像编码装置300～300C，在残余缓存容量322比规定的值大且运动矢量332比规定的值大的情况下，使第一重复区域316A以及第二重复区域316B宽广，在满足(1)残余缓存容量322比规定的值小以及(2)运动矢量332比规定的值小这其中的至少一方的情况下，使第一重复区域316A以及第二重复区域316B狭小。另外，也可以是，该图像编码装置，按照残余缓存容量322的大小和运动矢量332的大小的各个组合，以3阶段以上，来变更第一重复区域316A以及第二重复区域316B的大小。
并且，上述实施例1的说明中，虽然决定第一重复区域316A以及第二重复区域316B的大小的像素速率的基准，和决定利用原图像以及本地解码图像之间的哪一个进行运动检测处理的像素速率的基准相同，但是也可以是该基准不同。换而言之，也可以是，图像编码装置300，按照像素速率是否比第一阈值大，来决定第一重复区域316A以及第二重复区域316B的大小，而按照像素速率是否比与第一阈值不同的第二阈值大，来决定利用原图像以及本地解码图像中的哪一个来进行运动检测处理。
并且，上述实施例1～4所涉及的图像编码装置300～300C中包含的各个处理部，典型的是，以集成电路即LSI来实现。但是可以是，对于这些个别地进行1个芯片化，也可以是，以包含一部分或全部来进行1个芯片化。
典型的是，如图3所示的处理部中，除了第一存储部306A以及第二存储部306B，所有的处理部作为1个芯片LSI来实现。
并且，集成电路化并不限定于LSI，也可以是，以专用电路或通用处理器来实现。也可以是，利用可在制造LSI后进行编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)，或可重构LSI内部的电路单元的连接、设定的可重构处理器(ReconfigurableProcessor)。
并且，也可以是，通过CPU等的处理器执行程序来实现本发明的实施例1～4所涉及的图像编码装置300～300C的功能的一部分或全部。
而且，本发明可以是上述的程序，也可以是记录了上述程序的记录介质。并且，不言而喻，上述程序能够通过互联网等传送介质使其流通。
并且，也可以是，组合上述实施例1～4所涉及的图像编码装置300～300C，以及其变形例的功能中的至少一部分。
本发明能够适用于编码装置。并且，本发明对于需要高像素速率的编码处理的高速拍摄，或进行高清晰图像拍摄的数字静像照相机(digital still camera)以及数码摄像机有用。
符号说明
100、300、300A、300B、300C图像编码装置
101图像信号输入端子
102、302信号分割部
103A、303A第一编码部
103B、303B第二编码部
106、307信号合成部
107编码信号输出端子
108编码部
110、310输入图像信号
111A、312A第一分割图像信号
111B、312B第二分割图像信号
112A、313A第一编码信号
112B、313B第二编码信号
113A、113B本地解码图像
114、314输出编码信号
115A、316A第一重复区域
115B、316B第二重复区域
116A第一搜索范围
116B第二搜索范围
301、301A、301B、301C拍摄方式切换部
304A第一存储区域连接部
304B第二存储区域连接部
305A第一外部连接部
305B第二外部连接部
306A第一存储部
306B第二存储部
308像素速率监视部
309残余缓存容量监视部
311识别信号
315A第一编码对象范围
315B第二编码对象范围
317A、317B第一本地解码图像
318A、318B第二本地解码图像
320监视结果
321A、321B、322残余缓存容量
330运动矢量监视部
331A、331B、332运动矢量
701运动检测部
702原图像存储部
703减法部
704、711、713开关
705变换部
706量化部
707可变长编码部
708反量化部
709反变换部
710加法部
712本地解码图像存储部
714运动补偿部
721预测误差信号
722、724DCT系数
723量化系数
725运动矢量
726预测图像
727本地解码信号
901编码块
902、904、906、908运动矢量
903、905、907相邻块

Claims (16)

1.一种图像编码装置，通过对输入图像信号进行编码，从而生成输出编码信号，
所述图像编码装置具有：
信号分割部，将所述输入图像信号所包含的各个图片分割为多个编码对象图像；
多个编码部，分别与所述多个编码对象图像相对应，通过对所对应的所述编码对象图像进行包括运动补偿处理的编码处理，从而生成编码信号，并通过对所对应的所述编码对象图像进行编码以及解码，从而生成本地解码图像；以及
信号合成部，通过合成由多个所述编码部生成的多个编码信号，从而生成所述输出编码信号，
所述信号分割部，将各个所述编码部进行所述运动补偿处理时的搜索范围决定为包含该编码部所对应的编码对象图像和重复区域的范围，所述重复区域是与该编码对象图像相邻且包含于与该编码对象图像相邻的其他编码对象图像的区域，
各个所述编码部，利用包含于所述搜索范围的第一本地解码图像和第二本地解码图像进行所述运动补偿处理，所述第一本地解码图像是由各个所述编码部自身生成的所述编码对象图像的本地解码图像，所述第二本地解码图像是由其他编码部生成的所述重复区域的本地解码图像，
所述信号分割部，按照规定的条件切换所述重复区域的大小。
2.如权利要求1所述的图像编码装置，
所述信号分割部，在像素速率比第一阈值小的情况下，将所述重复区域的大小决定为第一大小，在所述像素速率比所述第一阈值大的情况下，将所述重复区域的大小决定为第二大小，所述像素速率是该图像编码装置在每单位时间内应处理的像素数，所述第二大小比所述第一大小小。
3.如权利要求2所述的图像编码装置，
各个所述编码部具有：
运动检测部，检测所对应的所述编码对象图像所包含的多个块中的各个块的运动矢量；以及
运动补偿部，利用由所述运动检测部检测出的运动矢量进行所述运动补偿处理，
所述图像编码装置还具有原图像存储部，所述原图像存储部分别与多个所述编码部相对应，并存储所对应的所述编码对象图像以及所对应的所述重复区域的图像以作为原图像，
所述运动检测部，利用所述原图像存储部中存储的所述原图像，检测所述运动矢量。
4.如权利要求3所述的图像编码装置，
所述图像编码装置还具有本地解码图像存储部，所述本地解码图像存储部分别与所述多个编码部相对应，并存储所对应的编码部进行所述运动补偿处理时利用的所述第一本地解码图像以及所述第二本地解码图像，
所述运动检测部，在所述像素速率比第二阈值大的情况下，利用所述原图像存储部中存储的所述原图像，检测所述运动矢量，在所述像素速率比所述第二阈值小的情况下，利用所述本地解码图像存储部中存储的所述第一本地解码图像以及所述第二本地解码图像，检测所述运动矢量。
5.如权利要求4所述的图像编码装置，
各个所述编码部，向其他编码部请求所述第二本地解码图像，
所述运动检测部，在所述像素速率比第二阈值大的情况下，在由该编码部获得按照所述请求而从所述其他编码部输出的所述第二本地解码图像之前，利用所述原图像存储部中存储的所述原图像，开始所述运动矢量的检测处理。
6.如权利要求2所述的图像编码装置，
所述图像编码装置还具有像素速率获得部，所述像素速率获得部获得通过用户的操作而被指定的所述像素速率。
7.如权利要求2所述的图像编码装置，
所述图像编码装置还具有：
第一计算部，利用所述输入图像信号所包含的信息，计算该输入图像信号的图像大小以及帧速率中的至少一方；以及
第二计算部，利用所述第一计算部计算出的所述像素大小以及帧速率中的至少一方，计算所述像素速率。
8.如权利要求7所述的图像编码装置，
所述第一计算部，利用所述输入图像信号所包含的像素时钟、水平同步信号以及垂直同步信号中的至少一个，计算该输入图像信号的图像大小以及帧速率中的至少一方。
9.如权利要求1所述的图像编码装置，
所述图像编码装置还具有第一存储部，所述第一存储部存储由多个所述编码部生成的所述第一本地解码图像，
所述信号分割部，在所述第一存储部的空余容量比第一阈值大的情况下，将所述重复区域的大小决定为第一大小，在所述空余容量比所述第一阈值小的情况下，将所述重复区域的大小决定为第二大小，所述第二大小比所述第一大小小。
10.如权利要求9所述的图像编码装置，
所述第一存储部包括多个第二存储部，多个所述第二存储部分别与多个所述编码部相对应，并存储所对应的编码部在进行所述运动补偿处理时利用的所述第一本地解码图像以及所述第二本地解码图像，
所述信号分割部，在多个所述第二存储部的空余容量中的最小的空余容量比所述第一阈值大的情况下，将所述重复区域的大小决定为所述第一大小，在所述最小的空余容量比所述第一阈值小的情况下，将所述重复区域的大小决定为所述第二大小。
11.如权利要求1所述的图像编码装置，
各个所述编码部具有：
运动检测部，检测所对应的所述编码对象图像所包含的多个块中的各个块的运动矢量；以及
运动补偿部，利用由所述运动检测部检测出的运动矢量进行所述运动补偿处理，
所述信号分割部，在所述运动矢量比第一阈值大的情况下，将所述重复区域的大小决定为第一大小，在所述运动矢量比所述第一阈值小的情况下，将所述重复区域的大小决定为第二大小，所述第二大小比所述第一大小小。
12.如权利要求11所述的图像编码装置，
所述信号分割部，在跨越所述多个编码对象图像的边界的所述运动矢量中的最大的运动矢量比所述第一阈值大的情况下，将所述重复区域的大小决定为所述第一大小，在所述最大的运动矢量比所述第一阈值小的情况下，将所述重复区域的大小决定为所述第二大小。
13.如权利要求2所述的图像编码装置，
各个所述编码部具有：
运动检测部，检测所对应的所述编码对象图像所包含的多个块中的各个块的运动矢量；以及
运动补偿部，利用由所述运动检测部检测出的运动矢量进行所述运动补偿处理，
各个所述编码部，针对与所对应的所述编码对象图像和所对应的所述重复区域之间的边界相邻的块的运动矢量，通过利用该块周围的块的运动矢量来进行预测，在预测出的运动矢量示出所述边界的方向的情况下，获得由其他编码部生成的所述第二本地解码图像，在所述预测出的运动矢量不示出所述边界的方向的情况下，不获得由其他编码部生成的所述第二本地解码图像。
14.一种图像编码方法，通过对输入图像信号进行编码，从而生成输出编码信号，
所述图像编码方法包括：
信号分割步骤，将所述输入图像信号所包含的各个图片分割为多个编码对象图像；
编码步骤，分别与所述多个编码对象图像相对应的多个编码部，通过对所对应的所述编码对象图像进行包括运动补偿处理的编码处理，从而生成编码信号，并通过对所对应的所述编码对象图像进行编码以及解码，从而生成本地解码图像；以及
信号合成步骤，通过合成在所述编码步骤生成的多个编码信号，从而生成所述输出编码信号，
在所述信号分割步骤，将各个所述编码部进行所述运动补偿处理时的搜索范围决定为包含该编码部所对应的编码对象图像和重复区域的范围，所述重复区域是与该编码对象图像相邻且包含于与该编码对象图像相邻的其他编码对象图像的区域，
在所述编码步骤，各个所述编码部利用包含于所述搜索范围的第一本地解码图像和第二本地解码图像进行所述运动补偿处理，所述第一本地解码图像是由各个所述编码自身生成的所述编码对象图像的本地解码图像，所述第二本地解码图像是由其他编码部生成的所述重复区域的本地解码图像，
在所述信号分割步骤，按照规定的条件切换所述重复区域的大小。
15.一种程序，使计算机执行权利要求14所述的图像编码方法。
16.一种集成电路，通过对输入图像信号进行编码，从而生成输出编码信号，所述集成电路具有：
信号分割部，将所述输入图像信号所包含的各个图片分割为多个编码对象图像；
多个编码部，分别与所述多个编码对象图像相对应，通过对所对应的所述编码对象图像进行包括运动补偿处理的编码处理，从而生成编码信号，并通过对所对应的所述编码对象图像进行编码以及解码，从而生成本地解码图像；以及
信号合成部，通过合成由多个所述编码部生成的多个编码信号，从而生成所述输出编码信号，
所述信号分割部，将各个所述编码部进行所述运动补偿处理时的搜索范围决定为包含该编码部所对应的编码对象图像和重复区域的范围，所述重复区域是与该编码对象图像相邻且包含于与该编码对象图像相邻的其他编码对象图像的区域，
各个所述编码部，利用包含于所述搜索范围的第一本地解码图像和第二本地解码图像进行所述运动补偿处理，所述第一本地解码图像是由各个所述编码部自身生成的所述编码对象图像的本地解码图像，所述第二本地解码图像是由其他编码部生成的所述重复区域的本地解码图像，
所述信号分割部，按照规定的条件切换所述重复区域的大小。
CN200980000574A 2008-05-20 2009-05-19 图像编码装置以及图像编码方法 Pending CN101755462A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008131508 2008-05-20
JP131508/2008 2008-05-20
PCT/JP2009/002207 WO2009142003A1 (ja) 2008-05-20 2009-05-19 画像符号化装置及び画像符号化方法

Publications (1)

Publication Number Publication Date
CN101755462A true CN101755462A (zh) 2010-06-23

Family

ID=41339943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980000574A Pending CN101755462A (zh) 2008-05-20 2009-05-19 图像编码装置以及图像编码方法

Country Status (4)

Country Link
US (1) US8654850B2 (zh)
JP (1) JP5340172B2 (zh)
CN (1) CN101755462A (zh)
WO (1) WO2009142003A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729824A (zh) * 2013-12-17 2014-04-16 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互系统
CN107211066A (zh) * 2015-03-06 2017-09-26 英特尔公司 在输出面板与数字相机之间传送隐藏图像数据
US9836857B2 (en) 2013-12-17 2017-12-05 Beijing Zhigu Rui Tuo Tech Co., Ltd. System, device, and method for information exchange

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5296193B2 (ja) * 2009-04-08 2013-09-25 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
JP5368631B2 (ja) * 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
JP6242064B2 (ja) * 2013-03-28 2017-12-06 オリンパス株式会社 画像処理装置
US9813730B2 (en) * 2013-12-06 2017-11-07 Mediatek Inc. Method and apparatus for fine-grained motion boundary processing
US20150189333A1 (en) * 2013-12-27 2015-07-02 Industrial Technology Research Institute Method and system for image processing, decoding method, encoder, and decoder
JP7020782B2 (ja) * 2017-01-20 2022-02-16 キヤノン株式会社 再生装置及びその制御方法
EP3664451B1 (en) * 2018-12-06 2020-10-21 Axis AB Method and device for encoding a plurality of image frames
JP7401246B2 (ja) * 2019-10-08 2023-12-19 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351083A (en) * 1991-10-17 1994-09-27 Sony Corporation Picture encoding and/or decoding system
JPH05183891A (ja) * 1991-12-27 1993-07-23 Sony Corp 動画像符号化装置
JPH0622297A (ja) * 1992-06-29 1994-01-28 Canon Inc 動き補償符号化装置
DE69331174T2 (de) * 1992-06-29 2002-06-06 Canon Kk Bildverarbeitungsvorrichtung
JPH06303590A (ja) * 1993-04-13 1994-10-28 Matsushita Electric Ind Co Ltd 並列処理画像符号化方法及び復号化方法
JPH06351000A (ja) * 1993-06-07 1994-12-22 Matsushita Electric Ind Co Ltd 画像信号符号化装置と画像信号復号装置
JPH0918878A (ja) 1995-06-30 1997-01-17 Sony Corp 画像符号化装置および画像符号化方法
JPH10178643A (ja) * 1996-12-17 1998-06-30 Sony Corp 信号圧縮装置
JPH10327416A (ja) 1997-05-22 1998-12-08 Toshiba Corp 動画像符号化装置
JP3129279B2 (ja) * 1998-03-18 2001-01-29 日本電気株式会社 符号化装置および符号化方法、並びに記録媒体
JP2000278688A (ja) 1999-03-24 2000-10-06 Sony Corp 動きベクトル検出装置およびその方法と画像処理装置
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
TWI257817B (en) * 2005-03-08 2006-07-01 Realtek Semiconductor Corp Method and apparatus for loading image data
JP2007124408A (ja) * 2005-10-28 2007-05-17 Matsushita Electric Ind Co Ltd 動きベクトル検出装置および動きベクトル検出方法
DE602007009730D1 (de) * 2007-06-29 2010-11-18 Fraunhofer Ges Forschung Skalierbare videocodierung, die pixelwert-verfeinerungsskalierbarkeit unterstützt
JP2010028221A (ja) * 2008-07-15 2010-02-04 Sony Corp 動きベクトル検出装置、動きベクトル検出方法、画像符号化装置及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729824A (zh) * 2013-12-17 2014-04-16 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互系统
US9836857B2 (en) 2013-12-17 2017-12-05 Beijing Zhigu Rui Tuo Tech Co., Ltd. System, device, and method for information exchange
CN103729824B (zh) * 2013-12-17 2018-02-02 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互系统
CN107211066A (zh) * 2015-03-06 2017-09-26 英特尔公司 在输出面板与数字相机之间传送隐藏图像数据
CN107211066B (zh) * 2015-03-06 2020-05-05 英特尔公司 在输出面板与数字相机之间传送隐藏图像数据

Also Published As

Publication number Publication date
JP5340172B2 (ja) 2013-11-13
JPWO2009142003A1 (ja) 2011-09-29
US8654850B2 (en) 2014-02-18
WO2009142003A1 (ja) 2009-11-26
US20100296582A1 (en) 2010-11-25

Similar Documents

Publication Publication Date Title
CN101755462A (zh) 图像编码装置以及图像编码方法
US10218991B2 (en) Image encoding apparatus, method of image encoding, and recording medium, image decoding apparatus, method of image decoding, and recording medium
CN1934866B (zh) 视频解码设备
EP2962461B1 (en) Systems and methods of encoding multiple video streams for adaptive bitrate streaming
RU2573257C2 (ru) Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования сигнала изображения и программа
CN100592794C (zh) 提高的运动估计、视频编码方法及使用所述方法的设备
US20090125538A1 (en) Video encoding and decoding using parallel processors
CN110740318A (zh) 用于视频处理和视频译码的自动自适应长期参考帧选择
EP3231176A1 (en) Rate control for parallel video encoding
JP2016508327A (ja) 高効率な次世代ビデオコーディングのためのフレーム階層応答型量子化を使用する、コンテンツ適応ビットレートおよび品質管理
JP2016526336A (ja) 適応ビットレートストリーミングのための適応量子化を用いて複数のビデオストリームをエンコードするシステムおよび方法
US20160301945A1 (en) Image compression/decompression device
CN104160703A (zh) 经对象检测所通知的编码
JP2008022383A (ja) 画像符号化装置
EP2410752A1 (en) Image coding apparatus, image coding control method and image coding program
CN105245896A (zh) Hevc并行运动补偿方法及装置
CN116916066A (zh) 一种视频转码方法及装置、电子设备及存储介质
JP2007088922A (ja) 符号化装置と符号化方法
US20060061497A1 (en) Bit rate conversion apparatus and method
JP2021527362A (ja) イントラ予測のための方法及び装置
KR102267215B1 (ko) 잔차 레벨 데이터의 위치 의존적 엔트로피 코딩을 위한 임베디드 코덱(ebc) 회로
CN103327340A (zh) 一种整数搜索方法及装置
CN103155566B (zh) 动态图像编码方法以及动态图像编码装置
WO2008079330A1 (en) Video compression with complexity throttling
WO2018205780A1 (zh) 一种运动估计实现方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100623