CN103986929A - 图像处理设备 - Google Patents

Abstract

本发明提供一种图像处理设备。通过简单控制以高速对压缩图像数据执行包括解码和格式转换的信号处理。解码器以块为单位对压缩图像数据进行解码并且将块中的解码数据写入解码数据存储器。进程通知单元对于每个画面生成指示数据被解码器进行解码或写入解码数据存储器的进程状态的进程信号，并且将该信号输出至格式转换单元。该格式转换单元从解码数据存储器读出解码数据并对该数据进行格式转换，并且将经格式转换的数据写入格式转换数据存储器。在从解码数据存储器读出数据时，格式转换单元从该进程信号获取指示可从解码数据存储器读取解码数据的地址的信息。

Description

图像处理设备

相关申请的交叉引用

于2013年2月13日提交的包括说明书、附图和摘要的日本专利申请号2013-025666的公开内容通过引用全文结合于此。

背景技术

本发明涉及图像处理并且涉及例如用于对压缩图像数据进行解码并且对解码数据执行格式转换的技术。

静止图像和运动图像都被配置为以压缩状态进行存储/传送以便节省用于存储图像的介质的容量并且提高图像传输速度。在本说明书中，当仅使用词语“图像”时，其包括了静止图像和运动图像。此外，除非以其它方式特别描述，否则“图像”和作为指示图像的数据的“图像数据”以相同含义来使用。

处于利用压缩图像一侧的设备（此后称之为“图像利用设备”）包括满足图像的压缩标准（JPEG、MPEG等）的解码器并且由该解码器对图像进行解码。

存在解码器的输出格式和图像利用设备用于进行显示的格式（此后称之为“利用格式”）互相不同的情形。例如，3planar被认为是图像格式（对应于“利用格式”）的示例，其中在为图像利用设备之一的智能电话中所频繁采用的、作为OS的安卓（注册商标）被允许作为系统要求而进行处理。另一方面，2planar通常被认为是解码器的输出格式的示例。

因此，需要将已经从解码器所输出的图像数据（解码数据）的格式转换为图像利用设备中的利用格式。

已经从各种观点形成的技术被提议用于需要对压缩数据进行解码并且对解码图像数据进行格式转换的图像利用设备。

例如，在日本未审专利申请公开号平成11(1999)-275575中公开了一种允许在其中构建有用于对MPEG图像进行解码的MPEG解码器以及用于对解码图像数据进行格式转换的格式转换单元两者的MPEG解码设备在该MPEG解码设备的外部和内部两者中执行格式转换的技术。对其应用以上所提到的技术的MPEG解码设备包括用于有选择地输出MPEG解码器的输出和格式转换单元的输出的选择器。如果外部帧存储器耦合至格式转换单元并且该选择器偏向于选择格式转换单元的输出，则该MPEG编码设备将被允许执行相当于格式转换的处理。另一方面，如果选择器偏向于选择MPEG解码器的输出并且另一个格式转换单元被安装在MPEG解码设备之外，则该MPEG解码设备将被允许简单地作为解码器使用。

此外，在日本未审专利公开号2003-169326中公开了一种技术，其中在解码编码数据（压缩图像）之前，画面被划分为每画面的多个区域，并且以划分的区域为单位一遍又一遍地顺序和交替地执行解码和格式转换以便节省需要用于解码和格式转换的存储器的容量。根据该技术，允许相较于存储全部的数据，即一画面数据（对应于一个画面的数据）的情况节省存储器的容量。

此外，在日本未审专利公开号平成8(1996)-172602中公开了一种技术，其中在显示压缩图像时，对压缩数据进行解码并且将其写入存储器中，已经被写入存储器的解码数据由FIFO依据输出格式读出并且被临时存储。在该技术中，类似于日本未审专利公开号2003-169326中所描述的技术，出于节约用于存储解码数据的存储器的容量的目的，将数据从解码器写入存储器是以块为单位执行，而从存储器读取数据则是通过激光扫描而以行为单位来执行。

日本未审专利公开号平成11(1999)-275575中所公开的技术被配置为使得在数据由内建于MPEG解码设备中的格式转换单元进行格式转换的情况下以及在数据由安装在MPEG解码设备之外的格式转换单元进行格式转换的情况下都直接将数据从MPEG解码器输出到格式转换单元（参见日本未审专利公开号平成11(1999)-275575中的图1至3）。

因此，其存在有这样的缺陷，例如当格式转换的处理被延迟时，MPEG解码器就难以将解码数据传输至格式转换单元并且整个系统中解码和/或处理的执行都被延迟。该缺陷将引起用户的不快，特别是在诸如视频聊天、无线显示等期望压缩数据在其已经被输入解码器之后很快进行显示的图像利用设备的情况下。

在日本未审专利公开号2003-169326所公开的技术中，虽然在许多情况下允许在对JPEG系统等的静止图像进行解码之前执行划分所涉及画面的处理，但是在许多情况下难以对运动图像执行以上所提到的处理。此外，还存在的缺陷在于，画面划分以及基于划分区域的解码/格式转换的控制复杂并且负载被施加到CPU上。

日本未审专利公开号平成8(1996)-172602中所公开的技术不可避免地使用存储器控制器（对应于日本未审专利公开号平成8(1996)-172602的实施例中的“同步信号生成器”），其生成对存储器中的地址进行控制、向存储器中写入数据以及从存储器中读出数据的定时。如日本未审专利公开号平成8(1996)-172602的图3等中所示，由于该同步信号生成器基于数据显示时的定时（水平同步信号、垂直同步信号等）生成数据写入、数据读取等的定时，所以控制非常复杂并且解码器为了便于显示会保持等待。结果，这样的缺陷导致整个系统的解码和/或处理的执行都被延迟。

本发明的其它主题名称和新颖特征将由于对本说明书和附图的描述而变得显而易见。

发明内容

根据本发明的一个实施例，一种图像处理设备包括解码数据存储器、格式转换数据存储器、解码器、进程通知单元和格式转换单元。

该解码数据存储器适于存储通过对压缩图像数据进行解码而获得的解码数据，并且该格式转换数据存储器适于存储通过对解码数据执行格式转换而获得的格式转换数据。

该解码器以块为单位对压缩图像数据进行解码并且将块中的解码数据写入解码数据存储器中。

该进程通知单元对于每个画面生成并输出指示数据被解码器进行解码的进程状态或数据被解码器写入解码数据存储器的进程状态的进程信号。

该格式转换单元从解码数据存储器读出解码数据并对该数据进行格式转换，并且将经格式转换的数据写入格式转换数据存储器。该格式转换单元从来自该进程通知单元的进程信号获取指示可从解码数据存储器读取的解码数据的地址的信息。

顺便指出，通过将以上所提到实施例中的图像处理设备替换为方法和系统、诸如包括图像处理设备等的图像显示设备等的图像利用设备而表述的那些实施例被有效地作为本发明的多个方面。

根据以上所提到的本发明的一个实施例，允许通过简单控制高速执行包括解码和格式转换在内的图像处理。

附图说明

图1是图示根据本发明第一实施例的图像处理设备的示例的示图；

图2是图示图1所示的图像处理设备所执行的格式转换示例的示图；

图3是图示图1所示的图像处理设备中的解码器所执行的数据解码以及写入解码数据存储器的示例的示图（1）；

图4是图示图1所示的图像处理设备中的格式转换单元从解码数据存储器进行数据读取的示例的示图（1）；

图5是图示图1所示的图像处理设备中的解码器所执行的数据解码以及写入解码数据存储器的示例的示图（2）；

图6是图示图1所示的图像处理设备中的格式转换单元从解码数据存储器进行数据读取的示例的示图；和

图7是图示根据本发明第二实施例的图像处理设备的示例的示图。

具体实施方式

为了清楚地解释，以下描述和附图被适当省略和简化。此外，在相应附图中，为相同要素指定以相同的附图标记并且按照需要省略了重复描述。

第一实施例

图1图示了根据本发明第一实施例的图像处理设备100的示例。图像处理设备100包括前阶段处理单元110、解码数据存储器120、格式转换数据存储器130和后阶段处理单元140，并且为压缩图像数据的比特流S0被输入到设备100中。顺便提及，在图1中省略了这种类型的设备中通常包括的CPU（中央处理单元）。

前阶段处理单元110对比特流S0执行解码并且对解码数据执行格式转换。后阶段处理单元140执行诸如关于从前阶段处理单元110所获取的格式转换数据或者从前阶段处理单元110所获取的解码数据和格式转换数据的显示的处理。由于存在后阶段处理单元，除了取决于图像处理设备100的应用的格式转换数据之外，还使用并未进行格式转换的解码数据的情况，所以图1中还图示了数据（解码数据）沿其从解码数据存储器120输出到后阶段处理单元140的信号线路。不言而喻，在后阶段处理单元140并不使用解码数据的情况下，就不设置该信号线路。

前阶段处理单元110包括解码器112、进程通知单元114、格式转换单元116和DMAC（直接存储器访问控制器）118。

DMAC118依据未图示的CPU所进行的控制而将比特流S0顺序传输至解码器112。

解码器112以块为单位对已经从DMAC118所传输的比特流S0进行解码以获得解码数据S1，并且随后经由DMAC118将解码数据S1写入到解码数据存储器120中。

对于每个画面，进程通知单元114生成进程信号PR并且将该进程信号PR输出到格式转换单元116，该进程信号PR指示数据被解码器112所解码的进程状态，或者数据被解码器112写入解码数据存储器120中的进程状态。

进程信号PR适于向格式转换单元116通知可从解码数据存储器120读取的解码数据所存储的地址。

解码器112以块为单位执行数据的解码和写入。解码器112经由DMAC118接收某些块中的解码数据已经完成向解码数据存储器120中的写入的通知，并且随后向进程通知单元114通知以上所提到的块中的解码数据的写入的完成。因此，允许格式转换单元116通过接收该进程信号PR而获知所涉及块中的解码数据向解码数据存储器120中的写入的完成（即，数据变为可读取）。

在解码器112通知进程通知单元114所涉及块中的数据的解码时间作为解码完成定时而并不等待某些块中的解码数据向解码数据存储器120中的写入的完成的通知的情况下，当已经依据解码器112完成一个块的数据的解码而生成进程信号PR之后，直到格式转换单元116接收该进程信号PR，存在充分的时间差时，允许格式转换单元116通过接收该进程信号PR而感知到所涉及块中的解码数据向解码数据存储器120中的写入已经完成。

不言而喻，可以在高侧（high side）估计解码器112已经完成某些块中的数据的解码的时间与解码器112已经完成将所涉及块中的解码数据写入到解码数据存储器120的时间之间的差，并且格式转换单元116可以将接收到进程信号PR之后已经过去预定时间的定时判定为所涉及块中的数据变为可读取的定时。

此外，关于所涉及块中的解码数据已经在解码数据存储器120中进行存储的地址，例如，进程通知单元114可以将解码器112已经完成其解码的数据块的编号输出至格式转换单元116作为进程信号PR，并且格式转换单元116可以依据块的编号和解码数据存储器120中的地址之间的对应关系而获得与进程信号PR所指示的块的编号相对应的地址。

在以上所提到的情况下，进程通知单元114可以容易地由计数器进行配置。具体地，该计数器能够在解码器112每次完成一个块的数据的解码或者解码器112每次完成将一个块的解码数据写入到解码数据存储器120时对每个画面计数值，并且可以将所计数的值输出到格式转换单元116作为进程信号PR。随后，所计数的值可以在每次完成一个画面的数据的解码或写入时进行重置。

如以上所提到的，在该实施例中，在每次完成一个块的数据112的解码或者由解码器112执行的解码数据的写入时，进程通知单元114按每个画面向格式转换单元116输出指示所涉及的块的编号的进程信号PR。格式转换单元116被允许基于进程信号PR获取指示已经使得可从解码数据存储器120读取的解码数据所存储的地址的信息。

格式转换单元116从解码数据存储器120读出解码数据S2并且对数据S2执行格式转换，并且将经格式转换的数据与解码器112所执行的解码操作同步地写入格式转换数据存储器130中。

由格式转换单元116从解码数据存储器120读出数据的读出单位可以与解码器112写入数据的写入单位相同或不同。从访问存储器的效率的观点来看，优选格式转换单元116被配置为通过将多个块定义为读出单位而执行数据读取。为了指示格式转换单元116读出数据的读出单位可能不与解码器112写入数据的写入单位相同，以S1被分配至解码器112将向解码数据存储器120写入的数据（解码数据）并且S2被分配至格式转换单元116将从解码数据存储器120读出的数据的方式而分别分配不同符号。

此外，格式转换单元116在向格式转换数据存储器130中写入格式转换数据S3时的写入单元可以与格式转换单元116将从解码数据存储器120中读出解码数据S2时的读出单元相同或不同。

后阶段处理单元140从格式转换数据存储器130或者从格式转换数据存储器130和解码数据存储器120读出数据以依据所要执行的处理类型来执行处理。

根据本实施例的图像处理设备100，首先，其允许通过包括用于存储解码数据S2的解码数据存储器120和用于存储格式转换数据S3的格式转换数据存储器130而同时由解码器112执行压缩图像数据的解码并且由格式转换单元116对解码数据进行格式转换，并且其允许即使在格式转换的执行延迟时也允许不将解码器112置于备用。因此，允许促进整个系统的解码和/或处理的高速执行。

另外，每次由解码器112完成一块数据的解码或者一块解码数据的写入时，从进程通知单元114向格式转换单元116按照每个画面输出指示已经完成数据的解码或数据写入的最后的块的编号的进程信号PR。因此，允许格式转换单元116基于该进程信号PR而获知已经使得可从解码数据存储器120进行读取的解码数据所存储的地址。也就是说，即使在解码器112还没有完成一个画面的数据的解码时，也允许对所涉及画面中已经完成其解码的块中的解码数据执行格式转换。结果，允许格式转换的高速执行，并且其结果是允许以更高的速度来执行整个系统的处理。

另外，由于进程通知单元114简单地向格式转换单元116通知被解码器112判定或写入到解码数据存储器120中的数据的进程状态而作为为了获得以上所提到的优势而执行的控制，因此该控制是简单的。

这里，将假设解码器112所输出数据（解码数据）的格式为2planar而格式转换单元116所输出数据（格式转换数据）的格式为3planar而对图像处理设备100中的前阶段处理单元110的操作示例进行详细描述。

图2图示了具有2planar格式的一个画面的解码数据以及具有3planar格式的一个画面的格式转换数据的示例。在图2中，“Y”表示亮度像素值，“U”和“V”分别表示色差U像素值和色差V像素值。此外，Y、U和V中每一个之后的数字指示所涉及像素的序列。

如图2所示，解码数据包括一个亮度（Y）平面和一个色差（UV）平面的两个颜色平面。画面大小对于Y平面而言是宽度乘高度的W乘H，而对于UV平面而言是宽度乘高度的W乘H/2。如从图2所显见的，在解码数据的UV平面中，U像素和V像素被交替地排列。

另一方面，格式转换数据包括一个Y平面以及两个色差平面（一个U平面和一个V平面）。画面大小对于Y平面而言是宽度乘高度的W乘H，而对于U和V平面中的每一个而言是宽度乘高度的W/2乘H/2。

也就是说，该示例中的格式转换是将图2左侧所示的解码数据中的UV平面分为图2右侧所示的U平面和V平面的处理。顺便提及，关于UV平面，如果在整个一个U像素和一个V像素中存在两个像素的解码数据，则将允许格式转换。因此，格式转换的最小转换单位是两个像素。

将参考图3对解码器112的操作示例进行描述。在图3中，每个颜色平面中的小方块指示一个块，并且每个块中的数字指示所涉及块中的数据被解码的解码顺序以及所涉及块中的数据被写入到解码数据存储器120中的写入顺序。此外，一个箭头指示一个解码和写入操作。

如图3所示，针对每个画面，解码器112以从左向右且从上向下的顺序而以块为单位执行数据的解码以及解码数据的写入。例如，在一个块的大小被定义为16像素×16像素的情况下，当完成一块数据的解码时，对于Y平面而言为16像素×16像素以及对于UV平面而言为16像素×8像素（U像素：8×8，以及V像素：8×8）的解码数据被写入到解码数据存储器120中。

将参考图4对格式转换单元116的操作示例进行描述。在图4中，一个箭头指示由格式转换单元116从解码数据存储器120读取数据的一个操作。

在图4所示的示例中，格式转换单元116被配置为在一个读取操作中读出四个块中的一行的格式转换数据。例如，在来自进程通知单元114的进程信号PR指示由解码器112对第四块（块3）中的数据进行的解码已经完成的情况下，首先，从解码数据存储器120读出从Y平面和UV平面的第一块（块0）至第四块的第一行的数据，并且对所读出的数据执行格式转换。在完成对那些解码数据执行的格式转换之后，格式转换单元116将格式转换数据写入格式转换数据存储器130中，并且读出从Y平面和UV平面的第一块至第四块的第二行的数据并且同时对所读出数据执行格式转换。

在以上所提到的示例中，块的大小贯穿所有画面是固定的。根据本实施例的图像处理设备100被允许应对像诸如HEVC等的标准中那样使得块大小可变的情形。

将参考图5和图6对在使得一个画面中的块大小可变的情况下解码器112和格式转换单元116的操作示例进行描述。

首先，参考图5，将对解码器112的操作进行描述。如图5所示，在该示例的情况下，解码器112关于每个画面以块0，1，2，3，4，…的顺序对数据进行解码并且将解码数据写入到解码数据存储器120中。在这种情况下，块1，2，3和4中的每一个的高度和宽度是块0的高度和宽度的一半。

将参考图6对格式转换单元116的操作进行描述。例如，如图6所示，当来自进程通知单元114的进程信号PR指示已经由解码器112完成了第四块（块3）中的数据的解码时，格式转换单元116首先读出从Y平面和UV平面的第一块（块0）至第三块（块2）的相应块中的第一行的数据并且对所读出的数据执行格式转换。在完成对这些解码数据所执行的格式转换之后，格式转换单元116将经格式转换的数据写入到格式转换数据存储器130中，并且读出从Y平面和UV平面的第一块至第三块的相应块中的第二行的数据并且同时对所读出的数据执行格式转换。

随后，在完成块1和块2中的解码数据的读出和格式转换之后，格式转换单元116从解码数据存储器120读出块0中的与块3中的第一行相同行的解码数据，以及块3中的第一行的数据并且对所读出的数据执行格式转换。

图像处理设备100可应用于使得为用于解码的单位的块的大小可变的情形并且获得与块大小固定时相同的优势。

顺便提及，虽然在本实施例中，进程通知单元114以示例的方式按照每个画面将指示解码器112已经完成了一块数据的解码的进程信号PR输出至格式转换单元116，但是在完成多个块中最后一块中的数据的解码时，进程信号PR可以以多个块为单位被输出至格式转换单元116。

另外，进程通知单元114可以按每个画面向格式转换单元116输出指示整个所涉及画面的数据的解码已经完成的进程信号PR。将使用第二实施例对这种情况的示例进行描述。

第二实施例

图7图示了根据第二实施例的图像处理设备200的示例。图像处理设备200与图像处理设备100的不同之处在于，包括替代前阶段处理单元110的前阶段处理单元210，并且进程信号PR由CPU250输出。

前阶段处理单元210包括解码器112、格式转换单元216和DMAC118，并且还包括图像处理设备100的前阶段处理单元110所包括的进程通知单元114。

在这种类型的图像处理设备中，解码器通常被配置为向CPU输出指示一个画面的数据的解码已经完成的信号。CPU依据以上所提到的信号对整个图像处理设备进行控制。图像处理设备200中的解码器112还在每次完成一个画面的数据的解码时向CPU250输出画面解码完成信号PD。

除了一般控制处理之外，CPU250具有在接收到画面解码完成信号PD时向格式转换单元216输出进程信号PR的功能。该功能由所图示的进程通知单元254来执行。进程信号PR是指示已经完成所涉及画面的数据解码的信号，并且例如包括所涉及画面的编号。

由于格式转换单元216在接收到进程信号PR时识别出其被允许读出来自从对应于所涉及画面的第一像素的地址（基础地址）到对应于所涉及画面的最后像素的地址的地址范围的解码数据，所以其随后从解码数据存储器120读出所涉及画面的解码数据并且对所读出的数据执行格式转换。

虽然在没有完成一个画面的数据解码时存在比图像处理设备100更为频繁出现的延迟情形，但是根据第二实施例的图像处理设备200并不被允许对画面中已经完成其解码的块中的数据开始格式转换，与图像处理设备100中相同，其中允许通过简单控制而以高速执行包括解码和格式转换在内的图像处理。

虽然已经基于其优选实施例对本专利申请的发明人已经作出的本发明进行了特别描述，但是不言而喻的是，本发明并不局限于已经描述的实施例并且可以以并不背离本发明精神的范围内的各种方式进行修改。

例如，虽然在以上所提到的每个实施例中，进程通知单元向格式转换单元输出所涉及块的编号作为进程信号PR，但是指示该块中已经被写入到解码数据存储器中的解码数据的地址的信号可以作为进程信号而被输出至格式转换单元。而且在这种情况下，允许获得本发明所带来的优势。

此外，例如，虽然在以上所提到的每个实施例中，解码数据存储器和格式转换数据存储器被分开图示，但是解码数据存储器和格式转换数据存储器可以是一个存储器中的不同区域。

此外，例如，虽然在以上所提到的每个实施例中，利用DMAC来有效地实现对存储器的访问，但是针对存储器的访问并不必然经由DMAC来实现。

此外，虽然在根据第一实施例的图像处理设备100中，进程通知单元114独立于解码器112和格式转换单元116进行安装，但是进程通知单元116可以被构建于解码器112或格式转化单元116之中。在这种情况下，优选地将进程通知单元116构建于解码器112中以便准备掌握解码器112所进行的编码进程并且准备写入。

此外，在解码器112已经具有等同于进程通知单元114所生成的进程信号PR的信号的情况下，并不要求独立于解码器112安装进程通知单元114，并且解码器可以一般地用作进程通知单元114。

此外，在第二实施例中，CPU250中的进程通知单元254输出所涉及画面的编号作为进程信号PR。可替换地，进程通知单元254可以生成并输出指示所涉及画面的解码数据在解码数据存储器120中存储的地址的信号作为进程信号PR。

Claims (8)

1.一种图像处理设备，包括：

解码数据存储器，所述解码数据存储器用于存储通过对压缩图像数据进行解码而获得的解码数据；

格式转换数据存储器，所述格式转换数据存储器用于存储通过对所述解码数据执行格式转换而获得的格式转换数据；

解码器，所述解码器用于以块为单位对所述压缩图像数据进行解码，并且将所述块中的所述解码数据写入到所述解码数据存储器中；

进程通知单元，所述进程通知单元用于对于每个画面生成并且输出进程信号，所述进程信号用于指示所述解码器正在执行的解码的进程状态或者向所述解码数据存储器中的写入的进程状态；以及

格式转换单元，所述格式转换单元用于从所述解码数据存储器读出所述解码数据并且对所述解码数据进行所述格式转换，并且将所述格式转换数据写入到所述格式转换数据存储器中，所述格式转换单元适于从发送自所述进程通知单元的所述进程信号获取用于指示从所述解码数据存储器可读取的所述解码数据被存储的地址的信息。

2.根据权利要求1的图像处理设备，

其中每当所述解码器完成一块数据的解码，或者每当所述解码器完成将一块解码数据写入到所述解码数据存储器中时，所述进程通知单元对于每个画面生成并且输出用于指示已经完成数据的解码或者数据到所述解码数据存储器中的写入的最后的块的编号的信号，作为所述进程信号。

3.根据权利要求2的图像处理设备，

其中所述进程通知单元是下述计数器，所述计数器用于根据由所述解码器完成所述一块数据的解码或者完成所述一块数据到所述解码数据存储器中的写入，来对于每个画面计数值，并且输出计数的值作为所述进程信号。

4.根据权利要求2的图像处理设备，

其中所述进程通知单元生成并且输出用于指示所述最后的块中的数据被写入到所述解码数据存储器中的地址的信号作为所述进程信号，来替代所述最后的块的编号。

5.根据权利要求1的图像处理设备，

其中所述进程通知单元被包括在所述解码器或者所述格式转换单元中。

6.根据权利要求1的图像处理设备，

其中每当所述解码器完成所述画面中的数据的解码，或者每当所述解码器完成所述画面中的所述解码数据到所述解码数据存储器中的写入时，所述进程通知单元对于每个画面生成并且输出用于指示已经完成了数据的解码或者数据到所述解码数据存储器中的写入的最后的画面的编号，作为所述进程信号。

7.根据权利要求6的图像处理设备，

其中所述进程通知单元被包括在CPU（中央处理单元）中。

8.根据权利要求6的图像处理设备，

其中所述进程通知单元生成并且输出用于指示所述最后的画面中的数据已经被写入到所述解码数据存储器中的地址的信号，来替代所述最后的画面的编号。