CN101364403B

CN101364403B - 图像处理装置及其控制方法

Info

Publication number: CN101364403B
Application number: CN2008101333586A
Authority: CN
Inventors: 渡边岳人
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-08-09
Filing date: 2008-08-11
Publication date: 2011-07-20
Anticipated expiration: 2028-08-11
Also published as: US20090041385A1; CN101364403A; US8170375B2; JP2009044550A; JP4710887B2

Abstract

本发明公开了图像处理装置及其控制方法。一种图像处理装置包括输入单元，接收经编码图像数据流；解码处理器，解码流以得到图像数据；第一存储器，存储图像数据；第二存储器，存储图像数据并且具有存储至少一个图片的存储区域，所述图片的大小为要解码的图像数据中最大的；控制器，分析流并且根据分析结果将图像数据存储在第一和第二存储器；和输出单元，以显示顺序读取并输出所存储的图片。控制器根据图像大小信息设置第一存储器中的存储区域，在存储区域中存储图像数据，根据分析结果确定图像大小是否改变，并且，当图像大小改变时，将在图像大小刚要改变之前显示的图片的图像数据存储在第二存储器中。

Description

图像处理装置及其控制方法

技术领域

本发明涉及一种用于解码经编码的图像数据流并输出经解码的图像数据的图像处理装置及其控制方法。

背景技术

例如，作为有效地将由诸如数字摄像机之类的图像装置所捕获的图像数据存储在诸如数字通用光盘(DVD)之类的存储介质上的过程，或作为当经由广播波发送图像数据时减少数据量同时通过利用对图像数据唯一的冗余保持图像质量的过程，来执行图像数据的编码。

由对图像数据进行编码而产生的流例如由图6中示出的图像处理装置来解码。

如图6中所示，图像处理装置200包括：输入单元210，其接收来自图像处理装置200外部的经编码图像数据的输入流；控制器220，其分析输入流；解码处理器230，其解码输入流；存储器240，其临时存储经解码的图像数据；以及渲染器(renderer)250，其读取来自存储器240的图像数据并将图像数据输出到图像处理装置200的外部。

输入单元210接收遵循编码标准编码的图像数据的输入流，并且将该输入流提供给控制器220和解码处理器230，所述编码标准例如是运动图像专家组(MPEG)。

控制器220分析已经在输入单元210处接收的输入流的语法，并且把从分析结果得到的信息中的关于对应于输入流的图像数据的图像大小的信息作为控制信息提供给存储器240。

解码处理器230解码在输入单元210处接收的输入流，并且以图片为单位顺次将经解码的图像数据写入存储器240。

存储器240根据存储器映射来存储从解码处理器230提供的图像数据，所述存储器映射指示哪些数据应该被存储在哪些存储位置。更具体地，存储器240根据从控制器220提供的关于图像大小的信息来设置存储器映射，并且把由解码处理器230写入的图片数据存储在存储区域中。

渲染器250根据图像数据的显示顺序从存储器240中读取逐个图片地得到的经解码图像数据，并且将图像数据输出到图像处理装置200的外部。

为了解码图像大小会在流结束前改变的图像数据的流，具有前述结构的图像处理装置200执行图7的流程图中示出的过程，并且将经解码的图像数据存储在存储器240中。

在步骤S101中，输入单元210确定是否已经接收到要被解码的输入流。当已经接收到输入流时，流程继续进行到步骤S102。当没有接收到输入流时，过程终止。

在步骤S102中，控制器220分析在输入单元210处接收的输入流，并且流程继续进行到步骤S103。

在步骤S103中，控制器220根据在步骤S102中分析的信息以图片为单位来确定在输入单元210处接收的输入流中的图像数据的图像大小是否改变。当图像大小改变时，流程继续进行到步骤S104。当图像大小未改变时，流程继续进行到步骤S105。

在步骤S104中，控制器220向存储器240提供指示图像大小改变的控制信息。存储器240根据控制信息切换存储器映射，并且流程继续进行到步骤S105。

在步骤S105中，解码处理器230解码在输入单元210处接收的输入流，并且将经解码的图像数据以图片为单位顺次写入存储器240，接着流程返回步骤S101。

在根据例如如图8中所示的前述步骤来执行解码过程的图像处理装置200中，与写时刻同步，将由解码处理器230得到的每个图片的经解码图像数据提供给存储器240。与相对于写时刻延迟例如对应于一个图片的时间的读时刻同步，渲染器250读取存储在存储器240中的图像数据。在图8中说明的具体示例中，在图像大小改变之前的流称为“输入流A”，并且在图像大小改变之后的流称为“输入流B”。假定输入流完全由内编码(I)图片和预测(P)图片组成，其每个不执行参考按照显示顺序的随后的图片的反向预测。

在图像处理装置200中，考虑时刻中的这种延迟。在渲染器250从存储器240中读取在输入流A中最后显示的图片的图像数据之后，开始输入流B的解码，包括切换存储器映射。执行此以防止在输入流A中最后显示的图片的图像数据被基于切换后的存储器映射而写入的输入流B中的图像数据覆盖。

因此，在图像处理装置200中，存在消隐时段(blanking period)，其中在图像大小改变的时候，渲染器250不能将以显示顺序排列的图片的图像数据输出到外部。在图4中示出的具体示例中，在切换存储器映射的时候，发生占用对应于一个图片的显示时间的消隐时段。因此，显示由从图像处理装置200输出的图像数据所表示的视频图像的显示装置不能无中断地显示视频图像，即在图像大小改变时不能不未涉及前述消隐时段地显示视频图像。

通过如下面示例的方式增加存储器240的存储容量，图像处理装置200可在避免发生消隐时段的同时执行解码过程，而在图像大小改变时不必改变存储器映射。

例如，当以高级视频编码(AVC)、4.0级、4:2:0格式来执行编码时，具有标准分辨率(SD)大小(指示亮度的720×480像素的图像大小)和高分辨率(HD)大小(指示亮度的1920×1088像素的图像大小)的经编码流的解码包括存储器240中下面数量的存储面。存储面数指示了用于存储图片的存储区域数。

当假定存储器240的可存储容量在改变前为12288×1024字节时，对应于SD大小的图像数据的存储面数近似为16(12299×1024[字节]/720×480×1.5[字节])。对应于HD大小的图像数据的存储面数为4(12299×1024[字节]/1920×1088×1.5[字节])。

因此，其中图像数据项在不切换存储器映射情况下可连续地写入但不被覆盖的存储器大小是保证图像大小和帧面数满足两种情况(SD大小和HD大小)的存储器大小。更具体地，存储器大小为50135040字节(1920×1088×1.5×16)。此存储器大小比在切换存储器映射时的改变前的存储器大小的大四倍。

因此，为了使图像处理装置200能够执行解码过程而不必在图像大小改变时切换存储器映射且不必涉及任何消隐时段，显著地增加存储器大小是必要的，其会导致成本的不可避免的增加。

为了减少在图像处理设备上的处理负载并防止显示图像的图像质量恶化，日本未审查专利申请公开No.2003-58144描述了图像显示控制装置，用于交替地在第一和第二存储器部件中存储所产生的显示数据项，连续地以显示顺序读取显示数据项，并且显示显示图像。

发明内容

可期望的是提供一种图像处理装置，其抑制在输出经解码图像数据之前临时存储经解码图像数据的存储单元的可存储容量的增加，并且即使当在要解码的流中图像大小改变时，将经解码图像数据在不中断的情况下以显示顺序输出。

根据本发明的实施例，提供了一种图像处理装置，包括下面的元件：输入装置，用于接收经编码图像数据的输入流；解码处理装置，用于解码在输入装置处接收的输入流以得到图片的经解码图像数据；第一存储装置，用于存储由解码处理装置得到的图片的经解码图像数据；第二存储装置，用于存储由解码处理装置得到的经解码图像数据，第二存储装置具有能够存储至少一个图片的图像数据的存储区域，所述至少一个图片的图像大小为要由解码处理装置解码的图像数据中最大的；控制装置，用于分析在输入装置处接收的输入流，并且根据分析结果将由解码处理装置得到的经解码图像数据存储在第一存储装置和第二存储装置；以及输出装置，用于以显示顺序读取并输出由控制装置存储在第一存储装置和第二存储装置中的图像数据的图片。控制装置根据从分析结果得到的与对应于输入流的图像数据的图像大小相关的信息在第一存储装置中设置多个存储区域，将由解码处理装置顺次得到的图片的经解码图像数据存储在所设置的多个存储区域中，根据分析结果确定在输入流中的图像数据的图像大小是否改变，并且，当图像大小改变时，将由解码处理装置得到的经解码图像数据中的在图像大小刚要改变之前显示的图片的图像数据存储在第二存储装置中。

根据本发明的另一实施例，提供了一种用于解码在输入装置处接收的经编码图像数据的输入流并输出经解码图像数据的图像处理装置的控制方法，包括步骤：解码在输入装置处接收的输入流以得到图片的经解码图像数据；分析在输入装置处接收的输入流以得到对应于输入流的图像数据的图像大小信息，并且确定在输入装置处接收的输入流中的图像数据的图像大小是否改变；根据由分析输入流得到的图像大小在第一存储装置中设置多个存储区域，并且将以图片为单位顺次解码输入流得到的经解码图像数据存储在所设置的多个存储区域中；根据确定在输入流中的图像数据的图像大小是否改变的结果，将由解码输入流得到的经解码图像数据中的，在图像大小刚要改变之前显示的图片的图像数据存储在第二存储装置中，所述第二存储装置具有能够存储至少一个图片的图像数据的存储区域，所述至少一个图片的图像大小为要解码的图像数据中最大的；并且以显示顺序读取并输出存储在第一存储装置和第二存储装置中的图像数据的图片。

根据本发明的实施例，根据分析输入流的结果确定在输入装置处接收输入流中的图像数据的图像大小是否改变。经解码的图像数据中的在图像大小刚要改变之前显示的图片的数据被存储在第二存储装置中。当从第二存储装置中读取图像数据时，可将图像大小改变之后的经编码图像数据存储在第一存储装置中。因此，在防止在输出经解码图像数据之前临时存储经解码图像数据的存储装置的存储容量增加的同时，经解码图像数据可在不中断的情况下以显示顺序输出，即使当在要解码的流中图像大小改变时。

附图说明

图1是根据本发明的实施例的图像处理装置的示例的框图；

图2是说明解码如下流的解码过程的流程图，在所述流中图像大小在流结束之前改变；

图3是说明根据本实施例的图像处理装置中的存储器映射切换过程的图表；

图4是说明在相关领域的图像处理装置中的依照图片组(GOP)结构的存储器映射切换过程的图表；

图5是说明在依照本实施例的图像处理装置中的依照GOP结构的存储器映射切换过程的图表；

图6是相关技术的图像处理装置的示例的框图；

图7是说明解码如下流的相关技术解码过程的流程图，在所述流中图像大小在流结束之前改变；和

图8是说明相关技术的图像处理装置中存储器映射切换过程的图表。

具体实施方式

现在将在这里参考附图详细描述本发明的优选实施例。

通过将图1中示出的图像处理装置1用作为根据本发明的实施例的用于解码经编码的图像数据流并且用于输出经解码的图像数据的图像处理装置的示例来描述本发明的实施例。

图像处理装置1解码例如AVC格式的编码图像数据流以得到诸如基带视频信号之类的解码的图像数据，并将经解码图像数据提供给显示装置2。为了这么做，图像处理装置1具有下面的元件。

即，参考图1，图像处理装置1包括：输入单元110，其接收来自图像处理装置1外部的经编码图像数据的输入流；控制器120，其分析输入流并根据分析结果执行控制操作；解码处理器130，其解码输入流；存储器单元140，其临时存储经解码的图像数据；以及渲染器150，其读取来自存储器单元140的图像数据并将图像数据输出到图像处理装置1的外部。

输入单元110接收遵循诸如MPEG之类的编码标准而编码的图像数据输入流，并且将该输入流提供给控制器120和解码处理器130。

控制器120分析已经在输入单元110处接收的输入流的语法，并且把从分析结果得到的信息中的至少关于对应于输入流的图像数据的图像大小的信息作为控制信息提供给存储器单元140。

解码处理器130解码在输入单元110处接收的输入流，并且以图片为单位顺次将经解码的图像数据写入存储器单元140。

存储器单元140包括第一存储器141、第二存储器142、第一开关143、和第二开关144。存储器单元140根据从控制器120提供的控制信息临时地存储从解码处理器130提供的图像数据。

第一存储器141根据存储器映射经由第一开关143(稍后描述)存储从解码处理器130提供的图像数据，所述存储器映射指示哪些数据应该被存储在哪些存储位置。更具体地，第一存储器141根据从控制器120提供的关于图像大小的信息来设置存储器映射，并且将从解码处理器130提供的图像数据以图片为单位顺次存储在存储区域中。

第二存储器142具有例如可存储至少一个图片的经解码图像数据的存储区域，所述至少一个图片的图像大小为要由解码处理器130解码的图像数据中最大的。具有这种存储区域的第二存储器142经由第一开关143存储从解码处理器130提供的图像数据。

根据从控制器120提供的控制信息，第一开关143在第一存储器141和第二存储器142之间切换向其提供来自解码处理器130的图像数据的提供目的地。

根据从控制器120提供的控制信息，第二开关144在第一存储器141和第二存储器142之间切换由渲染器150(稍后描述)从其中读取图像数据的存储器源。

渲染器150根据图像数据的显示顺序以图片为单位顺次从存储器单元140读取经解码的图像数据，并且将图像数据输出到显示装置2。

对其中图像大小会在流结束前改变的流，具有前述结构的图像处理装置1根据图2中示出的流程图，执行将经解码的图像数据存储在第一存储器141或第二存储器142中的过程。

在步骤S11中，输入单元110确定是否已经从外部接收到要被解码的输入流。当已经接收到输入流时，流程继续进行到步骤S12。当未接收到输入流时，过程终止。

在步骤S12中，控制器120分析在输入单元110处接收的输入流的语法，并且流程继续进行到步骤S13。

在步骤S13中，存储器单元140根据步骤S12中由控制器120分析的信息以图片为单位来确定在输入单元110处接收的输入流中的图像数据的图像大小是否改变。当确定图像大小改变时，流程继续进行到步骤S14。当确定图像大小未改变时，流程继续进行到步骤S15。

在步骤S14中，存储器单元140根据关于改变后的新图像大小的信息来切换第一存储器141的存储器映射，并且流程继续进行到步骤S15。

在步骤S15中，存储器单元140根据由控制器120分析的信息来确定当前要由解码处理器130解码的图片是否为图像大小改变之前的最后图像。当该图片是最后的图像时，流程继续进行到步骤S16。当该图片不是最后的图像时，流程继续进行到步骤S17。

在步骤S16中，存储器单元140切换第一开关143，使得当前要解码的图片的经解码图像数据被提供给第二存储器142。流程继续进行到S18。

在步骤S17中，存储器单元140切换第一开关143，使得当前要解码的图片的经解码图像数据被提供给第一存储器141，流程继续进行到S18。

在步骤S18中，解码处理器130解码当前要被解码的图片，并且将经解码的图片被提供给存储器单元140。流程返回步骤S11。

在根据例如如图3中所示的前述步骤执行解码过程的图像处理装置1中，与写时刻同步，将由解码处理器130得到的每个图片的经解码图像数据提供给存储器单元140。与相对于写时刻延迟例如对应于一个图片的时间的读时刻同步，渲染器150读取在存储器单元140中存储的图像数据。在图3中说明的具体示例中，在图像大小改变之前的流称为“输入流A”，并且在图像大小改变之后的流称为“输入流B”。假定输入流完全由I图片和P图片组成，其每个不执行参考按照显示顺序的随后图片的反向预测。

在相关技术的图像处理装置中，需要在切换存储器映射之后开始在图像大小改变之后的输入流B的解码。因此存在消隐时段，其中在图像大小改变的时候，渲染器250不能将以显示顺序排列的图片的图像数据输出到外部。

相反，在根据本实施例的图像处理装置1中，步骤S13中的处理步骤根据分析结果来确定在输入单元110处接收的输入流中的图像数据的图像大小是否改变，并且步骤S16中的处理步骤将由解码处理器130得到的经解码图像数据中的在图像大小刚要改变之前显示的图片的数据存储在第二存储器142中。因此，如图3中所示，当渲染器150正在从第二存储器142中读取图像数据时，图像处理装置1可切换第一存储器141的存储器映射，并且将由解码处理器130在图像大小改变之后得到的经解码图像数据存储在第一存储器141中。因此，渲染器150可将以显示顺序排列的图片的图像数据实时地输出到诸如显示装置2之类的外部装置而不管图像大小的改变。

特别是，与相关技术的图像处理装置比较，图像处理装置1仅仅需要包括第二存储器142，其具有能够存储至少一个图片的经解码图像数据的存储区域，所述至少一个图片的图像大小为要由解码处理器130解码的图像数据中最大的。在防止存储器大小增加的同时，即使当在要解码的流中图像大小改变时，也可将经解码图像数据不中断地以显示顺序实时输出到外部。

在图3中示出的具体示例中，输入流完全由不执行反向预测的I图片和P图片组成。但是，通常，图像数据是根据GOP结构来编码的，所述GOP结构包括B图片，其每个执行参考按照显示顺序的在前和随后图片的反向预测(backward prediction)。

例如，当相关技术的图像处理装置解码具有GOP结构的流时，所述GOP结构包括按照I、B、P、和B的顺序排列的图片，如图4中所示，某个P图像的读时刻在如下B图片的读时刻之后，所述B图片在P图片之后解码。因此，当切换存储器映射时，前述的消隐时段可能越过多个图片出现。

相反，根据本实施例的图像处理装置1以前述处理步骤来执行下面的过程。如图5中所示，输入单元110接收流，在所述流中，每个图片的图片类型以符合预定编码标准的GOP为单位提前确定，并且即使当图像大小在该流内改变时，图像数据可实时输出到显示装置2等而不必涉及消隐时段。

即，回到图2，在步骤S13中，存储器单元140以GOP为单位确定在输入单元110处接收的输入流中的图像数据的图像大小是否改变，并且在由解码处理器130得到的经解码图像数据中，指定位于图像大小刚要改变之前的GOP。在步骤S15中，存储器单元140确定在构成在步骤S13中指定的GOP的图片当中最后显示的图片的数据是在图像大小刚要改变之前的图片。

以这种方式，在根据本实施例的图像处理装置1中，输入单元110接收流，在所述流中，每个图片的图片类型以符合预先确定的编码标准的GOP为单位提前确定。即使当流中的图像大小在流结束之前改变时，图像数据可以连续的方式输出到显示装置2等而不会涉及消隐时段。

本领域技术人员应当理解，根据设计需求和其它因素可出现各种修改、组合、子组合和变更，只要它们在所附权利要求书或其等同物的范围内。

本发明包含与2007年8月9日在日本专利局提交的日本专利申请JP2007-208327相关的主题，其全部内容通过引用而结合于此。

Claims

1.一种图像处理装置，包括：

输入装置，用于接收编码图像数据的输入流；

解码处理装置，用于解码在所述输入装置处接收的所述输入流以得到图片的解码图像数据；

第一存储装置，用于存储由所述解码处理装置得到的所述图片的解码图像数据；

第二存储装置，用于存储由所述解码处理装置得到的所述解码图像数据，所述第二存储装置具有能够存储至少一个图片的图像数据的存储区域，所述至少一个图片的图像大小为要由所述解码处理装置解码的图像数据中最大的；

控制装置，用于分析在所述输入装置处接收的所述输入流，并且根据分析结果将由所述解码处理装置得到的所述解码图像数据存储在所述第一存储装置和所述第二存储装置中；和

输出装置，用于以显示顺序读取并输出由所述控制装置存储在所述第一存储装置和所述第二存储装置中的所述图片的图像数据，

其中所述控制装置根据从所述分析结果得到的与对应于所述输入流的图像数据的图像大小相关的信息，在所述第一存储装置中设置多个存储区域，将由所述解码处理装置顺次得到的所述图片的解码图像数据存储在所设置的多个存储区域中，根据所述分析结果确定在所述输入流中的所述图像数据的图像大小是否改变，并且，当所述图像大小改变时，将由所述解码处理装置得到的所述解码图像数据中的、在图像大小刚要改变之前显示的图片的图像数据存储在所述第二存储装置中。

2.如权利要求1所述的图像处理装置，其中所述输入装置接收以图片组为单位预先确定了每个图片的图片类型的所述图像数据的输入流，所述图片组符合预定的编码标准，并且

其中所述控制装置根据所述分析结果以图片组为单位来判断在所述输入装置处接收的所述输入流中的所述图像数据的图像大小是否改变，指定由所述解码处理装置得到的所述解码图像数据中的位于图像大小刚要改变之前的图片组，并且存储在构成所指定的图片组的图片中最后显示的图片的数据。

3.一种用于解码在输入装置处接收的编码图像数据的输入流并输出解码图像数据的图像处理装置的控制方法，包括以下步骤：

解码在所述输入装置处接收的所述输入流以得到图片的解码图像数据；

分析在所述输入装置处接收的所述输入流以得到对应于所述输入流的所述图像数据的图像大小信息，并且确定在所述输入装置处接收的所述输入流中的所述图像数据的图像大小是否改变；

根据由分析所述输入流得到的所述图像大小在第一存储装置中设置多个存储区域，并且把以图片为单位顺次解码所述输入流得到的所述解码图像数据存储在所设置的多个存储区域中；

根据确定在所述输入流中的所述图像数据的图像大小是否改变的结果，将由解码所述输入流得到的所述解码图像数据中的，在所述图像大小刚要改变之前显示的图片的图像数据存储在第二存储装置中，所述第二存储装置具有能够存储至少一个图片的图像数据的存储区域，所述至少一个图片的图像大小为要解码的图像数据中最大的；并且

以显示顺序读取并输出在所述第一存储装置和所述第二存储装置中存储的所述图片的图像数据。

4.一种图像处理装置，包括：

输入单元，配置为接收编码图像数据的输入流；

解码处理器，配置为解码在所述输入单元处接收的所述输入流以得到图片的解码图像数据；

第一存储单元，配置为存储由所述解码处理器得到的所述图片的解码图像数据；

第二存储单元，配置为存储由所述解码处理器得到的所述解码图像数据，所述第二存储单元具有能够存储至少一个图片的图像数据的存储区域，所述至少一个图片的图像大小为要由所述解码处理器解码的图像数据中最大的；

控制器，配置为分析在所述输入单元处接收的所述输入流，并且根据分析结果将由所述解码处理器得到的所述解码图像数据存储在所述第一存储单元和所述第二存储单元中；和

输出单元，配置为以显示顺序读取并输出由所述控制器存储在所述第一存储单元和所述第二存储单元中的所述图片的图像数据，

其中所述控制器根据对应于所述输入流的图像数据的图像大小信息，即从所述分析结果得到的信息，在所述第一存储单元中设置多个存储区域，将由所述解码处理器顺次得到的所述图片的解码图像数据存储在所设置的多个存储区域中，根据所述分析结果确定在所述输入流中的所述图像数据的图像大小是否改变，并且，当所述图像大小改变时，将由所述解码处理器得到的所述解码图像数据中的在图像大小刚要改变之前显示的图片的图像数据存储在所述第二存储单元中。