CN101686400A - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN101686400A
CN101686400A CN200910140365A CN200910140365A CN101686400A CN 101686400 A CN101686400 A CN 101686400A CN 200910140365 A CN200910140365 A CN 200910140365A CN 200910140365 A CN200910140365 A CN 200910140365A CN 101686400 A CN101686400 A CN 101686400A
Authority
CN
China
Prior art keywords
image
compression
unit
interpolation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910140365A
Other languages
English (en)
Inventor
寺岛和昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Technology Corp filed Critical Renesas Technology Corp
Publication of CN101686400A publication Critical patent/CN101686400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明提供一种图像处理装置,旨在于当借助于自适应图像压缩技术执行帧插值时减少整体的图像恶化。自适应地压缩输入图像数据的压缩单元根据输入图像数据来确定错误率即数据损失量。根据确定的错误率(或者数据损失量)设置压缩率。对于因为对其确定的大错误率而可能被压缩恶化的图像,禁止通过插值图像生成单元生成插值图像的处理,并且代替于使用插值帧,来使用原始图像。

Description

图像处理装置
相关申请的交叉引用
于2008年9月25日提交的日本专利申请第2008-245670号的公开内容,包括说明书、附图和摘要,通过整体引用包含于此。
技术领域
本发明涉及一种图像处理装置,且更具体而言,涉及一种通过对图像进行压缩以便减少数据量的图像压缩处理来生成插值(interpolate)图像的图像处理装置的配置。
背景技术
在图像处理应用中,需要处理大量的数据诸如语音和视频。为了在执行将图像数据转移到存储器中和将图像数据存储到存储器中时减少数据量,执行图像压缩处理。对于图像压缩处理,通常使用帧存储器作为工作区域并且将一个或多个帧的图像数据存储在这个帧存储器中。
同时,随着近来使更高清晰度图像例如全高清图像(HD,1920×1080像素的高清晰度图像(高清图像))可视化的趋势,需要提供更高图像质量的双倍速显示器等,这又增加了处理负载。另一方面,从成本等的角度,帧存储器的存储容量和带宽是有限的,并且可操作的处理设备的处理速度和容量也是受限的。为了有效处理,因此需要在有限资源中分配各个处理。
例如,使用上述双倍速技术来提高液晶面板的响应性能。双倍速技术通过执行从多个帧生成另一帧图像的帧插值来将帧的数目加倍。这种技术使要在液晶面板上显示的帧的数目加倍并缩短液晶面板固有的保持时间(单个帧图像保持显示在液晶面板上的时间)。由此,双倍速技术抑制了视觉后滞感(sense of persistence)并提高了响应性能(动态图片响应时间:MPRT)。
在双倍速处理情况下的帧插值从两个时间上连续的帧图像中生成中间图像作为插值帧。需要在一个垂直时段(V)中生成这种插值帧。对于具有非常大数目像素的高清晰度图像,因此需要增加帧存储器的带宽和存储容量。然而,在帧存储器和其总线之间的带宽是系统特定的。为了增加有效带宽,需要减少明显数量的数据。为了减少数据量,进行压缩/解压缩(展开)处理。在压缩/解压缩(展开)处理中,可以执行自适应压缩,该自适应压缩选择性地使用诸如根据图像特征的压缩率的压缩处理方案(算法),以实现有效的图像压缩处理并由此使图像质量的恶化最小化。
压缩数据的量依赖于压缩图像的特征而变化。在例如压缩高粒度图片的图像后,压缩数据的量较大,而具有较少高范围分量的类白墙(white wall-like)图片的图像压缩产生较少量的压缩数据。在压缩图像数据的量非常大的情况下,可能出现压缩图像数据不能在固定处理时段(垂直时段)内存储到存储器中的情况。作为避免这种情况的方法,专利文件1(日本未审专利公开No.Hei 9(1997)-214957)描述了以下配置:其中执行对每个场的压缩后的数据量进行估计的处理。在专利文件1描述的配置中,在压缩处理前,图像数据被预先扫描以确定其数据量。根据该数据量,配置量化系数和编码使得压缩数据将落入目标数据大小,并且执行每个场的自适应压缩。
[专利文件1]
日本未审专利公开No.Hei 9(1997)-214957
发明内容
由于在图像处理操作期间不只一次地将图像数据存储到帧存储器中,所以在图像压缩处理的情况下应该尽可能避免解压缩(展开)后的图像恶化,以避免累积的图像恶化。无损图像压缩(可逆图像压缩)理想地不造成图像质量的恶化,即使图像被压缩和展开。然而,在无损图像压缩处理的情况中,信息的修剪是不允许的。由于伴随大量的算术运算,处理时间变得更长且需要高速处理以在预定时段内完成算术运算。这引起了功耗增加的问题。为了避免这一问题并在低功耗下执行高速处理,不得不允许将信息修剪(量化)到某一程度。所以,难以生成无损图像。
根据上述专利文件1,根据数据大小,执行每个场(field)的自适应压缩处理。具体而言,只是预扫描偶数或奇数个场,并且设置压缩率(配置量化系数和编码)。通过减少设置压缩率的次数,使得从场存储器(帧存储器)读取数据的速度高于向存储器写入数据的速度。由此,通过增加像素采样速度,实现了更高的水平分辨率。然而,即使在专利文件1中,也会再生涉及某些噪声的有损图像并且难以再生无损图像。这是因为对诸如帧存储器和运算处理设备(压缩/展开单元)的资源的规格要求对采样速度、量化和编码处理施加了限制。
特别是当为了帧速率转换而执行帧插值处理时,如果解压缩图像有损,则生成的插值帧将具有大噪声并且图像质量的恶化不可避免。在专利文件1中,没有考虑在解压缩后的图像中的这种噪声问题。
因此,本发明的一个目的在于提供一种图像处理装置,其通过简单的电路配置能够以更少的图像质量恶化来再生图像。
总之,根据本发明的图像处理装置扫描输入图像数据,确定数据损失量,并且根据确定的数据损失量来设置压缩率。当超过某一阈值时,不压缩图像数据且不生成插值帧,并且代替于使用插值图像数据,而使用原始图像数据。
通过根据图像数据损失量来选择压缩率,可以再生具有较少噪声即较少图像质量恶化的图像。特别是,当确定大量的数据损失时,代替于使用插值图像数据,而使用原始图像数据,使得不生成有噪声的插值帧。可以隐藏噪声(错误)并且可以提高整体的图像质量。
附图说明
图1是示例性示出根据本发明实施例1的图像处理装置的配置的图示。
图2是示出图1所示的图像处理装置中用以生成插值图像的操作的时序图。
图3是示出图1所示的图像处理装置中用以不生成插值图像的操作的时序图。
图4是列出在图1所示的图像处理装置中的帧存储器的带宽和存储容量与压缩率的相互关系的表。
图5是列出图4给出的带宽、存储容量和压缩率的示例性值的表。
图6是示例性示出图1所示的压缩单元的配置例子的图。
图7是示例性示出图1所示的存储器控制器和帧存储器的配置例子的图。
图8是示例性示出根据本发明实施例2的图像处理装置的整体配置的图。
具体实施方式
[实施例1]图1是示例性示出根据本发明实施例1的图像处理装置的配置的图。在图1中,图像处理装置包括用于压缩和解压缩输入图像数据的压缩单元1和解压缩单元2、用于生成插值图像的插值图像生成单元3、以及用于分别压缩和解压缩插值图像的压缩单元4和解压缩单元5。
压缩单元1例如具有确定输入图像数据PDI的数据量中的错误率并且根据错误率(数据损失量)来自适应地压缩输入图像数据PDI的功能。压缩单元1压缩输入图像数据的比率(压缩率)是可变的并且其压缩算法根据输入图像数据PDI的图像特征(诸如其数据量)而改变(即压缩率改变)。解压缩单元2对压缩单元1压缩的图像数据进行解压缩。压缩单元1和解压缩单元2将以相同的压缩/解压缩率来压缩和解压缩输入图像数据。
插值图像生成单元3接收在当前周期中给出的输入图像数据PDI(OV)以及从解压缩单元2中生成的解压缩图像数据(DV),并且根据预定规则,通过执行插值处理来从这两个图像生成插值图像。插值图像生成单元3可以以插值处理的某一方式从时间上连续的帧中生成中间图像的帧。例如,可以使用这样的插值处理的方式:使得通过使用在运动矢量方面被视作是彼此紧密相关的块的像素的平均值来生成插值帧图像的像素。可替选地,可以简单地使用在这两个时间上连续的图像(例如帧)中的所有像素的平均值。
压缩单元4以与压缩单元1相同的方式来压缩由插值图像生成单元3生成的插值图像。解压缩单元5以与解压缩单元2相同的方式来解压缩由压缩单元4压缩的图像并生成输出图像数据PDO。
图像处理装置还包括:存储器控制器6,其用来在这些压缩单元1和4、解压缩单元2和5中的一个与帧存储器8之间传送图像数据。存储器控制器6经由存储器总线7耦合到帧存储器8。帧存储器8例如是时钟同步型DRAM(动态随机存取存储器:SDRAM)并且能够与时钟信号同步地进行高速数据传送。
存储器控制器6包括:写入端口W1,用于从压缩单元1接收压缩数据;输出端口R1,用于将从帧存储器8读取的图像数据发送给解压缩单元2;输入端口W2,用于从压缩单元4接收压缩图像数据;以及输出端口R2,用于将从帧存储器8读取的图像数据发送给解压缩单元5。
存储器控制器6经由一个存储器总线7耦合到帧存储器8并且通过存储器总线7的带宽来确定数据传送速率。
提供控制单元(MCU:微控制器单元)10来控制图像处理单元的图像处理操作。控制单元10包括压缩率设置单元11。其读取关于由压缩单元1得出的错误率(数据损失量)的信息,并根据错误率设置压缩单元1和4以及解压缩单元2和5的压缩率。在从压缩单元1提供的错误率大的情况下,控制单元10禁止在插值图像生成单元3中生成插值图像的操作。在这种情况下,使用原始未被压缩的图像数据(具有压缩率为1的图像数据)作为用于帧速率转换的插值图像。由此,即使在错误率(数据损失量)大的情况下,也可以生成具有减少噪声的插值图像,并且因此使整体的图像质量的恶化最小化。压缩率设置单元11例如具有表,基于从压缩单元1提供的错误率(数据损失量)信息来参考该表,读取对应于错误率的压缩率信息并且设置对错误率(数据损失量)而言最为优化的压缩率。
图2是示出图1所示的图像处理装置中用以生成插值图像的顺序的时序图。在以下内容中,将参考图2来描述图1所示的图像处理装置中的该操作。
现在,将帧图像假设为图像。从诸如图像处理器的预处理单元提供输入图像数据PDI。压缩单元1接收输入图像数据PDI,确定例如图像数据量,并且生成关于错误率的信息。该错误率(数据损失量)例如可以是输入图像数据PDI的数据大小、在一个帧图像中的所有像素的值的总和或者在相邻像素之间的差。确定错误率的该过程可以是用于生成可以用来评估(估计)压缩后的数据量的信息的过程。
由压缩单元1确定的错误率信息(数据损失量信息)提供给控制单元10中的压缩率设置单元11。控制单元10中的压缩率设置单元11根据错误率信息设置压缩率。根据这样设置的压缩率,压缩单元1压缩输入图像数据PDI并串行地传送压缩图像数据至存储器控制器6的输入端口W1。
图2示出在每个垂直时段(V时段)即在周期#0至#4中顺序提供的图像数据0V、1V、2V、3V、4V的阶段。这些帧图像数据通过压缩单元1顺序地压缩并且经由存储器控制器6的输入端口W1和存储器总线7被存储到帧存储器8中。
在下一周期#1中,图像数据1V被提供作为第二输入图像数据PDI。该图像数据被压缩单元1压缩并经由存储器控制器6和存储器总线7存储到帧存储器8。该图像数据1V还作为原始图像数据0V被提供给插值图像生成单元3。并且在该周期#1中,在周期#0期间存储的图像数据0V被从帧存储器8读取并从存储器控制器6的输出端口R1被提供给解压缩单元2。该压缩图像数据0V被解压缩单元2解压缩并生成解压缩图像数据DV。
插值图像生成单元3接收这些图像数据OV和DV,执行预定的插值处理,并生成插值图像01V。由插值图像生成单元3执行的插值处理可以是以下的处理,其中从时间上连续的帧图像0V和1V中生成在时间轴上处于它们之间的中间位置处的插值帧。
插值图像生成单元3生成的插值图像01V然后被压缩单元4压缩并被提供给存储器控制器6的输入端口W2。存储器控制器6经由存储器总线7将提供给输入端口W2的压缩图像数据存储到帧存储器8中。
此外,在该周期#1期间,在第一个半周期中,存储器控制器6读取在周期#0中提供的图像数据(压缩图像数据)0V并将其提供给解压缩单元5。在第二个半周期中,存储器控制器6读取由插值图像生成单元3生成的插值图像01V。这些图像数据被解压缩单元5解压缩,生成图像数据0V和01V并且图像数据0V和01V被输出为输出图像数据PDO。
从这两个图像0V和1V,生成中间插值图像01V并且帧图像的数目被加倍。因此,图像频率(例如帧速率)被设置成加倍。
随后,还是对于在周期#1至#4中提供的输入图像数据1V、2V、3V和4V,执行相同的步骤序列:压缩、解压缩、插值、压缩和解压缩。以输入图像数据1V、插值图像数据12V、输入图像数据2V等的顺序生成输出图像数据PDO,并且输出图像数据PDO被转发给没有示出的随后一级的电路。
以帧图像数据的该顺序,输出图像帧的数目变成输入帧图像数目的两倍,由此实现双倍速显示。因此,如果帧速率fps例如是60fps,则以120pfs的图像显示是可能的。这可以防止在液晶显示器上显示的图像的响应速度降低,并且还可以通过缩短保持时间来减少视觉后滞感并使图像质量的恶化最小化。
当执行压缩和解压缩时,需要在一个垂直时段T期间内通过存储器总线7传送五个帧(图像数据被视作帧图像)。即,应分别经由输入端口W1和W2以及输出端口R1传送一帧的图像数据,并且应经由读出端口R2读取两个帧(原始图像帧数据和插值帧图像数据)。因此,需要在一个垂直时段T期间总共传送五帧的图像数据。
图3示出了在由压缩单元1生成的错误率信息表示有大错误率并且随后的解压缩图像可能有大噪声的情况下的处理顺序。随后参考图3,将提供对于在预计压缩图像具有噪声(具有大量数据损失的图像)的情况下在图1的图像处理装置中的处理顺序的描述。
在周期#0中,帧图像数据0V被提供作为输入图像数据PDI。例如,压缩单元1预扫描该输入图像数据PDI并确定错误率(数据损失量)。根据从压缩单元1提供的错误率信息(数据损失量信息),控制单元10(压缩率设置单元11)预计压缩处理如果执行的话则将生成噪声图像,并为图像数据0V设置为1的压缩率。在来自控制单元10的、为1的压缩率的情况下,压缩单元1不执行压缩处理。即,其不压缩输入图像数据PDI并将输入图像数据PDI原样提供给存储器控制器6的输入端口W1。
根据为1的压缩率的指示(指示不执行压缩或者禁止压缩),插值图像生成单元3禁止生成插值图像的操作。这时,存储器控制器6根据不压缩的指示(即来自控制单元10的指定压缩率为1的压缩率信息)来禁止用于生成插值图像的对数据的写入/读取操作。因此,当帧图像数据1V在时钟周期#1中被提供为输入图像数据PDI时,存储器控制器6在T/2周期中读取帧图像数据0V两次并将这两个图像数据0V从其输出端口R2提供给解压缩单元5。因为为1的压缩率,所以解压缩单元5不解压缩数据并且只是将提供的图像数据进行转发,由此生成输出图像数据PDO。
随后,在每个周期#1、#2、#3和#4中,每个帧图像数据1V、2V、3V、4V不被压缩并且这些数据只是经由存储器总线7被传送给帧存储器8。因此,在这种情况下,在一个垂直时段T期间通过存储器总线7传送三帧的图像数据。
在错误率大的情况下,不执行压缩处理(具有压缩率为1的压缩处理)并且使用原始图像数据作为插值图像(插值帧图像数据)。这可以防止由压缩处理造成的噪声并且可以使图像质量的恶化最小化。
图4是列出与执行插值和不执行插值的情况相关的、存储器总线7的带宽、压缩率和所需存储容量的相互关系的表。
当执行插值处理时,通过存储器总线7传送五帧的图像,并因此需要5·D·(1/X)比特的带宽。这里,D表示每帧的图像数据的量并且X表示压缩率。T是一个垂直时段。插值处理所需的两帧的图像数据和生成的插值帧图像需要被存储在帧存储器8中。作为其存储容量,需要3·D·(1/X)比特的容量。
另一方面,当压缩率是1且不执行插值处理时,在一个垂直时段期间通过存储器总线7传送三帧的图像数据,且因此所需带宽是3·D比特/T。在这种情况下,只需要在帧存储器8中存储两帧的图像数据并且需要2·D比特的存储容量。因而,如果应用这样的压缩方案,可以减少所需带宽和存储容量(典型地,压缩率等于在1.5和2.0之间的值)。
图5是列出在帧图像是WXGA(宽XGA:1366×768比特)并且R(红)、G(绿)和B(蓝)分别由8比特来表示的情况下所需带宽和存储容量的示例性值的表。在这种情况下,每帧总的比特数D是25,178,112比特。假设设置压缩率为2。在这种情况下,当执行插值处理时,所需带宽(在一个垂直时段中要传送的比特数)是62,945,280比特并且帧存储器的所需存储容量是37,767,168比特。
另一方面,当压缩率是1且不执行插值处理时,所需带宽是75,534,336比特且帧存储器的所需存储容量是50,356,224比特。因此,通过选择其规格满足执行插值和不执行插值这两种情况的帧存储器,根据压缩图像数据时的错误率(数据损失量),可以使用同一帧存储器来执行处理转换。
例如,图5假设分辨率是WXGA并且屏幕高宽比是16∶9的情况。然而,屏幕高宽比可以是16∶10或5∶3。在前一种情况下在一帧中的像素是1280×800点,而在后一种情况下则是1024×768点。
图6是示例性示出图1所示的压缩单元1的配置例子的图。在图6中,压缩单元1包括:预扫描单元20,其预扫描输入图像数据PDI;压缩处理单元22a-22z,其压缩由预扫描单元20预扫描的图像数据;以及选择器24,其根据压缩率设置信息CCP来选择压缩处理单元22a-22z输出的压缩数据中的一个。
预扫描单元20串行扫描输入图像数据PDI并且导出针对所有像素的数据。压缩处理单元22a-22z根据彼此不同的压缩算法A-Z对来自预处理单元20的图像数据执行压缩处理。由这些压缩处理单元22a-22z执行的压缩算法A-Z的压缩率彼此不同。在这些压缩处理单元22a-22z中,可以具有用于压缩率为1的压缩处理的压缩处理单元。
压缩单元1还包括错误量检测器21,其接收由预扫描单元20预扫描的图像数据并且生成错误量(数据损失量)信息。错误量检测器21导出针对预扫描单元20预扫描的像素的数据大小(例如,数据比特的数目)或者指示诸如相邻像素之间差的图像特征的信息,并根据导出的数据值生成错误率信息ERR。例如,错误量检测器21将指示诸如数据大小的图像特征的导出值与预定阈值(阈值)进行比较来确定错误量水平,并根据比较结果(错误量水平)来生成指示错误率(数据损失量)的错误率信息ERR。
压缩处理单元22a-22z中的压缩算法A-Z具有不同的压缩率。作为具有不同压缩率的压缩算法,例如可以使用以下的压缩算法:具有不同量化步长的算法、使用运行长度编码的算法、使用可变长度编码的算法等。从图6中可以看出,这些压缩处理单元22a-22z并行工作并且分别对由预扫描单元20预扫描的图像数据执行它们的压缩处理。在这种情况下,压缩处理单元22a-22z可以配置为:使得根据来自控制单元的压缩率信息,执行为指定压缩率预定义的压缩算法的压缩处理单元只执行其压缩处理。借助于选择器24,通过根据压缩率信息CCP来从负责对应压缩率的压缩处理单元中选择压缩数据,可以生成需要的压缩数据并可以自适应地改变压缩率。在这种情况下,压缩处理单元22a-22z中的一个可以在为1的压缩率下执行压缩处理,并且在压缩处理被禁止时,可以通过选择器24来选择来自压缩处理单元的、用于压缩率为1的输出数据。可替选地,选择器24可以被配置成如果确定了为1的压缩率,则从预扫描单元20中选择预扫描数据。
图7是示例性示出图1所示的存储器控制器6和帧存储器8的配置例子的图。在图7中,存储器控制器6包括:地址生成电路30,其生成帧存储器8中要访问的地址;写入/读取电路32,用于与帧存储器的图像数据传送;以及写入/读取控制电路34,控制写入/读取电路32的操作。
写入/读取控制电路34与时钟信号CLK同步工作,并且根据来自图1所示的控制单元(压缩率设置单元11)的压缩率信息,来控制地址生成电路30和写入/读取电路32的操作。此外,控制电路34生成访问控制信号CE、WE和RE以便访问帧存储器。控制信号CE是芯片使能信号,以便指定执行对帧存储器的访问。控制信号WE是写入使能信号,以便指定对帧存储器的数据写入。控制信号RE是读取使能信号,以便指定从帧存储器的数据读取。这些地址信号AD和控制信号CE、WE、RE经由没有示出的存储器地址控制总线被传送到帧存储器8。
写入/读取电路32经由存储器总线7耦合到帧存储器8。在写入/读取控制电路34的控制下,写入/读取电路32在端口W1、R1、W2和R2中任意一个与存储器总线7之间执行数据传送。
帧存储器8包括第一输入图像数据存储区域36、第二输入图像数据存储区域37以及插值图像存储区域38。在输入图像存储区域36和37中,存储了压缩或未压缩的输入图像数据。在插值图像存储区域38中,存储了由插值图像生成单元生成的插值图像。
当执行插值处理时,在当前周期中的输入图像数据被写入到第一输入图像存储区域36中,并且在前一周期中的输入图像数据从第二输入图像存储区域37中被读取。使用在当前周期和前一周期中的这些图像数据来执行插值处理,并且将生成的插值图像存储到插值图像存储区域38中。
与生成插值图像并行,从第二图像数据存储区域37中读取前一周期中的图像数据,然后从插值图像存储区域38中读取所生成的插值图像数据并且生成输出图像数据。因此,在数据写入到第一图像数据存储区域36期间,执行从第二图像数据存储区域中读取数据。从完成写入的图像数据存储区域,又执行读取。
当不执行插值处理并且不生成插值图像时,使用第一和第二图像数据存储区域36和37,但是不使用插值图像存储区域38。交替执行写入到第一和第二图像数据存储区域36和37以及从第一和第二图像数据存储区域36和37中读取。为了生成输出图像数据,连续地执行从同一图像数据存储区域中读取图像数据。
当压缩率信息CCP表示不是1的压缩率时,写入/读取控制电路34控制地址生成电路30和写入/读取电路32的操作,并且生成控制信号CE、WE和RE,使得在一个垂直时段期间通过存储器总线7传送五个帧,即,将顺序地访问图像数据存储区域36、37和38。另一方面,当压缩率信息CCP表示压缩率为1时,写入/读取控制电路34控制地址生成电路30和写入/读取电路32的操作,并且生成控制信号CE、WE和RE,使得在一个垂直时段期间通过存储器总线7传送三帧的图像数据,即,将交替访问输入图像数据存储区域36和37。
也就是,当执行帧插值处理时即执行压缩处理时,写入/读取电路32以预定顺序来顺序地选择端口W1、R1、W2和R2,并且在所选端口和存储器总线7之间执行数据传送。由此,写入/读取电路32顺序地访问帧存储器8的图像数据存储区域36、37和38,并且执行图像数据的写入和读取,使得在存储器总线7中不出现图像数据的冲突。
另一方面,如果压缩率是1,则写入/读取电路32在写入端口W1和读取端口R2中的任一个与存储器总线7之间执行数据传送。由此,写入/读取电路32交替地访问帧存储器8的输入图像数据存储区域36和37。在访问端口R1和W2中任一个的时段期间,存储器控制器6禁止访问帧存储器8和生成地址。当图像数据被传送到端口R2时,触发地址生成电路30来生成地址以便从端口W1写入数据。因而,根据压缩率信息CCP,可以不同地设置生成中间插值帧图像时的帧存储器访问顺序和当不生成中间插值帧图像时的帧存储器访问顺序。
如前所述,根据本发明的实施例1,根据输入图像数据的特征(诸如数据量)来改变压缩率,并且如果确定错误率(数据损失量)由于压缩图像而变大,则禁止生成插值图像。因此,使用同一帧存储器可以执行压缩处理和不压缩处理之间的转换,并且可以实现根据图像特征的自适应压缩处理。因为在高错误率的情况下不生成插值图像,所以可以避免插值图像中的错误并提高整个图像质量。
帧数据被用作图像数据。然而,归档数据也可以用作图像数据。可以生成两个或更多插值图像。这意味着从多个图像中生成至少一个插值图像。如果在周期#0和#1期间生成多个插值图像例如两个插值图像#01aV和#01bV,则可以想到插值图像#01aV以低错误率生成而插值图像#01bV以高错误率生成。在这种情况下,如果周期#0中的输入图像被用作用于插值图像#01bV的插值源图像,则可以生成看起来向后移动的图像。为了避免生成这样的图像,可以有利地使用插值图像#01aV作为生成插值图像#01bV时的插值源图像。如果当生成插值图像#01aV时已经检测到高错误率,则无需多说的是,应使用周期#0中的输入图像来代替插值图像#01aV和#01bV。
[实施例2]图8是示例性示出根据本发明实施例2的图像处理装置的整体配置的图。在图8中,图像处理装置生成图像数据以便传送到液晶面板46。该图像处理装置包括视频处理器40、转换来自视频处理器40的图像数据的帧速率的帧速率转换单元42,以及从来自帧速率转换单元42的图像数据生成用于驱动液晶面板46的图像数据的时序控制器44。
分别为视频处理器40和时序控制器44提供帧存储器47和48。这些帧存储器47和48是分别用于视频处理器40和时序控制器44的图像数据的临时存储。
使用帧存储器47作为工作区域,视频处理器40执行用于将图像数据的交织(interlace)帧转换为渐进图像数据流的I/P转换处理、图像放大/缩小以及其它处理。视频处理器40具有运动检测器以便检测二到五帧的图像运动,并且根据这些多帧的运动来执行I/P转换处理。
与根据图1所示实施例1的图像处理装置的配置相同的帧速率转换单元42和帧存储器8根据错误率选择性地执行帧插值。
使用帧存储器48作为工作区域来存储图像数据,时序控制器44执行色温校正和边缘提升处理,以便改善液晶面板46的响应性能。时序控制器44具有检测器来检测两帧的图像运动并且根据图像运动来执行帧处理(边缘提升处理),由此使归因于液晶面板响应性能的图像恶化最小化(提升图像改变处的帧边界中的图像部分,以减少从理想响应波形的偏离)。
在图8所示的配置中,视频处理器40、帧速率转换单元42和时序控制器44可以分别形成在单独的半导体芯片中。帧速率转换单元42和视频处理器40可以形成在一个半导体芯片3上作为单个视频处理器IC,或者可以设置在同一封装中。可替选地,帧速率转换单元42和时序控制器44可以集成在一个半导体芯片上作为时序控制器IC,或者可以设置在同一封装中。在每一种情况下,通过结合帧存储器8来使用根据本发明实施例1的执行帧速率转换处理的帧速率转换单元42,可以在驱动液晶面板46时使显示在液晶显示器上的图像的恶化最小化,并且可以通过简单的电路配置来提供高质量图像。
如前所述,根据本发明的实施例2,配备有帧速率转换单元的视频处理器或者时序控制器实现在单个芯片中,并且由此可以在不使图像质量恶化的情况下显示图像。
在上述描述中,执行了帧图像的帧速率转换(帧插值)。然而,图像数据可以是其中一帧通常包括两个场的交织图像数据。即,实质上本发明允许其中通过从多个图像中生成中间图像来转换图像显示速率的任何配置。换句话说,本发明的帧速率转换单元(图像处理装置)可以应用于其中通过比较多个图像来创建新图像的任何配置。
可以有利地使用本发明的显示设备不限于液晶显示器,并且可以是任意其它的显示设备。
本发明一般地可以应用于适于执行处理以从多个图像中生成中间图像的单元。本发明还可以应用于结合在图像处理系统中的帧图像速率转换单元或者形成在单个芯片上的图像速率转换单元。

Claims (7)

1.一种图像处理装置,包括:
错误量检测器,其从输入图像数据中导出图像特征,并且根据所述导出的图像特征,确定压缩图像时的错误率;
压缩单元,其根据设置的压缩率,对所述输入图像数据执行压缩处理;以及
控制单元,其包括根据由所述错误量检测器确定的错误率来设置所述压缩率的压缩率设置单元,其中所述控制单元基于由所述错误率检测器确定的错误率信息,禁止通过所述压缩单元进行压缩率不是1的图像压缩。
2.根据权利要求1所述的图像处理装置,进一步包括:
插值图像生成单元,其根据多个输入图像数据执行插值处理,并且生成中间插值图像,
其中所述控制单元基于错误率信息,禁止通过所述插值图像生成单元进行插值以及通过所述压缩单元进行图像压缩。
3.根据权利要求2的图像处理装置,进一步包括:
存储器,其用于存储由所述压缩单元生成的图像数据以及由所述插值图像生成单元生成的插值图像数据,
其中在禁止进行插值时,所述控制单元命令所述存储器输出所述输入图像数据而不是插值图像数据。
4.一种图像处理装置,包括:
存储器;
存储器控制器,其控制将图像数据写入至所述存储器以及从所述存储器读取图像数据;
第一压缩单元,其包括错误量检测器,所述错误率检测器从输入图像数据导出图像特征,并且根据所述导出的图像特征确定压缩图像时的错误率,所述第一压缩单元根据设置的压缩率对所述输入图像数据执行压缩处理,并且经由所述存储器控制器将产生的压缩图像数据存储到所述存储器中;
第一解压缩单元,其根据所述设置的压缩率,对通过所述存储器控制器从所述存储器读取的压缩图像数据执行解压缩处理,由此生成图像数据;
插值图像生成单元,其对所述输入图像数据和来自所述第一解压缩单元的所述图像数据执行插值处理,由此生成插值图像;
第二压缩单元,其以所述设置的压缩率压缩所述插值图像,并且经由所述存储器控制器将所述压缩的图像数据存储到所述存储器;
第二解压缩单元,其将经由所述存储器控制器从所述存储器读取的图像数据解压缩,由此生成输出图像数据;以及
控制单元,其包括根据由所述错误量检测器确定的错误率来设置所述压缩率的压缩率设置单元,其中所述控制单元基于由所述错误量检测器确定的错误率信息,禁止通过所述第一压缩单元进行压缩率不是1的图像压缩、通过所述第一解压缩单元进行图像解压缩、通过所述插值图像生成单元进行插值以及通过所述第二压缩单元进行图像压缩。
5.根据权利要求4的图像处理装置,其中当所述控制单元禁止进行插值时,所述存储器控制器从所述存储器中读取通过所述第一压缩单元生成和存储的图像数据,而不是要提供给所述第二解压缩单元的插值图像数据。
6.根据权利要求1或4的图像处理装置,进一步包括视频处理器,其对图像数据执行显示所需的预处理,并且生成所述输入图像数据。
7.根据权利要求4的图像处理装置,进一步包括时序控制器,其对来自所述第二解压缩单元的输出图像数据执行驱动显示设备所需的后置处理。
CN200910140365A 2008-09-25 2009-07-17 图像处理装置 Pending CN101686400A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008245670A JP2010081182A (ja) 2008-09-25 2008-09-25 画像処理装置
JP2008245670 2008-09-25

Publications (1)

Publication Number Publication Date
CN101686400A true CN101686400A (zh) 2010-03-31

Family

ID=42037643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910140365A Pending CN101686400A (zh) 2008-09-25 2009-07-17 图像处理装置

Country Status (3)

Country Link
US (1) US8279919B2 (zh)
JP (1) JP2010081182A (zh)
CN (1) CN101686400A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270422A (zh) * 2010-06-01 2011-12-07 三星电子株式会社 显示设备
CN109587557A (zh) * 2019-01-11 2019-04-05 京东方科技集团股份有限公司 数据传输方法及装置、显示装置
CN112464034A (zh) * 2020-12-08 2021-03-09 深圳市欢太科技有限公司 用户数据提取方法、装置、电子设备及计算机可读介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081024A (ja) * 2008-09-24 2010-04-08 Oki Semiconductor Co Ltd 画像補間処理装置
KR101691571B1 (ko) * 2009-10-15 2017-01-02 삼성전자주식회사 표시 장치에 의해서 표시되는 영상 데이터를 처리하는 장치 및 방법
KR101910110B1 (ko) * 2011-09-26 2018-12-31 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
US9299166B2 (en) * 2012-12-13 2016-03-29 Qualcomm Incorporated Image compression method and apparatus for bandwidth saving
JP6232778B2 (ja) * 2013-06-27 2017-11-22 セイコーエプソン株式会社 画像処理装置、画像表示装置、および画像処理装置の制御方法
KR20160066131A (ko) * 2014-12-01 2016-06-10 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
US9536045B1 (en) * 2015-03-16 2017-01-03 D.R. Systems, Inc. Dynamic digital image compression based on digital image characteristics
JP6985899B2 (ja) * 2017-11-15 2021-12-22 キヤノン株式会社 画像符号化装置及びその制御方法並びにプログラム
US11449268B2 (en) * 2018-11-20 2022-09-20 Samsung Electronics Co., Ltd. Deep solid state device (deep-SSD): a neural network based persistent data storage

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN86105423A (zh) * 1985-08-30 1987-04-01 美国无线电公司 兼容制宽屏幕电视系统
JP2001042831A (ja) * 1999-07-29 2001-02-16 Hitachi Ltd 液晶表示装置
US20010048721A1 (en) * 1997-11-12 2001-12-06 Sony Corporation Decoding method and apparatus and recording method and apparatus for moving picture data
CN1430419A (zh) * 2001-12-18 2003-07-16 三星电子株式会社 代码转换器和代码转换方法
US20040101058A1 (en) * 2002-11-22 2004-05-27 Hisao Sasai Device, method and program for generating interpolation frame
US20050100056A1 (en) * 2002-07-22 2005-05-12 Alcatel Multiplexing device, a demultiplexing device, and a multiplexing/demultiplexing system
JP2007006194A (ja) * 2005-06-24 2007-01-11 Matsushita Electric Ind Co Ltd 画像復号再生装置
US20070104272A1 (en) * 2005-11-10 2007-05-10 He Zhong L Resource efficient video processing via prediction error computational adjustments
JP2007178851A (ja) * 2005-12-28 2007-07-12 Seiko Epson Corp 画像コントロールic

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214957A (ja) 1996-02-05 1997-08-15 Toshiba Corp 相関性を利用した動画像圧縮記録装置
JP2005006275A (ja) * 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN86105423A (zh) * 1985-08-30 1987-04-01 美国无线电公司 兼容制宽屏幕电视系统
US20010048721A1 (en) * 1997-11-12 2001-12-06 Sony Corporation Decoding method and apparatus and recording method and apparatus for moving picture data
JP2001042831A (ja) * 1999-07-29 2001-02-16 Hitachi Ltd 液晶表示装置
CN1430419A (zh) * 2001-12-18 2003-07-16 三星电子株式会社 代码转换器和代码转换方法
US20050100056A1 (en) * 2002-07-22 2005-05-12 Alcatel Multiplexing device, a demultiplexing device, and a multiplexing/demultiplexing system
US20040101058A1 (en) * 2002-11-22 2004-05-27 Hisao Sasai Device, method and program for generating interpolation frame
JP2007006194A (ja) * 2005-06-24 2007-01-11 Matsushita Electric Ind Co Ltd 画像復号再生装置
US20070104272A1 (en) * 2005-11-10 2007-05-10 He Zhong L Resource efficient video processing via prediction error computational adjustments
JP2007178851A (ja) * 2005-12-28 2007-07-12 Seiko Epson Corp 画像コントロールic

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270422A (zh) * 2010-06-01 2011-12-07 三星电子株式会社 显示设备
CN102270422B (zh) * 2010-06-01 2016-02-24 三星显示有限公司 显示设备
CN109587557A (zh) * 2019-01-11 2019-04-05 京东方科技集团股份有限公司 数据传输方法及装置、显示装置
CN112464034A (zh) * 2020-12-08 2021-03-09 深圳市欢太科技有限公司 用户数据提取方法、装置、电子设备及计算机可读介质

Also Published As

Publication number Publication date
US20100074322A1 (en) 2010-03-25
JP2010081182A (ja) 2010-04-08
US8279919B2 (en) 2012-10-02

Similar Documents

Publication Publication Date Title
CN101686400A (zh) 图像处理装置
EP1931145A1 (en) Frame rate conversion apparatus for video signal and display apparatus
CN101609656B (zh) 显示控制电路、具备它的液晶显示装置、和显示控制方法
JPH11231838A (ja) 表示装置およびその駆動方法
US8577165B2 (en) Method and apparatus for bandwidth-reduced image encoding and decoding
US8451901B2 (en) High-speed motion estimation apparatus and method
EP2747434A1 (en) Video image compression/decompression device
US8295619B2 (en) Image processing apparatus employed in overdrive application for compressing image data of second frame according to first frame preceding second frame and related image processing method thereof
US20110249906A1 (en) Image processing apparatus capable of writing compressed data into frame buffer and reading buffered data from frame buffer alternately and related image processing method thereof
US20120262467A1 (en) Image processing apparatus that enables to reduce memory capacity and memory bandwidth
US20060262058A1 (en) Image display device with cholesteric liquid crystal display panel
US20080056381A1 (en) Image compression and decompression with fast storage device accessing
US8345055B2 (en) Image display device
US8411984B2 (en) Image processing device and method
EP1511004A2 (en) Memory controller, memory control method, rate conversion apparatus, rate conversion method, image-signal-processing apparatus, image-signal-processing method, and program for executing these methods
CN103929647A (zh) 图像处理装置以及图像处理方法
US8081257B2 (en) Method and system for processing image data in LCD by integrating de-interlace and overdrive operations
CN107241601B (zh) 图像数据传输方法、装置及终端
JP2005062693A (ja) メモリコントローラおよびメモリコントロール方法、その方法を実行するためのプログラム、レート変換装置および画像信号処理装置
JP4264641B2 (ja) レート変換装置およびレート変換方法、画像信号の処理装置および処理方法、並びに各方法を実行するためのプログラム
JP5131150B2 (ja) 符号化装置、復号装置、及び画像処理システム
US5946036A (en) Image decoding using read/write memory control based on display region setting
KR100671354B1 (ko) 알지비영상 잔상제거장치 및 방법
KR0180167B1 (ko) 영상부호화를 위한 프레임 재배열 장치
JP2005065115A (ja) レート変換装置、レート変換方法、その方法を実行するためのプログラム、および画像信号処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: RENESAS ELECTRONICS

Free format text: FORMER OWNER: RENESAS TECHNOLOGY CORP.

Effective date: 20100919

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: TOKYO, JAPAN TO: KANAGAWA PREFECTURE, JAPAN

TA01 Transfer of patent application right

Effective date of registration: 20100919

Address after: Kanagawa

Applicant after: Renesas Electronics Corporation

Address before: Tokyo, Japan, Japan

Applicant before: Renesas Technology Corp.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100331