CN1969314A - 图像处理设备和方法、存储介质及其程序 - Google Patents

图像处理设备和方法、存储介质及其程序 Download PDF

Info

Publication number
CN1969314A
CN1969314A CNA2005800198134A CN200580019813A CN1969314A CN 1969314 A CN1969314 A CN 1969314A CN A2005800198134 A CNA2005800198134 A CN A2005800198134A CN 200580019813 A CN200580019813 A CN 200580019813A CN 1969314 A CN1969314 A CN 1969314A
Authority
CN
China
Prior art keywords
pattern
data
pixel
background colour
neighborhood pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800198134A
Other languages
English (en)
Other versions
CN100517461C (zh
Inventor
青山幸治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1969314A publication Critical patent/CN1969314A/zh
Application granted granted Critical
Publication of CN100517461C publication Critical patent/CN100517461C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24Generation of individual character patterns
    • G09G5/26Generation of individual character patterns for modifying the character dimensions, e.g. double width, double height
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4023Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24Generation of individual character patterns
    • G09G5/28Generation of individual character patterns for enhancement of character form, e.g. smoothing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Abstract

本发明涉及一种用于执行高质量的放大处理的图像处理设备和方法、存储介质和程序。在输入图像数据中,数据缓冲器32保持关于放大处理必需的目标像素邻域数据。如所需的,数据位置交换单元33交换目标像素邻域数据的数据位置。像素优先级确定单元34关于其数据位置已经过交换的目标像素邻域数据的每个像素,而确定背景色或前景色。数据选择标记确定单元36确定目标像素邻域数据的数据选择标记,从像素优先级确定单元34提供该数据选择标记。基于从数据选择标记确定单元36所提供的数据选择标记,数据选择器37从自数据位置交换单元33所提供的目标像素邻域数据中选择适于目标像素的位置的图像数据。本发明适用于OSD设备。

Description

图像处理设备和方法、存储介质及其程序
技术领域
本发明涉及图像处理设备和方法、存储介质和程序。特别地,本发明涉及图像处理设备和方法、存储介质及其程序,例如,其允许以很低的成本和很高的质量放大显示设备上所显示的字符和图像。
背景技术
近年来,随着像LCD(液晶显示器)那样的图像显示设备的分辨率的提高,用于放大数字图像的处理变得很重要。
图1示出当使用最近邻插值的放大设备应用于传统的OSD(在屏显示)设备1时的配置实例。
OSD设备1中的微型计算机11根据从用户接口2发送来的且相应于用户操作的信号(以下称为“用户操作信号”),控制字体ROM(只读存储器)12和OSD-平面存储器13的存储。字体ROM 12存储字体,例如将要在监控器3上所显示的字符、符号或图形。作为在这种情形中所存储的字体,可得到各种各样的字样,例如日本字体(即,关于日本语的字体)和欧洲字体(即,关于字母的字体)。OSD-平面存储器13存储由微型计算机11从字体ROM 12所读取的字体,作为OSD显示数据。进一步,在微型计算机11的控制下,OSD-平面存储器13将该OSD显示数据提供给2×2最近邻插值器14。该2×2最近邻插值器14以垂直方向上为2的因子和水平方向上为2的因子来放大从OSD-平面存储器13所提供的OSD显示数据,并将结果OSD显示数据提供给混合器15。混合器15将从2×2最近邻插值器14所提供的OSD显示数据与从未示出的摄像机处理器所提供的视频信号结合,并致使监控器3显示结果数据。
图2是示出当在传统的OSD设备1的字体ROM 12中存储关于普通显示和关于放大显示的字体时的配置实例的图解。相应于图1中的那些的单元由相同的附图标记表示,且适当地省略了其描述。
字体ROM 12存储关于普通显示和关于放大显示的字体,例如将要在监控器3上所显示的字符、符号和图形。OSD-平面存储器13存储由微型计算机11从字体ROM 12所读取的字体,作为OSD显示数据。进一步,在微型计算机11的控制下,OSD-平面存储器13将该OSD显示数据提供给混合器15。混合器15将从OSD-平面存储器13所提供的OSD显示数据与从未示出的摄像机处理器所提供的视频信号结合,并致使监控器3显示结果数据。
如上文所描述的,以图1中所示的OSD设备1,尽管成本很低,但图像质量严重损坏。以图2中所示的OSD设备,尽管能够保持图像质量,但需要大容量的字体ROM 12和大容量的OSD-平面存储器13。
能够将数字化图像广泛地分类为两组,即,由像数字相机那样的图像捕获设备所捕获的自然图像和人工图像,例如由计算机等所产生的图形和字符。
对于自然图像,使用基于插值滤波器的放大技术和根据抽样定理的缩减技术,例如双线性插值和三次插值。关于拥有多值层级且通常包含噪声的自然图像,这些技术能够提供高质量的放大图像。
相反,当基于插值滤波器的放大技术用于人工图像时,字符的边缘等会变圆,因而使得不可能提供高质量的图像。特别地,对于像字符等等那样的二值图像,会出现由边缘变圆而引起的图像模糊。据此,为了防止图像模糊,对于人工图像,使用如图1中所示的使用最近邻插值的放大技术。然而,以这种技术,在视觉的意义上,锯状或缺口会成为一个问题。
据此,已经提出了用于在拥有较少的层级且较不易受噪声影响的图像数据(例如,字符和图形)上执行人工图像的高质量放大的一些技术。
例如,专利文档1提出一种用于从基本字符字体数据产生放大字符并纠正该字符的技术。另外,例如,专利文档2提出一种用于通过使用分段多项式插值来缩放二值图像的技术。又例如,专利文档3提出一种用于通过使用遗传算法来产生字体的技术。还例如,专利文档4提出一种用于识别周围像素的耦合状态、估计最佳轮廓线和执行重新抽样的技术。另外,例如,专利文档5提出了一种用于当放大字符或图形时进行平滑的技术。
[专利文档1]日本未审核的专利申请公布No.5-94171。
[专利文档2]日本未审核的专利申请公布No.8-63592。
[专利文档3]日本未审核的专利申请公布No.2004-4302。
[专利文档4]日本未审核的专利申请公布No.6-68247。
[专利文档5]日本未审核的专利申请公布No.9-305755。
发明内容
本发明将要解决的问题
然而,上文所提到的专利文档的技术需要复杂的计算处理,并因而存在问题,因为处理时间和用于配置硬件的成本增加。
这些技术的每一个都是以单色灰度图像为目的的,甚至对于二值图形图像和多值图像也是如此,并因而存在问题,因为它们不能处理具有像轮廓线和阴影字符那样的字符修饰的多值多色彩的图形图像。
本发明是鉴于这样的情形而作出的,并允许以很低的成本和很高的质量放大在显示设备上所显示的字符和图像。
用于解决问题的装置
本发明的信息处理设备包括:保持装置,用于保持图像中的邻近像素,该邻近像素包括目标像素;分割装置,用于分割目标像素;和辨别装置,用于关于由保持装置所保持的每个像素,在主体色和背景色之间进行辨别。该图像处理设备进一步包括:第一模式确定装置,用于确定是否为主体色和背景色的一个排列模式,基于由辨别装置所执行的辨别的结果所获得的该排列模式与用于扩展主体色的第一模式相匹配;第二模式确定装置,用于确定是否为主体色和背景色的一个排列模式,基于由辨别装置所执行的辨别的结果的所获得的该排列模式与用于扩展背景色彩的第二模式相匹配;和选择装置,用于基于由第一模式和第二模式确定装置所执行的确定的结果,从邻近像素中选择适于由分割装置所分割的目标像素的数据。
该信息处理设备能够进一步包括:确定装置,用于确定是否改变包括目标像素的邻近像素的像素分布,邻近像素由保持装置保持;和数据交换装置,用于基于确定装置所执行的确定的结果,改变包括目标像素的邻近像素的像素分布。
图像可能是一个字符,且可以用根据字符的类型所确定的多级模式来实现第一和第二模式的每一个。
辨别装置能够通过将目标像素与邻近像素相比较而在主体色和前景色之间进行辨别。
本发明的信息处理方法包括:保持图像中的邻近像素的保持步骤,邻近像素包括目标像素;分割目标像素的分割步骤;和关于在保持步骤中所保持的每个像素,而在主体色和背景色之间进行辨别的辨别步骤。该方法进一步包括:确定是否为主体色和背景色的一个排列模式的第一模式确定步骤,基于由在辨别步骤中所执行的处理而获得的辨别结果所获得的该排列模式与用于扩展主体色的第一模式相匹配;确定是否为主体色和背景色的一个排列模式的第二模式确定步骤,基于在由辨别步骤所执行的处理中所获得的辨别结果而获得的该排列模式与用于扩展背景色的第二模式相匹配;和基于由在第一模式和第二模式确定步骤中所执行的处理而获得的确定结果,从邻近像素中选择适于由在分割步骤中所执行的处理而分割的目标像素的数据的选择步骤。
在本发明的存储介质中所记录的一个程序包括:保持图像中的邻近像素的保持步骤,邻近像素包括目标像素;分割目标像素的分割步骤;和关于在保持步骤中所保持的每个像素,而在主体色和背景色之间进行辨别的辨别步骤。该程序进一步包括:确定是否为主体色和背景色的一个排列模式的第一模式确定步骤,基于由在辨别步骤中所执行的处理而获得的辨别结果所获得的该排列模式与用于扩展主体色的第一模式相匹配;确定是否为主体色和背景色的一个排列模式的第二模式确定步骤,基于在由辨别步骤所执行的处理中所获得的辨别结果而获得的该排列模式与用于扩展背景色的第二模式相匹配;和基于由在第一模式和第二模式确定步骤中所执行的处理而获得的确定结果,从邻近像素中选择适于由在分割步骤中所执行的处理而分割的目标像素的数据的选择步骤。
本发明的程序包括:保持图像中的邻近像素的保持步骤,邻近像素包括目标像素;分割目标像素的分割步骤;和关于在保持步骤中所保持的每个像素,而在主体色和背景色之间进行辨别的辨别步骤。该程序进一步包括:确定是否为主体色和背景色的一个排列模式的第一模式确定步骤,基于由在辨别步骤中所执行的处理而获得的辨别结果所获得的该排列模式与用于扩展主体色的第一模式相匹配;确定是否为主体色和背景色的一个排列模式的第二模式确定步骤,基于在由辨别步骤所执行的处理中所获得的辨别结果而获得的该排列模式与用于扩展背景色的第二模式相匹配;和基于由在第一模式和第二模式确定步骤中所执行的处理而获得的确定结果,从邻近像素中选择适于由在分割步骤中所执行的处理而分割的目标像素的数据的选择步骤。
在本发明中,保持图像中包括目标像素的邻近像素,分割目标像素,并关于每个所保持的像素辨别主体色和背景色。关于基于辨别的结果而获得的目标色和背景色排列模式是否与用于扩展主体色的第一模式相匹配,以及排列模式是否与用于扩展背景色的第二模式相匹配而作出确定。基于第一和第二确定的结果,从邻近像素中选择适于所分割的目标像素的数据。
优点
根据本发明,放大在显示设备上所显示的字符、图像、等等是可能的。特别地,以少量的计算处理、很低的成本和很高的质量,而不增加电路规模,来放大在显示设备上所显示的字符和图像是可能的。
附图说明
图1是示出当使用最近邻插值的放大设备应用于传统的OSD设备时的配置实例的图解;
图2是示出当在传统的OSD设备的字体ROM中存储关于普通显示和关于放大显示的字体时的配置实例的图解;
图3是示出根据本发明的OSD设备的配置实例的框图;
图4是示出图像放大设备的内部配置的实例的框图;
图5A是阐明由数据缓冲器所保持的数据的视图;
图5B是阐明由数据缓冲器所保持的数据的图解;
图5C是阐明由数据缓冲器所保持的数据的图解;
图6是阐明数据位置交换方法的概观的图解;
图7A是阐明数据位置交换方法的详细情况的图解;
图7B是阐明数据位置交换方法的详细情况的图解;
图8A是阐明数据位置交换方法的详细情况的另一个图解;
图8B是阐明数据位置交换方法的详细情况的另一个图解;
图9A是阐明数据位置交换方法的详细情况的另一个图解;
图9B是阐明数据位置交换方法的详细情况的另一个图解;
图10A是阐明数据位置交换方法的详细情况的另一个图解;
图10B是阐明数据位置交换方法的详细情况的另一个图解;
图11是示出像素优先级确定单元的详细配置的实例的框图;
图12是示出数据选择标记确定单元的详细配置的实例的框图;
图13A是示出用于模式确定的模式的实例的图解;
图13B是示出用于模式确定的模式的实例的图解;
图13C是示出用于模式确定的模式的实例的图解;
图13D是示出用于模式确定的模式的实例的图解;
图13E是示出用于模式确定的模式的实例的图解;
图13F是示出用于模式确定的模式的实例的图解;
图13G是示出用于模式确定的模式的实例的图解;
图14A是示出用于模式确定的模式的另一个实例的图解;
图14B是示出用于模式确定的模式的另一个实例的图解;
图14C是示出用于模式确定的模式的另一个实例的图解;
图14D是示出用于模式确定的模式的另一个实例的图解;
图15A是示出用于模式确定的模式的另一个实例的图解;
图15B是示出用于模式确定的模式的另一个实例的图解;
图15C是示出用于模式确定的模式的另一个实例的图解;
图15D是示出用于模式确定的模式的另一个实例的图解;
图16A是示出用于模式确定的模式的另一个实例的图解;
图16B是示出用于模式确定的模式的另一个实例的图解;
图16C是示出用于模式确定的模式的另一个实例的图解;
图16D是示出用于模式确定的模式的另一个实例的图解;
图16E是示出用于模式确定的模式的另一个实例的图解;
图17A是示出用于模式确定的模式的另一个实例的图解;
图17B是示出用于模式确定的模式的另一个实例的图解;
图17C是示出用于模式确定的模式的另一个实例的图解;
图17D是示出用于模式确定的模式的另一个实例的图解;
图18A是示出用于模式确定的模式的另一个实例的图解;
图18B是示出用于模式确定的模式的另一个实例的图解;
图18C是示出用于模式确定的模式的另一个实例的图解;
图18D是示出用于模式确定的模式的另一个实例的图解;
图19A是示出用于模式确定的模式的另一个实例的图解;
图19B是示出用于模式确定的模式的另一个实例的图解;
图19C是示出用于模式确定的模式的另一个实例的图解;
图19D是示出用于模式确定的模式的另一个实例的图解;
图20A是示出用于模式确定的模式的另一个实例的图解;
图20B是示出用于模式确定的模式的另一个实例的图解;
图20C是示出用于模式确定的模式的另一个实例的图解;
图20D是示出用于模式确定的模式的另一个实例的图解;
图20E是示出用于模式确定的模式的另一个实例的图解;
图21是示出用于模式确定的模式的另一个实例的图解;
图22是阐明由数据缓冲器所执行的处理的流程图;
图23是阐明数据位置交换方法的图解;
图24是阐明像素优先级确定处理的流程图;
图25是阐明数据选择标记确定处理的流程图;
图26是阐明在图25中所示的步骤S45中的宽字符处理的详细情况的流程图;
图27是阐明在图25中所示的步骤S46中的窄字符处理的详细情况的流程图;
图28是阐明数据选择处理的流程图;
图29A是示出一个模拟结果的视图;
图29B是示出一个模拟结果的视图;
图29C是示出一个模拟结果的视图;
图30A是图29的一个部分放大视图;
图30B是图29的一个部分放大视图;
图31A是图29的另一个部分放大视图;
图31B是图29的另一个部分放大视图;
图32A是示出一个模拟结果的视图;
图32B是示出一个模拟结果的视图;
图32C是示出一个模拟结果的视图;
图33A是图32的一个部分放大视图;
图33B是图32的一个部分放大视图;
图34A是图32的另一个部分放大视图;
图34B是图32的另一个部分放大视图;
图35是示出当其应用于多值层级图像时,像素优先级确定单元的详细配置的实例的框图;
图36是示出根据P[MOCO]和IN的比较的结果所分配的代码的表格;
图37A是示出一个模拟结果的视图;
图37B是示出一个模拟结果的视图;
图38A是图37的一个部分放大视图;
图38B是图37的一个部分放大视图;和
图39是示出计算机的配置实例的框图。
附图标记
1OSD设备,2监控器、12字体ROM、21图像放大设备、31控制单元、32数据缓冲器、33数据位置交换单元、34像素优先级确定单元、35处理模式控制单元、36数据选择标记确定单元、37数据选择器、61-1至61-25确定单元、62-1至62-25 LUT、71字符识别单元、72宽字符处理器、73窄字符处理器、201-1至201-24比较器、202-1至202-24,203-1至203-24 LUT、204-1至204-24大小比较器。
具体实施方式
下文将参考绘图描述本发明的实施例。
图3是示出根据本发明的OSD设备1的配置的图解。相应于相关技术的那些的单元以相同的附图标记表示,且适当地省略了其描述。
在微型计算机11的控制下,OSD-平面存储器13将OSD显示数据提供给图像放大设备21。图像放大设备21在下文所描述的处理中,以在垂直方向上为2的因子和在水平方向上为2的因子,放大从OSD-平面存储器13所提供的OSD显示数据,并将结果OSD显示数据提供给混合器15。混合器15将从图像放大设备21所提供的OSD显示数据与从未示出的摄像机处理器所提供的视频信号结合,并致使监控器3显示OSD显示数据。
图4是示出图像放大设备21的内部配置的实例的框图。
基于从外部所提供的控制信号和从处理模式控制单元35所提供的模式控制信号,控制单元31控制数据缓冲器32、数据位置交换单元33、像素优先级确定单元34、数据选择标记确定单元36和数据选择器37的操作。从外部所提供的控制信号的实例包括垂直同步信号、水平同步信号和时钟,以及模式控制信号的实例包括拥有指示图像有效位置的范围的值的信号。
数据缓冲器32包括线存储器、数据延迟寄存器、等等。在从OSD-平面存储器13所提供的输入数据(数字化图像信号)中,与从控制单元31所提供的水平同步信号和时钟同步,数据缓冲器32保持关于每个像素的目标像素的邻域的数据。目标像素邻近数据是放大处理所需要的。可以以光栅序列将输入数据提供给数据缓冲器32,或者数据缓冲器32可以通过随机访问获得输入数据。下文将参考图5描述由数据缓冲器32所保持的数据的详细情况。
在控制单元31的控制下,数据位置交换单元33交换从数据缓冲器32所提供的目标像素的邻近数据的数据位置,将其数据位置已经过交换的数据存储在交换数据缓冲器33A中,并将该数据提供给像素优先级确定单元34和数据选择器37。稍后将参考图6至10描述关于由数据位置交换单元33所执行的数据位置交换的方法的详细情况。
关于其数据位置已经过交换且从数据位置交换单元33所提供的目标像素的邻近数据的每个像素,像素优先级确定单元34确定其是否拥有背景色或前景色(主体色)。稍后参考图11描述像素优先级确定单元34的详细情况。
基于从用户接口2所提供的用户操作信号,处理模式控制单元35改变背景确定信息(用于唯一地识别背景色的信息)和前景确定信息(用于唯一地确定前景色的信息),并将该信息提供给像素优先级确定单元34,或者改变处理选择信息(有关是否执行宽字符处理或窄字符处理的信息或有关是否执行背景色扩展处理或前景色扩展处理的信息),并将该信息提供给数据选择标记确定单元36。然而,不必说,当处理内容固定时,就没有必要改变该信息。
基于从处理模式控制单元35所提供的处理选择信息,数据选择标记确定单元36确定关于目标像素邻近数据的数据选择标记,该数据选择标记为从像素优先级确定单元34所提供的确定结果。稍后参考图12至21描述数据选择标记确定单元36的详细情况。
基于为从数据选择标记确定单元36所提供的确定结果的数据选择标记,数据选择器37从自数据位置交换单元33所提供的目标像素邻近数据中选择适于目标像素的位置的图像数据,并将所选择的图像数据作为输出数据输出至混合器15。
图5A至5C是阐明由数据缓冲器32所保持的数据的图解。
图5A示出输入到数据缓冲器32的数字化图像41。在这个图像41中,拥有像素值0(背景色)的像素由白色表示,以及拥有像素值1(前景色)的像素由黑色表示以表示字符“3”。图5B是示出其中心在图像41中的重要的一点(目标像素)42,且由在像素42的邻域中的5高×5宽的像素组成的区域43的放大视图。在本实施例中,目标点42被分割成为四个区域(在图5B的实例中的A至D),从而以垂直放大因子2和水平放大因子2执行放大处理。
图5C示意性地示出,在其中,根据相对于目标点42的位置关系,顺序地给区域43的数据的像素分配符号的一个状态,关于放大处理将参考该区域43。给与自目标点42的像素“M0C0”起的上第二行像素符号“U2”,给与上第一行像素“U1”,给与在相同的水平方向上的像素“M0”,给与下第一行像素“D1”,以及给与下第二行像素“D2”。给与自目标点42的像素“M0C0”起的左第二列像素符号“L2”,给与左第一列像素“L1”,给与在相同的垂直方向上的像素“C0”,右第一列像素为“R1”,以及给与右第二列像素“R2”。
以这种排列,能够表示相对于目标点42的位置的像素值。尽管对在其中参考由5高×5宽的像素组成的区域43的数据的情形给出了本实施例的描述,本发明并不局限于此。例如,可以参考由,例如,3高×3宽的像素、7高×7宽的像素或者更多的像素组成的区域的数据。
图6是阐明关于由数据位置交换单元33所执行的数据位置交换的方法的概观的图解。
基于从控制单元31所提供的数据处理位置信息,数据位置交换单元33交换由从数据缓冲器32所输出的5高×5宽的像素组成的区域43的数据的数据位置,并将由其数据位置已经过交换的5高×5宽的像素组成的区域51的数据存储在交换数据缓冲器33A中。如图中所示,在交换数据缓冲器33A中所存储的数据的每个像素值都由P[X]表示。在这种情形中的X指示相对于目标点42的位置。
其次,将参考图7至10描述关于由数据位置交换单元33所执行的数据位置交换的方法的详细情况。由5高×5宽的像素组成的区域43的最上行、接下来的一行、...、最下行、最左列、接下来的一列、...和最右列分别称为第一行、第二行、...、第五行、第一列、第二列、...和第五列。
首先,控制单元31形成相应于输入像素大小的处理环。通过形成用于以在垂直方向上为2的因子和在水平方向上为2的因子增加像素的数目的放大环,控制单元31将目标点42分割成为如图5B中所示的四个部分。在2高×2宽的像素中,控制单元31随后将数据处理位置信息提供给数据位置交换单元33。该数据处理位置信息指示哪个位置的数据将要经历数据处理。
当从控制单元31所提供的数据处理位置信息指示位置A(参考)时,如图7A中所示,数据位置交换单元33将区域43的数据存储在交换数据缓冲器33A中,而不交换区域43的数据的数据位置,如图7B中所示。作为未交换其数据位置而在交换数据缓冲器33A中区域43的数据的存储的结果,区域43被作为由5高×5宽的像素组成的新区域51而对待。
当从控制单元31所提供的数据处理位置信息指示位置B时,如图8A中所示,数据位置交换单元33交换区域43左和右(即,在水平方向上)的数据的数据位置,如图8B中所示。结果,例如,在区域43中从第一行左边起顺序地排列的像素“U2L2”、“U2L1”、“U2C0”、“U2R1”和“U2R2”的次序改变为像素“U2R2”、“U2R1”、“U2C0”、“U2L1”和“U2L2”的次序。类似地,在第二至第五行中的数据位置左右交换。在交换数据缓冲器33A中存储其数据位置已如上文所描述的经过交换且由5高×5宽的像素组成的新区域51的数据。
当从控制单元31所提供的数据处理位置信息指示位置C时,如图9A中所示,数据位置交换单元33交换区域43上和下(即,在垂直方向上)的数据的数据位置,如图9B中所示。结果,例如,在区域43中从第一列上部起顺序地排列的像素“U2L2”、“U1L2”、“M0L2”、“D1L2”和“D2L2”的次序改变为像素“D2L2”、“D1L2”、“M0L2”、“U1L2”和“U2L2”的次序。类似地,在第二至第五列中的数据位置上下交换。在交换数据缓冲器33A中存储其数据位置已如上文所描述的经过交换且由5高×5宽的像素组成的新区域51的数据。
当从控制单元31所提供的数据处理位置信息指示位置D时,如图10A中所示,数据位置交换单元33交换区域43左和右及上和下(即,在水平方向上和垂直方向上)的数据的数据位置,如图10B中所示。结果,例如,在区域43中从第一行左边起顺序地排列的像素“U2L2”、“U2L1”、“U2C0”、“U2R1”和“U2R2”的次序改变为像素“D2R2”、“D2R1”、“D2C0”、“D2L1”和“D2L2”的次序。类似地,在第二至第五行中的数据位置左右交换且在第二至第五列中的数据位置上下交换。在交换数据缓冲器33A中存储其数据位置已如上文所描述的经过交换且由5高×5宽的像素组成的新区域51的数据。
如上文所描述的,因为数据位置交换单元33在用于以在垂直方向上为2的因子和在水平方向上为2的因子放大目标点42的处理期间交换数据位置,随后的阶段(即,像素优先级确定单元34之后的阶段)能够像关于位置A(图7A)的处理那样处理数据,而不管数据处理位置。结果,减少在下文所描述的模式确定中所确定的模式的数目是可能的,且将计算成本减少到四分之一是可能的。
图11是示出像素优先级确定单元34的详细配置的实例的框图。
如图中所示,像素优先级确定单元34包括确定单元61-1至61-25。确定单元61-1至61-25分别拥有LUT(查找表)62-1至62-25。例如,基于从处理模式控制单元35所提供的背景确定信息和前景确定信息,在LUT 62-1至62-25中,设置像素值0(白色)为背景色,以及设置像素值1(黑色)为前景色。
在由从数据位置交换单元33所提供的5高×5宽的像素组成的区域51(图6)的数据中,确定单元61-1输入像素P[D2L2]的数据,并基于LUT 62-1确定其像素值是否指示背景色还是前景色。类似地,在由从数据位置交换单元33所提供的5高×5宽的像素组成的区域51的数据中,确定单元61-2至61-25分别输入像素P[D2L1]至P[U2R2]的数据,并基于LUT 62-2至62-25确定其像素值是否指示背景色或前景色。
确定单元61-1至61-25以F[X]的形式将各个确定结果输出至数据选择标记确定单元36。在这种情形中的X指示相对于目标点42的位置。
图12是示出数据选择标记确定单元36的详细配置的实例的框图。
基于从处理模式控制单元35所提供的处理选择信息,字符识别单元71识别将要经历放大处理的字符是宽字符还是窄字符。在此,“宽字符”指的是加亮的字符或者由一条线或拥有两个或更多像素宽度的线所形成的粗字体,以及“窄字符”指的是由一条线或拥有一个像素宽度的线所形成的字符。当识别到将经历放大处理的字符是宽字符时,由5高×5宽的像素组成的区域51的数据,该数据为从像素优先级确定单元34所提供的确定结果,提供给宽字符处理器72。当识别到将经历放大处理的字符是窄字符时,由5高×5宽的像素组成的区域51的数据,该数据为从像素优先级确定单元34所提供的确定结果,提供给窄字符处理器73。
在所提供的由5高×5宽的像素组成的区域51的数据中,宽字符处理器72确定由如图13A中所示的目标点42、从目标点42起的上第一个像素、位于目标点42对角线的左上第一个像素和从目标点42起的左第一个像素组成的2高×2宽的像素组成的区域81的数据是否与图13B中所示的模式82和图13C中所示的模式83相匹配。基于确定的结果,宽字符处理器72进一步确定由5高×5宽的像素组成的区域51的数据是否与图14至19中所示的每个模式相匹配。基于确定的结果,宽字符处理器72设置数据选择标记(将在下文描述其详细情况)。然而,在初始化期间,数据选择标记设置为0。
在所提供的由5高×5宽的像素组成的区域51的数据中,窄字符处理器73确定由如图13A中所示的2高×2宽的像素组成的区域81的数据是否与图13D中所示的模式84、图13E中所示的模式85、图13F中所示的模式86和图13G中所示的模式87相匹配。基于确定的结果,窄字符处理器73进一步确定由5高×5宽的像素组成的区域51的数据是否与图20和21中所示的每个模式相匹配。基于确定的结果,窄字符处理器73设置数据选择标记(将在下文描述其详细情况)。然而,在初始化期间,数据选择标记设置为0。
在图13A至13G中,拥有前景色(像素值1)的像素由黑色表示,以及拥有背景色(像素值0)的像素由白色表示。
如图12中所示,根据输入图像中字符的特征,将字符分类为“宽字符”和“窄字符”,且字符经历相应的处理。这使得执行利用字符特点的放大处理成为可能。
其次,将参考图14至21描述由宽字符处理器72和窄字符处理器73所执行的模式确定的详细情况。在图14至21中,在目标点42中所放大的点91以对角线模式表示,拥有前景色的像素以几何模式表示,拥有背景色的像素以白色表示,以及可能拥有前景或背景色的像素(在模式确定中所忽略的像素)以灰色表示。
在确定区域81(图13A)的数据与模式82(图13B)相匹配时,宽字符处理器72确定由5高×5宽的像素组成的区域51的数据是否与图14A中所示的模式101、图14B中所示的模式102、图14C中所示的模式103、图14D中所示的模式104、图15A中所示的模式105、图15B中所示的模式106、图15C中所示的模式107和图15D中所示的模式108相匹配。作为确定的结果,当其与八种模式101至108中的甚至一种相匹配时,宽字符处理器72设置数据选择标记为“1”。
在确定区域81(图13A)的数据与模式83(图13C)相匹配时,宽字符处理器72确定由5高×5宽的像素组成的区域51的数据是否与图16A中所示的模式111、图16B中所示的模式112、图16C中所示的模式113、图16D中所示的模式114、图16E中所示的模式115、图17A中所示的模式116、图17B中所示的模式117、图17C中所示的模式118、图17D中所示的模式119、图18A中所示的模式120、图18B中所示的模式121、图18C中所示的模式122、图18D中所示的模式123、图19A中所示的模式124、图19B中所示的模式125、图19C中所示的模式126和图19D中所示的模式127相匹配。作为确定的结果,当其与十七种模式111至127中的甚至一种相匹配时,宽字符处理器72设置数据选择标记为“2”。
在确定区域81(图13A)的数据与三种模式84至86(图13D至图13F)中的甚至一种相匹配时,窄字符处理器73确定由5高×5宽的像素组成的区域51的数据是否与图20A中所示的模式131、图20B中所示的模式132、图20C中所示的模式133、图20D中所示的模式134和图20E中所示的模式135相匹配。作为确定的结果,当其与三种模式131至133中的甚至一种相匹配时,窄字符处理器73设置数据选择标记为“3”;当其与模式134相匹配时,窄字符处理器73设置数据选择标记为“4”;且当其与模式135相匹配时,窄字符处理器73设置数据选择标记为“5”。
在确定区域81(图13A)的数据与模式87(图13G)相匹配时,窄字符处理器73确定由5高×5宽的像素组成的区域51的数据是否与图21A中所示的模式141和图21B中所示的模式142相匹配。作为确定的结果,当其与两种模式141和142中的甚至一种相匹配时,窄字符处理器73设置数据选择标记为“6”。
如上文所描述的,作为由5高×5宽的像素组成的区域51的数据的匹配确定的结果,设置数据选择标记为“0”至“6”的值的一个。用于模式确定的每个模式都作为由本发明者所执行的模拟的结果而获得,但自然并不局限于此。
其次,将参考图22的流程图描述由数据缓冲器32所执行的处理。当已从OSD-平面存储器13提供了输入数据时,就可开始这种处理。
在步骤S1,数据缓冲器32设置变量N为1,以初始化。在步骤S2,在从OSD-平面存储器13所提供的输入数据中,数据缓冲器32使用目标点42作为中心来设置在目标点42的邻域中由5高×5宽的像素组成的区域43(图5B)。适当地,以下将把其中心在目标像素42且由在其邻域中的5高×5宽的像素组成的区域43称为“邻近像素区域43”。
在步骤S3,与从控制单元31所提供的水平同步信号和时钟同步,数据缓冲器32保持位于在步骤S2的处理中所设置的邻近像素区域43中第N行的输入数据。例如,在图5C中,保持像素“D2L2”、“D2L1”、“D2C0”、“D2R1”和“D2R2”的数据。在步骤S4,数据缓冲器32确定变量N是否已达到5或更多,即,是否已保持了邻近像素区域43(图5C)的所有数据。在确定变量N还未达到5或更多时,过程返回到步骤S3,且重复执行上文所描述的处理。
当在步骤S4确定变量N已达到5或更多时,处理结束。
作为上文所描述的处理的结果,数据缓冲器32保持由5高×5宽的像素组成的区域43(图5C)的数据。
其次,将参考图23中所示的流程图描述由数据位置交换单元33所执行的数据位置交换处理。当从数据缓冲器32提供了邻近像素区域43的数据时,就可开始这种处理。
在步骤S11,数据位置交换单元33获得从控制单元31所提供的数据处理位置信息(例如,图7A中所示的位置A、图8A中所示的位置B、图9A中所示的位置C或图10A中所示的位置D)。在步骤S12,数据位置交换单元33确定所获得的数据处理位置信息是否指示位置A(图7A)。
当在步骤S12确定该数据处理位置信息指示位置A时,过程前进到步骤S13,在其中,数据位置交换单元33直接将邻近像素区域43的数据存储在交换数据缓冲器33A中,而不交换其数据位置(图7B)。
当在步骤S12确定该数据处理位置信息不指示位置A时,过程前进到步骤S14,在其中,数据位置交换单元33进一步确定数据处理位置信息是否指示位置B(图8A)。当在步骤S14确定该数据处理位置信息指示位置B时,过程前进到步骤S15,在其中,数据位置交换单元33交换邻近像素区域43左和右(即,在水平方向上)的数据的数据位置,并将结果数据存储在交换数据缓冲器33A中(图8B)。
当在步骤S14确定该数据处理位置信息不指示位置B时,过程前进到步骤S16,在其中,数据位置交换单元33进一步确定该数据处理位置信息是否指示位置C(图9A)。当在步骤S16确定该数据处理位置信息指示位置C时,过程前进到步骤S17,在其中,数据位置交换单元33交换邻近像素区域43上和下(在垂直方向上)的数据的数据位置,并将结果数据存储在交换数据缓冲器33A中(图9B)。
当在步骤S16确定该数据处理位置信息不指示位置C时,过程前进到步骤S18,在其中,数据位置交换单元33进一步确定该数据处理位置信息是否指示位置D(图10A)。当在步骤S18确定该数据处理位置信息指示位置D时,过程前进到步骤S19,在其中,数据位置交换单元33交换邻近像素区域43左和右(在水平方向上)及上和下(在垂直方向上)的数据的数据位置,并将结果数据存储在交换数据缓冲器33A中(图10B)。
当在步骤S18确定该数据处理位置信息不指示位置D时,过程前进到步骤S20,在其中,数据位置交换单元33确定出现了错误,并从控制单元31重新获得数据处理位置信息。其后,过程返回到步骤S12,且重复执行上文所描述的处理。
作为上文所描述的处理的结果,在交换数据缓冲器33A中存储由5高×5宽的像素组成,且其数据位置已经过交换以致允许将该数据当作像关于位置A的放大处理那样处理的新区域51的数据(图6)。由5高×5宽的像素组成的区域51的数据将被称为“邻近像素区域51”的数据。
其次,将参考图24的流程图描述由像素优先级确定单元34所执行的像素优先级确定处理。当从数据位置交换单元33的交换数据缓冲器33A提供了邻近像素区域51的数据时,就可开始这种处理。
在步骤S31,数据位置交换单元33的确定单元61-1参考LUT 62-1。在步骤S32,确定单元61-1确定邻近像素区域51中的像素P[D2L2]的数据是否代表背景色。当在步骤S32确定邻近像素区域51中的像素P[D2L2]的数据代表背景色时,过程前进到步骤S33,在其中,确定单元61-1确定(证实)邻近像素区域51中的像素P[D2L2]的数据代表“背景色”。
当在步骤S32确定邻近像素区域51中的像素P[D2L2]的数据不代表背景色时,过程前进到步骤S34,在其中,确定单元61-1确定(证实)邻近像素区域51中的像素P[D2L2]的数据代表“前景色”。
类似地,确定单元61-2至61-25也执行上文所描述的处理,以确定邻近像素区域51中的像素P[D2L1]至PU2R2]的每一个的数据是否代表“背景色”或“前景色”。
作为上文所描述的处理的结果,邻近像素区域51的数据的每个像素值唯一地确定为或者是“背景色”,或者是“前景色”。
其次,将参考图25的流程图描述由数据选择标记确定单元36所执行的数据选择标记确定处理。当从像素优先级确定单元34提供了关于邻近像素区域51的数据的像素优先级确定结果时,就可开始这种处理。
在步骤S41,数据选择标记确定单元36中的宽字符处理器72和窄字符处理器73设置相应的数据选择标记为“0”,以初始化。在步骤S42,数据选择标记确定单元36中的字符识别单元71获得从处理模式控制单元35所提供的处理选择信息。在这种情形中所获得的处理选择信息包含关于是执行背景色扩展处理还是前景色扩展处理的信息。
在步骤S43,数据选择标记确定单元36中的字符识别单元71参考字体ROM 12,以识别输入数据的字符类型(“宽字符”或“窄字符”)。当在步骤S42中的处理中所获得的处理选择信息包含关于字符类型的信息时,能够忽略步骤S43中的处理。
在步骤S44,字符识别单元71确定将要经历放大处理的字符是否宽字符。在确定其为宽字符时,字符识别单元71将邻近像素区域51的数据和处理选择信息提供给宽字符处理器72,且然后过程前进到步骤S45。在步骤S45,基于所提供的邻近像素区域51的数据和处理选择信息,宽字符处理器72执行宽字符处理。在下文将参考图26的流程图描述其详细情况的宽字符处理中,做出宽字符的模式确定,且将相应于该模式确定的数据选择标记输出到数据选择器37。
当在步骤S44确定将要经历放大处理的字符不是宽字符,即,为窄字符时,字符识别单元71将邻近像素区域51的数据和处理选择信息提供给窄字符处理器73,且然后过程前进到步骤S46。在步骤S46,基于所提供的邻近像素区域51的数据和处理选择信息,窄字符处理器73执行窄字符处理。在下文将参考图27的流程图描述其详细情况的窄字符处理中,做出窄字符的模式确定,且将相应于该模式确定的数据选择标记输出到数据选择器37。
其次,将参考图26的流程图描述图25中所示的在步骤S45中由宽字符处理器72所执行的宽字符处理的详细情况。
在步骤S51,在邻近像素区域51的数据中,宽字符处理器72确定由包括目标点42的2高×2宽的像素组成的区域81的数据(图13A)是否与第一模式(在这种情形,为图13B中所示的模式82)相匹配。当确定区域81的数据与该第一模式相匹配时,过程前进到步骤S52。另外,宽字符处理器72确定邻近像素区域51的数据是否与第二模式组(在这种情形,为图14至15中所示的模式101至108)的任何一种模式相匹配。
当在步骤S52确定邻近像素区域51的数据与第二模式组的甚至一种模式相匹配时,过程前进到步骤S53,在其中,宽字符处理器72设置数据选择标记为“1”。
当在步骤S51确定区域81的数据不与第一模式相匹配,或者在步骤S52确定邻近像素区域51的数据不与第二模式组相匹配时,过程前进到步骤S54。基于在图25中所示的步骤S42中的处理中从处理模式控制单元35所获得的处理选择信息,宽字符处理器72然后确定是否执行背景色扩展处理。
当在步骤S54确定将要执行背景色扩展处理时,过程前进到步骤S55,在其中宽字符处理器72确定区域81的数据是否与第三模式(在这种情形,为图13C中所示的模式83)相匹配。当在步骤S55确定区域81的数据与该第三模式相匹配时,过程前进到步骤S56,在其中,宽字符处理器72进一步确定邻近像素区域51的数据是否与第四模式组(在这种情形,为图16至19中所示的模式111至127)的任何一种模式相匹配。
当在步骤S56确定邻近像素区域51的数据与第四模式组的甚至一种模式相匹配时,过程前进到步骤S57,在其中,宽字符处理器72设置数据选择标记为“2”。
当在步骤S54确定将不执行背景色扩展处理时,当在步骤S55确定区域81的数据不与第三模式相匹配时,或者当在步骤S56确定邻近像素区域51的数据不与第四模式组相匹配时,过程返回到图25中所示的步骤S46中的窄字符处理。
其次,将参考图27的流程图描述图25中所示的步骤S46中由窄字符处理器73所执行的窄字符处理的详细情况。
在步骤S61,在邻近像素区域51的数据中,窄字符处理器73确定由包括目标点42的2高×2宽的像素组成的区域81的数据(图13A)是否与第五模式组(在这种情形,为图13D至13F中所示的模式84至86)相匹配。当确定区域81的数据与该第五模式组的甚至一种模式相匹配时,过程前进到步骤S62。窄字符处理器73进一步确定邻近像素区域51的数据是否与第六模式组(在这种情形,为图20A至20C中所示的模式131至133)的任何一种模式相匹配。
当在步骤S62确定邻近像素区域51的数据与第六模式组的甚至一种模式相匹配时,过程前进到步骤S63,在其中,窄字符处理器73设置数据选择标记为“3”。
当在步骤S62确定邻近像素区域51的数据不与第六模式组相匹配时,过程前进到步骤S64,在其中,窄字符处理器73进一步确定邻近像素区域51的数据是否与第七模式(在这种情形,为图20D中所示的模式134)相匹配。当在步骤S64中确定邻近像素区域51的数据与该第七模式组相匹配时,过程前进到步骤S65,在其中,窄字符处理器73设置数据选择标记为“4”。
当在步骤S64确定邻近像素区域51的数据不与第七模式组相匹配时,过程前进到步骤S66,在其中,窄字符处理器73进一步确定邻近像素区域51的数据是否与第八模式(在这种情形,为图20E中所示的模式135)相匹配。当在步骤S66确定邻近像素区域51的数据与该第八模式组相匹配时,过程前进到步骤S67,在其中,窄字符处理器73设置数据选择标记为“5”。
当在步骤S66确定邻近像素区域51的数据不与第八模式相匹配时,或者当在步骤S61确定区域81的数据不与第五模式组相匹配时,过程前进到步骤S68。基于在图25中所示的步骤S42中的处理中从处理模式控制单元35所获得的处理选择信息,窄字符处理器73然后确定是否执行背景色扩展处理。
当在步骤S68确定将要执行背景色扩展处理时,过程前进到步骤S69,在其中,窄字符处理器73确定区域81的数据是否与第九模式(在这种情形,为图13G中所示的模式87)相匹配。当在步骤S69确定区域81的数据与该第九模式相匹配时,过程前进到步骤S70,在其中,窄字符处理器73进一步确定邻近像素区域51的数据是否与第十模式组(在这种情形,为图21A中所示的模式141和图21B中所示的模式142)的任何一种模式相匹配。
当在步骤S70确定邻近像素区域51的数据与第十模式组的甚至一种模式相匹配时,过程前进到步骤S71,在其中,窄字符处理器73设置数据选择标记为“6”。
当在步骤S68确定将不执行背景色彩扩展处理时,当在步骤S69中确定区域81的数据不与第九模式相匹配时,或者当在步骤S70中确定邻近像素区域51的数据不与第十模式组相匹配时,过程返回到图25,且数据选择标记确定处理结束。
作为上文所描述的处理的结果,设置数据选择标记为值“0”至“6”的一个。
其次,将参考图28的流程图描述由数据选择器37所执行的数据选择处理。当从数据选择标记确定单元36提供了指示确定结果的数据选择标记时,就可开始这种处理。
在步骤S81,数据选择器37确定所提供的数据选择标记是否指示“0”。当确定该数据选择标记指示“0”时,过程前进到步骤S82,在其中,数据选择器37从自数据位置交换单元33中的交换数据缓冲器33A所提供的邻近像素区域51的数据中选择第一像素(例如,图6中所示的像素P[M0C0])。
当在步骤S81确定该数据选择标记不指示“0”时,过程前进到步骤S83,在其中,数据选择器37进一步确定该数据选择标记是否指示“1”或“3”。当在步骤S83确定该数据选择标记指示“1”或“3”时,过程前进到步骤S84,在其中,数据选择器37从自数据位置交换单元33中的交换数据缓冲器33A所提供的邻近像素区域51的数据中选择相应于前景色的第二像素(例如,相应于图6中所示的前景色的像素P[M0L1])。
当在步骤S83确定该数据选择标记不指示“1”或“3”时,过程前进到步骤S85,在其中,数据选择器37进一步确定该数据选择标记是否指示“2”或“6”。当在步骤S85确定该数据选择标记指示“2”或“6”时,过程前进到步骤S86。数据选择器37从自数据位置交换单元33中的交换数据缓冲器33A所提供的邻近像素区域51的数据中选择相应于背景色的第二像素(例如,相应于图6中所示的背景色的像素P[M0L1])。
当在步骤S85确定该数据选择标记不指示“2”或“6”时,过程前进到步骤S87,在其中,数据选择器37进一步确定该数据选择标记是否指示“4”或“5”。当在步骤S87确定该数据选择标记指示“4”或“5”时,过程前进到步骤S88。数据选择器37从自数据位置交换单元33中的交换数据缓冲器33A所提供的邻近像素区域51的数据中选择相应于前景色的第三像素(例如,相应于图6中所示的前景色的像素P[U1L1])。
当在步骤S87确定该数据选择标记不指示“4”或“5”时,过程前进到步骤S89,在其中,数据选择器37确定出现了错误并从数据选择标记确定单元36重新获得数据选择标记。此后,过程返回到步骤S81,并重复执行上文所描述的处理。
作为上文所描述的处理的结果,数据选择器37选择相应于数据选择标记的一个特定像素,并将所选择的像素作为输出数据输出至混合器15。在这个过程中所选择的特定像素仅仅只是一个例子。因而,自然地,可以选择另一个像素,或者可以通过预定的计算选择特定的像素。
其次,将参考图29至34描述放大处理的模拟结果。
图29A示出当宽字符经历使用传统的最近邻插值的放大处理时所获得的模拟结果。图29B示出当宽字符经历使用宽字符处理器72的前景色扩展处理时所获得的模拟结果。图29C示出当宽字符经历使用宽字符处理器72的前景色扩展处理和背景色扩展处理时所获得的模拟结果。图30A是图29A中所示的区域161的放大视图。图30B是图29B中所示的区域162的放大视图。图31A是图29B中所示的区域163的放大视图。图31B是图29C中所示的区域164的放大视图。
在图29至31中,拥有前景色的像素由黑色表示,以及拥有背景色的像素由白色表示(相同的情况应用于图32至34,稍后将给出关于它们的描述)。图30和31中所示的每个区域的左最上端的像素表示为像素(1,1),且位于水平方向上第m行的位置和垂直方向上第n列的位置的像素表示为像素(m,n)(相同的情况应用于图33和34,稍后将给出关于它们的描述)。
与由使用传统的最近邻插值的放大处理所获得的模拟结果(图30A)相比,由使用宽字符处理器72的前景色扩展处理所得到的模拟结果(图30)示出在从背景色(白色)至前景色(黑色)之间对像素(6,2)、(4,4)、(3,5)、(3,6)、(2,6)和(1,7)进行插值。
同样,与由使用宽字符处理器72的前景色扩展处理所获得的模拟结果(图31A)相比,由使用宽字符处理器72的前景色扩展处理和背景色扩展处理所获得的模拟结果(图31B)示出在从前景色(黑色)至背景色(白色)之间对像素(7,1)、(3,3)、(2,4)、(1,5)、(6,6)和(5,7)进行插值。
图32A示出当窄字符经历使用传统的最近邻插值的放大处理时所获得的模拟结果。图32B示出当窄字符经历使用窄字符处理器73的前景放大处理时所获得的模拟结果。图32C示出当窄字符经历使用窄字符处理器73的前景色扩展处理和背景色扩展处理时所获得的模拟结果。图33A是图32A中所示的区域171的放大视图。图33B是图32B中所示的区域172的放大视图。图34A是图32B中所示的区域173的放大视图。图34B是图32C中所示的区域174的放大视图。
与由使用传统的最近邻插值的放大处理所获得的模拟结果(图33A)相比,由使用窄字符处理器73的前景色扩展处理所得到的模拟结果(图33B)示出在从背景色(白色)至前景色(黑色)之间对像素(5,2)、(6,3)、(6,4)、(3,5)、(3,6)和(4,7)进行插值。
同样,与由使用窄字符处理器73的前景色扩展处理所获得的模拟结果(图34A)相比,由使用窄字符处理器73的前景色扩展处理和背景色扩展处理所获得的模拟结果(图34B)示出在从前景色(黑色)至背景色(白色)之间对像素(4,1)和(1,4)进行插值,并在从背景色至前景色之间对像素(3,2)进行插值。
如上文所描述的,通过根据字符特征(即,宽字符或窄字符)而改变处理,执行高质量的放大处理是可能的。
尽管上文已经描述了关于由白色(背景色)和黑色(前景色)组成的二值化图像的放大处理,本发明并不局限于此。即,能够在由多于二值的值组成的多值层级图像,例如轮廓线字符和阴影字符上,执行放大处理。在这种情形,基本配置实例与图4中所示的图像放大设备21的那个相同,且能够通过改变像素优先级确定单元34和数据选择标记确定单元36的内部处理而实现配置。
图35是示出当应用于多值分级图像时,像素优先级确定单元34的详细配置的实例的框图。
如图中所示,像素优先级确定单元34包括比较器201-1至201-24。比较器201-1至201-24分别拥有LUT 202-1至202-24、LUT 203-1至203-24和大小比较器204-1至204-24。例如,基于从处理模式控制单元35所提供的背景确定信息、前景确定信息和轮廓线确定信息,在LUT 202-1至202-24及LUT 203-1至203-24中,分别设置黑色、白色和黄色为前景色、背景色和前景轮廓线。
在从数据位置交换单元33所提供的由5高×5宽的像素组成的区域51(图6)的数据中,比较器201-1输入像素P[D2L2]的数据,并基于LUT 202-1,将其像素值转换成为给出用于处理该像素值的优先级顺序的值。进一步,在区域51的数据中,比较器201-1输入像素P[M0C0](即,目标点42)的数据,并基于LUT 203-1,将其像素值转换为给出用于处理该像素值的优先级顺序的值。
即,如上文所描述的,因为分别设置黑色、白色和黄色为前景色、背景色和前景轮廓线,在LUT 202-1和203-1中,在这种情形中的优先级顺序一般为“黑色>黄色(轮廓线)>白色”。因而,例如,将像素值转换成为给出一个顺序,例如黑色=100,轮廓线=50,和白色=1的顺序,的值。
根据所转换的值,大小比较器204-1将目标点42(像素P[M0C0])的数据与像素P[D2L2](IN)的数据(给出顺序的值)相比较,分配图36中所示的代码,并将比较结果作为F[X]输出至数据选择标记确定单元36。这种情形中的X指示相对于目标点42的位置。
如图36中所示,“0”分配给P[M0C0]≥P[D2L2](IN),“1”分配给P[M0C0]≤P[D2L2](IN),“2”分配给P[M0C0]>P[D2L2](IN),以及“3”分配给P[M0C0]<P[D2L2](IN)。
在由从数据位置交换单元33所提供的5高×5宽的像素组成的区域51(图6)的数据中,比较器201-2至201-24分别输入像素P[D2L1]至P[U2R2]的数据,并基于LUT 202-2至202-24,将其像素值转换成为给出用于处理该像素值的优先级顺序的值。进一步,在区域51的数据中,比较器201-2至201-24输入像素P[M0C0](即,目标点42)的数据,并基于LUT 203-2和203-24,将其像素值转换成为给出用于处理该像素值的优先级顺序的值。根据所转换的值,大小比较器204-2至204-24将目标点42(像素P[M0C0])的数据与像素P[D2L1]至P[U2R2](IN)的每一个的数据相比较,分配图36中所示的代码,并以F[X]的形式将比较结果输出至数据选择标记确定单元36。
关于目标点42的比较器并不是必需的,但可以这样排列,以致默认代码“0”分配给目标点42,且将比较结果输出到数据选择标记确定单元36。
在前景色扩展处理的情形中,目标点42拥有背景色。因而,当从像素优先级确定单元34所提供的F[X]指示代码“3”时,数据选择标记确定单元36确定其为前景色,以及当F[X]指示代码“0”时,数据选择标记确定单元36确定其为背景色。同样,在背景色扩展处理的情形中,目标点42拥有前景色。因而,当从像素优先级确定单元34所提供的F[X]指示代码“1”时,数据选择标记确定单元36确定其为前景色,以及当F[X]指示代码“2”时,数据选择标记确定单元36确定其为背景色。
通过上文所描述的确定,在多值层级图像上执行高质量的放大处理是可能的。
其次,将参考图37和38描述关于多值层级图像的放大处理的模拟结果。
图37A示出当多值层级字符经历使用传统的最近邻插值的放大处理时所获得的模拟结果。图37B示出当多值层级字符经历根据本发明的放大处理时所获得的模拟结果。图38A为图37A中所示的区域211的放大视图,以及图38B示出图37B中所示的区域212的放大视图。
在图37和38中,拥有前景色的像素由黑色表示,拥有背景色的像素由白色表示,以及关于轮廓线的像素由灰色表示。图38中所示的每个区域中左边最上端的像素表示为像素(1,1),以及位于水平方向上第m行的位置和垂直方向上第n列的位置的像素表示为像素(m,n)。
与由使用传统的最近邻插值的放大处理所获得的模拟结果(图38A)相比,由根据本发明的放大处理所获得的模拟结果(图38B)示出在从轮廓线(灰色)至背景色(白色)之间对像素(2,1)、(4,3)和(6,5)进行插值,并在从前景色至轮廓线之间对像素(2,5)和(4,7)进行插值。
如上文所描述的,根据本发明,在二值图像和多值图像两者上执行高质量的放大处理,而保持成本低下,是可能的。
尽管已经对在其中将本发明应用于OSD设备的情形给出了上述描述,但自然地,将本发明应用于,例如,用于显示有关个人计算机的文本区域或像字符或图形那样的图形图像的系统,也是可能的。
尽管已经对关于以为2的垂直放大因子和为2的水平放大因子放大字符的处理的情形的实例给出了描述,但本发明并不局限于此。例如,关于垂直和水平方向两者以相同的放大因子,例如为3的垂直放大因子和为3的水平放大因子,或者为4的垂直放大因子和为4的水平放大因子,或者关于垂直和水平方向以不同的放大倍数,例如为2的垂直放大因子和为1的水平放大因子,来放大字符也是可能的。
如上文所描述的,能够通过硬件执行该系列处理,也能够通过软件执行该系列处理。在这种情形,例如,,以如图39中所示的个人计算机300实现图像放大设备21。
在图39中,CPU(中央处理单元)301根据ROM 302中所存储的程序或从存储单元308加载到RAM(随机存取存储器)303中的程序执行各种各样类型的处理。如所需的,RAM 303也存储,例如,CPU 301执行各种各样类型的处理所需要的数据。
CPU 301、ROM 302和RAM 303通过总线304互相连接。输入/输出接口305也连接到总线304。
包括键盘和鼠标的输入单元306、包括显示器等等的输出部分、存储单元308和通信单元309都连接到输入/输出接口305。通信单元309通过网络执行通信处理。
如所需的,驱动器310也连接到输入/输出接口305,且适当地,例如,可移动介质,如磁盘、光盘、光磁盘,或半导体存储器,连接到驱动器310。如所需的,在存储单元308上安装从介质311所读取的计算机程序。
如图39中所示,用于记录安装在计算机上且由该计算机置于可执行状态的程序的存储介质不但以可移动介质311而实现,分配为给用户提供程序,而且以,例如,在其中存储程序的ROM 303或存储单元308中所包括的硬盘而实现,ROM 303和硬盘以预先合并入该设备的主单元的状态提供给用户。可移动介质311的实例包括磁盘(包括软磁盘)、光盘(包括CD-ROM(压缩光盘-只读存储器)或DVD(数字多功能光盘))、光磁盘(包括MD(迷你光盘)(注册商标)或在其中记录程序的半导体存储器
于此,用于描述在存储介质上所记录的程序的步骤不但包括根据所包括的次序而时序地执行的处理,而且包括当前或单独地执行而并不必定时序地处理的处理。
于此,“系统”指的是由多个设备组成的整个设备。

Claims (7)

1.一种用于放大图像的信息处理设备,包括:
保持装置,用于保持所述图像中的邻近像素,所述邻近像素包括目标像素;
分割装置,用于分割所述目标像素;
辨别装置,用于关于由所述保持装置所保持的每个像素,在主体色和背景色之间进行辨别;
第一模式确定装置,用于确定所述主体色和所述背景色的排列模式是否与用于扩展所述主体色的第一模式相匹配,其中基于所述辨别装置所执行的辨别的结果来获得所述排列模式;
第二模式确定装置,用于确定所述主体色和所述背景色的排列模式是否与用于扩展所述背景色的第二模式相匹配,其中基于所述辨别装置所执行的辨别的结果来获得所述排列模式;和
选择装置,用于基于由所述第一模式和第二模式确定装置所执行的确定的结果,从所述邻近像素中选择适于由所述分割装置所分割的所述目标像素的数据。
2.如权利要求1所述的信息处理设备,进一步包括:
确定装置,用于确定是否改变包括所述目标像素的所述邻近像素的像素分布,所述邻近像素由所述保持装置保持;以及
数据交换设备,用于基于由所述确定装置所执行的确定的结果,改变包括所述目标像素的所述邻近像素的像素分布。
3.如权利要求1所述的信息处理设备,其中所述图像为字符,且
所述第一和第二模式的每一个都包括根据所述字符的类型而确定的多级模式。
4.如权利要求1所述的图像处理设备,其中所述辨别装置通过将所述目标像素与所述邻近像素相比较,而在所述主体色和所述背景色之间进行辨别。
5.一种用于放大图像的图像处理设备的信息处理方法,所述方法包括:
保持所述图像中的邻近像素的保持步骤,所述邻近像素包括目标像素;
分割所述目标像素的分割步骤;
关于在所述保持步骤中所保持的每个像素,而在主体色和背景色之间进行辨别的辨别步骤;
确定所述主体色和所述背景色的排列模式是否与用于扩展所述主体色的第一模式相匹配的第一模式确定步骤,其中基于在所述辨别步骤中所执行的所述处理而获得的辨别结果来获得所述排列模式;
确定所述主体色和所述背景色的排列模式是否与用于扩展所述背景色的第二模式相匹配的第二模式确定步骤,其中基于在所述辨别步骤中所执行的所述处理所获得的辨别结果来获得所述排列模式;以及
基于由在所述第一模式和第二模式确定步骤中所执行的所述处理而获得的确定结果,从所述邻近像素中选择适于由在所述分割步骤中所执行的所述处理而分割的所述目标像素的数据的选择步骤。
6.一种存储介质,在其上记录用于致使计算机执行用于放大图像的图像处理设备的图像处理的计算机可读程序,所述程序包括:
保持所述图像中的邻近像素的保持步骤,所述邻近像素包括目标像素;
分割所述目标像素的分割步骤;
关于在所述保持步骤中所保持的每个像素,而在主体色和背景色之间进行辨别的辨别步骤;
确定所述主体色和所述背景色的排列模式是否与用于扩展所述主体色的第一模式相匹配的第一模式确定步骤,其中基于在所述辨别步骤中所执行的所述处理而获得的辨别结果来获得所述排列模式;
确定所述主体色和所述背景色的排列模式是否与用于扩展所述背景色的第二模式相匹配的第二模式确定步骤,其中基于在所述辨别步骤中所执行的所述处理中所获得的辨别结果来获得所述排列模式;以及
基于由在所述第一模式和第二模式确定步骤中所执行的所述处理而获得的确定结果,从所述邻近像素中选择适于由在所述分割步骤中所执行的所述处理而分割的所述目标像素的数据的选择步骤。
7.一种用于致使计算机执行关于用于放大图像的图像处理设备的图像处理的程序,所述程序包括:
保持所述图像中的邻近像素的保持步骤,所述邻近像素包括目标像素;
分割所述目标像素的分割步骤;
关于在所述保持步骤中所保持的每个像素,而在主体色和背景色之间进行辨别的辨别步骤;
确定所述主体色和所述背景色的排列模式是否与用于扩展所述主体色的第一模式相匹配的第一模式确定步骤,其中基于在所述辨别步骤中所执行的所述处理而获得的辨别结果来获得所述排列模式;
确定所述主体色和所述背景色的排列模式是否与用于扩展所述背景色的第二模式相匹配的第二模式确定步骤,其中基于在所述辨别步骤中所执行的所述处理中所获得的辨别结果来获得所述排列模式;以及
基于由在所述第一模式和第二模式确定步骤中所执行的处理而获得的确定结果,从所述邻近像素中选择适于由在所述分割步骤中所执行的处理而分割的所述目标像素的数据的选择步骤。
CNB2005800198134A 2004-06-15 2005-06-06 图像处理设备和方法 Expired - Fee Related CN100517461C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP177123/2004 2004-06-15
JP2004177123A JP4617730B2 (ja) 2004-06-15 2004-06-15 画像処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
CN1969314A true CN1969314A (zh) 2007-05-23
CN100517461C CN100517461C (zh) 2009-07-22

Family

ID=35509945

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800198134A Expired - Fee Related CN100517461C (zh) 2004-06-15 2005-06-06 图像处理设备和方法

Country Status (6)

Country Link
US (1) US8253763B2 (zh)
EP (1) EP1758093B1 (zh)
JP (1) JP4617730B2 (zh)
KR (1) KR101054992B1 (zh)
CN (1) CN100517461C (zh)
WO (1) WO2005124736A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004914A (zh) * 2010-08-12 2011-04-06 汉王科技股份有限公司 检测圆章位置的方法和装置
CN102044235B (zh) * 2009-10-09 2012-11-28 奇景光电股份有限公司 字体反锯齿方法
CN104702878A (zh) * 2015-02-28 2015-06-10 宏祐图像科技(上海)有限公司 基于HDMI协议下区分OSD和Video信号的方法
CN105160634A (zh) * 2015-06-30 2015-12-16 上海交通大学 像素图像放大方法及系统
CN108354279A (zh) * 2018-01-22 2018-08-03 广东乐芯智能科技有限公司 一种手环显示变化的方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0409877D0 (en) * 2004-04-30 2004-06-09 Univ Manchester Preparation of nanoparticle materials
GB2472542B (en) * 2005-08-12 2011-03-23 Nanoco Technologies Ltd Nanoparticles
JP4274238B2 (ja) 2006-12-22 2009-06-03 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US8563348B2 (en) * 2007-04-18 2013-10-22 Nanoco Technologies Ltd. Fabrication of electrically active films based on multiple layers
US8358379B1 (en) * 2009-07-31 2013-01-22 Pixelworks, Inc. Post processing displays with on-screen displays
GB0916700D0 (en) * 2009-09-23 2009-11-04 Nanoco Technologies Ltd Semiconductor nanoparticle-based materials
GB0916699D0 (en) * 2009-09-23 2009-11-04 Nanoco Technologies Ltd Semiconductor nanoparticle-based materials
US8335379B2 (en) * 2009-12-28 2012-12-18 Xerox Corporation System and method for cleanup of MRC images for improved compression and image quality
JP5526874B2 (ja) * 2010-03-09 2014-06-18 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5776419B2 (ja) 2011-07-29 2015-09-09 ブラザー工業株式会社 画像処理装置、画像処理プラグラム
JP5842441B2 (ja) * 2011-07-29 2016-01-13 ブラザー工業株式会社 画像処理装置およびプログラム
JP5853470B2 (ja) 2011-07-29 2016-02-09 ブラザー工業株式会社 画像処理装置、画像処理プラグラム
JP5796392B2 (ja) 2011-07-29 2015-10-21 ブラザー工業株式会社 画像処理装置、および、コンピュータプラグラム
JP5705173B2 (ja) * 2012-06-25 2015-04-22 京セラドキュメントソリューションズ株式会社 画像処理装置および画像形成装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5912486A (ja) * 1982-07-13 1984-01-23 神鋼電機株式会社 文字の拡大補間方法
JPS61123872A (ja) * 1984-11-20 1986-06-11 神崎製紙株式会社 ドツト構成文字の補正拡大方法
JPS61208082A (ja) 1985-03-12 1986-09-16 日本電気株式会社 文字パタ−ン発生装置
JPH0594171A (ja) * 1991-10-02 1993-04-16 Canon Inc 記録方法及びその装置
JPH0668247A (ja) 1992-06-15 1994-03-11 Hitachi Ltd ディジタル画像データ変倍方法および装置
US5627953A (en) 1994-08-05 1997-05-06 Yen; Jonathan Binary image scaling by piecewise polynomial interpolation
JPH08227456A (ja) * 1994-09-22 1996-09-03 Casio Comput Co Ltd ドットパターンスムージング装置及び方法
JP2856149B2 (ja) 1996-05-15 1999-02-10 日本電気株式会社 電子写真プリンタ
JP4345937B2 (ja) * 1998-11-10 2009-10-14 キヤノン株式会社 画像拡大処理回路
JP3676948B2 (ja) * 1999-07-07 2005-07-27 アルプス電気株式会社 画素数変換回路及びこれを用いた画像表示装置
JP4085183B2 (ja) 2002-05-31 2008-05-14 株式会社 エヌティーアイ 遺伝的アルゴリズムによるフォント生成システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102044235B (zh) * 2009-10-09 2012-11-28 奇景光电股份有限公司 字体反锯齿方法
CN102004914A (zh) * 2010-08-12 2011-04-06 汉王科技股份有限公司 检测圆章位置的方法和装置
CN102004914B (zh) * 2010-08-12 2013-01-09 汉王科技股份有限公司 检测圆章位置的方法和装置
CN104702878A (zh) * 2015-02-28 2015-06-10 宏祐图像科技(上海)有限公司 基于HDMI协议下区分OSD和Video信号的方法
CN104702878B (zh) * 2015-02-28 2018-03-16 宏祐图像科技(上海)有限公司 基于HDMI协议下区分OSD和Video信号的方法
CN105160634A (zh) * 2015-06-30 2015-12-16 上海交通大学 像素图像放大方法及系统
CN105160634B (zh) * 2015-06-30 2018-09-21 上海交通大学 像素图像放大方法及系统
CN108354279A (zh) * 2018-01-22 2018-08-03 广东乐芯智能科技有限公司 一种手环显示变化的方法

Also Published As

Publication number Publication date
KR101054992B1 (ko) 2011-08-05
JP2006003420A (ja) 2006-01-05
EP1758093A1 (en) 2007-02-28
JP4617730B2 (ja) 2011-01-26
WO2005124736A1 (ja) 2005-12-29
EP1758093B1 (en) 2014-06-18
US8253763B2 (en) 2012-08-28
WO2005124736A8 (ja) 2006-02-23
CN100517461C (zh) 2009-07-22
KR20070023733A (ko) 2007-02-28
US20080122877A1 (en) 2008-05-29
EP1758093A4 (en) 2012-08-22

Similar Documents

Publication Publication Date Title
CN1969314A (zh) 图像处理设备和方法、存储介质及其程序
CN1258907C (zh) 图像处理设备、图像处理方法
CN1184796C (zh) 图象处理方法和设备以及图象处理系统
CN1190963C (zh) 数据处理装置和方法,学习装置和方法
CN1684492A (zh) 图像词典作成装置、编码装置、图像词典作成方法
CN1525733A (zh) 图像数据中具有不同特征的区域之间的边界检测方法
CN1324526C (zh) 视频信号的自适应缩放
CN1264121C (zh) 数字图象锐化系统
CN1119767C (zh) 字符提取设备及方法,模式提取设备及方法和模式识别设备
CN1195374C (zh) 图像信号处理装置
CN1301492C (zh) 图像处理装置
CN1917578A (zh) 数据处理设备、数据处理方法及程序
CN1592915A (zh) 用户可定义的图像基准点
CN1224948C (zh) 字符显示装置,字符显示方法及其记录介质
CN1805531A (zh) 图像处理装置及方法、记录介质、以及程序
CN1620094A (zh) 用于将图像转换为预定格式的图像处理设备及方法
CN1940912A (zh) 文件作成系统、文件作成方法、程序以及存储介质
CN1510656A (zh) 显示装置、显示方法和显示程序
CN1516073A (zh) 彩色图象处理装置及图案抽取装置
CN1678021A (zh) 图像处理设备和方法、记录媒体和程序
CN101052990A (zh) 图像放大装置及程序
CN1773501A (zh) 图像检索和形成装置、方法及程序、以及记录介质
CN1817047A (zh) 用于处理具有排列的不同色彩分量的图像的图像处理装置,图像处理程序,电子照相机,以及图像处理方法
CN1805499A (zh) 图像处理装置、图像形成装置、图像读取处理装置及方法
CN1846229A (zh) 图像处理设备、图像处理程序和计算机可读记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090722

Termination date: 20150606

EXPY Termination of patent right or utility model