CN100394793C - 像素内插装置、像素内插方法 - Google Patents
像素内插装置、像素内插方法 Download PDFInfo
- Publication number
- CN100394793C CN100394793C CNB2005100547936A CN200510054793A CN100394793C CN 100394793 C CN100394793 C CN 100394793C CN B2005100547936 A CNB2005100547936 A CN B2005100547936A CN 200510054793 A CN200510054793 A CN 200510054793A CN 100394793 C CN100394793 C CN 100394793C
- Authority
- CN
- China
- Prior art keywords
- information
- pixel
- decision block
- reference block
- fragment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000012634 fragment Substances 0.000 claims description 221
- 230000015572 biosynthetic process Effects 0.000 claims description 54
- 238000013459 approach Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 description 97
- 238000001514 detection method Methods 0.000 description 90
- 238000005755 formation reaction Methods 0.000 description 52
- 238000006243 chemical reaction Methods 0.000 description 35
- 238000012545 processing Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 28
- 230000000977 initiatory effect Effects 0.000 description 19
- 230000009466 transformation Effects 0.000 description 16
- 238000003860 storage Methods 0.000 description 13
- 230000000873 masking effect Effects 0.000 description 10
- 230000001915 proofreading effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 230000008676 import Effects 0.000 description 6
- 230000000750 progressive effect Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
- B22D11/00—Continuous casting of metals, i.e. casting in indefinite lengths
- B22D11/12—Accessories for subsequent treating or working cast stock in situ
- B22D11/128—Accessories for subsequent treating or working cast stock in situ for removing
- B22D11/1287—Rolls; Lubricating, cooling or heating rolls while in use
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
Abstract
本专利申请公开判定步骤，基于输入图像信号，判定由多个像素构成的判定块和作为由多个像素构成的参照块、接近上述判定块、并且位于相对于上述判定块移位到至少上1行或下1行的位置的多个参照块的类似度；和输出步骤，用于输出作为位于类似度高的判定块和参照块之间的内插像素的像素信息、基于类似度高的该判定块和/或上述参照块的像素的像素信息生成的像素信息。
Description
发明领域
本发明涉及像素内插装置和像素内插方法。例如，涉及用于将由电视中的隔行扫描视频信息变换成逐行扫描视频信息和用于对经过计算机处理的图像信息进行分辨率变换的像素内插装置、像素内插方法。
背景技术
近年来，进行作为电视广播方式，开始从已有的模拟方式到数字方式的研讨，将称为数字化的新的技术革新作为契机，使电视广播作为信息通信介质上升到更高的水平，完成飞跃的发展。在日本国内已经在用CS(Communition Satellite：通信卫星)的广播和用BS(Broadcasting Satellite：广播卫星)的广播中实现了数字化。进一步现在，也正在进行在地面波中实现数字化的研讨，在最近的将来，将所有的广播波都变成数字方式。
数字电视广播的优点是能够用与在模拟方式中1个频道相当的频带，在数字方式中传送3个频道的节目，使多频道化成为可能。因此，能够实现将新闻和体育或者戏剧等组合起来的多个节目(混合多重编组节目)和在1个频道内广播3个不同的节目的多频道广播等新的服务。
进一步，在数字电视广播中，不限于视频和音频的广播，也使各种附加了数据广播的综合型的广播服务成为可能。作为附加数据广播的服务，分成在电视节目中附加数据信息提供多介质服务和提供与电视节目独立的别的服务，作为主服务，可以举出视听者参加型电视、家中购物、各种信息服务、任何时候想看就能看到的天气预报和新闻等。
为了与这种数字电视广播对应，电视广播的接收装置也完成了进化，薄型大画面的等离子体显示器登场了，已有的显像管型的电视接收机也具有与数字电视广播对应的高精细的分辨率。在这些显示装置中，不进行已有的每一行的隔行扫描视频显示，而进行逐行扫描视频显示。因此，当显示已有的模拟电视广播时，将用于隔行扫描视频信息变换成用于逐行扫描视频信息(以下，称为IP(Interlace-Progressive(隔行-逐行)变换)，进一步将视频信息变换为显示装置所具有的图像分辨率进行显示。
(已有的IP变换处理电路的构成)
这里，我们简单说明已有的IP变换处理电路。
图27是表示一般的IP变换处理电路的构成的方框图。
101、102是用于以场为单位存储视频信息的场信息存储单元。103是运动信息生成单元，通过查看现在正在输入的场信息和从场信息存储单元(2)102输出的、与现在正在输入的场信息比较在过去的1个帧期间输入的场信息的差分，以像素为单位判定是运动图像信息还是静止图像信息，进一步从求得的每个像素的运动信息判定内插像素中的运动并输出。104是用于以行为单位存储输入的视频信息的行信息存储单元。107是进行输入的两个系统的信号的加法计算的加法器。108是求得由加法器107相加得到的值的一半的值的除法器。109是内插信息选择单元，与来自运动信息生成单元103的输出信号相应，从场信息存储单元(1)101输出的与现在正在输入的场信息比较在过去的1个场期间输入的像素信息、和从除法器108输出的在内插像素位置的上下行中的像素值的平均值中选择一个，作为内插像素值。105、106是输入输出速度变换单元，用于以行为单位分别存储从内插像素选择单元109输出的像素信息和输入的像素信息，以输入存储的像素信息的视频信息的成倍速度读出。110是对每1行切换从输入输出速度变换单元(1)105和输入输出速度变换单元(2)106输出的像素信息进行输出的显示信息选择单元。
(已有的IP变换处理电路的工作)
下面，我们说明由以上说明了的已有的IP变换处理电路进行的工作。
将输入的隔行扫描视频信息输入到场信息存储单元(1)101和行信息存储单元104，能够从它们分别得到延迟1个场期间的视频信息和1行前的视频信息。这里在图28中，表示出显示在由隔行扫描显示的NTSC(national television system committee(国家电视系统委员会))信号中视频信息的模式。在NTSC信号中，如(a)所示，由525条水平行构成1个画面，将该1个画面单位称为帧。进一步，将帧分成隔行扫描表现(b)所示的奇数行的奇数场和隔行扫描表现(c)所示的偶数行的偶数场，在NTSC信号中，通过交互地显示该奇数场和偶数场视频，表现525行的视频。即，奇数场和偶数场具有相互内插不足的行的关系。从而，回到图27，从场信息存储单元(1)101，得到与要内插的像素的位置相当的前场中的像素信息，从输入的视频信息和行信息存储单元104，得到在要内插的像素的上下行中的像素信息。进一步从输入的视频信息和行信息存储单元104，通过加法器107和除法器108求得要内插的像素的上下行中的像素信息的平均值，用作运动图像时的内插像素信息。
从场信息存储单元(1)101输出的像素信息，进一步由场信息存储单元(2)102延迟1个场期间，得到比输入的视频信息延迟1个帧期间的视频信息，即，与输入像素的位置相当的前帧中的像素信息。
下面，我们说明运动信息生成单元103。
图29是表示运动信息生成单元103的一个实施例的方框图。
在图29中，1031是求得现在输入的场信息和从场信息存储单元(2)102输出的与现在输入的场信息相比更早1个帧期间输入的场信息的差分的减法器，1032是求得由减法器1031求得的差分值的绝对值的绝对值器，1033是阈值滤波器电路，它比较由绝对值器1032求得的值和预先设定的阈值，当由绝对值器1032求得的值比阈值小时判定该像素为静止图像，输出“0”，当由绝对值器1032求得的值比阈值大时或相等时判定该像素为运动图像，输出“1”，这样，即便当在输入的视频信息中加入噪声那样的不正确的像素信息时，如果多少存在着变动则也可以除去它的影响。1034是用于以行为单位存储从阈值滤波器电路1033输出的每个像素的运动信息的行运动信息存储单元，用它，能够从行运动信息存储单元1034，得到比输入的视频信息早1行的像素中的运动信息。1035是从阈值滤波器电路1033输出的运动信息和从行运动信息存储单元1034输出的前1行的像素中的运动信息，判断这些在行间生成的内插像素中的运动信息并进行输出的内插像素运动信息生成单元。
再次回到图27，在内插像素选择单元109中，当从运动信息生成单元103输出的运动信息为“0”时，选择从场信息存储单元(1)101输出的像素信息作为内插像素信息，当为“1”时选择从除法器108输出的像素信息作为内插像素信息，进行输出。
输入输出速度变换单元(1)105和输入输出速度变换单元(2)106分别以行为单位存储从内插信息选择单元109输出的内插像素信息和输入的视频信息，以输入的视频信息的成倍速度读出存储的像素信息，由显示信息选择单元110对每1行切换从输入输出速度变换单元(1)105输出的像素信息和从输入输出速度变换单元(2)106输出的像素信息，并进行输出。
在以上说明的已有的IP变换方式中，当输入的视频信息为运动图像时和静止图像时生成的内插像素中的像素信息不同。即，当是静止图像时，将从场信息存储单元(1)101输出的过去1帧期间输入的像素信息用作内插像素中的像素信息，从它生成忠实于原来视频信息的内插像素。另一方面，当是运动图像时，将从除法器108输出的位于要进行内插的像素的上下行的像素的平均值用作为内插像素中的像素信息，从而对原来视频信息导致种种恶化的图像质量。特别是，当原来视频信息具有图30所示的斜方向的倾斜时，该弊病显著地显示出来。图31表示由隔1行的隔行扫描输入图30所示原来视频信息，由图27所示的IP变换处理电路进行作为运动图像的内插处理的状态。如从图31可以看到的那样，当由IP变换处理电路进行作为运动图像的内插处理时，将本来如图30所示具有在斜方向平滑的倾斜的视频信息，作为具有阶段状变化的视频信息进行内插处理，成为从视觉上看起来缺少平滑性的图像。
图32表示具有斜方向倾斜的别的例子，表示线宽与1个像素相当的斜线的视频信息。图33表示由隔1行的隔行扫描输入这种视频信息，同样由IP变换处理电路进行作为运动图像的内插处理时的结果。在这种视频信息的情形中，本来具有连续的像素值的斜线，作为虚线显示出来。
对于这样的课题，例如，在专利文献1和专利文献2、专利文献3、专利文献4、专利文献5、专利文献6、专利文献7等中已经提出了种种参照以要进行内插的像素为中心形成多个斜方向的2个像素的组合，从差分小的组合求得内插像素中的像素信息的提案。
[专利文献1]日本特开平6-153169号专利公报
[专利文献2]日本特开2000-115720号专利公报
[专利文献3]日本特开2001-218169号专利公报
[专利文献4]日本特开2001-218170号专利公报
[专利文献5]日本特开2002-252834号专利公报
[专利文献6]日本特许2990737号专利公报
[专利文献7]日本特许2996099号专利公报
发明内容
希望具有称为IP变换和图像分辨率变换的内插像素的技术。本专利申请的发明的目的在于提供新的并且有用的像素内插技术。
如下地构成与本专利申请有关的像素内插装置的发明。
本发明提供一种像素内插装置，其特征在于，具有：用于形成由在多个行上的多个像素构成的判定块的判定块生成单元；用于形成由在多个行上的多个像素构成的多个参照块的参照块生成单元，其中该参照块接近上述判定块并且从上述判定块被移动至少向上1行或向下1行；判定电路，基于输入图像信号，判定所构成的判定块的图像信息和参照块的图像信息之间的类似度；和输出电路，根据具有类似度高的所构成的判定块和参照块的位置信息，输出多个内插像素的位置信息，并且基于具有类似度高的上述判定块和/或上述参照块的像素的像素信息生成内插像素的像素信息。
本发明提供一种像素内插方法，其特征在于：使用由在多个行上的多个像素构成的判定块；由在多个行上的多个像素构成的参照块，该参照块接近于上述判定块并且被移动到位于相对于上述判定块至少向上1行或向下1行的位置，该方法具有以下步骤：判定步骤，基于输入图像信号，判定所构成的判定块的图像信息和参照块的图像信息之间的类似度；和输出步骤，根据具有类似度高的所构成的判定块和参照块的位置信息，输出多个内插像素的位置信息，并且根据具有类似度高的上述判定块和/或上述参照块的像素的像素信息生成内插像素的像素信息。
即，一种像素内插装置，其特征在于：具有，
判定电路，基于输入图像信号，判定由多个像素构成的判定块和作为由多个像素构成的参照块、接近上述判定块、并且位于相对于上述判定块移位到至少上1行或下1行的位置的多个参照块的类似度；和
输出电路，用于输出作为位于类似度高的判定块和参照块之间的内插像素的像素信息、基于类似度高的该判定块和/或上述参照块的像素的像素信息生成的像素信息。
作为根据判定块和/或参照块的像素的像素信息生成内插像素的像素信息的构成，能够采用原封不动地将判定块或参照块的像素的像素信息作为内插像素的像素信息的构成、和用判定块的像素的像素信息和参照块的像素的像素信息两者，通过线性内插等的内插计算，计算内插像素的像素信息的构成。
能够适当地采用上述输出电路输出位于上述参照块和包含构成边缘部分的2个像素的判定块之间的内插像素的像素信息的构成。因此，作为特别适合的构成，能够采用具有检测边缘部分的边缘部分检测电路的构成。
又能够适当地采用上述输出电路输出，
分别使用构成上述判定块内的上述边缘部分的2个像素的像素信息的2个上述内插像素的像素信息；或者，
分别使用在构成上述参照块的多个像素中的与上述判定块中构成边缘部分的上述2个像素对应的2个像素的像素信息的2个上述内插像素的像素信息的构成。
又能够适当地采用上述内插像素是位于与类似度高的上述判定块和上述参照块各自中相互对应的像素之间的中间位置或接近该中间位置的位置上的像素的构成。
又能够采用具有生成用于判定图像运动的运动信息的运动信息生成电路，上述输出电路，当上述运动信息表示是比预定运动大的运动时，输出上述内插像素的上述像素信息的构成。此外，预定的运动也可以是运动0。能够适当地采用当运动小于等于预定的运动时，使用用于形成前或后的图像的像素信息(前或后的场的像素信息)的构成。
构成为当对于上述判定块判定为预定的参照块作为类似度高的参照块，输出该参照块和上述判定块之间的内插像素的像素信息时，禁止使用上述参照块作为接近于上述判定块的判定块的参照块。
又当检测出由线宽为1个像素的片段形成的边缘部分时、和当检测出由线宽为大于等于2个像素的片段形成的边缘部分时，使注目块和参照块的构成不同是特别合适的。
又本专利申请作为像素内插方法的发明包含判定步骤，基于输入图像信号，判定由多个像素构成的判定块和作为由多个像素构成的参照块、接近上述判定块、并且位于相对于上述判定块移位到至少上1行或下1行的位置的多个参照块的类似度；和
输出步骤，用于输出作为位于类似度高的判定块和参照块之间的内插像素的像素信息、基于类似度高的该判定块和/或上述参照块的像素的像素信息生成的像素信息。
又本专利申请包含用于实施该方法的程序和/或收容该程序的记录介质的发明。
附图说明
图1是表示本发明的第1实施方式中的运动信息生成单元的构成的方框图。
图2是表示本发明的第1实施方式中的倾斜校正处理单元的构成的方框图。
图3是表示本发明的第1实施方式中的校正条件检测单元的构成的方框图。
图4是表示本发明的第1实施方式中的参照块生成单元的构成的方框图。
图5是表示本发明的第1实施方式中的判定块生成单元的构成的方框图。
图6是表示本发明的第1实施方式中的块一致检测单元的构成的方框图。
图7是表示本发明的第1实施方式中，进行判定块信息(上)和参照块信息(下)的一致检测的模式图。
图8是表示本发明的第1实施方式中，进行判定块信息(下)和参照块信息(上)的一致检测的模式图。
图9是表示本发明的第1实施方式中，根据判定块信息(上)和参照块信息(下)的一致检测，进行倾斜校正的模式图。
图10是表示本发明的第1实施方式中，根据判定块信息(下)和参照块信息(上)的一致检测，进行倾斜校正的模式图。
图11是表示本发明的第1实施方式中的倾斜校正处理的流程的操作程序图。
图12是表示根据本发明的第1实施方式，对具有边缘部分的图像进行倾斜校正处理的模式图。
图13是表示根据本发明的第1实施方式，对片段的图像进行倾斜校正处理的模式图。
图14是表示本发明的第2实施方式中的倾斜校正处理单元的构成的方框图。
图15是表示本发明的第2实施方式中的校正条件检测单元的构成的方框图。
图16是表示本发明的第2实施方式中的参照块生成单元的构成的方框图。
图17是表示本发明的第2实施方式中的判定块生成单元的构成的方框图。
图18是表示本发明的第2实施方式中的片段块一致检测单元的构成的方框图。
图19是表示本发明的第2实施方式中，检测边缘信息和片段信息的模式图。
图20是表示本发明的第2实施方式中，进行片段判定块信息(上)和片段参照块信息(下)的一致检测的模式图。
图21是表示本发明的第2实施方式中，进行片段判定块信息(下)和片段参照块信息(上)的一致检测的模式图。
图22是表示本发明的第2实施方式中，根据片段判定块信息(上)和片段参照块信息(下)的一致检测，进行倾斜校正的模式图。
图23是表示本发明的第2实施方式中，根据片段判定块信息(下)和片段参照块信息(上)的一致检测，进行倾斜校正的模式图。
图24是表示本发明的第2实施方式中，根据片段判定块信息(下)和片段参照块信息(上)的一致检测，对水平方向上多个内插信息进行倾斜校正的模式图。
图25是表示本发明的第2实施方式中的倾斜校正处理的流程的操作程序图。
图26是表示根据本发明的第2实施方式，对片段的图像进行倾斜校正的模式图。
图27是表示已有的IP变换处理电路的构成的方框图。
图28A、28B和28C是表示用隔行扫描方式的视频信息显示的模式图。
图29是表示已有的运动信息生成单元的构成的方框图。
图30是表示具有边缘部分的图像的模式图。
图31是表示对具有边缘部分的图像进行场内插时的模式图。
图32是表示片段的图像的模式图。
图33是表示对片段的图像进行场内插时的模式图。
图34表示在具有边缘部分的图像中，参照以注目像素为中心在斜方向的像素关系，进行已有的倾斜校正的模式图。
图35表示在片段的图像中，参照以注目像素为中心在斜方向的像素关系的，进行已有的倾斜校正的模式图。
具体实施方式
图34是表示使用对具有图30所示的斜方向的倾斜的视频信息，参照以要内插的像素为中心形成多个斜方向的2个像素的组合，从差分小的组合求得内插像素中的像素信息的方法进行处理的模式的图。
在图34中，当关注称为bn+4的内插像素，求该像素中的像素值时，参照以bn+4为中心的多个斜方向的组，即An+4和Cn+4、An+3和Cn+5、An+5和Cn+3、An+2和Cn+6、An+6和Cn+2的组合，从中选择差分小的组合，即An+6和Cn+2的组合，用这2个像素的平均值作为bn+4中的像素值。如果用这种方法，则对具有图30所示的斜方向的倾斜的视频信息，可以进行没有图31所示的那种阶段状变化的内插处理。
另一方面，图35表示对图32所示的线宽与1个像素相当的斜线的视频信息应用该方法时的模式。
在图35中，当与图34同样地关注称为bn+4的内插像素，求该像素中的像素值时，参照以bn+4为中心的多个斜方向的组，即An+4和Cn+4、An+3和Cn+5、An+5和Cn+3、An+2和Cn+6、An+6和Cn+2的组合，从中求得差分小的组合时，在全部组合中差分相同，不能够特定差分小的组合。即，在这种情形中，不能够应用参照以要内插的像素为中心形成多个斜方向的2个像素的组合从差分小的组合求得内插像素中的像素信息的方法。
我们在下面所示的实施方式中，考虑这种具体的课题。即，在下面所示的实施方式中，揭示了能够对具有斜方向的倾斜的视频信息，实施生成保持平滑性的视频信息的内插处理/校正处理的构成。又，也揭示了对线宽与1个像素相当的斜线的视频信息，也能够实现生成能够作为平滑地连续的斜线显示的视频信息的内插处理·校正处理的实施方式。
即如果根据下面所示的实施方式，则可以输入例如具有斜方向的倾斜的视频信息或线宽与1个像素相当的斜线的视频信息作为隔行扫描视频信息，在对通过将它变换成逐行扫描视频信息生成的欠缺平滑性的阶段状的视频信息或用虚线显示具有本来连续的像素值的斜线的视频信息，在进行校正的帧内，生成由在通过隔行扫描输入的多个行中的像素构成的成为校正处理基准的判定块，进一步生成多组比判定块后输入的、与判定块比较偏离1行程度的上方向或下方向的参照块，比较判定块和多组参照块的每个参照块中的像素信息，当检测出一致时，通过对位于判定块和被检测出一致的参照块的中间的内插像素中的像素信息进行校正，校正作为阶段状的视频信息生成的内插像素中的像素信息或在具有连续的像素值的斜线中欠缺的内插像素中的视频信息，可以生成具有保持本来的平滑性的斜方向的倾斜的视频信息或作为本来连续的斜线显示的视频信息。
又，通过对1个判定块信息生成2个像素程度的校正数据同时进行处理，对具有斜方向的倾斜的视频信息和线宽与1个像素相当的斜线的视频信息，必须进行本来2次的校正处理，但是也可以进行1次的校正处理。
(第1实施方式)
图1是表示作为本发明的一个实施方式的IP变换处理电路的一个构成例的方框图。
在图1中，场信息存储单元(1)101、场信息存储单元(2)102、运动信息生成单元103、行信息存储单元104、输入输出速度变换单元(1)105、输入输出速度变换单元(2)106、加法器107、除法器108、内插信息选择单元109和显示信息选择单元110具有与作为图27所示的已有IP变换处理电路说明的相同的构成。这里在本实施方式中，在输入输出速度变换单元(1)105和输入输出速度变换单元(2)106的前段中追加倾斜校正处理单元111，在倾斜校正处理单元111中，输入所输入的视频信息和从内插信息选择单元109输出的内插信息、和在从运动信息生成单元103输出的内插像素中的运动信息，从这些信息，对下面说明的具有斜方向的倾斜的内插信息进行校正处理，输出输入到输入输出速度变换单元(1)105和输入输出速度变换单元(2)106的视频信息和经过校正处理的内插信息。这里，场信息存储单元(1)101构成本发明的场间内插像素生成单元。又，用行信息存储单元104、加法器107、除法器108构成本发明的场内内插像素生成部件。又，运动信息生成单元103构成本发明的运动信息生成部件。又，内插像素信息选择单元109构成本发明的内插像素信息选择部件。
(倾斜校正处理单元的概略构成)
图2是表示本实施方式中的倾斜校正处理单元111的一个构成例的方框图。这里，倾斜校正处理单元111构成本发明的像素校正装置。
在图2中，1111是可以多行程度地存储从运动信息生成单元103输出的内插像素中的运动信息的运动信息存储单元。1112是可以多行程度地存储输入到IP变换处理电路的隔行扫描视频信息的输入信息存储单元。1113是可以多行程度地存储从内插信息选择单元109输出的内插信息的内插信息存储单元。1114是求输入的2个信号的逻辑值的AND元件。1115是以由多个像素构成的帧为单位判定像素信息的一致/不一致的校正条件检测单元。
在本实施方式中，如图7或图8所示，在输入信息存储单元1112中存储行A、行C、行E、行G这样4行程度的输入视频信息。在内插信息存储单元1113中，存储位于存储在输入信息存储单元1112中的输入视频信息之间的行上的行b、行d、行f这样3行程度的内插信息，在运动信息存储单元1111中，存储与存储在内插信息存储单元1113中的内插信息对应的3行程度的内插信息中的运动信息。在AND元件1114中，当在输入的2个信号全部为高电平的条件时，将对内插信息存储单元1113写入的信号作为有效电平输出高电平信号。即，当从运动信息存储单元1111输出在要被校正的内插像素中的运动信息作为运动图像(高电平)，进一步从校正条件检测单元1115输出成为有效电平(高电平)的边缘校正起动信号时，向内插信息存储单元1113输出有效电平(高电平)的写入信号。当在内插信息存储单元1113中，将从校正条件检测单元1115输出的块一致检测信息(上)、块一致检测信息(下)和根据校正位置信息特定的内插像素的位置信息输出到运动信息存储单元1111，并且从AND元件1114输出的写入信号为有效电平(高电平)时，用从校正条件检测单元1115输出的校正数据改写位于上述被特定的内插像素的位置信息中的像素信息。从内插信息存储单元1113，向输入输出速度变换单元(1)105输出校正处理的内插数据，从输入信息存储单元1112向输入输出速度变换单元(2)106输出延迟了对输入的内插信息进行校正处理所需的时间程度后的输入信息。
下面，我们详细说明简单地说明了的倾斜校正处理单元111中的处理的模式。
(校正条件检测单元的整体构成)
图3是表示本实施方式中的校正条件检测单元1115的一个构成例的方框图。
在图3中，111501是生成多组由用于判定后述的判定块信息和像素信息的一致/不一致的多个像素构成的参照块信息的参照块生成单元。111502是生成成为用于判定从参照块生成单元111501输出的多组参照块信息和像素信息的一致/不一致的基准的判定块信息的判定块生成单元。111503和111504是对每个从判定块生成单元111502输出的判定块信息和从参照块生成单元111501输出的多组参照块信息中的每一个进行像素信息的一致/不一致的判定，将其结果对于每个参照块信息输出的块一致检测单元。111505和11506是从块一致检测单元(1)111503和块一致检测单元(2)111504输出的每个参照块信息的一致/不一致判定结果，输出最初检测出一致的参照块的位置信息的优先级编码器。111507是在从优先级编码器(1)111505和优先级编码器(2)111506输出的位置信息中，选择并输出具有小值的位置信息的大小判定单元。111508是与从大小判定单元111507输出的块一致检测信息(上)和块一致检测信息(下)相应，选择并输出从判定块生成单元111502输出的判定块信息的选择器。111509是用于求由大小判定单元111507选择并输出的位置信息的一半的值的除法器。111510是存储由大小判定单元111507选择并输出的位置信息，进行计数工作的位置信息计数器。111511是求输入的2个信号的逻辑“或”的OR元件。111512是求输入的2个信号的逻辑“与”的AND元件。
(校正条件检测单元的工作)
下面，我们说明根据以上说明的构成的本实施方式中的校正条件检测单元1115的工作。
(参照块生成单元)
参照块生成单元111501主要由用于对每一行多个像素程度地存储从输入信息存储单元1112输出的4行程度的输入视频信息的双稳态多谐振荡器那样的存储元件构成。参照块生成单元111501一面将从输入信息存储单元1112输入的视频信息移位一面顺次地生成并输出参照块信息，并且将完成了移位处理的视频信息输出到后段的判定块生成单元111502。这里，参照块生成单元111501和判定块生成单元111502构成本发明的特定部件。
图4是表示本实施方式中的参照块生成单元111501的一个构成例的方框图。在图4中，11150101～11150103、11150111～11150113、11150121～11150123、11150131～11150133是用于存储输入的视频信息的像素信息存储单元。存储在各像素信息存储单元中的视频信息，在从输入信息存储单元1112输出视频信息的定时，顺次地移位到后段的像素信息存储单元。每一行具有的像素信息存储单元的数量根据从要判定的块的位置到被一些像素参照的参照块的距离而变化。在本实施方式中，如图7所示，因为将位于L0的像素作为判定块，将位于L1到L11的块作为参照块，所以每一行需要的像素信息存储单元的数量为10个。
回到图4，在参照块生成单元111501中，从输入的视频信息和存储在各像素信息存储单元中的视频信息生成并输出每个参照块的信息。在本实施方式中，如图7和图8所示，输出作为参照块由行A、行C、行E这样3行程度的像素信息构成的参照块的信息(上)和由行C、行E、行G这样3行程度的视频信息构成的参照块的信息(下)，作为分别与L1到L11的参照位置对应的信息。又，将从位于每一行最后段的像素信息存储单元(11)11150103、像素信息存储单元(12)11150113、像素信息存储单元(13)11150123、像素信息存储单元(14)11150133输出的视频信息输出到位于参照块生成单元111501后段的判定块生成单元111502。
(判定块生成单元)
回到图3，在判定块生成单元111502中，从参照块生成单元111501输出的视频信息，生成成为用于判定像素信息的一致/不一致的基准的判定块信息，并且判断在判定块信息中是否存在着边缘单元，作为边缘检测信息进行输出。这里，判定块生成单元111502构成本发明的边缘检测部件。
图5是表示本实施方式中的判定块生成单元111502的一个构成例的方框图。
在图5中，1115020～1115023是用于存储输入的视频信息的像素信息存储单元。在从参照块生成单元111501输出视频信息的定时，顺次地更新存储在各像素信息存储单元中视频信息。在判定块生成单元111502中，从存储在各像素信息存储单元中的视频信息生成并输出判定块信息。在本实施方式中，如图7和图8所示，输出作为判定块由行A、行C、行E这样3行程度的视频信息构成的判定块信息(上)和由行C、行E、行G这样3行程度的视频信息构成的判定块信息(下)。又，在判定块生成单元111502中，由边缘判定单元1115024，从输入的4行程度的视频信息中位于行C和行E的像素的差分信息，判断是否在行C和行E的像素间存在边缘单元，输出该判断结果作为边缘检测信息。
(块一致检测单元)
再次回到图3，在块一致检测单元(1)111503中，分别对每个像素比较从判定块生成单元111502输出的判定块信息(上)和从参照块生成单元111501输出的位于L1到L11的参照块信息(下)，对每个参照块信息输出一致/不一致的判定结果。这里，由块一致检测单元(1)111503和块一致检测单元(2)111504构成本发明的判定部件。
图7表示在块一致检测单元(1)111503中经过处理的判定块信息(上)和参照块信息(下)的位置关系。又，图6是表示本实施方式中的块一致检测单元(1)111503的一个构成例的方框图。
在图6中，1115031～1115033是对每个像素比较从判定块生成单元111502输出的判定块信息(上)和从参照块生成单元111501输出的参照块信息(下)，进行一致/不一致判定的一致检测单元。在本实施方式中，如图7所示，因为从参照块生成单元111501输出位于L1到L11的参照块信息(下)，所以具有11个与各个参照块的信息(下)对应的一致检测单元。1115034～1115036是求输入的2个信号的逻辑“与”的AND元件，具有对各个上述一致检测单元组合成1个的构成。1115037是对从位置信息计数器111510输出的计数值进行解码，与位置信息计数器111510的计数值相应地生成用于掩蔽从一致检测单元输出的判定结果的掩蔽信号的掩蔽信号生成单元。即在掩蔽信号生成单元1115037中，从位置信息计数器111510输出的计数值表示参照块信息(下)的位置，向各个一致检测单元输出掩蔽信号，以强制地使比从位置信息计数器111510输出的计数值小的参照块信息(下)中的一致/不一致判定结果为不一致。因此，当将从判定块生成单元111502输出的判定块信息(上)更新成新的信息时，能够避免重复参照过去判定为一致的参照块的信息(下)。这里，位置信息计数器111510和掩蔽信号生成单元1115037构成本发明的变更部件。又，位置信息计数器111510构成本发明的保持部件。
再次回到图3，在块一致检测单元(2)111504中，分别对每个像素比较从判定块生成单元111502输出的判定块信息(下)和从参照块生成单元111501输出的位于L1到L11的参照块信息(上)，对每个参照块信息输出一致/不一致的判定结果。它的构成与图6所示的块一致检测单元(1)111503中构成例相同。图8表示在块一致检测单元(2)111504中经过处理的判定块信息(下)和参照块信息(上)的位置关系。
(优先级编码器)
优先级编码器(1)111505和优先级编码器(2)111506分别接受从块一致检测单元(1)111503和块一致检测单元(2)111504输出的一致/不一致判定结果，在L1到L11的一致/不一致判定结果中检测出离开判定块的距离小的参照块信息中的一致判定结果，输出它的位置信息。在本实施方式中，当在判定块信息和位于L1的参照块信息中检测出一致时，输出用16进制数表示的“1”，当在判定块信息和位于L11的参照块信息中检测出一致时，输出用16进制数表示的“B”，当没有检测出一致时，输出“F”。
(大小判定单元)
在大小判定单元111507中，比较从优先级编码器(1)111505和优先级编码器(2)111506输出的值，选择并输出小的一方的值。用除法器111509使从大小判定单元111507输出的值成为一半的值，作为校正位置信息进行输出。又在块一致检测信息(上)或块一致检测信息(下)中反映选择了哪一个输出，并从大小判定单元111507输出。即，当选择从优先级编码器(1)111505输出的值时令块一致检测信息(上)为“1”和块一致检测信息(下)为“0”进行输出，当选择从优先级编码器(2)111506输出的值时令块一致检测信息(上)为“0”和块一致检测信息(下)为“1”进行输出。又，当即便在参照块中没有检测出一致，从大小判定单元111507输出“F”值时，令块一致检测信息(上)和块一致检测信息(下)都为“0”进行输出。在OR元件111511中，当在块一致检测单元(1)111503和块一致检测单元(2)111504中在某个参照块中检测出一致，将“1”输出到块一致检测信息(上)或块一致检测信息(下)中的某一个时，向位置信息计数器111510输出“1”。
(位置信息计数器)
在位置信息计数器111510中，将从OR元件111511输出的信号作为加载起动信号，当输出“1”时，取入从这时的大小判定单元111507输出的值作为计数器值。又，当对于参照块中都没有检测出一致，从OR元件111511输出“0”时，使计数器值减少1，当在计数器值为“0”从OR元件111511输出“0”时，使计数器值维持“0”不变。
(选择器)
选择器111508按照从大小判定单元111507输出的块一致检测信息(上)和块一致检测信息(下)，选择从判定块生成单元111502输出的判定块信息(上)和判定块信息(下)中的某一个，作为校正数据进行输出。即，当块一致检测信息(上)为“1”时选择判定块信息(上)，当块一致检测信息(下)为“1”时选择判定块信息(下)，作为校正数据进行输出。当在参照块中都没有检测出一致，令块一致检测信息(上)和块一致检测信息(下)都为“0”进行输出时，即便选择判定块信息(上)和判定块信息(下)中的某一个进行输出，对倾斜校正处理单元111的工作也没有任何影响。
(边缘校正起动信号)
在AND元件111512中，当从判定块生成单元111502输出的边缘检测信息和来自OR元件111511的输出信号为“1”时，令边缘校正起动信号为“1”进行输出。即，当在从判定块生成单元111502输出的判定块信息中包含边缘信息，在从参照块生成单元111501输出的多个参照块信息中检测出判定块信息和像素信息一致的块时，意味着表示在校正条件检测单元1115中具备用于实施校正处理的条件，令边缘校正起动信号为“1”进行输出。
(在内插信息存储单元中的校正处理)
再次回到图2，当边缘校正起动信号为“1”从校正条件检测单元1115输出，而且从运动信息存储单元1111输出的要校正的像素中的运动信息是运动图像时，从AND元件1114令实施校正处理的写入信号为“1”并输出到内插信息存储单元1113。在内插信息存储单元1113中，当令从AND元件1114输出的写入信号为“1”进行输出时，用从校正条件检测单元1115输出的校正数据改写在从校正条件检测单元1115输出的校正位置信息和块一致检测信息(上)和块一致检测信息(下)特定的位置上的内插信息。这里，校正条件检测单元1115构成本发明的校正部件。
(内插信息的校正处理)
图9和图10表示根据以上说明的构成，对具有斜方向的倾斜的视频信息进行内插信息的校正的模式。
图9表示在从判定块生成单元111502输出的判定块信息(上)和从参照块生成单元111501输出的多个参照块信息(下)中，只检测像素信息一致的块的情形。
在图9的情形中，在位于L4到L7的参照块信息中检测出具有与判定块信息(上)相同的像素信息的参照块信息(下)。这时，从优先级编码器(1)111505输出到离开判定块的距离为最小的L4的距离，即称为“4”的值作为位置信息。另一方面，因为在块一致检测单元(2)111504中没有检测出一致的块，所以从优先级编码器(1)111505输出称为“F”的值作为位置信息。下面，在大小判定单元111507中，比较从优先级编码器(1)111505和优先级编码器(2)111506输出的值，选择值小的称为“4”的值进行输出，并且令块一致检测信息(上)为“1”进行输出，将称为“4”的值作为计数器值加载在位置信息计数器111510中。又，从校正条件检测单元1115，将作为从大小判定单元111507输出的值“4”的一半值的称为“2”的值作为校正位置信息输出到内插信息存储单元1113。这里，校正条件检测单元1115构成本发明的像素位置特定部件。
在选择器111508中，因为块一致检测信息(上)为“1”，所以将在判定块信息(上)的像素信息中位于行C和行E的像素信息作为校正数据进行输出。
这里，对1个判定块信息生成2个像素程度的校正数据，同时进行处理，但是根据它能够得到下面说明的那种效果。
为了将欠缺用图31所示的已有的IP变换方式处理的平滑性的阶段状的视频信息校正成保持原来的平滑性的视频信息，必须用白的像素信息校正存在于边缘单元中的内插信息(在行b中位于bn+5、bn+6、bn+7、bn+8的内插信息、在行d中位于dn+1、dn+2、dn+3、bn+4的内插信息)中的左半部分，用黑的像素信息校正右半部分。这里因为对1个判定块信息生成并处理1个像素程度的校正信息，所以只进行左半部分或右半部分中某一方的处理。如本实施方式那样，通过对1个判定块信息生成并同时处理2个像素程度的校正信息，可以同时进行左半部分或右半部分的校正。
现在回到图9所示的情形中的校正处理的说明，因为令边缘检测信息为“1”从判定块生成单元111502输出，所以令边缘校正处理起动信号为“1”从AND元件111512输出。
在内插信息存储单元1113中，从校正条件检测单元1115输出的校正位置信息，判断为对位于L2的内插信息进行校正，又，从块一致检测信息(上)为“1”判断为对位于行d和行f的内插信息进行校正，当位于L2的行d和行f的内插像素是运动图像时，用从校正条件检测单元1115输出的校正数据改写在该位置上的内插信息。
以上，完成将在L0中的像素信息作为判定块信息的校正处理，接着将在L1中的像素信息作为判定块信息重复同样的处理，但是这时，因为用位置信息计数器111510存储称为“4”的位置信息，所以可以忽视与从L2到L4的参照块信息(下)的一致检测结果。用L5以后的参照块信息(下)进行一致检测。因此，当将判定块信息更新成下一个块时，可以避免重复选择并处理与在前面的判定块信息中处理的相同的参照块信息(下)。(实际上因为用参照块生成单元111501和判定块生成单元111502进行像素信息的移位，所以将L1中的判定块信息(上)作为L0中的判定块信息(上)，将L2到L4的参照块信息(下)作为L1到L3的参照块信息(下)进行处理。)
又，在本实施方式中，从判定块信息生成校正数据，但是即便从判定块信息和由优先级编码器(1)111505选择的参照块信息(下)生成校正数据，也没有改变本发明中提出的方法。即，也可以将位于L2的行d的内插像素中的校正数据作为位于L0的行C的像素信息和位于L4的行E的像素信息的平均值，将位于L2的行f的内插像素中的校正数据作为位于L0的行E的像素信息和位于L4的行G的像素信息的平均值。
图10表示在从判定块生成单元111502输出的判定块信息(下)和从参照块生成单元111501输出的多个参照块信息(上)中，只检测像素信息一致的块的情形。
在图10的情形中，在位于L4到L7的参照块信息中检测具有与判定块信息(下)相同的像素信息的参照块信息(上)。这时，将到离开判定块的距离最小的L4的距离，即称为“4”的值作为位置信息从优先级编码器(2)111506输出。另一方面，因为在块一致检测单元(1)111503中没有检测出一致的块所以将称为“F”的值作为位置信息，从优先级编码器(1)111505输出。下面，在大小判定单元111507中，比较从优先级编码器(1)111505和优先级编码器(2)111506输出的值，选择值小的称为“4”的值进行输出，并且令块一致检测信息(下)为“1”进行输出，将称为“4”的值作为计数器值加载在位置信息计数器111510中。又，从校正条件检测单元1115，将作为从大小判定单元111507输出的值“4”的一半值的称为“2”的值作为校正位置信息输出到内插信息存储单元1113。
在选择器111508中，因为块一致检测信息(下)为“1”，所以将在判定块信息(下)的像素信息中位于行C和行E的像素信息作为校正数据进行输出。因为令边缘检测信息为“1”从判定块生成单元111502输出，所以令边缘校正起动信号为“1”从AND元件111512输出。
在内插信息存储单元1113中，从校正条件检测单元1115输出的校正位置信息，判断为校正位于L2的内插信息，又，从块一致检测信息(下)为“1”，判断为校正位于行b和行d的内插信息，当位于L2的行b和行d的内插像素为运动图像时，用从校正条件检测单元1115输出的校正数据改写该位置中的内插信息。
(生成内插信息的处理)
图11表示根据以上说明的图1所示的作为本发明的一个实施方式的IP变换处理电路的构成例，生成内插信息的处理流程。
最初用与已有的IP变换处理电路同样的运动信息生成单元103从帧间差分信息求内插像素中的运动信息(S101)，当为运动图像时从场内的像素信息生成内插信息(S102)，当为静止图像时从前场内的像素信息生成内插信息(S103)。下面当内插像素中的运动信息为运动图像时进行在倾斜校正处理单元111中的校正处理，但是首先在输入到判定块生成单元111502的4行程度的像素信息中，判断是否在第2行和第3行的像素间存在边缘单元(S104)，当存在边缘单元时，判断在块一致检测单元(1)111503和块一致检测单元(2)111504中是否检测出一致的块(S105)，当检测出一致的块时，生成进行校正处理的像素位置和校正数据，对在S102求得的内插信息实施倾斜校正处理(S106)。
(内插处理结果)
图12和图13表示根据以上说明的图1所示的作为本发明的一个实施方式的IP变换处理电路的构成例，对具有斜方向的倾斜的视频信息进行作为运动图像的内插处理时的结果。
图12是表示对图30所示的具有斜方向的倾斜的视频信息进行根据本实施方式的内插处理的模式的图。如观看图12进行判断的那样，如果根据本实施方式，则可以进行在斜方向的倾斜单元中保持平滑性的显示。又图13是表示对图32所示的线宽与1个像素相当的斜线的视频信息进行根据本实施方式的内插处理的模式的图。如观看图13进行判断的那样，如果根据本实施方式，则用虚线表示在已有的IP变换处理电路中具有本来连续的像素值的斜线，但是可以将欠缺的斜线的信息(位于dn+3、dn+4、dn+5、bn+9、bn+10的内插信息)作为本来连续的斜线进行显示。
本实施方式说明了当输入隔行扫描视频信息，将其变换成逐行扫描产生的视频信息时，根据场内的视频信息考虑到斜方向的边缘，产生内插像素的像素信息的例子。另一方面，本专利申请的发明能够应用于任意的分辨率变换(特别是使像素数增大的变换)。这时，内插像素的位置不限于位于判定类似的判定块和参照块的中间位置。当然在本专利申请的发明中能够用构成上述判定块的像素的像素信息和/或构成上述参照块的像素的像素信息，生成判定为类似的判定块和参照块之间的任意位置的像素的像素信息。但是优先的构成是根据上述预定像素的像素信息和/或上述对应的像素的像素信息决定在判定为类似的判定块和参照块之间，
(1)位于构成该判定块的像素中的预定像素和与构成上述参照块的像素中的上述参照块中的上述预定像素对应的像素(用于判定与构成参照块的像素中的上述预定像素的类似度的像素)之间的中间位置的像素，或者
(2)接近(特别好的是最接近)该中间位置的位置的像素(当在上述中间位置中不存在内插像素时该构成是有效的)
的像素信息的构成。即本专利申请的发明不仅能够用于IP变换，而且也能够用于非隔行信号(逐行操作信号：包含经过IP变换的信号)。所以，不限于电视信号，对于计算机中处理的那种视频信息和打印信息也可以应用。
又，我们揭示了当形成运动大(运动的)图像时，用上述详细说明了的构成和步骤生成内插像素的信息的构成，但是这也可以在形成运动少(包含不运动的情形)图像的情形中进行。
(第2实施方式)
在第1实施方式中，我们说明了在包含要校正的内插像素的同一场内，生成由隔行扫输入的多个行中的像素构成的成为校正处理的基准的判定块，进一步生成多组在比判定块后输入的、与判定块相比偏离到1行程度的上方向或下方向的参照块，比较判定块和多组参照块的每个参照块中的像素信息，当检测出一致时，对位于判定块和检测出一致的参照块的中间的内插像素中的像素信息进行校正的方法。又，我们说明了通过对1个判定块信息生成2个像素程度的校正数据同时进行处理，对具有斜方向的倾斜的视频信息和线宽与1个像素相当的斜线的视频信息，必须进行本来为2次的校正处理，但是也可以进行1次的校正处理的方法。因此，对于如图30所示的具有斜方向的倾斜的视频信息，能够得到图12所示的良好的内插信息，又即便对于如图32所示的线宽与1个像素相当的斜线的视频信息，如图13所示地也可以避免用虚线表示具有本来连续的像素值的斜线。
但是，当察看根据第1实施方式对图13所示的线宽与1个像素相当的斜线的视频信息进行内插处理的结果时，在dn、dn+1、dn+2、dn+6、dn+7、dn+8、bn+6、bn+7、bn+8中的内插像素中，残留着由已有的IP变换处理生成的内插结果，本来线宽与1个像素相当的斜线的视频信息，作为在该地方持有3个像素程度的宽度的斜线显示出来，结果作为欠缺平滑性的阶段状的斜线显示出来。
为了改善这种内插结果，可以在第1实施方式中表示的倾斜校正处理中加上若干改良。即，在第1实施方式中，通过分别在垂直方向具有3个像素程度(3行程度)的像素信息，在水平方向具有1个像素程度的像素信息，构成成为校正处理基准的判定块、和在比判定块后输入的与判定块比较偏离到1行程度的上方向或下方向的多组参照块，但是即便它们与水平方向有关，由于具有多个像素程度的像素信息，也可以对由已有的IP变换处理生成的赋予斜线上下的内插像素的内插信息进行校正。
因此，在本实施方式中，我们说明设置对具有斜方向的倾斜的视频信息实施第1实施方式中所示的校正处理，并且进一步判断输入的视频信息是否是线宽与1个像素相当的斜线的视频信息，当判断输入的隔行扫描视频信息为线宽与1个像素相当的斜线的视频信息时，除了对具有斜方向的倾斜的视频信息进行校正处理外，还用判定块和在水平方向也具有多个像素程度的像素信息的多组的参照块进行校正处理的方法。
在本实施方式中，IP变换处理电路整体的构成具有与图1所示的第1实施方式中的构成例相同的构成。
(倾斜校正处理单元的概略构成)
图14是表示本实施方式中的倾斜校正处理单元111的一个构成例的方框图。
在图14中，1111、1112和1114分别是具有与第1实施方式中说明的相同构成的运动信息存储单元、输入信息存储单元和AND元件。1116是可以多行程度地存储从内插信息选择单元109输出的内插信息的内插信息存储单元，对具有在第1实施方式中说明的斜方向的倾斜的视频信息进行校正处理，并且当输入的隔行扫描视频信息为线宽与1个像素相当的斜线的视频信息时进行校正处理。1117是求输入的2个信号的逻辑“或”的OR元件。1118是校正单元检测单元，除了以在第1实施方式中说明的垂直方向中由多个像素构成的块为单位判定像素信息的一致/不一致以外，判断输入的隔行扫描视频信息是否为线宽与1个像素相当的斜线的视频信息，当为线宽与1个像素相当的斜线的视频信息时，也在水平方向上以具有多个像素程度的像素信息的构成的块为单位，判定像素信息的一致/不一致。
下面，我们详细说明具有以上说明的构成的，在本实施方式中的倾斜校正处理单元111中的处理的模式。
(校正条件检测单元的整体构成)
图15是表示本实施方式中的校正条件检测单元1118的一个构成例的方框图。
在图15中，111801是生成多组由用于判定后述的判定块信息和片段判定块信息与像素信息的一致/不一致的多个像素构成的参照块信息和片段参照块信息的参照块生成单元。111802是生成成为用于判定从参照块生成单元111801输出的多组参照块信息和片段判定块信息与像素信息的一致/不一致的基准的判定块信息和片段判定块信息的判定块生成单元。111803和11804是对从判定块生成单元111802输出的判定块信息和从参照块生成单元111801输出的多组参照块信息中的每一个进行像素信息的一致/不一致的判定，将其结果对于每个参照块信息进行输出的块一致检测单元。111817和111818是对从判定块生成单元111802输出的片段判定块信息和从参照块生成单元111801输出的多组片段参照块信息中的每一个进行像素信息的一致/不一致的判定，将其结果对于每个片段参照块信息进行输出的片段块一致检测单元。111805和111806是从分别从块一致检测单元(1)111803和块一致检测单元(2)111804输出的每个参照块信息的一致/不一致判定结果，输出最初检测出一致的块的位置信息的优先级编码器。111819和111820是从分别从片段块一致检测单元(1)111817和片段块一致检测单元(2)111818输出的每个片段参照块信息的一致/不一致判定结果，输出最初检测出一致的块的位置信息的片段优先级编码器。111807是在从优先级编码器(1)111505和优先级编码器(2)111506输出的位置信息中，选择并输出具有小值的位置信息的大小判定单元(1)。111821是在从片段优先级编码器(1)111819和片段优先级编码器(2)111820输出的位置信息中，选择并输出具有小值的位置信息的大小判定单元(2)。111808是与从大小判定单元(1)111807和大小判定单元(2)111821输出的块一致检测信息(上)、块一致检测信息(下)、片段块一致检测信息(上)和片段块一致检测信息(下)相应，选择并输出从判定块生成单元111802输出的判定块信息或片段判定块信息的选择器(1)。111813是与从判定块生成单元111802输出的边缘检测信息和片段检测信息相应地选择并输出在从大小判定单元(1)111807和大小判定单元(2)111821输出的值中的某一方的值的选择器(2)。111809是用于求由选择器(2)111813选择并输出的位置信息的一半的值的除法器。111810是存储由选择器(2)111813选择并输出的位置信息，进行向下计数的位置信息计数器。111811、111814和111816是求输入的2个信号的逻辑“或”的OR元件。111812和111815是求输入的2个信号的逻辑“与”的AND元件。
(校正条件检测单元的工作)
下面，我们说明根据以上说明的构成的，本实施方式中的校正条件检测单元1118的工作。
(参照块生成单元)
参照块生成单元111801，与第1实施方式中说明的参照块生成单元111501同样，主要由用于对每一行多个像素程度地存储从输入信息存储单元1112输出的4行程度的输入视频信息的双稳态多谐振荡器那样的存储元件构成。这里，参照块生成单元111801和判定块生成单元111802构成本发明的特定部件。
图16是表示本实施方式中的参照块生成单元111801的一个构成例的方框图。
在图16中，11180101～11180104、11180111～11150114、11180121～11180124、11180131～11180134是用于存储输入的视频信息的像素信息存储单元。存储在各像素信息存储单元中的视频信息，在从输入信息存储单元1112输出视频信息的定时，顺次地移位到后段的像素信息存储单元。每一行具有的像素信息存储单元的数量根据从要判定的块的位置到一些像素的参照块的距离而变化。在本实施方式中，与第1实施方式中说明的参照块生成单元111501同样，为了生成位于L1到L11的参照块信息，使每一行具有10个像素信息存储单元。在参照块生成单元111801中，与第1实施方式中说明的参照块生成单元111501同样，从输入的视频信息和存储在各像素信息存储单元中的视频信息生成并输出由3行程度的视频信息构成的参照块信息(上)和参照块信息(下)，但是进一步在参照块生成单元111801中，如图20和图21所示，使水平方向上具有4个像素程度的视频信息的片段参照块的信息(上)和片段参照块的信息(下)分别与LB1到LB8的参照位置对应地进行输出。这里在本实施方式中，生成片段参照块的信息使其具有4个像素程度的视频信息，但是作为本发明提出的部件不限于4个像素，通过在水平方向上具有多个像素信息，也可以得到本实施方式中的效果。回到图16，将输入到像素信息存储单元(31)11180102、像素信息存储单元(32)11180112、像素信息存储单元(33)11180122、像素信息存储单元(34)11180132的视频信息同时输出到位于参照块生成单元111801后段的判定块生成单元111802。
(判定块生成单元)
回到图15，在判定块生成单元111802中，从参照块生成单元111801输出的视频信息，生成成为用于判定像素信息的一致/不一致的基准的判定块信息和片段判定块信息，并且判断在判定块信息中是否存在着边缘单元或片段，作为边缘检测信息和片段检测信息进行输出。这里，判定块生成单元111802构成本发明的边缘检测部件。
图17是表示本实施方式中的判定块生成单元111802的一个构成例的方框图。
在图17中，11180201～11180204、11180211～11180214、11180221～11180224、11180231～11180234是用于存储输入的视频信息的像素信息存储单元。在从参照块生成单元111801输出视频信息的定时，将存储在各像素信息存储单元中的视频信息顺次地移位到后段的像素信息存储单元。在判定块生成单元111802中，与第1实施方式中说明的参照块生成单元111502同样，从存储在各像素信息存储单元中的视频信息生成并输出由3行程度的视频信息构成的判定块信息(上)和判定块信息(下)。在本实施方式中，判定块生成单元111802，
如图20和图21所示，进一步输出在水平方向上具有4个像素程度的视频信息的片段参照块的信息(上)和片段参照块的信息(下)。这里在本实施方式中，生成片段参照块的信息使其在水平方向上具有4个像素程度的视频信息，但是与片段参照块信息同样作为本发明提出的部件不限于4个像素，通过在水平方向上具有多个像素信息，也可以得到本实施方式中的效果。
(边缘判定单元和片段判定单元)
回到图17，1118024是从输入的2个像素的像素间差分信息，判断是否存在像素间存在边缘单元的边缘判定单元。11180251～11180254是从输入的4个像素的像素信息，判断是否在片段的片段判定单元。
图9表示用边缘判定单元1118024和片段判定单元(1)11180251、片段判定单元(2)11180252、片段判定单元(3)11180253、片段判定单元(4)11180254进行边缘判定和片段判定的模式。
从像素信息存储单元(111)11180204、像素信息存储单元(112)11180214、像素信息存储单元(113)11180224、像素信息存储单元(114)11180234输出位于L0的4行程度的视频信息。从像素信息存储单元(121)11180203、像素信息存储单元(122)11180213、像素信息存储单元(123)11180223、像素信息存储单元(124)11180233输出位于L1的4行程度的视频信息。从像素信息存储单元(131)11180202、像素信息存储单元(132)11180212、像素信息存储单元(133)11180222、像素信息存储单元(134)11180232输出位于L2的4行程度的视频信息。从像素信息存储单元(141)11180201、像素信息存储单元(142)11180211、像素信息存储单元(143)11180221、像素信息存储单元(144)11180231输出位于L3的4行程度的视频信息。
边缘判定单元1118024，输入从像素信息存储单元(112)11180214和像素信息存储单元(113)11180224输出的、位于L0的行C和行E中的视频信息，从这些像素间的差分信息判断是否存在边缘单元，输出该判定结果。又，将位于L3、L2、L1、L0的4行程度的像素信息分别输入到片段判定单元(1)11180251、片段判定单元(2)11180252、片段判定单元(3)11180253、片段判定单元(4)11180254。在每个片段判定单元，当在行C和行E中的像素间存在边缘单元，进一步在行A和行C中的像素间或行E和行G中的像素间的某一个中检测出差分时判断为存在片段，输出该判定结果。将从片段判定单元(1)11180251、片段判定单元(2)11180252、片段判定单元(3)11180253、片段判定单元(4)11180254输出的判定结果输入到4个输入的OR元件1118026。当在片段判定单元(1)11180251、片段判定单元(2)11180252、片段判定单元(3)11180253、片段判定单元(4)11180254的某一个中检测出片段时，从OR元件1118026输出片段检测信息作为“1”。同时将从OR元件1118026输出的片段检测信息输入到极性反转的NOT元件1118027，在AND元件1118028中求从边缘判定单元1118024输出的判定结果和由NOT元件1118027产生的极性反转的片段检测信息的逻辑“与”作为边缘检测信息进行输出。即，当从位于L0到L3的块中检测出片段，从OR元件1118026输出片段检测信息作为“1”时，忽视从边缘判定单元1118024输出的判定结果，总是输出边缘检测信息作为“0”。另一方面，当在位于L0到L3的块中没有检测出片段，从OR元件1118026输出片段检测信息作为“0”时，对于边缘检测信息，当按照从边缘判定单元1118024输出的判定结果，判断为在位于L0的行C和行E中的像素间存在边缘单元时，输出“1”，当判断为不存在边缘单元时，输出“0”。
(块一致检测单元和片段块一致检测单元)
再次回到图15，在块一致检测单元(1)111803和块一致检测单元(2)111804具有与在第1实施方式中说明的块一致检测单元(1)111503和块一致检测单元(2)111504同样的构成。即，块一致检测单元(1)111803和块一致检测单元(2)111804分别对每个像素比较从判定块生成单元111802输出的判定块信息(上)和从参照块生成单元111801输出的位于L1到L11的参照块信息(下)、从判定块生成单元111802输出的判定块信息(下)和从参照块生成单元111801输出的位于L1到L11的参照块信息(上)，对每个参照块信息输出一致/不一致的判定结果。片段块一致检测单元(1)111817比较从判定块生成单元111802输出的片段判定块信息(上)和从参照块生成单元111801输出的位于LB1到LB8的在水平方向上具有4个像素程度的像素信息的片段参照块信息(下)，对每个片段参照块信息输出一致/不一致的判定结果。这里，由块一致检测单元(1)111803和块一致检测单元(2)111804以及片段块一致检测单元(1)111817和片段块一致检测单元(2)111818构成本发明的判定部件。
(片段块一致检测单元的构成)
图18表示本实施方式中的片段块一致检测单元(1)111817的一个构成例的方框图。
在图18中，1118171～1118173是对每个像素比较从判定块生成单元111802输出的片段判定块信息(上)和从参照块生成单元111801输出的片段参照块信息(下)，进行一致/不一致判定的一致检测单元。在本实施方式中，如图20所示，因为从参照块生成单元111801输出位于LB1到LB8的在水平方向上具有4个像素程度的像素信息的片段参照块信息(下)，所以片段块一致检测单元(1)111817与各个片段参照块信息(下)对应，具有8个一致检测单元。1118174～1118176是求输入的2个信号的逻辑“与”的AND元件，具有对各个上述一致检测单元组合成1个的构成。1118177是对从位置信息计数器111810输出的计数值进行解码，与位置信息计数器111810的计数值相应地生成用于掩蔽从一致检测单元输出的判定结果的掩蔽信号的掩蔽信号生成单元。即在掩蔽信号生成单元1118177中，从位置信息计数器111810输出的计数值作为表示片段参照块信息(下)的位置的信息，向各个一致检测单元输出掩蔽信号，以强制地使比从位置信息计数器111810输出的计数值小的片段参照块信息(下)中的一致/不一致判定结果为不一致。因此，当将从判定块生成单元111802输出的片段判定块信息(上)更新成新的信息时，能够避免重复参照过去判定为一致的片段参照块的信息(下)。这里，位置信息计数器111810和掩蔽信号生成单元1118177构成本发明的变更部件。又，位置信息计数器111810构成本发明的保持部件。
再次回到图15，片段块一致检测单元(2)111818，对每个像素比较从判定块生成单元111802输出的片段判定块信息(下)和从参照块生成单元111801输出的位于LB1到LB8的在水平方向上具有4个像素程度的像素信息的片段参照块信息(上)，对每个片段参照块信息输出一致/不一致的判定结果。片段块一致检测单元(2)111818，具有与图18所示的片段块一致检测单元(1)111817相同的构成。图21表示在片段块一致检测单元(2)111818中处理的片段判定块信息(下)和片段参照块信息(上)的位置关系。
(优先级编码器和片段优先级编码器)
优先级编码器(1)111805和优先级编码器(2)111806，与在第1实施方式中说明了的优先级编码器(1)111505和优先级编码器(2)111506同样，分别接受从块一致检测单元(1)111803和块一致检测单元(2)111804输出的一致/不一致判定结果，在L1到L11的一致/不一致判定结果中检测出离开判定块的距离小的参照块信息中的一致判定结果，输出它的位置信息。在本实施方式中也与第1实施方式同样，当在判定为块信息和位于L1的参照块信息中检测出一致时，输出用16进制数表示的“1”，当在判定为块信息和位于L11的参照块信息中检测出一致时，输出用16进制数表示的“B”，当没有检测出一致时，输出“F”。片段优先级编码器(1)111819和片段优先级编码器(2)111820，分别接受从片段块一致检测单元(1)111817和片段块一致检测单元(2)111818输出的一致/不一致判定结果，在LB1到LB8的一致/不一致判定结果中检测出离开判定块的距离小的参照块信息中的一致判定结果，输出它的位置信息。在本实施方式中，当在片段判定块信息和位于LB1的片段参照块信息中检测出一致时，输出用16进制数表示的“1”，当在片段判定块信息和位于LB8的片段参照块信息中检测出一致时，输出用16进制数表示的“B”，当没有检测出一致时，输出“F”。
在大小判定单元(1)111807中，与在第1实施方式中说明了的大小判定单元111507同样，比较从优先级编码器(1)111805和优先级编码器(2)111806输出的值，选择并输出小的一方的值。同时，在块一致检测信息(上)或块一致检测信息(下)中反映选择了哪一个输出并进行输出。即，当选择从优先级编码器(1)111805输出的值时令块一致检测信息(上)为“1”和块一致检测信息(下)为“0”进行输出，当选择从优先级编码器(2)111806输出的值时令块一致检测信息(上)为“0”和块一致检测信息(下)为“1”进行输出。又，当在任何一个参照块中都没有检测出一致，从大小判定单元(1)111807输出“F”值时，令块一致检测信息(上)和块一致检测信息(下)都为“0”进行输出。在OR元件111811中，当在块一致检测单元(1)111803和块一致检测单元(2)111804中在某个参照块中检测出一致，将“1”输出到块一致检测信息(上)或块一致检测信息(下)中的某一个时，输出“1”。
(大小判定单元)
在大小判定单元(2)111821中，比较从片段优先级编码器(1)111819和片段优先级编码器(2)111820输出的值，选择并输出小的一方的值。同时，在片段块一致检测信息(上)或片段块一致检测信息(下)中反映选择了哪一个输出并进行输出。即，当选择从片段优先级编码器(1)111819输出的值时令片段块一致检测信息(上)为“1”和片段块一致检测信息(下)为“0”进行输出，当选择从片段优先级编码器(2)111820输出的值时令片段块一致检测信息(上)为“0”和片段块一致检测信息(下)为“1”进行输出。又，当在任何一个参照块中都没有检测出一致，从大小判定单元(2)111821输出“F”值时，令片段块一致检测信息(上)和片段块一致检测信息(下)都为“0”进行输出。在OR元件111814中，当在片段块一致检测单元(1)111817和片段块一致检测单元(2)111818中在某个参照块中检测出一致，将“1”输出到片段块一致检测信息(上)或片段块一致检测信息(下)中的某一个时，输出“1”。
(选择器(2))
在选择器(2)111813中，按照从判定块生成单元111802输出的边缘检测信息和片段检测信息，选择从大小判定单元(1)111807输出的值和从大小判定单元(2)111821输出的值中的某一个，作为校正数据进行输出。即，当令边缘检测信息为“1”进行输出时，选择从大小判定单元(1)111807输出的值，当令片段检测信息为“1”进行输出时，选择从大小判定单元(2)111821输出的值，进行输出。当令边缘检测信息和片段检测信息都为“0”进行输出时，即便选择从大小判定单元(1)111807输出的值和从大小判定单元(2)111821输出的值中的某一个进行输出，对倾斜校正处理单元111的工作也没有任何影响。用除法器111809使从选择器(2)111813输出的值变成为相当于其一半的值，作为校正位置信息进行输出。又从OR元件111816，输出OR元件111811和OR元件111814的进行逻辑“或”的结果，即，当在块一致检测单元(1)111803、块一致检测单元(2)111804、片段块一致检测单元(1)111817、片段块一致检测单元(2)111818的某个中检测出块一致时，从OR元件111816输出“1”。
(位置信息计数器)
在位置信息计数器111810中，将从OR元件111816输出的信号作为加载起动信号，当输出“1”时，取入从这时的选择器(2)111813输出的值作为计数器值。又，当在任何一个块中都没有检测出一致，从OR元件111816输出“0”时，使计数器值减少1，当在计数器值为“0”从OR元件111816输出“0”时，使计数器值维持“0”不变。
(选择器(1))
在选择器111808中，按照从大小判定单元(1)111807输出的块一致检测信息(上)和块一致检测信息(下)以及从大小判定单元(2)111821输出的片段块一致检测信息(上)和片段块一致检测信息(下)，选择从判定块生成单元111802输出的判定块信息(上)、判定块信息(下)、片段判定块信息(上)和片段判定块信息(下)中的某一个，作为校正数据进行输出。即，当块一致检测信息(上)为“1”时选择判定块信息(上)，当块一致检测信息(下)为“1”时选择判定块信息(下)，当片段块一致检测信息(上)为“1”时选择片段判定块信息(上)，当片段块一致检测信息(下)为“1”时选择片段判定块信息(下)，作为校正数据进行输出。当对于任何块都没有检测出一致，令块一致检测信息(上)、块一致检测信息(下)、片段块一致检测信息(上)、片段块一致检测信息(下)都为“0”进行输出时，即便选择判定块信息(上)、判定块信息(下)、片段判定块信息(上)、片段判定块信息(下)中的某一个进行输出，对倾斜校正处理单元111的工作也没有任何影响。
(边缘校正起动信号和片段校正起动信号)
在AND元件111812中，当从判定块生成单元111802输出的边缘检测信息和来自OR元件111811的输出信号为“1”时，令边缘校正起动信号为“1”进行输出。即，当在从判定块生成单元111802输出的判定块信息中包含边缘信息，从参照块生成单元111801输出的多个参照块信息中检测出与判定块信息的像素信息一致的块时，意味着表示在校正条件检测单元1118中具备了用于实施边缘单元的校正处理的条件，令边缘校正起动信号为“1”进行输出。又，在AND元件111815中，当从判定块生成单元111802输出的片段检测信息和来自OR元件111814的输出信号为“1”时，令片段校正起动信号为“1”进行输出。即，当在从判定块生成单元111802输出的片段判定块信息中包含片段信息，在从参照块生成单元111801输出的多个片段参照块信息中检测出与片段判定块信息的像素信息一致的块时，意味着表示在校正条件检测单元1118中具备了用于实施片段的校正处理的条件，令片段校正起动信号为“1”进行输出。
(在内插信息存储单元中的校正处理)
再次回到图14，当从校正条件检测单元1118输出边缘校正起动信号或片段校正起动信号作为“1”，而且从运动信息存储单元1111输出的，要校正的像素中的运动信息是运动图像时，令从AND元件1114对内插信息存储单元1116实施校正处理的写入信号为“1”进行输出。在内插信息存储单元1116中，当令从AND元件1114输出的写入信号为“1”进行输出时，用从校正条件检测单元1118输出的校正数据改写由从校正条件检测单元1118输出的校正位置信息和块一致检测信息(上)、块一致检测信息(下)、片段块一致检测信息(上)、片段块一致检测信息(下)特定的位置上的内插信息。这里，内插信息存储单元1116构成本发明的校正部件。
(内插信息的校正处理)
在以上说明的构成中，当输入具有如第1实施方式中的图9或图10所示的斜方向的倾斜的视频信息时，进行与第1实施方式同样的处理。这里，图22和图23表示当输入图32所示的线宽与1个像素相当的斜线的视频信息时，本实施方式中进行内插信息的校正的模式。
图22表示在从判定块生成单元111802输出的片段判定块信息(上)和从参照块生成单元111801输出的多个片段参照块信息(下)中，只检测像素信息一致的块的情形。
在图22的情形中，在位于LB6的片段参照块信息中检测具有与片段判定块信息(上)相同的像素信息的片段参照块信息(下)。这时，从片段优先级编码器(1)111805输出称为“6”的值作为位置信息。另一方面，因为在片段块一致检测单元(2)111818中没有检测出一致的块，所以从片段优先级编码器(2)111820输出称为“F”的值作为位置信息。下面，在大小判定单元(2)111821中，比较从片段优先级编码器(1)111819和片段优先级编码器(2)111820输出的值，选择值小的称为“6”的值进行输出，并且令片段块一致检测信息(上)为“1”进行输出。这里，因为从判定块生成单元111802输出片段检测信息作为“1”，所以从选择器(2)111813选择从大小判定单元(2)111821输出的值，即“6”，输出到位置信息计数器111810。又，从AND元件111815输出片段校正起动信号作为“1”。通过从大小判定单元(2)111821输出片段块一致检测信息(上)为“1”，将从选择器(2)111813输出的值“6”作为计数器值加载在位置信息计数器111810中。又，从校正条件检测单元1118，将作为从选择器(2)111813输出的值“6”的一半值的称为“3”的值作为校正位置信息输出到内插信息存储单元1116。这里，校正条件检测单元1118构成本发明的像素位置特定部件。
在选择器111808中，因为块一致检测信息(上)为“1”，所以将在判定块信息(上)的像素信息中位于L0的行C和行E的像素信息作为校正数据进行输出。
这里也与第1实施方式同样，对1个判定块信息生成2个像素程度的校正数据，同时进行处理，但是因此在如图13所示的，作为线宽与1个像素相当的斜线输入的视频信息的上下内插行中，可以一次校正由已有的IP变换处理生成的内插结果。
在内插信息存储单元1116中，从校正条件检测单元1118输出的校正位置信息，判断对位于L3的内插信息进行校正，又，从片段块一致检测信息(上)为“1”判断对位于行d和行f的内插信息进行校正，当位于L3的行d和行f的内插像素是运动图像时，用从校正条件检测单元1118输出的校正数据改写在该位置上的内插信息。
以上，完成将在LB0中的像素信息作为判定块信息的校正处理，接着将在LB1中的像素信息作为片段判定块信息(上)重复同样的处理，但是这时，因为用位置信息计数器11110存储称为“6”的位置信息，所以可以忽视与LB2到LB4的片段参照块信息(下)的一致检测结果。用LB7以后的片段参照块信息(下)进行一致检测。因此，当将判定块信息更新成下面的块时，可以避免重复选择并处理用前面的判定块信息处理过的相同的片段参照块信息(下)。(实际上因为用参照块生成单元111801和判定块生成单元111802进行像素信息的移位，所以将LB0、LB2到LB6的片段参照块信息(上)作为LB1到LB5，对LB1中的片段判定块信息进行处理。)
又，在本实施方式中，从片段判定块信息(上)生成校正数据，但是也如第1实施方式所述，即便从片段判定块信息(上)和由片段优先级编码器(1)111819选择的片段参照块信息(下)生成校正数据，也没有改变本发明中提出的方法。即，也可以将位于L3的行d的内插像素中的校正数据作为位于L0的行C的像素信息和位于L6的行E的像素信息的平均值，将位于L3的行f的内插像素中的校正数据作为位于L0的行E的像素信息和位于L6的行G的像素信息的平均值。
图23表示在从判定块生成单元111802输出的片段判定块信息(下)和从参照块生成单元111801输出的多个片段参照块信息(上)中，只检测像素信息一致的块的情形。
在图23的情形中，在位于L6的片段参照块信息中检测具有与片段判定块信息(下)相同的像素信息的片段参照块信息(上)。这时，从片段优先级编码器(2)111820输出称为“6”的值作为位置信息。另一方面，因为在块一致检测单元(1)111817中没有检测出一致的块所以将称为“F”的值作为位置信息，从片段优先级编码器(1)111819输出。下面，在大小判定单元(2)111821中，比较从片段优先级编码器(1)111819和片段优先级编码器(2)111821输出的值，选择值小的称为“6”的值进行输出，并且令片段块一致检测信息(下)为“1”进行输出。这里，因为从判定块生成单元111802输出片段检测信息作为“1”，所以从选择器(2)111813选择从大小判定单元(2)111821输出的值，即“6”，输出到位置信息计数器111810。又，从AND元件111815输出片段校正起动信号作为“1”。通过从大小判定单元(2)111821输出片段块一致检测信息(下)为“1”，将从选择器(2)111813输出的值“6”作为计数器值加载在位置信息计数器111810中。又，从校正条件检测单元1118，将作为从选择器(2)111813输出的值“6”的一半值的称为“3”的值作为校正位置信息输出到内插信息存储单元1116。
在选择器(1)111808中，因为片段块一致检测信息(下)为“1”，所以将在片段判定块信息(下)的像素信息中位于L0的行E和行G的像素信息作为校正数据进行输出。
在内插信息存储单元1116中，从校正条件检测单元1118输出的校正位置信息，判断校正位于L3的内插信息，又，从片段块一致检测信息(下)为“1”，判断校正位于行d和行f的内插信息，当位于L3的行d和行f的内插像素为运动图像时，用从校正条件检测单元1118输出的校正数据改写该位置中的内插信息。
这里，如图22和图23所示，在本实施方式中的内插信息的校正处理中，当在从判定块生成单元111802输出的片段判定块信息和从参照块生成单元111801输出的多个片段参照块信息中检测出像素信息一致的块时，对位于检测出一致的片段判定块信息和片段参照块信息的中间的内插信息进行校正。但是在本实施方式中，片段判定块信息和片段参照块信息是作为在水平方向上具有多个像素的块构成的，即便关于经过校正的内插信息，也与片段判定块信息和片段参照块信息同样，可以对水平方向上多个内插信息进行一次校正处理。
图24表示在与图23同样从判定块生成单元111802输出的片段判定块信息(下)和从参照块生成单元111801输出的多个片段参照块信息(上)中，检测出像素信息一致的块的情形中，关于经过校正的内插信息，也对水平方向上多个内插信息进行一次校正处理的模式。
在图24的情形中，通过在位于L6的片段参照块信息中检测出具有与片段判定块信息(下)同样的像素信息的片段参照块信息(上)，在选择器(1)111808中，输出在片段判定块信息(下)的像素信息中位于行E和行G的水平方向4个像素程度的视频信息作为校正数据。在内插信息存储单元1116中，从校正条件检测单元1118输出的校正位置信息，从L3的位置判断校正水平方向4个像素程度的内插信息，当位于L3到L6的行d和行f的内插像素是运动图像时，用从校正条件检测单元1118输出的校正数据改写在该位置上的内插信息。
这样，即便在通过对注目的1个片段判定块信息，一次校正处理水平方向上的多个内插信息，在由隔行扫描输入的视频信息中存在着由于噪声等的影响没有正规的像素值那样的像素的情形中，也可以排除该影响。即，例如在本实施方式中说明的那样，在一次校正处理水平方向4个像素程度的内插信息那样的情形中，在对1个内插信息进行4次校正处理，在其中的1次处理中在片段判定块信息中存在着由于噪声等的影响没有正规的像素值那样的像素，在与片段判定块信息之间没有检测出像素信息的一致的情形中，如果能够用余下的3次处理在片段判定块信息和片段参照块信息之间检测出像素信息的一致，则也可以进行校正处理。
(生成内插信息的处理)
图25表示根据以上说明的，图14所示的作为本发明的一个实施方式的IP变换处理电路的构成例，生成内插信息的处理流程。
最初用与已有的IP变换处理电路同样的运动信息生成单元103从帧间差分信息求内插像素中的运动信息(S201)，当为运动图像时从场内的像素信息生成内插信息(S202)，当为静止图像时从前场内的像素信息生成内插信息(S203)。下面当内插像素中的运动信息为运动图像时进行在倾斜校正处理单元111中的校正处理。这里，首先在输入到判定块生成单元111802的4行程度的像素信息中，判断是否在L0的第2行和第3行的像素间存在边缘单元或是否在L0到L3的块中存在片段(S204)。当在S204判断为存在边缘单元时，判断为在块一致检测单元(1)111803和块一致检测单元(2)111804中是否检测出一致的块(S205)。当在S205检测出一致的块时，生成进行校正处理的像素位置和校正数据，对在S202求得的内插信息实施倾斜校正处理(S206)。当在S204判断出存在片段时，判断在片段块一致检测单元(1)111817和片段块一致检测单元(2)111818中是否检测出一致的块(S207)。当在S207检测出一致的块时，生成进行校正处理的像素位置和校正数据，对在S202求得的内插信息实施倾斜校正处理(S208)。此外，当在S205和S207中没有检测出一致的块时，结束所有的处理。
图26表示根据以上说明的图14所示的作为本发明的一个实施方式的具有校正处理单元111的IP变换处理电路的构成例，对图32所示的线宽与1个像素相当的斜线的视频信息进行内插处理的模式。
如观看图26进行判定的那样，在图13所示的第1实施方式中的校正处理中在dn、dn+1、dn+2、dn+6、dn+7、dn+8、bn+6、bn+7、bn+8中残留着由已有的IP变换处理生成的内插结果，如果根据本发明的实施方式，则与图32所示的原来的视频信息同样可以作为线宽与1个像素相当的斜线的视频信息进行显示。
关于在本实施方式中说明的校正处理也与第1实施方式同样，因为对一次变换到逐行扫描视频信息的信息实施校正处理，所以即便对计算机中处理的那种视频信息和打印信息也能够有效地工作。
又，在上述各实施方式中，通过判别块内的像素的像素信息的一致、不一致，判别块单位中的像素信息的一致、不一致。这里本发明不限于只用0(全断开)、1(全接通)的2值灰度等级形成图像的构成，也能够适当地采用由3值以上，最好256个灰度等级以上的灰度等级形成图像的构成，这时，通过对能够取适宜阈值(例如从0到255的值)的像素信息，将它中间的127作为阈值，将该阈值以下的值的像素信息置于0，将比该阈值大的像素信息置于1，能够进行与上述实施方式同样的处理。不是严密的一致不一致判定，但是因此能够进行包含一致不一致判定的类似度判定。通过进行这种置换，在进行一致不一致判定(类似度判定)中，生成内插像素的信息，能够用输入的像素信息得到适当的内插像素的像素信息。又，块间的类似度判别，因为可以如能够判别倾斜方向的边缘的类似度那样，所以也可以采用上述方法以外的方法。例如，也能够着眼于块内的像素信息的差分的类似度，判定块间的类似度。
本发明的像素内插装置和像素内插方法能够应用于由隔行扫描输入的视频信息到逐行扫描视频信息的变换、和用于计算机系统中的显示或打印的视频信息的内插。
Claims (8)
1.一种像素内插装置，其特征在于，具有：
用于形成由在多个行上的多个像素构成的判定块的判定块生成单元；
用于形成由在多个行上的多个像素构成的多个参照块的参照块生成单元，其中该参照块接近上述判定块并且从上述判定块被移动至少向上1行或向下1行；
判定电路，基于输入图像信号，判定所构成的判定块的图像信息和参照块的图像信息之间的类似度；和
输出电路，根据具有类似度高的所构成的判定块和参照块的位置信息，输出多个内插像素的位置信息，并且基于具有类似度高的上述判定块和/或上述参照块的像素的像素信息生成内插像素的像素信息。
2.根据权利要求1所述的像素内插装置，其特征在于：
其中上述判定块包含构成边缘部分的2个像素。
3.根据权利要求2所述的像素内插装置，其特征在于：
上述输出电路输出
分别使用构成上述判定块内的上述边缘部分的2个像素的像素信息的2个内插像素的像素信息；或者
分别使用与构成上述判定块内的上述边缘部分的2个像素的判定块中的位置对应的参考块中的2个像素的像素信息的2个内插像素的像素信息。
4.根据权利要求1到3中任何一项所述的像素内插装置，其特征在于：
上述内插像素是位于与类似度高的上述判定块和上述参照块各自的相互对应的像素之间的中间位置上的像素。
5.根据权利要求1到3中任何一项所述的像素内插装置，其特征在于：
具有生成用于判定图像运动的运动信息的运动信息生成电路，当上述运动信息表示有比预定运动大的运动时，上述输出电路输出上述内插像素的像素信息。
6.根据权利要求1到3中任何一项所述的像素内插装置，其特征在于：当预定的一个参照块被判定为是与一个判定块具有类似度高的一个参照块时，以及当上述预定的一个参照块和上述一个判定块之间的内插像素的像素信息被输出时，禁止使用该预定的一个参照块作为接近于上述一个判定块的另一个判定块的参照块。
7.根据权利要求2或3中所述的像素内插装置，其特征在于：
当检测出由线宽为1个像素的片段形成的边缘部分时、和当检测出由线宽为大于等于2个像素的片段形成的边缘部分时，判定块生成单元和参考块生成单元使得判定块和参照块的构成不同。
8.一种像素内插方法，其特征在于：使用
由在多个行上的多个像素构成的判定块；
由在多个行上的多个像素构成的参照块，该参照块接近于上述判定块并且被移动到位于相对于上述判定块至少向上1行或向下1行的位置，
该方法具有以下步骤：
判定步骤，基于输入图像信号，判定所构成的判定块的图像信息和参照块的图像信息之间的类似度；和
输出步骤，根据具有类似度高的所构成的判定块和参照块的位置信息，输出多个内插像素的位置信息，并且根据具有类似度高的上述判定块和/或上述参照块的像素的像素信息生成内插像素的像素信息。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004075204 | 2004-03-16 | ||
| JP2004075204 | 2004-03-16 | ||
| JP2005065479A JP4641438B2 (ja) | 2004-03-16 | 2005-03-09 | 画素補間装置及び画素補間方法 |
| JP2005065479 | 2005-03-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1671203A CN1671203A (zh) | 2005-09-21 |
| CN100394793C true CN100394793C (zh) | 2008-06-11 |
Family
ID=34840246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100547936A Expired - Fee Related CN100394793C (zh) | 2004-03-16 | 2005-03-16 | 像素内插装置、像素内插方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7489361B2 (zh) |
| EP (1) | EP1578119B1 (zh) |
| JP (1) | JP4641438B2 (zh) |
| KR (1) | KR100731722B1 (zh) |
| CN (1) | CN100394793C (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1594119A3 (en) * | 2004-05-06 | 2007-10-31 | Canon Kabushiki Kaisha | Image signal processing circuit and image display apparatus |
| US7924345B2 (en) * | 2005-10-20 | 2011-04-12 | Broadcom Corp. | Method and system for deinterlacing using polarity change count |
| TWI361616B (en) * | 2006-01-27 | 2012-04-01 | Mstar Semiconductor Inc | Edge adaptive de-interlacing apparatus and method thereof |
| US20070296855A1 (en) * | 2006-06-22 | 2007-12-27 | Yunwei Jia | Video processing using region-based statistical measurements |
| JP4818854B2 (ja) * | 2006-09-06 | 2011-11-16 | 京セラ株式会社 | 画像表示装置、電子機器、表示制御装置、及び表示制御方法 |
| EP2173095A4 (en) * | 2007-07-03 | 2012-05-09 | Nec Corp | IMAGE INTERPOLATION PROCESS, IMAGE INTERPOLATION DEVICE AND PROGRAM THEREFOR |
| US8212837B1 (en) | 2007-10-02 | 2012-07-03 | Grandeye, Ltd. | Color processing pipelines generating a lower color bit-depth image compared to an unprocessed image from a wide-angle camera |
| JP4343255B1 (ja) * | 2008-06-25 | 2009-10-14 | 株式会社東芝 | 画像伸張装置及び画像伸張方法 |
| KR20100079783A (ko) | 2008-12-31 | 2010-07-08 | 에스케이케미칼주식회사 | 바나듐 프탈로시아닌 화합물 및 이를 이용한 근적외선 흡수필터 |
| WO2011037420A2 (ko) * | 2009-09-25 | 2011-03-31 | 에스케이텔레콤 주식회사 | 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
| KR101634141B1 (ko) * | 2009-11-18 | 2016-06-28 | 삼성전자주식회사 | 방향에 따른 참조블록을 이용한 영상 보간 방법 및 장치 |
| JP5350501B2 (ja) * | 2011-03-24 | 2013-11-27 | キヤノン株式会社 | 映像処理装置及び映像処理方法 |
| US20150002624A1 (en) * | 2012-01-20 | 2015-01-01 | Panasonic Corporation | Video signal processing device and video signal processing method |
| CN102855113B (zh) * | 2012-08-14 | 2015-01-21 | 深圳市文鼎创数据科技有限公司 | 通过显示屏输出信息的编码方法、装置及终端 |
| KR102297198B1 (ko) | 2019-09-24 | 2021-09-03 | 한국에너지기술연구원 | 고점도 물질 공급 및 건조장치 |
| JP7248631B2 (ja) * | 2020-09-17 | 2023-03-29 | Ｔｖｓ Ｒｅｇｚａ株式会社 | 受信装置およびプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001218170A (ja) * | 2000-01-28 | 2001-08-10 | Fujitsu General Ltd | 走査変換回路 |
| US20020093587A1 (en) * | 2001-01-15 | 2002-07-18 | Xavier Michel | Image processing apparatus and method, program, and recording medium |
| EP1313312A2 (en) * | 2001-11-19 | 2003-05-21 | Matsushita Electric Industrial Co., Ltd. | Method of edge based interpolation |
| CN1433632A (zh) * | 2000-01-28 | 2003-07-30 | 富士通将军股份有限公司 | 扫描变换电路 |
| WO2004017634A1 (ja) * | 2002-08-19 | 2004-02-26 | Sony Corporation | 画像処理装置および方法、映像表示装置、ならびに記録情報再生装置 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2231460B (en) | 1989-05-04 | 1993-06-30 | Sony Corp | Spatial interpolation of digital video signals |
| JPH06153169A (ja) | 1992-11-09 | 1994-05-31 | Nippon Hoso Kyokai <Nhk> | 順次走査変換方法 |
| JP2996099B2 (ja) | 1994-07-19 | 1999-12-27 | 日本ビクター株式会社 | 走査線補間回路 |
| US5886745A (en) * | 1994-12-09 | 1999-03-23 | Matsushita Electric Industrial Co., Ltd. | Progressive scanning conversion apparatus |
| US5532751A (en) * | 1995-07-31 | 1996-07-02 | Lui; Sam | Edge-based interlaced to progressive video conversion system |
| US5936676A (en) * | 1997-08-21 | 1999-08-10 | Miranda Technologies Inc. | Apparatus and method for line interpolating an interlaced video signal |
| US6118488A (en) * | 1998-08-31 | 2000-09-12 | Silicon Integrated Systems Corporation | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection |
| JP2000115720A (ja) | 1998-09-30 | 2000-04-21 | Nec Corp | 走査線補間装置および走査線補間方法 |
| US6421090B1 (en) * | 1999-08-27 | 2002-07-16 | Trident Microsystems, Inc. | Motion and edge adaptive deinterlacing |
| KR100327396B1 (ko) * | 1999-09-03 | 2002-03-13 | 구자홍 | 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법 |
| US6731342B2 (en) | 2000-01-06 | 2004-05-04 | Lg Electronics Inc. | Deinterlacing apparatus and method using edge direction detection and pixel interplation |
| JP2001218169A (ja) | 2000-01-28 | 2001-08-10 | Fujitsu General Ltd | 走査変換回路 |
| JP2002112203A (ja) * | 2000-09-29 | 2002-04-12 | Toshiba Corp | 補間信号生成装置 |
| GB2372394B (en) | 2000-12-22 | 2004-09-22 | Matsushita Electric Ind Co Ltd | Interpolation apparatus and video signal processing apparatus including the same |
| US20030172381A1 (en) * | 2002-01-25 | 2003-09-11 | Koninklijke Philips Electronics N.V. | Digital television system having personalized addressable content |
| US7023487B1 (en) * | 2002-01-25 | 2006-04-04 | Silicon Image, Inc. | Deinterlacing of video sources via image feature edge detection |
| US7154556B1 (en) * | 2002-03-21 | 2006-12-26 | Pixelworks, Inc. | Weighted absolute difference based deinterlace method and apparatus |
| JP3799288B2 (ja) | 2002-04-05 | 2006-07-19 | キヤノン株式会社 | 受信装置 |
| JP2004072528A (ja) * | 2002-08-07 | 2004-03-04 | Sharp Corp | 補間処理方法、補間処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置 |
| JP4035408B2 (ja) | 2002-09-10 | 2008-01-23 | キヤノン株式会社 | 解像度変換装置及び方法及び情報処理装置 |
| US7242819B2 (en) * | 2002-12-13 | 2007-07-10 | Trident Microsystems, Inc. | Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion |
| JP4261893B2 (ja) | 2002-12-13 | 2009-04-30 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| JP3789442B2 (ja) * | 2002-12-25 | 2006-06-21 | 三菱電機株式会社 | 走査線補間装置、画像処理装置、画像表示装置及び走査線補間方法 |
| KR100505663B1 (ko) * | 2003-01-02 | 2005-08-03 | 삼성전자주식회사 | 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법 |
| JP2004229188A (ja) | 2003-01-27 | 2004-08-12 | Canon Inc | 放送受信装置、放送受信方法、プログラム、及び記憶媒体 |
| JP4217543B2 (ja) | 2003-06-05 | 2009-02-04 | キヤノン株式会社 | 動き情報処理装置及び方法 |
-
2005
- 2005-03-09 JP JP2005065479A patent/JP4641438B2/ja not_active Expired - Fee Related
- 2005-03-15 US US11/079,441 patent/US7489361B2/en not_active Expired - Fee Related
- 2005-03-15 EP EP05005583A patent/EP1578119B1/en not_active Not-in-force
- 2005-03-16 CN CNB2005100547936A patent/CN100394793C/zh not_active Expired - Fee Related
- 2005-03-16 KR KR1020050021711A patent/KR100731722B1/ko not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001218170A (ja) * | 2000-01-28 | 2001-08-10 | Fujitsu General Ltd | 走査変換回路 |
| CN1433632A (zh) * | 2000-01-28 | 2003-07-30 | 富士通将军股份有限公司 | 扫描变换电路 |
| US20020093587A1 (en) * | 2001-01-15 | 2002-07-18 | Xavier Michel | Image processing apparatus and method, program, and recording medium |
| EP1313312A2 (en) * | 2001-11-19 | 2003-05-21 | Matsushita Electric Industrial Co., Ltd. | Method of edge based interpolation |
| WO2004017634A1 (ja) * | 2002-08-19 | 2004-02-26 | Sony Corporation | 画像処理装置および方法、映像表示装置、ならびに記録情報再生装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1578119A3 (en) | 2006-11-29 |
| CN1671203A (zh) | 2005-09-21 |
| JP2005303999A (ja) | 2005-10-27 |
| US7489361B2 (en) | 2009-02-10 |
| KR20060043681A (ko) | 2006-05-15 |
| KR100731722B1 (ko) | 2007-06-25 |
| JP4641438B2 (ja) | 2011-03-02 |
| US20050212961A1 (en) | 2005-09-29 |
| EP1578119B1 (en) | 2012-06-06 |
| EP1578119A2 (en) | 2005-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100394793C (zh) | 像素内插装置、像素内插方法 | |
| CN1694502B (zh) | 视频序列中的文字收报机处理 | |
| CN101536500B (zh) | 用于高清晰度和标准清晰度视频的高级去隔行器 | |
| CN101237553B (zh) | 确定插值方法的程序、装置及方法 | |
| US6661470B1 (en) | Moving picture display method and apparatus | |
| CN1118194C (zh) | 图像处理设备及方法 | |
| CN1310513C (zh) | 图像处理装置和方法、视频显示装置及记录信息重现装置 | |
| CN101366273A (zh) | 用于交错式视频的逐行扫描的方法和设备 | |
| CN1187979C (zh) | 图像处理设备和方法 | |
| CN1258288C (zh) | 运动检测设备以及方法 | |
| KR20070030223A (ko) | 픽셀 보간 | |
| KR100555428B1 (ko) | 영상정보처리장치 및 영상정보처리방법 | |
| EP1267575B1 (en) | A method for converting the scanning format of images, a system and computer program product therefor | |
| CN111246250A (zh) | 视频处理方法、装置、设备及存储介质 | |
| CN101577805B (zh) | 用于转换图像的方法和图像转换单元 | |
| CN103119931B (zh) | 用于去隔行视频数据的方法和设备 | |
| JP4328276B2 (ja) | インターレーススキャン方式ビデオ信号補償方法及び装置 | |
| JPH05252486A (ja) | 映像信号の走査変換装置 | |
| JPH08228285A (ja) | 画像処理方法および画像処理装置 | |
| JPS62122480A (ja) | 画像情報伝送システム | |
| JP2001148783A (ja) | 画像処理装置 | |
| JPH0740733B2 (ja) | 信号変換装置 | |
| JP2008028621A (ja) | 映像処理装置および映像処理方法 | |
| JPH08336145A (ja) | 画像情報伝送システム | |
| JPH0686238A (ja) | 画像判別装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080611 Termination date: 20180316 |