CN1210653A - 信号转换装置和方法 - Google Patents
信号转换装置和方法 Download PDFInfo
- Publication number
- CN1210653A CN1210653A CN97192178A CN97192178A CN1210653A CN 1210653 A CN1210653 A CN 1210653A CN 97192178 A CN97192178 A CN 97192178A CN 97192178 A CN97192178 A CN 97192178A CN 1210653 A CN1210653 A CN 1210653A
- Authority
- CN
- China
- Prior art keywords
- image signal
- data image
- circuit
- pixel
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000006243 chemical reaction Methods 0.000 title claims description 29
- 230000003412 degenerative effect Effects 0.000 claims description 25
- 230000007850 degeneration Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 230000000052 comparative effect Effects 0.000 claims description 6
- 230000002542 deteriorative effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 8
- 238000007792 addition Methods 0.000 description 51
- 230000000295 complement effect Effects 0.000 description 26
- 241001269238 Data Species 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 5
- 238000004321 preservation Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 235000014081 Abies amabilis Nutrition 0.000 description 1
- 244000101408 Abies amabilis Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/06—Transmission systems characterised by the manner in which the individual colour picture signal components are combined
- H04N11/20—Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Systems (AREA)
Abstract
延迟寄存器部31保存亮度信号的SD像素,分类部33决定某个类,从系数RAM部40中读取对应判定结果的系数,并将该系数送给积和部38。从延迟寄存器部31获取17抽头的像素数据,将此像素数据转换为7抽头,并输出到积和部38。积和部38完成像素数据和系数的积和运算,输出作为HD像素的运算结果。内插像素运算部42对色彩信号分量的像素数据,采用不同于亮度信号情况的简单内插处理,生成色彩信号的HD像素。所以,可以实现小型化和节约成本。
Description
本发明涉及信号转换装置和方法,具体涉及高效地处理亮度信号分量和色彩信号分量的信号转换装置和方法,从而生成高分辨率的图像信号。
在日本采用的电视广播标准为NTSC制式。最近,以高清晰度电视为代表的高质量电视广播系统发展并逐渐推广。就NTSC制式而言,其扫描行数设为525,屏幕比例设为4∶3。而在高清晰度电视系统中,扫描行数设为1125,屏幕比例设为16∶9。所以,当采用高清晰度电视系统时,能够欣赏具有较高分辨率的真实图像。
为了在高清晰度电视系统的电视接收机上显示NTSC制式的图像,有必要将NTSC制式视频信号的SD(标准分辨率)信号转换为高分辨率视频信号的HD(高分辨率)信号。以下,将在转换成更高前的信号称为SD信号、SD数据或SD像素,而将在转换成更高后的信号称为HD信号、HD数据或HD像素。
将SD信号转换为HD信号,可以通过简单地在水平方向和垂直方向内插处理来实现。
但是,因为内插处理是通过一个级联FIR滤波器实现的,所以HD信号的分辨率同原来的SD信号一样。当一普通图像作为转换对象时,HD信号的分辨率低于它的SD信号,这是因为静态图像部分中的转换损失,其原因是,垂直内插处理仅在场内(in-field)进行,并没有利用场间(inter-field)的相互关系。
所以,在日本的专利申请NO.6-205934中,本申请者提出了根据作为输入信号的图像信号电平在三维空间(时空间)的分布进行类别划分,并利用预先通过学习各类得到的预测系数来计算作为HD信号的最优估计值的方式。
然而,尽管高分辨率图像可以通过这种方式处理亮度信号和色彩信号二者来实现,但问题是会增加用于存储系数的ROM容量,从而使设备规模扩大,而且增加了成本。
本发明的目的是解决以上问题并提供一种信号转换装置和信号转换的方法,使实现小型化和节约成本成为可能。
为解决以上问题,本发明所提出的一种信号转换装置,用来转换第一数字图像信号为不同于第一数字图像信号的第二数字图像信号,它包括:转换电路,用于将所述第一数字图像信号转换为亮度信号分量和色彩信号分量;存贮器,用来存储用于把所述第一数字图像信号亮度分量转换为所述第二数字图像信号亮度分量的各个类的系数;分类电路,用来判定所述第一数字图像信号的亮度信号分量的类别;第一运算电路,用来从所述存贮器读取所述分类电路判定的类的系数,对读取的系数和所述第一数字图像信号的亮度信号分量执行积和运算,得到所述第二数字图像信号的亮度信号分量;以及,第二运算电路,用来对基于所述第一数字图像信号和第二数字图像信号的扫描行之间位置关系的系数以及所述第一数字图像信号的色彩信号分量执行积和运算,获得所述第二数字图像信号的色彩信号分量。
此外,本发明所提出的信号转换方法,用于将第一数字图像信号转换为不同于第一数字图像信号的第二数字图像信号,它包括:将第一数字图像信号转换为亮度信号分量和色彩信号分量,判定所述第一数字图像信号的亮度信号分量的类别,从存贮器读取所判定类的系数以转换所述第一数字图像信号的亮度信号分量为所述第二数字图像信号的亮度信号分量,对读取的系数和所述第一数字图像信号的亮度信号分量进行积和运算来得到所述第二数字图像信号的亮度信号分量,对基于所述第一数字图像信号和第二数字图像信号的扫描行之间位置关系的系数以及所述第一数字图像信号的色彩信号分量执行积和运算,获得所述第二数字图像信号的色彩信号分量。
图1是本发明的信号转换装置结构范例的方框图。
图2示出图1中扫描行转换电路8沿前向工作的情况。
图3示出图1中扫描行转换电路8沿后向工作的情况。
图4示出图1中分辨率生成单元9的处理。
图5示出SD像素和HD像素之间的位置关系。
图6是图1中分辨率生成单元9的结构范例的方框图。
图7是图6中延迟寄存器部31的结构范例的方框图。
图8是图6中最大制最小值运算部32的结构范例的方框图。
图9是图8中比大选择电路61的结构范例的方框图。
图10是在图8中比小选择电路65的结构范例的方框图。
图11示出空间类像素范围。
图12示出小范围中的像素。
图13示出大范围中的像素。
图14是图6中运动判定电路34的结构范例的方框图。
图15示出图14中的绝对值运算电路101的处理过程。
图16是图6中分类部33的结构范例的方框图。
图17是图16中地址退化电路141的结构范例的方框图。
图18是图16中类退化电路142的结构范例的方框图。
图19示出图16中的类退化电路142的运算过程。
图20示出在短抽头模式下的像素范围。
图21是图6中抽头产生部35的结构范例的方框图。
图22示出7个抽头的像素范围。
图23示出17个抽头的像素范围。
图24是图6中系数RAM部40的结构范例的方框图。
图25是图6中积和部38的结构范例的方框图。
图26是图6中内插像素运算部42的结构范例的方框图。
图27示出图26中内插像素运算部42的操作。
图28示出图26中内插像素运算部42的操作时序图。
图1是本发明的信号转换装置结构的方框图。例如符合NTSC制式以及数字VTR规范D1的数字图像数据输入到接口1。接口1从输入图像数据中分离并提取水平同步信号H、垂直同步信号V和帧同步信号F,将它们输出到PLL时钟生成控制电路2。PLL时钟生成控制电路2产生与输入信号同步的时钟,将其提供给各电路。
另外,接口1从输入图像数据中分离亮度信号y和色彩信号U和V,并将它们输出到矩阵转换电路3。矩阵转换电路3通过输入信号生成色差信号Pb和Pr,将它们输出到时分电路7。时分电路7时分输入的色差信号Pb和Pr,并将其提供给行存贮器6。
矩阵转换电路3直接将亮度信号y提供给行存贮器6,另外通过级联的场存贮器4和场存贮器5输出信号y给行存贮器6。所以,在当前场的亮度信号、前一场亮度信号和一帧前(两场)的亮度信号都提供给行存贮器6。
行存贮器6存储当前场的7行亮度信号、前一场的2行亮度信号和前一帧的3行亮度信号,将它们提供给扫描行转换电路8。另外,行存贮器6存储的由时分电路7提供的当前场的3行色彩信号数据,并将它们提供给扫描行转换电路8。
如图2所示,扫描行转换电路8在模式1下直接输出输入的亮度信号y和色彩信号C给分辨率生成单元9(参考后面图4所述)。然而,如图3所示,电路8在模式2中改变扫描行的顺序,将每一场的亮度信号或色彩信号的顺序垂直地颠倒,即较高的扫描行被安排在较低,然后输出信号给分辨率生成单元9。
分辨率生成单元9根据初始化电路10提供的数据进行初始化操作,之后,分别处理对应于由扫描行转换电路8输入的亮度信号的像素数据和对应于色彩信号C的像素数据(SD数据),并生成高分辨率的像素数据(HD数据)。
即,如图4所示,分辨率生成单元9依据图4中大圆圈表示的SD数据,生成图4中小圆圈表示的HD数据。在图4中,实线表示当前场的像素数据,虚线表示前一场的像素数据。
由分辨率生成单元9生成的HD信号扫描行的顺序,被扫描行转换电路11返回为原来的顺序。即,在模式1下,由分辨率生成单元9输入的HD信号扫描行被扫描行转换电路11按它们本身的顺序输出,因为在模式1下扫描行的顺序不会被扫描行转换电路8改变,如图2所示。但是在模式2中,如图3所示,因为扫描行的顺序被扫描行转换电路8改变,所以进行返回原来顺序的处理。扫描行转换电路11分别输出亮度信号分量给HD场存贮器12、输出色彩信号分量给HD场存贮器13并存储。
在场存贮器12和13中,分别进行从1050到1125扫描行数转换的处理,此后,扫描行提供给HD接口14。HD接口14处理输入的HD信号。将信号转换成对应于高清晰度电视制式的HD信号,并将其输出。
以下将描述其操作过程。接口1从NTSC制式的输入图像数据分离出亮度信号y和色彩信号U和V,将它们输出到矩阵转换电路3。矩阵转换电路3直接将亮度信号y提供给行存贮器6,另外又通过场存贮器4和5将信号y延迟相当于一帧(两场)的时间,再提供给行存贮器6。此外,被场存贮器4延迟一个场时间的亮度信号也被提供给行存贮器6。而且,矩阵转换电路3产生色差信号Pb和Pr,时分电路7时分色差信号Pb和Pr并将信号Pb和Pr提供给行存贮器6。
行存贮器6将一输入预定场的7行亮度信号的像素数据、由场存贮器4和5延迟一帧之前的3行亮度信号的像素数据、由场存贮器4延迟的2行亮度信号的像素数据,提供给扫描行转换电路8。
如图2所示,在模式1,扫描行转换电路8直接将输入的当前场的7行亮度信号、前一帧的3行亮度信号和前一场的2行亮度信号,以它们本身的顺序提供给分辨率生成单元9。而且,电路8将3行色彩信号的像素数据以它们本身的顺序提供给分辨率产生电路9。
然而,如图3所示,在模式2中,扫描行转换电路8改变了当前场的7行亮度信号的顺序后,将它们提供给分辨率生成单元9,这样,最高行放在最低行,而最低行放在最高。此外,扫描行转换电路8改变了前一帧的场亮度信号、前一场的2行亮度信号的顺序后,将它们提供给分辨率生成单元9,这样,最高行放在最低行,而最低行放在最高行。另外,电路8改变3行的色彩信号的顺序后,将它们提供给分辨率生成单元9,这样,最高行信号放在最高位置,而最低行信号放在最低位置。
以下,将详述模式1和模式2。如图4所示,若将一关注像素设为SD像素x13,则相应于该SD像素生成的HD像素y1和y2分别在SD像素x13的左上角和右上角,HD像素y3和y4分别在SD像素x13的左下角和右下角。模式1生成在上面的两个HD像素y1和y2,模式2生成在下面的两个HD像素y3和y4。
如图5所示,假设在每场中SD像素之间的垂直间隔为1,则一边HD像素y1和y2与另一边的SD像素x13之间的垂直间隔为1/8。另外,一边HD像素y3和y4与另一边的SD像素x13之间的垂直间隔为3/8。所以,一边HD像素y1和y2与另一边的HD像素y3和y4之间的垂直间隔为4/8。
分辨率生成单元9根据输入的SD像素数据生成HD像素数据,将其送入扫描行转换电路11。以下,将参考图6对分辨率生成单元9进行更详尽的说明。
扫描行转换电路11在模式1将每行亮度信号的像素数据和每行色彩信号的像素数据以它们原来的顺序输出给场存贮器12或13。在分辨率生成单元9中,525线扫描行转换为1050线扫描行。在场存贮器12或13中,1050线扫描行转换为1125线扫描行,并提供给接口14。将1050线扫描行转换为1125线扫描行,要通过增加75线伪扫描行来完成。这75线事实上不存在的扫描行可以从例如场存贮器12或13中读取。
从场存贮器12和13提供的亮度信号y和色彩信号C经接口14输出为符合高清晰度电视制式的HD信号。
在图1的实施例中,1050线扫描行被场存贮器12和13转换为1125线扫描行。但是,在不必将扫描行数从1025转换为1125时,存贮器12和13也是不必须的。
图6显示了分辨率生成单元9的详细结构。扫描行转换电路8将当前场的7行亮度信号、前一帧的3行亮度信号,前一场的2行亮度信号提供给并存储在延迟寄存器部31中。
图7给出了延迟寄存器部31的一个例子。如图7所示,延迟寄存器部31设有:分别存储12行像素数据的寄存器51-1和51-12,和与每行级联来保存P像素数据值的P寄存器。例如,寄存器51-1-1至51-1-P级联成最上面的行,寄存器51-2-1和51-2-P级联为第2行。另外,将被预定寄存器保存的像素数据正确读出并提供给分类部33、最大值和最小值运算部32、运动判断部34、以及抽头退化部35和36。所提供的像素数据根据这些区而不同。
图8给出了最大值和最小值运算部32结构的例子。如图8所示,在最大值和最小值运算部32中,预定的两个像素数据值分别提供给比大选择电路61和比小选择电路65。比大选择电路61选出两个输入值中的较大值,并将选出的像素数据提供给寄存器62和比大选择电路63或比大选择电路64的一个输入端。寄存器62的输出提供给比大选择电路63的另一输入端,而比大选择电路63的输出作为比大选择电路64的另一输入。
比小选择电路65选出两个像素数据的较小值,将较小的像素数据值提供给寄存器66,并作为比小选择电路67和比小选择电路68的一个输入。寄存器66的输出提供给比小选择电路67的另一输入端,比小选择电路67的输出作为比小选择电路68的另一输入。这样,比大选择电路64输出最大值,比小选择电路68输出最小值。
比大选择电路61的组成如图9所示。即,将两输入值输入到多路切换器(MUX)71和比较器72。比较器72比较两个输入像素数据值的大小,输出选择两个数据值中较大值的选择信号给多路切换器71。多路切换器71的输出送入寄存器73。另外,比大选择电路63和比大选择电路64的结构与比大选择电路61的结构一样。
比小选择电路65的组成如图10所示。即,将两个像素数据值输入到多路切换器(MUX)81和比较器82。比较器82比较两个输入像素数据制的大小,输出选择两个数据值中较小值的选择信号给多路切换器81。多路切换器81的输出送入寄存器83。
以下描述运算过程。例如,分类部33主要需要用于分类(空间类)以在空间显示波形所需的预定范围内像素的最大值和最小值。最大值和最小值运算部32计算最大值和最小值。在此情况下,如图11所示,在图4中所示的HD像素y1和y2附近,运算部32选择五个SD像素k1至k5,以生成HD像素y1和y2,并从这五个像素中得出最大值和最小值。
在本例中,SD像素k1和k2首先送入比大选择电路61。在比大选择电路61中,比较器72比较SD像素k1和k2的大小,输出一选择信号使得多路切换器71选择较大的一个像素值。结果,寄存器73得到SD像素k1和k2中的较大值。在图8中,该数据提供给寄存器62并在在其中保存。
然后,比大选择电路61比较SD像素k3和k4的大小。然后和上面一样,将较大像素值送入寄存器73。寄存器73中保存的SD像素k3和k4中的较大值提供给另一比大选择电路63。比大选择电路63比较寄存器62中SD像素k1和k2的较大值和寄存器73中SD像素k3和k4的较大值,选择它们中较大的一个经寄存器73输出给比大选择电路64。
然后,比大选择电路61将SD像素k5和像素0(虚拟像素)比较。此处,选择SD像素k5并将其提供给比大选择电路64的另一个输入端。比大选择电路64将从比大选择电路63输入的SD像素与由比大选择电路61输入的SD像素k5相比较,选择和输出较大值。所以,比大选择电路64选择输出的是SD像素k1到k5中的最大值。
比小选择电路65的比较器82首先比较SD像素k1和k2的大小,并输出一选择信号给多路切换器81使其选择较小值。从而,SD像素k1和k2中的较小值经寄存器83输出并存入寄存器66。然后,比小选择电路65比较SD像素k3和k4的大小,并选择和输出较小值给另一比小选择电路67。比小选择电路67将寄存器66输入的SD像素k1和k2中的较小值和比小选择电路65输入的SD像素k3和k4中的较小值相比较,并输出较小值给比小选择电路68。
然后,比小选择电路65将SD像素k5和最大虚拟像素数据值相比较,选择较小的SD像素k5,并将SD像素k5通过寄存器83送入比小选择电路68。比小选择电路68比较比小选择电路67的输出和SD像素k5的大小,并选择和输出较小值。所以,比小选择电路68选择输出的是SD像素k1到k5中的最小值。
另外,分类部33需要小区域的最大值和最小值以及大区域的最大值和最小值。所以,同上述过程相似,最大值和最小值运算部32计算小区域的最大值和最小值和大区域的最大值和最小值。在本例中,小区域表示图12所示的同一场中位于所关注SD像素x13上下左右的五个SD像素x5,x12,x13,x14,和x21。最大值和最小值运算部32如上所述地计算出这五个SD像素的最大值和最小值,并将它们输出到分类部33。
此外,如图13所示,大区域表示下面13个像素:位于同一场同一行的所关注SD像素x13、SD像素x11、x12、x14、x15,在上一行和下一行的SD像素x4到x6以及x20到x22,在上两行和下两行的SD像素x2和x24。最大值和最小值运算部32按上述方法得到这13个像素的最大值和最小值,并将它们输出到分类部33。
图14示出运动判断部34结构的一个例子。该例子给出利用如图15所示的当前场中3×3个SD像素m1到m9和前一帧的相应空间位置上的SD像素n1至n9进行运动判断的结构例。
如图14所示,在3×3个SD像素最高一行的SD像素(图15中的SD像素m1到m3、SD像素n1到n3)送入绝对值运算电路101,相邻一行的SD像素(图15中的SD像素m4到m6、SD像素n4到n6)送入绝对值运算电路107,在最低一行的SD像素(图15中的SD像素m7到m9、SD像素n7到n9)送入绝对值运算电路115,绝对值运算电路101计算出输入的两个SD像素之差的绝对值,并输出计算结果给寄存器102、加法器103、和加法器105。加法器103将寄存器102输出与绝对值运算电路101的输出相加,将相加结果送入寄存器104。加法器105将寄存器104的输出与绝对值运算电路101的输出相加,将相加结果送入寄存器106。
同样,绝对值运算电路107输出的两个SD像素之差的绝对值输入给寄存器108、加法器109和111。加法器109将寄存器108的输出与绝对值运算电路107的输出相加,其相加结果送入寄存器110。加法器111将寄存器110的输出与绝对值运算电路107的输出相加,其相加结果送入寄存器112。加法器113将寄存器106的输出和寄存器112的输出相加,并将相加结果送给寄存器114。
绝对值运算电路115计算输入的两个SD像素之差的绝对值并将计算结果输出给寄存器116、加法器117和119。加法器117将寄存器116的输出与绝对值运算电路115的输出相加,相加结果送入寄存器118。加法器119将寄存器118的输出与绝对值运算电路115的输出相加,相加结果送入寄存器120。寄存器120的输出送入寄存器121。加法器122将寄存器114的输出和寄存器121的输出相加,相加结果送给寄存器123。
在初始状态,将一预定值(阈值)输入给寄存器126和寄存器127并在其中保存。比较器124比较寄存器123中的值和寄存器126中设定值(阈值)的大小,将比较结果输入编码器128。比较器125比较寄存器123中的值和寄存器127中设定值(阈值)的大小,将比较结果输入编码器128。编码器128依据比较器124和比较器125的输出执行编码。
下面,描述运算过程。绝对值运算电路101计算当前场的SD像素m1与前一帧中相对空间位置上SD像素n1之差的绝对值,将计算结果送入寄存器102并在其中保存。在下一时刻,绝对值运算电路101计算SD像素m2和n2之差的绝对值,将运算结果输出给加法器103。加法器103将寄存器102输出的SD像素m1和n1之差的绝对值和绝对值运算电路101输出的SD像素m2与n2之差的绝对值相加,并将相加结果送入寄存器104并在其中保存。
接着,在下一时刻,绝对值运算电路101计算SD像素m3和n3之差的绝对值,将运算结果输出给加法器105。加法器105将SD像素m3和n3之差的绝对值、寄存器104中的SD像素m1和n2之差的绝对值、以及绝对值和SD像素m2与n2之差的绝对值相加,并将相加结果送入寄存器106中保存。
所以,寄存器106中存有图15中所示的最上一行的SD像素m1和n1之差的绝对值、SD像素m2和n2之差的绝对值、SD像素m3和n3之差的绝对值的和。
对于在第二行和第三行上的SD像素采用同样的处理过程,在第二行的寄存器112存有SD像素m4和n4之差的绝对值、SD像素m5和n5之差的绝对值、SD像素m6和n6之差的绝对值的和。而且,在第三行的寄存器120存有SD像素m7和n7之差的绝对值、SD像素m8和n8之差的绝对值、SD像素m9和n9之差的绝对值的和。
加法器113将寄存器106中的值和寄存器112中的值相加,将相加结果输出给寄存器114。寄存器114的输出提供给加法器122。寄存器120通过寄存器121将其值提供给加法器122。所以,加法器122将寄存器114的输出与寄存器121的输出相加,并将相加结果输出给寄存器123。
所以,其结果是,寄存器123取得图15中所示一边SD像素m1到m9与另一边SD像素n1到n9之差的绝对值的和。即,以上电路进行以下等式的运算:
比较器124比较在寄存器123中的值S和寄存器126中的阈值,若值S大于该阈值就输出1给编码器128,若值S小于该阈值就输出0给编码器128。同样,比较器125比较在寄存器123中的值S和寄存器127中的阈值(假定该阈值比寄存器126中的阈值小),若值S大于该阈值就输出1给编码器128,若值S小于阈值就输出0给编码器128。当比较器124和125都是0时,编码器128输出0表示主要用于指示运动程度的类(运动类);当比较器124输出是0而比较器125的输出是1时,编码器182输出1;当比较器124输出是1不管比较器125是0或1,编码器128的输出均为2。
在上例中,由绝对值运算电路101,107,115计算像素差的绝对值。然而,同样可以计算像素差绝对值的1/2。因此,寄存器126和127中的值可以假设为相对于一个像素的差的绝对值。
图16是分类部33的结构例图。在图11所示的SD像素k1到k5(对应于图4中的SD像素x5,x8,x13,x18和x21)从延迟寄存器部31输入到一个ADRC(自适应动态范围编码)编码器140。另外,从最大值和最小值运算部32输出的一空间类的最大值和最小值输入到该ADRC编码器140。ADRC编码器140计算在下面等式中表示的再量化代码Q,其中假设SD像素k1到k5的各值为L,SD像素k1到k5的最大值为MAX,SD像素k1到k5的最小值为MIN。
Q=[(L-MIN+0.5)×2n/DR]…(2)
在上面等式中的中括号[]表示下舍入(round-down)处理,DR由下式表示:
DR=MAX-MIN+1 …(3)
符号n表示位数,例如,在本例中一比特ADRC,n设为1。
所以,五个SD像素分别由一位再量化码Q表示,并假定总共有五比特的SD像素。
从ADRC编码器140输出的五比特空间类数据,送入一地址退化电路141被缩减为四比特数据。图17表示地址退化电路141的结构例。
在图17中,从ADRC编码器140输出的对应于SD像素k1到k5的五比特用作ADRC0到ADRC4。ADRC0提供给多路切换器155至158,作为它们的切换信号。ADRC1直接或由反相器151反相后送入多路切换器155。ADRC2直接或由反相器152反相后送入多路切换器156。ADRC3直接或由反相器153反相后送入多路切换器157。ADRC3直接或由反相器154反相后送入多路切换器158。
当ADRC0设为0时,多路切换器155到158选择ADRC1到ADRC4,将它们作为四比特数据值SP0到SP3输出。但是,当ADRC0设为1时,多路切换器155到158选择ADRC1到ADRC4的相应反相器151到154的输出,作为SP0到SP3。
所以,五比特空间类转换为四比特空间类后,送入类退化电路142。因此,例如,数据“01111”被转化为“1111”,数据“10000”同样转换为“1111”,它们成为同一类。
另外,从运动判定部34的编码器128输出的两比特运动类送入类退化电路142。也即,总共有六比特的类代码送入类退化电路142。
类退化电路142缩减六比特的类代码为五比特的类代码,并把它们送入编码器143。编码器143编码并输出五比特的输入类代码。
类退化电路142的构成如图18所示。在图18的例子中,从运动判断部34输出的MV1作为两比特运动类MV的MSB和MV0作为两比特运动类MV的LSB,它们被送入一OR(或门)电路161。OR电路161的输出被送到加法器162的一输入MSB端。MV1作为运动类的MSB输入到加法器162的输入MSB端的第二位。加法器162的一输入端的低位三比特均被接地并设置为0。
从ADRC编码140输出五比特空间类数据,经地址退化电路141缩减成四比特的SP3到SP0,这些数据值中作为MSB的SP3输入到移位器163自MSB起的第二端,SP2输入到自MSB起的第三端,SP1输入到自MSB起的第四端,SP0输入到移位器163的LSB端。移位器163的MSB端接地,设为0。
移位器163依据一运动类操作。当运动类数为0,移位器163直接将输入的低位四比特数据输入给加法器162的另一输入端的低位四比特。但是,当运动类数不是0(即,运动类数为1或2)时,移位器163向LSB侧逐位移位低位四比特数据。也即,移位器163实际将输入数据转换为原值的1/2。另外,移位器163将移位后的数据提供给加法器162另一输入端的低位四比特。加法器162另一输入端的MSB接地,设为0。
加法器162将一端输入的五比特数据和另一端输入的五比特数据相加,将相加结果输出到寄存器164,使寄存器164保存该结果。在本例中,加法器162实际组成图16中的编码器143。
另外,最大值和最小值运算部32提供图13中所示大区域的最大值和最小值给分类部33中的减法器144。减法器144从输入的最大值中减去最小值,将相减结果输出给比较器145。最大值和最小值运算部32提供图12中所示小区域的最大值和最小值给减法器146。减法器146从输入的最大值中减去最小值,将相减结果输出给乘法器147。由寄存器148预先在初始状态存入预定值。乘法器147将减法器146得到的结果和寄存器148中存入的系数相乘,将相乘结果输出给比较器145。比较器145比较减法器144输出和乘法器147输出的大小。若减法器144输出比乘法器147输出大,就输出一短抽头选择信号;若减法器144输出比乘法器147输出小,就输出一长抽头选择信号。
下面,详述运算过程。ADRC编码器140根据上公式计算输入的五个像素的SD数据值k1至k5中每个的再量化码Q,并输出五比特数据值ADRC0列ADRC4,作为表示空间类的数据。五比特数据值被地址退化电路141缩减为四比特的数据值SP3到SP0,并提供给类退化电路142的移位器163。如上所述,运动类的MV1和MV0也从运动判断部34被提供给类退化电路142。
例如,可以假定六比特的类代码由高位两比特(MV1和MV0)的运动类和低位四比特(SP3,SP2,SP1,和SP0)的空间类组成。当类代码是“010011”时,OR电路161输出“1”给加法器162的一输入MSB端,输出运动类MSB的“0”给下一位。因为加法器162另一输入端的低位三比特总设为0,结果是“10000”输入给加法器162的一输入端。
但是,因为类数是1不是0,则移位器163将输入给SP3至SP0端的“0011”逐位向LSB一侧移位成“0001”。“0001”输入给加法器162另一输入端的低位四比特。然而,因为另一输入端的MSB总设为0,结果是“00001”输入给加法器162另一个输入端。最后,加法器162的输出被设为“10001”,该结果输出给寄存器164来保存。所以,类代码从19(=010011)退化为17(=10001)。
同样,若类代码是“100101”,“110000”是加法器162的一个输入,“00010”是加法器162的另一个输入。结果是,加法器162的输出被设为“11010”,类代码从37(=100101)退化到26(=11010)。
图19表示用以上方式类退化的状态。如图19所示,假设运动类数是0、1或2,并且在退化前类数是0到15、16到31、或32到47,则要表示总共48个类需要六位的代码。但经过类退化电路142完成类退化处理后,运动类数0对应的退化后类数是0到15,运动类数1对应的类数是16到23,运动类数2对应的类数是总数为退化前类数24到47的1/2的24到31,类总数达32个,可以用五比特表示。所以,将被存入系数RAM部40(在后面要叙述)的系数的数量减少了等于类的减少数,从而可以减少系数RAM部40中相当于类数量减少值的存储容量。
减法器144从大区域的最大值中减去它们的最小值,并将相减结果输出给比较器145。减法器146从小区域的最大值中减去它们的最小值,将相减结果给乘法器147。乘法器147将减法器146的输出和寄存器148中保存的系数相乘,将相乘结果输出给比较器145。给寄存器148设定的值用来校准,以使图12所示小区域的五个SD像素的最大值和最小值之差,与图13所示大区域的13个SD像素的最大值和最小值之差相一致。然后,比较器145比较减法器144的输出与乘法器147的输出的大小,来确定是否有一个急剧变化。
当减法器144的输出比乘法器147的输出小时(若没有急剧变化),比较器145输出一个长抽头选择信号。当减法器144的输出比乘法器147的输出大时(如果有急剧变化),比较器145输出一个短抽头选择信号。由此,当有急剧变化时,则缩小预测范围来防止出现振铃分量(ringing component)。
虽然在下面会描述细节,但当输出长抽头选择信号时,由后面将提到的抽头退化部35和36,通过抽头退化图4所示预定场中存在的SD像素x1,x2,x4至x6,x10至x16,x20至x22,x24共17个SD像素(17抽头),来产生7个像素(7抽头)的数据,并所述7抽头进行系数积和运算,来计算HD像素。然而,当选择短抽头时,如图20所示,通过对其中存在SD像素数据值x2,x5,x12至x14,x21和x24的7个SD像素(7抽头),进行系数积和运算来获得HD像素。无论哪种情况,由于最终进行系数运算的抽头数被确定为7,所以可以将积和部38和39作为执行积和运算的公用电路。
控制ROM部37根据从分类部33输出的类代码和长抽头或短抽头选择信号控制抽头退化部35和36。即,若输入长抽头选择信号,控制ROM部37则控制抽头退化部35和36,从延迟寄存器部31获取图4所示的当前场中的17个抽头的SD像素,如x1,x2,x4至x6,x20至x22,x24和x25。然而,如果输入短抽头选择信号,控制ROM部37使抽头退化部35和36从延迟寄存器部31获取图20所示的当前场中的7个SD像素,如x2,x5,x12至x14,x21和x24。
当抽头退化部35和36获取图4中所示的17个SD像素时,它们将这些SD像素缩减到7个SD像素,并将之输出到相应的积和部38和39。因为将17个像素退化为7个像素的电路结构庞大,图示该电路很困难。所以,此后,将参考图21在下面描述将获取的7个像素退化到3个像素的抽头退化部结构。
图21显示了模式1下抽头退化部35的结构例子。如图21所示,图22中所示七个SD像素中的SD像素x2输入到多路切换器181-1的两个输入端。SD像素x5提供给多路切换器181-2的两个输入端。SD像素x12提供给多路切换器181-3的左输入端,SD像素x14提供给多路切换器181-3的右输入端。SD像素x13提供给多路切换器181-4的两个输入端。SD像素x14提供给多路切换器181-5的左输入端,SD像素x12提供给多路切换器181-5的右输入端,SD像素x21提供给多路切换器181-6的两个输入端。SD像素x24提供给多路切换器181-7的两个输入端。
就是说,如图22所示,沿一条垂线左右对称的像素提供给相应多路切换器的一个输入端和另一个输入端。而且,一个多路切换器和另一个多路切换器的输入端是对称安排的。即,如图21所示,SD像素x12提供给多路切换器183-1的左输入端,SD像素x14提供给多路切换器183-1的右输入端。然而,SD像素x14提供给多路切换器181-5的左输入端,SD像素x12提供给多路切换器181-5的右输入端。
而且,将没有相应像素与之左右对称的像素提供给一多路切换器的两个输入端。
当从控制ROM部37输入具有逻辑0的控制信号时,多路切换器181-1到181-7中的每个选择和输出左右输入中的左输入。当输入逻辑1时,多路切换器181-1到181-7中的每一个选择和输出右输入。因此,当一个具有逻辑0的控制信号输入多路切换器181-1到181-7中时,SD像素x2,x5,x12,x13,x14,x21或x24被寄存器182-1到182-7保存。然而,当具有逻辑1的控制信号输入多路切换器181-1到181-7中时,SD像素x2,x5,x14,x13,x12,x21或x24被保存。
对寄存器182-1到182-7以下的控制执行速度两倍于对多路切换器181-1到181-7的控制进度。
参考图20所述,要在SD像素x13的左顶点产生HD像素y1,比如说,就要将逻辑0输入到多路切换器181-1到181-7。要在SD像素x13的右顶点产生HD像素y2,就要将逻辑1输入到多路切换器181-1到181-7。
寄存器182-1保存的像素数据直接通过寄存器186-1,188-1和190-1输出。
寄存器182-2保存的SD像素提供给多路切换器183-1的右输入端和多路切换器183-3的左输入端。多路切换器182-3的输出提供给多路切换器183-1的左输入端和多路切换器183-4的右输入端。寄存器182-4的输出提供给多路切换器183-2的一个输入端和多路切换器183-5的右输入端。寄存器182-5的输出提供给多路切换器183-4的左输入端。寄存器182-6的输出提供给多路切换器183-3的右输入端。寄存器182-7的输出提供给多路切换器183-5的左输入端。
根据控制ROM部37提供的控制代码,多路切换器183-1到183-5从左或右输入中选择一个,并把它输出给下面的电路。多路切换器183-1将选出的SD像素提供给一个二进制补码电路184-1。根据控制ROM部37提供的信号,二进制补码电路184-1将从多路切换器183-1收到的数据直接输出给寄存器186-2,或在执行完二进制补码运算之后,将运算结果输出给寄存器186-2。二进制补码操作是将SD数据位中的1反相成0,并将0反相成1,且在LSB加1。
根据控制ROM部37提供的控制代码,多路切换器183-2选择寄存器182-4提供的数据或0,并把它输出给寄存器186-3,加法器187-1将寄存器186-2和寄存器186-3的输出相加,并通过寄存器188-2和190-2输出相加结果。
根据控制ROM部37提供的控制代码,多路切换器183-3从寄存器182-2和182-6的输出中选择一个,并把它输出给二进制补码电路184-2。与二进制补码电路184-1的情况相似,根据控制ROM部37提供的控制代码,二进制补码电路184-2直接或在执行完二进制补码操作后将多路切换器183-3提供的像素数据输出给寄存器186-4。
根据控制ROM部37提供的控制代码,多路切换器183-4从寄存器182-5或182-3的输出中选择一个,并把选择出的像素数据输出给二进制补码电路185。二进制补码电路185对从多路切换器183-4收到的像素数据进行二进制补码运算,并将运算结果输出给寄存器186-5。加法器187-2将寄存器186-4和寄存器186-5的输出相加,并将相加结果输出给寄存器188-3。
根据控制ROM部37提供的控制代码,多路切换器183-5从寄存器182-7和182-4的输出中选择一个,并把它输出给二进制补码电路184-3。根据控制ROM部37提供的控制代码,二进制补码电路184-3直接或在执行完二进制补码操作后将输入的像素数据输出给寄存器186-6。寄存器186-6的输出再提供给寄存器188-4。
加法器189将寄存器188-3和寄存器188-4的输出相加,并将相加结果输出给寄存器190-3。
这样,图22中所示的7抽头的数据就转化成3抽头的数据。
因为相互接近的图像数据有很强的自相关性,它们相对于中心SD像素数据通常是左右对称的。因此,当由抽头退化部35获取水平镜像关系的HD像素y1和HD像素y2时,有可能由实质上相同的电路仅仅通过替换镜像关系中的SD像素,既得到HD像素y1,又得到HD像素y2。
同样,当由抽头退化部36获取水平镜像关系的HD像素y3和HD像素y4时,可以执行同样的抽头退化处理。
当由抽头退化部35和36获取17抽头并输出7抽头时,便得到了图23所示的镜像关系。就是说,SD像素x2与x6有镜像关系。同样,SD像素x10与x16,x11与x15,x12与x14,x20与x22都分别有镜像关系。
图21中不呈镜像关系的像素数据输入到多路切换器181-1,181-2,181-4,181-6和181-7中,它们实质上总选择同一像素数据。因此,也可以省略这些多路切换器。
如上所述,在长抽头模式中,被抽头退化部35和36由17抽头退化到7抽头的数据值,在模式1和模式2下分别被输入到积和部38和39。在短抽头模式中,被抽头退化部35和36获取的7抽头的数据值被直接输入到积和部38和39。
图24显示了系数RAM部40的结构例子。这个例子显示了存储3抽头系数的情况。然而,在图6中的系数RAM部40的情况下,如上所述存储了7抽头的系数。
在初始化模式时,解码器202使SRAM 205-1至205-3进入写状态。初始化计数器201计算时钟数,并输出计数值。解码器202控制初始化模式的多路切换器203,使多路切换器203选择初始化计数器201的输出。结果,初始化计数器201的计数值由多路切换器203提供给寄存器204并保存在寄存器204。然后,保存在寄存器204的计数值作为写地址提供给SRAM 205-1到205-3。而且,在这种情况下,初始化电路10提供的系数数据也是提供给SRAM 205-1到205-3。结果,初始化电路10提供给SRAM 205-1到205-3的系数被写入由初始化计数器201指定的地址中。
于是,当所有必要的系数都被写入SRAM 205-1到205-3中时,初始化计数器201便由初始化电路19提供的复位信号复位。当初始化计数器201复位后,解码器202便将SRAM 205-1到205-3设置为读模式,控制多路切换器203使之选择分类部33的编码器143输出的类代码,并提供该代码给寄存器204。结果,保存在寄存器204的类代码作为读地址提供给SRAM 205-1到205-3。因此,与类代码相应的系数便从SRAM 205-1到205-3读出,并通过寄存器206-1到206-3输出。这样读出的系数被提供给积和部38和39。
这里,可以利用例如公开的日本专利No.9-51510(于1997年2月18日公开)中描述的学习方法,来计算存储在系数RAM部40的每一类的系数。即要通过学习计算每一类的系数,采用一个已知的HD信号作为学习信号。更确切地说,通过包括周边HD内插像素和SD像素的一组学习数据,采用系数的线性一次结合模型来表示在HD信号中所关注的HD像素。这时使用的系数对于每类使用最小二乘法来得到。如上述,当使用学习信号获得系数时,如果不仅使用一个HD信号而且使用多个图像信号来产生许多学习数据,则可得到更正确的系数。注意,在此省略描述计算上述系数的细节,详细内容参见上述申请。
图25显示了积和部38的结构例子。如上所述,积和部38(以及积和部39)将抽头退化部35提供的7抽头数据与系数RAM部40提供的7个系数相乘,通过计算得到一个HD像素数据值。然而,为描述方便,在图25中显示的是执行4抽头积和运算的结构。
在图25中,抽头退化部35提供的4抽头的像素数据值保存在寄存器211-1到211-4中。而且,系数RAM部40提供的系数数据值保存在寄存器212-1到212-4中。乘法器213-1将保存在寄存器211-1的像素数据与保存在寄存器212-1的系数数据相乘,并将相乘结果输出给寄存器214-1。乘法器213-2将保存在寄存器211-2的像素数据与保存在寄存器212-2的系数数据相乘,并将相乘结果输出给寄存器214-2。
加法器215-1将保存在寄存器214-1的数据与保存寄存器214-2的值相加,并将相加结果输出给寄存器216-1。
同样,寄存器211-3中的像素数据和寄存器212-3的系数数据被乘法器213-3相乘,并保存在寄存器214-3中。而且,寄存器211-4的像素数据和寄存器212-4的系数数据被乘法器213-4相乘,并保存在寄存器214-4中。
加法器215-2将保存在寄存器214-3的值与保存在寄存器214-4的值相加,并将相加结果输出给寄存器216-2以在其中保存。
加法器217将保存在寄存器216-1的值与保存在寄存器216-2的值相加,并通过寄存器218输出相加结果。
为描述电路方便起见,假设保存在寄存器211-1到211-4的像素数据值为x1到x4,保存在寄存器212-1到212-4的系数为w1到w4,即在寄存器218中保存作为HD像素数据的下面等式的运算结果。
HD=x1×w1+x2×w2+x3×w3+x4×w4 …(4)
于是,将算出的HD像素y1和y2输出到扫描行转换电路11。
同样,在积和部39中,抽头退化部36提供的像素数据与系数RAM部40提供的系数数据进行积和运算,来计算HD像素y3和y4并输出到扫描行转换电路11。
这样,在亮度信号分量的情况下,由SD像素来产生HD像素。在色彩信号分量的情况下,采用相同的结构也可以由SD像素计算产生HD像素。然而,在这种情况下,需要有色彩信号分量的系数RAM部,这会扩大分辨率生成单元9的规模,并增加成本。在此实施例中,色彩信号分量以与亮度信号分量情况不同的结构来处理。
就是说,如图6所示,从扫描行转换电路8输入的3行色彩信号分量的像素数据被输入并被保存在延迟寄存器部41中。延迟寄存器部41与用于保存亮度信号分量的延迟寄存器部31的结构基本相似,只有行数相互不同。延迟寄存器部41保存3行的全部像素数据,这包括所关注像素所在行的色彩信号分量的像素数据和相同场中最高行和最低行的色彩信号分量的像素数据。
延迟寄存器部41保存的像素数据被输入到内插像素运算部42,在其中对像素数据进行内插处理。
图26显示了图6中内插像素运算部42在模式1中产生HD像素y1和y2时的结构例子。如图27所示,在HD像素yc1和yc2上面行的SD像素数据(端点U1至U5的SD像素数据),在HD像素yc1和yc2下面行的SD像素数据(端点J1至J5的SD像素数据),被输入到内插像素运算部42。端点U1的8位SD像素数据被移位器231向LSB侧移位了3位,并作为5位SD像素数据输入到多路切换器233。而且,端点U3的8位SD像素数据被移位器232向LSB侧移位了3位,并作为5位SD像素数据输入到多路切换器233。多路切换器233根据一个选择信号选择移位器231或移位器232输入的SD像素数据。多路切换器233的输出通过寄存器234和235提供给加法器236。
移位器237将端点U3输入的8位数据向LSB侧移位了3位,并作为5位数据提供给加法器236。加法器236将寄存器235提供的5位数据与移位器237提供的5位数据相加,并将相加结果作为6位数据通过寄存器238提供给加法器239。
移位器240将端点J3输入的8位SD像素数据向LSB侧移位了2位,并作为6位的数据提供给多路切换器242。移位器241将端点J4输入的8位SD像素数据向LSB侧移位了2位,并作为6位数据提供给多路切换器242。多路切换器242根据一个选择信号选择其中的一个输入,并通过寄存器243提供给加法器239。
加法器239将寄存器238的输出与寄存器243的输出相加,并将7位数据通过寄存器244提供给加法器245。
移位器246将端点J4输入的8位数据向LSB侧移动1位,并作为7位数据提供给加法器245。加法器245将寄存器244的输出与移位器246的输出相加,并将8位数据通过寄存器247输出。
图26中的移位器231,232,237,240,241和246实际上能通过仅对从MSB侧的预定位以下连线来实现。
如图27所示,假设模式1下产生的一边HD像素yc1和yc2与另一边的端点J3的所关注SD像素之间的距离作为a1,一边的HD像素yc1和yc2与另一边的端点U3的SD像素之间的距离为b1,一边的HD像素yc1和yc2与另一边的端点U4和U2的SD像素之间的距离为c1,一边的HD像素yc1和yc2与另一边的端点J4和J2的SD像素之间的距离为d1,则距离倒数比如下面等式所示。
1/a1∶1/b1∶1/c1∶1/d1=1/2∶1/8∶1/8∶1/4 …(5)
同样,假设模式2下产生的HD像素yc3和yc4与端点J3的SD像素之间的距离为a2,与端点K3的SD像素之间的距离为b2,与端点K4和K2的SD像素之间的距离为c2,与端点J4和J2的SD像素之间的距离为d2,则距离倒数比如下面等式所示。
1/a2∶1/b2∶1/c2∶1/d2=3/8∶3/16∶3/16∶1/4 …(6)
然后,将参考图28中的时序图描述运算。如图27所示,假设SD像素A′到I′顺序输入到端点U1到U5,SD像素A到I顺序输入到端点J1到J5。如图28所示,端点U1到U5或端点J1到J5的SD像素值从相邻的端点上每时钟顺序地被延迟。
以1/2的像素数据移位周期为周期,多路切换器233交替地选择两个输入之一。因此,如图28所示,假设寄存器234在一个预定时刻上保存移位器231提供的SD像素E′,它在下一个时刻上保存移位器232提供的SD像素C′。寄存器234中保存的SD像素E′和C′顺序地传递到下面的寄存器235。
当在寄存器235中保存的SD像素E′提供给加法器236的一个输入端时,从移位器237将SD像素D′提供给加法器236的另一个输入端。因为加法器236将两个输入相加,并将相加结果输出给寄存器238,所以数据E′+D′便被保存到寄存器238中。然后,在下一个时刻,加法器236将寄存器235保存的SD像素C′与移位器237提供的SD像素D′相加,于是,数据C′+D′便被保存到寄存器238中。
同样,以数据传送周期的1/2为周期交替地选择和输出两个输入之一的多路切换器242,在寄存器238保存数据E′+D′的时刻,选择移位器240提供的SD像素E并使寄存器243保存该数据,而在数据C′+D′保存在寄存器238的时刻使寄存器243保存SD像素C。
加法器239将寄存器238保存的数据与寄存器243保存的数据相加,将相加结果输出给寄存器244。因此,在数据E′+D′保存在寄存器238且数据E保存在寄存器243时刻的下一个时刻,寄存器244保存这两个数据值相加得到的数据E′+D′+E。然后,在再下一个时刻,寄存器244保存数据C′+D′+C。
在数据E′+D′+E保存在寄存器244的时刻,移位器246输出数据D。因此,保存在寄存器244的数据E′+D′+E和移位器246输出的数据D被加法器245相加,数据E′+D′+E+D保存在寄存器247中。同样,在下一个时刻,数据C′+D′+C保存在寄存器244中且移位器246输出数据D。因此,数据C′+D′+C+D被寄存器247保存。
如参考图27所述,数据值E′,C′,D′,E,C和D分别与各端点的像素数据有如下关系。
E′=(1/8)U2 …(7)
C′=(1/8)U4 …(8)
D′=(1/8)U3 …(9)
E=(1/4)J2 …(10)
C=(1/4)J4 …(11)
D=(1/2)J3 …(12)
因此,数据E′+D′+E+D代表如下面等式所示的HD像素yc2。
yc2=(1/8)U2+(1/8)U3+(1/4)J2+(1/2)J3…(13)
而且,数据C′+D′+C+D代表如下面等式表示的HD像素yc1。
yc1=(1/8)U4+(1/8)U3+(1/4)J4+(1/2)J3…(14)
上面描述的是在模式1中获得HD像素yc1和yc2的情况。同样,在模式2中获得HD像素yc3和yc4的情况下,根据上述等式通过执行正常的内插处理来进行计算。
上面给出了将NTSC制式的SD信号转换为高清晰度电视的HD信号的一个例子。然而,本发明并不只限于此制式。简而言之,本发明可应用于从低质像素数据产生高质像素数据的情况。
应注意在不脱离本发明实质的范围内有不同的改形或应用实例。因此,本发明的主旨并不只限于这一个具体实施例。
如上所述,本发明的信号转换装置和信号转换方法,通过对于亮度信号分量,对由学习得到的相应类的系数进行积和运算,而对于色彩信号分量,对基于信号转换前和信号转换后的图像信号的扫描行之间位置关系的系数和色彩信号分量进行积和运算,来执行积和运算,所以可以减小用于存储系数的容量,减小尺寸及降低成本。
虽然在高清晰度电视接收机显示NTSC制式的图像,但本发明的将NTSC的SD信号转换成高清晰度电视的HD信号的信号转换装置,可以用于从低清晰度像素数据产生高分辨率像素数据或类似的情况。
权利要求书
按照条约第19条的修改
1.一种信号转换装置,用来将第一数字图像信号转换成与之不同的第二数字图像信号,包括:
转换电路,用来将所述第一数字图像信号转换成亮度信号分量和色彩信号分量;
存贮器,用来贮存每一类的将所述第一数字图像信号的亮度信号分量转换成所述第二数字图像信号的亮度分量的系数;
分类电路,用来确定所述第一数字图像信号的亮度信号分量的类;
第一运算电路,用来从所述存贮器中读取与所述分类电路确定的类相应的系数,对所读出的系数及所述第一数字图象信号的亮度信号分量进行积和运算,获得所述第二数字图像信号的亮度信号分量;以及
第二运算电路,用来对基于所述第一数字图像信号和所述第二数字图像信号的扫描行之间位置关系的系数、及所述第一数字图像信号的色彩信号分量进行积和运算,获得所述第二数字图像信号的色彩信号分量。
2.如权利要求1所述的信号转换装置,其中,
所述第二运算电路将通过移位所确定的系数与所述第一数字图像信号的色彩信号分量相乘,并且通过将该乘积值与其它的乘积值相加,来执行所述积和运算,获得所述第二数字图像信号的色彩信号分量。
3.如权利要求1所述的信号转换装置,其中,
所述分类电路根据所述第一数字图像信号的空间特征和运动量来确定类。
4.如权利要求1所述的信号转换装置,还包括:
第一退化电路,用来退化为获得所述第二数字图像信号的所述第一数字图像信号的亮度信号分量的抽头数。
5.如权利要求4所述的信号转换装置,还包括:
控制电路,用来根据所述第一数字图像信号的第一区域的空间特征与大于所述第一区域的所述第一数字图像信号的第二区域的空间特征相比获得的比较结果,控制所述第一退化电路。
6.如权利要求1所述的信号转换装置,其中,
所述分类电路退化所述类的数。
7.如权利要求1所述的信号转换装置,还包括:
第一变化电路,用于与第一模式和第二模式相对应,对所述第一运算电路改变所述第一数字图像信号中亮度信号分量的扫描行顺序;以及
第二变化电路,用于将从所述第一运算电路输出的所述第二数字图像信号的扫描行顺序,改变为在被所述第一变化电路改变之前的顺序。
8.如权利要求4所述的信号转换装置,其中,
所述第一运算电路具有与第一模式相应的第一积和电路、和与第二模式相应的第二积和电路,并且所述第一退化电路具有与所述第一模式相应的第一抽头退化电路、和与所述第二模式对应的第二抽头退化电路。
9.如权利要求1所述的信号转换装置,其中,
所述存贮器中存贮的每一类的系数从具有所述第二数字图像信号分辨率的学习信号中产生。
10.如权利要求1所述的信号转换装置,其中,
所述各电路是由一块芯片组成的。
11.一种信号转换方法,用来将第一数字图像信号转换成与之不同的第二数字图像信号,其中:
将所述第一数字图像信号转换成亮度信号分量和色彩信号分量;
确定由所述第一数字图像信号的亮度信号分量划分的类;
从存贮器中读取与所确定类相应的用于将所述第一数字图像信号的亮度信号分量转化成所述第二数字图像信号的亮度信号分量的系数,对所读出的系数和所述第一数字图像信号的亮度信号分量进行第一积和运算,得到所述第二数字图像信号的亮度信号分量;并且
对基于所述第一数字图像信号与所述第二数字图像信号的扫描行之间位置关系的系数、及所述第一数字图像信号的色彩信号分量进行第二积和运算,获得所述第二数字图像信号的色彩信号分量。
12.如权利要求11所述的信号转换方法,其中,
所述第二运算步骤将通过移位所确定的系数与所述第一数字图像信号的色彩信号分量相乘,并且通过将该乘积值与其它乘积值相加,来执行所述积和运算,获得所述第二数字图像信号的色彩信号分量。
13.如权利要求11所述的信号转换方法,其中,
所述分类步骤根据所述第一数字图像信号的空间特征和运动量决定类。
14.如权利要求11所述的信号转换方法,其中,
为获得所述第二数字图像信号的所述第一数字图像信号的亮度信号分量的抽头数被退化。
15.如权利要求14所述的信号转换方法,其中,
根据比较所述第一数字图像信号的第一区域的空间特征、与大于该第一区域的所述第一数字图像信号的第二区域的空间特征获得的比较结果,控制所述抽头数的所述退化操作。
16.如权利要求11所述的信号转换方法,其中,
所述分类步骤退化所述类的数。
17.如权利要求11所述的信号转换方法,其中:
依照第一模式和第二模式,在执行所述第一运算操作之前,改变所述第一数字图像信号的亮度信号分量的扫描行顺序;且
在所述第一运算操作之后,所述第二数字图像信号的扫描行顺序,又被改变成所述第一数字图像信号亮度信号分量的扫描行顺序改变之前的顺序。
18.如权利要求11所述的信号转换方法,其中,
存贮在所述存贮器中的每一类的系数从具有所述第二数字图像信号分辨率的学习信号中产生。
Claims (18)
1.一种信号转换装置,用来将第一数字图像信号转换成与之不同的第二数字图像信号,包括:
转换电路,用来将所述第一数字图像信号转换成亮度信号分量和色彩信号分量;
存贮器,用来贮存每一类的将所述第一数字图像信号的亮度信号分量转换成所述第二数字图像信号的亮度分量的系数;
分类电路,用来确定所述第一数字图像信号的亮度信号分量的类;
第一运算电路,用来从所述存贮器中读取与所述分类电路确定的类相应的系数,对所读出的系数及所述第一数字图象信号的亮度信号分量进行积和运算,获得所述第二数字图像信号的亮度信号分量;以及
第二运算电路,用来对基于所述第一数字图像信号和所述第二数字图像信号的扫描行之间位置关系的系数、及所述第一数字图像信号的色彩信号分量进行积和运算,获得所述第二数字图像信号的色彩信号分量。
2.如权利要求1所述的信号转换装置,其中,
所述第二运算电路将通过移位所确定的系数与所述第二数字图像信号的色彩信号分量相乘,并且通过将该乘积值与其它的乘积值相加,来执行所述积和运算,获得所述第二数字图像信号的色彩信号分量。
3.如权利要求1所述的信号转换装置,其中,
所述分类电路根据所述第一数字图像信号的空间特征和运动量来确定类。
4.如权利要求1所述的信号转换装置,还包括:
第一退化电路,用来退化为获得所述第二数字图像信号的所述第一数字图像信号的亮度信号分量的抽头数。
5.如权利要求4所述的信号转换装置,还包括:
控制电路,用来根据所述第一数字图像信号的第一区域的空间特征与大于所述第一区域的所述第一数字图像信号的第二区域的空间特征相比获得的比较结果,控制所述第一退化电路。
6.如权利要求1所述的信号转换装置,其中,
所述分类电路退化所述类的数。
7.如权利要求1所述的信号转换装置,还包括:
第一变化电路,用于与第一模式和第二模式相对应,对所述第一运算电路改变所述第一数字图像信号中亮度信号分量的扫描行顺序;以及
第二变化电路,用于将从所述第一运算电路输出的所述第二数字图像信号的扫描行顺序,改变为在被所述第一变化电路改变之前的顺序。
8.如权利要求4所述的信号转换装置,其中,
所述第一运算电路具有与第一模式相应的第一积和电路、和与第二模式相应的第二积和电路,并且所述第一退化电路具有与所述第一模式相应的第一抽头退化电路、和与所述第二模式对应的第二抽头退化电路。
9.如权利要求1所述的信号转换装置,其中,
所述存贮器中存贮的每一类的系数从具有所述第二数字图像信号分辨率的学习信号中产生。
10.如权利要求1所述的信号转换装置,其中,
所述各电路是由一块芯片组成的。
11.一种信号转换方法,用来将第一数字图像信号转换成与之不同的第二数字图像信号,其中:
将所述第一数字图像信号转换成亮度信号分量和色彩信号分量;
分类电路确定所述第一数字图像信号的亮度信号分量的类;
从存贮器中读取与所确定类相应的用于将所述第一数字图像信号的亮度信号分量转化成所述第二数字图像信号的亮度信号分量的系数,对所读出的系数和所述第一数字图像信号的亮度信号分量进行积和运算,得到所述第二数字图像信号的亮度信号分量;并且
对基于所述第一数字图像信号与所述第二数字图像信号的扫描行之间位置关系的系数、及所述第一数字图像信号的色彩信号分量进行积和运算,获得所述第二数字图像信号的色彩信号分量。
12.如权利要求11所述的信号转换方法,其中,
所述第二运算步骤将通过移位所确定的系数与所述第一数字图像信号的色彩信号分量相乘,并且通过将该乘积值与其它乘积值相加,来执行所述积和运算,获得所述第二数字图像信号的色彩信号分量。
13.如权利要求11所述的信号转换方法,其中,
所述分类步骤根据所述第一数字图像信号的空间特征和运动量决定类。
14.如权利要求11所述的信号转换方法,其中,
为获得所述第二数字图像信号的所述第一数字图像信号的亮度信号分量的抽头数被退化。
15.如权利要求14所述的信号转换方法,其中,
根据比较所述第一数字图像信号的第一区域的空间特征、与大于该第一区域的所述第一数字图像信号的第二区域的空间特征获得的比较结果,控制所述抽头数的所述退化操作。
16.如权利要求11所述的信号转换方法,其中,
所述分类步骤退化所述类的数。
17.如权利要求11所述的信号转换方法,其中:
依照第一模式和第二模式,在执行所述第一运算操作之前,改变所述第一数字图像信号的亮度信号分量的扫描行顺序;且
在所述第一运算操作之后,将所述第二数字图像信号的扫描行顺序,改变成被所述第一变化电路改变之前的顺序。
18.如权利要求11所述的信号转换方法,其中,
存贮在所述存贮器中的每一类的系数从具有所述第二数字图像信号分辨率的学习信号中产生。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP330606/96 | 1996-12-11 | ||
JP33060696 | 1996-12-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1210653A true CN1210653A (zh) | 1999-03-10 |
CN1097965C CN1097965C (zh) | 2003-01-01 |
Family
ID=18234546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN97192178A Expired - Fee Related CN1097965C (zh) | 1996-12-11 | 1997-12-11 | 信号转换装置和方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US6356310B1 (zh) |
EP (1) | EP0883303B1 (zh) |
KR (1) | KR100504976B1 (zh) |
CN (1) | CN1097965C (zh) |
AU (1) | AU719477B2 (zh) |
DE (1) | DE69722381T2 (zh) |
MX (1) | MX9805333A (zh) |
WO (1) | WO1998026607A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100384249C (zh) * | 2003-06-06 | 2008-04-23 | 索尼株式会社 | 信息信号处理设备和处理方法、系数生成设备和生成方法及查找表生成设备和生成方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3683397B2 (ja) * | 1997-07-02 | 2005-08-17 | 富士写真フイルム株式会社 | カラー画像データ補間方法および装置 |
JP4147632B2 (ja) | 1998-08-24 | 2008-09-10 | ソニー株式会社 | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
EP1111918B1 (en) * | 1999-04-23 | 2008-12-17 | Sony Corporation | Image conversion device and method |
JP4670169B2 (ja) * | 2000-11-15 | 2011-04-13 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体 |
JP4691812B2 (ja) * | 2001-03-29 | 2011-06-01 | ソニー株式会社 | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法 |
US6648543B2 (en) * | 2001-04-19 | 2003-11-18 | Saab Ericsson Space Ab | Device for a space vessel |
US7113223B2 (en) * | 2001-04-20 | 2006-09-26 | Mti Film Llc | High resolution color conforming |
KR100414159B1 (ko) * | 2001-06-15 | 2004-01-07 | 주식회사 성진씨앤씨 | 다채널 입력의 고화질 다중 화면 분할 장치 및 방법 |
JP2003018552A (ja) * | 2001-06-27 | 2003-01-17 | Nec Corp | 走査線変換回路 |
US7242766B1 (en) * | 2001-11-21 | 2007-07-10 | Silicon Image, Inc. | Method and system for encrypting and decrypting data using an external agent |
JP4175124B2 (ja) * | 2003-01-24 | 2008-11-05 | ソニー株式会社 | 画像信号処理装置 |
JP4358055B2 (ja) * | 2004-07-21 | 2009-11-04 | 株式会社東芝 | 補間画素生成回路 |
JP4766318B2 (ja) * | 2005-12-20 | 2011-09-07 | 三星電子株式会社 | 映像処理装置及びコンピュータプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4612567A (en) * | 1984-05-03 | 1986-09-16 | Rca Corporation | Television receiver using non-interlaced scanning format with vertical detail enhancement and motion compensation |
GB8628813D0 (en) | 1986-12-02 | 1987-01-07 | British Broadcasting Corp | Video display system |
JPH01305689A (ja) | 1988-06-03 | 1989-12-08 | Hitachi Ltd | 画像信号処理回路 |
KR0146695B1 (ko) | 1991-09-30 | 1998-09-15 | 강진구 | 텔레비젼신호 변환방식 및 장치 |
EP0600291B1 (en) * | 1992-11-23 | 2002-09-18 | THOMSON multimedia | Method and apparatus for adaptive proscan conversion |
KR100360206B1 (ko) * | 1992-12-10 | 2003-02-11 | 소니 가부시끼 가이샤 | 화상신호변환장치 |
US5583575A (en) | 1993-07-08 | 1996-12-10 | Mitsubishi Denki Kabushiki Kaisha | Image reproduction apparatus performing interfield or interframe interpolation |
JP3622209B2 (ja) * | 1993-07-15 | 2005-02-23 | ソニー株式会社 | 画像信号処理装置および方法並びに重み係数導出装置および方法 |
JP3271108B2 (ja) * | 1993-12-03 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号の処理装置および方法 |
CA2138834C (en) | 1994-01-07 | 2004-10-19 | Robert J. Gove | Video display system with digital de-interlacing |
US5475438A (en) | 1994-03-31 | 1995-12-12 | Zenith Electronics Corporation | Five field motion detector for a TV scan line doubler |
JP3946781B2 (ja) * | 1994-08-08 | 2007-07-18 | ソニー株式会社 | 画像情報変換装置及び方法 |
JP3800638B2 (ja) * | 1995-05-02 | 2006-07-26 | ソニー株式会社 | 画像情報変換装置および方法 |
JP3859089B2 (ja) * | 1995-05-31 | 2006-12-20 | ソニー株式会社 | 信号変換装置及び信号変換方法 |
US5852470A (en) | 1995-05-31 | 1998-12-22 | Sony Corporation | Signal converting apparatus and signal converting method |
KR100203270B1 (ko) * | 1995-09-30 | 1999-06-15 | 윤종용 | 광역벡터의 상관성을 이용한 화소의 보간방법 및 그 장치 |
-
1997
- 1997-12-11 WO PCT/JP1997/004562 patent/WO1998026607A1/ja active IP Right Grant
- 1997-12-11 CN CN97192178A patent/CN1097965C/zh not_active Expired - Fee Related
- 1997-12-11 AU AU54103/98A patent/AU719477B2/en not_active Ceased
- 1997-12-11 KR KR10-1998-0706190A patent/KR100504976B1/ko not_active IP Right Cessation
- 1997-12-11 EP EP97947897A patent/EP0883303B1/en not_active Expired - Lifetime
- 1997-12-11 DE DE69722381T patent/DE69722381T2/de not_active Expired - Lifetime
-
1998
- 1998-06-30 MX MX9805333A patent/MX9805333A/es not_active IP Right Cessation
-
2000
- 2000-08-03 US US09/632,057 patent/US6356310B1/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100384249C (zh) * | 2003-06-06 | 2008-04-23 | 索尼株式会社 | 信息信号处理设备和处理方法、系数生成设备和生成方法及查找表生成设备和生成方法 |
Also Published As
Publication number | Publication date |
---|---|
DE69722381D1 (de) | 2003-07-03 |
MX9805333A (es) | 1998-10-31 |
KR100504976B1 (ko) | 2005-11-29 |
US6356310B1 (en) | 2002-03-12 |
CN1097965C (zh) | 2003-01-01 |
KR19990082457A (ko) | 1999-11-25 |
DE69722381T2 (de) | 2004-04-01 |
WO1998026607A1 (fr) | 1998-06-18 |
EP0883303A1 (en) | 1998-12-09 |
EP0883303A4 (en) | 1999-12-15 |
AU719477B2 (en) | 2000-05-11 |
AU5410398A (en) | 1998-07-03 |
EP0883303B1 (en) | 2003-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1097965C (zh) | 信号转换装置和方法 | |
CN1071978C (zh) | 运动矢量检测装置和方法 | |
CN1293761C (zh) | 数据处理设备、数据处理方法 | |
CN1252999C (zh) | 用于隔行至渐进式变换的高级边缘自适应插值方法和系统 | |
CN1134975C (zh) | 图像处理装置 | |
JP5220726B2 (ja) | 共有メモリマルチビデオチャネルディスプレイ装置および方法 | |
CN1756299A (zh) | 用于处理运动图像的设备和方法以及计算机程序产品 | |
CN1168052A (zh) | 图象数据内插设备 | |
CN1149952A (zh) | 解码视频图像的装置和方法 | |
CN101079254A (zh) | 高分辨率化装置和方法 | |
CN1722852A (zh) | 用于彩色图像去马赛克的优质梯度校正线性插值 | |
CN1273742A (zh) | 视频显示装置和视频显示方法 | |
CN1249836A (zh) | 处理dvd视频的方法和装置 | |
CN1445981A (zh) | 图像处理装置,图像处理方法和图像处理程序 | |
CN1310513C (zh) | 图像处理装置和方法、视频显示装置及记录信息重现装置 | |
US7050113B2 (en) | Digital video data scaler and method | |
US8358363B2 (en) | Video-processing apparatus, method and system | |
CN1942897A (zh) | 缩减数字彩色矩阵图像的方法和装置 | |
CN1728834A (zh) | 转换运动图像数据以及再现运动图像数据的方法和设备 | |
CN1197359C (zh) | 获得增强译码的降低分辨率的视频信号的设备和方法 | |
CN1595973A (zh) | 隔行视频流到逐行视频流的转换方法与系统 | |
CN1917028A (zh) | 处理要显示在液晶显示装置上的运动图像的设备及方法 | |
CN1846441A (zh) | 块失真检测设备、块失真检测方法和视频信号处理设备 | |
CN1220376C (zh) | 信息信号处理器和处理信息信号的方法 | |
JP2002314998A (ja) | 同時的フォーマット縮小方法、及びエンコード・ビデオ信号のデコード方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20030101 Termination date: 20131211 |