CN102811332A - 影像信号处理装置以及方法 - Google Patents
影像信号处理装置以及方法 Download PDFInfo
- Publication number
- CN102811332A CN102811332A CN201210170742XA CN201210170742A CN102811332A CN 102811332 A CN102811332 A CN 102811332A CN 201210170742X A CN201210170742X A CN 201210170742XA CN 201210170742 A CN201210170742 A CN 201210170742A CN 102811332 A CN102811332 A CN 102811332A
- Authority
- CN
- China
- Prior art keywords
- signal
- pixel data
- video signal
- vertical direction
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 21
- 230000033001 locomotion Effects 0.000 claims abstract description 147
- 238000009826 distribution Methods 0.000 claims abstract description 32
- 239000000203 mixture Substances 0.000 claims description 60
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 28
- 241001269238 Data Species 0.000 claims description 26
- 238000003672 processing method Methods 0.000 claims description 9
- 101100421901 Caenorhabditis elegans sos-1 gene Proteins 0.000 abstract description 20
- 238000005192 partition Methods 0.000 abstract 1
- 230000015654 memory Effects 0.000 description 53
- 101150096681 ARF2 gene Proteins 0.000 description 17
- 101150032427 Arf1 gene Proteins 0.000 description 17
- 238000003860 storage Methods 0.000 description 16
- 239000012467 final product Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 206010010071 Coma Diseases 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 2
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种影像信号处理装置以及方法。所述影像信号处理装置能够抑制行存储器的增加,并且即使在图像的垂直方向的运动大的情况下也能够根据运动矢量生成适当的插补像素。频数分布监视器部(4)将运动矢量(MV)的垂直成分的大小划分为多个级别,检测垂直成分在各个级别中以怎样的出现次数的频数来发生。偏移控制部(5),当运动矢量(MV)的垂直成分在预定的特定级别超过预定的阈值时,生成使帧存储器(2、3)中的垂直方向的读出地址移动的偏移信号(Sos1、Sos2)。选择控制部(61)进行控制,以使延迟选择部(62、63)选择的像素数据在垂直方向上移动。
Description
技术领域
本发明涉及处理影像信号的影像信号处理装置以及方法,尤其涉及改良了根据运动矢量生成插补像素的插补处理的影像信号处理装置以及方法。
背景技术
在使用液晶面板的图像显示装置中显示运动图像时容易产生残像。因此,为了减少残像,在影像信号的实际帧之间内插插补帧来增大帧数,例如将垂直频率60Hz的帧率变换为2倍的120Hz或120Hz以上的垂直频率来进行图像显示。在进行帧率变换的影像信号处理装置中,检测图像的运动矢量,使用运动矢量来生成各插补像素,生成要在实际帧间内插的插补帧。进行帧率变换的影像信号处理装置,作为一例记载在专利文献1中。
在根据运动矢量生成插补像素并生成插补帧的影像信号处理装置中,为了提高插补精度来获得高画质的帧率变换图像,扩大插补处理的范围是有效的。即,即使在图像的运动大的情况下也需要使用适当的实际帧的像素生成插补像素。但是,为了扩大插补处理的范围,必须增加使影像信号在垂直方向上延迟的行存储器、使影像信号在水平方向上延迟的像素延迟器的数量。当增加行存储器或像素延迟器的数量时,电路规模变大,成本升高。特别是行存储器的增加对电路规模的增大以及成本升高产生很大影响。因此,希望在抑制行存储器的增加的同时扩大插补处理的范围。
专利文献1:日本特开2008-141546号公报
发明内容
本发明为了应对这种希望,目的在于提供一种能够在抑制行存储器的增加的同时扩大插补处理的范围,即使在图像的垂直方向的运动大的情况下也能够根据运动矢量生成适当的插补像素的影像信号处理装置以及方法。
本发明,为了解决上述现有技术的课题,提供一种影像信号处理装置,其中,具备:第一延迟部(2),其使输入影像信号延迟1帧期间或多行期间后作为第一延迟影像信号进行输出;第二延迟部(3),其使所述第一延迟影像信号延迟1帧期间后作为第二延迟影像信号进行输出;第一延迟选择部(62),其使所述第一延迟影像信号的像素数据在水平以及垂直方向上依次延迟,生成在生成插补像素数据时使用的第一参照范围内包含的多个像素数据,从所述多个像素数据中选择某个像素数据;第二延迟选择部(63),其使所述第二延迟影像信号的像素数据在水平以及垂直方向上依次延迟,生成在生成所述插补像素数据时使用的第二参照范围内包含的多个像素数据,从所述多个像素数据中选择某个像素数据;频数分布监视器部(4),其将在生成所述插补像素数据时使用的运动矢量的垂直成分的大小划分为多个级别,检测运动矢量的垂直成分在各个级别中以怎样的出现次数的频数发生;偏移控制部(5、50、51、52),其在通过所述频数分布监视器部检测出的运动矢量的垂直成分在预先设定的特定的级别中超过了预定的阈值时,生成使从所述第一延迟部读出所述第一延迟影像信号时的垂直方向的读出地址移动的第一偏移信号,提供给所述第一延迟部,生成使从所述第二延迟部读出所述第二延迟影像信号时的垂直方向的读出地址移动的第二偏移信号,提供给所述第二延迟部;以及选择控制部(61),其进行控制,以使根据所述第一偏移信号使所述第一延迟选择部选择的像素数据在垂直方向上移动,根据所述第二偏移信号使所述第二延迟选择部选择的像素数据在垂直方向上移动。
另外,本发明为了解决上述现有技术的课题,提供一种影像信号处理方法,其中,通过第一延迟部使输入影像信号延迟1帧期间或多行期间后作为第一延迟影像信号进行输出,通过第二延迟部使所述第一延迟影像信号延迟1帧期间后作为第二延迟影像信号进行输出,使所述第一延迟影像信号的像素数据在水平以及垂直方向上依次延迟,生成在生成插补像素数据时使用的第一参照范围内包含的多个像素数据,使所述第二延迟影像信号的像素数据在水平以及垂直方向上依次延迟,生成在生成所述插补像素数据时使用的第二参照范围内包含的多个像素数据,将在生成所述插补像素数据时使用的运动矢量的垂直成分的大小划分为多个级别,检测运动矢量的垂直成分在各个级别中以怎样的出现次数的频数发生,当运动矢量的垂直成分在预先设定的特定的级别中超过了预定阈值时,根据第一偏移信号使从所述第一延迟部读出所述第一延迟影像信号时的垂直方向的读出地址移动,根据第二偏移信号使从所述第二延迟部读出所述第二延迟影像信号时的垂直方向的读出地址移动,根据所述第一偏移信号,移动从所述第一参照范围内的多个像素数据中选择并读出第一像素数据时的垂直方向的位置,根据所述第二偏移信号,移动从所述第二参照范围内的多个像素数据中选择并读出第二像素数据时的垂直方向的位置,根据从所述第一参照范围读出的所述第一像素数据,和从所述第二参照范围读出的所述第二像素数据,生成插补像素数据。
根据本发明的影像信号处理装置以及方法,能够在抑制行存储器的增加的同时扩大插补处理的范围,即使在图像的垂直方向的运动大的情况下,也能够根据运动矢量生成适当的插补像素。
附图说明
图1是表示第1实施方式的框图。
图2是用于说明运动矢量的图。
图3是表示频数分布监视器部4检测出的频数分布的直方图的例子的图。
图4是表示延迟选择部62、63的具体结构例的框图。
图5是用于说明不移动帧存储器2、3中的垂直方向的读出地址的情况下的插补像素生成动作的概念图。
图6是用于说明移动了帧存储器2、3中的垂直方向的读出地址的情况下的插补像素生成动作的概念图。
图7是用于说明帧存储器2、3中的垂直方向的读出地址的移动的图。
图8是表示图1的变形结构的局部框图。
图9是表示第2实施方式的框图。
图10是用于说明第2实施方式中的运动矢量的图。
图11是用于说明第2实施方式中的动作的图。
图12是表示第3实施方式的框图。
图13是用于说明2-3下拉的影像信号以及去抖动处理的图。
图14是用于说明去抖动处理的像素插补的图。
图15是表示第4实施方式的框图。
图16是表示第5实施方式的框图。
图17是表示在第5实施方式中频数分布监视器部4L、4R检测出的频数分布的直方图的例子的图。
图18是用于说明在左区域中移动了帧存储器2、3中的垂直方向的读出地址的情况下的插补像素生成动作的概念图。
图19是用于说明在右区域中移动了帧存储器2、3中的垂直方向的读出地址的情况下的插补像素生成动作的概念图。
图20是用于说明在左区域以及右区域中不移动帧存储器2、3中的垂直方向的读出地址的情况下的插补像素生成动作的概念图。
符号说明
1 运动矢量检测部
2、3、21 帧存储器(延迟部)
4 频数分布监视器部
4L 左区域频数分布监视器部
4R 右区域频数分布监视器部
5、50~52 偏移控制部
5L 左区域偏移控制部
5R 右区域偏移控制部
6 插补像素生成部
6L 左区域插补像素生成部
6R 右区域插补像素生成部
7 时间序列变换存储器
8 影片信号检测部
9 去抖动处理部
20 延迟部
61 选择控制部
62、63 延迟选择部
64 混合部
501、521 判别部
502、533 偏移量决定部
522 限制部
具体实施方式
以下,参照附图说明本发明的影像信号处理装置以及方法的各实施方式。以下详述的第1、第2、第4、第5实施方式,作为影像信号处理装置的一例,表示了将垂直频率60Hz的帧率变换为120Hz的帧率变换装置。第3实施方式以不变换帧率而使根据影片图像生成的影像信号的运动平滑的、进行所谓去抖动处理的去抖动处理装置为例。作为影像信号处理装置,只要是根据运动矢量生成插补像素的装置即可。也可以是将帧率变换为4倍或4倍以上的帧率变换装置。
(第1实施方式)
使用图1~图8说明第1实施方式的结构以及动作。在图1中对运动矢量检测部1以及帧存储器2依次输入构成输入影像信号S0的各像素数据。输入影像信号S0的垂直频率是60Hz。帧存储器2使输入影像信号S0延迟1帧期间后作为影像信号(第一延迟影像信号)S1进行输出。影像信号S1被输入运动矢量检测部1、帧存储器3、插补像素生成部6内的延迟选择部62。帧存储器3使影像信号S1延迟1帧期间后作为影像信号(第二延迟影像信号)S2进行输出。影像信号S2被输入插补像素生成部6内的延迟选择部63。
运动矢量检测部1比较输入影像信号S0以及影像信号S1各自的由预定的水平方向以及垂直方向的多个像素构成的搜索范围间的像素的水平,将差分最小的方向作为运动矢量MV进行输出。运动矢量检测部1包含多个行存储器以及触发器等多个像素延迟器。作为运动矢量检测部1,采用公知的结构即可,因此省略运动矢量检测部1的具体结构。在此,使用相邻两帧的多个像素检测运动矢量MV,但是为了提高检测精度也可以使用3帧以上的多个像素来检测运动矢量MV。
从运动矢量检测部1输出的运动矢量MV被输入频数分布检测器部4以及插补像素生成部6内的选择控制部61。在图2中,设影像信号S1是实际帧f1,影像信号S2是实际帧f2。假定在实际帧f1、f2间内插插补帧f12。运动帧检测部1作为一例,以实际帧f2的像素为基准来检测运动矢量MV。如图2所示,在实际帧f1上排列了像素Pf1(-2)、Pf1(-1)、Pf1(0)、Pf1(1)、Pf1(2)…,在实际帧f2上排列了像素Pf2(-2)、Pf2(-1)、Pf2(0)、Pf2(1)、Pf2(2)…。假定生成插补帧f12的插补像素Pf12(0)时的运动矢量MV是图示那样的矢量。
在图2中,为了生成插补像素Pf12(0),取实际帧f1上的像素Pf1(-2)和实际帧f2上的像素Pf2(2)的平均即可。后述的插补像素生成部6在生成插补像素时不直接使用以实际帧f2的像素为基准的运动矢量MV。插补像素生成部6将运动矢量MV变换为以插补像素Pf12(0)为基准的实际帧f1和插补帧f12之间的运动矢量MV/2、和以插补像素Pf12(0)为基准的实际帧f2和插补帧f12之间的运动矢量-MV/2,使用运动矢量MV/2、-MV/2。
频数分布监视器部4例如以帧为单位监视运动矢量MV,检测运动矢量MV的垂直成分以怎样的大小如何分布。例如,如图3的直方图所示,每一定范围划分运动矢量MV的垂直成分所取的范围来设为级别,将各个级别在1帧中的出现次数设为频数。图3所示的例子,运动矢量MV的垂直成分取8~-8的范围,以每两个范围进行划分来设为级别。级别的数字表示作为运动矢量MV的垂直成分的像素数(行数)。此外,运动矢量MV的垂直成分,在朝向从影像信号S 1的实际帧f1观看影像信号S2的实际帧f2时的垂直方向上侧时为正方向,朝向下侧时为负方向。
可以根据1帧内检测出的全部运动矢量MV对各个级别的出现次数进行计数,也可以间隔取得运动矢量MV来对出现次数进行计数。此外,可以针对1帧内的全部像素分别求出运动矢量MV,也可以以多个像素为单位求出运动矢量MV。
频数分布监视器部4将表示图3那样求出的频数分布的数据Sfd提供给偏移控制部5。偏移控制部5当图3所示的频数分布的特定的级别CLsp中频数超过阈值y时,生成表示绝对值超过0的预定的偏移量的偏移信号Sos1、Sos2。偏移控制部5在不超过阈值y时输出表示偏移量为0的偏移信号Sos1、Sos2。关于偏移量,在后面详细说明。
如后所述,插补像素生成部6内的延迟选择部62、63使输入的像素数据在水平方向上延迟1~4像素,在垂直方向上延迟1~4行。即,延迟选择部62、63在影像信号S1、S2中的水平方向5像素、垂直方向5像素的范围的像素数据中选择预定的像素数据。通过偏移控制部5设定的特定的级别CLsp优选设为成为当通过延迟选择部62、63选择用于根据运动矢量MV(MV/2、-MV/2)生成插补像素数据的预定的像素数据时无法选择的范围的级别。
在第1实施方式中,成为无法选择的范围的级别是5、6的级别、7、8的级别、-5、-6的级别、-7、-8的级别,在此,将特定的级别CLsp设为7、8的级别和-7、-8的级别。图3的例子表示在7、8的级别超过了阈值y的状态。可以将5、6的级别和-5、-6的级别作为特定的级别,也可以将5、6的级别、7、8的级别、-5、-6的级别、-7、-8的级别全部作为特定的级别。
当将5、6的级别、7、8的级别、-5、-6的级别、-7、-8的级别设为特定的级别CLsp时,在将5、6的级别中的频数和7、8的级别中的频数合计而得的频数超过阈值y或者将-5、-6的级别中的频数和-7、-8的级别中的频数合计而得的频数超过阈值y的情况下,可以生成表示预定的偏移量的偏移信号Sos1、Sos2。
将偏移信号Sos1输入帧存储器2,将偏移信号Sos2输入帧存储器3。偏移信号Sos1、Sos2也被输入选择控制部61。
在此,使用图4说明延迟选择部62、63的具体的结构以及动作。延迟选择部62、63具备行存储器601~604、作为像素延迟器的触发器605~624、选择部625。影像信号S1、S2的像素数据通过行存储器601~604分别依次延迟1行期间。所输入的像素数据通过触发器605~608分别依次被延迟1像素期间。从行存储器601输出的像素数据通过触发器609~612分别依次延迟1像素期间。从行存储器602输出的像素数据通过触发器613~616分别依次延迟1像素期间。从行存储器603输出的像素数据通过触发器617~620分别依次延迟1像素期间。从行存储器604输出的像素数据通过触发器621~624分别依次延迟1像素期间。
所输入的像素数据、从行存储器601~604输出的像素数据和从触发器605~624输出的像素数据被输入选择部625。被输入选择部625的像素数据是影像信号S1、S2中的水平方向上5像素、垂直方向上5像素的范围内包含的共计25像素的像素数据。从触发器614输出的像素数据是25像素的像素数据中的中央的像素数据,从触发器614输出的像素数据的位置成为基准位置。
在第1实施方式中,延迟选择部62、63分别从作为生成插补像素数据时的参照范围的25像素的像素数据中选择一个像素数据,但是参照范围不限于25像素。也可以具备更多的行存储器以及触发器,从比25像素多的各个参照范围内的像素中选择一个像素数据。
首先,说明运动矢量MV的垂直成分例如为4像素(4行)的情况。如前所述,通过插补像素生成部6生成插补像素数据时使用的运动矢量是运动矢量MV/2、-MV/2,因此,当运动矢量MV的垂直成分为4像素时,通过插补像素生成部6使用的运动矢量的垂直成分为+2像素、-2像素。由图4可知,延迟选择部62、63在将从触发器614输出的像素数据的位置设为基准位置时,能够选择在垂直方向上移动+2像素、-2像素后的位置的像素数据。即,若运动矢量MV的垂直成分为4像素以内,则可以在以从触发器614输出的像素数据的位置为基准位置的状态下选择像素数据。
接着,说明运动矢量MV的垂直成分例如为8像素(8行)的情况。当运动矢量MV的垂直成分为8像素时,插补像素生成部6中使用的运动矢量的垂直成分为+4像素、-4像素。由图4可知,延迟选择部62、63在以从触发器614输出的像素数据的位置作为基准位置的情况下,无法选择在垂直方向上移动+4像素、-4像素后的位置的像素数据。因此,在第1实施方式中,当在作为特定的级别的CLsp的7、8的级别和-7、-8的级别的至少一方的级别频数超过了阈值y时,为了可以通过延迟选择部62、63选择与运动矢量MV的垂直成分对应的像素数据来输出而如下构成。
将作为偏移控制部5求出偏移量的基准的运动矢量MV的垂直成分设为8像素。为了通过延迟选择部62、63选择在垂直方向上移动+4像素、-4像素后的位置的像素数据,以从触发器614输出的像素数据的位置作为基准位置的情况下的垂直方向的像素数据的选择范围为+2像素、-2像素,因此,将偏移信号Sos1的偏移量设为2,将偏移信号Sos2的偏移量设为-2即可。表示偏移量2的偏移信号Sos1被输入帧存储器2,表示偏移量-2的偏移信号Sos2被输入帧存储器3。帧存储器2、3根据所输入的偏移量来移动读出影像信号S1、S2时的垂直方向的读出地址。
选择控制部61根据所输入的偏移信号Sos1、Sos2的偏移量,生成选择控制信号Ssel1、Ssel2并输入延迟选择部62、63。如图4所示,选择控制信号Ssel1、Ssel2被输入选择部625。若偏移信号Sos1、Sos2的偏移量为0,则选择控制部61以从触发器614输出的像素数据的位置作为基准位置,根据运动矢量MV/2、-MV/2生成选择像素数据的选择控制信号Ssel1、Ssel2,提供给延迟选择部62、63的选择部625。
另一方面,若偏移信号Sso1的偏移量为2,则选择控制部61以从触发器622输出的像素数据的位置作为基准位置,根据运动矢量MV/2生成选择像素数据的选择控制信号Ssel1并提供给延迟选择部62的选择部625。另外,若偏移信号Sos2的偏移量为-2,则选择控制部61以从触发器606输出的像素数据的位置作为基准位置,根据运动矢量-MV/2生成选择像素数据的选择控制信号Ssel2并提供给延迟选择部63的选择部625。
选择控制部61根据偏移信号Sos1、Sos2的偏移量,使作为延迟选择部62、63中的基准的垂直方向的像素数据的位置移动。结果,将选择部625根据运动矢量MV/2、-MV/2来选择并输出的像素数据在垂直方向上移动。
从延迟选择部62的选择部625输出所选择的像素数据Psel1,从延迟选择部63的选择部625输出所选择的像素数据Psel2。混合部64混合像素数据Psel1、Psel2来生成插补像素数据Pi。混合部64以取得像素数据Psel1、Psel2的平均的方式将两者混合即可。插补像素数据Pi相当于图2中的插补像素Pf12(0)。
影像信号S1作为实际帧信号被输入时间序列变换存储器7,从混合部64依次输出的插补像素数据Pi作为插补帧信号被输入时间序列变换存储器7。时间序列变换存储器7以垂直频率120Hz交替读出实际帧信号的像素数据和插补帧信号的插补像素数据Pi,由此输出进行帧率变换后的影像信号。
使用图5、图6说明帧存储器2、3中的垂直方向的读出地址的移动。图5概念性地表示了偏移信号Sos1、Sos2的偏移量为0时的插补像素生成。当作为插补帧f12内的像素而生成插补像素Pf12(0)时,影像信号S1的帧f1中参照的像素是作为参照范围的区域Arf1内的像素,影像信号S2的帧f2中参照的像素是作为参照范围的区域Arf2内的像素。在第1实施方式中,区域Arf1、Arf2的行数Lf1、Lf2为5行。将垂直成分为4像素的运动矢量MV设为MV(v4),将垂直成分为8像素的运动矢量MV设为MV(v8)。
如图5所示,若运动矢量检测部1检测出的运动矢量MV为运动矢量MV(v4),则可以使用区域Arf1、Arf2内的像素生成插补像素Pf12(0)。当运动矢量MV为运动矢量MV(v8)时,用于生成插补像素Pf12(0)的帧f1、f2内的像素在区域Arf1、Arf2的范围外。因此,插补像素生成部6无法生成插补像素Pf12(0)。
因此,在第1实施方式中,如前所述,将预定的偏移量的偏移信号Sos1、Sos2提供给帧存储器2、3来移动垂直方向的读出地址,并且移动延迟选择部62、63中的垂直方向的基准位置。其结果如图6所示,区域Arf1与图5相比,成为在垂直方向向下方移动后的区域Arf1’所示的位置,区域Arf2与图5相比,成为在垂直方向向上方移动后的区域Arf2’所示的位置。区域Arf1’、Arf2’的行数Lf1’、Lf2’为5行。如图6所示,即使运动矢量MV为运动矢量MV(v8),用于生成插补像素Pf12(0)的帧f1、f2内的像素也在区域Arf1’、Arf2’的范围内,插补像素生成部6能够生成插补像素Pf12(0)。
在图6中为了方便而表示了区域Arf1在垂直方向向下方移动而成为区域Arf1’,区域Arf2在垂直方向向上方移动而成为区域Arf2’。实际上,如图7(A)、(B)所示,移动了来自帧存储器2、3的像素数据的垂直方向的读出地址。图7(A)的点划线表示的帧f2概念性地表示了不移动读出地址的状态,图7(B)的点划线表示的帧f1概念性地表示了不移动读出地址的状态。
在偏移信号Sos1,Sos2的偏移量为0,不移动读出地址的情况下,来自帧存储器2、3的像素数据在以点划线表示的定时被读出。图7(A)的实线表示的帧f2概念性地表示了移动了读出地址的状态,图7(B)的实线表示的帧f1概念性地表示了移动了读出地址的状态。若偏移量是超过0的预定的值,则来自帧存储器2、3的像素数据在用实线表示的帧f1、f2所示的定时被读出。此外,图7(A)、(B)中为了容易理解而夸张地表示了移动量。
在前面所述的例子中,基于偏移信号Sos1的偏移量为2,因此帧存储器2将读出地址向上方移动与偏移量2相当的行数Ls1(即2行)。另外,基于偏移信号Sos2的偏移量为-2,因此,帧存储器3将读出地址向下方移动与偏移量-2相当的行数Ls2(即2行)。
其结果,通过延迟选择部62参照的像素的范围从图5所示的区域Arf1向图6所示的区域Arf1’在垂直方向向下方移动,通过延迟选择部63参照的像素的范围从图5所示的区域Arf2向图6所示的区域Arf2’在垂直方向向上方移动。此外,读出地址的在垂直方向向下方或上方的移动,根据在消隐(blanking)期间挪动影像信号S1,S2的读出开始位置和读出结束位置可以容易地实现。
在图1中,通过帧存储器2使输入影像信号S0延迟1帧期间来作为影像信号S1,但是也可以使其延迟不到1帧的期间。图8表示代替帧存储器2而使用延迟不到1帧的期间的延迟部20的情况下的结构。延迟部20可以通过多个行存储器来构成。延迟部20使输入影像信号S0延迟不到1帧的期间,作为影像信号S1’而输出。影像信号S1’被提供给延迟选择部62。
在这种情况下,需要对运动矢量检测部1输入互相离开1帧期间的两个帧信号,因此设置了帧存储器21。帧存储器21使输入影像信号S0延迟1帧期间后,作为影像信号S10来输出。运动矢量检测部1根据输入影像信号S0和影像信号S10来检测运动矢量MV。这样,向延迟选择部62供给的影像信号不限于使输入影像信号S0延迟1帧期间后的影像信号S1。
在以上的说明中,说明了运动矢量MV的垂直成分为偶数的情况,但是在奇数的情况下如下动作即可。延迟选择部62、63中的选择部625取得垂直方向上相邻的两个像素数据的平均,将平均后的像素数据作为像素数据Psel1、Psel2来输出即可。在运动矢量MV的水平成分为奇数的情况下也相同,选择部625取得水平方向上相邻的两个像素数据的平均,将平均后的像素数据作为像素数据Psel1、Psel2来输出即可。
另外,在运动矢量MV的垂直成分为奇数的情况下,偏移控制部5在正的情况下根据1个大的偶数的值求出偏移量,在负的情况下根据1个小的偶数的值求出偏移量即可。即,在图3中,在运动矢量MV的垂直成分为1、3、5、7的情况下,分别将垂直成分设为2、4、6、8来求出偏移量,在运动矢量MV的垂直成分为-1、-3、-5、-7的情况下,分别将垂直成分设为-2、-4、-6、-8来求出偏移量。
这样,偏移控制部5,在运动矢量MV的垂直成分为奇数的情况下,替换为偶数来求出偏移量,延迟选择部62、63输出作为与运动矢量MV的垂直成分为奇数的情况对应的像素数据Psel1、Psel2,由此,即使在运动矢量MV的垂直成分为奇数的情况下,也可以进行与运动矢量MV的垂直成分为偶数的情况下相同的处理。
在第1实施方式中,在从在特定的级别CLsp中频数不超过阈值y,偏移信号Sos1,Sos2的值为0的状态,变为在特定的级别CLsp中频数超过阈值y,偏移信号Sos1,Sos2的值成为预定的值的情况下或者与其相反的情况下,不移动或者移动来自帧存储器2、3的影像信号S1、S2的读出地址的状态最好不急剧地变化。偏移控制部5最好使偏移信号Sos1、Sos2的值针对1个帧或多个帧的每一个帧依次变化。例如在使偏移量从0到2的情况下,在检测出超过阈值y的下一帧中将偏移量设为1,进而在下一帧中将偏移量设为2即可。
(第2实施方式)
使用图9~图11说明第2实施方式的结构以及动作。在图9中,对于与图1相同的部分赋予相同符号并省略其说明。在图9中,代替图1的偏移控制部5而设置了偏移控制部50。偏移控制部50具备判别部501和偏移量决定部502。
在第2实施方式中,如图10所示,偏移控制部50将5、6的级别、7、8的级别、-5、-6的级别、-7、-8的级别作为特定的级别CLsp。图10所示的例子表示在作为特定的级别CLsp的7、8的级别中超过阈值y,在垂直方向的运动方向与7、8的级别相反、不是特定的级别CLsp的-1、-2的级别中也超过阈值y的状态。判别部501判别特定的级别CLsp中的某个级别中超过阈值y,并且在垂直方向的运动方向与超过了阈值y的某个特定的级别CLsp相反的特定的级别CLsp以外的级别中超过了阈值y的状态。
判别部501在判别为上述状态的情况下,将超过了阈值y的特定的级别CLsp的垂直成分的值、和在特定的级别CLsp以外超过了阈值y的级别的垂直成分的值输入偏移量决定部502。偏移量决定部502在图10的例子中,将作为超过了阈值y的特定的级别CLsp的垂直成分的值的8、和作为在特定的级别CLsp以外超过了阈值y的级别的垂直成分的值的-2相加,计算出垂直方向的像素数为6像素。因此,在插补像素生成部6中使用的运动矢量的垂直成分成为+3像素、-3像素。
此外,在7、8的级别和5、6的级别中超过阈值y,在-1、-2的级别中也超过阈值y的情况下,以垂直成分的大小为最大的级别、即7、8的级别为基准。即,在这种情况下也将8和-2相加,计算出垂直方向的像素数为6像素。
并且,偏移量决定部502与第1实施方向相同,将从触发器614输出的像素数据的位置作为基准位置的情况下的垂直方向的像素数据的选择范围为+2像素、-2像素,因此,将偏移信号Sos10的偏移量设为1,将偏移信号Sos20的偏移量设为-1即可。
使用图11说明第2实施方式的效果。图11(A)表示延迟选择部62、63中的垂直方向的存储器区域。存储器区域相当于图5中说明的区域Arf1、Arf2的行数Lf1、Lf2。如图11(B)所示,7、8的级别为a所示的位置,-1、-2的级别为b所示的位置。图11(C)表示进行了在第1实施方式中说明的移动后的状态。
由图11(C)可知,当进行第1实施方式中说明的移动时,能够生成运动矢量MV的垂直成分为7、8的级别的插补像素数据Pi,但是,由于-1、-2的级别在存储器区域以外,因此无法生成-1、-2的级别的插补像素数据Pi。图11(D)是未进行移动的状态。在图11(D)的情况下,可以生成-1、-2的级别的插补像素数据Pi,但是无法生成7、8的级别的插补像素数据Pi。
-1、-2的级别的运动本来是可以通过插补像素生成部6生成插补像素数据Pi的范围的运动,不希望不生成-1、-2的级别的插补像素数据Pi。关于在不进行移动的状态下可以生成插补像素数据Pi的范围的运动,希望生成插补像素数据Pi。因此,在第2实施方式中,可以应对-1、-2的级别的运动,为了极力应对超过存储器区域的部分的运动,如图11(E)所示,将偏移量设为1(以及-1)。
根据图11(E)所示的移动,可以生成-1、-2的级别的插补像素数据Pi。虽然无法生成7、8的级别的插补像素数据Pi,但是可以生成接近7、8的级别的图11(D)中无法应对的5、6的级别的插补像素数据Pi。
在第2实施方式中,偏移控制部50也优选针对1个帧或多个帧的每一个帧使偏移信号Sos10,Sos20的值依次变化。
(第3实施方式)
使用图12~图14说明第3实施方式的结构以及动作。在图12中,对于与图1相同的部分赋予相同的符号并省略其说明。图12所示的第3实施方式以去抖动处理装置为例。
在图12中对影片信号检测部8输入影像信号S1、S2。影片信号检测部8根据影像信号S1、S2检测输入影像信号S0是否是从影片图像通过2-2下拉或2-3下拉而被变换为垂直频率60Hz后的图像信号。若影片图像为30慧差(30帧),则可以通过2-2下拉变换为60帧的帧率,若影片图像为24慧差(24帧),则可以通过2-3下拉变换为60帧的帧率。
当输入影像信号S0是通过2-3下拉而生成的影像信号时,由图13(A)可以理解,2帧中为相同图像,在接下来的3帧中为相同图像,在接下来的2帧中为相同图像。在图13(A)所示的帧f1~f6中,帧f1、f2中为相同图像Im1,在帧f3~f5中为相同图像Im2,在帧f6以及未图示的接下来的帧中为相同图像Im3。影片信号检测部8生成表示是否是通过2-2下拉或2-3下拉而变换出的影像信号的检测信号Sdet并输入到偏移控制部51。
例如,影片信号检测部8在检测出不是下拉变换后的影像信号的情况下,作为检测信号Sdet而输出值“0”,在检测出是下拉变换后的影像信号的情况下,作为检测信号Sdet而输出值“1”。影片信号检测部8在是下拉变换后的影像信号的情况下,优选区别地检测是2-2下拉还是2-3下拉。在区别两者的情况下,例如影片信号检测部8在检测出不是下拉变换后的影像信号的情况下,作为检测信号Sdet而输出值“00”,在检测出是2-2下拉的情况下,作为检测信号Sdet而输出值“01”,在检测出是2-3下拉的情况下,作为检测信号Sdet而输出值“10”即可。
由图13(A)可知,通过2-2下拉或2-3下拉变换后的图像信号,图像的运动不平滑,为了使图像的运动平滑,如图13(B)所示,有时进行去抖动处理。图13(B)所示的帧f10与帧f1相同。图像Im10与图像Im1相同。在帧f20中,在图像Im1和图像Im2之间的距离图像Im1和图像Im2等间隔的位置生成了图像Im20。帧f30与帧f3相同,图像Im30与图像Im2相同。
在帧f40中,在图像Im2和图像Im3之间的距离图像Im2的位置1/3的位置生成了图像Im40。在帧50中,在图像Im2和图像Im3之间的距离图像Im2的位置2/3的位置生成了图像Im50。帧60与帧6相同,图像Im60与图像Im3相同。通过将图13(A)的影像信号如图13(B)那样变换,可以使图像的运动平滑。
图14概念性地表示了生成帧f50的图像Im50时的插补处理。在通常的像素插补中,在相邻的两个像素的中央生成插补像素,与此相对,在去抖动处理中,由上述的说明可知,有时在偏向相邻的两个像素的一方的位置生成插补像素。在图14中表示了水平方向的插补,但是在垂直方向也相同。在进行去抖动处理的情况下,通过在第一实施方式中说明的偏移信号Sos1、Sos2的偏移量发生偏移不足的情况。
因此,在第3实施方式中,在从影片信号检测部8输出的检测信号Sdet是表示通过2-2下拉或2-3下拉而变换后的图像信号的值的情况下,偏移控制部51作为偏移信号Sos11、Sos21而输出比第一实施方式中的偏移量增大的偏移量。例如在检测信号Sdet为值“1”或值“01”、“10”的情况下,使偏移量增大50%。若不是下拉的情况下的偏移量为2、-2,则下拉的情况下的偏移量为3、-3。
在对2-2下拉和2-3下拉进行区别的情况下,优选使2-3下拉的情况下的偏移量的增大程度大于2-2下拉的情况下的偏移量的增大程度。例如在2-2下拉的情况下使偏移量增大50%,在2-3下拉的情况下使偏移量增大60%。若不是下拉的情况下的偏移量为2、-2,则2-2下拉的情况下的偏移量为3、-3,2-3下拉的情况下的偏移量将小数进位而成为4、-4。在2-3下拉的情况下,可以使偏移量以超过60%的比例增大。
偏移信号Sos11、Sos21比第1实施方式的情况下增大,由此,延迟选择部62、63根据选择控制信号Ssel1、Ssel2选择并输出的像素数据Psel1、Psel2也向与第1实施方式的情况不同的垂直方向的位置移动。
此外,在使偏移量增大之前的偏移量为偏移量的上限值或与其接近的值的情况下,如上所述,当使偏移量增大50%或60%时,在计算方面超过上限值。在这种情况下,由于偏移量被限幅,因此,即使是通过下拉而变换后的图像信号,偏移量也不增大。另外,在计算方面,在舍去小数点的情况下,有时也不增大偏移量。
在图12中,去抖动处理部9通过以垂直频率60Hz交替地的读出实际帧信号的像素数据和插补帧信号的插补像素数据Pi,输出实施去抖动处理后的影像信号。去抖动处理部9可以由存储器构成。在第3实施方式中,以具备去抖动处理部9的去抖动处理装置为例,但是也可以与第1、第2实施方式同样,作为帧率变换装置。
在第3实施方式中,偏移控制部51也优选针对1帧或多个帧的每一个帧使偏移信号Sos11、Sos21的值依次变化。
(第4实施方式)
使用图15说明第4实施方式的结构以及动作。在图15中,对于与图11、图12相同的部分赋予相同符号并省略其说明。第4实施方式相当于将第2实施方式与第3实施方式结合。在图15中,偏移控制部52具备判别部521、限制部522和偏移量决定部533。判别部521如通过图9的判别部501说明的那样,判别在特定的级别CLsp中超过阈值y,并且在垂直方向的运动方向与超过阈值y的特定的级别CLsp相反的特定的级别CLsp以外的级别中超过阈值y的状态。
限制部522,在判别部521判别出上述状态的情况下,与第2实施方式相同,将超过了阈值y的特定的级别CLsp的垂直成分的值、和特定的级别CLsp以外超过阈值y的级别的垂直成分的值相加,计算出限制了垂直方向的像素数后的像素数。通过限制部522计算出的像素数被输入偏移量决定部533。在偏移量决定部533中输入从影片信号检测部8输出的检测信号Sdet。
偏移量决定部533,在检测信号Sdet不是表示下拉的值的情况下,输出基于从限制部522输入的限制后的像素数的偏移量,即偏移信号Sos12、Sos22。偏移量决定部533,在检测信号Sdet是表示下拉的值的情况下,输出使基于从限制部522输入的限制后的像素数的偏移量增大后的偏移信号Sos12、Sos22。
另外,在判别部521未判别出上述状态,限制部522不限制垂直方向的像素数,将与第1实施方式相同的像素数输入到偏移量决定部533的情况下,偏移量决定部533基于不限制的像素数,根据检测信号Sdet是否是表示下拉的值来决定偏移量,输出偏移信号Sos12、Sos22。
在第4实施方式中,偏移控制部51也优选针对1帧或多个帧的每一个帧,使偏移信号Sos12、Sos22的值依次变化。
(第5实施方式)
使用图16~图20说明第5实施方式的结构以及动作。在图16中,对于与图1相同的部分赋予相同符号并省略其说明。在第1~第4实施方式中,频数分布监视器部4通过例如以帧为单位监视运动矢量MV,检测运动矢量MV的垂直成分以怎样的大小如何分布,生成了表示频数分布的数据Sfd。在图像在1帧的全体中同样运动的情况下,根据表示频数分布的数据Sfd检测出特定的级别CLsp中频数超过了阈值y,将帧存储器2、3中的垂直方向的读出地址移动。
例如当进行在图像显示装置的画面的左右显示互不相同的影像信号的所谓2画面显示时,图像的运动在左右不同,因此,即使在1帧的全体中监视运动矢量MV并如图3中说明的那样取得直方图,也发生在特定的级别CLsp中不超过阈值y的情况。在这种情况下,帧存储器2、3中的垂直方向的读出地址不被移动,未达到插补处理的范围扩大的效果。这种情况不限于2画面显示,在显示1个影像信号的情况下,在1帧内的左右进行不同的运动的图像的情况下也同样地发生。
第5实施方式,为了在图像的运动在多个区域中不同的情况下也达到插补处理的范围扩大的效果,改进了第1实施方式的结构。在此,将改进第1实施方式的结构而得的结构作为第5实施方式来说明,但是第2~第4实施方式也能够采用与第5实施方式相同的结构。在第5实施方式中,作为一例,在将1帧左右均等地分割为两部分的各个区域中处理影像信号。也可以不均等而使各个区域的面积不同地进行分割来处理。
在图16中,从运动矢量检测部1输出的运动矢量MV被输入左区域频数分布监视器部4L以及右区域频数分布监视器部4R、左区域插补像素生成部6L以及右区域插补像素生成部6R。左区域频数分布监视器部4L以及右区域频数分布监视器部4R与频数分布监视器部4同样,例如以帧为单位监视运动MV,检测运动矢量MV的垂直成分以怎样的大小如何分布。但是,左区域插补像素生成部6L仅监视1帧的左区域内的运动矢量MV,右区域插补像素生成部6R仅监视1帧的右区域内的运动矢量MV。
图17(A)是表示左区域频数分布监视器部4L生成的运动矢量MV的分布的直方图的例子,图17(B)是表示右区域频数分布监视器部4R生成的运动矢量MV的分布的直方图的例子。运动矢量MV的级别的设定与图3相同。左区域频数分布监视器部4L将表示左区域内的频数分布的数据SfdL提供给左区域偏移控制部5L,右区域频数分布监视器部4R将表示右区域内的频数分布的数据SfdR提供给右区域偏移控制部5R。如图17(A)、(B)所示,在此也将特定的级别CLsp设为7、8的级别和-7、-8的级别。
图17(C)表示为了与图17(A)、(B)比较,不将1帧左右分割为两部分,而与第1实施方式同样地在1帧全体内监视运动矢量MV而生成的直方图。
左区域偏移控制部5L,在图17(A)所示的频数分布的特定的级别CLsp中频数超过阈值y1的情况下,生成表示绝对值超过0的预定的偏移量的偏移信号Sos1L、Sos2L。右区域偏移控制部5R,在图17(B)所示的频数分布的特定的级别CLsp中频数超过阈值y1的情况下,生成表示绝对值超过0的预定的偏移量的偏移信号Sos1R、Sos2R。在第5实施方式中,左区域偏移控制部5L以及右区域偏移控制部5R设定了作为比图3、图17(C)所示的阈值y小的值的阈值y1。这是因为由于将1帧左右分割为两部分,因此左右各个区域中的运动矢量MV的垂直成分的各个级别的出现次数比在1帧全体中监视时的出现次数减少。
在图17(C)的情况下,在特定的级别CLsp中频数不超过阈值y。在图17(A)、(B)的情况下设定了比阈值y小的值的阈值y1,因此特定的级别CLsp中频数超过阈值y1。
偏移信号Sos1L、Sos2L被输入帧存储器2、3以及左区域插补像素生成部6L,偏移信号Sos1R、Sos2R被输入帧存储器2、3以及右区域插补像素生成部6R。偏移信号Sos1L、Sos2L根据偏移量使帧存储器2、3中的垂直方向的读出地址在相反方向上移动。偏移信号Sos1R、Sos2R根据偏移量使帧存储器2、3中的垂直方向的读出地址在相反方向上移动。
左区域插补像素生成部6L以及右区域插补像素生成部6R的内部结构与插补像素生成部6相同。如图1中说明的那样,左区域插补像素生成部6L以及右区域插补像素生成部6R具有选择控制部61、延迟选择部62、63和混合部64。延迟选择部62、63的具体结构如图4中说明的那样。
帧存储器2将用于左区域插补像素生成部6L生成左区域内的插补像素的必要的影像信号S1L提供给左区域插补像素生成部6L,将用于右区域插补像素生成部6R生成右区域内的插补像素的必要的影像信号S1R提供给右区域插补像素生成部6R。帧存储器3将用于左区域插补像素生成部6L生成左区域内的插补像素的必要的影像信号S2L提供给左区域插补像素生成部6L,将用于右区域插补像素生成部6R生成右区域内的插补像素的必要的影像信号S2R提供给右区域插补像素生成部6R。
影像信号S1L是作为影像信号S1而从帧存储器2依次输出的像素数据中的左区域内的像素数据,是根据偏移信号Sos1L表示的偏移量使地址在垂直方向上移动后的像素数据。影像信号S2L是从帧存储器3依次输出的像素数据中的左区域内的像素数据,是根据偏移信号Sos2L表示的偏移量使地址在垂直方向上移动后的像素数据。若偏移量为0,则影像信号S1L、S2L是未移动的像素数据。
影像信号S1R是作为影像信号S1而从帧存储器2依次输出的像素数据中的右区域内的像素数据,是根据偏移信号Sos1R表示的偏移量使地址在垂直方向上移动后的像素数据。影像信号S2R是从帧存储器3依次输出的像素数据中的右区域内的像素数据,是根据偏移信号Sos2R表示的偏移量使地址在垂直方向上移动后的像素数据。若偏移量为0,则影像信号S1R、S2R是未移动的像素数据。
左区域插补像素生成部6L内的选择控制部61根据偏移信号Sos1L、Sos2L的偏移量,使延迟选择部62、63中的作为基准的垂直方向的像素数据的位置移动。右区域插补像素生成部6R内的选择控制部61根据偏移信号Sos1R、Sos2R的偏移量,使延迟选择部62、63中的作为基准的垂直方向的像素数据的位置移动。通过与图1的插补像素生成部6同样的动作,左区域插补像素生成部6L生成左区域插补信号,右区域插补像素生成部6R生成右区域插补信号。将左区域插补信号和右区域插补信号组合为插补帧信号。
将影像信号S1作为实际帧信号而输入时间序列变换存储器7,将左区域插补信号和右区域插补信号作为插补帧信号而输入时间序列变换存储器7。时间序列变换存储器7通过将左区域插补信号和右区域插补信号合成,作为插补帧信号的插补像素数据。时间序列变换存储器7通过以垂直频率120Hz交替地读出实际帧信号的像素数据和插补帧信号的插补像素数据,输出进行了帧率变换后的影像信号。
使用图18~图20说明第5实施方式的效果。图18表示在帧f1、f2的左区域中在垂直方向向下方移动后的区域Arf1’L和在垂直方向向上方移动后的区域Arf2’L。即使是运动矢量MV的垂直成分为8像素的运动矢量MV(v8),用于生成插补像素Pf12(0)L的帧f1、f2内的像素也在区域Arf1’L、Arf2’L的范围内,左区域插补像素生成部6L可以生成插补像素Pf12(0)L。
图19表示在帧f1、f2的右区域中,在垂直方向向上方移动后的区域Arf1’R和在垂直方向向下方移动后的区域Arf2’R。图19是运动矢量MV的垂直成分为与图18反方向的-8像素,运动矢量MV是MV(-8v)。即使是运动矢量MV的垂直成分为-8像素的运动矢量MV(-8v),用于生成插补像素Pf12(0)R的帧f1、f2内的像素也在区域Arf1’R、Arf2’R的范围内,右区域插补像素生成部6R可以生成插补像素Pf12(0)R。
图20表示了为了与图18、图19比较,不将1帧左右分割为两部分,而与第1实施方式同样地在1帧的全体内监视运动矢量MV来生成偏移信号Sos1、Sos2的情况。如图17(C)所示,在特定的级别CLsp中频数不超过阈值y,因此偏移量成为0,用于生成插补像素Pf12(0)L、Pf12(0)R的区域Arf1L、Arf1R、Arf2L、Arf2R未被移动。因此,在左区域中运动矢量MV为运动矢量MV(v8),在右区域中运动矢量MV为运动矢量MV(-v8)的情况下,无法生成插补像素Pf12(0)L、Pf12(0)R。
如上所述,根据第5实施方式,在帧内的多个区域中进行了互不相同的动作的情况下,能够针对各个区域恰当地扩大插补处理的范围。因此,在多个区域的各个区域中,即使在图像的垂直方向的运动大的情况下,也能够根据运动矢量生成适当的插补像素。
在第5实施方式中,将帧的区域分割为两部分,但是也可以分割为3部分以上,将区域在水平方向上分割的分割方式以及分割数量适当设定即可。分别根据分割数来设置频数分布监视器部4和偏移控制部5和插补像素生成部6即可。
本发明不限于以上说明的第1~第5实施方式,在不脱离本发明的主旨的范围内能够进行各种变更。在第1~第5实施方式中表示了具备运动矢量检测部1的结构,但是,为了通过其他装置利用,也可以将检测出的运动矢量MV提供给频数分布监视器部4(4L、4R)以及插补像素生成部6(6L、6R)。频数分布监视器部4(4L、4R)将各个级别在1帧中的出现次数作为频数,但是也可以将2帧中的出现次数作为频数,只要适当设定即可。
Claims (16)
1.一种影像信号处理装置,其特征在于,
具备:
第一延迟部,其使输入影像信号延迟1帧期间或多行期间后作为第一延迟影像信号进行输出;
第二延迟部,其使所述第一延迟影像信号延迟1帧期间后作为第二延迟影像信号进行输出;
第一延迟选择部,其使所述第一延迟影像信号的像素数据在水平以及垂直方向上依次延迟,生成在生成插补像素数据时使用的第一参照范围内包含的多个像素数据,从所述多个像素数据中选择某个像素数据;
第二延迟选择部,其使所述第二延迟影像信号的像素数据在水平以及垂直方向上依次延迟,生成在生成所述插补像素数据时使用的第二参照范围内包含的多个像素数据,从所述多个像素数据中选择某个像素数据;
频数分布监视器部,其将在生成所述插补像素数据时使用的运动矢量的垂直成分的大小划分为多个级别,检测运动矢量的垂直成分在各个级别中以怎样的出现次数的频数发生;
偏移控制部,其在通过所述频数分布监视器部检测出的运动矢量的垂直成分在预先设定的特定的级别中超过了预定的阈值时,生成使从所述第一延迟部读出所述第一延迟影像信号时的垂直方向的读出地址移动的第一偏移信号,提供给所述第一延迟部,生成使从所述第二延迟部读出所述第二延迟影像信号时的垂直方向的读出地址移动的第二偏移信号,提供给所述第二延迟部;以及
选择控制部,其进行控制,以使根据所述第一偏移信号使所述第一延迟选择部选择的像素数据在垂直方向上移动,根据所述第二偏移信号使所述第二延迟选择部选择的像素数据在垂直方向上移动。
2.根据权利要求1所述的影像信号处理装置,其特征在于,
所述偏移控制部生成使所述第一延迟部中的垂直方向的读出地址在第一方向上移动的偏移信号作为所述第一偏移信号,生成使所述第二延迟部中的垂直方向的读出地址在与所述第一方向相反的第二方向上移动的偏移信号作为所述第二偏移信号,
所述选择控制部控制所述第一以及第二延迟选择部,以使所述第一延迟选择部选择的像素数据在第一垂直方向上移动,根据所述第二偏移信号使所述第二延迟选择部选择的像素数据在与所述第一垂直方向相反的第二垂直方向上移动。
3.根据权利要求1或2所述的影像信号处理装置,其特征在于,
所述偏移控制部将所述特定的级别设定为以下级别:
根据所述第一以及第二偏移信号,不使所述第一以及第二延迟部中的读出地址移动,通过所述选择控制部在不使所述第一以及第二延迟选择部选择的像素数据移动的状态下,与运动矢量的垂直成分的大小对应的像素数据在所述第一以及第二参照范围以外。
4.根据权利要求3所述的影像信号处理装置,其特征在于,
还具备判别部,其判别是否发生了如下状态:通过所述频数分布监视器部检测出的运动矢量的垂直成分在所述特定的级别中的某个级别中超过所述预定的阈值,并且在垂直方向的运动方向与超过所述预定的阈值的所述某个级别相反的、所述特定的级别以外的级别中超过了所述预定的阈值,
所述偏移控制部,在所述判别部判别为所述状态时,将基于所述第一以及第二偏移信号的所述第一以及第二延迟部中的读出地址的移动的程度限制为比所述判别部未判别为所述状态时还要小的值,
所述选择控制部根据移动的程度受限制的所述第一以及第二的偏移信号进行控制,使所述第一以及第二延迟选择部选择的像素数据在垂直方向上移动。
5.根据权利要求4所述的影像信号处理装置,其特征在于,
所述偏移控制部根据将超过所述预定的阈值的垂直成分最大的级别的正或负的一个方向的垂直成分,和超过所述预定的阈值的所述特定的级别以外的级别的正或负的另一方向的垂直成分相加所得的垂直成分的值,生成所述第一以及第二偏移信号。
6.根据权利要求1或2所述的影像信号处理装置,其特征在于,
还具备影片信号检测部,其检测所述输入影像信号是否是从影片影像通过下拉而被变换为预定的垂直频率的影像信号,
所述偏移控制部,当所述影片信号检测部检测出所述输入影像信号是通过下拉变换后的影像信号时,将基于所述第一以及第二偏移信号的所述第一以及第二延迟部中的读出地址的移动的程度设为比未检测出所述输入影像信号是通过下拉变换后的影像信号时还要大的值。
7.根据权利要求6所述的影像信号处理装置,其特征在于,
所述影片信号检测部检测所述输入影像信号是从影片影像通过2-2下拉变换后的影像信号,还是通过2-3下拉变换后的影像信号,
所述偏移控制部,当所述影片信号检测部检测出所述输入影像信号是通过2-3下拉变换后的影像信号时,将基于所述第一以及第二偏移信号的所述第一以及第二延迟部中的读出地址的移动的程度设为比检测出所述输入影像信号是通过2-2下拉变换后的影像信号时还要大的值。
8.根据权利要求1或2所述的影像信号处理装置,其特征在于,
针对将所述输入影像信号的帧分割为多个区域而得的所述多个区域中的各个区域进行所述第一延迟选择部的选择的动作、所述第二延迟选择部的选择的动作、所述频数分布监视器部的检测的动作、所述偏移控制部的供给所述第一以及第二偏移信号的动作以及所述选择控制部的移动的动作。
9.一种影像信号处理方法,其特征在于,
通过第一延迟部使输入影像信号延迟1帧期间或多行期间后作为第一延迟影像信号进行输出,
通过第二延迟部使所述第一延迟影像信号延迟1帧期间后作为第二延迟影像信号进行输出,
使所述第一延迟影像信号的像素数据在水平以及垂直方向上依次延迟,生成在生成插补像素数据时使用的第一参照范围内包含的多个像素数据,
使所述第二延迟影像信号的像素数据在水平以及垂直方向上依次延迟,生成在生成所述插补像素数据时使用的第二参照范围内包含的多个像素数据,
将在生成所述插补像素数据时使用的运动矢量的垂直成分的大小划分为多个级别,检测运动矢量的垂直成分在各个级别中以怎样的出现次数的频数发生,
当运动矢量的垂直成分在预先设定的特定的级别中超过了预定的阈值时,根据第一偏移信号使从所述第一延迟部读出所述第一延迟影像信号时的垂直方向的读出地址移动,根据第二偏移信号使从所述第二延迟部读出所述第二延迟影像信号时的垂直方向的读出地址移动,
根据所述第一偏移信号,移动从所述第一参照范围内的多个像素数据中选择并读出第一像素数据时的垂直方向的位置,根据所述第二偏移信号,移动从所述第二参照范围内的多个像素数据中选择并读出第二像素数据时的垂直方向的位置,
根据从所述第一参照范围读出的所述第一像素数据,和从所述第二参照范围读出的所述第二像素数据生成插补像素数据。
10.根据权利要求9所述的影像信号处理方法,其特征在于,
根据所述第一偏移信号,将所述第一延迟部中的垂直方向的读出地址在第一方向上移动,根据所述第二偏移信号,将所述第二延迟部中的垂直方向的读出地址在与所述第一方向相反的第二方向上移动,
根据所述第一偏移信号,将从所述第一参照范围内的多个像素数据中读出像素数据的位置在第一垂直方向上移动,来读出所述第一像素数据,根据所述第二偏移信号,将从所述第二参照范围内的多个像素数据中读出像素数据的位置在与所述第一垂直方向相反的第二垂直方向上移动,从而读出所述第二像素数据。
11.根据权利要求9或10所述的影像信号处理方法,其特征在于,
将所述特定的级别设定为以下级别:
不使所述第一以及第二延迟部中的读出地址移动,在不移动从所述第一以及第二参照范围内的多个像素数据中读出像素数据的位置的状态下,与运动矢量的垂直成分的大小对应的像素数据在所述第一以及第二参照范围以外。
12.根据权利要求11所述的影像信号处理方法,其特征在于,
判别是否发生了如下状态:运动矢量的垂直成分在所述特定的级别中的某个级别中超过所述预定的阈值,并且在垂直方向的运动方向与超过所述预定的阈值的所述某个级别相反的、所述特定的级别以外的级别中超过了所述预定的阈值,
在判别为所述状态时,将基于所述第一以及第二偏移信号的所述第一以及第二延迟部中的读出地址的移动的程度限制为比未判别为所述状态时还要小的值,
根据移动的程度受限制的所述第一以及第二的偏移信号,移动从所述第一以及第二参照范围内的多个像素数据中选择并读出所述第一以及第二像素数据时的垂直方向的位置。
13.根据权利要求12所述的影像信号处理方法,其特征在于,
根据将超过所述预定的阈值的垂直成分最大的级别的正或负的一个方向的垂直成分,和超过所述预定的阈值的所述特定的级别以外的级别的正或负的另一方向的垂直成分相加所得的垂直成分的值,生成所述第一以及第二偏移信号。
14.根据权利要求9或10所述的影像信号处理方法,其特征在于,
检测所述输入影像信号是否是从影片影像通过下拉而被变换为预定的垂直频率后的影像信号,
当检测出所述输入影像信号是通过下拉变换后的影像信号时,将基于所述第一以及第二偏移信号的所述第一以及第二延迟部中的读出地址的移动的程度设为比未检测出所述输入影像信号是通过下拉变换后的影像信号时还要大的值。
15.根据权利要求14所述的影像信号处理方法,其特征在于,
检测所述输入影像信号是从影片影像通过2-2下拉变换后的影像信号,还是通过2-3下拉变换后的影像信号,
当检测出所述输入影像信号是通过2-3下拉变换后的影像信号时,将基于所述第一以及第二偏移信号的所述第一以及第二延迟部中的读出地址的移动的程度设为比检测出所述输入影像信号是通过2-2下拉变换后的影像信号时还要大的值。
16.根据权利要求9或10所述的影像信号处理方法,其特征在于,
在将所述输入影像信号的帧分割为多个区域而得的所述多个区域中的各个区域中,生成在所述第一参照范围内包含的多个像素数据,
在所述多个区域中的各个区域中,生成在所述第二参照范围内包含的多个像素数据,
在所述多个区域的各个区域中,检测所述出现次数的频数,
在所述多个区域的各个区域中,移动垂直方向的读出地址,
在所述多个区域的各个区域中,对选择并读出所述第一以及第二像素数据来读出时的垂直方向的位置进行移动,
在所述多个区域的各个区域中,生成所述插补像素数据。
Applications Claiming Priority (14)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011122045 | 2011-05-31 | ||
JP2011-122051 | 2011-05-31 | ||
JP2011-122045 | 2011-05-31 | ||
JP2011122051 | 2011-05-31 | ||
JP2011122057 | 2011-05-31 | ||
JP2011-122057 | 2011-05-31 | ||
JP2012-032741 | 2012-02-17 | ||
JP2012-032747 | 2012-02-17 | ||
JP2012-032801 | 2012-02-17 | ||
JP2012-032803 | 2012-02-17 | ||
JP2012032801A JP5880118B2 (ja) | 2011-05-31 | 2012-02-17 | 映像信号処理装置及び方法 |
JP2012032747A JP5880117B2 (ja) | 2011-05-31 | 2012-02-17 | 映像信号処理装置及び方法 |
JP2012032803A JP5880119B2 (ja) | 2011-05-31 | 2012-02-17 | 映像信号処理装置及び方法 |
JP2012032741A JP5880116B2 (ja) | 2012-02-17 | 2012-02-17 | 映像信号処理装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102811332A true CN102811332A (zh) | 2012-12-05 |
CN102811332B CN102811332B (zh) | 2015-04-15 |
Family
ID=46578790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210170742.XA Active CN102811332B (zh) | 2011-05-31 | 2012-05-29 | 影像信号处理装置以及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8531600B2 (zh) |
EP (1) | EP2530935A3 (zh) |
CN (1) | CN102811332B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6222514B2 (ja) * | 2012-01-11 | 2017-11-01 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置、およびコンピュータブログラム |
US10382782B2 (en) * | 2014-06-27 | 2019-08-13 | Samsung Electronics Co., Ltd. | Image frame interpolation apparatus, display apparatus and control method thereof |
CN105306866A (zh) * | 2015-10-27 | 2016-02-03 | 青岛海信电器股份有限公司 | 帧率转换方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1155957A (zh) * | 1995-07-19 | 1997-07-30 | 株式会社东芝 | 字框变换装置 |
CN1249617A (zh) * | 1998-08-04 | 2000-04-05 | 索尼公司 | 图像处理设备、方法和提供介质 |
EP2262254A1 (en) * | 2008-11-28 | 2010-12-15 | Victor Company Of Japan, Limited | Repetitive object detecting device and method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100530223B1 (ko) * | 2003-05-13 | 2005-11-22 | 삼성전자주식회사 | 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치 |
JP4565339B2 (ja) * | 2003-05-16 | 2010-10-20 | ソニー株式会社 | 動き補正装置及び方法 |
WO2005079062A1 (ja) * | 2004-02-13 | 2005-08-25 | Sony Corporation | 画像処理装置と画像処理方法およびプログラム |
JP4844370B2 (ja) | 2006-12-04 | 2011-12-28 | 株式会社日立製作所 | フレームレート変換装置及び表示装置 |
JP4964197B2 (ja) * | 2008-07-18 | 2012-06-27 | 株式会社Jvcケンウッド | 映像信号処理装置及び映像信号処理方法 |
JP4692913B2 (ja) * | 2009-10-08 | 2011-06-01 | 日本ビクター株式会社 | フレームレート変換装置及び方法 |
JP4873765B2 (ja) * | 2009-11-20 | 2012-02-08 | キヤノン株式会社 | 映像信号処理装置及び映像信号処理方法 |
-
2012
- 2012-05-29 CN CN201210170742.XA patent/CN102811332B/zh active Active
- 2012-05-30 EP EP12004154.6A patent/EP2530935A3/en not_active Withdrawn
- 2012-05-30 US US13/483,854 patent/US8531600B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1155957A (zh) * | 1995-07-19 | 1997-07-30 | 株式会社东芝 | 字框变换装置 |
CN1249617A (zh) * | 1998-08-04 | 2000-04-05 | 索尼公司 | 图像处理设备、方法和提供介质 |
EP2262254A1 (en) * | 2008-11-28 | 2010-12-15 | Victor Company Of Japan, Limited | Repetitive object detecting device and method |
Also Published As
Publication number | Publication date |
---|---|
US20120307142A1 (en) | 2012-12-06 |
EP2530935A3 (en) | 2015-11-25 |
US8531600B2 (en) | 2013-09-10 |
EP2530935A2 (en) | 2012-12-05 |
CN102811332B (zh) | 2015-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100588239C (zh) | 帧速率变换装置和图像显示装置以及帧速率变换方法 | |
CN101627417B (zh) | 图像显示装置 | |
CN101222589B (zh) | 影像处理装置和包括该影像处理装置的影像显示装置 | |
CN101212593B (zh) | 影像处理装置和包括该影像处理装置的影像显示装置 | |
US9215452B2 (en) | Stereoscopic video display apparatus and stereoscopic video display method | |
CN101894514B (zh) | 显示控制装置和显示控制方法 | |
CN102811332A (zh) | 影像信号处理装置以及方法 | |
CN102124511A (zh) | 图像信号处理装置、图像信号处理方法、图像显示装置、电视接收机、电子设备 | |
CN102855853A (zh) | 三维图像显示装置及其驱动方法 | |
CN103369208A (zh) | 自适应去隔行方法及装置 | |
CN105872652A (zh) | 一种多路视频流播放的方法及装置 | |
CN106062698A (zh) | 用于跳跃通过媒体内容的技术 | |
CN1984239A (zh) | 移动矢量检测方法、图像处理装置、图像显示装置及程序 | |
CN102577365A (zh) | 视频显示装置 | |
CN102497525B (zh) | 一种运动补偿去隔行方法 | |
CN103260074A (zh) | 一种图像显示的方法、装置及终端 | |
US20170032498A1 (en) | Image compensation method and apparatus | |
US8384636B2 (en) | Overdriving apparatus and method thereof | |
JP4374047B2 (ja) | 映像信号処理装置および映像信号処理方法 | |
US20150035957A1 (en) | Display system and displaying method for display system | |
JP5880118B2 (ja) | 映像信号処理装置及び方法 | |
JP2013172158A (ja) | 映像信号処理装置及び方法 | |
US9093010B2 (en) | Image processing method and image processing apparatus | |
CN103957402A (zh) | 一种实时全高清2d转3d系统行读写时序设计方法 | |
CN108040246B (zh) | 多视点裸眼3d显示系统中降低时钟频率的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |