JP2008252594A - 順次走査変換装置及び順次走査変換方法 - Google Patents

Abstract

【課題】順次走査変換における画質の劣化を防止することが可能な動き適応型の順次走査変換装置を提供する。
【解決手段】順次走査変換装置１は、フィールド遅延部１０と、フィールド遅延部１１と、動き検出部１２と、フィールド間ゼロベクトル相関検出部１３と、画面照明成分変動検出部ＬＤと、動き検出補正部１４と、動画用補間画素生成部１５と、静画用補間画素生成部１６と、補間画素混合生成部１７と、時系列変換部１８とを備えており、フィールド間ゼロベクトル相関検出部１３はフィールド間の同じ画面位置にある画面全体を分割してなる小領域同士の相関を検出し、画面照明成分変動検出部ＬＤはフィールド間の画面照明成分変動を検出し、動き検出補正部１４は画面照明成分変動検出部ＬＤで画面照明成分変動が検出された場合に画面全体の動き検出の補正を強め、画面照明成分変動が検出されなかった場合に画面全体の動き検出の補正を弱める順次走査変換装置。
【選択図】図１

Description

本発明は、動き適応型の順次走査変換装置及び順次走査変換方法に関する。

映像信号の信号処理において、飛び越し走査の形態の映像信号を順次走査の形態の映像信号に変換する順次走査変換が知られている。この順次走査変換において、高画質画像に不可欠な物理要因である自然感を保存して、静止画像から動画像まで違和感なく高品質画像を再生することが求められている。

順次操作変換において、カメラのストロボが一瞬たかれた場合に静止画判定をして、順次走査画像に白い横縞が入る。これを解消するために、１フィールド遅延させた信号と入力信号とを比較することにより、１フィールド内の動きを検出して映像が静止画であるとの判定による画像の劣化を防止する映像信号処理装置が提案されている（特許文献１参照）。
特開２００１−１７５１５９号公報

上記の特許文献１に記載された映像信号処理装置では、フィールド毎に映像の動きを検出しているため、画面内の小さな領域に生じる映像の変化による動き検出の誤判定を防止することが難しかった。また、垂直方向の高周波成分を持つ静止画が動画と判定されることがあり、画像が劣化する場合があった。

本発明は上記の問題点に鑑みて成されたものであって、画像を判定してより効果的に動き検出の補正を行うことにより、画質の劣化を防止することが可能な順次走査変換装置及び順次走査変換方法を提供することを目的とする。

本発明に係る順次走査変換装置は、画素毎に１フレーム間の動きを検出する動き検出手段と、前フィールド信号または後フィールド信号から静画用補間画素を生成する静画用補間画素生成手段と、現フィールド信号、前フィールド信号、及び後フィールド信号のいずれかから動画用補間画素を生成する動画用補間画素生成手段と、前記動き検出手段の出力が静止判定側に移行するに従い静画用補間画素の比率を多くし、前記動き検出手段の出力が動画判定側に移行するに従い動画用補間画素の比率を多くして、前記静画用補間画素と前記動画用補間画素とを混合する補間画素混合生成手段と、を備える順次走査変換装置であって、現フィールドと前フィールドまたは現フィールドと後フィールドにおいてそれぞれの同じ画面位置にあって、画面全体を分割してなる小領域同士の相関を検出するフィールド間ゼロベクトル相関検出手段と、前記フィールド間ゼロベクトル相関検出手段の出力が相関が低いとの判定の場合に、前記動き検出手段の出力を動画判定寄りに補正するとともに、前記画面照明成分変動検出手段で画面照明成分変動が検出された場合に画面全体の動き検出の補正を強め、画面照明成分変動が検出されなかった場合に画面全体の動き検出の補正を弱める動き検出補正手段と、を有する。

本発明に係る順次走査変換方法は、ディスプレイに表示するための画素を生成するための順次走査変換方法であって、画素毎に１フレーム間の動きを検出する動き検出ステップと、前フィールド信号または後フィールド信号から静画用補間画素を生成する静画用補間画素生成ステップと、現フィールド信号、前フィールド信号、及び後フィールド信号のいずれかから動画用補間画素を生成する動画用補間画素生成ステップと、前記動き検出ステップにおける出力が静止判定側に移行するに従い静画用補間画素の比率を多くし、前記動き検出ステップにおける出力が動画判定側に移行するに従い動画用補間画素の比率を多くして、前記静画用補間画素と前記動画用補間画素とを混合する補間画素混合生成ステップとを備え、現フィールドと前フィールドまたは現フィールドと後フィールドにおいてそれぞれの同じ画面位置にあって、画面全体を分割してなる小領域同士の相関を検出するフィールド間ゼロベクトル相関検出ステップと、前記フィールド間ゼロベクトル相関検出ステップにおける出力が相関が低いとの判定の場合に、前記動き検出ステップにおける出力を動画判定寄りに補正する動き検出補正ステップと、フィールド間の画面照明成分変動を検出する画面照明成分変動検出ステップと、前記フィールド間ゼロベクトル相関検出ステップの出力が相関が低いとの判定の場合に、前記動き検出ステップの出力を動画判定寄りに補正するとともに、前記画面照明成分変動検出ステップで画面照明成分変動が検出された場合に前記動き検出補正ステップでの画面全体の動き検出の補正を強め、画面照明成分変動が検出されなかった場合に前記動き検出補正ステップでの画面全体の動き検出の補正を弱める動き検出補正ステップと、を有する。

本発明によれば、画像を判定してより効果的に動き検出の補正を行うことにより、画質の劣化を防止することが可能な順次走査変換装置及び順次走査変換方法を提供することができる。

以下、本発明の第１実施形態に係る順次走査変換装置について図面を参照して説明する。図１に示すように、本実施形態に係る順次走査変換装置１は、フィールド遅延部１０と、フィールド遅延部１１と、動き検出部１２と、フィールド間ゼロベクトル相関検出部１３と、画面照明成分変動検出部ＬＤと、動き検出補正部１４と、動画用補間画素生成部１５と、静画用補間画素生成部１６と、補間画素混合生成部１７と、時系列変換部１８とを備えている。

第１フィールド遅延部１０は、入力されるフィールド信号を１フィールド遅延させる部分である。すなわち、入力される後フィールド信号Ｓ１を１フィールド遅延させて、現フィールド信号Ｓ２としてフィールド遅延部１１に出力する。現フィールド信号Ｓ２は更に、フィールド間ゼロベクトル相関検出部１３、画面照明成分変動検出部ＬＤ、動画用補間画素生成部１５、及び時系列変換部１８に出力される。

第２フィールド遅延部１１は、入力されるフィールド信号を１フィールド遅延させる部分である。すなわち、フィールド遅延部１０から出力される現フィールド信号Ｓ２を１フィールド遅延させて、前フィールド信号Ｓ３として動き検出部１２に出力する。前フィールド信号Ｓ３は更に、フィールド間ゼロベクトル相関検出部１３、画面照明成分変動検出部ＬＤ、動画用補間画素生成部１５、及び静画用補間画素生成部１６に出力される。

動き検出部１２は、画素毎に１フレーム間の動きを検出する部分である。動き検出部１２は、後フィールド信号Ｓ１及び前フィールド信号Ｓ３に基づいて検出した信号を動き検出部出力ＭＤ１として動き検出補正部１４に出力する。

フィールド間ゼロベクトル相関検出部１３は、現フィールド信号Ｓ２と前フィールド信号Ｓ３との間、あるいは、現フィールド信号Ｓ２と後フィールド信号Ｓ１との間において、それぞれの同じ画面位置にあって、画面全体を分割してなる小領域同士の相関を検出する部分である。

フィールド間ゼロベクトル相関検出部１３は、静画用補間画素に用いているフィールドと現フィールドとの間で検出することが好ましい。この場合は、現フィールドと前フィールドとの間で検出する。

図２に、フィールド間ゼロベクトル相関検出部１３の構成をより具体的に示す。図２に示すようにフィールド間ゼロベクトル相関検出部１３は、第１水平垂直ローパスフィルタ１３１と、第２水平垂直ローパスフィルタ１３２と、フィールド間差分絶対値算出部１３３と、小領域内積分部１３４とを備えている。

第１水平垂直ローパスフィルタ１３１には、前フィールド信号Ｓ３が入力される。第１水平垂直ローパスフィルタ１３１から出力された信号は、フィールド間差分絶対値算出部１３３に出力される。第２水平垂直ローパスフィルタ１３２には、現フィールド信号Ｓ２が入力される。第２水平垂直ローパスフィルタ１３２から出力された信号はフィールド間差分絶対値算出部１３３に出力される。

フィールド間差分絶対値算出部１３３は、第１水平垂直ローパスフィルタ１３１及び第２水平垂直ローパスフィルタ１３２から出力される信号に基づいて、画素単位ごとに各フィールド間の信号差分の絶対値を算出する。フィールド間差分絶対値算出部１３３は、算出したフィールド間差分絶対値を小領域内積分部１３４に出力する。

小領域内積分部１３４は、フィールド間差分絶対値に基づいて、画面を分割した小領域ごとにその小領域内のフィールド間差分絶対値を積分する部分である。小領域内積分部１３４は、その積分結果をフィールド間ゼロベクトル相関検出出力ＦＬＺＣＶとして動き検出補正部１４に出力する。

動き検出補正部１４は、フィールド間ゼロベクトル相関検出部１３の出力ＦＬＺＣＶが相関が低いとの判定の場合に、動き検出部１２の出力を動画判定寄りに補正する部分である。

また、動き検出補正部１４は、フィールド間ゼロベクトル相関検出部１３の出力が相関が低いとの判定になるほど、動き検出部１２の出力を動画判定寄りの閾値でリミットをかける補正を行うことも好ましい。この場合の具体的な例を図３に示す。図３に示すように、この場合の動き検出補正部１４は、閾値以下リミット部１４１と、適応閾値生成部１４２とを備えている。

適応閾値生成部１４２には、フィールド間ゼロベクトル相関検出出力ＦＬＺＣＶが入力される。この出力ＦＬＺＣＶは、その値が大きいほど相関性が低く、その値が小さいほど相関性が高い。適応閾値生成部１４２は、フィールド間ゼロベクトル相関検出出力ＦＬＺＣＶが大きいほど大きい閾値を閾値以下リミット部１４１に出力する。

閾値以下リミット部１４１には、動き検出部出力ＭＤ１が入力される。この出力ＭＤ１は、その値が大きいほど動いている度合い（動画寄りの度合い）が高く、その値が小さいほど動いていない度合い（静画寄りの度合い）が高い。

閾値以下リミット部１４１は、適応閾値生成部１４２が生成した閾値に基づいて、動き検出部出力ＭＤ１にリミットをかける補正を行い、その補正を行った結果を動き検出補正部出力ＭＤ２として補間画素混合生成部１７に出力する。

また、動き検出補正部１４は、フィールド間ゼロベクトル相関検出部１３の出力が相関が低いとの判定になるほど、動き検出部１２の出力に対し動画判定寄りになるオフセットを加える補正を行うことも好ましい。この場合の具体的な例を図４に示す。図４に示すように、この場合の動き検出補正部１４は、オフセット加算部１４３と、適応オフセット生成部１４４とを備えている。

適応オフセット生成部１４４には、フィールド間ゼロベクトル相関検出出力ＦＬＺＣＶが入力される。この出力ＦＬＺＣＶは、その値が大きいほど相関性が低く、その値が小さいほど相関性が高い。適応オフセット生成部１４４は、フィールド間ゼロベクトル相関検出出力ＦＬＺＣＶが大きいほど大きいオフセット値をオフセット加算部１４３に出力する。

オフセット加算部１４３には、動き検出部出力ＭＤ１が入力される。この出力ＭＤ１は、その値が大きいほど動いている度合い（動画寄りの度合い）が高く、その値が小さいほど動いていない度合い（静画寄りの度合い）が高い。

オフセット加算部１４３は、適応オフセット生成部１４４が生成したオフセット値に基づいて、動き検出部出力ＭＤ１にオフセットを加える補正を行い、その補正を行った結果を動き検出補正部出力ＭＤ２として補間画素混合生成部１７に出力する。

図１に示すように、動き検出補正部１４は、画面照明成分変動検出部ＬＤの出力ＦＣＤによって制御される。画面照明成分変動検出部ＬＤは、後フィールド信号Ｓ１、現フィールド信号Ｓ２、及び前フィールド信号Ｓ３とからフィールド間の画面照明成分変動を検出する。

すなわち、図５に示すように、画面照明成分変動検出部ＬＤは、第１画面内平均輝度レベル算出部ＬＤ１と、第２画面内平均輝度レベル算出部ＬＤ２と、差分回路ＬＤ３と、絶対値回路ＬＤ４と、比較回路ＬＤ５とを有している。

第１画面内平均輝度レベル算出部ＬＤ１は、現フィールドの平均輝度レベル（ＡＰＬ：Average Picture Level）を検出する。第２画面内平均輝度レベル算出部ＬＤ２は、前フィールドの平均輝度レベルを検出する。

第１画面内平均輝度レベル算出部ＬＤ１の出力と、第２画面内平均輝度レベル算出部ＬＤ２の出力とは、差分回路ＬＤ３に入力される。差分回路ＬＤ３では、入力された平均輝度レベルの差分を算出する。差分回路ＬＤ３の出力は、絶対値回路ＬＤ４に入力され、絶対値回路ＬＤ４で入力された差分値から差分絶対値Ａを算出する。

絶対値回路ＬＤ４から出力された差分絶対値Ａは、比較回路ＬＤ５に入力され、比較回路ＬＤ５で判定閾値Ｂと差分絶対値Ａとが比較される。差分絶対値Ａが判定閾値Ｂよりも大きい場合には、画面照明成分変動検出部ＬＤは、画面照明成分変動が検出されたとして出力ＦＤＣを設定する。差分絶対値Ａが判定閾値以下の場合には、画面照明成分変動検出部ＬＤは、画面照明成分変動が検出されなかったものとして出力ＦＤＣを設定する。

例えば図７に示す場合において現フィールドを（ｎ＋１）フィールド目、前フィールドをｎフィールド目とすると、画面照明成分変動検出部ＬＤは、（ｎ＋１）フィールド目の画面内平均輝度レベルと、ｎフィールド目の画面内平均輝度レベルとを算出し、これらの平均輝度レベルの差分絶対値Ａと、判定閾値Ｂとを比較して、画面照明成分変動の有無を検出する。

画面照明成分変動検出部ＬＤの出力ＦＣＤは、動き検出補正部１４の適応閾値生成部１２４あるいは適応オフセット生成部１４４に入力される。動き検出部１４は、画面照明成分変動検出手段ＬＤの出力ＦＤＣに基づいて、画面照明成分変動が検出されたか否かを判定する（ＳＴＡ１）。

画面照明成分変動検出手段ＬＤの出力ＦＣＤが画面照明成分変動を検出されたと判定した場合には、動き検出補正部１４では、画面全体でフィールド間ゼロベクトル相関検出手段による動き検出の補正を強める（ＳＴＡ２）。すなわち、画面照明成分変動が検出された場合には、動き検出補正部１４は、動き検出部出力ＭＤ１を動画寄りに補正する。

画面照明成分変動検出手段ＬＤの出力ＦＣＤが画面照明成分変動を検出されていないと判定した場合には、動き検出補正部１４では、画面全体でフィールド間ゼロベクトル相関検出手段による動き検出の補正を弱める（ＳＴＡ３）。すなわち、画面照明成分変動が検出された場合には、動き検出補正部１４は、動き検出部出力ＭＤ１を静画寄りに補正する。従って、図７示すように、照明成分のある映像が入力された場合に、静止画と判定されることを抑制することができる。

図１に示すように、動画用補間画素生成部１５は、現フィールド信号Ｓ２、前フィールド信号Ｓ３、及び後フィールド信号Ｓ１のいずれかから動画用補間画素を生成する部分である。

本実施形態の場合には、動画用補間画素生成部１５は、現フィールド信号Ｓ２からフィールド内補間により動画用補間画素を生成する。動画用補間画素生成部１５は、生成した動画用補間画素を補間画素混合生成部１７に出力する。なお、動画用補間画素生成部１５は、動き補償により前後のフィールドも更に用いて動画用補間画素を生成してもよい。

静画用補間画素生成部１６は、前フィールド信号または後フィールド信号から静画用補間画素を生成する部分である。本実施形態の場合には、静画用補間画素生成部１６は、補間画素と空間的に同じ位置の前フィールド信号Ｓ３の画素を静画用補間画素として補間画素混合生成部１７に出力する。なお、静画用補間画素生成部１６は、後フィールド信号Ｓ１を用いてもよく、前フィールド信号Ｓ３と後フィールド信号Ｓ１との両方を用いてもよい。

補間画素混合生成部１７は、動き検出部１２の出力が静止判定側に移行するに従い静画用補間画素の比率を多くし、動き検出部１２の出力が動画判定側に移行するに従い動画用補間画素の比率を多くして、静画用補間画素と動画用補間画素とを混合する部分である。

動き検出補正部出力ＭＤ２の値が大きいほど動画判定、小さいほど静画判定とすると、補間画素混合生成部１７では、下記のような式で動画用補間画素と静画用補間画素を混合する。

補間ライン信号＝ＭＤ２×動画用補間画素＋（１−ＭＤ２）×静画用補間画素
ここで、ＭＤ２は０≦ＭＤ２≦１とする。

時系列変換部１８は、補間画素混合生成部１７から出力される補間ライン信号と、現フィールド信号である直接ライン信号とに基づいて、順次走査変換信号を出力する部分である。

上記のように、本実施形態では、現フィールドと前フィールドとの同じ画面位置にあって、画面全体を分割してなる小領域同士の相関を検出し、その相関が低いとの判定の場合に、動き検出部１２の出力を動画判定寄りに補正するとともに、画面照明成分変動検出部ＬＤの出力ＦＣＤによってさらに動き検出補正を行う。

このことによって、画面照明成分変動を検出したときは、フィールド間ゼロベクトル相関検出部１３による動き検出の補正を強め、フラッシュの点滅等で現われる画面内の広範囲にわたるフレーム間動き検出の誤判定を防止するとともに、垂直方向高周波成分を持つ静止画では、画面照明成分変動を検出しないため、動き検出の補正を強めることがないため垂直方向高周波成分への影響を与えず、効果的に動き検出の補正を行うことができる。

すなわち、本実施形態に係る順次走査変換装置によれば、画像を判定してより効果的に動き検出の補正を行うことにより、画質の劣化を防止することが可能な順次走査変換装置及び順次走査変換方法を提供することができる。

次に、本発明の第２実施形態に係る順次走査変換装置について図面を参照して以下に説明する。なお、以下の説明において上述の第１実施形態に係る順次走査変換装置と同様の構成については同一の符号を付して説明を省略する。

本実施形態に係る順次走査変換装置は、第１実施形態に係る順次走査変換装置１と画面照明成分変動検出部ＬＤの構成が異なっている。すなわち、図８に示すように、本実施形態に係る順次走査変換装置の画面照明成分変動検出手段検出部ＬＤは、画面単位フレーム間輝度差分絶対値和算出部ＬＤ６と、２つのＶラッチＬＣ１、ＬＣ２と、差分回路ＬＤ７と、絶対値回路ＬＤ８と、比較回路ＬＤ９とを有している。

画面単位フレーム間輝度差分絶対値和算出部ＬＤ６には、後フィールド信号Ｓ１と前フィールド信号Ｓ３とが入力されている。画面単位フレーム間輝度差分絶対値和算出部ＬＤ６では、後フィールドおよび前フィールド間の差分絶対値和（ＳＡＤ：Sum of Absolute Difference）を検出する。

画面単位フレーム間輝度差分絶対値和算出部ＬＤ６の出力は、ＶラッチＬＣ１に入力される。ＶラッチＬＣ１では１垂直期間分信号を遅延させて、入力された差分絶対値和を１垂直期間前差分絶対値和としてＶラッチＬＣ２と差分回路ＬＤ７とに出力する。ＶラッチＬＣ２は、この１垂直期間前差分絶対値和をさらに１垂直期間遅延させて、２垂直期間前差分絶対値和として差分回路ＬＤ７に出力する。

差分回路ＬＤ７では、１垂直期間遅延差分絶対値和と、２垂直期間差分絶対値和との差分が算出される。差分回路ＬＤ７から出力された差分値は、絶対値回路ＬＤ８に入力される。絶対値回路ＬＤ８では、入力された差分値から差分絶対値Ａが算出される。

絶対値回路ＬＤ８から出力された差分絶対値Ａは、比較回路ＬＤ９に入力される。比較回路ＬＤ９では、差分絶対値Ａと判定閾値Ｂとを比較する。すなわち、差分絶対値Ａが判定閾値Ｂよりも大きい場合には、画面照明成分変動検出部ＬＤは、画面照明成分変動が検出されたとして出力ＦＤＣを設定する。差分絶対値Ａが判定閾値以下の場合には、画面照明成分変動検出部ＬＤは、画面照明成分変動が検出されなかったものとして出力ＦＤＣを設定する。

例えば、図７に示す場合において前フィールドをｎフィールド目、後フィールドを（ｎ＋２）フィールド目とすると、画面照明成分変動検出部ＬＤは、ｎフィールド目と（ｎ＋２）フィールド目との間の輝度のフレーム間差分絶対値和を検出し、１垂直期間前の差分絶対値和と２垂直期間前の差分絶対値和との差分絶対値Ａと判定閾値Ｂとを比較して、画面照明成分変動の有無を検出する。

画面照明成分変動検出部ＬＤの出力ＦＣＤは、動き検出補正部１４の適応閾値生成部１２４あるいは適応オフセット生成部１４４に入力される。動き検出部１４は、画面照明成分変動検出手段ＬＤの出力ＦＤＣに基づいて、画面照明成分変動が検出されたか否かを判定する（ＳＴＡ１）。

画面照明成分変動検出手段ＬＤの出力ＦＣＤが画面照明成分変動を検出されたと判定した場合には、動き検出補正部１４では、画面全体でフィールド間ゼロベクトル相関検出手段による動き検出の補正を強める（ＳＴＡ２）。すなわち、画面照明成分変動が検出された場合には、動き検出補正部１４は、動き検出部出力ＭＤ１を動画寄りに補正する。

画面照明成分変動検出手段ＬＤの出力ＦＣＤが画面照明成分変動を検出されていないと判定した場合には、動き検出補正部１４では、画面全体でフィールド間ゼロベクトル相関検出手段による動き検出の補正を弱める（ＳＴＡ３）。すなわち、画面照明成分変動が検出されなかった場合には、動き検出補正部１４は、動き検出部出力ＭＤ１を静画寄りに補正する。従って、図７に示すように、照明成分のある映像が入力された場合に、静止画と判定されることを防ぐことができる。

本実施形態に係る順次走査変換装置では、上記のような画面照明成分変動検出部ＬＤを有することによって、画面照明成分変動検出部ＬＤの出力ＦＣＤによってさらに動き検出補正を行うことにより、フレーム間の動き検出で静止と誤判定し、順次走査変換出力に誤補間ノイズが発生してしまうことを防止することができる。

すなわち、本実施形態に係る順次走査変換装置によれば、上述の第１実施形態に係る順次走査変換装置と同様に、画像を判定してより効果的に動き検出の補正を行うことにより、画質の劣化を防止することが可能な順次走査変換装置及び順次走査変換方法を提供することができる。

次に、本発明の第３実施形態に係る順次走査変換装置について図面を参照して以下に説明する。本実施形態に係る順次走査変換装置は、上述の第１実施形態に係る順次走査変換装置と画面照明成分変動検出部ＬＤの構成が異なっている。

図９に示すように、本実施形態に係る順次走査変換装置の画面照明成分変動検出部ＬＤは、第１画面内輝度ヒストグラム検出部ＬＤ１０、第１高輝度成分画素カウント部ＬＤ１１、第２画面内輝度ヒストグラム検出部ＬＤ１２、第２高輝度成分が訴カウント部ＬＤ１３、差分回路ＬＤ１４、絶対値回路ＬＤ１５、および比較回路ＬＤ１６を有している。

第１画面内輝度ヒストグラム検出部ＬＤ１０には、現フィールド信号Ｓ２が入力される。第１画面内輝度ヒストグラム検出部ＬＤ１０では、現フィールドの画面内の輝度ヒストグラムを検出する。第１画面内輝度ヒストグラム検出部ＬＤ１０から出力された画面内輝度ヒストグラムは、第１高輝度成分画素カウント部ＬＤ１１に入力される。

第１高輝度成分画素カウント部ＬＤ１１では、入力された画面内輝度ヒストグラムから、高輝度判定閾値よりも高い輝度の画素数をカウントして、その結果を差分回路ＬＤ１４に出力する。

第２画面内輝度ヒストグラム検出部ＬＤ１２には、前フィールド信号Ｄ３が入力される。第２画面内輝度ヒストグラム検出部ＬＤ１２では、前フィールドの画面内の輝度ヒストグラムを検出する。第２画面内ヒストグラム検出部ＬＤ１２から出力された画面内輝度ヒストグラムは、第２高輝度成分画素カウント部ＬＤ１３に入力される。

第２高輝度成分画素カウント部ＬＤ１３では、入力された画面内輝度ヒストグラムから高輝度判定閾値よりも高い輝度の画素数をカウントして、その結果を差分回路ＬＤ１４に出力する。

差分回路ＬＤ１４では、現フィールドの高輝度成分画素数と、前フィールドの高輝度成分画素数との差分を算出する。差分回路ＬＤ１４から出力された差分値は、絶対値回路ＬＤ１５に入力される。絶対値回路ＬＤ１５では、入力された差分値の絶対値を算出して、差分絶対値Ａとして比較回路ＬＤ１６に出力する。

比較回路ＬＤ１６では、絶対値回路ＬＤ１５から入力された差分絶対値Ａと判定閾値Ｂとを比較する。すなわち、差分絶対値Ａが判定閾値Ｂよりも大きい場合には、画面照明成分変動検出部ＬＤは、画面照明成分変動が検出されたとして出力ＦＤＣを設定する。差分絶対値Ａが判定閾値以下の場合には、画面照明成分変動検出部ＬＤは、画面照明成分変動が検出されなかったものとして出力ＦＤＣを設定する。

例えば、図７に示す場合において現フィールドを（ｎ＋１）フィールド目、前フィールドをｎフィールド目とすると、画面照明成分変動検出部ＬＤは、ｎフィールド目と（ｎ＋２）フィールド目とのそれぞれの画面内輝度ヒストグラムを検出し、それぞれのヒストグラムから高輝度成分画素をカウントし、これらの差分絶対値Ａと判定閾値Ｂとを比較して、画面照明成分変動の有無を検出する。

画面照明成分変動検出部ＬＤの出力ＦＣＤは、動き検出補正部１４の適応閾値生成部１２４あるいは適応オフセット生成部１４４に入力される。動き検出部１４は、画面照明成分変動検出手段ＬＤの出力ＦＤＣに基づいて、画面照明成分変動が検出されたか否かを判定する（ＳＴＡ１）。

画面照明成分変動検出手段ＬＤの出力ＦＣＤが画面照明成分変動を検出されたと判定した場合には、動き検出補正部１４では、画面全体でフィールド間ゼロベクトル相関検出手段による動き検出の補正を強める（ＳＴＡ２）。すなわち、画面照明成分変動が検出された場合には、動き検出補正部１４は、動き検出部出力ＭＤ１を動画寄りに補正する。

画面照明成分変動検出手段ＬＤの出力ＦＣＤが画面照明成分変動を検出されていないと判定した場合には、動き検出補正部１４では、画面全体でフィールド間ゼロベクトル相関検出手段による動き検出の補正を弱める（ＳＴＡ３）。すなわち、画面照明成分変動が検出されなかった場合には、動き検出補正部１４は、動き検出部出力ＭＤ１を静画寄りに補正する。従って、図４に示すように、照明成分のある映像が入力された場合に、静止画と判定されることを防ぐことができる。

本実施形態に係る順次走査変換装置では、上記のような画面照明成分変動検出部ＬＤを有することによって、画面照明成分変動検出部ＬＤの出力ＦＣＤによってさらに動き検出補正を行うことにより、フレーム間の動き検出で静止と誤判定し、順次走査変換出力に誤補間ノイズが発生してしまうことを防止することができる。

すなわち、本実施形態に係る順次走査変換装置によれば、上述の第１実施形態に係る順次走査変換装置と同様に、画像を判定してより効果的に動き検出の補正を行うことにより、画質の劣化を防止することが可能な順次走査変換装置及び順次走査変換方法を提供することができる。

次に、本発明の第４実施形態に係る順次走査変換装置について図面を参照して以下に説明する。図１０に示すように、本実施形態に係る順次走査変換装置は、第１実施形態に係る順次走査変換装置と、フレーム間ゼロベクトル相関検出部１９をさらに有している点で異なる。

すなわち、フレーム間ゼロベクトル相関検出部１９は、後フィールド信号Ｓ１と前フィールド信号Ｓ３とにおいて同じ画面位置にあって、画面全体を分割してなる小領域同士の相関を検出する部分である。

図１１に示すように、フレーム間ゼロベクトル相関検出部１９は、第１水平垂直ローパスフィルタ１９１と、第２水平垂直ローパスフィルタ１９２と、フィールド間差分絶対値算出部１９３と、小領域内積分部１９４とを備えている。

第１水平垂直ローパスフィルタ１９１には、前フィールド信号Ｓ３が入力される。第１水平垂直ローパスフィルタ１９１から出力された信号はフィールド間差分絶対値算出部１９３に出力される。

第２水平垂直ローパスフィルタ１９２には、後フィールド信号Ｓ１が入力される。第２水平垂直ローパスフィルタ１９２から出力された信号はフィールド間差分絶対値算出部１９３に出力される。

フィールド間差分絶対値算出部１９３は、第１水平垂直ローパスフィルタ１９１及び第２水平垂直ローパスフィルタ１９２から出力される信号に基づいて、画素単位ごとに各フィールド間の信号差分の絶対値を算出する。フレーム間差分絶対値算出部１９３は、算出した差分絶対値を小領域内積分部１９４に出力する。

小領域内積分部１９４は、入力された差分絶対値に基づいて、画面を分割した小領域ごとにその小領域内の差分絶対値を積分する部分である。小領域内積分部１９４は、その積分結果をフレーム間ゼロベクトル相関検出出力ＦＭＺＣＶとして動き検出補正部１４の適応閾値生成部１４２あるいは適応オフセット生成部１４４に出力する。

動き検出補正部１４では、画面照明成分変動検出部ＬＤから供給された出力ＦＣＤに基づいて照明成分変動が検出されているか否かを判定する（ＳＴＢ１）。画面照明成分変動が検出されている場合には、画面全体でフィールド間ゼロベクトル相関検出部１３による動き検出の補正を強める（ＳＴＢ２）。すなわち、画面照明成分変動が検出された場合には、動き検出補正部１４は、上述の第１乃至第３実施形態の場合と同様に画面全体の動き検出部出力ＭＤを動画寄り補正する。

画面照明成分変動が検出されていない場合には、フレーム間ゼロベクトル相関検出部１９の出力ＦＭＺＣＶに基づいて、相関が低いと判定する（ＳＴＢ３）。出力ＦＭＺＣＶに基づいて、フレーム間の相関が低いと判定された場合には、相関を検出した小領域内でフィールド間ゼロベクトル相関検出部１３による動き検出の補正を強める（ＳＴＢ４）。

すなわち、画面照明成分変動が検出されない場合であっても、フレーム間ゼロベクトル相関検出が低い場合には、動き検出補正部１４は、相関を検出した小領域内で動き検出部出力ＭＤ１を動画寄りに補正する。

出力ＦＭＺＣＶに基づいて、フレーム間の相関が低いと判定されなかった場合には、相関を検出した小領域内でフィールド間ゼロベクトル相関検出部１３による動き検出の補正を弱める（ＳＴＢ５）。すなわち、画面照明成分変動が検出されなかった場合であって、かつ、フレーム間ゼロベクトル相関検出が低いと判定されなかった場合には、動き検出補正部１４は、動き検出部出力ＭＤ１を静画寄りに補正する。

したがって、上記のように本実施形態に係る順次走査変換装置では、画面照明成分変動検出を検出しない場合であっても、フレーム間ゼロベクトル相関検出部の相関が低い場合には、フレーム間ゼロベクトル相関を求めた小領域内画素の動き検出の補正を強める制御を加える。

このことにより、本実施形態に係る順次走査変換装置によれば、上述の第１実施形態に係る順次走査変換装置と同様の効果が得られるとともに、フラッシュ等による画面全体での照明成分変動がない映像であっても、垂直方向高周波成分等が含まれる領域をより正確に捉えて、誤判定を防止する動き検出補正の制御をすることができる。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る順次走査変換装置の一構成例を概略的に示す図。 図１に示す順次走査変換装置のフィールド間ゼロベクトル相関検出部の一構成例を説明するための図。 図１に示す順次走査変換装置の動き検出補正部の一構成例を説明するための図。 図１に示す順次走査変換装置の動き検出補正部の他の構成例を説明するための図。 図１に示す順次走査変換装置の画面照明成分変動検出部の第１構成例を説明するための図。 図１に示す順次走査変換装置の動き検出補正部における画面照明成分変動検出部の出力による制御方法を説明するための図。 図１に示す順次走査変換装置において誤判定が防止可能な映像の一例を示す図。 図１に示す順次走査変換装置の画面照明成分変動検出部の第２構成例を説明するための図。 図１に示す順次走査変換装置の画面照明成分変動検出部の第３構成例を説明するための図。 本発明の他の実施形態に係る順次走査変換装置の一構成例を概略的に示す図。 図１０に示す順次走査変換装置のフレーム間ゼロベクトル相関検出部の一構成例を説明するための図。 図１０に示す順次走査変換装置の動き検出補正部における画面照明成分変動検出部およびフレーム間ゼロベクトル相関検出部の出力による制御方法を説明するための図。

符号の説明

１…順次走査変換装置、１０…フィールド遅延部、１１…フィールド遅延部、１２…動き検出部、１３…フィールド間ゼロベクトル相関検出部、１４…動き検出補正部、１５…動画用補間画素生成部、１６…静画用補間画素生成部、１７…補間画素混合生成部、１８…時系列変換部、ＬＤ…画面照明成分変動検出部

Claims (10)

1. 画素毎に１フレーム間の動きを検出する動き検出手段と、
   前フィールド信号または後フィールド信号から静画用補間画素を生成する静画用補間画素生成手段と、
   現フィールド信号、前フィールド信号、及び後フィールド信号のいずれかから動画用補間画素を生成する動画用補間画素生成手段と、
   前記動き検出手段の出力が静止判定側に移行するに従い静画用補間画素の比率を多くし、前記動き検出手段の出力が動画判定側に移行するに従い動画用補間画素の比率を多くして、前記静画用補間画素と前記動画用補間画素とを混合する補間画素混合生成手段と、を備える順次走査変換装置であって、
   現フィールドと前フィールドまたは現フィールドと後フィールドにおいてそれぞれの同じ画面位置にあって、画面全体を分割してなる小領域同士の相関を検出するフィールド間ゼロベクトル相関検出手段と、
   フィールド間の画面照明成分変動を検出する画面照明成分変動検出手段と、
   前記フィールド間ゼロベクトル相関検出手段の出力が相関が低いとの判定の場合に、前記動き検出手段の出力を動画判定寄りに補正するとともに、前記画面照明成分変動検出手段で画面照明成分変動が検出された場合に画面全体の動き検出の補正を強め、画面照明成分変動が検出されなかった場合に画面全体の動き検出の補正を弱める動き検出補正手段と、を有する順次走査変換装置。
2. 前記画面照明成分変動検出手段は、現フィールド信号の画面内平均輝度レベルを算出する第１画面平均輝度レベル算出手段と、
   前フィールド信号の画面内平均輝度レベルを算出する第２画面平均輝度レベル算出手段と、
   前記第１画面平均輝度レベル算出手段の出力と前記第２画面平均輝度レベル算出手段の出力との差分を算出する差分回路と、
   前記差分回路の出力の絶対値を算出する絶対値回路と、
   前記絶対値回路の出力と判定閾値とを比較して、前記絶対値回路の出力が前記判定閾値よりも大きいと判定された場合に、画面単位照明成分変動を検出したとする比較回路と、を有する請求項１記載の順次走査変換装置。
3. 前記画面照明成分変動検出手段は、後フィールド信号および前フィールド信号からフレーム間輝度差分絶対値和を算出するフレーム間輝度差分絶対値和算出手段と、
   前記フレーム間輝度差分絶対値和算出手段の出力を１垂直期間遅延させる第１遅延部と、
   前記第１遅延部の出力をさらに１垂直期間遅延させる第２遅延部と、
   前記第１遅延部と前記第２遅延部との出力の差分を算出する差分回路と、
   前記差分回路の出力の絶対値を算出する絶対値回路と、
   前記絶対値回路の出力と判定閾値とを比較して、前記絶対値が前記判定閾値よりも大きいと判断された場合に、画面照明成分変動を検出したとする比較回路と、を有する請求項１記載の順次走査変換装置。
4. 前記画面照明成分変動検出手段は、現フィールド信号の画面内輝度ヒストグラムを検出する第１画面内輝度ヒストグラム検出手段と、
   前記第１画面内輝度ヒストグラム検出手段の出力から高輝度成分画素をカウントする第１高輝度成分画素カウント手段と、
   前フィールド信号の画面内輝度ヒストグラムを検出する第２画面内輝度ヒストグラム検出手段と、
   前記第２画面内輝度ヒストグラム検出手段の出力から高輝度成分画素をカウントする第２高輝度成分画素カウント手段と、
   前記第１高輝度成分画素カウント手段の出力と前記第２高輝度成分画素カウント手段の出力との差分を算出する差分回路と、
   前記差分回路の出力の絶対値を算出する絶対値回路と、
   前記絶対回路の出力と判定閾値とを比較して、前記絶対値が前記判定閾値よりも大きいと判断された場合に、画面照明成分変動を検出したとする比較回路と、を有する請求項１記載の順次走査変換装置。
5. 前記画面照明成分変動検出手段に加えて、前フィールドと後フィールドとの間の同じ画面位置にある小領域同士の相関を検出するフレーム間ゼロベクトル相関検出手段をさらに備え、
   前記動きの検出補正手段は、前記画面照明成分変動検出手段が変動を検出せず、かつ前記フレーム間ゼロベクトル相関検出手段出力の相関が低いと判定した小領域について前記動き検出の補正を強める動き検出補正の制御手段をさらに備える請求項１乃至請求項４のいずれか１項に記載の順次走査変換装置。
6. ディスプレイに表示するための画素を生成するための順次走査変換方法であって、
   画素毎に１フレーム間の動きを検出する動き検出ステップと、
   前フィールド信号または後フィールド信号から静画用補間画素を生成する静画用補間画素生成ステップと、
   現フィールド信号、前フィールド信号、及び後フィールド信号のいずれかから動画用補間画素を生成する動画用補間画素生成ステップと、
   前記動き検出ステップにおける出力が静止判定側に移行するに従い静画用補間画素の比率を多くし、前記動き検出ステップにおける出力が動画判定側に移行するに従い動画用補間画素の比率を多くして、前記静画用補間画素と前記動画用補間画素とを混合する補間画素混合生成ステップとを備え、
   現フィールドと前フィールドまたは現フィールドと後フィールドにおいてそれぞれの同じ画面位置にあって、画面全体を分割してなる小領域同士の相関を検出するフィールド間ゼロベクトル相関検出ステップと、
   前記フィールド間ゼロベクトル相関検出ステップにおける出力が相関が低いとの判定の場合に、前記動き検出ステップにおける出力を動画判定寄りに補正する動き検出補正ステップと、
   フィールド間の画面照明成分変動を検出する画面照明成分変動検出ステップと、
   前記フィールド間ゼロベクトル相関検出ステップの出力が相関が低いとの判定の場合に、前記動き検出ステップの出力を動画判定寄りに補正するとともに、前記画面照明成分変動検出ステップで画面照明成分変動が検出された場合に前記動き検出補正ステップでの画面全体の動き検出の補正を強め、画面照明成分変動が検出されなかった場合に前記動き検出補正ステップでの画面全体の動き検出の補正を弱める動き検出補正ステップと、を有する順次走査変換方法。
7. 前記動き検出補正の制御ステップは、現フィールド信号の画面内平均輝度レベルを算出する第１画面内平均輝度レベル算出ステップと、
   前フィールド信号の画面内平均輝度レベルを算出する第２画面内平均輝度レベル算出ステップと、
   前記第１画面平均輝度レベル算出ステップの出力と前記第２画面平均輝度レベル算出ステップの出力との差分を算出ステップと、
   前記差分を算出するステップの出力の絶対値を算出するステップと、
   前記絶対値を算出するステップの出力と判定閾値とを比較して、前記絶対値を算出するステップの出力が前記判定閾値よりも大きいと判定された場合に、画面単位照明成分変動を検出したと判定するステップと、をさらに有する請求項６記載の順次走査変換方法。
8. 前記動き検出補正の制御ステップは、後フィールド信号および前フィールド信号からフレーム間輝度差分絶対値和を算出するフレーム間輝度差分絶対値和算出ステップと、
   前記フレーム間輝度差分絶対値和算出ステップの出力を１垂直期間遅延させる第１遅延ステップと、
   前記第１遅延ステップの出力をさらに１垂直期間遅延させる第２遅延ステップと、
   前記第１遅延ステップと前記第２遅延ステップとの出力の差分を算出するステップと、
   前記差分回路の出力の絶対値を算出するステップと、
   前記絶対値を算出するステップの出力と判定閾値とを比較して、前記絶対値を算出するステップの出力が前記判定閾値よりも大きいと判断された場合に、画面照明成分変動を検出したと判定するステップと、をさらに有する請求項６記載の順次走査変換方法。
9. 前記動き検出補正の制御ステップは、現フィールド信号の画面内輝度ヒストグラムを検出する第１画面内輝度ヒストグラム検出ステップと、
   前記第１画面内輝度ヒストグラム検出手段の出力から高輝度成分画素をカウントする第１高輝度成分画素カウントステップと、
   前フィールド信号の画面内輝度ヒストグラムを検出する第２画面内輝度ヒストグラム検出ステップと、
   前記第２画面内輝度ヒストグラム検出手段の出力から高輝度成分画素をカウントする第２高輝度成分画素カウントステップと、
   前記第１高輝度成分画素カウントステップの出力と前記第２高輝度成分画素カウントステップの出力との差分を算出するステップと、
   前記差分を算出するステップの出力の絶対値を算出するステップと、
   前記絶対を算出するステップの出力と判定閾値とを比較して、前記絶対値を算出するステップの出力が前記判定閾値よりも大きいと判断された場合に、画面照明成分変動を検出したと判定するステップと、をさらに有する請求項６記載の順次走査変換方法。
10. 前フィールドと後フィールドとの間の同じ画面位置にある小領域同士の相関を検出するフレーム間ゼロベクトル相関検出ステップをさらに備え、
    前記動き検出補正の制御ステップは、前記画面照明成分変動検出結果から画面照明成分変動を検出しないと判定した場合に、前記フレーム間ゼロベクトル相関検出ステップの出力から相関が低いと判定した小領域について前記動き検出の補正を強める動き検出補正の制御ステップをさらに備える請求項６乃至請求項９のいずれか１項に記載の順次走査変換方法。

Images