JP2007082040A - 信号処理装置および方法、プログラム、並びに記録媒体 - Google Patents

信号処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP2007082040A
JP2007082040A JP2005269565A JP2005269565A JP2007082040A JP 2007082040 A JP2007082040 A JP 2007082040A JP 2005269565 A JP2005269565 A JP 2005269565A JP 2005269565 A JP2005269565 A JP 2005269565A JP 2007082040 A JP2007082040 A JP 2007082040A
Authority
JP
Japan
Prior art keywords
fields
field
signal
evaluation value
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005269565A
Other languages
English (en)
Other versions
JP4655218B2 (ja
Inventor
Tomohiro Yasuoka
智宏 安岡
Takafumi Morifuji
孝文 森藤
Kunio Kawaguchi
邦雄 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005269565A priority Critical patent/JP4655218B2/ja
Priority to TW095133162A priority patent/TW200715855A/zh
Priority to CN2006800342252A priority patent/CN101268689B/zh
Priority to EP06798035A priority patent/EP1933557A1/en
Priority to KR1020087006278A priority patent/KR101254529B1/ko
Priority to PCT/JP2006/318372 priority patent/WO2007032479A1/ja
Priority to US12/066,504 priority patent/US8416343B2/en
Publication of JP2007082040A publication Critical patent/JP2007082040A/ja
Application granted granted Critical
Publication of JP4655218B2 publication Critical patent/JP4655218B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】さまざまな入力に対して精度よく、2−3プルダウンを検出することができるようにする。
【解決手段】 状態推定部33は、評価値特徴量算出部32により入力端子11からの60I信号のフィールドと、フィールドメモリ31の2つ前のフィールドを用いて算出された差分評価値、閾値、および特徴量を用いて、対象とする10フィールド間における静止の位置が、1シーケンスを含む12フィールド(10フィールド間)からなる、2−3プルダウンのパターンの静止の位置に当てはまるか否かを判定し、当てはまると判定されたパターンが、2−3プルダウンのパターンが有する遷移順に遷移を一定回数以上繰り返しているか否かを判定し、判定結果に応じて、逆2−3pd変換部22の処理を制御する。本発明は、30フレーム毎秒のインタレース方式の信号を入力し、24フレーム毎秒のプログレッシブ方式の信号に変換する信号処理装置に適用できる。
【選択図】図6

Description

本発明は、信号処理装置および方法、プログラム、並びに記録媒体に関し、特に、素性の不明な60I信号から、精度よく、2−3プルダウンのシーケンスを検出することができるようにした信号処理装置および方法、プログラム、並びに記録媒体に関する。
例えば、映画の記録等に利用される、フィルム映像と同様の24フレーム毎秒のプログレッシブ方式の信号(24P信号)を、30フレーム毎秒のインタレース方式(すなわち、60フィールド毎秒)の信号(60I信号)に変換する方法として、2−3プルダウン変換処理が用いられている。
2−3プルダウン変換処理は、図1に示されるように、2−3プルダウン(2−3pd)前の24P信号の4フレームを、60I信号の10フィールド(5フレーム)に変換し、これを1シーケンスとして繰り返すことにより、24P信号を60I信号に変換する処理である。
図1の例の上部には、時間tの経過に沿って、2−3プルダウン前の24P信号の4フレーム(1シーケンス)が示されており、フレームの下には、2−3プルダウン後の60I信号の10フィールド(1シーケンス)が示されている。10フィールドに付してあるTおよびBは、それぞれトップフィールドであること、およびボトムフィールドであることを示している。
すなわち、2−3プルダウン変換(以下、単に2−3プルダウンとも称する)によって、24P信号の左から1番目のフレームは、60I信号の左から1番目のトップフィールドと、左から2番目のボトムフィールドに変換される。24P信号の左から2番目のフレームは、60I信号の左から3番目のトップフィールドと、左から4番目のボトムフィールド、左から5番目のトップフィールドに変換される。24P信号の左から3番目のフレームは、60I信号の左から6番目のボトムフィールドと、左から7番目のトップフィールドに変換される。24P信号の左から4番目のフレームは、60I信号の左から8番目のボトムフィールドと、左から9番目のトップィールド、左から10番目のボトムフィールドに変換される。そして、この変換処理が1シーケンスとして、図1の下部に示されるように、繰り返される。
ここで、説明の便宜上、フレームから変換されるフィールドが、2個組のフィールドである場合と3個組のフィールドである場合を区別するため、図1の下部に示されるように、上述した24信号の1フレームを、縦に並んだ2つの四角で表し、上述した60I信号のトップフィールドとボトムフィールドを、2段に並ぶ上の丸と下の丸でそれぞれ表し、さらに、3個組のフィールドとそれらの変換前のフレームに、ハッチを付して示す。なお、この図1の記載は、以降の従来の図面、および本発明の実施の形態の図面においても適用される。
このように、2−3プルダウンを行うと、3個組のフィールドに示されるように、5フィールドに1フィールドの割合で、同じフィールドが2個繰り返されてしまったり、さらに、その結果、左から1番目のフレームがトップフィールド、ボトムフィールドの順に変換されるのに対して、左から3番目のフレームがボトムフィールド、トップフィールドの順に変換されるように、フィールドの位置関係がずれてしまう。
以上のことから、2−3プルダウンされた60I信号は、通常の(すなわち、もともと60I信号として生成された)60I信号と性質が大きく異なるため、同等に扱うことが困難である。
そこで、60I信号が2−3プルダウン変換されたか否かを検出して、その結果に応じて適応的に処理を施す方法が考えられる。例えば、2−3プルダウンされた60I信号から元の24P信号を推測する場合(すなわち、逆2−3プルダウン処理を行う場合)には、60I信号から、2−3プルダウンを精度よく検出する必要がある。
この2−3プルダウンの検出方法としては、図2に示されるように、一致しているフィールド、およびそのフィールドが現れる時間間隔を求め、どの2−3プルダウンのパターンに該当するか判定を行う方法がある。
図2の例においては、時間tの経過に沿って、入力された60I信号のフィールド(上:トップフィールド,下:ボトムフィールド)が示されている。
すなわち、左から順に、トップフィールドおよびボトムフィールドからなる2個組のフィールド、トップフィールド、ボトムフィールド、およびトップフィールドからなる3個組のフィールド、ボトムフィールド、およびトップフィールドからなる2個組のフィールド、並びに、ボトムフィールド、トップフィールド、およびボトムフィールドからなる3個組のフィールドで構成される1シーケンスが示され、その後、1シーケンスと同様に構成される次の1シーケンスが示されている。
上述したように、2−3プルダウンされた60I信号において、3個組のフィールドには、同じフィールドが2個繰り返される。したがって、2−3プルダウンを検出するには、時間的に隣り合うトップフィールド間、あるいは、時間的に隣り合うボトムフィールド間で一致するフィールドを検出し、検出されるフィールドが現れる時間間隔を求め、どの2−3プルダウンのパターンに該当するかを判定すればよい。
例えば、2−3プルダウン検出にとって理想的な場合、すなわち、60I信号がデジタル信号であり、正しい2−3プルダウンのシーケンスが続く場合、図3に示されるように、一致しているフィールド間の差分(画素差分)は、0になる。したがって、このような理想的な場合であれば、一致するフィールドを検出することは比較的簡単である。また、この場合、一致するフィールド間は、等間隔で出現するため、どの2−3プルダウンのパターンに該当するかも容易に判定可能である。
しかしながら、実際に、テレビジョン信号、またはDVD(Digital Versatile Disk)の再生装置などの出力などを考慮すると、図4に示されるように、本来一致しているはずのフィールド間の差分は、0であるとは限らない。
すなわち、テレビジョン信号においては、番組の本編が2−3プルダウンされた60I信号であり、CMが2−3プルダウンされていない60I信号であるなど、複数の素性の60I信号が混在していることがある。
DVDにおいても、番組の本編が2−3プルダウンされた60I信号であり、メニュー画面が2−3プルダウンされていない60I信号であるなど、テレビジョン信号の場合と同様に、複数の60I素性の信号が混在していることがある。また、DVDについては、さらに、番組の本編においても、オーサリングなどにより、図4に示される例外フィールドが挿入されてしまい、正しい2−3プルダウンのシーケンスが崩れてしまうことがある。
以上のことから、正しい2−3プルダウンのシーケンスの60I信号が入力されることは稀であるため、本来一致しているはずのフィールド間の差分が0とはならないことが多い。したがって、特に、動きの少ない画像における一致するフィールド間の検出は困難となり、その結果、2−3プルダウンされているか否かを検出することが困難となってしまう。
ところで、従来においては、2−3プルダウン検出として、固定の閾値を用いて一致しているフィールド間を検出する方法が提案されている(特許文献1参照)。
しかしながら、本来一致すべきフィールド間の1画素あたりの画素(輝度)差分値は、図5に示されるように、入力される60I信号の素性で大きく変わってくる。
図5は、フィールド間における各画素の差分絶対値とその頻度の関係を説明する図である。
図5の例においては、図中上から順に、入力される60I信号が、デジタル信号の場合、アナログ信号の場合、および、DVDにおけるメニュー画面などのDVD素材の場合の差分絶対値とその頻度の関係を表すグラフが示されている。これらのグラフにおいては、横軸がフィールド間の差分絶対値を表し、縦軸がその頻度を表している。
デジタル信号の場合、フィールド間における各画素の差分絶対値は、常に0となる。すなわち、デジタル信号の場合のフィールド間における画素の差分絶対値の最大値は、0となる。
アナログ信号の場合、A/D(Analog/Digital)変換やホワイトノイズの影響により、フィールド間における画素の差分絶対値の最大値は、デジタル信号の場合よりも少し大きくなる。すなわち、アナログ信号の場合のフィールド間における画素の差分絶対値は、略5となる。
DVD素材の場合、MPEG(Moving Picture Experts Group)の符号化の歪みの影響やオーサリングの状態により、フィールド間における画素の差分絶対値の最大値は、アナログ信号の場合よりもかなり大きくなる。すなわち、DVD素材の場合のフィールド間における画素の差分絶対値は、略40となる。
したがって、これらの素性の異なる信号が60I信号として入力される可能性がある場合に、例えば、2−3プルダウン検出に用いる閾値を低めに設定してしまうと、DVD素材の場合に一致と判定すべきフィールド間が不一致と誤判定されてしまう。
また、閾値を高めに設定してしまうと、逆に、一致と判断すべきでないフィールド間を一致としてしまうことがある。
特開平11−69227号公報
上述したように、従来においては、さまざまな素性の60I信号の入力に対して、固定の閾値により2−3プルダウン検出を行っていたが、例えば、テレビジョン信号が対象となる場合、デジタルであるかアナログであるかの信号の素性により閾値が画像毎に異なるため、2−3プルダウン検出を精度よく行うことが困難であった。
また、2−3プルダウンされた60I信号がエンコードされた映画などのDVDにおいては、オーサリングの状態により、MPEGノイズの影響の度合いが異なるため、2−3プルダウン検出を精度よく行うことが困難であった。
本発明は、このような状況に鑑みてなされたものであり、さまざまな入力に対して精度よく、2−3プルダウンを検出し、検出結果に応じて効果的に信号処理を行うことができるようにするものである。
本発明の一側面の信号処理装置は、入力されるインタレース方式の信号から、同一フィールドが所定の割合で繰り返されるシーケンスを検出する信号処理装置において、入力される所定数のフィールドにおいて、それぞれ算出されるフィールド間の差分評価値のうちの2番目の最小値に基づいて、前記フィールド間に動きがあるか否かを判定する静動判定手段と、前記静動判定手段により前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記所定数のフィールドを対象として前記シーケンスの前記同一フィールドが繰り返された繰り返しフィールドの位置を基に分類され、フィールドの入力毎に遷移する遷移順を有する複数のパターンのいずれかに相当するか否かを判定し、前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定することで、前記インタレース方式の信号から、前記シーケンスを検出するシーケンス検出手段とを備える。
前記シーケンス検出手段は、前記静動判定手段により前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記複数のパターンのいずれかに相当するか否かを判定するパターン判定手段と、前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定するパターン遷移判定手段とを備えることができる。
前記パターン判定手段は、前記静動判定手段により前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、1回前の前記所定数のフィールドが相当すると判定された前記パターンが前記遷移順における次に遷移すべきパターンに相当するか否かを判定し、前記所定数のフィールドが、前記次に遷移すべきパターンに相当すると判定した場合、連続遷移回数をカウントし、前記パターン遷移判定手段は、前記パターン判定手段によりカウントされた前記連続遷移回数が一定回数以上であるか否かを判定することで、前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定することができる。
前記所定数のフィールドにおいて、前記フィールド間の差分評価値をそれぞれ算出する評価値算出手段と、前記評価値算出手段により算出された前記フィールド間の差分評価値のうちの2番目の最小値を基に、閾値を算出する閾値算出手段とをさらに備え、前記静動判定手段は、前記評価値算出手段により算出された前記フィールド間の差分評価値、および前記閾値算出手段により算出された前記閾値に基づいて、前記フィールド間に動きがあるか否かを判定することができる。
前記評価値算出手段により算出された前記フィールド間の差分評価値、および前記閾値算出手段により算出された前記閾値に基づいて、前記所定数のフィールドにおける動きのあるフィールド数を算出する動き数算出手段をさらに備え、前記シーケンス検出手段は、前記動き数算出手段により算出された前記所定数のフィールドにおける動きのあるフィールド数にも基づいて、前記所定数のフィールドが、前記パターンに相当するか否かを判定することができる。
前記シーケンス検出手段による前記シーケンスの検出結果に応じて、所定の信号処理を行う信号処理手段をさらに備えることができる。
前記信号処理手段は、前記シーケンス検出手段により前記シーケンスが検出された場合、前記繰り返しフィールドを間引いて、前記インタレース方式の信号をプログレッシブ方式の信号に変換する信号処理を行うことができる。
前記インタレース方式の信号を、プログレッシブ方式の信号にIP(インタレース、プログレッシブ)変換するIP変換手段と、前記信号処理手段により変換された前記プログレッシブ方式の信号を、フレームレート変換するフレームレート変換手段と、前記シーケンス検出手段による前記シーケンスの検出結果に応じて、前記IP変換手段により変換された前記プログレッシブ方式の信号、および前記フレームレート変換手段によりフレームレート変換された前記プログレッシブ方式の信号のどちらかを切り替えて後段に出力する信号切替手段とをさらに備えることができる。
本発明の一側面の信号処理方法は、入力されるインタレース方式の信号から、同一フィールドが所定の割合で繰り返されるシーケンスを検出する信号処理装置の信号処理方法において、入力される所定数のフィールドにおいて、それぞれ算出されるフィールド間の差分評価値のうちの2番目の最小値に基づいて、前記フィールド間に動きがあるか否かを判定し、前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記所定数のフィールドを対象として前記シーケンスの前記同一フィールドが繰り返された繰り返しフィールドの位置を基に分類され、フィールドの入力毎に遷移する遷移順を有する複数のパターンのいずれかに相当するか否かを判定し、前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定することで、前記インタレース方式の信号から、前記シーケンスを検出するステップを含む。
本発明の一側面のプログラムは、入力されるインタレース方式の信号から、同一フィールドが所定の割合で繰り返されるシーケンスを検出する信号処理装置の信号処理方法において、入力される所定数のフィールドにおいて、それぞれ算出されるフィールド間の差分評価値のうちの2番目の最小値に基づいて、前記フィールド間に動きがあるか否かを判定し、前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記所定数のフィールドを対象として前記シーケンスの前記同一フィールドが繰り返された繰り返しフィールドの位置を基に分類され、フィールドの入力毎に遷移する遷移順を有する複数のパターンのいずれかに相当するか否かを判定し、前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定することで、前記インタレース方式の信号から、前記シーケンスを検出するステップを含む。
本発明の一側面の記録媒体に記録されているプログラムは、入力されるインタレース方式の信号から、同一フィールドが所定の割合で繰り返されるシーケンスを検出する信号処理装置の信号処理方法において、入力される所定数のフィールドにおいて、それぞれ算出されるフィールド間の差分評価値のうちの2番目の最小値に基づいて、前記フィールド間に動きがあるか否かを判定し、前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記所定数のフィールドを対象として前記シーケンスの前記同一フィールドが繰り返された繰り返しフィールドの位置を基に分類され、フィールドの入力毎に遷移する遷移順を有する複数のパターンのいずれかに相当するか否かを判定し、前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定することで、前記インタレース方式の信号から、前記シーケンスを検出するステップを含む。
本発明の一側面においては、入力される所定数のフィールドにおいて、それぞれ算出されるフィールド間の差分評価値のうちの2番目の最小値に基づいて、前記フィールド間に動きがあるか否かが判定される。そして、前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記所定数のフィールドを対象として前記シーケンスの前記同一フィールドが繰り返された繰り返しフィールドの位置を基に分類され、フィールドの入力毎に遷移する遷移順を有する複数のパターンのいずれかに相当するか否かを判定し、前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定することで、前記インタレース方式の信号から、前記シーケンスが検出される。
本発明の一側面によれば、さまざまな入力に対して精度よく、2−3プルダウンを検出することができる。これにより、2−3プルダウンの検出結果に応じて効果的に信号処理を行うことができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の信号処理装置(例えば、図6の信号処理装置1)は、入力されるインタレース方式の信号から、同一フィールドが所定の割合で繰り返されるシーケンスを検出する信号処理装置において、入力される所定数のフィールドにおいて、それぞれ算出されるフィールド間の差分評価値のうちの2番目の最小値に基づいて、前記フィールド間に動きがあるか否かを判定する静動判定手段(例えば、図16の評価値静動判定部105)と、前記静動判定手段により前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記所定数のフィールドを対象として前記シーケンスの前記同一フィールドが繰り返された繰り返しフィールドの位置を基に分類され、フィールドの入力毎に遷移する遷移順を有する複数のパターンのいずれかに相当するか否かを判定し、前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定することで、前記インタレース方式の信号から、前記シーケンスを検出するシーケンス検出手段(例えば、図6の状態推定部23)とを備える。
前記シーケンス検出手段は、前記静動判定手段により前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記複数のパターンのいずれかに相当するか否かを判定するパターン判定手段(例えば、図16の状態推定処理部124)と、前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定するパターン遷移判定手段(例えば、図16の連続成功数判定部125)とを備えることができる。
前記所定数のフィールドにおいて、前記フィールド間の差分評価値をそれぞれ算出する評価値算出手段(例えば、図16の差分評価値算出部101)と、前記評価値算出手段により算出された前記フィールド間の差分評価値のうちの2番目の最小値を基に、閾値を算出する閾値算出手段(例えば、図16の閾値算出部103)とをさらに備え、前記静動判定手段は、前記評価値算出手段により算出された前記フィールド間の差分評価値、および前記閾値算出手段により算出された前記閾値に基づいて、前記フィールド間に動きがあるか否かを判定することができる。
前記評価値算出手段により算出された前記フィールド間の差分評価値、および前記閾値算出手段により算出された前記閾値に基づいて、前記所定数のフィールドにおける動きのあるフィールド数を算出する動き数算出手段(例えば、図16の動きフィールド数算出部107)をさらに備え、前記シーケンス検出手段は、前記動き数算出手段により算出された前記所定数のフィールドにおける動きのあるフィールド数にも基づいて、前記所定数のフィールドが、前記パターンに相当するか否かを判定することができる。
前記シーケンス検出手段による前記シーケンスの検出結果に応じて、所定の信号処理を行う信号処理手段(例えば、図6の逆2−3pd判定部22)をさらに備えることができる。
前記インタレース方式の信号を、プログレッシブ方式の信号にIP(インタレース、プログレッシブ)変換するIP変換手段(例えば、図39のIP変換部214)と、前記信号処理手段により変換された前記プログレッシブ方式の信号を、フレームレート変換するフレームレート変換手段(例えば、図39のフレームレート変換部212)と、前記シーケンス検出手段による前記シーケンスの検出結果に応じて、前記IP変換手段により変換された前記プログレッシブ方式の信号、および前記フレームレート変換手段によりフレームレート変換された前記プログレッシブ方式の信号のどちらかを切り替えて後段に出力する信号切替手段(例えば、図39の信号切替部216)とをさらに備えることができる。
本発明の一側面の信号処理方法またはプログラムは、入力されるインタレース方式の信号から、同一フィールドが所定の割合で繰り返されるシーケンスを検出する信号処理装置の信号処理方法またはプログラムにおいて、入力される所定数のフィールドにおいて、それぞれ算出されるフィールド間の差分評価値のうちの2番目の最小値に基づいて、前記フィールド間に動きがあるか否かを判定し(例えば、図15のステップS13)、前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記所定数のフィールドを対象として前記シーケンスの前記同一フィールドが繰り返された繰り返しフィールドの位置を基に分類され、フィールドの入力毎に遷移する遷移順を有する複数のパターンのいずれかに相当するか否かを判定し、前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定することで、前記インタレース方式の信号から、前記シーケンスを検出する(例えば、図15のステップS14)ステップを含む。
以下、図を参照して本発明の実施の形態について説明する。
図6は、本発明を適用した信号処理装置の構成例を表している。この信号処理装置1は、30フレーム毎秒のインタレース方式(すなわち、60フィールド毎秒)の信号(60I信号)を入力端子11から入力し、2−3プルダウン変換処理が行われているか否かを判定し、その判定結果に応じて、逆2−3プルダウン変換処理を行い、24フレーム毎秒のプログレッシブ方式の信号(24P信号)を出力端子12に出力する処理を行う。
2−3プルダウン変換処理(以下、単に2−3プルダウンとも称する)とは、2−3プルダウン前の24P信号の4フレームを、60I信号の2個組のフィールド、3個組のフィールド、2個組のフィールド、および3個組のフィールド(計10フィールド)にそれぞれ変換し、これを1シーケンスとして繰り返すことにより、24P信号を60I信号に変換する処理である。すなわち、60I信号において、同一フィールドが繰り返されている繰り返しフィールド(3個組のフィールド)が所定の割合で出現していれば、それが2−3プルダウンのシーケンスであることがわかる。
また、逆2−3プルダウン変換処理(以下、単に逆2−3プルダウンとも称する)とは、60I信号から、2−3プルダウン前の24P信号を推定して、24P信号に変換する処理である。すなわち、逆2−3プルダウン処理は、3個組のフィールドのうちの1フィールドを間引いて、前記インタレース方式の信号をプログレッシブ方式の信号に変換する処理である。
図6の例の信号処理装置1は、2−3プルダウンが行われているか否かを判定する2−3pd(プルダウン)判定部21、および、2−3pd判定部21の判定結果に応じて、逆2−3プルダウン変換処理を行う逆2−3pd(プルダウン)変換部22により構成され、1シーケンスを含む12フィールド(すなわち、10フィールド間)を対象として、2−3プルダウンのシーケンスを検出する。
入力端子11から入力される60I信号は、2−3pd判定部21のフィールドメモリ31および評価値特徴量算出部32に供給され、フィールドメモリ31を介して、逆2−3pd変換部22に供給される。
フィールドメモリ31には、入力端子11からの60I信号のフィールドが1枚ずつ入力され、評価値特徴量算出部32において差分評価値を算出するために用いられる、少なくとも3枚のフィールドが蓄積される。
2−3pd判定部21は、フィールドメモリ31、評価値特徴量算出部32、および状態推定部33により構成される。評価値特徴量算出部32は、入力端子11からの60I信号のフィールドと、フィールドメモリ31に蓄積されている、入力端子11からのフィールドより時間的に2つ前のフィールドを用いて、状態推定部33が行う2−3プルダウンのシーケンスの検出(判定)に用いられる差分評価値、閾値、および特徴量などを算出する。
すなわち、評価値特徴量算出部32は、入力端子11からの60I信号のフィールドと、フィールドメモリ31に蓄積されている、入力端子11からのフィールドより時間的に2つ前のフィールドを用いて、差分評価値を算出する。そして、評価値特徴量算出部32は、12フィールド(すなわち、10フィールド間)の差分評価値のうち2番目に最小の値を基に、閾値を算出し、算出した閾値に基づいて、10フィールド間の一致不一致、すなわり、フィールド間に動きがあるかないか(フィールド間の静動)を判定し、10フィールド間における静動の位置を示す特徴量を求める。評価値特徴量算出部32の詳細は、図16を参照して後述する。
状態推定部33は、評価値特徴量算出部32により算出された差分評価値、閾値、および特徴量などを用いて、対象とする10フィールド間における静止の位置が、12フィールド(すなわち、10フィールド間)からなる、2−3プルダウンのシーケンスにおける同じフィールドが繰り返される繰り返しフィールドの位置(すなわち、静止の位置)に当てはまるか(相当するか)否かを判定する。
2−3プルダウンのパターンとは、12フィールドを用いて、2−3プルダウンのシーケンスにおける同一フィールドが繰り返されている繰り返しフィールドの位置(すなわち、静止の位置)を基に分類されたパターンであり、そのとき入力されるフィールドがトップフィールドであるかボトムフィールドであるかに応じて各5つのパターンが存在する。
また、これらのパターンは、フィールドの入力毎に遷移する遷移順を有している。したがって、2−3プルダウンのシーケンスが正しい場合には、1フィールドが入力される毎に、各パターンは、その遷移順の次のパターンに遷移する。
状態推定部33は、対象とする10フィールド間における静止の位置が、2−3プルダウンのいずれかのパターンの静止の位置に当てはまると判定した場合、その2−3プルダウンのパターンが、所定の状態遷移(すなわち、上述した遷移順の遷移)を一定回数以上繰り返しているか否かを判定する。換言すると、状態推定部33においては、今回入力され、当てはまると判定されたパターンが、一定回数前の12フィールドが当てはまると判定されたパターンから、上述したパターン遷移順に遷移行われているか否かが判定される。
状態推定部33は、2−3プルダウンのパターンが、所定の状態遷移を一定回数以上繰り返していると判定した場合、信号処理装置1の処理モードをモード24に設定し、モード24を示すモード信号を、逆2−3pd変換部22に供給する。
一方、状態推定部33は、対象とする10フィールド間における静止の位置が、2−3プルダウンのどのパターンの静止の位置に当てはまらないと判定した場合、あるいは、所定の状態遷移を一定回数以上繰り返していないと判定した場合、信号処理装置1の処理モードをモード60に設定し、モード60を示すモード信号を、逆2−3pd変換部22に供給する。状態推定部33の詳細も、図16を参照して後述する。
逆2−3pd変換部22は、状態推定部33からモード24を示すモード信号が供給された場合、逆2−3プルダウン変換処理を行い、変換結果の24P信号を、出力端子12に出力する。また、逆2−3pd変換部22は、状態推定部33からモード60を示すモード信号が供給された場合、逆2−3プルダウン変換処理の実行を停止(禁止)する。
次に、信号処理装置1の信号処理について順に説明する。信号処理装置1においては、
2−3pd判定部21により、2−3プルダウンのシーケンスが判定され、その判定結果に応じて、逆2−3pd変換部22により、逆2−3プルダウン変換処理が行われる。
なお、2−3pd判定部21による2−3プルダウンのシーケンスの検出は、大きくは、フィールド間の静動判定(一致不一致判定)と、その結果を用いた2−3プルダウンのパターン判定の2つの処理に分けられる。また、2−3プルダウンのパターン判定も、パターン、およびその状態遷移の判定の2つの処理に分けられる。
まず、図7乃至図9を参照して、評価値特徴量算出部32によるフィールド間の静動判定を説明する。
図7の例においては、丸は、60I信号の各フィールドを表し、時間tの経過に沿って、入力された順の12フィールド(上:トップフィールド,下:ボトムフィールド)が示されている。また、12フィールドのうち、1フレームから生成されるフィールドが2個の場合の各フィールド(以下、2個組フィールドと称する)と、1フレームから生成されるフィールドが3個の場合の各フィールド(以下、3個組フィールドと称する)とを区別するため、3個組フィールドには、ハッチが付されている。
すなわち、トップフィールドとしては、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドが順に入力されている。
ボトムフィールドとしては、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドが順に入力されている。なお、実際には、トップフィールドとボトムフィールドとが交代で繰り返し入力される。
フィールド間の静動判定においては、これらの12フィールドが処理の対象とされる。この場合、トップフィールド同士、ボトムフィールド同士のフィールド間差分評価値は、10個得られる。
図8は、正しい2−3プルダウンのシーケンスを含む12フィールドの2つの例を示す図である。
左側の例の12フィールドにおいて、トップフィールドは、左から、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成されている。また、ボトムフィールドは、左から、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成されている。
右側の例の12フィールドにおいて、トップフィールドは、左から、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および3個組フィールドで構成されている。また、ボトムフィールドは、左から、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および2個組フィールドで構成されている。
したがって、左側のパターンの12フィールドが静動判定された場合、トップフィールドのうち、3個組フィールドが続くフィールド間(すなわち、左から1番目と2番目のフィールド間)が静止(s)と判定され、その他のフィールド間は、動きがある(m)と判定され、ボトムフィールドのうち、3個組フィールドが続くフィールド間(すなわち、左から3番目と4番目のフィールド間)が静止(s)と判定され、その他のフィールド間は、動きがある(m)と判定される。
同様に、右側のパターンの12フィールドが静動判定された場合、トップフィールドのうち、3個組フィールドが続くフィールド間(すなわち、左から5番目と6番目のフィールド間)が静止(s)と判定され、その他のフィールド間は、動きがある(m)と判定され、ボトムフィールドのうち、3個組フィールドが続くフィールド間(すなわち、左から2番目と3番目のフィールド間)が静止(s)と判定され、その他のフィールド間は、動きがある(m)と判定される。
このように、12フィールドにおいて、正しい2−3プルダウンのシーケンスが含まれる場合、10個の差分評価値のうち、静止(s)と判定されるべき差分評価値(すなわち、3個組フィールドが続く位置の差分評価値)が2つだけあるはずである。そこで、評価値特徴量算出部32においては、得られた10個の差分評価値の中から、「2番目の最小値」を求め、この12フィールドにおけるフィールド間静動判定の閾値とする。
例えば、図9の例においては、トップフィールドは、左から、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成されている。また、ボトムフィールドは、左から、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成されている。
さらに、図9の例のトップフィールドにおける、左から1番目と2番目のフィールド間で得られる差分評価値が14であり、左から2番目と3番目のフィールド間で得られる差分評価値が32であり、左から3番目と4番目のフィールド間で得られる差分評価値が200であり、左から4番目と5番目のフィールド間で得られる差分評価値が215であり、左から5番目と6番目のフィールド間で得られる差分評価値が150である。
ボトムフィールドにおける、左から1番目と2番目のフィールド間で得られる差分評価値が94であり、左から2番目と3番目のフィールド間で得られる差分評価値が35であり、左から3番目と4番目のフィールド間で得られる差分評価値が11であり、左から4番目と5番目のフィールド間で得られる差分評価値が134であり、左から5番目と6番目のフィールド間で得られる差分評価値が170である。
この場合の2番目の最小値は、トップフィールドの左から1番目と2番目のフィールド間で得られる差分評価値が14であるので、評価値特徴量算出部32は、この14を、図9の12フィールドにおけるフィールド間静動判定の閾値とする。そして、評価値特徴量算出部32は、すでに得られている10個の差分評価値をこの閾値「14」と比較し、各フレーム間の差分評価値が閾値以下であれば、そのフレーム間が静止(一致している)と判定し、各フレーム間の差分評価値が閾値以下であれば、そのフレーム間に動きがある(フレーム間が一致していない)と判定する。
したがって、図9の例のトップフィールドにおいては、左から1番目と2番目のフィールド間は差分評価値が14であるので、静止(s)と判定され、左から2番目と3番目のフィールド間は差分評価値が32であるので、動きがある(m)と判定され、左から3番目と4番目のフィールド間は差分評価値が200であるので、動きがある(m)と判定され、左から4番目と5番目のフィールド間は差分評価値が215であるので、動きがある(m)と判定され、左から5番目と6番目のフィールド間は差分評価値が150であるので、動きがある(m)と判定される。
また、図9の例のボトムフィールドにおいては、左から1番目と2番目のフィールド間は差分評価値が94であるので、動きがある(m)と判定され、左から2番目と3番目のフィールド間は、差分評価値が35であるので、動きがある(m)と判定され、左から3番目と4番目のフィールド間は差分評価値が11であるので、静止(s)と判定され、左から4番目と5番目のフィールド間は、差分評価値が134であるので、動きがある(m)と判定され、左から5番目と6番目のフィールド間は差分評価値が170であるので、動きがある(m)と判定される。
すなわち、12フィールドの差分評価値のうちの2番目の最小値を閾値として、静動判定を行うことにより、トップフィールドにおいては、3個組フィールドが続くフィールド間(すなわち、左から1番目と2番目のフィールド間)が、精度よく、静止(s)と判定され、ボトムフィールドにおいては、3個組フィールドが続くフィールド間(すなわち、左から3番目と4番目のフィールド間)が静止(s)と判定される。
以上のように、評価値特徴量算出部32においては、12フィールドに固有の閾値が求められて用いられる。すなわち、入力される60I信号が素性の(どんな差分評価値を有する)信号であっても、その信号の中から求められる固有の閾値が用いられるので、精度よく、フィールド間の静動判定(一致不一致判定)を行うことができる。
次に、状態推定部33による2−3プルダウンのパターン判定を説明する。正しい2−3プルダウンのシーケンスが含まれる12フィールドのパターン(以下、単に、2−3プルダウンのパターンとも称する)は、フレーム単位を考えた場合、図10に示されるように、5パターン存在する。すなわち、12フィールドを用いて2−3プルダウンを示すと、静止位置を基に、次の5パターンに分類される。
図10は、フレーム単位の場合の2−3プルダウンのパターンの例を示している。なお、図10の例において、各パターン間に付された矢印は、正しい2−3プルダウンのシーケンスの場合、矢印の始端のパターンから、矢印の終端のパターンに状態が遷移することを表している。すなわち、図10に示される矢印は、各パターンを時間の経過順に示すものである。
また、図10の例においては、「s」が付されたフレーム間が静止と判定される位置であることを表している。すなわち、「s」が付されていないフレーム間は、「m」(動きがある)位置である。
図中左上から、各パターン間の矢印の順に説明していくと、
5のパターンは、トップフィールドが、左から、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成され、ボトムフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成されるパターンである。すなわち、5のパターンは、静止の位置が、トップフィールドの左から1番目と2番目のフィールド間と、ボトムフィールドの左から3番目と4番目のフィールド間となるパターンである。
1のパターンは、トップフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および3個組フィールドで構成され、ボトムフィールドが、左から、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および2個組フィールドで構成されるパターンである。すなわち、1のパターンは、静止の位置が、トップフィールドの左から5番目と6番目のフィールド間と、ボトムフィールドの左から2番目と3番目のフィールド間となるパターンである。
2のパターンは、トップフィールドが、左から、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、および2個組フィールドで構成され、ボトムフィールドが、左から、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成されるパターンである。すなわち、2のパターンは、静止の位置が、トップフィールドの左から4番目と5番目のフィールド間と、ボトムフィールドの左から1番目と2番目のフィールド間となるパターンである。
3のパターンは、トップフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成され、ボトムフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および3個組フィールドで構成されるパターンである。すなわち、3のパターンは、静止の位置が、トップフィールドの左から3番目と4番目のフィールド間と、ボトムフィールドの左から5番目と6番目のフィールド間となるパターンである。
4のパターンは、トップフィールドが、左から、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および2個組フィールドで構成され、ボトムフィールドが、左から、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、および2個組フィールドで構成されるパターンである。すなわち、4のパターンは、静止の位置が、トップフィールドの左から2番目と3番目のフィールド間と、ボトムフィールドの左から4番目と5番目のフィールド間となるパターンである。
そして、正しい2−3プルダウンのシーケンスの場合、さらに、これらの5パターンは、各パターン間の矢印に示されるように、フィールドの入力毎に、番号の昇順に(ただし、5のパターンの場合は、1のパターンに)状態遷移を繰り返す。
なお、状態推定部33において、対象となるのは、フィールドであるので、実際には、図11に示されるように、10パターンが存在する。
図11は、フィールド単位の場合の2−3プルダウンのパターンの例を示している。なお、図11の例において、各パターンの右側のフィールドに付される矢印bottomは、ボトムフィールドが入力されたことを示し、矢印topは、トップフィールドが入力されたことを示している。また、各パターン間に付された矢印は、正しい2−3プルダウンシーケンスの場合、図10の例の場合と同様に、矢印の始端のパターンから、矢印の終端のパターンに状態が遷移することを表している。
図10のフレーム単位の場合の2−3プルダウンの各パターンは、それぞれ、フィールド単位で考えた場合、入力されたフィールドがトップフィールドであるときのパターンと、入力されたフィールドがボトムフィールドであるときのパターンの2つのパターンを有することとなる。なお、図10のフレーム単位の各パターンは、入力されたフィールドがボトムフィールドであるときのパターンを表している。
したがって、図中左上から、各パターン間の矢印の順に説明していくと、入力されたフィールドがボトムフィールドであるときの5のパターンは、図10のフレーム単位の5のパターンと同様に、トップフィールドが、左から、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成され、ボトムフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成されるパターンである。すなわち、入力されたフィールドがボトムフィールドであるときの5のパターンは、静止の位置が、トップフィールドの左から1番目と2番目のフィールド間と、ボトムフィールドの左から3番目と4番目のフィールド間となるパターンである。
入力されたフィールドがトップフィールドであるときの1のパターンは、トップフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および3個組フィールドで構成され、ボトムフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成されるパターンである。すなわち、入力されたフィールドがトップフィールドであるときの1のパターンは、静止の位置が、トップフィールドの左から5番目と6番目のフィールド間と、ボトムフィールドの左から3番目と4番目のフィールド間となるパターンである。
入力されたフィールドがボトムフィールドであるときの1のパターンは、図10のフレーム単位の1のパターンと同様に、トップフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および3個組フィールドで構成され、ボトムフィールドが、左から、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および2個組フィールドで構成されるパターンである。すなわち、入力されたフィールドがボトムフィールドであるときの1のパターンは、静止の位置が、トップフィールドの左から5番目と6番目のフィールド間と、ボトムフィールドの左から2番目と3番目のフィールド間となるパターンである。
入力されたフィールドがトップフィールドであるときの2のパターンは、トップフィールドが、左から、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、および2個組フィールドで構成され、ボトムフィールドが、左から、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および2個組フィールドで構成されるパターンである。すなわち、入力されたフィールドがトップフィールドであるときの2のパターンは、静止の位置が、トップフィールドの左から4番目と5番目のフィールド間と、ボトムフィールドの左から2番目と3番目のフィールド間となるパターンである。
入力されたフィールドがボトムフィールドであるときの2のパターンは、図10のフレーム単位の2のパターンと同様に、トップフィールドが、左から、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、および2個組フィールドで構成され、ボトムフィールドが、左から、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成されるパターンである。すなわち、入力されたフィールドがボトムフィールドであるときの2のパターンは、静止の位置が、トップフィールドの左から4番目と5番目のフィールド間と、ボトムフィールドの左から1番目と2番目のフィールド間となるパターンである。
入力されたフィールドがトップフィールドであるときの3のパターンは、トップフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成され、ボトムフィールドが、左から、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成されるパターンである。すなわち、入力されたフィールドがトップフィールドであるときの3のパターンは、静止の位置が、トップフィールドの左から3番目と4番目のフィールド間と、ボトムフィールドの左から1番目と2番目のフィールド間となるパターンである。
入力されたフィールドがボトムフィールドであるときの3のパターンは、図10のフレーム単位の3のパターンと同様に、トップフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成され、ボトムフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および3個組フィールドで構成されるパターンである。すなわち、入力されたフィールドがボトムフィールドであるときの3のパターンは、静止の位置が、トップフィールドの左から3番目と4番目のフィールド間と、ボトムフィールドの左から5番目と6番目のフィールド間となるパターンである。
入力されたフィールドがトップフィールドであるときの4のパターンは、トップフィールドが、左から、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および2個組フィールドで構成され、ボトムフィールドが、左から、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および3個組フィールドで構成されるパターンである。すなわち、入力されたフィールドがトップフィールドであるときの4のパターンは、静止の位置が、トップフィールドの左から2番目と3番目のフィールド間と、ボトムフィールドの左から5番目と6番目のフィールド間となるパターンである。
入力されたフィールドがボトムフィールドであるときの4のパターンは、図10のフレーム単位の4のパターンと同様に、トップフィールドが、左から、2個組フィールド、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、および2個組フィールドで構成され、ボトムフィールドが、左から、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、および2個組フィールドで構成されるパターンである。すなわち、入力されたフィールドがボトムフィールドであるときの4のパターンは、静止の位置が、トップフィールドの左から2番目と3番目のフィールド間と、ボトムフィールドの左から4番目と5番目のフィールド間となるパターンである。
入力されたフィールドがトップフィールドであるときの5のパターンは、トップフィールドが、左から、3個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、2個組フィールド、および3個組フィールドで構成され、ボトムフィールドが、左から、2個組フィールド、3個組フィールド、2個組フィールド、3個組フィールド、3個組フィールド、および2個組フィールドで構成されるパターンである。すなわち、入力されたフィールドがトップフィールドであるときの5のパターンは、静止の位置が、トップフィールドの左から1番目と2番目のフィールド間と、ボトムフィールドの左から4番目と5番目のフィールド間となるパターンである。
以上のように、2−3プルダウンのパターンは、入力対象(トップフィールドおよびボトムフィールド)毎に5パターンの計10パターンで構成され、正しい2−3プルダウンのシーケンスの場合、これらの10パターンは、さらに、各パターン間の矢印に示されるように、フィールドの入力毎に、番号の昇順で、かつ、トップフィールドとボトムフィールドの入力の交互に、(ただし、5のパターンの場合は、1のパターンに)状態遷移を繰り返す。
したがって、状態推定部33は、2−3プルダウンのパターン判定として、評価値特徴量算出部32により静動判定が行われた結果に得られる12のフィールド(すなわち、10フィールド間)における静止の位置を示す特徴量を基に、12のフィールドにおける静止の位置が、上述した10パターン(トップフィールド、ボトムフィールド別には各5パターン)のうちどのパターンの静止の位置に当てはまるか(相当するか)を判定する。なお、どのパターンの静止の位置にも当てはまらなかった場合には、0のパターンが割り当てられる。
また、この2−3プルダウンのパターン判定の結果に応じて、状態推定部33は、さらに、2−3プルダウンのパターンの状態遷移が正しく行われたか否かを判定することで、図12に示されるように、逆2−3pd変換部22の逆2−3プルダウン変換処理の実行または停止を制御する。
図12の例においては、逆2−3プルダウン(pd)の停止状態と、逆2−3プルダウン(pd)の実行状態の2つの状態が示されており、各矢印は、それらの状態の遷移を示している。
すなわち、信号処理装置1において信号処理が開始されると、矢印startに示されるように、まず、逆2−3プルダウン(処理)は停止状態となる。そして、状態遷移部33により2−3プルダウンのパターンが検出され、図11の矢印に示される正しい2−3プルダウンの状態遷移が一定回数(例えば、10回)以上連続したと判定された場合、逆2−3プルダウンの状態が、停止状態から、実行状態へ遷移し、逆2−3pd変換部22においては、図13を参照して後述するように、逆2−3プルダウン(処理)の実行が開始される。
一方、状態遷移部33により2−3プルダウンのパターンが検出されたとしても、正しい2−3プルダウンの状態遷移の連続成功数が10回未満であれば、逆2−3プルダウンの状態は、停止状態のままとなる。
一旦、逆2−3プルダウンの状態が実行状態へ遷移しても、状態遷移部33により正しい2−3プルダウンの状態遷移に失敗すれば、すぐに、逆2−3プルダウンの状態は、停止状態となってしまう。具体的には、例えば、2−3プルダウンのパターンが1のパターンの場合、次に、2のパターンに遷移すれば、状態遷移に成功となるが、2のパターン以外の場合には、状態遷移に失敗することになる。
また、逆2−3プルダウンの状態が実行状態へ遷移した後も、状態遷移部33の正しい2−3プルダウンの状態遷移が成功すれば、逆2−3プルダウンの状態は実行状態のままとなり、逆2−3pd変換部22においては、逆2−3プルダウン(処理)の実行が継続される。
なお、この状態遷移の連続成功数を判定する一定回数の値が大きいほど、逆2−3プルダウン処理にとっては、誤判定が少なくなり、安定さが増すが、逆に、なかなか逆2−3プルダウン処理が行えなくなることも起こりうるため、10回前後が好ましいとされる。なお、連続成功数の判定に用いる閾値は、10回に限らず、用途やその状況に応じて、6乃至30までの回数を用いるようにしてもよい。
図13は、逆2−3プルダウンの実行を開始するタイミングを説明する図である。
図13の例においては、時間tの経過に沿って、入力される60I信号のフィールド(上:トップフィールド、下:ボトムフィールド)が丸で示されている。なお、図13の例においても、2−3プルダウンによる2個組フィールドと3個組フィールドを区別するため、3個組フィールドには、ハッチが付されている。
また、上下に並ぶ2つの四角は、逆2−3プルダウンにより24P信号に変換されたフレームを表している。また、各フィールドに付される数字は、そのフィールドが入力されたときの2−3プルダウンの状態遷移の連続成功数を示している。
すなわち、図13の例においては、入力端子11から、図中左から1番のトップフィールド(2個組フィールド)が入力されたときに、2−3プルダウンの状態遷移の連続成功数は1回となり、次(左から2番目)のボトムフィールド(2個組フィールド)が入力されたときに、2−3プルダウンの状態遷移の連続成功数は2回となり、次(左から3番目)のトップフィールド(3個組フィールド)が入力されたときに、2−3プルダウンの状態遷移の連続成功数は3回となり、次(左から4番目)のボトムフィールド(3個組フィールド)が入力されたときに、2−3プルダウンの状態遷移の連続成功数は4回となり、次(左から5番目)のトップフィールド(3個組フィールド)が入力されたときに、2−3プルダウンの状態遷移の連続成功数は5回となることが示されている。
また、さらに、2−3プルダウンの状態遷移の連続成功数が5回目となったトップフィールドの次(左から6番目)のボトムフィールド(2個組フィールド)が入力されたときに、2−3プルダウンの状態遷移の連続成功数は6回となり、次(左から7番目)のトップフィールド(2個組フィールド)が入力されたときに、2−3プルダウンの状態遷移の連続成功数は7回となり、次(左から8番目)のボトムフィールド(3個組フィールド)が入力されたときに、2−3プルダウンの状態遷移の連続成功数は8回となり、次(左から9番目)のトップフィールド(3個組フィールド)が入力されたときに、2−3プルダウンの状態遷移の連続成功数は9回となり、次(左から10番目)のボトムフィールド(3個組フィールド)が入力されたときに、2−3プルダウンの状態遷移の連続成功数は10回となることが示されている。
その後、入力端子11からは、さらに、次(左から11番目)のトップフィールド(2個組フィールド)、次(左から12番目)のボトムフィールド(2個組フィールド)、次(左から13番目)のトップフィールド(3個組フィールド)、次(左から14番目)のボトムフィールド(3個組フィールド)、次(左から15番目)のトップフィールド(3個組フィールド)、次(左から16番目)のボトムフィールド(2個組フィールド)、次(左から17番目)のトップフィールド(2個組フィールド)、次(左から18番目)のボトムフィールド(3個組フィールド)が入力されていることが示されている。
したがって、図中左から10番目のボトムフィールド(3個組フィールド)が入力され、この2−3プルダウンの状態遷移の連続成功数が10回目となったときに初めて、すなわち、1番目のトップフィールドが入力されてから、10番目のボトムフィールドまで、図11の2−3プルダウンのパターンの矢印の順番に沿ったパターンが、矢印の順番(時間の経過順)に検出され続けたときに初めて、startが付された矢印が示すフィールドから、逆2−3プルダウン処理が開始される。
これにより、左から8乃至10番目の3個組フィールドのうちの2つのフィールドが、図中左から1番目の24P信号のフレームに変換され、左から11および12番目の2個組フィールドが、左から2番目の24P信号のフレームに変換され、左から13乃至15番目の3個組フィールドのうちの2つフィールドが、左から3番目の24P信号のフレームに変換され、左から16および17番目の2個組フィールドが、左から4番目の24P信号のフレームに変換される。
以上のように、2−3プルダウンのパターンが検出されたら、すぐに逆2−3プルダウンを行うのではなく、2−3プルダウンのパターンが検出され、そのパターンの状態遷移が連続し、安定したと判定してから(すなわち、図11の時間の経過順に沿ったパターンが所定の時間以上続けて検出され続けてから)、逆2−3プルダウンを開始するようすることで、生成される信号の品質を向上させることができる。
なお、連続成功数は、0や1回としてもよい。この場合には、パターンが判定されただけでも、あるいは、1回でも状態が遷移すれば、逆2−3プルダウンをすぐに開始させることも可能である。
また、図13の例においては、3個組のフィールドから1つのフレーム、2個組のフィールドから1つのフレームが生成される例が示されている。このように、2−3プルダウンの状態遷移の判定結果に応じて、逆2−3プルダウンを行う場合、60I信号におけるフレーム構造をなるべく保持して逆2−3プルダウンを行うようにしてもよい。
これにより、DVD(Digital Versatile Disk)などにおいて、2−3プルダウンのシーケンスと関係のない時間(タイミング)で挿入される字幕などが、60I信号におけるフレーム構造を保持せずに逆2−3プルダウンを行うことで、異なるフィールド同士から1つのフレームが生成されてしまい、ライン毎に裂けてしまうのを抑制することができる。
図14は、逆2−3プルダウンにおけるフレーム生成のタイミングについて説明する図である。
図14の例において、上から1段目には、時間tの経過に沿って、入力端子11から入力される60I信号のフィールド(上:トップフィールド、下:ボトムフィールド)が丸で示されている。なお、図14の例においても、2−3プルダウンによる2個組フィールドと3個組フィールドを区別するため、3個組フィールドには、ハッチが付されている。
上から2段目には、入力端子11から入力され、フィールドメモリ31内に蓄積される60I信号のフィールドが示されている。フィールドメモリ31内において、点線で囲まれたフィールドは、24P信号の生成に用いられる2つのフィールドであることを示しており、点線で囲まれていないフィールドは、この処理により間引かれるフィールドを示している。
上から3段目に示される上下に並ぶ丸は、点線で囲まれたフィールドが用いられて逆2−3プルダウンが実行された結果生成される24P信号のフレームを表している。
時間tの経過に沿って順に説明すると、図14の例の場合、まず、入力端子から入力され、フィールドメモリ31に蓄積された3個組のフィールドのうち、時間的に前2つのフィールド(トップフィールドおよびボトムフィールド)により、3個組の最後のフィールドが入力されるタイミングで、24P信号のフレームが生成されている。すなわち、3個組のうち最後のトップフィールドは間引かれている。
次に、2個組のフィールド(ボトムフィールド、トップフィールド)が入力され、フィールドメモリ31に蓄積されると、その2個組のフィールドにより、2個組の最後のフィールドが入力され、次のフィールドが入力される前のタイミングで、24P信号のフレームが生成されている。
その後、3個組のフィールド(ボトムフィールド、トップフィールド、ボトムフィールド)が入力され、フィールドメモリ31に蓄積されると、3個組のフィールドのうち、時間的に後ろの2つのフィールド(トップフィールドおよびボトムフィールド)により、3個組の最後のフィールドが入力されるタイミングで、24P信号のフレームが生成されている。すなわち、3個組のうち最初のボトムフィールドは間引かれている。
次に、2個組のフィールド(トップフィールド、ボトムフィールド)が入力され、フィールドメモリ31に蓄積されると、その2個組のフィールドにより、2個組の最後のフィールドが入力され、次のフィールドが入力される前のタイミングで、24P信号のフレームが生成されている。
さらに、3個組のフィールド(トップフィールド、ボトムフィールド、トップフィールド)が入力され、フィールドメモリ31に蓄積されると、3個組のフィールドのうち、時間的に前2つフィールド(トップフィールドおよびボトムフィールド)により、3個組の最後のフィールドが入力されるタイミングで、24P信号のフレームが生成されている。すなわち、3個組のうち最後のトップフィールドは間引かれている。
以上のように、2−3プルダウンの3個組のフィールド、2個組のフィールド、それぞれに対して、24P信号の1フレームが生成される。このとき、24P信号(のフレーム)を出力する時間的な位相(タイミング)は、上述したように、3個組、2個組の最後のフィールドで行うように規定することができる。
これにより、図39以降に詳しく後述するが、逆2−3プルダウン後の24P信号を用いる信号処理システムを構築する場合に、各信号の位相関係を保持するための制御が簡素化される。
次に、図15のフローチャートを参照して、図6の信号処理装置1による信号処理を説明する。
まず、信号処理装置1を操作するユーザにより、図示せぬ操作入力部が操作され、信号処理装置1の各部の初期設定の値が入力される。信号処理装置1の各部は、操作入力部から、ユーザの操作に対応する信号を入力すると、ステップS11において、初期設定を行う。ステップS11における初期設定後、処理が開始される。
ステップS12において、入力端子11は、図示せぬ前段から、1フィールドを入力し、フィールドメモリ31および評価値特徴量算出部32に供給する。フィールドメモリ31に供給された1フィールドは、逆2−3pd変換部22に供給される。
入力端子11から1フィールドが入力されると、ステップS13において、評価値特徴量算出部32は、評価値特徴量算出処理を実行する。すなわち、評価値特徴量算出部32は、入力端子11からの60I信号のフィールドと、フィールドメモリ31に蓄積されている、入力端子11からのフィールドより時間的に2つ前のフィールドを用いて、状態推定部33が行う2−3プルダウンのシーケンスの検出(判定)に用いられる差分評価値、閾値、および特徴量などを算出する。
具体的には、評価値特徴量算出部32は、入力端子11からの60I信号のフィールドと、フィールドメモリ31に蓄積されている、入力端子11からのフィールドより時間的に2つ前のフィールドを用いて、図9を参照して上述したように、差分評価値を算出し、12フィールド(すなわち、10フィールド間)の差分評価値のうち2番目に最小の値を基に、閾値を算出する。
そして、評価値特徴量算出部32は、10フィールド間の差分評価値および算出した閾値に基づいて、10フィールド間の一致不一致、すなわち、フィールド間に動きがあるかないか(フィールド間の静動)を判定し、10フィールド間における静動の位置を示す特徴量を求める。この評価値特徴量算出処理の詳細は、図29のフローチャートを参照して後述する。
評価値特徴量算出部32により差分評価値、閾値、および特徴量などが求められると、ステップS14において、状態推定部33は、状態推定処理を実行する。すなわち、状態推定部33は、評価値特徴量算出部32により算出された差分評価値、閾値、および特徴量などを用いて、対象とする10フィールド間における静止の位置が、図11に示される2−3プルダウンのパターンに当てはまるか否かを判定する。
また、2−3プルダウンのいずれかのパターンに当てはまると判定された場合、状態推定部33は、図12を参照して上述したように、さらに、その2−3プルダウンのパターンが、所定の状態遷移を一定回数以上繰り返しているか否かを判定する。すなわち、ここでは、一定回数前の12フィールドが当てはまると判定されたパターンから、今回入力され、当てはまると判定されたパターンまで、上述したパターンの遷移順に遷移が続けられているかが判定される。
なお、2−3プルダウンのパターンが、所定の状態遷移を一定回数以上繰り返していると判定された場合、状態推定部33は、信号処理装置1の処理モードをモード24に設定し、モード24を示すモード信号を、逆2−3pd変換部22に供給する。
また、対象とする10フィールド間における静止の位置が、2−3プルダウンのどのパターンに当てはまらないと判定された場合、あるいは、所定の状態遷移を一定回数(例えば、10回)以上繰り返していないと判定された場合、状態推定部33は、信号処理装置1の処理モードをモード60に設定し、モード60を示すモード信号を、逆2−3pd変換部22に供給する。この状態推定処理の詳細は、図33のフローチャートを参照して後述する。
ステップS15において、逆2−3pd変換部22は、状態推定部33から供給されるモード信号に応じて、フィールドメモリ31からのフィールドを用いて、逆2−3pd変換処理を行う。
すなわち、逆2−3pd変換部22は、モード信号がモード60を示す(すなわち、処理モードがモード60である)場合、図13を参照して上述したように、逆2−3pd変換処理を開始し、3個組のフィールドのうちの1フィールドを間引いて、図14を参照して上述したタイミング(位相)で、24P信号を生成し、生成した24P信号を、出力端子12に出力する。なお、逆2−3pd変換部22は、モード信号がモード24を示す(すなわち、処理モードがモード24である)場合、逆2−3pd変換処理を停止する。
ステップS16において、評価値特徴量算出部32は、全フィールドの処理が終了したかを判定する。入力端子11からフィールドが入力されなくなったとき、評価値特徴量算出部32は、全フィールドの処理が終了したと判定し、信号処理は終了される。
一方、ステップS16において、全フィールドの処理がまだ終了していないと判定された場合、処理は、ステップS12に戻り、それ以降の処理が繰り返される。
以上のように、60I信号の12フィールドを用いて、フィールド間における静止の位置を求め、2−3プルダウンのパターンを判定し、さらに、2−3プルダウンの状態遷移判定をするようにしたので、素性のわからない60I信号であっても、2−3プルダウンのシーケンスを精度よく検出することができる。
また、12フィールドのフィールド間における静止の位置を求める際に、12フィールドの固有の閾値での静動判定を行うようにしたので、12フィールドのフィールド間における静止の位置を求める精度が向上する。
さらに、2−3プルダウンの状態遷移が一定回数以上成功した場合にだけ、逆2−3プルダウンを行うようにしたので、安定した状態での逆2−3プルダウン処理を行うことができる。
次に、図6の評価値特徴量算出部32と状態推定部33のさらに詳細を説明する。
図16は、評価値特徴量算出部32と状態推定部33の構成例を示すブロック図である。
図16の例において、評価値特徴量算出部32は、差分評価値算出部101、評価値メモリ102、閾値算出部103、閾値メモリ104、評価値静動判定部105、評価値テーブル106、動きフィールド数算出部107、および動きフィールド数メモリ108により構成される。
また、状態推定部33は、フラグ設定部121、LUT(Look Up Table:ルックアップテーブル)122、状態フラグメモリ123、状態推定処理部124、連続成功数判定部125、およびモード設定部126により構成される。
差分評価値算出部101は、入力端子11からの60I信号のフィールドnと、フィールドメモリ31に蓄積されている、入力端子11からのフィールドnより時間的に2つ前のフィールドn-2を用いて、フィールドnおよびn-2間の差分評価値を求め、評価値メモリ102に格納する。
例えば、差分評価値算出部101は、フィールドnおよびn-2間の同位相の画素差分絶対値のうちの最大値を求め、それを、フィールドnおよびn-2間の差分評価値とする。または、差分評価値算出部101は、フィールドnおよびn-2間の同位相の画素差分絶対値の和を求め、それを、フィールドnおよびn-2間の差分評価値とする。
評価値メモリ102は、FIFO(First-In-First-Out)で構成され、常に最近の12フィールド分、すなわち、10フィールド間の差分評価値を10個格納する。
閾値算出部103は、評価値メモリ102に格納された差分評価値のうち、2番目の最小値を求め、それに、所定の値を加えて、静動判定の閾値min2を算出し、算出した閾値min2を閾値メモリ104に記憶させる。
閾値メモリ104には、常に最近の12フィールドの差分評価値により算出された閾値min2が記憶されている。
評価値静動判定部105は、評価値メモリ102に格納されている10フィールド間の差分評価値と閾値メモリ104に記憶されている閾値min2を比較し、10フィールド間の静動判定(一致不一致判定)を行い、10フィールド間における静動の位置を示す特徴量としての評価値テーブル106を生成する。
すなわち、10フィールド間の差分評価値と閾値メモリ104に記憶されている閾値min2が比較され、差分評価値が閾値min2以下となるフィールド間は、静止していると判定され、評価値テーブル106に1が書き込まれる。また、差分評価値が閾値min2より大きいフィールド間は、動きがあると判定され、評価値テーブル106に0が書き込まれる。
評価値テーブル106は、12フィールドの10個のフィールド間分の静を示す値(1)か動を示す値(0)が書き込まれて構成されている。
動きフィールド数算出部107は、評価値メモリ102に格納されている10フィールド間の差分評価値と閾値メモリ104に記憶されている閾値min2を比較し、閾値min2以上になる差分評価値がいくつあるかをカウントし、その値を動きフィールド数(Movefield)として動きフィールド数メモリ108に記憶する。
すなわち、動きフィールド数(Movefield)は、12フィールドのうち、何フィールドに動きがあるか(静止ではないか)を表す特徴量である。
動きフィールド数メモリ108には、12フィールドの10個のフィールド間で求められた動きフィールド数(Movefield)が記憶される。
フラグ設定部121は、LUT122が示す2−3プルダウンのパターン(状態)を参照し、評価値テーブル106の値が、LUT122が示す2−3プルダウンのパターンの静止位置に当てはまるか否かを判定し、状態フラグ(sflag)における、2−3プルダウンのパターンのうち、静止位置が当てはまると判定したパターンに対応する状態すべてにフラグを立てる。
LUT122は、入力フィールド別に、2−3プルダウンのすべてのパターンの静止の位置を示すテーブルである。状態フラグメモリ123には、2−3プルダウンの5パターンの状態を示すフラグからなる状態フラグ(sflag)が記憶されている。
状態推定処理部124は、入力フィールド(Top/Bottom)、前の2−3プルダウンの状態(パターン)、モード設定部126が設定する処理モード、状態フラグメモリ123の状態フラグ(sflag)の各状態、動きフィールド数メモリ108の動きフィールド数(Movefield)、並びに、閾値メモリ104の閾値min2などを参照して、入力される12フィールドの2−3プルダウンのパターン(状態)を推定する。
状態推定処理部124は、入力される12フィールドの2−3プルダウンのパターン(状態)が推定された場合、状態遷移の連続成功数(peace)を1つカウントする。また、状態推定処理部124は、2−3プルダウンのパターン(状態)の推定に失敗した場合、状態遷移の連続成功数(peace)を0にリセットするとともに、状態フラグメモリ123の状態フラグ(sflag)を参照して、緊急用状態(emergency_state)を設定する。なお、この場合、処理モードがモード24であれば、さらに、モード設定部126が設定する処理モードをモード60に切り替えさせる。
連続成功数判定部125は、処理モードがモード60の場合、状態推定処理部124がカウントする状態遷移の連続成功数(peace)が、一定回数(例えば、10回)以上になったか否かを判定し、状態遷移の連続成功数(peace)が、一定回数(例えば、10回)以上になったと判定した場合、モード設定部126が設定する処理モードをモード24に切り替えさせる。
モード設定部126は、状態推定処理部124または連続成功数判定部125からの制御に応じて、信号処理装置1の処理モードを、モード24またはモード60に設定し、設定した処理モードを、逆2−3pd変換処理部22に供給する。
次に、図17乃至図21を参照して、差分評価値算出部101の差分評価値算出処理について具体的に説明する。
図17の例においては、丸は、フィールドを示し、時間tに沿って入力され、フィールドメモリ31に格納される12のフィールド(上:トップフィールド、下:ボトムフィールド)が時間(n,n+1,n+2,n+3)毎に示されている。n,n+1,n+2,n+3が付された各矢印は、各矢印が指す丸(フィールド)がn,n+1,n+2,n+3の時間に入力されたことを示している。
すなわち、時刻nにおいては、nの矢印が付されたフィールドがフィールドメモリ31に書き込まれながら、差分評価値算出部101により、nの矢印が付されたフィールド(トップフィールド)と時間的にその2つ前の(時刻n-2に入力された)フィールド(トップフィールド)が用いられて差分評価値が演算され、演算された差分評価値が評価値メモリ102に格納される。
時刻n+1においては、n+1の矢印が付されたフィールドがフィールドメモリ31に書き込まれながら、差分評価値算出部101により、n+1の矢印が付されたフィールド(ボトムフィールド)と時間的にその2つ前の(時刻n-1に入力された)フィールド(ボトムフィールド)が用いられて差分評価値が演算され、演算された差分評価値が評価値メモリ102に格納される。
時刻n+2においては、n+2の矢印が付されたフィールドがフィールドメモリ31に書き込まれながら、差分評価値算出部101により、n+2の矢印が付されたフィールド(トップフィールド)と時間的にその2つ前の(時刻nに入力された)フィールド(トップフィールド)が用いられて差分評価値が演算され、演算された差分評価値が評価値メモリ102に格納される。
時刻n+3においては、n+3の矢印が付されたフィールドがフィールドメモリ31に書き込まれながら、差分評価値算出部101により、n+2の矢印が付されたフィールド(ボトムフィールド)と時間的にその2つ前の(時刻n+1に入力された)フィールド(ボトムフィールド)が用いられて差分評価値が演算され、演算された差分評価値が評価値メモリ102に格納される。
以上のように、2−3プルダウンを検出する際、12フィールドから算出される10個のフィールド間の差分評価値が用いられるが、差分評価値算出部101が差分評価値を算出する上で必要なのは、点線で囲まれた3フィールド分である。すなわち、演算された差分評価値が評価値メモリ102に10個格納されていればよいので、フィールドメモリ31には、12フィールドを保持する必要はなく、3フィールドを保持されていればよい。
図18の例においては、SDサイズの60I信号の1フィールド(720×240)の画素が示されている。この場合、1フィールドの画素全てを評価値算出の対象領域として設定してもよいが、1フィールドの上下左右をある程度の範囲除いた後の領域Eを演算対象領域とする。
この場合、1フィールドの上(top)部分においては、10画素が除外され、下(bottom)部分においては、80画素が除外され、左(left)右(right)部分においては、5画素ずつが除外されており、それ以外の領域Eが、演算対象領域とされている。
このようにすることで、DVDにおける字幕などの影響を避けることができる。
なお、除外する画素としては、上述する画素数に限らず、上下部分であれば、0乃至240の画素であればどの数でも除外画素として設定可能であり、左右部分であれば、0乃至360の画素であればどの数でも除外画素として設定可能である。
図19は、フィールド間の画素毎の差分絶対値を説明する図である。
図19の例においては、フィールド間に動きがあまりない静止部の差分絶対値のヒストグラムと、フィールド間に動きがある動き部の差分絶対値のヒストグラムが示されている。
ヒストグラムの横軸は、フィールド間の画素毎の差分絶対値を表し、縦軸は、頻度(その差分絶対値を有する画素の数)を表している。静止部と動き部のヒストグラムを比較してみると、静止部においては、フィールド間の画素毎の差分絶対値は、最大値が最小値(0)と大きな差がなく、最小値(0)である頻度が多い。
一方、動き部においては、フィールド間の画素毎の差分絶対値は、最大値が最小値(0)と大きな差があり、その間のさまざまな値を有する。
このように、フィールド間の画素毎の差分絶対値は、静止部と動き部で、最大値も異なれば、その頻度も異なる。したがって、例えば、図20に示されるように、フィールドnとフィールドn-2の間の同位相の画素差分絶対値のうちの最大値を求め、それを、フィールド間の差分評価値として用いる。
図20の例においては、フィールドメモリ31には、フィールドn、フィールドn-1、フィールドn-2が格納されており、差分評価値算出部101−1は、フィールドnの演算領域(図18の領域E)内の画素と、フィールドn-2の同位相の画素との差分絶対値を算出し、領域E内の全画素の差分絶対値のうち最大の差分絶対値を、差分評価値max(n,n-2)として、評価値メモリ102に格納する。
あるいは、図21に示されるように、フィールドnとフィールドn-2の間の同位相の画素差分絶対値の和を求め、それを、フィールド間の差分評価値として用いることもできる。
図21の例においては、フィールドメモリ31には、フィールドn、フィールドn-1、フィールドn-2が格納されており、差分評価値算出部101−2は、フィールドnの演算領域(図18の領域E)内の画素と、フィールドn-2の同位相の画素との差分絶対値を算出し、領域E内の全画素の差分絶対値の和を求め、差分評価値sum(n,n-2)として、評価値メモリ102に格納する。
なお、差分評価値の算出例としては、図20および図21の例に限らず、他に、例えば、フィールドnとフィールドn-2の間の同位相の画素差分絶対値の平均値を求め、それを、フィールド間の差分評価値として用いることもできるし、さらには、上述した差分評価値を複数算出して、2−3プルダウンを検出し、最終的に、それらを統合的に判定することもできる。
その場合、各差分評価値を用いた個別の2−3プルダウンの検出結果がすべて一致した場合を最終結果としてもよいし、いずれか1つの2−3プルダウンの検出結果が一致した場合を最終結果としてもよい。
図22は、図16の評価値メモリ102の構成を説明する図である。
評価値メモリ102には、差分評価値算出部101により算出された差分評価値がFIFO的に10個分格納される。
すなわち、図22の例の場合、評価値メモリ102には、差分評価値算出部101−2から、最も新しく算出された差分評価値max(n,n-2)が格納される。なお、その際には、評価値メモリ102において時間的に最も古い差分評価値が捨てられる。
次に、図23を参照して、閾値算出部103による静動判定の閾値の算出処理を説明する。なお、評価値メモリ102内に示される四角は、それぞれ10個の差分評価値を表している。
図23の例においては、評価値メモリ102には、10個の差分評価値が格納されている。閾値算出部103は、差分評価値を昇順にソートして、2番目の最小値を求め、閾値min2とする。例えば、差分評価値が、「10,10,30,40,…」であった場合(すなわち、最小評価値が2つあった場合)には、最小評価値「10」が閾値min2とされる。
そして、閾値算出部103は、閾値に所定の値(bufferin)を加算し、所定の値を加算した値を、閾値min2 (= min2 + bufferin)として、閾値メモリ104に記憶させる。
この所定の値(bufferin)は、のアナログ経路のノイズなどの影響により誤判定してしまうのを抑制するために加算される値であり、所定の値(bufferin)としては、0乃至20のいずれかの値が用いられる。
次に、図24を参照して、図11を参照して上述した12フィールドにおける2−3プルダウンのパターンの静止の位置について再度説明する。なお、パターンの詳細は、図11を参照して上述したので、その説明は繰り返しになるので適宜省略する。
図24の例においては、パターン番号毎に、2−3プルダウンのパターン判定に用いられる12フィールド(上:トップフィールド、下:ボトムフィールド)が四角と丸で示されており、丸は、そのフィールドが、2−3プルダウンの3個組フィールドであることを表しており、四角は、そのフィールドが2−3プルダウンの2個組フィールドであることを表している。
また、各フィールドに付された番号は、入力順を表しており、番号が小さいほど、最近入力されたことを表している。すなわち、番号0が付されたフィールドが、いま入力されたフィールドである。さらに、図24の例において、フレーム間には「s」または「m」が付されており、「s」が付されたフレーム間(すなわち、3個組フィールド間)は静止と判定される位置であり、「m」が付されたフレーム間(すなわち、3個組フィールドと2個組フィールドの間)は動きがあると判定される位置である。
図中上から順に説明する。パターン番号5B(すなわち、パターンが5で、いま入力されたフィールドがボトムフィールドである)の場合の静止の位置は、入力順が9番目のフィールドと11番目のフィールドの間(すなわち、9番目のフィールド間)と、入力順が4番目のフィールドと6番目のフィールドの間(すなわち、4番目のフィールド間)である。
すなわち、12フィールドの構成がパターン番号5Bの場合、評価値メモリ102の4番目と9番目には、1または2番目の最小評価値が格納されているので、評価値テーブル103の4番目と9番目の位置には、静止を示す1の値が書き込まれる。
パターン番号1T(すなわち、パターンが1で、いま入力されたフィールドがトップフィールドである)の場合の静止の位置は、入力順が0番目のフィールドと2番目のフィールドの間(すなわち、0番目のフィールド間)と、入力順が5番目のフィールドと7番目のフィールドの間(すなわち、5番目のフィールド間)である。
すなわち、12フィールドの構成がパターン番号1Tの場合、評価値メモリ102の0番目と5番目には、1または2番目の最小評価値が格納されているので、評価値テーブル103の0番目と5番目の位置には、静止を示す1の値が書き込まれる。
なお、パターン番号1Tの場合、トップフィールドが入力されて3個組フィールドが揃うため、パターン番号1Tの場合は、逆2−3プルダウンの開始条件の1つとされる。
パターン番号1B(すなわち、パターンが1で、いま入力されたフィールドがボトムフィールドである)の場合の静止の位置は、入力順が1番目のフィールドと3番目のフィールドの間(すなわち、1番目のフィールド間)と、入力順が6番目のフィールドと8番目のフィールドの間(すなわち、6番目のフィールド間)である。
すなわち、12フィールドの構成がパターン番号1Bの場合、評価値メモリ102の1番目と6番目には、1または2番目の最小評価値が格納されているので、評価値テーブル103の1番目と6番目の位置には、静止を示す1の値が書き込まれる。
パターン番号2T(すなわち、パターンが2で、いま入力されたフィールドがトップフィールドである)の場合の静止の位置は、入力順が2番目のフィールドと4番目のフィールドの間(すなわち、2番目のフィールド間)と、入力順が7番目のフィールドと9番目のフィールドの間(すなわち、7番目のフィールド間)である。
すなわち、12フィールドの構成がパターン番号2Tの場合、評価値メモリ102の2番目と7番目には、1または2番目の最小評価値が格納されているので、評価値テーブル103の2番目と7番目の位置には、静止を示す1の値が書き込まれる。
なお、パターン番号2Tの場合、トップフィールドが入力されて2個組フィールドが揃うため、パターン番号2Tの場合は、逆2−3プルダウンの開始条件の1つとされる。
パターン番号2B(すなわち、パターンが2で、いま入力されたフィールドがボトムフィールドである)の場合の静止の位置は、入力順が3番目のフィールドと5番目のフィールドの間(すなわち、3番目のフィールド間)と、入力順が8番目のフィールドと10番目のフィールドの間(すなわち、8番目のフィールド間)である。
すなわち、12フィールドの構成がパターン番号2Bの場合、評価値メモリ102の3番目と8番目には、1または2番目の最小評価値が格納されているので、評価値テーブル103の3番目と8番目の位置には、静止を示す1の値が書き込まれる。
パターン番号3T(すなわち、パターンが3で、いま入力されたフィールドがトップフィールドである)の場合の静止の位置は、入力順が4番目のフィールドと6番目のフィールドの間(すなわち、4番目のフィールド間)と、入力順が9番目のフィールドと11番目のフィールドの間(すなわち、9番目のフィールド間)である。
すなわち、12フィールドの構成がパターン番号3Tの場合、評価値メモリ102の4番目と9番目には、1または2番目の最小評価値が格納されているので、評価値テーブル103の4番目と9番目の位置には、静止を示す1の値が書き込まれる。
パターン番号3B(すなわち、パターンが3で、いま入力されたフィールドがボトムフィールドである)の場合の静止の位置は、入力順が5番目のフィールドと7番目のフィールドの間(すなわち、5番目のフィールド間)と、入力順が0番目のフィールドと2番目のフィールドの間(すなわち、0番目のフィールド間)である。
すなわち、12フィールドの構成がパターン番号3Bの場合、評価値メモリ102の5番目と0番目には、1または2番目の最小評価値が格納されているので、評価値テーブル103の5番目と0番目の位置には、静止を示す1の値が書き込まれる。
なお、パターン番号3Bの場合、ボトムフィールドが入力されて3個組フィールドが揃うため、パターン番号3Bの場合は、逆2−3プルダウンの開始条件の1つとされる。
パターン番号4T(すなわち、パターンが4で、いま入力されたフィールドがトップフィールドである)の場合の静止の位置は、入力順が6番目のフィールドと8番目のフィールドの間(すなわち、6番目のフィールド間)と、入力順が1番目のフィールドと3番目のフィールドの間(すなわち、1番目のフィールド間)である。
すなわち、12フィールドの構成がパターン番号4Tの場合、評価値メモリ102の6番目と1番目には、1または2番目の最小評価値が格納されているので、評価値テーブル103の6番目と1番目の位置には、静止を示す1の値が書き込まれる。
パターン番号4B(すなわち、パターンが4で、いま入力されたフィールドがボトムフィールドである)の場合の静止の位置は、入力順が7番目のフィールドと9番目のフィールドの間(すなわち、7番目のフィールド間)と、入力順が2番目のフィールドと4番目のフィールドの間(すなわち、4番目のフィールド間)である。
すなわち、12フィールドの構成がパターン番号4Bの場合、評価値メモリ102の7番目と4番目には、1または2番目の最小評価値が格納されているので、評価値テーブル103の7番目と4番目の位置には、静止を示す1の値が書き込まれる。
なお、パターン番号4Bの場合、ボトムフィールドが入力されて2個組フィールドが揃うため、パターン番号4Bの場合は、逆2−3プルダウンの開始条件の1つとされる。
パターン番号5T(すなわち、パターンが5で、いま入力されたフィールドがトップフィールドである)の場合の静止の位置は、入力順が8番目のフィールドと10番目のフィールドの間(すなわち、8番目のフィールド間)と、入力順が3番目のフィールドと5番目のフィールドの間(すなわち、3番目のフィールド間)である。
すなわち、12フィールドの構成がパターン番号5Tの場合、評価値メモリ102の8番目と3番目には、1または2番目の最小評価値が格納されているので、評価値テーブル103の8番目と3番目の位置には、静止を示す1の値が書き込まれる。
なお、これらの2−3プルダウンのパターンは、静止の位置が評価値メモリ102の何番目に格納されるかによって、図25に示されるLUT(ルックアップテーブル)122にまとめることが可能である。
図25のLUT122においては、左側に、いま現在のフィールド(すなわち、いま入力されたフィールド)がトップフィールドであることを表す0(T)と、ボトムフィールドであることを表す1(B)が示されている。また、上部には、左側から順に、図24の2−3プルダウンのパターン番号を意味する1乃至5の状態(state)が示されている。
すなわち、LUT122においては、今現在のフィールドが0(トップフィールド)である場合に、状態(2−3プルダウンのパターン)が1ならば、評価値テーブル106の0番目と5番目の値が静止を示す1であり、状態(2−3プルダウンのパターン)が2ならば、評価値テーブル106の2番目と7番目の値が静止を示す1であり、状態(2−3プルダウンのパターン)が3ならば、評価値テーブル106の4番目と9番目の値が静止を示す1であり、状態(2−3プルダウンのパターン)が4ならば、評価値テーブル106の6番目と1番目の値が静止を示す1であり、状態(2−3プルダウンのパターン)が5ならば、評価値テーブル106の8番目と3番目の値が静止を示す1であることが示されている。
また、今現在のフィールドが1(ボトムフィールド)である場合に、状態(2−3プルダウンのパターン)が1ならば、評価値テーブル106の1番目と6番目の値が静止を示す1であり、状態(2−3プルダウンのパターン)が2ならば、評価値テーブル106の3番目と8番目の値が静止を示す1であり、状態(2−3プルダウンのパターン)が3ならば、評価値テーブル106の5番目と0番目の値が静止を示す1であり、状態(2−3プルダウンのパターン)が4ならば、評価値テーブル106の7番目と2番目の値が静止を示す1であり、状態(2−3プルダウンのパターン)が5ならば、評価値テーブル106の9番目と4番目の値が静止を示す1であることが示されている。
したがって、フラグ設定部121は、このLUT122を参照し、いま現在のフィールドがトップフィールドである場合、評価値テーブル106に記憶される値のうち、0番目と5番目の値が1であるならば、状態(2−3プルダウンのパターン)が1であると判定し、状態フラグメモリ123の状態フラグ(sflag)の状態1にフラグを立て、評価値テーブル106に記憶される値のうち、2番目と7番目の値が1であるならば、状態(2−3プルダウンのパターン)が2であると判定し、状態フラグメモリ123の状態フラグ(sflag)の状態2にフラグを立て、評価値テーブル106に記憶される値のうち、4番目と9番目の値が1であるならば、状態(2−3プルダウンのパターン)が3であると判定し、状態フラグメモリ123の状態フラグ(sflag)の状態3にフラグを立てることができる。
また、評価値テーブル106に記憶される値のうち、6番目と1番目の値が1であるならば、状態(2−3プルダウンのパターン)が4であると判定し、状態フラグメモリ123の状態フラグ(sflag)の状態4にフラグを立て、評価値テーブル106に記憶される値のうち、8番目と3番目の値が1であるならば、状態(2−3プルダウンのパターン)が5であると判定し、状態フラグメモリ123の状態フラグ(sflag)の状態5にフラグを立てることができる。
さらに、フラグ設定部121は、このLUT122を参照し、いま現在のフィールドがボトムフィールドである場合、評価値テーブル106に記憶される値のうち、1番目と6番目の値が1であるならば、状態(2−3プルダウンのパターン)が1であると判定し、状態フラグメモリ123の状態フラグ(sflag)の状態1にフラグを立て、評価値テーブル106に記憶される値のうち、3番目と8番目の値が1であるならば、状態(2−3プルダウンのパターン)が2であると判定し、状態フラグメモリ123の状態フラグ(sflag)の状態2にフラグを立て、評価値テーブル106に記憶される値のうち、5番目と0番目の値が1であるならば、状態(2−3プルダウンのパターン)が3であると判定し、状態フラグメモリ123の状態フラグ(sflag)の状態3にフラグを立てることができる。
また、評価値テーブル106に記憶される値のうち、7番目と2番目の値が1であるならば、状態(2−3プルダウンのパターン)が4であると判定し、状態フラグメモリ123の状態フラグ(sflag)の状態4にフラグを立て、評価値テーブル106に記憶される値のうち、9番目と4番目の値が1であるならば、状態(2−3プルダウンのパターン)が5であると判定し、状態フラグメモリ123の状態フラグ(sflag)の状態5にフラグを立てることができる。
次に、図26および図27を参照して、状態フラグの設定方法をさらに具体的に説明する。
図26の例においては、いま、ボトムフィールドが入力された場合の12フィールドが示されている。12フィールドの10個のフィールド間には、番号が付されており、この番号は、降順に、フィールド間において差分評価値が算出された順番を表している。すなわち、番号の大きいものほど、時間的に過去に差分評価値が算出されている。さらに、黒丸の番号は、その評価値が閾値min2以下であることを示している。
また、評価値メモリ102には、差分評価値が算出された順(すなわち、番号の降順)に、各フィールド間の差分評価値が格納されており、評価値テーブル106には、評価値メモリ102の各差分評価値に対応する、0番目乃至9番目の値が書き込まれている。
図26の例の場合、評価値静動判定部105により、1と6が付されるフィールド間の差分評価値が閾値min2以下であると静動判定され、評価値テーブル106の、評価値メモリ102の1番目と6番目の評価値に対応する位置に1が書き込まれる。
すなわち、この場合、いまボトムフィールドが入力されており、評価値テーブル106の1番目と6番目に1が書き込まれているので、フラグ設定部121は、LUT122を参照して、状態1であると判定し、状態フラグ(sflag)の状態1にフラグを立てる。
図27の例においては、いま、トップフィールドが入力された場合の12フィールドが示されている。
図27の例の場合、評価値静動判定部105により、8と3が付されるフィールド間の差分評価値が閾値min2以下であると静動判定され、評価値テーブル106の、評価値メモリ102の8番目と3番目に対応する位置に1が書き込まれる。
すなわち、この場合、いまボトムフィールドが入力されており、評価値テーブル106の8番目と3番目に1が書き込まれているので、フラグ設定部121は、LUT122を参照して、状態5であると判定し、状態フラグ(sflag)の状態5にフラグを立てる。
なお、静動判定により、閾値min2以下であると判定され、評価値テーブルに1が書き込まれるのは、2箇所だけとは限らない。例えば、あまり動きのない場合には、閾値min2以下であると判定される差分評価値は、2個以上になることもあり、評価値テーブルに1が2個以上書き込まれることもある。
この場合、フラグ設定部121は、LUT122を参照し、状態フラグ(sflag)の当てはまる状態すべてに、フラグを立てる。
次に、図28を参照して、動きフィールド数算出部107による動きフィールド数の算出を説明する。
図28の例において、評価値メモリ102には、差分評価値が算出された順(すなわち、番号の降順)に、各フィールド間の差分評価値が格納されており、評価値メモリ102に記憶される4番目と9番目の差分評価値が、例えば、閾値min2よりも小さい場合が示されている。
動きフィールド数算出部107は、評価値メモリ102のうち、閾値min2より大きい差分評価値の数だけ、内蔵するカウンタをカウントする。図28の例の場合、0乃至3番目、5乃至8番目の差分評価値が閾値min2より大きいと判定されるので、カウンタには8がカウントされる。したがって、動きフィールド数算出部107は、カウンタが示す8を、動きフィールド数(Movefield)として、動きフィールド数メモリ108に記憶させる。
すなわち、動きフィールド数は、大きい数であるほど12フィールドが動きのある画像であることを示し、小さい数であるほど静止している画像であることを示す特徴量である。
次に、図29のフローチャートを参照して、評価値特徴量算出部32の評価値特徴量算出処理を説明する。なお、この評価値特徴量算出処理は、図15のステップS13の処理である。
図15のステップS12において、入力端子11から、1フィールドnが供給される。ステップS51において、差分評価値算出部101は、入力端子11からの60I信号のフィールドnと、フィールドメモリ31に蓄積されている、入力端子11からのフィールドnより時間的に2つ前のフィールドn-2を用いて、フィールドnおよびn-2間の差分評価値算出処理を実行する。この差分評価値算出処理の詳細は、図30のフローチャートを参照して後述する。
ステップS12の差分評価値算出処理により、フィールドnおよびn-2間の差分評価値が算出されると、差分評価値算出部101は、それを評価値メモリ102に格納する。
ここで、ステップS52以降の処理は、12フィールド(すなわち、10フィールド間)を対象に実行されるため、実際の処理開始時には、図15のステップS12および図29のS51の処理は、12番目のフィールドが入力され、評価値メモリ102に、差分評価値が10個格納されるまで繰り返し続けられる。
評価値メモリ102に差分評価値が10個格納されると、ステップS52において、評価値静動判定部105は、評価値メモリ102に格納された差分評価値のうち、2番目の最小値を求め、それに、所定の値を加えて、静動判定の閾値min2を算出し、算出した閾値min2を閾値メモリ104に記憶させる。
閾値メモリ104に静動判定の閾値min2が記憶されると、評価値静動判定部105は、ステップS53において、静動判定により評価値テーブル106を求める。すなわち、評価値静動判定部105は、評価値メモリ102に格納されている10フィールド間の差分評価値と閾値メモリ104に記憶されている閾値min2を比較し、10フィールド間の静動判定(一致不一致判定)を行う。
評価値静動判定部105は、差分評価値が閾値min2以下となるフィールド間を、静止していると判定し、評価値テーブル106に1を書き込み、差分評価値が閾値min2より大きいフィールド間を、動きがあると判定し、評価値テーブル106に0を書き込み、10フィールド間における静動の位置を示す特徴量としての評価値テーブル106を生成する。
ステップS54において、動きフィールド数算出部107は、評価値メモリ102に格納されている10フィールド間の差分評価値と閾値メモリ104に記憶されている閾値min2を用いて、動きフィールド数算出処理を実行する。この動きフィールド数算出処理の詳細は、図32のフローチャートを参照して後述する。
ステップS54の動きフィールド数算出処理により、12フィールドのうち、何フィールド動きがあるかを表す特徴量である動きフィールド数(Movefield)が算出され、動きフィールド数メモリ108に記憶される。これにより、評価値特徴量算出処理は、終了され、処理は、図15のステップS13に戻り、ステップS14に進む。
次に、図30のフローチャートを参照して、図29のステップS51の差分評価値算出処理を説明する。なお、図30においては、図20を参照して上述した差分評価値maxを算出する差分評価値算出部101−1の処理の例を説明する。
ステップS71において、差分評価値算出部101−1は、maxを初期値0に設定し、ステップS72において、Aに、フィールドnの次画素を代入し、Bに、フィールドn-2の次画素を代入する。
フィールドnおよびn-2の画素は、図18の領域Eの左上の画素からラスタスキャン順に選択され、AおよびBにそれぞれ代入される。
ステップS73において、差分評価値算出部101−1は、AとBの差分絶対値がmaxより大きいか否かを判定し、AとBの差分絶対値がmaxより大きいと判定した場合、ステップS74において、maxを、大きいと判定されたAとBの差分絶対値に置き換える。
ステップS73において、AとBの差分絶対値がmax以下であると判定された場合、処理は、ステップS74をスキップし、ステップS75に進む。
ステップS75において、差分評価値算出部101−1は、フィールドの領域Eの全画素の処理が終了したか否かを判定し、フィールドの領域Eの全画素の処理が終了したと判定した場合、ステップS76において、maxを、差分評価値max(n,n-2)として、評価値メモリ102に格納する。
ステップS75において、フィールドの領域Eの全画素の処理がまだ終了していないと判定された場合、処理は、ステップS72に戻り、それ以降の処理が繰り返される。
次に、図31のフローチャートを参照して、図29のステップS51の差分評価値算出処理を説明する。すなわち、図31の処理は、図30の他の例であり、図31においては、図21を参照して上述した差分評価値sumを算出する差分評価値算出部101−2の処理の例を説明する。
ステップS91において、差分評価値算出部101−2は、sumを初期値0に設定し、ステップS92において、Aに、フィールドnの次画素を代入し、Bに、フィールドn-2の次画素を代入する。
なお、この場合も、図30の例の場合と同様に、フィールドnおよびn-2の画素は、図18の領域Eの左上の画素からラスタスキャン順に選択され、AおよびBにそれぞれ代入される。
ステップS93において、差分評価値算出部101−1は、sumに、AとBの差分絶対値を加算し、ステップS94において、フィールドの領域Eの全画素の処理が終了したか否かを判定する。
差分評価値算出部101−1は、ステップS94において、フィールドの領域Eの全画素の処理が終了したと判定した場合、ステップS95において、sumを、差分評価値sum(n,n-2)として、評価値メモリ102に格納する。
ステップS94において、フィールドの領域Eの全画素の処理がまだ終了していないと判定された場合、処理は、ステップS92に戻り、それ以降の処理が繰り返される。
次に、図32のフローチャートを参照して、図29のステップS54の動きフィールド数算出処理を説明する。
図28を参照して上述したように、評価値メモリ102には、10個の差分評価値が格納されている。
動きフィールド数算出部107は、ステップS111において、Movefieldを初期値0に設定し、ステップS112において、Xに、評価値メモリ102に記憶されている差分評価値の、次の差分評価値を代入する。なお、評価値メモリ102の差分評価値は、0番目の差分評価値から昇順に代入されてもよいし、9番目の差分評価値から降順に代入されてもよい。
ステップS113において、動きフィールド数算出部107は、Xが閾値min2より大きいか否かを判定し、Xが閾値min2より大きいと判定した場合、ステップS114において、Movefieldをカウントする。
ステップS113において、Xが閾値min2以下であると判定された場合、処理は、ステップS114をスキップし、ステップS115に進む。
動きフィールド数算出部107は、ステップS115において、10差分評価値分の処理が終了したか否かを判定し、10差分評価値分の処理が終了したと判定した場合、ステップS116に進み、Movefieldを、動きフィールド数として、動きフィールド数メモリ108に記憶させる。
ステップS115において、10差分評価値分の処理がまだ終了していないと判定された場合、処理は、ステップS112に戻り、それ以降の処理が繰り返される。
以上のようにして、差分評価値が算出され、差分評価値が用いられて、2−3プルダウンの判定に用いられる閾値min2、評価値テーブル106、および動きフィールド数(Movefield)が算出される。
次に、図33のフローチャートを参照して、図15のステップS14における状態推定処理を説明する。
フラグ設定部121は、ステップS131において、評価値テーブル106およびLUT122を参照して、状態フラグ(sflag)を設定する。
すなわち、フラグ設定部121は、図25のLUT122が示す2−3プルダウンの状態(パターン)を参照し、図26または図27を参照して上述したように、評価値テーブル106の値が、LUT122が示す2−3プルダウンの状態に当てはまるか否かを判定し、状態フラグ(sflag)のすべての状態のうち、2−3プルダウンの状態に当てはまると判定したすべての状態に対してフラグを立てて、状態フラグ(sflag)を設定する。そして、その状態フラグ(sflag)を状態フラグメモリ123に記憶させる。
なお、評価値テーブル106の値が、LUT122が示す2−3プルダウンのどの状態にも当てはまらなかった場合、状態フラグのどの状態にもフラグは立たない。
状態推定処理部124は、ステップS132において、いまの入力フィールドがトップフィールドであるか否かを判定し、トップフィールドであると判定した場合、ステップS133において、変数nextを、変数state+1とする。また、ステップS132において、いまの入力フィールドがボトムフィールドであると判定した場合、ステップS134において、変数nextを、変数stateとする。
ここで、変数nextは、図11を参照して上述したパターンの遷移順における次に遷移すべき状態を表しており、変数stateは、1つ前の処理において推定された現状態(すなわち、前の現状態)を表している。
すなわち、入力フィールドがトップフィールドである場合、図11の2−3プルダウンのパターンの状態遷移に示されるように、前の状態(例えば、1パターン)から次の状態(すなわち、2パターン)に遷移している。これに対して、入力フィールドがボトムフィールドである場合、前の状態(例えば、1パターン)と同じ状態(すなわち、1パターン)に遷移している。
したがって、入力フィールドがトップフィールドである場合、次に遷移すべき状態nextは、前の現状態state+1とされ、入力フィールドがボトムフィールドである場合、次に遷移すべき状態nextは、前の現状態stateと同じ状態とされる。
なお、ステップS133において、前の現状態stateが5の場合、遷移すべき状態nextは、1となる。
状態推定処理部124は、ステップS135において、モード設定部126により設定される信号処理装置1の処理モードがモード60であるか否かを判定する。モード60は、逆2−3pd変換部22が逆2−3pd変換を行う処理モードであり、モード60ではないモード(すなわち、モード24)は、逆2−3pd変換部22が逆2−3pd変換を行わない処理モードである。
状態推定処理部124は、ステップS135において、モード60であると判定した場合、ステップS136において、モード60用処理を実行する。このモード60用処理の詳細は、図34のフローチャートを参照して後述する。
ステップS136のモード60用処理により、現在状態が次に遷移すべき状態であるか否かが判定され、2−3プルダウンの正しいシーケンスが連続するか否かが判定される。現在状態が次に遷移すべき状態であり、2−3プルダウンの正しいシーケンスが連続すると判定された場合、信号処理装置1の処理モードは、モード24に切り替えられ、モード24を示すモード信号が、逆2−3pd変換部22に供給される。
これにより、上述した図15のステップS15においては、逆2−3pd変換部22により逆2−3プルダウン変換処理が開始される。
また、現在状態が次に遷移すべき状態ではないと判定された場合、または、2−3プルダウンの正しいシーケンスが連続しないと判定された場合、信号処理装置1の処理モードは、モード60のまま、状態推定処理が終了し、処理は、図15のステップS14に戻り、ステップS15に進む。
一方、ステップS135において、信号処理装置1の処理モードがモード24であると判定された場合、状態推定処理部124は、ステップS137において、モード24用処理を実行する。このモード60用処理の詳細は、図36のフローチャートを参照して後述する。
ステップS137のモード24用処理により、現在状態が次に遷移すべき状態であるかが判定され、現在状態が次に遷移すべき状態ではないと判定された場合、すなわち、2−3プルダウンの正しいシーケンスが連続しなくなってしまった場合、信号処理装置1の処理モードは、モード60に切り替えられ、モード60を示すモード信号が、逆2−3pd変換部22に供給される。
これにより、上述した図15のステップS15においては、逆2−3pd変換部22により逆2−3プルダウン変換処理が停止される。
一方、現在状態が次に遷移すべき状態である場合には、信号処理装置1の処理モードは、モード24のまま、状態推定処理が終了し、処理は、図15のステップS14に戻り、ステップS15に進む。
次に、図34のフローチャートを参照して、図33のステップS136のモード60用処理を説明する。なお、図34の例においては、処理モードがモード60の場合、すなわち、逆2−3pd変換部22により逆2−3プルダウン変換処理が実行されていない場合の処理である。
状態推定処理部124は、ステップS151において、前の現状態stateが0であるか否かを判定する。前の現状態stateが0ではない(すなわち、1乃至5のいずれかである)場合、前の状態からの2−3プルダウンの遷移が連続することがあり得るので、ステップS152において、sflag[next]であり、かつ、動きフィールド数(Movefield)≧閾値th_mv60を満たす(すなわち、動きフィールド数(Movefield)が閾値th_mv60以上である)かを判定する。
すなわち、sflag[next]は、状態フラグメモリ123の状態フラグ(sflag)において、次に遷移すべき状態nextにフラグが立っている状態であることを表している。また、動きフィールド数(Movefield)と比較される閾値th_mv60は、動き数が十分であるかを判定するための閾値であり、0乃至8のいずれかの値であり、例えば、閾値th_mv60に8を設定することにより、動きのある60I信号の入力に限って、逆2−3プルダウン処理を開始させる可能性を持たせ、静止している60I信号の入力時には、逆2−3プルダウンの開始を抑制させることができる。
したがって、状態フラグメモリ123の状態フラグ(sflag)において、次に遷移すべき状態nextにフラグが立っている状態であり、動きフィールド数(Movefield)が閾値th_mv60以上であると判定された場合、状態推定処理部124は、ステップS153において、次に遷移すべき状態nextを、いまの現状態stateに設定して、状態遷移連続成功数(peace)をカウントする。
連続成功回数判定部125は、ステップS154において、状態遷移連続成功数(peace)が一定回数(いまの場合、閾値THp)以上であるか否かを判定する。閾値THpは、図12を参照して上述したように、6乃至30のうちのいずれかの値とされるが、10前後が好ましい。
ステップS154において、状態遷移連続成功数(peace)が閾値THpより少ないと判定された場合、処理モードはモード60のまま、モード60用処理が終了され、図33のステップS136に戻る。
また、ステップS154において、状態遷移連続成功数(peace)が閾値THp以上であると判定された場合、ステップS155において、モード設定部126は、連続成功数判定部125の制御のもと、信号処理装置1の処理モードをモード24に設定し、モード24を示すモード信号を、逆2−3pd変換部22に供給する。そして、モード60用処理は終了され、処理は、図33のステップS136に戻る。
一方、ステップS151において、前の現状態stateが0であると判定された場合、状態推定処理部124は、ステップS156において、緊急状態emergency_stateを、いまの現状態stateに設定して、処理モードはモード60のまま、モード60用処理は終了され、処理は、図33のステップS136に戻る。
前の現状態stateが0である場合には、いまの現状態の推定が行えない。そこで、状態フラグ(sflag)の立っている位置で緊急状態emergency_stateを求めておき、前の現状態stateが0である場合には、求めた緊急状態emergency_stateを、いまの現状態とする。
例えば、図35に示されるように、状態フラグ(sflag)を、状態1からスキャンして、最後のフラグが立っている位置を、緊急状態emergency_stateとして求める。
最上段の状態フラグ(sflag)においては、状態1にしかフラグが立っていない。したがって、この場合、緊急状態emergency_stateは、状態1となる(emergency_state=1)。
2段目の状態フラグ(sflag)においては、状態1と状態3にフラグが立っている。したがって、この場合、緊急状態emergency_stateは、最後のフラグの位置である状態3となる(emergency_state=3)。
3段目の状態フラグ(sflag)においては、フラグが全く立っていない。したがって、この場合、緊急状態emergency_stateは、状態0となる(emergency_state=0)。
このように、いまの現状態を明確に判定できない場合の仮の状態として、緊急状態emergency_stateを求めて、それを用いることにより、次の処理のステップS151においては、前の現状態stateが0と判定されない。これにより、逆2−3プルダウンを開始するタイミングを若干早めることができる。
なお、もちろん、ステップS156においては、緊急状態を用いず、状態を一意に決めるようにすることもできる。
図34に戻って、ステップS152において、次に遷移すべき状態nextにフラグが立っていないと判定された場合、または、動きフィールド数(Movefield)が閾値th_mv60より少ないと判定された場合、状態推定処理部124は、ステップS157において、緊急状態emergency_stateを、いまの現状態stateとして設定し、さらに、状態遷移連続成功数(peace)をリセット(0)にし、処理モードはモード60のまま、モード60用処理は終了され、処理は、図33のステップS136に戻る。
すなわち、次に遷移すべき状態nextにフラグが立っていないと判定された場合には、いまの現状態の推定がうまくできず、動きフィールド数が閾値th_mv60より少ないと判定された場合には、静止部であり、おそらく、状態フラグ(sflag)に複数のフラグが立っており、いまの現状態を明確に判定できないので、緊急状態emergency_stateが、いまの現状態stateとされる。
以上のように、処理モードがモード60の場合には、現状態stateを、次に遷移すべき状態nextとうまく推定することができ、状態遷移連続成功数(peace)が一定回数以上であると判定されたときのみ、処理モード24に切り替えられる。
次に、図36のフローチャートを参照して、図33のステップS137のモード24用処理を説明する。なお、図36の例においては、処理モードがモード24の場合、すなわち、逆2−3pd変換部22により逆2−3プルダウン変換処理が実行されている場合の処理である。
ステップS171において、状態推定処理部124は、sflag[next]であるか否かを判定する。すなわち、ステップS171において、状態フラグメモリ123の状態フラグ(sflag)において、次に遷移すべき状態nextにフラグが立っている状態であると判定された場合、状態推定処理部124は、ステップS172において、動きフィールド数(Movefield)が閾値th_mv24以上であるか、または、閾値min2が閾値th_commonより小さいか否かを判定する。
ここで、動きフィールド数(Movefield)と比較される閾値th_mv24は、閾値th_mv60と同様に、動き数が十分であるかを判定するための閾値であり、0乃至8のいずれかの値であり、閾値th_mv60と同じ値であってもよい。また、閾値th_commonは、閾値min2が常識的な範囲内かを判定するための閾値であり、0乃至100のうちの値に設定可能であるが、60I信号のオーサリングソース対策のため、40乃至60のいずれかの値に設定することが好ましい。
また、静止部に対応するため、処理モードがモード24の場合には、モード60のステップS152の場合と異なり、動き数が足りなくても、閾値min2が閾値th_common以下であれば、モード24のまま、2−3プルダウン処理が実行される。
したがって、ステップS172において、動きフィールド数(Movefield)が閾値th_mv24以上であると判定された場合、または、閾値min2が閾値th_commonより小さいと判定された場合、ステップS173において、状態推定処理部124は、次に遷移すべき状態nextを、いまの現状態stateとして設定する。すなわち、この場合、処理モードは、モード24のまま、モード24用処理は終了され、処理は、図33のステップS137に戻る。
一方、ステップS171において、状態フラグメモリ123の状態フラグ(sflag)において、次に遷移すべき状態nextにフラグが立っていないと判定された場合、2−3プルダウンの遷移が連続しないので、例外フィールドの発生(不正入力)であるとして、処理は、ステップS174に進む。
また、ステップS172において、動きフィールド数(Movefield)が閾値th_mv24より小さく、かつ、閾値min2が閾値th_commonより大きいと判定された場合、すなわち、動きフィールドも足りず、閾値minが常識の範囲を超えているため、処理は、ステップS174に進む。
状態推定処理部124は、ステップS174において、モード設定部126を制御し、信号処理装置1の処理モードをモード60に設定させ、モード60を示すモード信号を、逆2−3pd変換部22に供給させるとともに、緊急状態emergency_stateを、いまの現状態stateとして設定し、さらに、状態遷移連続成功数(peace)をリセット(0に)し、モード24用の処理は終了され、処理は、図33のステップS137に戻る。
以上のように、モード24用処理においては、少しでも正しい2−3プルダウンのシーケンスから外れてしまう可能性がある場合には、すぐに、モード60に設定させて、逆2−3プルダウンを中止させる。これにより、逆2−3プルダウンは、確実に逆2−3プルダウンできるときのみにしか処理されないので、逆2−3プルダウンにより生成された画像の精度が向上する。
なお、上記説明においては、差分評価値として、フィールドnとn-2間の差分絶対値の最大値や、フィールドnとn-2間の差分絶対値の和、フィールドnとn-2間の差分絶対値の平均値を用いる場合を説明したが、上述したように、これらの複数の差分評価値を用いて、2−3プルダウンの判定を行うこともできる。
図37は、2種類の差分評価値を用いて統合的に2−3プルダウン判定を行う場合の評価値特徴量算出部32および状態推定部33の構成例を示すブロック図である。
図37の例において、評価値特徴量算出部32は、フィールドnとn-2間の差分絶対値の最大値を、差分評価値maxとして用いる評価値特徴量算出部32−1と、フィールドnとn-2間の差分絶対値の和を、差分評価値sumとして用いる評価値特徴量算出部32−2により構成されている。
評価値特徴量算出部32−1は、フィールドnとn-2間の差分絶対値の最大値を、差分評価値maxとして評価値メモリ102−1に格納させる差分評価値算出部101−1(図20)、差分評価値maxを格納する評価値メモリ102−1、閾値算出部103−1、閾値メモリ104−1、評価値静動判定部105−1、評価値テーブル106−1、動きフィールド数算出部107−1、および動きフィールド数メモリ108−1により構成され、枝番(−1)が付されているが、各部は、図16の評価値特徴量算出部32の各部と基本的に同様の構成である。
評価値特徴量算出部32−2は、フィールドnとn-2間の差分絶対値の和を、差分評価値sumとして評価値メモリ102−2に格納させる差分評価値算出部101−2(図21)、差分評価値sumを格納する評価値メモリ102−2、閾値算出部103−2、閾値メモリ104−2、評価値静動判定部105−2、評価値テーブル106−2、動きフィールド数算出部107−2、および動きフィールド数メモリ108−2により構成され、差分評価値算出部101−2が異なるだけであり、その他の各部は、枝番(−2)が付されているが、図16の評価値特徴量算出部32の各部と基本的に同様の構成である。
なお、差分評価値算出部101−1と差分評価値算出部101−2は、差分評価値の算出方法が異なるため、評価値メモリ102−1に格納される10個のフィールド間の差分評価値maxと、評価値メモリ102−2に格納される10個のフィールド間の差分評価値sumは、異なる値をとる。
したがって、それらを基に算出される閾値、動きフィールド数、評価値テーブルも異なるので、説明の便宜上、閾値算出部103−1が評価値メモリ102−1(差分評価値max)を参照して算出して、閾値メモリ104−1に記憶させる静動判定の閾値を、閾値min2-1と称し、閾値算出部103−2が評価値メモリ102−2(差分評価値sum)を参照して算出して、閾値メモリ104−2に記憶させる静動判定の閾値を、閾値min2-2と称する。
また、動きフィールド数算出部107−1が評価値メモリ102−1(差分評価値max)と閾値min2-1を参照して算出する動きフィールド数を、動きフィールド数(Movefield1)と称し、動きフィールド数算出部107−2が評価値メモリ102−2(差分評価値sum)と閾値min2-2を参照して算出する動きフィールド数を、動きフィールド数(Movefield2)と称する。
図37の状態推定部33は、1組のフラグ設定部121、LUT122、並びに、状態フラグメモリ123が、2組のフラグ設定部121−1および121−2、LUT122−1および122−2、並びに、状態フラグメモリ123−1および123−2に入れ替わったことと、状態推定処理部124が、状態推定処理部151に入れ替わったことが図16の状態推定部33と異なるだけであり、連続成功数判定部125およびモード設定部126は、共通している。
なお、フラグ設定部121−1および121−2、LUT122−1および122−2、並びに、状態フラグメモリ123−1および123−2も、枝番が付されているが、図16のフラグ設定部121、LUT122、並びに、状態フラグメモリ123と基本的に同じ構成である。また、LUT122−1および122−2は、1つのLUT122を参照するように構成することもできる。
ただし、説明の便宜上、評価値メモリ102−1(差分評価値max)を基に生成された評価値テーブル106−1を参照して設定された状態フラグメモリ123−1に記憶される状態フラグを、状態フラグ(sflag1)と称し、評価値メモリ102−2(差分評価値sum)を基に生成された評価値テーブル106−2を参照して設定された状態フラグメモリ123−2に記憶される状態フラグを、状態フラグ(sflag2)と称する。
図37の状態推定処理部151は、入力フィールド(Top/Bottom)、前の2−3プルダウンの状態(パターン)、モード設定部126が設定する処理モード、状態フラグメモリ123−1の状態フラグ(sflag1)の各状態、状態フラグメモリ123−2の状態フラグ(sflag2)の各状態、動きフィールド数メモリ108−1の動きフィールド数(Movefield1)、動きフィールド数メモリ108−2の動きフィールド数(Movefield2)、閾値メモリ104−1の閾値min2-1、並びに、閾値メモリ104−2の閾値min2-2などを参照して、入力される12フィールドの2−3プルダウンのパターン(状態)を推定する。
すなわち、状態推定処理部151は、2種類の差分評価値(差分評価値max,差分評価値sum)、2種類の差分評価値により求められる各種の特徴量を用いて、統合的に、入力される12フィールドの2−3プルダウンのパターン(状態)を推定する。
状態推定処理部151は、入力される12フィールドの2−3プルダウンのパターン(状態)が推定された場合、状態遷移の連続成功数(peace)を1つカウントする。また、状態推定処理部124は、2−3プルダウンのパターン(状態)の推定に失敗した場合、状態遷移の連続成功数(peace)を0にリセットし、状態フラグメモリ123−1の各状態フラグ(sflag1)および状態フラグメモリ123−2の各状態フラグ(sflag2)の少なくとも一方を参照して、緊急用状態(emergency_state)を設定する。なお、この場合、処理モードがモード24であれば、さらに、モード設定部126が設定する処理モードをモード60に切り替えさせる。
なお、図37の評価値特徴量算出部32が行う評価値特徴量算出処理は、図30の差分評価値算出処理が行われる図29を参照して説明した評価値特徴量算出処理と、図32の差分評価値算出処理が行われる図29を参照して説明した評価値特徴量算出処理とが並行で行われるだけであり、基本的には、図29を参照して説明した評価値特徴量算出処理と同様の処理が行われるので、その説明は繰り返しになるので省略する。
また、図37の状態推定部33が行う状態推定処理は、ステップS136のモード60用処理とステップS137のモード24用処理が異なるが、その他の処理は、図33を参照して上述した状態推定処理と同様の処理を行うので、その説明は繰り返しになるので省略する。
したがって、図37の状態推定部33が行う状態推定処理において、図33と異なる処理のうち、ステップS137のモード24用処理を、図38のフローチャートを参照して説明する。すなわち、図38は、図36のモード24用処理の他の例である。
ステップS191において、状態推定処理部151は、まず、差分評価値maxに基づく、状態フラグメモリ123−1のsflag1[next]であるか否かを判定する。
ステップS191において、状態フラグメモリ123−1の状態フラグ(sflag1)において、次に遷移すべき状態nextにフラグが立っている状態であると判定された場合、状態推定処理部151は、ステップS192において、差分評価値maxに基づく、動きフィールド数(Movefield1)が閾値th_mv24以上であるか、または、差分評価値maxに基づく、閾値min2-1が閾値th_commonより小さいか否かを判定する。
ステップS192において、差分評価値maxに基づく、動きフィールド数(Movefield1)が閾値th_mv24以上であると判定された場合、または、差分評価値maxに基づく、閾値min2-1が閾値th_commonより小さいと判定された場合、処理は、ステップS195に進む。
一方、ステップS191において、差分評価値maxに基づく、状態フラグメモリ123−1の状態フラグ(sflag1)において、次に遷移すべき状態nextにフラグが立っていないと判定された場合、処理は、ステップS193に進む。
また、ステップS192において、差分評価値maxに基づく、動きフィールド数(Movefield1)が閾値th_mv24より小さく、かつ、差分評価値maxに基づく、閾値min2-1が閾値th_commonより大きいと判定された場合、処理は、ステップS193に進む。
ステップS193において、状態推定処理部151は、次に、差分評価値sumに基づく、状態フラグメモリ123−2のsflag2[next]であるか否かを判定する。
ステップS191において、状態フラグメモリ123−2の状態フラグ(sflag2)において、次に遷移すべき状態nextにフラグが立っている状態であると判定された場合、状態推定処理部151は、ステップS194において、差分評価値sumに基づく、動きフィールド数(Movefield2)が閾値th_mv24以上であるか、または、差分評価値sumに基づく、閾値min2-2が閾値th_commonより小さいか否かを判定する。
ステップS194において、差分評価値sumに基づく、動きフィールド数(Movefield2)が閾値th_mv24以上であると判定された場合、または、差分評価値sumに基づく、閾値min2-2が閾値th_commonより小さいと判定された場合、処理は、ステップS195に進む。
ステップS195において、状態推定処理部151は、次に遷移すべき状態nextを、いまの現状態stateとして設定する。すなわち、この場合、処理モードは、モード24のまま、モード24用処理は終了され、処理は、図33のステップS137に戻る。
一方、ステップS193において、差分評価値sumに基づく、状態フラグメモリ123−2の状態フラグ(sflag2)において、次に遷移すべき状態nextにフラグが立っていないと判定された場合、処理は、ステップS196に進む。
また、ステップS194において、差分評価値sumに基づく、動きフィールド数(Movefield2)が閾値th_mv24より小さく、かつ、差分評価値sumに基づく、閾値min2-2が閾値th_commonより大きいと判定された場合、処理は、ステップS196に進む。
状態推定処理部151は、ステップS196において、モード設定部126を制御し、信号処理装置1の処理モードをモード60に設定させ、モード60を示すモード信号を、逆2−3pd変換部22に供給させるとともに、緊急状態emergency_stateを、いまの現状態stateとして設定し、さらに、状態遷移連続成功数(peace)をリセット(0に)し、モード24用の処理は終了され、処理は、図33のステップS137に戻る。
なお、この場合、緊急状態は、状態フラグメモリ123−1の状態フラグ(sflag1)だけを基に設定されてもよいし、状態フラグメモリ123−2の状態フラグ(sflag2)だけを基に設定されてもよいし、状態フラグメモリ123−1の状態フラグ(sflag1)および状態フラグメモリ123−2の状態フラグ(sflag2)の両方のフラグを考慮して、設定されてもよい。
以上のように、差分評価値maxと差分評価値sumの複数の差分評価値を用いて統合的に判定することも可能である。なお、図38の例においては、差分評価値maxに基づく判定結果を優先し、差分評価値maxおよび差分評価値sum双方の判定結果において、状態遷移が成功しなかった場合にのみ、逆2−3プルダウンを停止するようにしたが、差分評価値maxおよび差分評価値sum双方の判定結果において、状態遷移が成功しなかった場合に、逆2−3プルダウンを停止するようにすることもできる。
また、図示および説明は省略するが、図33のステップS136におけるモード60用処理も、図38の例のモード24用処理のように、差分評価値maxと差分評価値sumの複数の差分評価値を用いて統合的に判定することができる。
以上のように、12フィールドのフィールド間の差分評価値に応じて求められた静動判定の閾値で、12フィールドのフィールド間の静動を判定し、静止の位置を求めて、2−3プルダウンのパターンを判定するようにしたので、60I信号の素性がわからなくても、2−3プルダウンのパターンの判定精度を向上させることができる。
また、2−3プルダウンのパターンの状態遷移が一定回数以上成功しないと、逆2−3プルダウン処理を開始しないようにしたので、2−3プルダウンの判定が安定してから、逆2−3プルダウン処理を行うことができ、生成される画像の品質を向上させることができる。
さらに、逆2−3プルダウンの処理中に、2−3プルダウンのパターンの判定がうまくいかなかった場合、すぐに、逆2−3プルダウン処理を停止するようにしたので、生成される画像の品質を向上させることができる。
図39は、本発明を適用した信号処理装置の他の構成例を表している。この信号処理装置201は、60I信号を入力端子11から入力し、2−3プルダウン変換処理が行われているか否かを判定し、その判定結果に応じて、出力端子12に出力する信号を切り替え、逆2−3プルダウン変換処理を行った結果の24P信号をフレームレート変換した結果の60P信号(以下、本線系の信号とも称する)か、あるいは、IP(インタレース、プログレッシブ)変換を行った結果の60P信号(以下、バイパス系の信号とも称する)のどちらかを、出力端子12に出力する処理を行う。
なお、図39の信号処理装置201は、入力端子11、出力端子12、2−3pd判定部21、逆2−3pd変換部22を備える点は、図6の信号処理装置1と共通しているが、24P(プログレッシブ)信号生成部211、フレームレート変換部212、遅延部213、IP(インタレース、プログレッシブ)変換部214、切り替えフラグ生成部215、および信号切替部216が追加された点が、図6の信号処理装置1と異なる。
入力端子11から入力される60I信号は、2−3pd判定部21のフィールドメモリ31および評価値特徴量算出部32に供給されるとともに、遅延部213に供給され、フィールドメモリ31を介して、逆2−3pd変換部22に供給される。
2−3pd判定部21は、図6と同様の構成を有する、フィールドメモリ31、評価値特徴量算出部32、および状態推定部33からなる。
状態推定部33は、対象とする10フィールド間における静止の位置が、2−3プルダウンのいずれかのパターンの静止の位置に当てはまると判定した場合、その当てはまると判定された2−3プルダウンのパターンが、所定の状態遷移を一定回数以上繰り返しているか否かを判定し、2−3プルダウンのパターンが、所定の状態遷移を一定回数以上繰り返していると判定した場合、信号処理装置201の処理モードをモード24に設定し、モード24を示すモード信号を、逆2−3pd変換部22および切替フラグ生成部215に供給する。
一方、状態推定部33は、対象とする10フィールド間における静止の位置が、2−3プルダウンのどのパターンの静止の位置に当てはまらないと判定した場合、あるいは、所定の状態遷移を一定回数以上繰り返していないと判定した場合、信号処理装置201の処理モードをモード60に設定し、モード60を示すモード信号を、逆2−3pd変換部22および切替フラグ生成部215に供給する。
逆2−3pd変換部22は、状態推定部33からモード24を示すモード信号が供給された場合、逆2−3プルダウン変換処理を行い、24P信号を、24P信号生成部211に出力する。また、逆2−3pd変換部22は、状態推定部33からモード60を示すモード信号が供給された場合、逆2−3プルダウン変換処理の実行を停止(禁止)する。
24P信号生成部211は、逆2−3pd変換部22からの24P信号をそのままフレームレート変換部212に出力する。なお、24P信号生成部211は、逆2−3pd変換部22による処理終了のタイミング(すなわち、最後の24P信号の入力の後)に、必要に応じて、24P信号の1フレーム分を、ダミー信号として、フレームレート変換部212に出力する。
これにより、IP変換部214からの60P信号(バイパス系の信号)から、フレームレート変換部212からの60P信号(本線系の信号)への信号切替時に、フレームの位相がずれてしまうことが抑制される。
フレームレート変換部212は、24信号生成部211から24P信号が入力された場合、24フレーム毎秒の24P信号を、60フレーム毎秒の信号に、フレームレート変換し、変換された60P信号を、信号切替部216に出力する。
遅延部213は、入力端子11から供給されたフィールドを、逆2−3pd変換部22、24P信号生成部211、およびフレームレート変換部212による(本線系の)処理と、IP変換部214による(バイパス系の)処理との遅延を調整して、IP変換部214に出力する。
IP変換部214は、遅延部213から入力される60I信号をIP変換し、変換された60P信号を、信号切替部216に出力する。
切替フラグ生成部215は、状態推定部33からモード24を示すモード信号が供給された場合、あるいは、状態推定部33からモード60を示すモード信号が供給された場合、そのモード信号に応じて、切替フラグを生成し、生成した切替フラグを、信号切替部216に供給する。なお、実際には、モード信号は、本線系の処理とバイパス系の処理との処理遅延を考慮したうえで、遅延させて用いられる。
信号切替部216は、切替フラグ生成部215から供給される切替フラグに応じて、フレームレート変換部212からの(本線系の)60P信号、または、IP変換部214からの(バイパス系の)60P信号を切り替えて、出力端子12に出力する。
次に、図40乃至図46を参照して、信号処理装置201の信号切替について具体的に説明する。なお、以下、説明の便宜上、信号処理装置201の各部の処理遅延がない場合を例として説明するが、処理遅延がある場合も、基本的に同様の処理を行うことができる。
図40は、信号処理装置201に入力される60I信号の例を示す図である。図40の例においては、矢印tは、時間の経過を表し、丸は、入力される60I信号(入力(60I))のフィールド(上:トップフィールド、下:ボトムフィールド)を表し、丸の上の上下に並ぶ四角は、60I信号が2−3プルダウン処理される前の24P信号(2-3pd前(24P))のフレームを表し、四角と丸上の点線は、そのフレームとフィールドの位相が揃っていることを示している。
また、1フレームから生成されるフィールドが2個の場合の各2個組フィールドと、1フレームから生成されるフィールドが3個の場合の各3個組フィールドとを区別するため、3個組フィールド(丸)およびそれを生成するフレーム(四角)には粗いハッチが付されている。さらに、左から20番目以降の細かいハッチが付された丸は、例外フィールド(すなわち、2−3プルダウンされていないフィールド)を表している。
すなわち、左から時間の経過順に説明すると、左から1番目のフレームが2−3プルダウンされて、60I信号の3個組フィールドが生成されている。このとき、60I信号の3個組の2番目のボトムフィールドは、24P信号のフレームと位相が揃うように生成されている。左から2番目のフレームが2−3プルダウンされて、60I信号の2個組フィールドが生成されている。このとき、60I信号の2個組フィールドはどちらも、24P信号のフレームと位相が揃うように生成されていない。
左から3番目のフレームが2−3プルダウンされて、60I信号の3個組フィールドが生成されている。このとき、60I信号の3個組の2番目のトップフィールドは、24P信号のフレームと位相が揃うように生成されている。左から4番目のフレームが2−3プルダウンされて、60I信号の2個組フィールドが生成されている。このとき、60I信号の2個組フィールドはどちらも、24P信号のフレームと位相が揃うように生成されていない。
左から5番目のフレームが2−3プルダウンされて、60I信号の3個組フィールドが生成されている。このとき、60I信号の3個組の2番目のボトムフィールドは、24P信号のフレームと位相が揃うように生成されている。左から6番目のフレームが2−3プルダウンされて、60I信号の2個組フィールドが生成されている。このとき、60I信号の2個組フィールドはどちらも、24P信号のフレームと位相が揃うように生成されていない。
すなわち、ここまでの60I信号は、3個組フィールドが24P信号のフレームと位相が揃うように2−3プルダウンされており、ここまでの60I信号においては、2−3プルダウンが検出される。
その後、60I信号においては、60I信号の3個組フィールドのうちの2個目のフィールドの後に挿入される、例えば、DVD素材などの例外フィールドが入力されている。
したがって、図40の60I信号は、左から19番目のフィールドまでは、逆2−3プルダウン処理ができるが、左から20番目以降の例外フィールドからは、2−3プルダウンが検出されず、逆2−3プルダウン処理ができない。
ここで、24P信号から60P信号に変換するフレームレート変換における24P信号と、60P信号の位相関係を、図41に示されるように規定する。
図41の例においては、図40の60I信号(入力(60I))のうち、2−3プルダウンが検出可能なフィールド(例外フィールド以外)が2−3プルダウン変換されて生成された24P信号(逆2-3/24P)のフレームと、24P信号をフレームレート変換(24/60P変換)した結果の60P信号(24/60P)のフレームが、それぞれ、上下に並ぶ四角で表されている。なお、以下、フレームレート変換を、適宜24/60P変換とも称する。
逆2−3プルダウン後の24P信号のうち、mainの文字とハッチが付された四角は、フレームレート変換後の60P信号と位相が一致するフレーム(以下、メインフレームとも称する)を表し、subの文字が付された四角は、24/60P変換後の60P信号と位相が一致しないフレーム(以下、サブフレームとも称する)を表している。
また、24/60P変換後の60P信号のうち、ハッチが付された四角は、逆2−3プルダウン後の24P信号と位相が一致するフレームを表し、ハッチが付されていない四角は、逆2−3プルダウン後の24P信号と位相が一致しないフレームを表している。
さらに、図中右側の点線の四角は、図40を参照して説明した例外フィールドが発生し、逆2−3プルダウンを行うことができず(すなわち、24P信号が生成されず)、その間、24/60P変換を行うことができないため、60P信号のフレームも生成されないことを表している。
ここで、図42の例においては、本線系の信号である、図41の24/60P変換後の60P信号の下に、さらに、バイパス系の信号である、IP変換後の60P信号(60I/60P)のフレームが上下に並ぶ丸で示されている。
また、左から4番目の60P信号のフレームに示される点線は、2−3プルダウン前の24P信号のフレーム、入力信号の60I信号のフィールド、逆2−3プルダウン後の24P信号のメインフレーム、および24/60P変換後の60P信号のフレームと、IP変換後の60P信号のフレームの位相が揃っている位置であることを示している。
図42の例の場合、60P信号においては、入力される60I信号の2−3プルダウンが検出可能なフィールドを示す丸と同じ丸で示されるフィールドを基に、もう1つのフィールドが生成されて、上下2つのフィールドからなるフレームが生成されている。また、入力される60I信号の例外フィールドの場合も、例外フィールドを基に、もう1つのフィールドが生成されて、上下2つのフィールドからなるフレームが生成されている。
すなわち、IP変換においては、フィールドが例外フィールドであっても、60I信号が入力されれば、60P信号が出力される。そこで、上述したように、24/60P変換後の60P信号(本線系の信号)が得られない場合は、図43に示されるように、バイパス系の信号であるIP変換後の60P信号を用いるようにする。
図43の例においては、本線系の信号である、24/60P変換後の60P信号と、バイパス系の信号である、IP変換後の60P信号(60I/60P)の間に、逆2−3プルダウンが行えるか否かに応じて、本線またはバイパス系の信号を示す切替フラグが示されており、さらに、IP変換後の60P信号(60I/60P)の下に、信号切替部216から出力端子12に出力される60P信号が示されている。
すなわち、2−3プルダウン検出が可能な60I信号が入力され、逆2−3プルダウンにより24P信号が生成される間は、信号切替部216が生成する本線系の信号を示す切替フラグにより、信号切替部216は、本線系の信号である24/60P変換後の60P信号を出力端子12に出力する。逆に、2−3プルダウンが検出されない例外フィールドである60I信号が入力され、逆2−3プルダウンができず24P信号が生成されない間は、信号切替部216が生成するバイパス系の信号を示す切替フラグにより、信号切替部216は、バイパス系の信号であるIP変換後の60P信号を出力端子12に出力する。
また、上述したように、逆2−3プルダウン変換では、2−3プルダウンの3個組フィールドの場合に、mainと付された位相の一致するメインフレームを出力し、2個組フィールドの場合に、subと付された位相の一致しないサブフレームを出力している。
なお、これは、2−3プルダウン前の24P信号が、左から1番目のフレーム上の点線に示されるように、左から1番目のフレームに位相があるという考えに基づくものであり、このように、2,3個組で出力する24P信号のうち、どちらかの24P信号(いまの場合、3個組で出力する24P信号)に位相を固定した方が、2−3プルダウンできるできない場合で24P信号の種類を変化させるよりも対応が容易とすることができる。
ただし、この場合、図中中央の点線に示されるように、位相の一致していない2個組の24P信号(サブフレーム)で逆2−3プルダウンが終了してしまうと、図44に示されるように、次に、2個組の24P信号で逆2−3プルダウンを開始(復帰)させる場合、本線系の信号とバイパス系の信号には、位相のずれが生じてしまう。
図44の例においては、図43において位相の一致していない2個組の24P信号(サブフレーム)で逆2−3プルダウンが終了されてから、しばらくバイパス系の信号が用いられた後、図中の楕円に示される位置の60I信号において、2−3プルダウンが検出されて、逆2−3プルダウンが可能と判定された2個組フィールドから、位相を一致させるべき、mainが付された24P信号のメインフレームが生成されている。
すなわち、位相の一致していない2個組の24P信号(サブフレーム)で逆2−3プルダウンが終了された後、次に、逆2−3プルダウンを開始する場合には、順番として、位相の一致した24P信号(メインフレーム)が生成される。しかしながら、図44の例においては、60I信号の2個組フィールドの位置で、逆2−3プルダウンが可能と判定され、2個組フィールドで生成されたフレームが位相を一致させるべきメインフレームとなってしまう。
しかしながら、2個組フィールド生成されたフレームに位相を一致させようとすると、バイパス系の信号であるIP変換後の60P信号のフレームの位相と0.5フレームのずれが生じてしまう。
そこで、図45の例に示されるように、位相の一致していない2個組の24P信号(サブフレーム)で逆2−3プルダウンが終了された場合において、逆2−3プルダウンできず、24P信号が生成されないときに、24P生成部211に、main(ダミー)が付された、128レベルの24P信号(メインフレーム)をダミー信号として1フレーム分出力させる。
これにより、次の逆2−3プルダウン復帰時に、図46の例に示されるように、2個組フィールドから生成されるフレームを位相の一致しないサブフレームとして扱うことが可能となる。
図46の例においては、位相の一致していない2個組の24P信号(サブフレーム)で逆2−3プルダウンが終了された後、すぐに、24P信号(メインフレーム)がダミー信号として1フレーム分挿入され、その後、しばらく、バイパス系の信号が用いられ、図中右から5番目の60Iの2個組フィールドから、逆2−3プルダウンが開始され、24P信号(サブフレーム)が生成されている。
したがって、右から4番目のフィールド上の点線が示すバイパス系の位相、すなわち、バイパス系の信号であるIP変換後の60P信号のフレームの位相を、サブフレームに合わせる必要がなく、メインフレームとサブフレーム信号の関係が保たれる。
なお、簡単のため、逆2−3プルダウンの復帰時は、3個組フィールドのときのみという制限をつけるようにしてもよい。この場合、逆2−3プルダウン終了時、3個組で終了したときのみ、ダミー24P信号を出力させればよい。
以上のように入力される信号毎に適した処理を行うことで、処理全体として処理効果を向上させることができる。
次に、図47のフローチャートを参照して、図39の信号処理装置201による信号処理を説明する。
まず、信号処理装置201を操作するユーザにより、図示せぬ操作入力部が操作され、信号処理装置201の各部の初期設定の値が入力される。信号処理装置201の各部は、操作入力部から、ユーザの操作に対応する信号を入力すると、ステップS201において、初期設定を行う。ステップS201における初期設定後、処理が開始される。
ステップS202において、入力端子11は、図示せぬ前段から、1フィールドを入力し、フィールドメモリ31、評価値特徴量算出部32、および遅延部213に供給する。フィールドメモリ31に供給された1フィールドは、逆2−3pd変換部22に供給される。
遅延部213は、入力端子11から供給されたフィールドを、逆2−3pd変換部22、24P信号生成部211、およびフレームレート変換部212による(本線系の)処理と、IP変換部214による(バイパス系の)処理との遅延を調整して、IP変換部214に出力する。
ステップS203において、IP変換部214は、遅延部213から入力される60I信号を60P信号にIP変換し、変換された60P信号を、信号切替部216に出力する。
入力端子11から1フィールドが供給されると、ステップS204において、評価値特徴量算出部32は、評価値特徴量算出処理を実行する。すなわち、評価値特徴量算出部32は、入力端子11からの60I信号のフィールドと、フィールドメモリ31に蓄積されている、入力端子11からのフィールドより時間的に2つ前のフィールドを用いて、状態推定部33が行う2−3プルダウンのシーケンスの検出(判定)に用いられる差分評価値、閾値、および特徴量などを算出する。
具体的には、評価値特徴量算出部32は、入力端子11からの60I信号のフィールドと、フィールドメモリ31に蓄積されている、入力端子11からのフィールドより時間的に2つ前のフィールドを用いて、図9を参照して上述したように、差分評価値を算出し、12フィールド(すなわち、10フィールド間)の差分評価値のうち2番目に最小の値を基に、閾値を算出する。
そして、評価値特徴量算出部32は、10フィールド間の差分評価値および算出した閾値に基づいて、10フィールド間の一致不一致、すなわり、フィールド間に動きがあるかないか(フィールド間の静動)を判定し、10フィールド間における静動の位置を示す特徴量を求める。なお、この評価値特徴量算出処理は、図29のフローチャートを参照して上述した評価値特徴量算出処理と基本的に同様な処理を行うので、その詳細な説明は繰り返しになるので省略する。
評価値特徴量算出部32により差分評価値、閾値、および特徴量などが求められると、ステップS205において、状態推定部33は、状態推定処理を実行する。すなわち、状態推定部33は、評価値特徴量算出部32により算出された差分評価値、閾値、および特徴量などを用いて、対象とする10フィールド間における静止の位置が、図11に示される2−3プルダウンのパターンに当てはまるか否かを判定する。また、2−3プルダウンのいずれかのパターンに当てはまると判定された場合、状態推定部33は、図12を参照して上述したように、さらに、その2−3プルダウンのパターンが、所定の状態遷移を一定回数以上繰り返しているか否かを判定する。
なお、2−3プルダウンのパターンが、所定の状態遷移を一定回数以上繰り返していると判定された場合、状態推定部33は、信号処理装置201の処理モードをモード24に設定し、モード24を示すモード信号を、逆2−3pd変換部22および切替フラグ生成部215に供給する。
また、対象とする10フィールド間における静止の位置が、2−3プルダウンのどのパターンに当てはまらないと判定された場合、あるいは、所定の状態遷移を一定回数(例えば、10回)以上繰り返していないと判定された場合、状態推定部33は、信号処理装置201の処理モードをモード60に設定し、モード60を示すモード信号を、逆2−3pd変換部22および切替フラグ生成部215に供給する。なお、この状態推定処理は、図33のフローチャートを参照して上述した状態推定処理と基本的に同様の処理を行うので、その詳細な説明は繰り返しになるので省略する。
ステップS206において、逆2−3pd変換部22は、状態推定部33から供給されるモード信号を参照して、信号処理装置201の処理モードに応じて、逆2−3プルダウン処理を行い、生成した24P信号を、24P信号生成部211に出力する。
すなわち、逆2−3pd変換部22は、処理モードがモード60に切り替わったとき、逆2−3プルダウン処理を停止し、処理モードがモード24に切り替わったとき、逆2−3プルダウン処理を開始する。
ステップS207において、24信号生成部211は、逆2−3pd変換部22からの24P信号が入力された場合、入力された24P信号を、そのままフレームレート変換部212に出力する。このとき、24信号生成部211は、逆2−3pd変換部22による処理終了のタイミングに、必要に応じて、24P信号の1フレーム分を、ダミー信号として、フレームレート変換部212に出力する。
ステップS208において、フレームレート変換部212は、24信号生成部211から24P信号が入力された場合、24フレーム毎秒の24P信号を、60フレーム毎秒の信号に、フレームレート変換し、変換された60P信号を、信号切替部216に出力する。
なお、上述したステップS206乃至208の処理は、状態推定部33が2−3プルダウンを検出できない場合には、実行されない。すなわち、状態推定部33からのモード信号に応じて実行されたり、停止されたりする。
ステップS209において、切替フラグ生成部215は、処理モードが変更されたか否かを判定する。切替フラグ生成部215は、状態推定部33から供給されるモード信号が示すモードがモード24からモード60に変わったか、あるいは、モード60からモード24に変わったかを判定することで、処理モードが変更されたか否かを判定する。
ステップS209において、処理モードが変更されたと判定された場合、切替フラグ生成部215は、ステップS210において、切替フラグを生成し、生成した切替フラグを、信号切替部216に供給する。
信号切替部216は、ステップS211において、切替フラグ生成部215から供給される切替フラグに応じて、フレームレート変換部212からの(本線系の)60P信号、または、IP変換部214からの(バイパス系の)60P信号を切り替えて、出力端子12に出力する。
ステップS209において、処理モードが変更されていないと判定された場合、切替フラグ生成部215は、切替フラグを生成しないので、ステップS212において、信号切替部216は、いままで出力していた60P信号を、出力端子12に出力する。
以上のように、60I信号の2−3プルダウンの1シーケンスを含む12フィールドのフィールド間における静止の位置を求め、2−3プルダウンのパターンを判定し、さらに、2−3プルダウンの状態遷移判定をするようにしたので、素性のわからない60I信号であっても、2−3プルダウンのシーケンスを精度よく検出することができる。
また、2−3プルダウンの判定結果に応じて、逆2−3処理およびフレームレート変換処理後の60P信号と、IP変換後の60P信号とを切り替えて出力するようにしたので、品質のよい画像を得ることができる。
なお、2−3プルダウンの判定結果は、上述した例に限らず、他の信号処理にも用いることができる。例えば、2−3プルダウンの判定結果に応じて、60I信号を逆2−3処理した24P信号をエンコード(符号化)し、それを送信したり、または記録する信号処理を行うこともできる。
なお、本発明の信号処理装置は、DVDなどのリムーバブルメディアまたはハードディスクの記録装置、再生装置、および記録再生装置、テレビジョン信号の信号受信装置、データの送信装置、受信装置、および送受信装置、パーソナルコンピュータや携帯端末など、60P信号を出力可能な装置に適用することができる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図48は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ401の構成の例を示すブロック図である。
CPU(Central Processing Unit)411は、ROM(Read Only Memory)412、または記憶部418に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)413には、CPU411が実行するプログラムやデータなどが適宜記憶される。CPU411、ROM412、およびRAM413は、バス414により相互に接続されている。
CPU411にはまた、バス414を介して入出力インタフェース415が接続されている。入出力インタフェース415には、キーボード、マウス、マイクロホンなどよりなる入力部416、ディスプレイ、スピーカなどよりなる出力部417が接続されている。CPU411は、入力部416から入力される指令に対応して各種の処理を実行する。そして、CPU411は、処理の結果を出力部417に出力する。
入出力インタフェース415に接続されている記憶部418は、例えばハードディスクからなり、CPU411が実行するプログラムや各種のデータを記憶する。通信部419は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部419を介してプログラムを取得し、記憶部418に記憶してもよい。
入出力インタフェース415に接続されているドライブ420は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア421が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部418に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図48に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア421、または、プログラムが一時的もしくは永続的に格納されるROM412や、記憶部418を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部419を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
2−3プルダウン変換処理を説明する図である。 2−3プルダウンの検出方法を説明する図である。 2−3プルダウン検出にとって理想的な場合の2−3プルダウンの検出方法を説明する図である。 実際の2−3プルダウンの検出方法を説明する図である。 フィールド間における各画素の差分絶対値とその頻度の関係を説明する図である。 本発明を適用した信号処理装置の構成例を示すブロック図である。 60I信号の12フィールドの構成例を示す図である。 正しい2−3プルダウンのシーケンスを含む12フィールドの構成例を示す図である。 12フィールドの静動判定を説明する図である。 フレーム単位の場合の2−3プルダウンのパターンの例を示す図である。 フィールド単位の場合の2−3プルダウンのパターンの例を示す図である。 逆2−3プルダウンの停止および実行の状態遷移を説明する図である。 逆2−3プルダウンの実行を開始するタイミングを説明する図である。 逆2−3プルダウンにおけるフレーム生成のタイミングを説明する図である。 図6の信号処理装置1による信号処理を説明するフローチャートである。 図6の評価値特徴量算出部と状態推定部の構成例を示すブロック図である。 差分評価値算出処理に必要なフィールドを説明する図である。 差分評価値算出処理の対象領域の構成例を示す図である。 フィールド間の画素毎の差分絶対値を説明する図である。 差分評価値算出処理の例を説明する図である。 差分評価値算出処理の他の例を説明する図である。 図16の評価値メモリの構成を説明する図である。 静動判定の閾値の算出処理を説明する図である。 図11の2−3プルダウンのパターンにおける静止の位置を説明する図である。 図16のLUTを説明する図である。 状態フラグの設定方法を具体的に説明する図である。 状態フラグの設定方法を具体的に説明する図である。 動きフィールド数の算出処理を説明する図である。 図15のステップS13の評価値特徴量算出処理を説明するフローチャートである。 図29のステップS51の差分評価値算出処理を説明するフローチャートである。 図29のステップS51の差分評価値算出処理の他の例を説明するフローチャートである。 図29のステップS54の動きフィールド数算出処理を説明するフローチャートである。 図15のステップS14における状態推定処理を説明するフローチャートである。 図33のステップS136のモード60用処理を説明するフローチャートである。 緊急状態を説明する図である。 図33のステップS137のモード24用処理を説明するフローチャートである。 図6の評価値特徴量算出部と状態推定部の他の構成例を示すブロック図である。 図33のステップS137のモード24用処理の他の例を説明するフローチャートである。 本発明を適用した信号処理装置の他の構成例を示すブロック図である。 図39の信号処理装置に入力される60I信号の例を示す図である。 24/60P変換における24P信号と60P信号の位相関係を示す図である。 図41の24/60P変換後の60P信号とIP変換後の60P信号を説明する図である。 逆2−3プルダウンの検出に応じて、信号切替部216から出力端子12に出力される60P信号を示す図である。 信号切替における位相ずれを説明する図である。 図44の位相ずれに対応して挿入されるダミー信号を説明する図である。 図45のダミー信号を用いて行われる信号切替を説明する図である。 図39の信号処理装置の信号処理を説明するフローチャートである。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
符号の説明
1 信号処理装置, 21 2−3pd判定部, 22 逆2−3pd変換部, 31 フィールドメモリ, 32 評価値特徴量算出部, 33 状態推定部, 101 差分評価値算出部, 102 評価値メモリ,103 閾値算出部, 104 閾値メモリ,105 評価値静動判定部, 106 評価値テーブル, 107 動きフィールド数算出部, 108 動きフィールド数メモリ, 121 フラグ設定部, 122 LUT, 123 状態フラグメモリ, 124 状態推定処理部, 125 連続成功数判定部, 126 モード設定部, 201 信号処理装置, 211 24P信号生成部,212 フレームレート変換部, 213 遅延部, 214 IP変換部,215 切替フラグ生成部, 216 信号切替部

Claims (11)

  1. 入力されるインタレース方式の信号から、同一フィールドが所定の割合で繰り返されるシーケンスを検出する信号処理装置において、
    入力された所定数のフィールドにおいて、それぞれ算出されるフィールド間の差分評価値のうちの2番目の最小値に基づいて、前記フィールド間に動きがあるか否かを判定する静動判定手段と、
    前記静動判定手段により前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記所定数のフィールドを対象として前記シーケンスの前記同一フィールドが繰り返された繰り返しフィールドの位置を基に分類され、フィールドの入力毎に遷移する遷移順を有する複数のパターンのいずれかに相当するか否かを判定し、
    前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定することで、前記インタレース方式の信号から、前記シーケンスを検出するシーケンス検出手段と
    を備える信号処理装置。
  2. 前記シーケンス検出手段は、前記静動判定手段により前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記複数のパターンのいずれかに相当するか否かを判定するパターン判定手段と、
    前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定するパターン遷移判定手段と
    を備える請求項1に記載の信号処理装置。
  3. 前記パターン判定手段は、前記静動判定手段により前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、1回前の前記所定数のフィールドが相当すると判定された前記パターンが前記遷移順における次に遷移すべきパターンに相当するか否かを判定し、前記所定数のフィールドが、前記次に遷移すべきパターンに相当すると判定した場合、連続遷移回数をカウントし、
    前記パターン遷移判定手段は、前記パターン判定手段によりカウントされた前記連続遷移回数が一定回数以上であるか否かを判定することで、前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定する
    請求項2に記載の信号処理装置。
  4. 前記所定数のフィールドにおいて、前記フィールド間の差分評価値をそれぞれ算出する評価値算出手段と、
    前記評価値算出手段により算出された前記フィールド間の差分評価値のうちの2番目の最小値を基に、閾値を算出する閾値算出手段とをさらに備え、
    前記静動判定手段は、前記評価値算出手段により算出された前記フィールド間の差分評価値、および前記閾値算出手段により算出された前記閾値に基づいて、前記フィールド間に動きがあるか否かを判定する
    請求項1に記載の信号処理装置。
  5. 前記評価値算出手段により算出された前記フィールド間の差分評価値、および前記閾値算出手段により算出された前記閾値に基づいて、前記所定数のフィールドにおける動きのあるフィールド数を算出する動き数算出手段をさらに備え、
    前記シーケンス検出手段は、前記動き数算出手段により算出された前記所定数のフィールドにおける動きのあるフィールド数にも基づいて、前記所定数のフィールドが、前記パターンに相当するか否かを判定する
    請求項4に記載の信号処理装置。
  6. 前記シーケンス検出手段による前記シーケンスの検出結果に応じて、所定の信号処理を行う信号処理手段をさらに備える
    請求項1に記載の信号処理装置。
  7. 前記信号処理手段は、前記シーケンス検出手段により前記シーケンスが検出された場合、前記繰り返しフィールドを間引いて、前記インタレース方式の信号をプログレッシブ方式の信号に変換する信号処理を行う
    請求項6に記載の信号処理装置。
  8. 前記インタレース方式の信号を、プログレッシブ方式の信号にIP(インタレース、プログレッシブ)変換するIP変換手段と、
    前記信号処理手段により変換された前記プログレッシブ方式の信号を、フレームレート変換するフレームレート変換手段と、
    前記シーケンス検出手段による前記シーケンスの検出結果に応じて、前記IP変換手段により変換された前記プログレッシブ方式の信号、および前記フレームレート変換手段によりフレームレート変換された前記プログレッシブ方式の信号のどちらかを切り替えて後段に出力する信号切替手段とをさらに備える
    請求項7に記載の信号処理装置。
  9. 入力されるインタレース方式の信号から、同一フィールドが所定の割合で繰り返されるシーケンスを検出する信号処理装置の信号処理方法において、
    入力される所定数のフィールドにおいて、それぞれ算出されるフィールド間の差分評価値のうちの2番目の最小値に基づいて、前記フィールド間に動きがあるか否かを判定し、
    前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記所定数のフィールドを対象として前記シーケンスの前記同一フィールドが繰り返された繰り返しフィールドの位置を基に分類され、フィールドの入力毎に遷移する遷移順を有する複数のパターンのいずれかに相当するか否かを判定し、
    前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定することで、前記インタレース方式の信号から、前記シーケンスを検出する
    ステップを含む信号処理方法。
  10. 入力されるインタレース方式の信号から、同一フィールドが所定の割合で繰り返されるシーケンスを検出する処理を、コンピュータに行わせるプログラムであって、
    入力される所定数のフィールドにおいて、それぞれ算出されるフィールド間の差分評価値のうちの2番目の最小値に基づいて、前記フィールド間に動きがあるか否かを判定し、
    前記動きがないと判定されたフィールド間の静止位置に基づいて、前記所定数のフィールドが、前記所定数のフィールドを対象として前記シーケンスの前記同一フィールドが繰り返された繰り返しフィールドの位置を基に分類され、フィールドの入力毎に遷移する遷移順を有する複数のパターンのいずれかに相当するか否かを判定し、
    前記所定数のフィールドが相当すると判定された前記パターンが、一定回数前の所定数のフィールドが相当すると判定された前記パターンから前記遷移順に遷移しているか否かを判定することで、前記インタレース方式の信号から、前記シーケンスを検出する
    ステップを含むプログラム。
  11. 請求項10に記載のプログラムが記録されている記録媒体。
JP2005269565A 2005-09-16 2005-09-16 信号処理装置および方法、プログラム、並びに記録媒体 Expired - Fee Related JP4655218B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2005269565A JP4655218B2 (ja) 2005-09-16 2005-09-16 信号処理装置および方法、プログラム、並びに記録媒体
TW095133162A TW200715855A (en) 2005-09-16 2006-09-08 Signal processing apparatus and method, program, and recording medium
EP06798035A EP1933557A1 (en) 2005-09-16 2006-09-15 Signal processing apparatus and method, program, and recording medium
KR1020087006278A KR101254529B1 (ko) 2005-09-16 2006-09-15 신호 처리 장치 및 방법, 및 기록 매체
CN2006800342252A CN101268689B (zh) 2005-09-16 2006-09-15 信号处理装置和方法
PCT/JP2006/318372 WO2007032479A1 (ja) 2005-09-16 2006-09-15 信号処理装置および方法、プログラム、並びに記録媒体
US12/066,504 US8416343B2 (en) 2005-09-16 2006-09-15 Signal processing apparatus and method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005269565A JP4655218B2 (ja) 2005-09-16 2005-09-16 信号処理装置および方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2007082040A true JP2007082040A (ja) 2007-03-29
JP4655218B2 JP4655218B2 (ja) 2011-03-23

Family

ID=37865062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005269565A Expired - Fee Related JP4655218B2 (ja) 2005-09-16 2005-09-16 信号処理装置および方法、プログラム、並びに記録媒体

Country Status (7)

Country Link
US (1) US8416343B2 (ja)
EP (1) EP1933557A1 (ja)
JP (1) JP4655218B2 (ja)
KR (1) KR101254529B1 (ja)
CN (1) CN101268689B (ja)
TW (1) TW200715855A (ja)
WO (1) WO2007032479A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1991005A2 (en) 2007-05-11 2008-11-12 Sony Corporation Apparatus, method, and program for temporal filtering of a video signal before video signal processing
JP2011254392A (ja) * 2010-06-03 2011-12-15 Mitsubishi Electric Corp 映像信号処理装置及び方法、並びに映像信号表示装置
JP2011259248A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像処理装置および方法、並びにプログラム
US8145031B2 (en) 2008-01-16 2012-03-27 Panasonic Corporation Recording apparatus
JP2012523161A (ja) * 2009-04-01 2012-09-27 マーベル ワールド トレード リミテッド プログレッシブビデオにおけるケイデンス検出

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8891011B2 (en) * 2007-08-23 2014-11-18 Qualcomm Incorporated Systems and methods for combining deinterlacing and frame rate decimation for video format conversion
JP4383477B2 (ja) * 2007-11-06 2009-12-16 シャープ株式会社 フィルムモード判定装置、判定方法、判定プログラム及び記録媒体
WO2010151785A1 (en) 2009-06-25 2010-12-29 Visible World Inc. Time compressing video content
WO2012137394A1 (ja) * 2011-04-05 2012-10-11 パナソニック株式会社 フレームレート変換方法及びそのフレームレート変換方法を用いた映像処理装置
CN103247068B (zh) * 2013-04-03 2016-03-30 上海晨思电子科技有限公司 一种渲染方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169227A (ja) * 1997-08-12 1999-03-09 Sony Corp 画像データのシーケンス検出装置および符号化装置
JP2002016944A (ja) * 2000-06-29 2002-01-18 Sony Corp 信号処理装置及び信号処理方法
JP2004040815A (ja) * 2002-07-13 2004-02-05 Samsung Electronics Co Ltd 映像信号のフィルムモード検出装置及び方法
JP2005004770A (ja) * 2003-06-14 2005-01-06 Samsung Electronics Co Ltd グループ化による映画映像検出方法及び装置
JP2005072863A (ja) * 2003-08-22 2005-03-17 Toshiba Corp テレシネ方式識別装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3094903B2 (ja) 1995-06-08 2000-10-03 松下電器産業株式会社 テレビジョン信号変換装置、および画像符号化装置
JP3495507B2 (ja) 1996-05-24 2004-02-09 日本放送協会 画像変換タイミング検出装置
JP3953561B2 (ja) * 1996-10-15 2007-08-08 株式会社日立製作所 画像信号のフォーマット変換信号処理方法及び回路
US6633612B2 (en) * 2000-12-13 2003-10-14 Genesis Microchip Inc. Method and apparatus for detecting motion between odd and even video fields
GB2372394B (en) * 2000-12-22 2004-09-22 Matsushita Electric Ind Co Ltd Interpolation apparatus and video signal processing apparatus including the same
CN1291588C (zh) * 2003-08-20 2006-12-20 上海乐金广电电子有限公司 电视机的扫描方式转换方法
KR100594780B1 (ko) * 2004-10-09 2006-06-30 삼성전자주식회사 영상변환 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169227A (ja) * 1997-08-12 1999-03-09 Sony Corp 画像データのシーケンス検出装置および符号化装置
JP2002016944A (ja) * 2000-06-29 2002-01-18 Sony Corp 信号処理装置及び信号処理方法
JP2004040815A (ja) * 2002-07-13 2004-02-05 Samsung Electronics Co Ltd 映像信号のフィルムモード検出装置及び方法
JP2005004770A (ja) * 2003-06-14 2005-01-06 Samsung Electronics Co Ltd グループ化による映画映像検出方法及び装置
JP2005072863A (ja) * 2003-08-22 2005-03-17 Toshiba Corp テレシネ方式識別装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1991005A2 (en) 2007-05-11 2008-11-12 Sony Corporation Apparatus, method, and program for temporal filtering of a video signal before video signal processing
US9100663B2 (en) 2007-05-11 2015-08-04 Sony Corporation Apparatus, method, and program for video signal processing, and storage medium
US8145031B2 (en) 2008-01-16 2012-03-27 Panasonic Corporation Recording apparatus
JP2012523161A (ja) * 2009-04-01 2012-09-27 マーベル ワールド トレード リミテッド プログレッシブビデオにおけるケイデンス検出
JP2011254392A (ja) * 2010-06-03 2011-12-15 Mitsubishi Electric Corp 映像信号処理装置及び方法、並びに映像信号表示装置
JP2011259248A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
CN101268689A (zh) 2008-09-17
EP1933557A1 (en) 2008-06-18
WO2007032479A1 (ja) 2007-03-22
KR20080044294A (ko) 2008-05-20
KR101254529B1 (ko) 2013-04-19
CN101268689B (zh) 2012-05-02
TWI348865B (ja) 2011-09-11
TW200715855A (en) 2007-04-16
US20100128171A1 (en) 2010-05-27
US8416343B2 (en) 2013-04-09
JP4655218B2 (ja) 2011-03-23

Similar Documents

Publication Publication Date Title
JP4655218B2 (ja) 信号処理装置および方法、プログラム、並びに記録媒体
US9444977B2 (en) Method and device for adaptive noise measurement of a video signal
US6055018A (en) System and method for reconstructing noninterlaced captured content for display on a progressive screen
EP1796044B1 (en) Image processing apparatus and method, recording medium, and program
JP2008167102A (ja) 映像処理装置及びそれを備えた映像表示装置
JPH10145779A (ja) フィールド検出装置およびフィールド検出方法、画像符号化装置および画像符号化方法、並びに記録媒体および記録方法
JP2007533260A (ja) 自動逆テレシネプロセス
JP2004040815A (ja) 映像信号のフィルムモード検出装置及び方法
EP1168842A2 (en) Signal processing device and method
US9100531B1 (en) Method and apparatus for performing robust cadence detection in a video deinterlacer
US20080231747A1 (en) Deinterlacing method and apparatus for digital motion picture
JP2002223374A (ja) ノイズ除去装置およびノイズ除去方法
JP2005318613A (ja) 状態情報訂正方法、動き補償画像処理方法及び画像状態情報訂正器
US9055176B1 (en) Method and apparatus for performing multi-cadence detection in a motion adaptive video deinterlacer
US8331676B2 (en) Image processing apparatus and method, and program
JP4929963B2 (ja) プルダウンシーケンス検出プログラムおよびプルダウンシーケンス検出装置
JP2008035436A (ja) プルダウンシーケンス検出装置およびプルダウンシーケンス検出方法
US20060158513A1 (en) Recognizing film and video occurring in parallel in television fields
US8289447B1 (en) Cadence detection for film mode de-interlacing
JP3903498B2 (ja) 映像信号変換方式および映像信号変換装置
JP2007043285A (ja) 振れベクトル検出装置、カメラシステム、振れベクトル検出方法、及び振れベクトル検出プログラム
JP2002330408A (ja) 映像信号処理装置
JP2005004770A (ja) グループ化による映画映像検出方法及び装置
US8625025B2 (en) Apparatus and method for detecting flexible video cadence
US7697071B2 (en) Device and method for detecting display mode of video signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees