JP2000059736A

JP2000059736A - 映像信号処理装置及び映像信号処理方法

Info

Publication number: JP2000059736A
Application number: JP10226342A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Yasushi Tatsuhira; 靖立平; Hideo Nakaya; 秀雄中屋; Tsutomu Watanabe; 勉渡辺; Masaru Inoue; 賢井上; Wataru Niitsuma; 渉新妻; Masashi Uchida; 真史内田; Nobuyuki Asakura; 伸幸朝倉; Takuo Morimura; 卓夫守村; Kazutaka Ando; 一隆安藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-08-10
Filing date: 1998-08-10
Publication date: 2000-02-25
Anticipated expiration: 2018-08-10
Also published as: JP4126629B2

Abstract

(57)【要約】【課題】画質の劣化を回避しながら映像信号を変換し得
る映像信号処理装置及び映像信号処理方法を提案する。【解決手段】同一画像から生成された複数フィールドの
画像を用いて補完画素を予測生成するようにしたことに
より、動きの速い動画像においても一段と高解像度の画
像を生成することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像信号処理装置及
び映像信号処理方法に関し、例えばインタレース方式の
テレビジョン信号を順次走査方式（ノンインタレース方
式）のテレビジョン信号に変換する映像信号処理装置及
び映像信号処理方法に適用して好適なものである。

【０００２】

【従来の技術】従来、標準テレビジョン信号として１つ
のフレームを第１のフィールド（奇数フィールド）及び
第２のフィールド（偶数フィールド）によって構成する
インタレース方式のものがあり、このインタレース方式
のテレビジョン信号では各フィールド画像はフレーム画
像を半分に間引いた信号となっている。

【０００３】インタレース方式のテレビジョン信号をノ
ンインタレース方式（順次走査方式）のテレビジョン信
号に変換する方法として、第１のフィールド画像に対し
て第２のフィールド画像を予測生成することにより第１
のフィールド画像及び第２のフィールド画像からなる１
枚の画像を得る方法が考えられる。

【０００４】この方法においては、予測生成しようとす
る第２のフィールド画像を実在する１つのフィールドの
画素のみを用いて生成する方法と、実在する複数のフィ
ールドの画素を用いて予測する方法とが考えられる。

【０００５】

【発明が解決しようとする課題】ところで、例えば動き
の速い動画像についてインタレース方式からノンインタ
レース方式への変換を行う場合には、複数のフィールド
の画素を用いた予測演算を行うと２重像等の画質劣化が
生じることにより、１つのフィールド内の画素のみを用
いた予測によってノンインタレース方式の信号を生成す
る。このようにフィールド内での予測演算によってノン
インタレース方式の信号を生成する場合、フィールド内
の画素は１画面（フレーム）の画素を半分に間引いて生
成されていることにより、垂直解像度が半分に低下する
問題があった。

【０００６】本発明は以上の点を考慮してなされたもの
で、画質の劣化を回避しながら映像信号を変換し得る映
像信号処理装置及び映像信号処理方法を提案しようとす
るものである。

【０００７】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、同一画像に対応した複数フィール
ドの画像を有する第１の映像信号を第２の映像信号に変
換する映像信号処理装置において、注目画素に対して入
力された第１の映像信号から複数のフィールドに亘って
複数の画素を抽出し、当該抽出された複数の画素から注
目画素に対するクラスを決定し、決定されたクラスに応
じて対応する予測データを発生し、決定されたクラスに
応じて発生された予測データから第２の映像信号の注目
画素を発生することにより、同一画像から生成された複
数フィールドの画像を用いて補完画素を予測生成するこ
とができ、これにより動きの速い動画像においても一段
と高解像度の画像を生成することができる。

【０００８】

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。

【０００９】（１）クラス分類適応処理の原理ここでは例えば標準解像度の画像データ（以下、これを
ＳＤ（Standard Definition ）画像データと呼ぶ）をそ
の各画素の信号レベル分布に応じたクラスに分類し、ク
ラス毎に所定のデータ処理を施すことにより高解像度の
画像データ（以下、これをＨＤ（High Definition ）画
像データと呼ぶ）を生成するいわゆるクラス分類適応処
理の原理について説明する。

【００１０】図１は、このクラス分類適応処理を実現す
るアップコンバータ５１の回路構成を示す。アップコン
バータ１は、外部から供給される例えば８ビットのパル
ス符号変調（ＰＣＭ：Pulse Code Modulation ）データ
でなるＳＤ画像データＳ５１をクラス分類部５２及び予
測演算部５３に入力する。クラス分類部５２は、例えば
図２に示すように、ＳＤ画像データＳ５１のうち注目画
素及び当該注目画素を中心とした複数の周辺画素でなる
合計７画素（タップ）をクラス分類用の画素（以下、こ
れをクラスタップと呼ぶ）として設定し、それらの信号
レベル分布に基づいてクラスコードＳ５２を生成する。
因みに、図中実線は第１フィールドを示し、点線は第２
フィールドを示す。

【００１１】このクラス分類部５２によってクラスコー
ドＳ５２を生成する方法としては、ＰＣＭデータを直接
使用する（すなわちＰＣＭデータをそのままクラスデー
タＳ５２とする）方法や、ＡＤＲＣ（Adaptive Dynamic
Range Coding ）等のデータ圧縮方法を用いてクラス数
を削減するような方法が考えられる。このうちＰＣＭデ
ータをそのままクラスコードＳ５２とする方法では、ク
ラスタップとして８ビットのＰＣＭデータを７タップ用
いることから、クラス数が２⁵⁶という膨大な数のクラス
数に分類されることになり、実用上問題がある。

【００１２】そこで実際には、クラス分類部５２は、Ａ
ＤＲＣのようなデータ圧縮処理（すなわち再量子化処
理）を施すことによりクラス数を削減するようになされ
ている。このＡＤＲＣによる分類法は、注目画素を中心
とする近傍領域内の数タップからＡＤＲＣコードを、次
式

【００１３】

【数１】

【００１４】によって求め、当該ＡＤＲＣコードに基づ
いてクラスコードＳ５２を生成する手法を用いている。
ここで、ｃ_iはＡＤＲＣコード、ｘ_iは各クラスタップ
の入力画素値、ＭＩＮは領域内にある各クラスタップの
入力画素値のうちの最小画素値、ＤＲは領域内のダイナ
ミックレンジ（最大画素値と最小画素値との差分）、ｋ
は再量子化ビット数である。

【００１５】すなわちＡＤＲＣによる分類法は、領域内
のダイナミックレンジから再量子化ビット数に応じた量
子化ステップ幅を算出し、入力画素値から最小画素値を
減算した画素値を量子化ステップ幅に応じて再量子化す
るものである。例えば領域内の７タップにおいて各クラ
スタップを１ビットに再量子化する１ビットＡＤＲＣを
行う場合では、領域内のダイナミックレンジに基づいて
７タップの各入力画素値を適応的に１ビット量子化し、
その結果、７タップの入力画素値を７ビットのデータに
削減することができるので、全体としてクラス数を１２
８クラスにまで削減することができる。

【００１６】図１に戻って、予測係数ＲＯＭ（Read Onl
y Memory）５４は、後述する学習回路６０によって予め
生成された各クラス毎に対応した予測係数データＳ５３
を格納しており、クラス分類部５２から供給されるクラ
スコードＳ５２に応じた予測係数データＳ５３を読み出
し、これを予測演算部５３に送出する。予測演算部５３
は、例えば図３に示すように、外部から入力されるＳＤ
画像データＳ５１のうち、注目画素及び当該注目画素を
中心とした複数の周辺画素でなる合計１３タップを予測
演算用の画素（以下、これを予測タップと呼ぶ）として
選定し、当該予測タップの各画素値と予測係数データＳ
５３とを用いて、線形一次結合でなる次式

【００１７】

【数２】

【００１８】によって表される積和演算を行うことによ
り、予測タップには存在しないＨＤ画素の集まりである
ＨＤ画像データＳ５４を生成し、これを外部に出力す
る。ここで、ｘ_i′は各ＨＤ画素値、ｘ_iは各予測タッ
プの画素値、ｗ_iは予測係数、ｎは予測タップ数であ
り、この場合ｎは１３である。

【００１９】ところで図４は、予測係数ＲＯＭ５４に格
納されている予測係数データを生成する学習回路６０の
回路構成を示し、当該学習回路６０は、予測係数データ
を予め生成して、これを予測係数ＲＯＭ５４に格納する
ようになされている。学習回路６０は、いわゆる教師信
号としてのＨＤ画像データＳ６０を垂直間引きフィルタ
６１及び予測係数算出回路６２に入力する。学習回路６
０は、ＨＤ画像データＳ６０を垂直間引きフィルタ６１
及び水平間引きフィルタ６３によって間引くことによ
り、生徒信号としてのＳＤ画像データＳ６１を生成し、
これをクラス分類部６４及び予測係数算出回路６２に入
力するようになされている。

【００２０】クラス分類部６４は、図１に示すアップコ
ンバータのクラス分類部５２と同様の構成でなり、ＳＤ
画像データＳ６１からクラスタップを選定し、その信号
レベル分布に基づいてクラスコードＳ６２を生成した
後、これを予測係数算出回路６２に送出する。予測係数
算出回路６２は、ＨＤ画像データＳ６０及びＳＤ画像デ
ータＳ６１を基に、クラスコードＳ６２が示すクラスに
応じた予測係数をクラス毎に算出し、その結果得た予測
係数データＳ６３を予測係数ＲＯＭ５４に格納する。

【００２１】この場合、予測係数算出回路６２は、上述
の（２）式における予測係数ｗを最小自乗法によって求
めるようになされている。具体的には予測係数算出回路
６２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素
値として、いわゆる観測方程式と呼ばれる次式

【００２２】

【数３】

【００２３】を生成するように各データを収集する。こ
こでｍは予測するＨＤ画素の画素数を示す学習データ
数、ｎは予測タップ数である。

【００２４】次に予測係数算出回路６２は、この（３）
式を基に、次式

【００２５】

【数４】

【００２６】に示す残差方程式を立てる。従って各予測
係数ｗ_iは、この（４）式から、次式

【００２７】

【数５】

【００２８】が最小のときに最適な値となることがわか
る。すなわち次式

【００２９】

【数６】

【００３０】を満たすように予測係数ｗ_iが算出され
る。

【００３１】そこで予測係数算出回路６２は、このｎ個
ある（６）式を満たすようなｗ₁、ｗ₂、……、ｗ_nを
算出すればよいことになり、上述の（４）式から、次式

【００３２】

【数７】

【００３３】を得、これら（６）及び（７）式から、次
式

【００３４】

【数８】

【００３５】を求める。そして予測係数算出回路６２
は、上述の（４）及び（８）式から、次式

【００３６】

【数９】

【００３７】によって表される正規方程式を生成する。
このようにして予測係数算出回路６２は、予測タップ数
ｎと同一次数の連立方程式でなる正規方程式を生成し、
掃き出し法（Gauss Jordanの消去法）を用いてこの正規
方程式を解くことにより、各予測係数ｗ_iを算出する。

【００３８】以下、学習回路６０による予測係数生成手
順について図５に示すフローチャートを用いて説明す
る。学習回路６０はステップＳＰ６１から入り続くステ
ップＳＰ６２において、教師信号としてのＨＤ画像デー
タＳ６０から生徒信号としてのＳＤ画像データＳ６１を
生成することにより、予測係数を生成するのに必要な学
習データを生成する。ステップＳＰ６３において、学習
回路６０は、予測係数を生成するのに必要十分な学習デ
ータが得られたか否か判定し、その結果、未だ必要十分
な学習データが得られていないと判断された場合にはス
テップＳＰ６３において否定結果を得ることによりステ
ップＳＰ６４に移行する。

【００３９】ステップＳＰ６４において、学習回路６０
は、ＳＤ画像データＳ６１からクラスタップを選定し、
その信号レベル分布に基づいてクラス分類を行う。ステ
ップＳＰ６５において、学習回路６０は、各クラス毎に
上述の（９）式でなる正規方程式を生成し、ステップＳ
Ｐ６２に戻って同様の処理手順を繰り返すことにより、
予測係数を生成するのに必要十分な正規方程式を生成す
る。

【００４０】これに対してステップＳＰ６３において肯
定結果が得られると、このことは必要十分な学習データ
が得られたことを表しており、このとき学習回路６０は
ステップＳＰ６６に移って、上述の（９）式でなる正規
方程式を掃き出し法によって解くことにより、予測係数
ｗ₁、ｗ₂、……、ｗ_nを各クラス毎に生成する。そし
てステップＳＰ６７において、学習回路６０は、生成し
た各クラス毎の予測係数ｗ₁、ｗ₂、……、ｗ_nを予測
係数ＲＯＭ５４（図１）に格納し、ステップＳＰ６８に
おいて当該予測係数生成手順を終了する。

【００４１】（２）クラス分類適応処理を用いた走査線
変換装置図６は図１〜図５について上述したクラス分類適応処理
を用いた映像信号処理装置として、インタレース方式の
テレビジョン信号をノンインタレース方式のテレビジョ
ン信号に変換する走査線変換装置１００を示すものであ
る。

【００４２】図６において走査線変換装置１００は、イ
ンタレース方式の入力テレビジョン信号Ｓ_TVをフィール
ドディレイ回路１０２を介して１フィールド遅延させた
後、映画モード、位相検出部１０１に入力する。映画モ
ード、位相検出部１０１は、入力テレビジョン信号Ｓ_TV
が映画フィルムに記録された映像を基に生成されたテレ
ビジョン信号Ｓ_TV1（以下これを映画モードテレビジョ
ン信号と呼ぶ）であるか否かを判断する。

【００４３】ここで、映画モードテレビジョン信号Ｓ
_TV1とは映画フイルムに記録された２４〔コマ／秒〕の
映像を２−３プルダウンと呼ばれる方法により３０〔フ
レーム／秒〕（６０〔フィールド／秒〕）の標準テレビ
ジョン信号に変換したものである。この２−３プルダウ
ン処理は、図７に示すように、１／２４〔秒〕ごとにコ
マ画像Ｃ１、Ｃ２、……（図７（Ａ））が形成されてい
る映画フィルムの第１のコマ画像Ｃ１から標準テレビジ
ョン信号（映画モードテレビジョン信号Ｓ_TV1）のフィ
ールド１Ａ及び１Ｂ（図７（Ｂ））を生成し、第２のコ
マ画像Ｃ２から標準テレビジョン信号（映画モードテレ
ビジョン信号Ｓ_TV1）のフィールド２Ａ、２Ｂ及び３Ａ
（図７（Ｂ））を生成する。以下同様にして、映画フィ
ルムの各コマ画像Ｃ１、Ｃ２、Ｃ３、……からそれぞれ
２フィールド分又は３フィールド分の標準テレビジョン
信号（映画モードテレビジョン信号Ｓ_TV1）を順次生成
する。

【００４４】これにより、２４〔コマ／秒〕ごとのコマ
画像からなる映画フィルムの映像は、３０〔フレーム／
秒〕（６０〔フィールド／秒〕）の標準テレビジョン信
号（映画モードテレビジョン信号Ｓ_TV1）に順次変換さ
れる。

【００４５】かかる２−３プルダウン方式によって生成
された映画モードテレビジョン信号Ｓ_TV1においては、
第１のフレームを構成するフィールド１Ａ及び１Ｂは同
じコマ画像Ｃ１から生成されたものとなり、また、第２
のフレームを構成するフィールド２Ａ及び２Ｂは同じコ
マ画像Ｃ２から生成されたものとなり、また、第３のフ
レームを構成するフィールド３Ａ及び３Ｂは互いに異な
るコマ画像Ｃ１及びＣ２から生成されたものとなる。

【００４６】従って、図６に示す走査線変換装置１００
の映画モード、位相検出部１０１は、フィールドディレ
イ回路１０２を介して入力された入力テレビジョン信号
Ｓ_TVについて、図７（Ｂ）に示すように各フィールド画
像についてフレーム間差分を求め、当該フレーム間差分
がないフィールド画像が周期的に検出されたとき、当該
フィールド画像を２−３プルダウン方式によって生成さ
れた映画モードテレビジョン信号Ｓ_TV値のフィールドで
あると判断する。

【００４７】この判断処理手順を図８に示す。すなわち
図８において映画モード、位相検出部１０１は、ステッ
プＳＰ１０１から当該処理手順に入ると、ステップＳＰ
１０２において各フィールドのフレーム差分を計算す
る。この計算手法では、注目フィールドの画素に対して
１フレーム前の画素値との差分を各画素ごとに演算す
る。

【００４８】ステップＳＰ１０２における演算が終了す
ると、映画モード、位相検出部１０１はステップＳＰ１
０３に移ってステップＳＰ１０２における演算結果（フ
レーム差分）を１フィールド分積算する。そして映画モ
ード、位相検出部１０１は続くステップＳＰ１０４に移
り、第１の条件として、ステップＳＰ１０３において算
出された積算値が所定の閾値ＴＨ以下であるか否かを判
断する。因みに、この閾値ＴＨは極めて「０」に近い値
であることにより、ステップＳＰ１０４において肯定結
果か得られるとこのことは注目フィールドが１フレーム
前のフィールドに対して差分がほぼ「０」であることを
表している。

【００４９】従って、このとき映画モード、位相検出部
１０１はステップＳＰ１０５に移り、第２の条件とし
て、上述の第１の条件を満たすフィールドが５フィール
ドごとに現れたか否かを判定する。ここで肯定結果が得
られると、このことはこのとき入力されているテレビジ
ョン信号Ｓ_TVが２−３プルダウン方式によって映画フィ
ルムから変換されたテレビジョン信号である可能性が高
いことを表しており、このとき映画モード、位相検出部
１０１は続くステップＳＰ１０６に移り、条件３とし
て、上述のステップＳＰ１０５において得られた条件２
の状態が数秒間続くか否かを判断する。

【００５０】ここで肯定結果が得られると、このことは
このとき入力されているテレビジョン信号Ｓ_TVが２−３
プルダウン方式によって映画フィルムから変換された映
画モードテレビジョン信号Ｓ_TV1であることが確実であ
ることを表しており、このとき映画モード、位相検出部
１０１は当該入力テレビジョン信号Ｓ_TVを映画モードテ
レビジョン信号Ｓ_TV1であると判定し、ステップＳＰ１
０７に移る。

【００５１】そして、映画モード、位相検出部１０１は
ステップＳＰ１０７において、フレーム差分が「０」に
なるフィールド（図７（Ｂ）においてフィールド３Ａ、
５Ｂ、８Ａ、……）を第５のフィールドφ５とし、順次
ナンバリングを行う。これにより、図７（Ｃ）に示すよ
うに映画モードテレビジョン信号Ｓ_TV1のプルダウン位
相が確定する。

【００５２】このようにして映画モードテレビジョン信
号Ｓ_TV1の位相が得られると、映画モード、位相検出部
１０１は当該位相を表す位相検出信号Ｓ１０１をクラス
領域切り出し部１０５及び予測領域切り出し部１０６に
供給する。クラス領域切り出し部１０５及び予測領域切
り出し部１０６は、それぞれフィールドディレイ回路１
０２を介して１フィールド遅延した入力テレビジョン信
号Ｓ_TVと、これに前後する２つのフィールド画像信号を
現在の入力テレビジョン信号Ｓ_TVの入力ライン及びフィ
ールドディレイ回路１０３から入力する。

【００５３】そして、クラス領域切り出し部１０５は位
相検出信号Ｓ１０１に基づいて、各位相ごとに最適とな
るフィールドからクラスタップを切り出す。すなわち、
図７との対応部分に同一符号を付して示す図９に示すよ
うに、入力テレビジョン信号Ｓ_TVとして入力されている
映画モードテレビジョン信号Ｓ_TV1のプルダウン位相が
φ１である場合、クラス領域切り出し部１０５はフィー
ルド１Ａ及びフィールド１Ｂをクラス領域（クラス分類
タップ）として切り出す。この状態を図１０（Ａ）に示
す。

【００５４】また入力テレビジョン信号Ｓ_TVとして入力
されている映画モードテレビジョン信号Ｓ_TV1のプルダ
ウン位相がφ２である場合、クラス領域切り出し部１０
５はフィールド１Ａ及びフィールド１Ｂをクラス領域
（クラス分類タップ）として切り出す。この状態を図１
０（Ｂ）に示す。

【００５５】また入力テレビジョン信号Ｓ_TVとして入力
されている映画モードテレビジョン信号Ｓ_TV1のプルダ
ウン位相がφ３である場合、クラス領域切り出し部１０
５はフィールド２Ａ及びフィールド２Ｂをクラス領域
（クラス分類タップ）として切り出す。この状態を図１
０（Ｃ）に示す。因みに、この場合、フィールド３Ａは
フィールド２Ａと同一のコマ画像Ｃ２から生成された同
一構成のフィールド画像であることから、フィールド２
Ａに代えて当該フィールド３Ａを用いるようにすればノ
イズを低減することができる。

【００５６】また入力テレビジョン信号Ｓ_TVとして入力
されている映画モードテレビジョン信号Ｓ_TV1のプルダ
ウン位相がφ４である場合、クラス領域切り出し部１０
５はフィールド２Ａ及びフィールド２Ｂをクラス領域
（クラス分類タップ）として切り出す。この状態を図１
０（Ｄ）に示す。因みに、この場合、フィールド３Ａは
フィールド２Ａと同一のコマ画像Ｃ２から生成された同
一構成のフィールド画像であることから、フィールド２
Ａに代えて当該フィールド３Ａを用いるようにすればノ
イズを低減することができる。

【００５７】また入力テレビジョン信号Ｓ_TVとして入力
されている映画モードテレビジョン信号Ｓ_TV1のプルダ
ウン位相がφ５である場合、クラス領域切り出し部１０
５はフィールド２Ｂ及びフィールド３Ａをクラス領域
（クラス分類タップ）として切り出す。この状態を図１
０（Ｅ）に示す。因みに、この場合、フィールド２Ａは
フィールド３Ａと同一のコマ画像Ｃ２から生成された同
一構成のフィールド画像であることから、フィールド３
Ａに代えて当該フィールド２Ａを用いるようにすればノ
イズを低減することができる。

【００５８】また、これに対して予測領域切り出し部１
０６は位相検出信号Ｓ１０１に基づいて、各位相ごとに
最適となるフィールドからクラスタップを切り出す。す
なわち、図９に示すように、入力テレビジョン信号Ｓ_TV
として入力されている映画モードテレビジョン信号Ｓ
_TV1のプルダウン位相がφ１である場合、予測領域切り
出し部１０６はフィールド１Ａの画像に対応する補完ラ
インを予測するためにフィールド１Ａ及びフィールド１
Ｂをクラス領域（クラス分類タップ）として切り出す。
この状態を図１０（Ａ）に示す。

【００５９】また入力テレビジョン信号Ｓ_TVとして入力
されている映画モードテレビジョン信号Ｓ_TV1のプルダ
ウン位相がφ２である場合、予測領域切り出し部１０６
はフィールド１Ｂの画像に対応する補完ラインを予測す
るためにフィールド１Ａ及びフィールド１Ｂをクラス領
域（クラス分類タップ）として切り出す。この状態を図
１０（Ｂ）に示す。

【００６０】また入力テレビジョン信号Ｓ_TVとして入力
されている映画モードテレビジョン信号Ｓ_TV1のプルダ
ウン位相がφ３である場合、予測領域切り出し部１０６
はフィールド２Ａの画像に対応する補完ラインを予測す
るためにフィールド２Ａ及びフィールド２Ｂをクラス領
域（クラス分類タップ）として切り出す。この状態を図
１０（Ｃ）に示す。因みに、この場合、フィールド３Ａ
はフィールド２Ａと同一のコマ画像Ｃ２から生成された
同一構成のフィールド画像であることからフィールド２
Ａに代えて当該フィールド３Ａを用いるようにすればノ
イズを低減することができる。

【００６１】また入力テレビジョン信号Ｓ_TVとして入力
されている映画モードテレビジョン信号Ｓ_TV1のプルダ
ウン位相がφ４である場合、予測領域切り出し部１０６
はフィールド２Ｂの画像に対応する補完ラインを予測す
るためにフィールド２Ａ及びフィールド２Ｂをクラス領
域（クラス分類タップ）として切り出す。この状態を図
１０（Ｄ）に示す。因みに、この場合、フィールド３Ａ
はフィールド２Ａと同一のコマ画像Ｃ２から生成された
同一構成のフィールド画像であることからフィールド２
Ａに代えて当該フィールド３Ａを用いるようにすればノ
イズを低減することができる。

【００６２】また入力テレビジョン信号Ｓ_TVとして入力
されている映画モードテレビジョン信号Ｓ_TV1のプルダ
ウン位相がφ５である場合、予測領域切り出し部１０６
はフィールド３Ａの画像に対応する補完ラインを予測す
るためにフィールド２Ｂ及びフィールド３Ａをクラス領
域（クラス分類タップ）として切り出す。この状態を図
１０（Ｅ）に示す。因みに、この場合、フィールド２Ａ
はフィールド３Ａと同一のコマ画像Ｃ２から生成された
同一構成のフィールド画像であることからフィールド３
Ａに代えて当該フィールド２Ａを用いるようにすればノ
イズを低減することができる。

【００６３】かくして予測領域切り出し部１０６は、映
画フィルムの同一のコマ画像から得られたフィールドの
画像を予測タップの切り出し領域として用いることによ
り、動きの速い動画像について複数フィールドの画像か
ら予測タップを切り出しても、画像の劣化を防止しつつ
走査線を増やすことができる。

【００６４】かくして、クラス領域切り出し部１０５に
おいてプルダウン位相に応じて切り出されたクラス分類
タップを表すクラス分類タップ情報Ｓ１０５はクラス決
定部１０７に供給され、当該クラス決定部１０７におい
てクラス分類タップに基づくクラスが決定される。

【００６５】クラス決定部１０７はクラス分類タップに
基づいて決定したクラスをクラス情報Ｓ１０７としてク
ラスコード発生部１０８に供給する。クラスコード発生
部１０８はクラス決定部１０７において決定されたクラ
スに応じたクラスコードを発生し、このクラスコード情
報Ｓ１０８を予測係数テーブル１０９に供給する。

【００６６】予測係数テーブル１０９は、予め学習によ
って設定されている予測係数をクラスコードに応じて読
み出し、当該予測係数を予測係数情報Ｓ１０９として予
測演算部１１０に供給する。

【００６７】予測演算部１１０は、予測領域切り出し部
１０６においてプルダウン位相に応じて切り出された予
測タップを予測タップ情報Ｓ１０６として入力し、当該
予測タップ及び予測係数テーブル１０９から受け取った
予測係数に基づいて上述の（２）式について上述した演
算式によって予測演算を行う。かくして予測演算部１１
０は予測係数を用いた予測演算によって走査線を変換し
てなるノンインタレース方式の出力画像信号Ｓ_OUTを出
力する。

【００６８】因みに、入力テレビジョン信号Ｓ_TVとして
映画モードテレビジョン信号Ｓ_TV1以外のテレビジョン
信号Ｓ_TV2が入力された場合、動き量推定部１０４は入
力画像のフレーム間差分に基づいてその動き量を推定
し、当該動き量を表す動き量情報Ｓ１０４をクラス領域
切り出し部１０５及び予測領域切り出し部１０６に供給
する。

【００６９】クラス領域切り出し部１０５及び予測領域
切り出し部１０６は、入力テレビジョン信号Ｓ_TVが映画
モードテレビジョン信号Ｓ_TV1以外のテレビジョン信号
Ｓ_TV2である場合には、その旨を映画モード、位相検出
部１０１から受け取りると共に、動き領域推定部１０４
から供給される動き量情報に基づいたクラス領域及び予
測領域の切り出しを行う。

【００７０】このとき、入力画像の動きが大きい場合に
は１フィールド内での予測タップの切り出しが行われ、
入力画像の動きが小さい場合には２フィールドでの予測
タップの切り出しが行われ、さらに入力画像が静止画で
ある場合には３フィールドでの予測タップの切り出しが
行われる。

【００７１】これにより、入力テレビジョン信号Ｓ_TVが
２−３プルダウン方式でない場合には入力画像の動きに
応じた予測タップの切り出しが行われることにより、速
い動きに伴う画質の劣化を回避し得る。

【００７２】ここで、図１１は図６について上述した走
査線変換装置１００の予測係数テーブル１０９に格納さ
れる予測係数を設定する学習回路１５０を示し、図４に
ついて上述した学習方法と同様の方法によって予測係数
を決定する。

【００７３】すなわち学習回路１５０は、ノンインタレ
ース方式の画像を教師画像信号Ｓ１５１として正規方程
式加算部１５６に入力すると共に、当該教師画像から間
引き処理によってインタレース方式に変換された生徒画
像信号Ｓ１５０を映画モード、位相検出部１５１に入力
する。

【００７４】映画モード、位相検出部１５１は生徒画像
信号Ｓ１５０が映画モードテレビジョン信号であるか否
かと、映画モードテレビジョン信号である場合にそのプ
ルダウン位相とを図７について上述したフレーム間差分
による検出方法により検出し、その結果をクラス領域切
り出し部１５２、予測領域切り出し部１５５及びクラス
コード発生部１５４にそれぞれ供給する。

【００７５】クラス領域切り出し部１５２及び予測領域
切り出し部１５５は図１０について上述した場合と同様
にしてプルダウン位相に応じたクラス分類タップ及び予
測タップの切り出しを行う。

【００７６】クラス領域切り出し部１５２において切り
出されたクラス分類タップＳ１５２はクラス決定部１５
３に供給され、当該クラス決定部１５３においてクラス
分類タップに応じたクラスが決定され、当該決定結果情
報Ｓ１５３はクラスコード発生部１５４に供給される。

【００７７】クラスコード発生部１５４は映画モード、
位相検出部１５１から供給される映画モード及びプルダ
ウン位相の情報とクラス決定部１５３から供給されるク
ラス決定結果情報Ｓ１５３とに基づいた総合的なクラス
コードを発生し、当該クラスコードを表すクラスコード
情報Ｓ１５４を予測係数算出部１５６に供給する。

【００７８】予測係数算出部１５６は、予測領域切り出
し部１５５から供給される予測タップＳ１５５及びクラ
スコード発生部１５４から供給されるクラスコード情報
Ｓ１５４に基づいて、（９）式について上述した正規方
程式により予測係数を決定し、当該決定された予測係数
Ｓ１５６を予測係数テーブル１０９に格納する。

【００７９】（３）動作及び効果以上の構成において、走査線変換装置１００は、入力テ
レビジョン信号Ｓ_TVが映画モードテレビジョン信号Ｓ
_TV1である場合には、当該映画モードテレビジョン信号
Ｓ_TV1が２−３プルダウン方式により映画フィルムから
変換されていることに着目し、当該映画モードテレビジ
ョン信号Ｓ_TV1において互いに同一のコマ画像から生成
された複数のフィールド画像からクラス分類タップ及び
予測タップを切り出すことにより、当該映画モードテレ
ビジョン信号Ｓ_TV1が動きの速い動画像である場合で
も、複数のフィールドから予測タップを切り出すことが
できる。

【００８０】従って、１つのフィールドから予測タップ
を切り出す場合に比べて、その解像度を一段と高くする
ことができる。

【００８１】以上の構成によれば、２−３プルダウン方
式によって映画フィルムから変換されたインタレース方
式の映画モードテレビジョン信号をノンインタレース方
式に変換する場合に、同一のコマ画像から変換された複
数のフィールド画像からクラス分類タップ及び予測タッ
プを切り出して補完ラインを予測生成するようにしたこ
とにより、画像の動きによらず常に解像度の高いノンイ
ンタレース画像を得ることができる。

【００８２】（４）他の実施の形態なお上述の実施の形態においては、インタレース方式の
テレビジョン信号をノンインタレース方式に変換する場
合について述べたが、本発明はこれに限らず、例えばＳ
Ｄ画像をＨＤ画像に変換する場合等においても適用する
ことができる。

【００８３】また上述の実施の形態においては、クラス
分類タップ及び予測タップの切り出し方法として図１０
に示した方法を用いる場合について述べたが、タップの
切り出し方法はこれに限らず、他の種々の切り出し方法
を用いることができる。

【００８４】また上述の実施の形態においては、２−３
プルダウン方式によって映画フィルムから生成されたイ
ンタレース方式のテレビジョン信号をノンインタレース
方式に変換する場合について述べたが、本発明はこれに
限らず、要は入力画像信号として複数のフィールド画像
が同一の画像に基づいて生成されている場合において、
当該同一の画像に基づく複数のフィールド画像を用いて
タップを切り出すようにすれば良い。

【００８５】

【発明の効果】上述のように本発明によれば、同一画像
から生成された複数フィールドの画像を用いて補完画素
を予測生成するようにしたことにより、動きの速い動画
像においても一段と高解像度の画像を生成することがで
きる。

【図面の簡単な説明】

【図１】本発明によるクラス分類適応処理の原理の説明
に供するブロック図である。

【図２】本発明によるクラス分類適応処理の原理の説明
に供する略線図である。

【図３】本発明によるクラス分類適応処理の原理の説明
に供する略線図である。

【図４】本発明によるクラス分類適応処理の原理の説明
に供するブロック図である。

【図５】本発明によるクラス分類適応処理の原理の説明
に供するフローチャートである。

【図６】本発明による映像信号処理装置を用いた走査線
変換装置の一実施の形態を示すブロック図である。

【図７】映像モードの検出の説明に供する略線図であ
る。

【図８】映画モード、位相検出処理手順を示すフローチ
ャートである。

【図９】タップの切り出しの説明に供する略線図であ
る。

【図１０】タップの切り出しの説明に供する略線図であ
る。

【図１１】学習回路の構成を示すブロック図である。

【符号の説明】

１００……走査線変換装置（映像信号処理装置）、１０
１、１５１……映画モード、位相検出部、１０２、１０
３……フィールドディレイ回路、１０４……動き量推定
部、１０５、１５２……クラス領域切り出し部、１０
６、１５５……予測領域切り出し部、１０７、１５３…
…クラス決定部、１０８、１５４……クラスコード発生
部、１０９……予測係数テーブル、１１０……予測演算
部、１５０……学習回路、１５６……予測係数算出部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者中屋秀雄東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者渡辺勉東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者井上賢東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者新妻渉東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者内田真史東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者朝倉伸幸東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者守村卓夫東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者安藤一隆東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C063 AA01 AC01 BA04 BA12 CA07 CA09 CA34

Claims

【特許請求の範囲】

【請求項１】同一画像に対応した複数フィールドの画像
を有する第１の映像信号を第２の映像信号に変換する映
像信号処理装置において、注目画素に対して入力された上記第１の映像信号から上
記複数のフィールドに亘って複数の画素を抽出し、当該
抽出された複数の画素から上記注目画素に対するクラス
を決定するクラス決定手段と、上記決定されたクラスに応じて対応する予測データを発
生する予測データ発生手段と、上記決定されたクラスに応じて発生された予測データか
ら上記第２の映像信号の上記注目画素を発生する注目画
素発生手段とを具えることを特徴とする映像信号処理装
置。
【請求項２】上記予測データは複数の予測係数の組み合
わせからなり、上記クラスに応じて発生された予測係数の組み合わせと
上記第１の映像信号の上記複数画素に基づいて上記第２
の映像信号の上記注目画素を生成することを特徴とする
請求項１に記載の映像信号処理装置。
【請求項３】上記クラス毎の予測データの組み合わせ
は、上記第２の映像信号に対応する学習データを用いて
予め生成されていることを特徴とする請求項１に記載の
映像信号処理装置。
【請求項４】同一画像に対応した複数フィールドの画像
を有する第１の映像信号を第２の映像信号に変換する映
像信号処理方法において、注目画素に対して入力された上記第１の映像信号から上
記複数のフィールドに亘って複数の画素を抽出すると共
に、当該抽出された複数の画素から上記注目画素に対す
るクラスを決定し、上記決定されたクラスに応じて対応する予測データを発
生し、上記決定されたクラスに応じて発生された予測データか
ら上記第２の映像信号の上記注目画素を発生することを
特徴とする映像信号処理方法。
【請求項５】上記予測データは複数の予測係数の組み合
わせからなり、上記クラスに応じて発生された予測係数の組み合わせと
上記第１の映像信号の上記複数画素に基づいて上記第２
の映像信号の上記注目画素を生成することを特徴とする
請求項４に記載の映像信号処理方法。
【請求項６】上記クラス毎の予測データの組み合わせ
は、上記第２の映像信号に対応する学習データを用いて
予め生成されていることを特徴とする請求項４に記載の
映像信号処理方法。