JP2000078539A

JP2000078539A - 動き判定装置、その方法および画像情報変換装置

Info

Publication number: JP2000078539A
Application number: JP24944898A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Yasushi Tatsuhira; 靖立平; Masashi Uchida; 真史内田; Nobuyuki Asakura; 伸幸朝倉; Takuo Morimura; 卓夫守村; Kazutaka Ando; 一隆安藤; Hideo Nakaya; 秀雄中屋; Tsutomu Watanabe; 勉渡辺; Masaru Inoue; 賢井上; Wataru Niitsuma; 渉新妻
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-03
Filing date: 1998-09-03
Publication date: 2000-03-14
Anticipated expiration: 2018-09-03
Also published as: KR100652467B1; EP0984624A3; US6597737B1; JP4168490B2; EP0984624A2; KR20000022865A

Abstract

(57)【要約】【課題】画像信号の部分的画像の動き判定を行う時
に、テロップ等の人工的画像の動きを自然画の動きとは
別に検出し、動き適応処理を良好に行う。【解決手段】空間勾配が比較器５８で比較され、注目
点のフィールドとその前後のフィールドの空間勾配の中
の最小値が比較器６０で比較され、フレーム間差分が比
較器６２で比較され、ダイナミックレンジが比較器６３
で比較される。これらの比較結果が全てしきい値以上で
ある時には、出力が"1" となり、テロップの動きがある
と判定される。また、フィールド間差分の最大値が比較
器６７で比較され、フレーム間差分が比較器６９で比較
され、ダイナミックレンジが比較器７０で比較され、こ
れらの比較結果と空間勾配の比較結果が全てしきい値以
上である時には、出力が"1" となり、テロップの動きが
あると検出される。テロップの動き判定結果は、自然画
の動き判定結果より優先して出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像信号の動き
判定装置、その方法および画素情報変換装置に関する。

【０００２】

【従来の技術】入力ディジタル画像信号を異なる走査線
構造へ変換する画像信号変換装置、ディジタル画像信号
を圧縮する高能率符号化等の画像処理において、画像の
注目部分の静止、動きを判定する動き判定が使用され
る。従来の動き判定装置では、画像部分（例えば１フレ
ームの画像を細分化したブロック）についてフレーム間
差分の絶対値の和を求め、絶対値の和の大小によって、
画像部分の動きの有無を判定するようにしていた。すな
わち、フレーム間差分の絶対値和が大きい時には、画像
部分に動きがありと決定し、これが小さい時には、静止
と決定している。

【０００３】

【発明が解決しようとする課題】従来の動き判定は、フ
レーム間差分を使用した判定であるために、テロップを
動いている時には、動くテロップが存在するにもかかわ
らず、静止と誤って判定するおそれがあった。テロップ
は、画像に重畳される文字、記号を意味する。例えば
「川」の文字が水平方向に動き、１フレーム後では、こ
の文字の２本の縦の部分が重なるような場合では、１フ
レームの中間のフィールドでは、時間的に前のフィール
ドの画像と大きく異なっていても、フレーム間差分が小
さいために、静止と判定してしまう。この判定に基づい
て静止画に適用される画像処理を行うと、その部分が滑
らかに動いているように見えず、不自然な処理結果が生
じる。一方、画像全体で動き状態に適用される処理を行
うと、その他の静止部分でも動き状態に適用される処理
がなされるので、画像全体がぼけた感じになってしまう
問題があった。

【０００４】従って、この発明の目的は、テロップのよ
うな人工的な画像の動き判定をテロップ以外の画像の動
き判定と分離して行うことにより、動き適応処理をより
良好に行うことが可能な動き判定装置、その方法および
画像情報変換装置を提供することにある。

【０００５】

【課題を解決するための手段】請求項１の発明は、入力
画像信号の部分画像に関して動きを検出する動き判定装
置において、部分画像に関して検出されたフレーム間差
分をしきい値と比較し、フレーム間差分がしきい値より
大きい時に、動きがあるものと判定する第１の動き検出
部と、部分画像に関して検出されたフレーム間差分をし
きい値と比較し、部分画像に関して検出されたフィール
ド間差分をしきい値と比較し、フレーム間差分およびフ
ィールド間差分がそれぞれしきい値より大きい時に、人
工的な画像の動きがあるものと判定する第２の動き検出
部と、第１および第２の動き検出部の判定出力から動き
判定出力を形成する出力部とからなる動き判定装置であ
る。

【０００６】請求項８の発明は、入力画像信号の部分画
像に関して動きを検出する動き判定方法において、部分
画像に関して検出されたフレーム間差分をしきい値と比
較し、フレーム間差分がしきい値より大きい時に、動き
があるものと判定する第１の動き検出のステップと、部
分画像に関して検出されたフレーム間差分をしきい値と
比較し、部分画像に関して検出されたフィールド間差分
をしきい値と比較し、フレーム間差分およびフィールド
間差分がそれぞれしきい値より大きい時に、人工的な画
像の動きがあるものと判定する第２の動き検出のステッ
プと、第１および第２の動き検出のステップの判定出力
から動き判定出力を形成するステップとからなる動き判
定方法である。

【０００７】請求項９の発明は、入力画像信号から走査
線構造の異なる複数の出力画像信号を形成するようにし
た画像情報変換装置において、出力画像信号の生成すべ
き画素の周辺に位置する入力画像信号の複数の第１の画
素を選択する第１のデータ選択手段と、出力画像信号の
生成すべき画素の周辺に位置する入力画像信号の複数の
第２の画素を選択する第２のデータ選択手段と、出力画
像信号の生成すべき画素の周辺に位置する入力画像信号
の複数の第３の画素を選択する第３のデータ選択手段
と、予め取得されている推定式係数を記憶するメモリ手
段と、第１のデータ選択手段で選択された複数の第１の
画素と推定式係数の線形推定式によって、出力画像信号
の画素を生成する信号生成手段と、第２のデータ選択手
段で選択された複数の第２の画素に基づいて、空間クラ
スを形成し、第３のデータ選択手段で選択された複数の
第３の画素に基づいて、動きクラスを形成し、空間クラ
スと動きクラスとを統合したクラス情報に対応して推定
式係数を信号生成手段に供給するクラス決定手段と、信
号生成手段に対して接続され、変換画像を指定された走
査線構造へ変換するための走査変換手段とを有し、動き
クラスを形成するための動き判定部は、部分画像に関し
て検出されたフレーム間差分をしきい値と比較し、フレ
ーム間差分がしきい値より大きい時に、動きがあるもの
と判定する第１の動き検出部と、部分画像に関して検出
されたフレーム間差分をしきい値と比較し、部分画像に
関して検出されたフィールド間差分をしきい値と比較
し、フレーム間差分およびフィールド間差分がそれぞれ
しきい値より大きい時に、人工的な画像の動きがあるも
のと判定する第２の動き検出部と、第１および第２の動
き検出部の判定出力から動き判定出力を形成する出力部
とからなる画像情報変換装置である。

【０００８】この発明では、フィールド間差分を用いて
動き検出を行うので、テロップのような人工的な画像の
動き判定を行うことができる。また、人工的な画像の動
き判定を、通常の画像例えば自然画と別に行うことによ
って、動きに適応した処理をより良好に行うことができ
る。

【０００９】

【発明の実施の形態】以下、この発明の一実施形態につ
いて図面を参照して説明する。図１は、この発明の一実
施形態の構成を示す。図１に示すように、入力端子１か
らの入力ディジタル画像信号がタップ構築回路２に供給
される。一例として、入力ディジタル画像信号がインタ
ーレス信号であって、タップ構築回路２では、図２に示
す５０個の画素が動き判定に使用するタップとして選択
され、選択されたタップが出力される。図２は、ｔ−
１，ｔ、ｔ＋１と時間的に連続する３フィールドの空間
的に同一部分の画像を示している。図２中のドットが所
定周波数でサンプリングされることが得られる画素を示
す。例えば１画素は、８ビットの輝度値である。

【００１０】時間ｔ−１のフィールドでは、時間的に連
続する３ラインのそれぞれから対応する位置の５個のタ
ップが選択される。同様に、時間t+1 のフィールドで
は、時間的に連続する３ラインのそれぞれから対応する
位置の５個のタップが選択される。これらのフィールド
のタップの空間的な位置が同一である。また、現在（時
間ｔ）のフィールドでは、時間的に連続する４ラインの
それぞれから対応する位置の５個のタップが選択され
る。インターレス方式であるために、これらの４ライン
は、t-1 およびt+1 のフィールドのタップとは、空間的
に１ラインずれている。そして、図２において、×で示
す位置が注目点であり、この注目点に関しての動き判定
がなされる。

【００１１】タップ構築回路２に対してテロップ動き検
出部３、フレーム間差分ＦｒＧ検出回路４および空間勾
配ＳＧsum 検出回路５が接続される。テロップ動き検出
部３に対して選択回路６が接続される。フレーム間差分
ＦｒＧ検出回路４に対して比較器７，８，９が接続され
る。比較器７では、フレーム間差分ＦｒＧとしきい値ｔ
ｈ２とが比較され、比較器８および９では、フレーム間
差分ＦｒＧとしきい値ｔｈ３およびｔｈ４とがそれぞれ
比較される。空間勾配ＳＧsum 検出回路５に対して比較
器１０が選択される。比較器１０では、空間勾配ＳＧsu
m としきい値ｔｈ１とが比較される。

【００１２】比較器７，８，９，１０は、入力値がしき
い値より大きい時に、"1" （論理的な１）の出力を発生
し、そうでない時に、"0" の出力を発生する。例えばＦ
ｒＧ≧ｔｈ２の時には、比較器７の出力が"1" となり、
ＦｒＧ＜ｔｈ２の時には、その出力が"0" （論理的な
０）となる。さらに、空間勾配ＳＧsum 検出回路５に対
して、しきい値発生部１２が接続される。しきい値の大
小関係は、ｔｈ２＞ｔｈ３＞ｔｈ４である。しきい値発
生部１２については後述する。

【００１３】フレーム間差分ＦｒＧは、t-1 のフィール
ドの１５個のタップの画素値のそれぞれと、１フレーム
後のt+1 のフィールドの空間的に同一位置の１５個のタ
ップの画素値との差分を求め、求まった１５個のフレー
ム間差分を絶対値に変換し、さらに、フレーム間差分の
絶対値を合計した値である。一般的には、フレーム間差
分ＦｒＧが大きいほど、フレーム間の動きが大きいもの
と判定される。

【００１４】空間勾配ＳＧsum は、t-1 のフィールドの
空間勾配ＳＧ（t-1)、ｔのフィールドの空間勾配ＳＧ
(t) 、t+1 のフィールドの空間勾配ＳＧ（t+1)の合計値
である。これらの空間勾配は、空間アクティビティの一
つである。各フィールドの空間勾配は、それぞれの画素
と隣接画素との差分の絶対値を求め、差分の絶対値を合
計した値である。例えばt-1 のフィールドにおいて、左
上コーナーの画素の場合では、その真下の画素と右側の
画素とが隣接画素であり、自分の画素値と各隣接画素の
画素値の差分が計算される。同様に、他の画素に関して
も、垂直方向および水平方向における隣接画素との差分
値が計算される。そして、１５個の画素に関する差分値
を合計することによって、t-1 のフィールドの空間勾配
ＳＧ（t-1) が求められる。他のフィールドの空間勾配
ＳＧ(t) およびＳＧ（t+1)も同様に求められる。

【００１５】比較器７，８，９および１０の出力が動き
クラス決定部１１に供給される。動きクラス決定部１１
は、これらの比較器７〜１０の出力を受け取って例えば
３ビットのコードの動きクラスＭＪを出力する。動きク
ラスＭＪは、０，１，２，３の値をとりうる。動きクラ
ス０から動きクラス３に向かって、注目点の動きが大き
いことを表す。動きクラスＭＪ決定部１１は、下記の条
件によって動きクラスＭＪを決定し、動きクラスＭＪを
選択回路６に出力する。

【００１６】動きクラスＭＪ＝３ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ２（and は論理積の
意味である）動きクラスＭＪ＝２ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ３動きクラスＭＪ＝１ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ４動きクラス０上記以外しきい値発生部１２は、図３に示すように、空間勾配Ｓ
Ｇsum の大きさに従って変化するしきい値ｔｈ２、ｔｈ
３、ｔｈ４を発生する。各しきい値の変化の仕方が独立
であるが、空間勾配ＳＧsum が大きくなるに従って各し
きい値も大きくなる傾向を有する。発生したしきい値ｔ
ｈ２、ｔｈ３およびｔｈ４が上述した比較器７、８、９
に対してそれぞれ供給され、フレーム間差分ＦｒＧと比
較される。それによって、上述した条件に従って、４種
類の動きクラスＭＪが決定される。なお、しきい値ｔｈ
１は、動き判定の対象である部分画像の空間勾配ＳＧsu
mがある程度以上大きいことを検出するために適切な値
に選定される。

【００１７】しきい値ｔｈ２を発生するために、空間勾
配ＳＧsum が供給される区間判定回路２１および区間内
位置判定回路２２と、区間判定回路２１の出力に対応し
たパラメータを出力するメモリ２３と、区間内位置判定
回路２２の出力とメモリ２３からのパラメータを受け取
ってしきい値ｔｈ２を発生するｔｈ２計算回路２４とが
設けられている。図３に示すように、空間勾配ＳＧsum
のＡ０、Ａ１、Ａ２、Ａ３で示す値によって、４個の区
間が規定される。３個の区間（Ａ０−Ａ１）（Ａ１−Ａ
２）（Ａ２−Ａ３）は、互いに等しい幅とされる。ま
た、ＳＧsum ＞Ａ３以上の区間では、しきい値ｔｈ２、
ｔｈ３、ｔｈ４の値が飽和したものとされる。区間判定
回路２１によって、４個の区間の内の１つの区間が決定
される。

【００１８】また、空間勾配ＳＧsum の値Ａ０〜Ａ３に
それぞれと対応するしきい値レベルＢ１０、Ｂ１１、Ｂ
１２、Ｂ１３が規定され、これらのレベルがメモリ２３
から出力される。例えば区間（Ａ０−Ａ１）の場合で
は、レベルＢ１０およびＢ１１がメモリ２３からしきい
値計算回路２４に対して出力される。３個の各区間の中
は、均等に例えば６４分割される。区間内位置判定回路
２２は、区間内の位置を決定する。区間内の位置が決定
されると、しきい値計算回路２４は、線形補間によっ
て、しきい値ｔｈ２を発生する。例えば区間（Ａ０−Ａ
１）内の位置では、その位置に応じた係数をレベルＢ１
０およびＢ１１に対してそれぞれ乗算し、乗算結果を加
算することによって、しきい値ｔｈ２が得られる。

【００１９】しきい値ｔｈ３を発生するために、区間判
定回路３１、区間内位置判定回路３２、メモリ３３およ
び計算回路３４が設けられる。しきい値ｔｈ４を発生す
るために、区間判定回路４１、区間内位置判定回路４
２、メモリ４３および計算回路４４が設けられる。これ
らの構成は、上述したしきい値ｔｈ２を発生するための
構成と同様に動作する。但し、メモリ３４には、しきい
値ｔｈ３用のレベルＢ２０、Ｂ２１、Ｂ２２、Ｂ２３が
格納され、メモリ４４には、しきい値ｔｈ４用のレベル
Ｂ３０、Ｂ３１、Ｂ３２、Ｂ３３が格納されている。

【００２０】上述したように決定された動きクラスＭＪ
が選択回路６に供給される。選択回路６では、テロップ
動き検出部３からのテロップ判定出力と、動きクラスＭ
Ｊの一方が選択され、出力端子１３に出力される。一例
として、テロップ判定出力に対して単一のクラス（モノ
クラス）を割り当てる。条件Ａまたは条件Ｂが成立する
時に、テロップ判定出力がテロップの動きがあることを
示す。

【００２１】選択回路６は、テロップ判定出力がテロッ
プの動きを示す場合には、出力としてテロップ判定出力
を優先的に出力する。テロップの動きを示すものでない
場合に、動きクラスＭＪを出力する。なお、動きクラス
決定部１１の後に多数決判定部を接続し、多数決判定に
よって最終的な動きクラスを決定するようにしても良
い。多数決判定処理によって、動きクラスの孤立点を除
去し、空間的に近接した範囲の動きクラスの整合性を高
めることができる。

【００２２】テロップ判定出力をモノクラスとして扱う
必要はなく、動きクラスの一部として扱っても良い。そ
の場合には、下記の条件に従ってクラスが決定される。

【００２３】動きクラスＭＪ＝３（条件ＡまたはＢが満
たされる時に、テロップの動きと判定し、両条件が満た
されない時に、テロップの動きではないと判定するテロ
ップ判定出力が使用される）Ａ andＢ andＦｒＧ≧ｔｈ２動きクラスＭＪ＝２ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ３動きクラスＭＪ＝１ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ４動きクラス０上記以外次に、テロップ動き検出部３について説明する。テロッ
プは、画像に重畳される文字、記号を意味する。但し、
この発明は、テロップ以外の人工的に作成された画像で
ある、コンピュータゲームの画像、コンピュータグラフ
ィックス等の検出にも有効である。すなわち、これらの
画像は、一定輝度の画素が時間的または空間的に連続
し、文字、記号、図形を表現する画像信号としての性質
を共通に有するからである。

【００２４】図４は、テロップ動き検出部３の一例の構
成を示す。タップ構築回路２に対して、空間勾配ＳＧ
(t) 、ＳＧ(t-1) 、ＳＧ(t+1) をそれぞれ検出する検出
回路５１、５２、５３と、フレーム間差分ＦｒＧ検出回
路５４と、フィールド間差分検出回路５５と，ダイナミ
ックレンジＤＲ検出回路５６とが接続される。ＳＧ
(t)、ＳＧ(t-1) 、ＳＧ(t+1) は、時間的に連続するフ
ィールドt-1 、t 、t+1 のそれぞれの空間勾配である。
ＳＧsum ＝ＳＧ(t-1) ＋ＳＧ(t) ＋ＳＧ(t+1) の関係に
ある。また、フレーム間差分ＦｒＧは、上述した動きク
ラス検出に使用するものと同じものである。従って、図
１と図４では、別々の構成として示されているが、検出
回路５１〜５４は、図１中の検出回路４および５と共用
することが可能である。ダイナミックレンジＤＲは、切
り出されたタップ（５０画素）の中の最大値と最小値の
差であり、空間アクティビティを表すものである。

【００２５】図５は、フィールド間差分を説明する図で
ある。連続するフィールド間では、インターレス方式で
は、垂直方向のライン位置がずれている。従って、フィ
ールド間差分としては、自分のラインより上側に位置す
る他のフィールドのラインとの差分（ｕの文字を付け
る）と、自分のラインより下側に位置する他のフィール
ドのラインとの差分（ｄの文字を付ける）との２種類あ
る。

【００２６】図５から分かるように、ＦｉＧｕt-1 は、
フィールドt-1 およびｔ間の、上向きのフィールド間差
分を表し、ＦｉＧｄt-1 は、フィールドt-1 およびｔ間
の、下向きのフィールド間差分を表す。同様に、ＦｉＧ
ｕt は、フィールドｔおよびt+1 間の、上向きのフィー
ルド間差分を表し、ＦｉＧｄt は、フィールドｔおよび
t+1 間の、下向きのフィールド間差分を表す。フレーム
間差分ＦｒＧと同様に、５×３および５×４（図２参
照）の各ブロックの各画素の差分値の絶対値和がフィー
ルド間差分として検出される。フィールド間差分検出回
路５５は、これらの４個のフィールド間差分を検出す
る。検出されたフィールド間差分を用いて下記の判定条
件に従ってテロップ部分の動きの有無を検出する。すな
わち、条件ＡまたはＢが満足される場合は、テロップ部
分の動きとして判定し、そうでない場合は、テロップ部
分の動きでないと判定する。

【００２７】Ａ＝ＳＧsum ≧ｔｈ５ and min｛｜SG(t) −SG(t-1) ｜，｜SG(t) −SG(t+1)
｜｝≧ｔｈ６ and ＦｒＧ≧ｔｈ７ and ＤＲ≧ｔｈ８Ｂ＝ＳＧsum ≧ｔｈ５ and max｛FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧
ｔｈ９ and ＦｒＧ≧ｔｈ１０ and ＤＲ≧ｔｈ１１図４に示す構成は、上述した条件Ａ、条件Ｂが満足され
るかどうかを判定する構成とされている。検出回路５
２、５３および５４でそれぞれ検出された各フィールド
の空間的に同一位置のブロックの空間勾配ＳＧ(t) 、Ｓ
Ｇ(t-1) 、ＳＧ(t+1) が加算器５７に供給され、これら
の合計値ＳＧsum が計算される。ＳＧsumが比較器５８
に供給され、比較器５８にてしきい値ｔｈ５と比較され
る。比較器５８の出力がアンド回路６５に供給される。

【００２８】空間勾配ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+
1) が最小値検出部５９に供給され、その中の最小値が
検出される。検出された最小の空間勾配が比較器６０に
供給され、比較器６０にてしきい値ｔｈ６と比較され
る。比較器６０の比較出力がアンド回路６１に供給され
る。検出回路５４で検出されたフレーム間差分ＦｒＧが
比較器６２に供給され、比較器６２にてしきい値ｔｈ７
と比較される。比較器６２の出力がアンド回路６１に供
給される。検出回路５６で検出されたダイナミックレン
ジＤＲが比較器６３に供給され、比較器６３にてしきい
値ｔｈ８と比較される。比較器６３の出力（ＤＲ１）が
アンド回路６１に供給される。

【００２９】後述する比較器を含む全ての比較器は、入
力がしきい値以上の場合に、"1" となる比較出力を発生
する。従って、アンド回路６１に入力される比較器６
０、６２、６３の出力が全て"1" の時に、アンド回路６
１の出力が"1" となる。アンド回路６１の出力がオア回
路６４を介してアンド回路６５に供給される。アンド回
路６５には、比較器５８の出力が供給されている。従っ
て、アンド回路６１の出力が"1" であり、比較器５８の
出力が"1" である場合に、アンド回路６５の出力が"1"
となり、条件Ａを満たし、テロップ部分の動きであるこ
とを示す出力が発生する。出力が"0" である時は、テロ
ップ部分の動きでないことを示す。

【００３０】また、検出回路５５で検出されたフィール
ド間差分が最大値検出部６６に供給され、４個のフィー
ルド間差分の中の最大値が検出される。検出された最大
のフィールド間差分が比較器６７に供給され、比較器６
７にてしきい値ｔｈ９と比較される。比較器６７の出力
がアンド回路６８に供給される。検出回路５４で検出さ
れたフレーム間差分ＦｒＧが比較器６９に供給され、比
較器６９にてしきい値ｔｈ１０と比較される。比較器６
９の出力がアンド回路６８に供給される。検出回路５６
で検出されたダイナミックレンジＤＲが比較器７０に供
給され、比較器７０にてしきい値ｔｈ１１と比較され
る。比較器７０の出力（ＤＲ２）がアンド回路６８に供
給される。

【００３１】アンド回路６８に入力される比較器６７、
６９、７０の出力が全て"1" の時に、アンド回路６８の
出力が"1" となる。アンド回路６８の出力がオア回路６
４を介してアンド回路６５に供給される。アンド回路６
５には、比較器５８の出力が供給されている。従って、
アンド回路６８の出力が"1" であり、比較器５８の出力
が"1" である場合に、アンド回路６５の出力が"1" とな
り、条件Ｂを満たし、テロップ部分の動きであることを
示す出力が発生する。出力が"0" である時は、テロップ
部分の動きでないことを示す。

【００３２】上述したテロップ動き検出部２からのテロ
ップ部分の動き／静止を示す出力が選択回路６（図１）
に供給され、この出力がテロップ部分の動きがあること
を示す時には、選択回路６によって"1" の出力が選択さ
れ、この出力がテロップ部分の動きがあることを示さな
い時には、動きクラスが選択される。動きクラスの０か
ら３を３ビットで表現されている時には、テロップ部分
の動きを示すテロップクラスとしては、動きクラスと区
別できる３ビットを割り当て、選択回路６がテロップ動
き検出部２の出力に応答してその３ビットのコードを発
生する。

【００３３】テロップ動き検出部２の他の例について、
図６および図７を参照して説明する。他の例では、フィ
ールド間差分として、垂直方向のフィルタ処理を行った
フィールド間差分を使用してテロップ部分の動きを判定
するものである。図６は、テロップ動き検出部２の他の
例の構成を示す。タップ構築回路２に対して、空間勾配
ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+1) の合計値ＳＧsum を
検出する検出回路７１と、フレーム間差分ＦｒＧ検出回
路７２と、垂直方向のフィルタ７３と、ダイナミックレ
ンジＤＲ検出回路７４とが接続される。ＳＧsum ＝ＳＧ
(t-1) ＋ＳＧ(t) ＋ＳＧ(t+1) の関係にある。また、フ
レーム間差分ＦｒＧは、上述した動きクラス検出に使用
するものと同じものである。なお、図１と図６とでは、
別々の構成として示されているが、検出回路７１、７
２、７４は、図１中の検出回路４および５と共用するこ
とが可能である。

【００３４】フィルタ７３の出力信号が減算器７５に供
給される。減算器７５には、タップ構築回路２の出力信
号が供給される。減算器７５によって、垂直方向のフィ
ルタ７３の処理がなされたフィールドと他のフィールド
とのフィールド間差分が計算される。フィールド間差分
生成回路７６は、フィールド間差分ＦｉＧ１(t) を発生
し、フィールド間差分生成回路７７は、フィールド間差
分ＦｉＧ２(t) を発生する。

【００３５】図７は、フィールド間差分を説明する図で
ある。連続するフィールド間では、インターレス方式で
は、垂直方向のライン位置がずれている。垂直方向のフ
ィルタ７３は、破線の丸印で示すように、フィールドｔ
において、上下のラインの画素ａおよびｂの平均値であ
る補間値ｃ（＝０．５ａ＋０．５ｂ）を発生する。そし
て、減算器７５は、フィールドt-1 の画素とフィールド
ｔのフィルタ７３で発生した補間値との差分値、並びに
フィールドt+1 の画素とフィールドｔのフィルタ７３で
発生した補間値との差分値を発生する。

【００３６】減算器７５の出力の中で、フィールドt-1
の画素とフィールドｔのフィルタ７３で発生した補間値
との差分値がフィールド間差分生成回路７６において絶
対値に変換される。１ブロック当たりで発生した１５個
の差分の絶対値が積算され、フィールド間差分ＦｉＧ１
(t) が生成される。同様に、フィールド間差分生成回路
７７がフィルタ処理されたフィールドｔとフィールドt+
1 との間の差分値の絶対値和である、フィールド間差分
ＦｉＧ２(t) を生成する。検出されたフィールド間差分
を用いて下記の判定条件に従ってテロップ部分の動きを
検出する。すなわち、条件ＡまたはＢが満足される場合
は、テロップ部分の動きとして判定し、そうでない場合
は、テロップ部分の動きでないと判定する。なお、垂直
方向のフィルタ処理をフィールドt-1 およびt+1 に対し
て行うようにしても良い。

【００３７】Ａ＝ＳＧsum ≧ｔｈ１２ and ＦｉＧ１(t) ≧ｔｈ１３ and ＦｒＧ≧ｔｈ１４ and ＤＲ≧ｔｈ１５Ｂ＝ＳＧsum ≧ｔｈ１２ and ＦｉＧ２(t) ≧ｔｈ１６ and ＦｒＧ≧ｔｈ１７ and ＤＲ≧ｔｈ１８図６に示す構成は、上述した条件Ａ、条件Ｂが満足され
るかどうかを判定する構成とされている。検出回路７１
で検出された空間勾配の合計値ＳＧsum 比較器７８に供
給され、比較器７８にてしきい値ｔｈ１２と比較され
る。比較器７８の出力がアンド回路８４に供給される。

【００３８】フィールド間差分生成回路７６からのフィ
ールド間差分ＦｉＧ１(t) が比較器７９に供給され、比
較器７９にてしきい値ｔｈ１３と比較される。比較器７
９の出力がアンド回路８２に供給される。検出回路７２
で検出されたフレーム間差分ＦｒＧが比較器８０に供給
され、比較器８０にてしきい値ｔｈ１４と比較される。
比較器８０の出力がアンド回路８２に供給される。検出
回路７４で検出されたダイナミックレンジＤＲが比較器
８１に供給され、比較器８１にてしきい値ｔｈ１５と比
較される。比較器８１の出力（ＤＲ１）がアンド回路８
２に供給される。

【００３９】アンド回路８２に入力される比較器７９、
８０、８１の出力が全て"1" の時に、アンド回路８２の
出力が"1" となる。アンド回路８２の出力がオア回路８
３を介してアンド回路８４に供給される。アンド回路８
４には、比較器７８の出力が供給されている。従って、
アンド回路８２の出力が"1" であり、比較器７８の出力
が"1" である場合に、アンド回路８４の出力が"1" とな
り、条件Ａを満たし、テロップ部分の動きであることを
示す出力が発生する。出力が"0" である時は、テロップ
部分の動きでないことを示す。

【００４０】また、フィールド間差分生成回路７７から
のフィールド間差分ＦｉＧ２(t) が比較器８５に供給さ
れ、比較器８５にてしきい値ｔｈ１６と比較される。比
較器８５の出力がアンド回路８６に供給される。検出回
路７２で検出されたフレーム間差分ＦｒＧが比較器８７
に供給され、比較器８７にてしきい値ｔｈ１７と比較さ
れる。比較器８７の出力がアンド回路８６に供給され
る。検出回路７４で検出されたダイナミックレンジＤＲ
が比較器８８に供給され、比較器８８にてしきい値ｔｈ
１８と比較される。比較器８８の出力（ＤＲ２）がアン
ド回路８６に供給される。

【００４１】アンド回路８６に入力される比較器８５、
８７、８８の出力が全て"1" の時に、アンド回路８６の
出力が"1" となる。アンド回路８６の出力がオア回路８
３を介してアンド回路８４に供給される。アンド回路８
４には、比較器７８の出力が供給されている。従って、
アンド回路８６の出力が"1" であり、比較器７８の出力
が"1" である場合に、アンド回路８４の出力が"1" とな
り、条件Ｂを満たし、テロップ部分の動きであることを
示す出力が発生する。出力が"0" である時は、テロップ
部分の動きでないことを示す。

【００４２】図６に示すテロップ動き検出部２の他の例
からのテロップ部分の動きがあるか否かを示す出力が選
択回路６（図１）に供給され、テロップ部分の動きを示
す時には、選択回路６によって"1" の出力が選択され、
テロップ部分の動きを示さない時には、動きクラスが選
択される。

【００４３】上述したテロップ動き検出部２の一例およ
び他の例では、空間アクティビティとしてダイナミック
レンジＤＲを使用し、ダイナミックレンジＤＲがしきい
値以上である場合をテロップ検出の条件の一つとしてい
る。このダイナミックレンジＤＲに代えて、図８の構成
により検出した空間アクティビティを使用しても良い。

【００４４】図８において、タップ構築回路９１によっ
て接続された複数のタップ（図２に示す５０個のタッ
プ）の画素値が最大値検出回路９２および最小値検出回
路９３に供給される。検出された最大値および最小値が
それぞれ比較器９４および９５に供給され、しきい値ｔ
ｈ１９およびｔｈ２０とそれぞれ比較される。比較器９
４は、最大値がしきい値ｔｈ１９以上の場合に"1" の出
力を発生し、比較器９５は、最小値がしきい値ｔｈ２０
以上の場合に"1" の出力を発生する。アンド回路９６に
対してこれらの比較器９４および９５の出力が供給さ
れ、アンド回路９６から出力が発生する。

【００４５】アンド回路９６の出力は、最大値がしきい
値ｔｈ１９以上で、最小値がしきい値ｔｈ２０以上であ
ることを示す。ダイナミックレンジＤＲがしきい値以上
であることを示す出力に代えて、アンド回路９６の出力
を使用するようにしても良い。

【００４６】上述したこの発明による動き判定装置は、
画像信号変換装置における動きクラスの生成に対して適
用することができる。この画像信号変換装置は、ＳＤ
（Standard Definition ）信号が入力され、ＨＤ（High
Definition ）信号を出力するものである。また、ＨＤ
画素を生成する場合、生成するＨＤ画素の近傍にある、
ＳＤ画素をクラス分割し、それぞれのクラス毎に予測係
数値を学習により獲得することで、より真値に近いＨＤ
画素を得るものである。図９は、このような手法による
画像信号変換装置である。

【００４７】図９において、入力ＳＤ信号（５２５ｉ信
号）が第１のタップ選択回路１０１、第２のタップ選択
回路１０３および第３のタップ選択回路１０４に供給さ
れる。第１のタップ選択回路１０１は、予測に使用する
ＳＤ画素（予測タップと称する）を選択するものであ
る。第２のタップ選択回路１０３は、生成するＨＤ画素
の近傍のＳＤ画素のレベル分布のパターンに対応するク
ラス分類に使用するＳＤ画素（空間クラスタップと称す
る）を選択するものである。第３のタップ選択回路１０
４は、生成するＨＤ画素の近傍のＳＤ画素に基づいて動
きに対応するクラス分類に使用するＳＤ画素（動きクラ
スタップと称する）を選択するものである。

【００４８】第１のタップ選択回路１０１により選択さ
れた予測タップが推定予測演算回路１０２に供給され
る。第２のタップ選択回路１０３により選択された空間
クラスタップが空間クラス検出回路１０５に供給され
る。空間クラス検出回路１０５は、空間クラスを検出す
る。検出された空間クラスがクラス合成回路１０７に供
給される。第３のタップ選択回路１０４により選択され
た動きクラスタップが動きクラス検出回路１０６に供給
される。動きクラス検出回路１０６は、動きクラスを検
出する。検出された動きクラスがクラス合成回路１０７
に供給される。クラス合成回路１０７によって、空間ク
ラスおよび動きクラスが統合され、最終的なクラスコー
ドが形成される。

【００４９】このクラスコードが係数メモリ１０８に対
して、アドレスとして供給され、係数メモリ１０８から
クラスコードに対応する係数データが読出される。係数
データと予測タップとが推定予測演算回路１０２に供給
される。推定予測演算回路１０２では、予測タップ（５
２５ｉ信号の画素）と予測係数との線形推定式を用いて
出力映像信号（５２５ｐ信号）のデータを算出する。推
定予測演算回路１０２は、現存ライン上のデータ（ライ
ンデータＬ１）と、生成ライン上のデータ（ラインデー
タＬ２）を出力する。同時に、推定予測演算回路１０２
は、水平方向で２倍の数の画素を出力する。５２５ｉ信
号は、ライン数が５２５本のインターレス信号を意味
し、５２５ｐ信号は、ライン数が５２５本のプログレッ
シブ（ノンインターレス）信号を意味する。

【００５０】推定予測演算回路１０２からのラインデー
タＬ１、Ｌ２が線順次変換回路１０９に供給される。線
順次変換回路１０９は、ライン倍速の処理を行う。推定
予測演算回路１０２は、５２５ｉ信号から５２５ｐ信号
を生成するので、水平周期は、５２５ｉ信号と同一であ
る。線順次変換回路１０９は、水平周期を２倍とするラ
イン倍速処理を行う。線順次変換回路１０９から５２５
ｐ信号が取り出される。

【００５１】図１０は、１フィールドの画像の一部を拡
大することによって、５２５ｉ信号と５２５ｐ信号との
画素の配置を示すものである。大きなドットが５２５ｉ
信号の画素であり、小さいドットが出力される５２５ｐ
信号の画素である。この関係は、図１０以外の他の図面
においても同様である。図１０は、あるフレーム（Ｆ）
の奇数（Ｏ）フィールドの画素配置である。他のフィー
ルド（偶数フィールド）では、５２５ｉ信号のラインが
空間的に０．５ラインずれたものとなる。図１０ら分か
るように、５２５ｉ信号のラインと同一位置のラインデ
ータＬ１および５２５ｉ信号の上下のラインの中間位置
のラインデータＬ２を形成し、また、各ラインの水平方
向の画素数を２倍とする。従って、推定予測演算回路１
０２によって、５２５ｐ信号の４画素のデータが同時的
に生成される。

【００５２】図１１は、ライン倍速処理をアナログ波形
を用いて示すものである。推定予測演算回路１０２によ
って、ラインデータＬ１およびＬ２が同時に生成され
る。ラインデータＬ１には、順にａ１，ａ２，ａ３，・
・・のラインが含まれ、ラインデータＬ２には、順にｂ
１，ｂ２，ｂ３，・・・のラインが含まれる。線順次変
換回路１０９は、各ラインのデータを時間軸方向に１／
２に圧縮し、圧縮されたデータをスイッチング回路によ
って交互に選択することによって、線順次出力（ａ０，
ｂ０，ａ１，ｂ１，・・・）を形成する。

【００５３】図示しないが、出力映像信号がＣＲＴディ
スプレイに供給される。ＣＲＴディスプレイは、出力映
像信号（５２５ｐ信号）を表示することが可能なよう
に、その同期系が構成されている。入力映像信号として
は、放送信号、またはＶＴＲ等の再生装置の再生信号が
供給される。すなわち、この一実施形態をテレビジョン
受像機に内蔵することができる。

【００５４】図１２は、第２のタップ選択回路１０３に
より選択されるタップ（ＳＤ画素）を示す。図１２は、
時間的に連続するフレームＦ−１の奇数フィールドｏ
（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィールド
（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれぞれの垂直方向
の画素の配列を示す。

【００５５】図１２に示すように、フィールドＦ／ｏの
ラインデータＬ１およびＬ２を予測する時の空間クラス
タップは、このフィールドＦ／ｏの次のフィールドＦ／
ｅに含まれ、生成すべき５２５ｐ信号の画素と空間的に
近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／
ｏに含まれ、生成すべき５２５ｐ信号の画素の近傍の入
力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ−１／ｅ
の入力画素Ｔ６，Ｔ７である。フィールドＦ／ｅのライ
ンデータＬ１およびＬ２を予測する時も同様にタップが
選択される。なお、ラインデータＬ１の画素を予測する
モード１では、Ｔ７の画素をクラスタップとして選択せ
ず、ラインデータＬ２の画素を予測するモード２では、
Ｔ４の画素をクラスタップとして選択しないようにして
も良い。

【００５６】ここで、前述したこの発明による動き判定
装置は、動きクラス検出回路１０６に対して適用され
る。従って、タップ選択回路１０４により選択されるタ
ップ、すなわち、動きクラスタップは、図２に示すよう
な５０個のＳＤ画素である。そして、前述したように、
テロップクラスまたは動きクラスＭＪが決定され、これ
が動きクラスとしてクラス合成回路１０７に供給され
る。この場合に、テロップの動きがあることを示すクラ
スを単独に設定するか、または動きの程度を示す複数の
クラスの一部にテロップの動きを示すクラスを配置する
ようになされる。

【００５７】タップ選択回路１０３で選択された空間ク
ラスタップが空間クラス検出回路１０５に供給される。
空間クラス検出回路１０５は、選択された空間クラスタ
ップのレベル分布のパターンを検出する。この場合、各
画素８ビットのＳＤデータを２ビットのＳＤデータへ圧
縮するような処理を行う。一例として、ＡＤＲＣ（Adap
tive Dynamic Range Coding ）によって、空間クラスタ
ップのＳＤ画素のデータが圧縮される。なお、情報圧縮
手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号
化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても
良い。

【００５８】本来、ＡＤＲＣは、ＶＴＲ（Video Tape R
ecoder）向け高能率符号化用に開発された適応的再量子
化法であるが、信号レベルの局所的なパターンを短い語
長で効率的に表現できるので、ＡＤＲＣを空間クラス分
類のコード発生に使用している。ＡＤＲＣは、空間クラ
スタップのダイナミックレンジをＤＲ、ビット割当を
ｎ、空間クラスタップの画素のデータレベルをＬ、再量
子化コードをＱとして、以下の式（１）により、最大値
ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均
等に分割して再量子化を行う。

【００５９】ＤＲ＝ＭＡＸ−ＭＩＮ＋１Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝（１）ただし、｛｝は切り捨て処理を意味する。

【００６０】予測係数メモリ１０８には、５２５ｉ信号
のパターンと５２５ｐ信号の関係を学習することによ
り、取得された予測係数が各クラス毎に記憶されてい
る。予測係数は、線形推定式により５２５ｉ信号を５２
５ｐ信号へ変換するための情報である。なお、予測係数
の取得方法については後述する。

【００６１】予測係数メモリ１０８のクラスに対応した
アドレスから、そのクラスの予測係数が読出される。こ
の予測係数は、推定予測演算回路１０２に供給される。
推定予測演算回路１０２は、タップ選択回路１０１から
の予測タップ（画素値）Ｔ１，Ｔ２，・・・Ｔｉと、予
測係数ｗ₁，ｗ₂，・・・ｗｉとの線形１次結合式（式
（２））の演算を行うことにより、ラインデータＬ１、
Ｌ２を算出する。但し、ラインデータＬ１およびＬ２と
の間では、使用する予測係数が相違する。

【００６２】Ｌ１＝ｗ₁Ｔ１＋ｗ₂Ｔ２＋・・・・＋ｗｉＴｉ（２）このように、予測係数が各クラス毎に予め学習により求
められた上で、予測係数メモリ１０８に記憶しておき、
入力される予測タップおよび読出された予測係数に基づ
いて演算が行われ、入力されたデータに対応する出力デ
ータを形成して出力することにより、入力データを単に
補間処理したのとは異なり、高画質のプログレッシブ方
式の映像信号を出力することができる。

【００６３】次に、係数メモリ１０８に格納される係数
データの作成方法（学習）について図１３を用いて説明
する。係数データを学習によって得るためには、まず、
既に知られているＨＤ画像（５２５ｐ信号）に対応し、
ＨＤ画像の１／４の画素数のＳＤ画像を２次元間引きフ
ィルタ１２０によって形成する。例えばＨＤデータの垂
直方向の画素を垂直間引きフィルタによりフィールド内
の垂直方向の周波数が１／２になるように間引き処理
し、さらに水平間引きフィルタにより、ＨＤデータの水
平方向の画素を間引き処理することにより、ＳＤデータ
を得る。

【００６４】２次元間引きフィルタ１２０からのＳＤ信
号がタップ選択回路１２１、タップ選択回路１２２およ
びタップ選択回路１２３にそれぞれ供給される。これら
のタップ選択回路は、図９に示す信号変換装置における
タップ選択回路１０１、１０３、１０４と同様に、予測
タップ、空間クラスタップ、動きクラスタップを選択す
る。タップ選択回路１２１からの予測タップが正規方程
式加算回路１２７に供給される。タップ選択回路１２２
からの空間クラスタップが空間クラス検出回路１２４に
供給される。タップ選択回路１２３からの動きクラスタ
ップが動きクラス検出回路１２５に供給される。

【００６５】信号変換装置における空間クラス検出回路
１０５と同様に、空間クラス検出回路１２４は、空間ク
ラスタップのデータをＡＤＲＣにより圧縮し、空間クラ
スコードを発生する。また、動きクラス検出回路１２５
は、信号変換装置における動きクラス検出回路１０６と
同様に、動きクラスタップから動きクラスコードを発生
する。空間クラスコードと動きクラスコードとがクラス
合成回路１２６によって合成され、最終的なクラスが形
成される。クラス合成回路１２６からのクラスコードが
正規方程式加算回路１２７へ供給される。

【００６６】ここで、正規方程式加算回路１２７の説明
のために、複数個のＳＤ画素からＨＤ画素への変換式の
学習とその予測式を用いた信号変換について述べる。以
下に、説明のために学習をより一般化してｎ画素による
予測を行う場合について説明する。予測タップとして選
択されるＳＤ画素のレベルをそれぞれｘ₁、‥‥、ｘ_n
とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数
データｗ₁、‥‥、ｗ_nによるｎタップの線形推定式を
設定する。これを下記の式（３）に示す。学習前は、ｗ
_iが未定係数である。

【００６７】ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋‥‥＋ｗ_nｘ_n （３）学習は、クラス毎に複数の信号データに対して行う。デ
ータ数がｍの場合、式（３）にしたがって、以下に示す
式（４）が設定される。

【００６８】ｙ_k＝ｗ₁ｘ_k1＋ｗ₂ｘ_k2＋‥‥＋ｗ_nｘ_kn （４）（ｋ＝１，２，‥‥ｍ）ｍ＞ｎの場合、予測係数ｗ_i、‥‥ｗ_nは、一意に決ま
らないので、誤差ベクトルｅの要素を以下の式（５）で
定義して、式（６）を最小にする予測係数を求める。い
わゆる、最小自乗法による解法である。

【００６９】ｅ_k＝ｙ_k−｛ｗ₁ｘ_k1＋ｗ₂ｘ_k2＋‥‥＋ｗ_nｘ_kn｝（５）（ｋ＝１，２，‥‥ｍ）

【００７０】

【数１】

【００７１】ここで、式（６）のｗ_iによる偏微分係数
を求める。それは以下の式（７）を`０' にするよう
に、各係数ｗ_iを求めればよい。

【００７２】

【数２】

【００７３】以下、式（８）、（９）のようにＸ_ij、Ｙ
_iを定義すると、式（７）は、行列を用いて式（１０）
へ書き換えられる。

【００７４】

【数３】

【００７５】

【数４】

【００７６】

【数５】

【００７７】この方程式は、一般に正規方程式と呼ばれ
ている。図１３中の正規方程式加算回路１２７は、クラ
ス合成回路１２６から供給されたクラス情報と、タップ
選択回路１２１から供給された予測タップと、生成しよ
うとするプログレッシブ画像の画素（教師信号）を用い
て、この正規方程式の加算を行う。

【００７８】学習に充分なフレーム数のデータの入力が
終了した後、正規方程式加算回路１２７は、予測係数決
定部１２８に正規方程式データを出力する。予測係数決
定部１２８は、正規方程式を掃き出し法等の一般的な行
列解法を用いて、ｗ_iについて解き、予測係数を算出す
る。予測係数決定部１２８は、算出された予測係数を予
測係数メモリ１２９に書込む。

【００７９】以上のように学習を行った結果、予測係数
メモリ１２９には、クラス毎に、プログレッシブ画像の
注目画素ｙを推定するための、統計的にもっとも真値に
近い推定ができる予測係数が格納される。予測係数メモ
リ１２９に格納された予測係数は、上述の画像情報変換
装置において、予測係数メモリ１０８にロードされる。

【００８０】以上の処理により、線形推定式により、イ
ンターレス画像のデータからプログレッシブ画像のデー
タを生成するための予測係数の学習が終了する。

【００８１】なお、５２５本のライン数は、一例であっ
て、他の走査線構造の出力画像信号を生成する場合に対
してもこの発明を適用できる。例えば図１４に示すよう
に、５２５ｉ信号を１０５０ｉ（ライン数１０５０本の
インターレス）信号へ変換する場合に対しても同様にこ
の発明を適用できる。

【００８２】

【発明の効果】この発明は、テロップ等の人工的な画像
の動きを通常の自然画の動きとは別に検出するので、テ
ロップ等の動きを正確に検出することができる。従っ
て、動き適応処理を行う場合に、処理によって画像が劣
化することを防止することができる。

【００８３】また、この発明による画像情報変換装置で
は、入力映像信号の複数画素に基づいてクラスを検出
し、各クラスで最適となる推定予測式を用いて画素値を
生成するので、従来の画像情報変換装置と比較して、静
止画、動画とも高画質とすることができる。さらに、動
きの情報をクラスの情報に取り込むので、静止画／動画
の検出と、検出による切り替えが不要とでき、切り替え
時に画質の相違が目立つことを防止でき、また、動き検
出の誤りによる劣化を大幅に少なくできる。

【図面の簡単な説明】

【図１】この発明による動き判定装置の一実施形態のブ
ロック図である。

【図２】この発明の一実施形態において動き判定に使用
するタップを示す略線図である。

【図３】この発明の一実施形態におけるしきい値を説明
するための略線図である。

【図４】この発明の一実施形態におけるテロップ動き検
出部の一例のブロック図である。

【図５】テロップ判定に使用するフィールド間差分の説
明に用いる略線図である。

【図６】この発明の一実施形態におけるテロップ動き検
出部の他の例のブロック図である。

【図７】テロップ判定に使用する垂直フィルタ処理をか
けられたフィールド間差分の説明に用いる略線図であ
る。

【図８】テロップ判定に使用する空間アクティビティを
検出するための構成を示すブロック図である。

【図９】この発明を適用できる画像情報変換装置の一例
のブロック図である。

【図１０】ＳＤ画素と５２５ｐの画素の位置関係を説明
するための略線図である。

【図１１】線順次変換動作を説明するための波形図であ
る。

【図１２】ＳＤ画素および５２５ｐの画素の位置関係
と、空間クラスタップの一例を示す略線図である。

【図１３】係数データを取得するための構成の一例を示
すブロック図である。

【図１４】ＳＤ画素と１０５０ｉの画素の位置関係を説
明するための略線図である。

【符号の説明】

３・・・テロップ動き検出部、４・・・フレーム間差分
検出回路、５・・・空間勾配検出回路、６・・・選択回
路、７，８，９、１０・・・比較器、１１・・・動きク
ラス決定部、１０１、１０２、１０４・・・タップ選択
回路、１０６・・・動きクラス検出回路、１０８・・・
係数メモリ、１０９・・・線順次変換回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者内田真史東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者朝倉伸幸東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者守村卓夫東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者安藤一隆東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者中屋秀雄東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者渡辺勉東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者井上賢東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者新妻渉東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C059 LA05 LA06 NN23 NN27 PP04 PP19 PP20 PP24 PP26 5C063 BA12 CA07 DA03 DB09

Claims

【特許請求の範囲】

【請求項１】入力画像信号の部分画像に関して動きを
検出する動き判定装置において、部分画像に関して検出されたフレーム間差分をしきい値
と比較し、上記フレーム間差分が上記しきい値より大き
い時に、動きがあるものと判定する第１の動き検出部
と、部分画像に関して検出されたフレーム間差分をしきい値
と比較し、部分画像に関して検出されたフィールド間差
分をしきい値と比較し、上記フレーム間差分および上記
フィールド間差分がそれぞれしきい値より大きい時に、
人工的な画像の動きがあるものと判定する第２の動き検
出部と、上記第１および第２の動き検出部の判定出力から動き判
定出力を形成する出力部とからなる動き判定装置。
【請求項２】請求項１において、上記出力部は、上記第１の動き検出部の判定出力と上記
第２の動き検出部の判定出力を分離して出力すると共
に、上記第２の動き検出部の判定出力が人工的な画像の
動きがあることを示す時に、上記第２の動き判定部の判
定出力を優先的に出力するようになされた動き判定装
置。
【請求項３】請求項１において、上記第１の動き検出部は、上記部分画像の動きの程度に
応じて異なる複数の判定出力を発生し、上記出力部は、上記第１の動き検出部の判定出力と上記
第２の動き検出部の判定出力を統合して出力するように
なされた動き判定装置。
【請求項４】請求項１において、部分画像がインターレス画像であって、注目画素の前後
のフィールドと、上記注目画素を含むフィールド間の差
分を上記フィールド間差分として使用するようにした動
き判定装置。
【請求項５】請求項４において、注目画素の前後のフィールドと注目画素を含むフィール
ドとの一方に対して垂直方向のフィルタ処理を行い、フ
ィルタ処理後のフィールド間差分を求めるようになされ
た動き判定装置。
【請求項６】請求項１において、上記第１の動き検出部は、さらに、空間アクティビティ
を使用して動き判定を行うようにした動き判定装置。
【請求項７】請求項１において、上記第２の動き検出部は、さらに、空間アクティビティ
を使用して動き判定を行うようにした動き判定装置。
【請求項８】入力画像信号の部分画像に関して動きを
検出する動き判定方法において、部分画像に関して検出されたフレーム間差分をしきい値
と比較し、上記フレーム間差分が上記しきい値より大き
い時に、動きがあるものと判定する第１の動き検出のス
テップと、部分画像に関して検出されたフレーム間差分をしきい値
と比較し、部分画像に関して検出されたフィールド間差
分をしきい値と比較し、上記フレーム間差分および上記
フィールド間差分がそれぞれしきい値より大きい時に、
人工的な画像の動きがあるものと判定する第２の動き検
出のステップと、上記第１および第２の動き検出のステップの判定出力か
ら動き判定出力を形成するステップとからなる動き判定
方法。
【請求項９】入力画像信号から走査線構造の異なる複
数の出力画像信号を形成するようにした画像情報変換装
置において、出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第１の画素を選択する第１のデータ選択
手段と、出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第２の画素を選択する第２のデータ選択
手段と、出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第３の画素を選択する第３のデータ選択
手段と、予め取得されている推定式係数を記憶するメモリ手段
と、上記第１のデータ選択手段で選択された複数の第１の画
素と上記推定式係数の線形推定式によって、出力画像信
号の画素を生成する信号生成手段と、上記第２のデータ選択手段で選択された複数の第２の画
素に基づいて、空間クラスを形成し、上記第３のデータ
選択手段で選択された複数の第３の画素に基づいて、動
きクラスを形成し、上記空間クラスと上記動きクラスと
を統合したクラス情報に対応して上記推定式係数を上記
信号生成手段に供給するクラス決定手段と、上記信号生成手段に対して接続され、変換画像を指定さ
れた走査線構造へ変換するための走査変換手段とを有
し、上記動きクラスを形成するための動き判定部は、部分画像に関して検出されたフレーム間差分をしきい値
と比較し、上記フレーム間差分が上記しきい値より大き
い時に、動きがあるものと判定する第１の動き検出部
と、部分画像に関して検出されたフレーム間差分をしきい値
と比較し、部分画像に関して検出されたフィールド間差
分をしきい値と比較し、上記フレーム間差分および上記
フィールド間差分がそれぞれしきい値より大きい時に、
人工的な画像の動きがあるものと判定する第２の動き検
出部と、上記第１および第２の動き検出部の判定出力から動き判
定出力を形成する出力部とからなる画像情報変換装置。
【請求項１０】請求項９において、インターレス方式入力画像信号からプログレッシブ方式
出力画像信号を形成するようにしたことを特徴とする画
像情報変換装置。
【請求項１１】請求項９において、さらに、水平方向に上記入力画像信号の２倍の画素数の
出力画像信号を生成することを特徴とする画像情報変換
装置。
【請求項１２】請求項９において、上記予測係数は、上記線形推定式によって、出力画像信
号の画素を生成した時に、生成された値と上記画素の真
値との誤差を最小とするように、上記クラス情報毎に予
め学習によって求めることを特徴とする画像情報変換装
置。