JP2000244876A - 画像処理装置および方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 入力画像情報に基づいて、走査線構造の変換
方式を選択する。 【解決手段】 入力された画像情報を方式変換選択部
１の静止画判定部１１が、静止画か否かを判定し、走査
方式判定部１２に伝える。走査方式判定部１２は、静止
画判定の結果に基づいて、静止画であれば525p、あるい
はそれ以外の画像であれば1050iの変換方法選択信号を
クラス分類適応処理部に送る。

Description

【発明の詳細な説明】

【０００１】

【従来の技術】従来から入力画像信号と走査線構造が異
なる出力画像信号を形成する手法によって、出力画像を
より鮮明な画像にする技術があった。これは、例えば、
入力信号が走査線数が525本のインタレース画像（以
下、525iと記述する）であった場合、走査線数を倍に
し、1050i画像とするものである。このようにすると、
斜め線の表現力が増すので、高画質の出力画像信号が得
られる。

【０００２】しかしながら、このようにすると、完全な
静止画の画像であった場合、飛び越し走査となるため、
ラインフリッカが目立つという問題があった。そこで、
静止画の場合、525i画像の入力画像に対しては、走査線
が525本のノンインタレース画像（以下、525pと記述す
る）とすることも提案されているが、そのようにすると
高画質の画像を得ることが困難になる。

【０００３】

【発明が解決しようとする課題】このように、上記の手
法においては、出力画像方式を525i画像とするか、525p
画像とするかが予め決定され、処理されるため、動画と
静止画の両方において高画質の画像を得ることが困難で
あるという課題があった。

【０００４】本発明は、この様な状況に鑑みてなされた
ものであり、入力される画像情報が、静止画か否かの判
定結果に対応して走査線構造を選択することで、最適な
画像が得られるようにするものである。

【０００５】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、入力された画像情報が、静止画か否かを判定
する静止画判定手段と、静止画判定手段によって判定さ
れた判定結果に基づいて、変換する走査線構造を選択す
る選択手段とを含むことを特徴とする。

【０００６】請求項２に記載の画像処理方法は、入力さ
れた画像情報が、静止画か否かを判定する静止画判定ス
テップと、静止画判定ステップで判定された判定結果に
基づいて、変換する走査線構造を選択する選択ステップ
とを含むことを特徴とする。

【０００７】請求項３に記載の提供媒体は、入力された
画像情報が、静止画か否かを判定する静止画判定ステッ
プと、静止画判定ステップで判定された判定結果に基づ
いて、変換する走査線構造を選択する選択ステップとを
含む処理を実行させるコンピュータが読み取り可能なプ
ログラムを提供することを特徴とする。

【０００８】請求項１に記載の画像処理装置、請求項２
に記載の画像処理方法、および請求項３に記載の提供媒
体においては、入力された画像情報が、静止画か否かが
判定され、この判定結果に基づいて、変換する走査線構
造が選択される。

【０００９】

【発明の実施の形態】図１は、本発明を適用した画像処
理装置の構成例を示している。方式変換選択部１は、入
力された画像情報が静止画か否かを判定し、この判定結
果に基づいて、クラス分類適応処理部（画像方式変換
部）２に、入力画像信号と共に、入力画像信号を525p画
像方式に変換するか、あるいは、1050i画像方式に変換
するかを指定する変換方法選択信号を送信する。

【００１０】クラス分類適応処理部（画像方式変換部）
２は、方式変換選択部１から送信される入力画像情報と
変換方法選択信号を受信し、入力画像情報を変換方法選
択信号に基づいてクラス分類適応処理し、図示せぬ画像
出力装置に出力する。

【００１１】図２は、方式変換選択部１の構成例を示し
ている。入力された画像情報は、静止画判定部１１及び
ノイズ軽減部１３に供給される。静止画判定部１１は、
入力画像と、１フレーム前の画像との比較を行い、画面
全体が静止しているか否かを判定し、判定結果をノイズ
軽減部１３および操作方式判定部１２に出力する。具体
的な判定方法は、入力画像と、ノイズ軽減部１３の出力
画像をフレームメモリ１４で１フレーム遅延した画像と
のフレーム間差分をとり、各画素のフレーム間差分が所
定の値以下であれば、静止画と判定し、それ以外の場合
は、動画と判定する。

【００１２】走査方式判定部１２は、静止画判定部１１
から送られてくる静止画か否かの判定結果を受信し、あ
る一定時間以上連続して静止画であると判定されたか否
かを判定し、その判定結果に基づいて、方式変換方法を
選択し、その選択された方式変換方法に対応する、変換
方法選択信号をクラス分類適応処理部２に出力する。

【００１３】ノイズ軽減部１３は、静止画判定部１１
が、入力画像情報が静止画であると判定した場合、入力
画像情報と、フレームメモリ１４から供給される１フレ
ーム前のノイズ軽減部１３からの出力画像を重み付き平
均によって、足し合わせることでノイズを軽減し、ノイ
ズ軽減された画像情報をクラス分類適応処理部２に出力
する。

【００１４】図３は、クラス分類適応処理部２の構成例
を示している。入力された画像信号は、第１のタップ選
択回路２１、第２のタップ選択回路２２、及び第３のタ
ップ選択回路２３に供給される。第１のタップ選択回路
２１は、予測に使用する予測タップを選択する。第２の
タップ選択回路２２は、出力画素の近傍の入力画素のレ
ベル分布パターンに対応してクラス分類に使用する空間
クラスタップを選択する。第３のタップ選択回路は、出
力画素の近傍の入力画素に基づいて、動きに対応して、
クラス分類に使用する動きクラスタップを選択する。

【００１５】第１のタップ選択回路２１により選択され
た予測タップは、推定予測演算回路２４に供給される。
第２のタップ選択回路２２により選択された空間クラス
タップは空間クラス検出回路２５に供給され、空間クラ
ス検出回路２５は、入力された空間クラスタップに基づ
いて空間クラスを検出する。第３のタップ選択回路２３
によって選択された動きクラスタップは、動きクラス検
出回路２６に供給され、動きクラス検出回路２６は、こ
の動きクラスタップに基づいて、動きクラスを検出す
る。検出された空間クラスおよび動きクラスは、クラス
合成回路２７に供給され、そこで合成され、最終的なク
ラスコードが形成される。

【００１６】この最終的なクラスコードは、係数メモリ
２８に対して、アドレスとして供給され、係数メモリ２
８からクラスコードに対応する係数データが読み出さ
れ、推定予測演算回路２４に供給される。推定予測演算
回路２４は、予測タップ（525iの画像情報の画素）と係
数データとの線形予測式を用いて、入力画像情報に対応
する出力画像情報（1050i画像情報または525p画像情
報）を算出する。推定予測演算回路２４からの出力画像
情報（ラインデータＬ１，Ｌ２（ラインデータＬ１，Ｌ
２については後述する））は線順次変換回路２９に供給
される。線順次変換回路２９は、ラインメモリを有し、
推定予測演算回路２４から出力されるラインデータＬ
１，Ｌ２を線順次出力する。

【００１７】出力画像情報は、図示しないCRTディスプ
レイに供給され、出力画像の変換方式が1050iまたは525
pであっても、同期系を切り換えることによって表示す
ることが可能である。

【００１８】出力すべき画像情報が、525pである場合
（静止画の場合）、図４に示すように、入力画像情報で
ある525iのラインと同一の位置のラインのラインデータ
Ｌ１と、525iの２本のラインの間の位置のラインのライ
ンデータＬ２とが存在する。また、出力すべき画像情報
が、1050iである場合（静止画では無い場合）、図５に
示すように、入力画像情報である525iのラインに近いラ
インのラインデータＬ１と、525iのラインから遠い位置
のラインのラインデータＬ２とが存在する。ラインデー
タＬ１を作成する処理をモード１と称し、ラインデータ
Ｌ２を作成する処理をモード２と称する。さらに水平方
向に関しても画素が２倍とされる。このようにラインデ
ータＬ１およびＬ２は、特定のラインを指すものではな
く、ラインデータＬ１は、モード１により生成される画
素データのラインを意味し、ラインデータＬ２は、モー
ド２により生成される画素データのラインを意味する。

【００１９】525iと525pとの画素の配置を、１フィール
ドの画像の一部を拡大して示す図４において、大きなド
ットは525iの画素を示し、小さいドットは出力される52
5pの画素（静止画の場合）を示す。この関係は、図４以
外の他の図面においても同様である。図４は、所定のフ
レーム(F)の奇数(O)フィールドの画素配置を示す。他の
フィールド（偶数フィールド）では、525iのラインが空
間的に0.5ラインずれたものとなる。

【００２０】525iと1050iとの画素配置を、１フィール
ドの画像の一部を拡大して示す図５において、大きなド
ットは525iの画素を示し、小さいドットは出力される10
50iの画素（静止画ではない場合）を示す。この関係
は、図５以外の他の図面においても同様である。図５
は、あるフレーム(F)の奇数(O)フィールドの画素配置を
示す。他のフィールド（偶数(E)フィールド）のライン
は破線で示される。他のフィールドでは、ラインデータ
Ｌ１’，Ｌ２’の画素が形成される。図５からわかるよ
うに、525iのラインから２倍の1050本のライン数であっ
て、インタレース構造を有するラインデータＬ１，Ｌ２
が形成され、また、各ラインの水平方向の画素数が２倍
とされる。

【００２１】推定予測演算回路２４は、525iから525pま
たは1050iを生成するので、水平周期は、525iと同一で
ある。線順次変換回路２９は、水平周期を２倍とするラ
イン倍速処理をおこない、ラインデータＬ１，Ｌ２を線
順次化する。図６は、525pを出力する場合のライン倍速
処理をアナログ波形を用いて示す。前述したように、推
定予測演算回路２４によって、ラインデータＬ１及びＬ
２が生成される。ラインデータＬ１には、順にａ１，ａ
２，ａ３，・・・のラインが含まれ、ラインデータＬ２
には、順にｂ１，ｂ２，ｂ３・・・のラインが含まれ
る。線順次変換回路２９は、各ラインのデータを時間軸
方向に１／２に圧縮し、圧縮されたデータを交互に選択
することによって、線順次出力（ａ１，ｂ１，ａ２，ｂ
２，・・・）を形成する。

【００２２】一方、1050iを出力する場合には、線順次
変換回路２９は、インタレースの関係を満たすようにラ
インデータを出力する。従って、525pを出力する場合と
1050iを出力する場合とで、線順次変換回路２９の動作
を切り換える必要がある。この切換情報は、レジスタ３
０に格納されている。

【００２３】第１のタップ選択回路２１により選択され
る予測タップは、レジスタ３１に格納されている第１の
タップ位置情報に従って指定される。また、第２のタッ
プ選択回路２２により選択される空間クラスタップは、
レジスタ３２に格納されている第２のタップ位置情報に
従って選択される。さらに第３のタップ選択回路２３に
より選択される動きクラスタップは、レジスタ３３に格
納されている第３のタップ位置情報に従って指定され
る。

【００２４】係数メモリ２８内の係数データ、レジスタ
３０内の走査線構造を指定する制御信号、レジスタ３１
乃至３３のタップ位置情報は、情報メモリバンク３４か
らロードされる。情報メモリバンク３４には、係数メモ
リ２８及びレジスタ３０乃至３４にそれぞれ格納される
データが予め形成され、蓄えられている。情報メモリバ
ンク３４に対して、方式変換選択部１から変換方法選択
信号が供給され、これに従ってロードする情報が選択さ
れる。

【００２５】次に、図７のフローチャートを参照して、
静止画判定部１１の動作について説明する。ステップＳ
１１において、入力画像情報が受信され、静止画判定部
１１に内蔵される図示せぬメモリに記憶される。ステッ
プＳ１２において、フレームメモリ１４から出力された
１フレーム前の画像情報が受信される。ステップＳ１３
において、静止画判定部１１は、この記憶された入力画
像情報と１フレーム前の画像情報とのフレーム間差分を
とり、その差分値が所定の値以下であるか否かを判定
し、これによって、入力された画像情報が、静止画であ
るか否かを判定する。

【００２６】フレーム間差分が、所定の値未満であると
き、すなわち、静止画であると判定された場合、ステッ
プＳ１４において、静止画判定部１１は、走査方式判定
部１２およびノイズ軽減部１３に、入力された画像情報
が静止画であることを通知し、処理を終了する。また、
フレーム間差分が、所定の値以上であるとき、すなわ
ち、静止画以外である（動画である）と判定された場
合、静止画判定部１１は、走査方式判定部１２及びノイ
ズ軽減部１３に、入力された画像情報が静止画以外の画
像であることを通知し、処理を終了する。

【００２７】次に、図８のフローチャートを参照して、
走査方式判定部１２の動作について説明する。走査方式
判定部１２は、静止画判定部１１からの静止画判定通知
を受信すると処理を開始し、ステップＳ２１において、
静止画判定通知が、静止画であるか否かを判定する。静
止画判定通知が、静止画であるという通知であると判定
された場合、ステップＳ２２において、走査方式判定部
１２は、内蔵する図示せぬ静止画のフレーム数カウンタ
に１を加算する。ステップＳ２３において、この静止画
フレーム数カウンタの値に基づいて、静止画がn（nは、
任意に設定できる）回続いたか否かを判定する。静止画
がn回続いていると判定された場合、ステップＳ２４に
おいて、走査方式判定部１２は、525pの走査方式で方式
変換する変換方法選択信号をクラス分類適応処理部２に
出力する。静止画がn回続いていないと判定された場
合、ステップＳ２６において、走査方式判定部１２は、
1050iの走査方式で変換する変換方法選択信号をクラス
分類適応処理部２に出力する。

【００２８】ステップＳ２１において、静止画判定通知
が、静止画以外の画像であるという通知であると判定さ
れた場合、走査方式判定部１２は、ステップＳ２５にお
いて、静止画フレーム数カウンタをリセットし、ステッ
プＳ２６の処理に進む。

【００２９】ステップＳ２４，Ｓ２６の処理の後、ステ
ップＳ２１に戻り、同様の処理が繰り返される。

【００３０】尚、この例では、静止画フレーム数カウン
タによって静止画の連続状態を判定しているが、一定時
間の間隔で連続しているかどうかを判定するようにして
もよい。

【００３１】次に、ノイズ軽減部１３について説明す
る。図９（Ａ）に示すような入力信号x_tが与えられた場
合、ノイズ軽減部１３は、この入力値に応じた評価値
（ここでは、入力値の信頼度とする）α_xtを計算し、そ
の信頼度に基づいた入力値の重み付けを行うことによっ
て、ノイズを軽減した出力値y_tを得る。ここで、α
_xtは、入力値の真値と実際に入力された値との差
（σ_xt）を２乗した値（σ_xt ²）の逆数（α_xt＝１／
（σ_xt ²））である。図９（Ｂ）は、図９（Ａ）の入力
値に対する評価値（信頼度）を示したものである。

【００３２】重み付けの式は、次式（１）に示されるよ
うに、入力値x_tと信頼度α_xtの積和を信頼度の和で割る
ことにより表現される。 y_t＝（α_x0x₀＋α_x1x₁＋・・＋α_xtx_t）／（α_x0＋α_x1＋・・＋α_xt） ・・・（１）

【００３３】ここで、 y_t-1＝（α_x0x₀＋α_x1x₁＋・・＋α_xt-1x_t-1） ／（α_x0＋α_x1＋・・＋α_xt-1） ・・・（２） α_yt-1＝α_x0＋α_x1＋・・＋α_xt-1 ・・・（３） とおくと、式（１）から y_t＝（y_t-1（α_x0＋α_x1＋・・＋α_xt-1）＋α_xtx_t）／（α_yt-1＋α_xt） ・・・（４） ＝（α_yt-1y_t-1＋α_xtx_t）／（α_yt-1＋α_xt） ・・・（５） α_yt-1＝α_yt-1＋α_xt ・・・（６） の関係が導出される。

【００３４】これを整理すると y_t＝w_ty_t-1＋（1−w_t)x_t ・・・（７） α_yt＝α_yt-1＋α_xt ・・・（８） w_t＝α_yt-1／（α_yt-1＋α_xt） ・・・（９） 1−w_t＝α_xt／（α_yt-1＋α_xt） ・・・（１０） 式（７）乃至式（１０）において、x_tは、時刻tの入力
値、y_tは、時刻tの出力値（予測値）、α_xtは、x_tの信
頼度、およびα_ytは、y_tの信頼度を示す。このように式
（７）より、前出力値y_t-1と現入力値x_tとの重み付け平
均をとることにより、現出力値y_tが得られる。また、重
みw_tは、前出力値y_t-1の信頼度α_yt-1と、現入力値x_tの
信頼度α_xtから式（９）と式（１０）により求められ
る。さらに、現出力値y_tの信頼度α_ytは、前出力値y_t-1
の信頼度α_yt-1と、現入力値x_tの信頼度α_xtとから式
（８）により求められる。

【００３５】尚、式（７）乃至式（１０）は、入力値の
信頼度をベースにした式であるが、ここで、入力値x_tの
分散（信号のばらつき度合い）をσ_xt ²、出力値y_tの分
散をσ_yt ²とおき α_xt＝１／（σ_xt ²） ・・・（１１） α_yt＝１／（σ_yt ²） ・・・（１２） の関係を用いると、分散をベースにした式は、以下のよ
うに示される。 y_t＝w_ty_t-1＋（1−w_t)x_t ・・・（１３） σ_yt ²＝w_t ²σ_yt-1 ²＋（1−w_t)²σ_xt ² ・・・（１４） w_t＝σ_xt ²／（σ_yt-1 ²＋σ_xt ²） ・・・（１５） 1−w_t＝σ_yt-1 ²／（σ_yt-1 ²＋σ_xt ²） ・・・（１６） 式（１３）乃至式（１６）において、x_tは、時刻tの入
力値、y_tは、時刻tの出力値（予測値）、σ_xt ²は、x_tの
分散、およびσ_yt ²は、y_tの分散を示す。式（７）乃至
式（１０）と、式（１３）乃至式（１６）は、式（１
１）と式（１２）の関係が成り立っている限りにおい
て、全く等価な関係にある。

【００３６】図１０は、式（７）乃至式（１０）の関係
を利用したノイズ軽減部１３の構成例を示している。レ
ジスタ４１a乃至４１ｄは、入力値を過去の４回分につ
いて記憶する。すなわち、最初に入力された値は、入力
評価値計算部４２に入力されると共に、レジスタ４１ａ
に記憶される。次の計算では、レジスタ４１ａに記憶さ
れた入力値は、１つ前のデータ（１フレーム前のデー
タ）として入力値計算部４２に入力されると共に、レジ
スタ４１ｂに記憶される。これを繰り返すことにより、
この例では、１つの入力データは、５回入力評価値計算
部４２に入力される。

【００３７】入力評価値（信頼度）計算部４２は、上記
のメモリ４１ａ乃至４１ｄから供給される過去４回分の
入力データと現入力値を合わせた、合計５個のデータ
（x_t乃至x_t-4）から現入力値の入力評価値計算を実行
し、求められた入力評価値α_xtを重み計算部４３及び出
力評価値計算部４４に出力する。尚、入力評価値計算方
法については、後述する。

【００３８】出力評価値計算部４４は、入力評価値α_xt
を受け取ると、レジスタ４５に記憶されている前回の出
力値の信頼度の値α_yt-1を、図１１に示すように、前述
の式（８）に基づいて、現在の入力値の信頼度α_xtと１
時刻前の出力値の信頼度α_{yt -1}の和をとって、現出力値
の信頼度α_ytの計算を行う。計算された出力値の信頼度
α_ytは、レジスタ４５に新しい値として更新し、記憶さ
れる。この値は、次のタイミングで重み計算部４３に、
１時刻前の出力値の信頼度α_yt-1として送られる。

【００３９】重み計算部４３は、入力評価値計算部４２
から送られた入力評価値α_xtと、出力レジスタ４５から
送られた１時刻前の出力評価値α_yt-1から、式（９）に
基づいて重みの計算をする。すなわち、前出力値の信頼
度α_yt-1を、前出力の信頼度と入力値の信頼度の和α
_yt-1＋α_xt（現出力値の信頼度α_yt）によって除するこ
とにより、重みのデータw_tが算出される。算出された重
みのデータw_tは、演算器４７において、１から減算さ
れ、その値(1−w_t）は、重み付け部４６に入力される。
また、重みのデータw_tは重み付け部４８に入力される。

【００４０】重み付け部４６は、受け取った値(1−w_t）
と、入力値の積をとって演算器５０に出力する。また、
重み付け部４８は、受け取った値w_tと、レジスタ４９に
記憶され、出力されてくる前回の出力値との積をとって
演算器５０に出力する。そして、演算器５０は、入力値
と前回出力値のそれぞれに重み付けされたデータの和を
取り、式（７）に基づいた、出力データを出力する。

【００４１】図１２に示すように、この例のノイズ軽減
部１３では、入力データとして現入力値と過去４回分の
入力データを合わせた５タップ（x_t乃至x_t-4）を使用し
て入力値の分散σ_xt ²及び信頼度α_xtを計算している。
そして、この入力値の信頼度に基づいて重み付け計算が
実行され、現入力値x_tと前出力値y_t-1との重み付け平均
によって現出力値y_tが求められる。

【００４２】従って、入力値の評価方法によって、ノイ
ズの軽減処理は異なってくる。例えば、図１３に示すよ
うに、複数のタップの分散に基づいた評価を考える。す
なわち、現入力値を含めて過去の数タップ（この例で
は、５タップ）の入力値の分散σ_xt ²を求め、この分散
の逆数を信頼度とすれば、以下の式が得られる。 σ_xt ²＝（（x_t−m_t）²＋（x_t-1−m_t）²＋・・・＋（x_t-N+1−m_t）²）／N ・・・（１７） m_t＝（x_t＋x_t-1＋x_t-2＋・・・＋x_t-N+1）／N ・・・（１８） α_xt＝１／（σ_xt ²） ・・・（１９）

【００４３】図１４は、上述の式（１７）乃至式（１
９）を定義したときの入力評価値計算部４２の構成例を
示している。平均値計算回路６１は、５タップの入力デ
ータを入力し、平均値計算を実行する。この平均値計算
回路６１の計算結果は、分散計算回路６２に出力され、
そこで入力される５タップのデータの各々と平均値との
差分の２乗平均をとって、分散が求められる。求められ
た分散の値は、逆数計算回路６３に出力され、逆数処理
された後、出力され、これが入力値の信頼度を示す値と
なる。この評価値は入力信号の広範囲のばらつきを反映
しており、上述式（７）乃至式（１０）に適用すること
で、時間的に広範囲のノイズに対して効果的なノイズ軽
減を行うことができる。

【００４４】また、例えば、図１５に示すように、１つ
のタップの誤差に基づいた入力値の評価を行うことが考
えられる。すなわち、現入力値を含め過去数タップ（図
１５の例では５タップ）の入力値の平均値を求め、この
平均値から現入力値のみの誤差の二乗d_t ²の逆数を信頼
度β_xtとする場合、以下の様に表される。 d_xt ²＝（x_t−m_t）² ・・・（２０） m_t＝（x_t＋x_t-1＋x_t-2＋・・・＋x_t-N+1）／N ・・・（２１） β_xt＝１／（d_xt ²） ・・・（２２）

【００４５】この評価値は、基準値（ここでは局所平
均）からの現入力値のみの誤差の大きさを反映してお
り、式（７）乃至式（１０）に適用することで、時間的
に局所的なノイズに対して効果的なノイズ軽減が行え
る。数タップの分散を軸にした評価に比べ、１タップ毎
の評価が行えるため、入力の変化に対して敏感な評価と
なる。特に、基準値として真値に近い値が得られれば効
果的な評価法であると言える。

【００４６】さらに、入力値の評価方法として、分散に
基づいた評価と１タップの誤差に基づいた評価を組み合
わせることによって評価することも考えられる。すなわ
ち、関係式は、以下のように表される。 γ_xt＝α_xt＋β_xt ・・・（２３）

【００４７】これは、入力信号のある程度広い範囲での
評価と、非常に狭い範囲での局所的な評価を組み合わせ
たもので、入力信号のノイズが時間的に変動している場
合（ある程度広い範囲での変動と非常に狭い範囲での変
動）に効果的な評価値になるものと考えられる。

【００４８】尚、上記入力値の信頼度の計算に当たって
は、入力値のタップ数を増やすことによって、入力値の
平均値を真値に近づけていくようにしてもよく、これに
よりさらに効果的にノイズを軽減するようにしてもよ
い。

【００４９】次に、図１６のフローチャートを参照し
て、ノイズ軽減部１３の動作について説明する。ステッ
プＳ３１において、画像情報が入力され、入力された現
入力データは、入力評価値計算部４２に入力されると共
にレジスタ４１ａに記憶される。また、このとき、レジ
スタ４１ａ乃至４１ｄに記憶されていた過去の入力値
も、入力評価値計算部４２に入力されると共に、隣のレ
ジスタへと値が順次シフトしていく。但し、レジスタ４
１ｄに記憶されている入力データは、入力評価値計算部
４２に入力されるのみである。

【００５０】ステップＳ３２において、上述の何れかの
方法で入力評価値計算がなされる。例えば、図１４の例
においては、入力データが平均値計算回路６１に入力さ
れ、入力データの平均値が計算され、計算された平均値
が、分散計算回路６２に入力され、入力値との差分を二
乗し、分散計算が行われた後、逆数計算回路６３に出力
され、逆数処理されて、入力値の評価計算が終了する。

【００５１】計算された入力評価値は、重み計算部４３
及び出力評価値計算部４４に送られ、ステップＳ３３に
おいて、出力評価値計算部４４は、入力評価値と１時刻
前の出力評価を用いて、式（８）に基づいて、出力評価
値を計算し、レジスタ４５に出力する。レジスタ４５
は、１時刻前の出力評価値を重み計算部４３に送信す
る。これを受信した重み計算部４３は、入力評価値と出
力評価値から、式（９）に基づいて重み計算を行う。

【００５２】ステップＳ３４において、重み付け部４６
は、計算された重みを１から減算した値と入力値の積を
とる。また、重み付け部４８は、重みとして計算された
値とレジスタ４９から出力される前回の出力値との積を
取る。そして、演算器５０が、それぞれの和を取ること
によって重み付け平均が計算される。

【００５３】ステップＳ３５において、演算器５０によ
って重み付け部４６の出力と、重み付け部４８の出力の
和が演算され、演算された値が出力される。

【００５４】ステップＳ３６において、入力評価値計算
部４２は、入力が終了したか否かを判定し、入力が終了
していると判定されたとき処理が終了され、入力が終了
していないと判定されたとき、ステップＳ３７におい
て、レジスタ４５に記憶されている出力値の評価値が更
新され、ステップＳ３１の処理に戻り、それ以降の処理
が繰り返される。

【００５５】上述のように、方式変換選択部１は、変換
方法選択信号と出力画像をクラス分類適応処理部２に出
力する。このノイズ軽減された画像情報を変換方式選択
信号に基づいて、方式変換するクラス分類適応処理部２
の動作について、空間クラスタップおよび動きクラスタ
ップの具体例を用いて以下に説明する。

【００５６】図１７及び図１８は、525iから1050iに変
換する場合（静止画ではない場合）に第２のタップ選択
回路２２により選択されるタップを示す。図１７及び図
１８は、時間的に連続するフレームＦ−１の奇数フィー
ルドｏ（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィー
ルド（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれぞれを垂直
方向に切り出した時の画素配列を示す。

【００５７】図１７に示すように、フィールドＦ／ｏの
ラインデータＬ１及びＬ２を予測するときの空間クラス
タップは、このフィールドＦ／ｏと直前のフィールドＦ
−１／ｅに含まれ、出力すべき1050iの画素の近傍の入
力画素Ｔ１乃至Ｔ７である。フィールドＦ／ｅのライン
データＬ１およびＬ２を予測するときには、図１８に示
すように、フィールドＦ／ｅに含まれ、作成すべき1050
i信号の画素の近傍の入力画素Ｔ１乃至Ｔ３及び前フィ
ールドＦ／ｏの入力画素Ｔ４乃至Ｔ７である。尚、ライ
ンデータＬ１の画素を予測するモード１では、画素Ｔ７
をクラスタップとして選択せず、ラインデータＬ２の画
素の予測するモード２では、画素Ｔ４をクラスタップと
して選択しないようにしても良い。

【００５８】図１９および図２０は、525iから525p変換
の場合（静止画である場合）に第２のタップ選択回路２
２により選択される入力画素を示す。図１９および図２
０は、時間的に連続するフレームＦ−１の奇数フィール
ドｏ（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィール
ド（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれれぞれの垂直
方向の画素配列を示す。

【００５９】図１９に示すように、フィールドＦ／ｏの
ラインデータＬ１およびＬ２を予測する時の空間クラス
タップは、このフィールドＦ／ｏの次のフィールドＦ／
ｅの、作成すべき525pの画素と空間的に近傍位置の入力
画素Ｔ１及びＴ２、フィールドＦ／ｏの、作成すべき52
5pの画素の近傍の入力画素Ｔ３乃至Ｔ５、並びに前フィ
ールドＦ−１／ｅの入力画素Ｔ６及びＴ７である。フィ
ールドＦ／ｅのラインデータＬ１およびＬ２を予測する
ときには、図２０で示すように、このフィールドＦ／ｅ
の次のフィールドＦ／ｏの、作成すべき525pの画素と空
間的に近傍位置の入力画素Ｔ１，Ｔ２、フィールドＦ／
ｅの、作成すべき525pの画素と空間的に近傍位置の入力
画素Ｔ３乃至Ｔ５、並びに、前フィールドＦ／ｏの入力
画素Ｔ６、Ｔ７である、尚、ラインデータＬ１の画素を
予測するモード１では、画素Ｔ７をクラスタップとして
選択せず、ラインデータＬ２の画素を予測するモード２
では、画素Ｔ４をクラスタップとして選択しないように
してもよい。

【００６０】さらに、空間クラスタップは、図１７乃至
図２０に示すように、複数のフィールドの同位置の垂直
位置にある入力画素に加えて、水平方向の位置の入力画
素を使用してもよい。

【００６１】図２１及び図２２は、第３のタップ選択回
路２３により選択されるタップ、すなわち動きクラスタ
ップの例を示す。図２１は、525iから1050i（静止画で
はない場合）の変換を行うときの動きクラスタップであ
る。図２１に示すように、フィールドＦ／ｏのラインデ
ータＬ１およびＬ２を予測するときの動きクラスタップ
は、このフィールドＦ／ｏの、作成すべき1050iの画素
ｎ１，ｎ３，ｎ５、前のフィールドＦ／ｅの入力画素ｎ
２，ｎ４，ｎ６、前のフィールドＦ−１／ｏの入力画素
ｍ２，ｍ４，ｍ６と、さらに前のフィールドＦ−１／ｏ
の入力画素ｍ１，ｍ３，ｍ５である。

【００６２】図２２は、525iから525p（静止画の場合）
の変換を行うときの動きクラスタップである。図２２に
示すように、フィールドＦ／ｏのラインデータＬ１およ
びＬ２を予測するときの動きクラスタップは、このフィ
ールドＦ／ｏの、作成すべき525pの画素の近傍の入力画
素ｎ１，ｎ３，ｎ５、次のフィールドＦ／ｅの入力画素
ｎ２，ｎ４，ｎ６、前のフィールドＦ−１／ｅの入力画
素ｍ２，ｍ４，ｍ６、さらに前のフィールドＦ−１／ｏ
の入力画素ｍ１，ｍ３，ｍ５である。

【００６３】第１のタップ選択回路２２で選択された空
間クラスタップが空間クラス検出回路２５に供給され
る。空間クラス検出回路２５は、選択された空間クラス
タップのレベル分布のパターンを検出する。この場合、
空間クラス検出回路２５は、各画素８ビットの入力デー
タを２ビットの入力データへ圧縮する様な処理を行う。
例えば、ADRC(Adaptive Dynamic Range Coding)によっ
て、空間クラスタップの入力画素データが圧縮される。

【００６４】本来、ADRCは、VTR(Video Tape Recorder)
向け高能率符号化用に開発された適応的再量子化法であ
るが、信号レベルの局所的なパターンを短い語長で効率
的に表現できるので、ADRCが空間クラス分類のコード発
生に使用されている。ADRCは、空間クラスタップのダイ
ナミックレンジをDR、ビット割り当てをｎ、空間クラス
タップの画素のデータレベルをＬ、再量子化コードをＱ
として、以下の式（２４）により、最大値Ｍａｘと最小
値Ｍｉｎとの間を指定されたビット長で均等に分割して
再量子化を行う。

【００６５】 ＤＲ＝Ｍａｘ−Ｍｉｎ＋１ Ｑ＝｛（Ｌ−Ｍｉｎ＋０．５）×２／ＤＲ｝ ・・・（２４） 但し、｛ ｝は、切り捨て処理を意味する。

【００６６】第３のタップ選択回路２３で選択された動
きクラスタップが動きクラス検出回路２６に供給され
る。動きクラス検出回路２６では、以下の式（２５）に
より動きクラスタップの空間的に同一位置の画素値の差
分の絶対値の平均値paramを算出する。

【００６７】

【数１】

【００６８】この平均値paramとしきい値とが比較され
ることによって、動きの指標である動きクラスが決定さ
れる。例えば、（param≦２）の場合は、動きクラス
０、（２＜param≦４）の場合は、動きクラス１、（４
＜param≦８）の場合は、動きクラス２、（param＞８）
の場合は、動きクラス３と、動きクラスが決定される。
動きクラス０が動きが最小（静止）であり、動きクラス
１，２，３となるに従って、動きが大きいものと判断さ
れる。この様に決定された動きクラスは、クラス合成回
路２７へ供給される。尚、上述の方法と異なる方法で動
きベクトルを検出し、その検出した動きベクトルによっ
て動きクラスを検出しても良い。

【００６９】クラス合成回路２７は、空間クラス検出回
路２５からの空間クラスと、動きクラス検出回路２６か
らの動きクラスとを合成したクラスコードを発生する。
このクラスコードが係数メモリ２８に、そのアドレスと
して供給される。係数メモリ２８からは、クラスコード
に対応する係数データが読み出される。また、動きクラ
スがレジスタ３２に供給され、動きクラスに応じて、タ
ップ位置切換情報が切り換えられる。

【００７０】例えば、動きが無いか、または小さいため
に、動きクラスが０または１と検出される時には、空間
クラスタップが上述した図１７乃至図２０に示すよう
に、２フィールドにまたがるものとされる。もし、動き
が比較的大きく、動きクラスが２または３と検出される
時には、空間クラスタップが作成すべき画素と同一フィ
ールド内の入力画素のみによって構成される。また、動
きクラスによって、第１のクラスタップ選択回路２１の
タップ位置情報（レジスタ３１）を切り換えることによ
り、動きクラスによって、予測タップを切り換えるよう
にしても良い。さらに、予測タップおよび空間クラスタ
ップの両者を動きクラスによって切り換えるようにして
も良い。

【００７１】係数メモリ２８には、525iのパターンと出
力信号の関係を学習することにより、取得された係数デ
ータが、各クラス毎に記憶されている。係数のデータ
は、線形予測式により525iをより高い解像度の画像信号
に変換するための情報である。尚、係数データの取得方
法については後述する。

【００７２】クラスコードで示される係数メモリ２８の
アドレスから、そのクラスの係数データが読み出され
る。この係数データは、推定予測演算回路２４に供給さ
れる。推定予測演算回路２４は、式（２６）に示すよう
に、第１のタップ選択回路２１からの予測タップ（画素
値）Ｔ１，Ｔ２，・・・Ｔｉと、係数メモリ２８からの
係数データｗ₁，ｗ₂，・・・ｗ_iとの１次結合式の演算
を行うことにより、ラインデータＬ１を算出する。ライ
ンデータＬ２も同様に算出される。但し、ラインデータ
Ｌ１およびＬ２との間では、使用する係数データが相違
する。 Ｌ１＝ｗ₁Ｔ１＋ｗ₂Ｔ２＋・・・・＋ｗ_iＴｉ ・・・（２６）

【００７３】この様に、入力データに対応する出力デー
タを推定するための係数データが各クラス毎に予め学習
により求められた上で、係数メモリ２８に記憶してお
き、入力される予測タップおよび読み出された係数デー
タに基づいて演算が行われ、入力データに対応する出力
データを形成して出力することにより、入力データを単
に補間処理をしたのとは異なる実際の出力データにより
近い画像信号を出力することができる。

【００７４】次に、係数メモリ２８に格納される係数デ
ータの作成方法（学習）について図２３を用いて説明す
る。係数データを学習によって得るためには、まず、既
に知られている出力画像（1050iまたは525p）に対応
し、出力画像の１／４の画素数の入力画像を図２３の学
習装置の２次元間引きフィルタ７１によって形成する。
例えば、出力データの垂直方向の画素を垂直間引きフィ
ルタによりフィールド内の垂直方向の周波数が１／２に
なるように間引き処理し、さらに水平間引きフィルタに
より、出力データの水平方向の画素を１／２になるよう
に間引きすることによって、１／４の入力データが形成
される。

【００７５】２次元間引きフィルタ７１からの入力デー
タは、第１のタップ選択回路７２、第２のタップ選択回
路７２および第３のタップ選択回路７３にそれぞれ供給
される。これらのタップ選択回路は、図３に示す第１の
タップ選択回路２１、第２のタップ選択回路２２、およ
び第３のタップ選択回路２３と同様に、予測タップ、空
間クラスタップ、動きクラスタップを選択する。第２の
タップ選択回路７３からの空間クラスタップが空間クラ
ス検出回路７６に供給される。第３のタップ選択回路７
４からの動きクラスタップが動きクラス検出回路７７に
供給される。

【００７６】図３のクラス分類適応処理部２の空間クラ
ス検出回路２５と同様に、空間クラス検出回路７６は、
空間クラスタップのデータをADRCにより圧縮し、空間ク
ラスコードを発生する。また、動きクラス検出回路７７
は、図３のクラス分類適応処理部２の動きクラス検出回
路２６と同様の処理によって、動きクラスタップから動
きクラスコードを発生する。空間クラスコードと動きク
ラスコードが、クラス合成回路７８によって合成され、
最終的なクラスが形成される。クラス合成回路７８から
のクラスコードが、正規方程式加算回路７９へ供給され
る。

【００７７】ここで、正規方程式加算回路７９の説明の
ために、複数個の入力画素から出力画素への変換式の学
習とその予測式を用いた変換について述べる。以下に説
明のために学習をより一般化してｎ画素による予測を行
う場合について説明する。予測タップとして選択される
入力画素のレベルをそれぞれｘ₁，ｘ₂，・・・ｘ_nと
し、出力レベルをｙとしたとき、クラス毎に係数データ
ｗ₁，ｗ₂，・・・ｗ_nによるｎタップの線形推定式を設
定する。これを以下の式（２７）に示す。学習前は、ｗ
_iが未定係数である。 ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ_nｘ_n ・・・（２７）

【００７８】学習は、クラス毎に複数の信号データに対
して行われ、データ数が、ｍの場合、式（２７）に従っ
て、以下に示す式（２８）が設定される。 ｙ＝ｗ₁ｘ_k1＋ｗ₂ｘ_k2＋・・・＋ｗ_nｘ_kn ・・・（２８） （ｋ＝１，２，・・・ｍ） ｍ＞ｎの場合、係数データｗ₁，ｗ₂，・・・ｗ_nは、一
意に決まらないので、誤差ベクトルｅの要素を以下の式
（２９）で定義し、式（３０）を最小にする係数データ
が求められる。いわゆる、最小二乗法による解法であ
る。

【００７９】 ｅ_k＝y_k＋｛ｗ₁ｘ_k1＋ｗ₂ｘ_k2＋・・・＋ｗ_nｘ_kn｝ ・・・（２９） （ｋ＝１，２，・・・ｍ）

【００８０】

【数２】

【００８１】ここで、式（３０）のｗ_iによる変微分係
数を求める。それは以下の式（３１）を０にするよう
に、各係数を求めればよい。

【００８２】

【数３】

【００８３】以下の式（３２），式（３３）のようにｘ
_ij，ｙ_iを定義すると、式（３１）は、行列を用いて、
式（３４）に書き換えられる。

【００８４】

【数４】

【００８５】

【数５】

【００８６】

【数６】

【００８７】この方程式は、一般に正規化方程式と呼ば
れている。正規方程式加算回路７９は、クラスコード合
成回路７８から供給されたクラスコードと、第１のタッ
プ選択回路７２から供給された予測タップと、入力され
たデータに対応する出力画素を用いて、この正規化方程
式の加算を行う。

【００８８】全ての学習用のデータの入力が終了した
後、正規方程式加算回路７９は、予測係数決定回路８０
に正規方程式データを出力する。予測係数決定回路８０
は、正規方程式を掃き出し法などの一般的な行列解法を
用いて、ｗ_iについて解き、係数データを算出する。予
測係数決定回路８０は、算出された予測係数係数メモリ
２８に書き込む。

【００８９】以上の様に学習を行った結果、係数メモリ
２８には、クラス毎に、注目する出力画素ｙを推定する
ための、統計的に最も真値に近い推定値による係数デー
タが格納される。

【００９０】上述した学習装置において、入力信号とさ
れる出力信号、すなわち、入力値としての前出力信号
は、1050iまたは525pが適用される。一方の信号を選択
するための変換方法選択信号が、２次元間引きフィルタ
７１およびタップ選択制御回路７５に対して供給され
る。２次元間引きフィルタ７１における間引き処理は、
変換方法選択信号によって変更される。タップ選択制御
回路７５は、変換方法選択信号を受け取って、第１のタ
ップ選択回路７２によって選択される予測タップ、第２
のタップ選択回路７３によって選択される空間クラスタ
ップ、並びに第３のタップ選択回路７４によって選択さ
れる動きクラスタップを切り換えるための制御信号を発
生する。また、動きクラスに応じて、空間クラスタップ
を切り換える為、動きクラスコードがタップ選択制御回
路７５に対して供給される。

【００９１】このタップ選択制御回路７５が、発生する
制御信号によって、変換出力の信号の走査線構造（1050
iまたは525p）に応じて、上述したクラス分類適応処理
部２における処理と同様に、選択されるタップが切り換
えられる。

【００９２】以上のように、入力された画像情報は、方
式変換選択部１の静止画判定部１１によって静止画の判
定がされ、走査方式判定部１２によって、この判定に対
応した変換方法が選択されると共に、ノイズ軽減部１３
によってノイズ軽減処理がされ、クラス分類適応処理部
２に、変換方法選択信号とノイズ軽減処理された画像情
報が出力される。これによって、静止画像には525p、そ
れ以外の画像には1050iが選択され、それぞれに最適な
走査線構造による画像出力が可能になると共に、ノイズ
が軽減された画像を出力するすることが可能になる。

【００９３】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【００９４】

【発明の効果】請求項１に記載の画像処理装置、請求項
２に記載の画像処理方法、および請求項３に記載の提供
媒体によれば、入力された画像情報が、静止画か否かが
判定され、この判定結果に基づいて、変換する走査線構
造が選択されるので、最適な走査線構造で画像を出力す
ることができるようになる。

【図面の簡単な説明】

【図１】本発明を適用した構成例を示すブロック図であ
る。

【図２】図１の方式変換選択部の構成例を示すブロック
図である。

【図３】図１のクラス分類適応処理部の構成例を示すブ
ロック図である。

【図４】525iインタレース画像と525pノンインタレース
画素の配置を説明する図である。

【図５】525iインタレース画像と1050iインタレース画
像の画素の配置を説明する図である。

【図６】525pを出力するときのライン倍速処理を説明す
る図である。

【図７】静止画判定部の動作を説明するフローチャート
である。

【図８】走査方式判定部の動作を説明するフローチャー
トである。

【図９】入力値のばらつきとそれに対応した信頼度の関
係を示す図である。

【図１０】図２のノイズ軽減部の構成例を示す図であ
る。

【図１１】現在の入力値の信頼度、１時刻前の出力値の
信頼度、および出力値の信頼度の関係を示す図である。

【図１２】入力データと出力データのそれぞれのパラメ
ータの関係を示す図である。

【図１３】入力値の信頼度を５タップの入力値の平均と
その分散から求める場合の説明をする図である。

【図１４】図１０の入力評価値計算部の構成例を示す図
である。

【図１５】入力値の信頼度を１タップの入力値と５タッ
プの平均値から求める場合の説明をする図である。

【図１６】ノイズ軽減部の動作を説明するフローチャー
トである。

【図１７】入力画素および1050iの画素の位置関係と、
空間クラスタップの例を示す図である。

【図１８】入力画素および1050iの画素の位置関係と、
空間クラスタップの例を示す図である。

【図１９】入力画素および525pの画素の位置関係と、空
間クラスタップの例を示す図である。

【図２０】入力画素および525pの画素の位置関係と、空
間クラスタップの例を示す図である。

【図２１】入力画素および1050iの画素の位置関係と、
動きクラスタップの例を示す図である。

【図２２】入力画素および525pの画素の位置関係と、動
きクラスタップの例を示す図である。

【図２３】学習装置の構成例を示す図である。

【符号の説明】

１ 方式変換選択部， ２ クラス分類適応処理部，
１１ 静止画判定部，１２ 走査方式判定部， １３
ノイズ軽減部， ２１ 第１のタップ選択回路， ２２
第２のタップ選択回路， ２３ 第３のタップ選択回
路， ２４推定予測演算回路， ２５ 空間クラス検出
回路， ２６ 動きクラス検出回路， ２７ クラス合
成回路， ２８ 係数メモリ， ２９ 線順次変換回
路，３０乃至３３ レジスタ， ３４ 情報メモリバン
ク， ４１ａ乃至４１ｂ レジスタ， ４２ 入力評価
値計算部， ４３ 重み計算部， ４４ 出力評価計算
部， ４６，４８ 重み付け部， ６１ 平均値計算回
路， ６２ 分散計算回路， ６３ 逆数計算回路，
７１ ２次元間引きフィルタ， ７２ 第１のタップ選
択回路， ７３ 第２のタップ選択回路， ７４ 第３
のタップ選択回路， ７５ タップ選択制御回路， ７
６ 空間クラス検出回路， ７７ 動きクラス検出回
路， ７８ クラス合成回路， ７９ 正規方程式加算
回路， ８０ 予測係数決定回路

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力された画像情報の走査線構造を変換
   する画像処理装置において、 前記入力された画像情報が、静止画か否かを判定する静
   止画判定手段と、 前記静止画判定手段によって判定された判定結果に基づ
   いて、変換する前記走査線構造を選択する選択手段とを
   含むことを特徴とする画像処理装置。
2. 【請求項２】 入力された画像情報の走査線構造を変換
   する画像処理装置の画像処理方法において、 前記入力された画像情報が、静止画か否かを判定する静
   止画判定ステップと、前記静止画判定ステップで判定さ
   れた判定結果に基づいて、変換する前記走査線構造を選
   択する選択ステップとを含むことを特徴とする画像処理
   方法。
3. 【請求項３】 入力された画像情報の走査線構造を変換
   する画像処理装置に、 前記入力された画像情報が、静止画か否かを判定する静
   止画判定ステップと、前記静止画判定ステップで判定さ
   れた判定結果に基づいて、変換する前記走査線構造を選
   択する選択ステップと、 を含む処理を実行させるコンピュータが読み取り可能な
   プログラムを提供することを特徴とする提供媒体。