JP2003087750A - 画像補間装置 - Google Patents

Abstract

(57)【要約】 【課題】 処理速度を大幅に削減することができ、途切
れのない滑らかなフレーム画像を生成することができる
ようにする。 【解決手段】 パターン情報生成部１００において、フ
ィールド画像の隣接３ラインで対向画素間の輝度値２回
差分演算（Ａ−２×Ｃ＋Ｅ）とコアリング処理、情報収
集処理により画像ラインパターンのパターン情報を生成
する。補間パターン予測部１２０において、画像ライン
パターンの情報から各画像ラインパターンの補間方向、
補間距離を予測する。補間パターン決定部１４０におい
て、画像ラインパターンのデータベース１３０を基に補
間すべき位置を決定する。補間実行部１５０において、
補間を実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、走査線数が異なる
テレビジョン方式のアップコンバートや、インターレー
ス走査映像信号から順次走査映像信号に変換するにあた
り、フィールド画像からフレーム画像を生成する際等の
ライン補間による画像補間装置に関する。

【０００２】

【従来の技術】従来、走査線数が異なるテレビジョン方
式のアップコンバートや、画像の高細精化のために、イ
ンターレース映像からプログレッシブ映像を生成する走
査線補間方法として、静止画に対してはフレーム内補間
が行われる。しかし、動画においては、フレーム相関が
崩れ、フレーム内補間では動きのある縦線がギザギザに
誤変換される等の不具合が発生するため、フィールド内
補間が行われる。

【０００３】フィールド内補間の方法としては、簡便な
方法として、補間すべきラインとして前ラインをそのま
ま用いるライン補間方法や、上下のラインの平均値を用
いるライン補間方法がある。前者の補間方法では、斜線
等のような垂直方向に相関の無い画像では画像の輪郭線
にギザギザが生じ、また、後者の補間方法では画像にボ
ケが生じるといった画像の劣化を伴っていた。

【０００４】これらの欠点を解決する手法として、特開
昭６３−１８７７８５号公報に記載の補間方法がある。
この補間方法では、補間すべきラインの各画素を、その
画素の周辺において最も相関の強い方向の画素情報を用
いて補間するものである。まず、補間画素から放射状に
延びるどの方向の画素信号が最も相関が強いかを知るた
めに、垂直方向、右斜め方向，左斜め方向の隣接画素の
差分絶対値を求める。この差分絶対値が最小となる方向
が最も相関が強い方向であると判断して、その方向にあ
る各画素の平均値を求め、それを補間画素の値とする。

【０００５】しかしながら、この方法では、補間すべき
ラインの各画素について、即ち、１画素毎について、少
なくとも上記のような３方向の差分絶対値を算出し、さ
らに、それらの差分絶対値の最小を判断して補間画素の
値を求めるという処理を必要とする。このため、補間処
理速度が遅く、また画像中のエッジ部分以外の領域（画
素値が変化しない領域）のように、いずれの方向におい
ても相関の強さに差がない場合でも上記の一連の処理を
行うので、無駄な処理時間が費やされており、補間の処
理速度が遅く、相関を求める画素の範囲を拡大すること
も困難であった。従って、傾斜角度の小さな斜線のよう
に、かなり離れたところで相関をもつ画像の補間を行う
場合には、それらの相関の強い画素を使った補間ができ
ないために、補間精度が悪くなり、依然として斜線部の
エッジにガタツキが生じることにもなっていた。

【０００６】特開平５−３０４８７号公報には、上記公
報の欠点を改善するために、補間の処理速度を向上させ
るとともに、処理速度の向上に伴って相関を求める範囲
を拡大し、補間の精度を向上させる方法が開示されてい
る。以下に、この公報に開示されている画像の補間方法
について図１３乃至図１６と共に説明する。

【０００７】先ず、この補間方法は、図１３に示すよう
に、２次元画像の隣接するｎラインとｎ＋１ラインの各
画素を比較して、それぞれのライン上の２次元画像のエ
ッジ箇所ａ，ｂを検出する。補間すべき補間ラインで
は、前記エッジが検出されたａ，ｂ間以外では隣接する
いずれかのラインの画素を用いて補間することとし、補
間ラインのエッジ部を求める。

【０００８】次いで、図１３に示すように、エッジ箇所
ａ，ｂでは隣接するいずれか一方のライン（ｎライン）
上の注目画素（ここではＡとする）を中心とした「画素
数」と「補間位置からのシフト量」からなる近傍画素列
（３，０）として設定し、これと相関のある対象画素列
（３，１）を隣接する他方のライン（ｎ＋１ライン）の
中から選出する。ここで、近傍画素列と対象画素列との
相関を取るための一般式としては、近傍画素列＝（２ｍ
＋１、０）、対象画素列＝（２ｍ＋１、±Ｙ）を用い、
ｍ＝Ｙ＝１，２，３，４，５ぐらいまでを順に可変して
行く。

【０００９】まず、図１４に示すように、近傍画素列
（３，０）と対象画素列（３，１）との間で、図中矢印
のような画素対で演算を行い、画素レベルの差が所定の
基準値内かどうかで相関の判定を行う。図１５に示す場
合は、中央画素対に相関がないため、ｍ＝Ｙ＝２とし、
それぞれ近傍画素列を（５，０）、対象画素列を（５，
２）とし、図中矢印のような画素対で演算を行う。図中
矢印のような画素対での演算で相関有りとを判断される
と、その時の補間位置からのシフト量が２画素となる。
図１６に示すように、ａ部とｂ部が２画素ズレている。
求めた画素数の半数だけ、前記選出した画素列または近
傍画素列を位置ズレ方向とは逆の方向にシフトした画素
列、即ち、Ａから右へ１画素シフトしたｃ点を中心とす
る画素列を用いて補間する。

【００１０】

【発明が解決しようとする課題】特開平５−３０４８７
号公報に示される補間方法は、一般的に行われている画
素単位による補間方法に比べ画素列による補間を取り入
れ、処理速度を向上させる発明である。従って、画素列
のエッジ部分を決定するために、エッジ部付近におい
て、少なくとも３画素から１１画素程度まで画素シフト
を行いながらライン間演算を行うものである。このた
め、演算時間がかかる点では未だ問題の残る方法であ
る。さらに、この補間方法は、画像の輪郭を滑らかにす
る方法であり、水平に近い細線画像のように、ライン間
で画像が途切れた場合の修復ができないという問題も有
している。

【００１１】本発明の目的は、処理速度を大幅に削減す
ることができ、途切れのない滑らかなフレーム画像を生
成することができる画像補間装置を提供することにあ
る。

【００１２】

【課題を解決するための手段】本発明は、入力画像に対
し各画像ライン間の補間を行う画像補間装置において、
入力画像の対象画素と、該対象画素に隣接する画素との
差分特性を求めて、ライン方向に共通の差分特性を有す
る連続画素列である画像ラインパターンを抽出するとと
もに、該画像ラインパターンに関する情報を生成するパ
ターン情報生成手段と、各ライン間における画像ライン
パターンのうち前記パターン情報が一致するものを取り
出し、ライン間に補間可能な画像ラインパターンを決定
する補間パターン決定手段と、補間可能な画像ラインパ
ターン間に補間画素列を設定して補間を実行する補間実
行手段と、を具備したことを特徴とする画像補間装置で
ある。

【００１３】また、本発明は、入力画像に対し各画像ラ
イン間の補間を行う画像補間装置において、入力画像の
対象画素と、該対象画素に隣接する画素との差分特性を
求めて、ライン方向に共通の差分特性を有する連続画素
列である画像ラインパターンを抽出するとともに、該画
像ラインパターンに関するパターン情報を生成するパタ
ーン情報生成手段と、前記パターン情報に基づいて、補
間可能な画像ラインパターンの存在位置に関する予測情
報を生成する補間予測手段と、各ライン間における画像
ラインパターンのうち前記パターン情報が一致するもの
を取り出し、前記予測情報に基づいてライン間に補間可
能な画像ラインパターンを決定する補間パターン決定手
段と、補間可能な画像ラインパターン間に補間画素列を
設定して補間を実行する補間実行手段と、を具備したこ
とを特徴とする画像補間装置である。

【００１４】また、本発明は、前記パターン情報生成手
段が、入力画像の対象画素と該対象画素に対向する隣接
ラインの画素との輝度値の各差を加えた２回差分値を求
める２回差分値演算手段と、画素毎の２回差分値を複数
の種類に分類する正規化手段と、前記正規化手段で求め
た分類に基づいて、ライン方向に連続する同種類の画素
列を画像ラインパターンとして認識して抽出するパター
ン抽出手段と、前記画像ラインパターンとして認識した
画素列の情報を収集する情報収集手段と、前記画像ライ
ンパターンに対するコアリング処理を行うコアリング手
段と、を具備することを特徴とする画像補間装置であ
る。

【００１５】また、本発明は、前記情報収集手段が、前
記画像ラインパターン内の最大輝度値を収集する手段
と、前記画像ラインパターン開始位置からの最大輝度位
置までの最大輝度増加量を収集する手段と、最大輝度位
置から前記画像ラインパターン終了位置までの最大輝度
減少量を収集する手段と、前記画像ラインパターン内の
最小輝度値を収集する手段と、前記画像ラインパターン
開始位置からの最小輝度位置までの最大輝度減少量を収
集する手段と、最小輝度位置から前記画像ラインパター
ン終了位置までの最大輝度増加量を収集する手段と、を
少なくとも１つは具備することを特徴とする画像補間装
置である。

【００１６】また、本発明は、前記コアリング手段が、
前記画像ラインパターン内の画像の歪みとノイズを検出
する検出手段と、前記検出手段の検出データに基づい
て、前記画像ラインパターンを削除する編集が必要か否
かを判定する編集判定手段と、編集が必要と判定された
画像ラインパターンに対して削除編集を実行する編集実
行手段と、を具備することを特徴とする画像補間装置で
ある。

【００１７】また、本発明は、前記補間パターン予測手
段が、前記パターン情報から補間可能方向／補間不可能
方向を予測する補間方向予測手段を具備することを特徴
とする画像補間装置である。

【００１８】また、本発明は、前記補間パターン予測手
段が、前記パターン情報が一致する画像ラインパターン
が存在する位置までの距離を予測する検索距離予測手段
と、一致する画像ラインパターンと補間しても画像に破
たんが生じない距離を予測する補間実行距離予測手段
と、を具備することを特徴とする画像補間装置である。

【００１９】また、本発明は、前記補間パターン決定手
段が、画像ラインパターンの情報から一致している可能
性のある画像ラインパターンを検索する一致パターン検
索手段と、検索された画像ラインパターン同士のパター
ン情報が一致するかを判定するパターン一致判定手段
と、一致すると判定された画像ラインパターンをベクト
ル判定するベクトル判定手段と、を具備することを特徴
とする画像補間装置である。

【００２０】また、本発明は、前記補間パターン決定手
段が、画像ラインパターンの情報から一致している可能
性のある画像ラインパターンを検索する一致パターン検
索手段と、検索された画像ラインパターン同士のパター
ン情報が一致するかを判定するパターン一致判定手段
と、一致すると判定された画像ラインパターンが補間可
能方向に存在するかを判定する補間方向判定手段と、補
間可能方向にあると判定された画像ラインパターンをベ
クトル判定するベクトル判定手段と、を具備することを
特徴とする画像補間装置である。

【００２１】また、本発明は、前記補間パターン決定手
段が、画像ラインパターンの情報から一致している可能
性のある画像ラインパターンを検索する一致パターン検
索手段と、検索された画像ラインパターン同士のパター
ン情報が一致するかを判定するパターン一致判定手段
と、一致すると判定された画像ラインパターンまでの距
離が補間実行距離より短いかを判定する補間実行距離判
定手段と、補間実行距離より短いと判定された画像ライ
ンパターンをベクトル判定するベクトル判定手段と、を
具備することを特徴とする画像補間装置である。

【００２２】また、本発明は、前記補間実行手段が、補
間を実行する区間を決定する手段と、補間する画素列を
設定する補間画素列設定手段と、を具備することを特徴
とする画像補間装置である。

【００２３】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて、図１乃至図１２を参照しながら説明する。図１
は、本発明に係る画像補間装置の一実施形態の構成を示
すブロック図である。図２は入力画像の１例として白い
背景１に黒い細線映像のフィールド画像２が写し出され
たモニタ画面を示している。図３は、図２に示す拡大ポ
イント３の入力映像ラインと補間ラインを示している。
同図において、Ａ，Ｃ，Ｅ，Ｇ，Ｉ，Ｋは入力映像ライ
ンであり、Ｂ，Ｄ，Ｆ，Ｈ，Ｊは、補間ラインを示す。

【００２４】図１に示す画像補間装置は、パターン情報
生成部１００、補間パターン予測部１２０、画像データ
ベース１３０、補間パターン決定部１４０、補間実行部
１５０を備えた構成である。そして、フィールド画像の
隣接３ラインで対向画素間の輝度値２回差分演算（Ａ−
２×Ｃ＋Ｅ）とコアリング処理、情報収集処理により画
像ラインパターンのデータベースを生成する第１ステッ
プと、画像ラインパターンの情報データから各画像ライ
ンパターンの補間方向、補間距離を予測する第２ステッ
プと、画像ラインパターンのデータベースを基に補間す
べき位置を決定する第３ステップと、補間を実行する第
４ステップとによる補間を行う。

【００２５】以下に、図１の画像補間装置の各部につい
て詳述する。

【００２６】＜パターン情報生成部＞まず、パターン情
報生成部１００における画像ラインパターンの生成につ
いて説明する。パターン情報生成部１００は、縦方向輝
度値の２回差分演算部１０１、正規化処理部１０２、パ
ターン抽出部１０３、縦方向相関検出部１０４、情報収
集部１０５、コアリング処理部１１０から構成される。
更にコアリング処理部１１０は、パターン内画像の歪み
・ノイズ検出部１１１、パターン編集判定部１１２、パ
ターン編集実行部１１３から構成される。

【００２７】パターン情報生成部１００に入力されたフ
ィールド画像は、縦方向輝度値の２回差分演算部１０１
に入力される。縦方向輝度値の２回差分演算部１０１
は、各画素の縦方向輝度値の２回差分値を演算する。こ
こで、縦方向輝度値の２回差分値とは、対象画素の輝度
値と、対象画素に隣接するライン上にあって縦方向に対
象画素に対向する画素の輝度値との両差分値を加えた値
である。例えば、２回差分値を±５１２の範囲とし、図
３において、ＡラインＣラインＥライン、ＣラインＥラ
インＧライン、ＥラインＧラインＩライン、ＧラインＩ
ラインＫラインのそれぞれの入力画像の３ライン間で輝
度２回差分値を演算する。すなわち、Ｃライン、Ｅライ
ン、Ｇライン、Ｉラインの画素を対象画素とし、対象画
素の直上直下の対向画素との輝度値の２回差分値を求め
る。ＡラインＣラインＥラインの３画像ラインを例に取
れば、縦方向輝度値の２回差分の演算は下記のようなも
のになる。

【００２８】Ｃライン上対象画素の縦方向輝度値の２回
差分値＝Ａライン対向画素の輝度値−２×Ｃライン対象
画素の輝度値＋Ｅライン対向画素の輝度値

【００２９】縦方向相関検出部１０４では、縦方向輝度
値の２回差分演算部１０１で使用される３画像ラインの
間に、縦方向に相関性があるかを検出する。例えば、図
３に示す上記３画像ラインのそれぞれ画素に対し、輝度
値の横方向増減方向や、輝度値の横方向増減量、横方向
の輝度値の２回差分値を求める。これらが隣接する画像
ラインの縦方向において同じ時、縦方向の相関性がある
としている。

【００３０】次いで、正規化処理部１０２では、設定さ
れている閾値を基に各画像ライン上画素の縦方向輝度値
の２回差分値の正規化処理が行われ、各画像ライン上画
素データを＋、−、０の３種類に分類する。パターン抽
出部１０３では、このうち＋または−の同じ種類が連続
している区間であって、縦方向相関検出部１０４により
縦方向相関が無いと検出された区間を画像ラインパター
ンとして抽出する。抽出された画像ラインパターンと
は、対象画素の２回差分値に基づいて、輝度差分特性
（２回差分値における＋、０、−の分類が該当）を求
め、共通の輝度差分特性を有するライン方向への連続画
素列のことである。

【００３１】このとき、情報収集部１０５では、パター
ン抽出部１０３で抽出された画像ラインパターンのデー
タ（パターン情報）を収集しておく。収集するパターン
内部のデータとしては、例えば、パターン内の最大／最
小輝度値、パターン内の横方向（ライン方向）の輝度値
の増減の幅と方向、パターン両端の輝度値、パターン両
端の輝度値の増減量等がある。情報収集部１０５で収集
するデータは、縦方向輝度値の２回差分演算部１０１で
使用した入力画像ライン３ライン全てについて行うと、
補間の精度が向上する。

【００３２】さらに、抽出されたパターンは、コアリン
グ処理部１１０のパターン内画像のノイズ歪み・ノイズ
検出部１１１において、パターン内部の画像の歪みやノ
イズの有無を検出する。画像の歪みとは、例えば、パタ
ーン内の輝度波形に複数の極大／極小点や、パターン内
の輝度波形に鋭角な変化点である。また、ノイズとは、
基準ドットサイズに届かないドットである。次いで、パ
ターン編集判定部１１２では、上記のような歪みやノイ
ズが検出された場合、入力画像ラインパターンを削除す
る編集をすべきかどうかを編集基準値と比較して判定す
る。この編集基準値は、各歪みやノイズの程度に応じて
総合的に判断できるように設定されている。そして、削
除判定された画像ラインパターンは、パターン編集実行
部１１３により削除される。

【００３３】図４は、パターン情報生成部１００におい
て、上記の処理を経て得られた画像ラインパターンを示
す図である。同図において、４０〜４３と、６２〜６５
は−に分類された画像ラインパターン、５１〜５４は＋
に分類された画像ラインパターン、その他は０に分類さ
れた画像ラインパターンである。パターン情報生成部１
００では、図４に示すように画像ライン毎に切り分けが
終わった画像ラインパターンについて、各パターン毎に
開始位置、長さ、符号、情報収集部１０５で収集したデ
ータとして作成し、補間パターン予測部１２０にデータ
を送る。

【００３４】＜補間パターン予測部＞補間パターン予測
部１２０における補間方向、検索距離、補間実行距離の
予測について説明する。補間パターン予測部１２０は、
補間方向予測部１２１、検索距離予測部１２２、補間実
行距離予測部１２３から構成される。補間パターン予測
部１２０では、パターン情報生成部１００において生成
された画像ラインパターンのデータを使って、補間可能
な画像ラインパターンの有無の可能性や、補間可能な画
像ラインパターンまでの距離を予測する。

【００３５】補間パターン予測部１２０の補間方向予測
部１２１は、画像ラインパターンの左右両端の情報を比
較する。例えば、図５において、ＣラインＥラインＧラ
インの３画像ラインから生成されたＥライン上の画像ラ
インパターン５２の左端の位置、画像ラインＥ−２３，
２４の輝度の増減量と、Ｅライン上の画像ラインパター
ン５２の右端直下のＧライン上の位置、画像ラインＧ−
３０，３１の輝度の増減量を比較する。補間方向予測部
１２１は、増減が逆方向だったり増減量が大きく異なっ
ている場合、画像ラインパターン５２の右下方向への接
続は無効である（以下：補間不可能方向）と予測する。
さらに、右上、左上、左下についても同様の方法で、補
間可能方向／補間不可能方向を予測する。

【００３６】つぎに、補間パターン予測部１２０の検索
距離予測部１２２は、入力された画像ラインパターンの
左右両端の輝度値を比較し、一致するパターンが存在す
るであろう位置までの距離を予測する。例えば、図５に
おいて、ＣラインＥラインＧラインの３画像ラインから
生成されたＥライン上の画像ラインパターン５２の左端
の位置、画像ラインＥ−２４の輝度値と、Ｅライン上の
画像ラインパターン５２の右端直下のＧライン上の位
置、画像ラインＧ−３０の輝度値との差分を、Ｅライン
上の画像ラインパターン５２の右端直下のＧライン上の
位置、画像ラインＧ−３０，３１の輝度の増減量で除算
し、結果を右下方向へ連続するパターン（補間可能なパ
ターン）までの距離とする。同様に、左下方向について
も距離を計算する。

【００３７】そして、補間パターン予測部１２０の補間
実行距離予測部１２３は、入力された画像ラインパター
ン内の輝度の変化量、長さ等から、一致するパターンと
補間しても画像に破たんが生じない距離を予測する。例
えば、図５において、ＣラインＥラインＧラインの３画
像ラインから生成されたＥライン上の画像ラインパター
ン５２の輝度の変化量が小さくて、長さが短い時、２〜
３ドット離れた一致するパターンと補間しても画像に破
たんが生じないとする。

【００３８】補間パターン予測部１２０では、パターン
情報生成部１００で生成されたデータに、上記のような
各種予測データを加えて、画像データベース１３０に送
る。

【００３９】＜画像パターンデータベース＞画像データ
ベース１３０では、パターン情報生成部１００および補
間パターン予測部１２０の処理の結果得られたデータ
（予測情報）が画像パターンデータとして格納される。
格納されるデータの量は、フィールド内全部の場合もあ
るが、補間パターン決定部１４０や補間実行部１５０で
必要とする複数ライン分だけ格納する場合もある。

【００４０】＜補間パターン決定部＞補間パターン決定
部１４０は、パターン検索部１４１、パターン一致判定
部１４２、パターン一致条件設定部１４３、補間方向判
定部１４４、補間実行距離判定部１４５、ベクトル判定
部１４６、ベクトル判定条件設定部１４７からなる構成
である。

【００４１】パターン検索部１４１では、画像データベ
ース１３０から入力された画像パターンデータについ
て、画像データベース１３０に格納されている他ライン
の画像パターンデータの中から一致している可能性のあ
るパターンデータを検索する。例えば、補間パターン予
測部１２０の検索距離予測部１２２で予測された検索距
離に基づいて、画像パターンデータの中心を軸として左
右それぞれ２地点ずつ、合わせて４地点に存在する画像
パターンデータを探し出す。ここで左側の２地点でみつ
かった画像パターンデータが違うものであった場合は、
画像パターンデータの中心に近い側の＋、−の符号が一
致する画像パターンデータを採用する。右側の２地点に
ついても同様に行う。したがって、最大で画像パターン
データの左右に１つずつ画像パターンデータが抽出され
る。

【００４２】図６では、検索距離予測部１２２で予測さ
れた検索距離に基づいて、入力画像ラインＥ−１７，１
８，１９，２０，２１，２２，２３の区間にある画像パ
ターンデータ４２と一致する可能性のあるパターンの検
索の様子を示している。入力画像ラインＥの画像パター
ンデータ４２の中心を軸として、左側では、検索した２
地点とも入力画像ラインＧ−１１，１２，１３，１４，
１５，１６，１７の区間にある画像パターンデータ４３
が抽出される。右側では、検索した入力画像ラインＥの
画像パターンデータ４２の中心に近い入力画像ラインＧ
−１８，１９，２０，２１，２２，２３，２４の区間に
ある画像パターンデータ５３が見つかる。しかし、入力
画像ラインＥ上の画像パターンデータ４２とは＋、−の
符号が一致しないので、最終的に入力画像ラインＧ−２
５，２６，２７，２８，２９，３０，３１の区間にある
画像パターンデータ６３が抽出される。

【００４３】今、補間パターン決定部１４０が、画像デ
ータベース１３０に登録されている画像パターンデータ
を処理する場合に、フィールド画像のライン単位に上の
ラインから下方向に１ラインずつ順次処理を進める構成
になっているとする。すると、現在判定を行う対象であ
る画像パターンデータは、上方向にある基となる画像パ
ターンデータ（以下：基パターンデータ）と比較するこ
とになる。そこで、パターン一致判定部１４２では、パ
ターン一致条件設定部１４３に設定された条件に基づい
て、パターン検索部１４１での検索の結果抽出された画
像パターンデータと基パターンデータの内容が一致して
いるかを判定する。

【００４４】パターン一致判定部１４２で判定する内容
としては、パターン内の最大／最小輝度値、パターン内
の輝度の増減の幅と方向、パターン両端の輝度値、パタ
ーン両端の輝度の増減量等、パターン情報生成部１００
の情報収集部１０５で収集したデータの詳しい内容であ
る。これら画像パターンデータの内容の差がパターン一
致条件設定部１４３に設定された閾値以内であれば、基
パターンデータとパターン検索部１４１での検索の結果
抽出された画像パターンデータは一致していると判定す
る。基パターンデータと一致していると判定された画像
パターンデータを、以下で候補パターンデータと呼ぶ。

【００４５】例えば、図４に示すように、入力画像ライ
ンＥ−２４，２５，２６，２７，２８，２９，３０の区
間にある画像パターンデータ５２と入力画像ラインＧ−
１８，１９，２０，２１，２２，２３，２４の区間にあ
る画像パターンデータ５３とは、パターン内の最大／最
小輝度値、パターン内の輝度の増減の幅と方向、パター
ン両端の輝度値、パターン両端の輝度の増減量等のデー
タの差が、パターン一致条件設定部１４３に設定された
条件以内なので、入力画像ラインＥ上の画像パターンデ
ータ５２と入力画像ラインＧ上の画像パターンデータ５
３は一致していると判定される。

【００４６】また、入力画像ラインＥ−１７，１８，１
９，２０，２１，２２，２３の区間にある画像パターン
データ４２と入力画像ラインＧ−２５，２６，２７，２
８，２９，３０，３１の区間にある画像パターンデータ
６３とでは、パターン内の輝度の増減方向が逆向きなの
で、パターン一致条件設定部１４３に設定された条件か
らはずれるため、入力画像ラインＥ上の画像パターンデ
ータ４２と入力画像ラインＧ上の画像パターンデータ６
３は一致していないと判定される。

【００４７】このとき、左右の２つの画像パターンデー
タについてこの一致判定を行うが、左右両方のパターン
が一致していると判定された場合には、誤抽出である可
能性が高いため、左右両方の一致判定を破棄し、両方共
に一致していないとして扱う。以上の結果、図７に示す
ように入力画像ラインの区間にある画像パターンデータ
が一方向のみに候補パターンデータが存在するとして特
定される。

【００４８】次に補間方向判定部１４４では、一致して
いると判定された候補パターンデータと基パターンデー
タの接続方向と、補間パターン予測部１２０の補間方向
予測部１２１から入力された、候補パターンデータと基
パターンデータそれぞれの補間可能方向／補間不可能方
向との間で判定を行う。

【００４９】まず基パターンデータから候補パターンデ
ータが存在する方向が補間可能方向になっているかの判
定を行い、次に候補パターンデータから基パターンデー
タが存在する方向が補間可能方向になっているかの判定
を行う。この両者の判定がともに有効であった場合、候
補パターンデータは補間可能な方向にあると判断され
る。例えば、画像ラインＥの画像パターンデータ５２と
画像ラインＧの画像パターンデータ５３の間での判定で
は、まず、基パターンデータである画像ラインＥの画像
パターンデータ５２の左下方向が補間可能方向になって
いるかの判定を行い、続いて、候補パターンデータであ
る画像ラインＧの画像パターンデータ５３の右上方向が
補間可能方向になっているかの判定を行う。

【００５０】次に補間実行距離判定部１４５では、補間
パターン予測部１２０の間実行距離予測部１２３から入
力された補間実行距離に基づき、一致しているとして抽
出された候補パターンデータと基パターンデータの間の
距離についての判定を行う。候補パターンデータと基パ
ターンデータの間の距離が、補間実行距離より小さい場
合、候補パターンデータは補間可能な距離に存在すると
判断される。

【００５１】さらに、実際の画像においては途切れの有
る細線やエッジ部等が存在する場合が有り、一致パター
ンの誤抽出を防止するために、ベクトル判定を行う。
今、補間パターン決定部１４０が、画像データベース１
３０に登録されている画像パターンデータを処理する場
合に、フィールド画像のライン単位に上のラインから下
方向に１ラインずつ順次処理を進める構成になっている
とする。すると、現在判定を行う対象である基パターン
データと上方向のラインに属する画像パターンデータの
間では、既に一致関係の有無が決定されている。そこで
ベクトル判定部１４６では、現在判定を行っている基パ
ターンデータに対して、この基パターンデータを候補パ
ターンデータとする１ライン上の基パターンデータが存
在しないか画像データベース１３０に問い合わせる。

【００５２】１ライン上の基パターンデータが存在しな
い場合は、現在の基パターンデータと候補パターンデー
タの一致関係を画像データベース１３０に登録して処理
を終える。１ライン上の基パターンデータが存在した場
合は、現在の基パターンデータ、候補パターンデータを
加えた３パターンについてベクトル判定を行う。これは
ベクトル判定条件設定部１４７の設定に基づいて、３つ
の画像パターンデータの開始位置・長さ・重なり量など
についての判定（ベクトル判定）を行い、この３つの画
像パターンデータが連続的に補間されるべきパターンで
あるかどうかが判定される。

【００５３】例えば、入力画像ラインＥ上の画像パター
ンデータ４２が基パターンデータのとき、基パターンデ
ータ４２には候補パターンデータとして入力画像ライン
Ｇ上の画像パターンデータ４３が存在する。この時既
に、１ライン上の入力画像ラインＣ上の画像パターンデ
ータ４１と画像パターンデータ４２の一致関係が決定さ
れているので、３つの画像パターンデータ４１，４２，
４３の開始位置・長さ・重なり量について判定を行う。
本実施形態では、図７に示すように、３つの画像パター
ンデータ４１，４２，４３とも同じ長さであり、また、
３つの画像パターンデータとも直線上にならんでいるた
め、連続的に補間されるべきパターンであると判定され
る。

【００５４】＜補間実行部＞次に、補間実行部１５０に
おける補間実行処理について説明する。補間実行部１５
０は、補間実行区間決定部１５１、補正手段１５３、補
間画素列演算部１５２、動き情報処理部１５４から構成
される。補間実行区間決定部１５１では、補間パターン
決定部１４０から入力された一致関係情報と、画像デー
タベース１３０から得られる基パターンデータと候補パ
ターンデータの開始位置と長さのデータから、補間実行
区間の位置と長さを決定する。

【００５５】補間実行区間の長さは、基パターンデータ
の長さと候補パターンデータの長さの平均を補間実行区
間の長さにしている。また、補間実行区間の位置は、基
パターンデータのある上側画像ラインと候補パターンデ
ータのある下側画像ラインに挟まれる補間ライン上で、
基パターンデータの中心点と候補パターンデータの中心
点の中央が、補間実行区間の中心点になるように決定し
ている。但し、補間実行区間の位置と長さの決定方法
は、上記方法に限定されるものでは無い。

【００５６】図８および図９に補間実行区間決定部１５
１において決定された補間実行区間を示す。本実施例で
は、画像ラインの基パターンデータと候補パターンデー
タの長さを同じに表現しているため、補間実行区間も同
じ長さになる。画像ラインＥの基パターンデータ４２と
画像ラインＧの候補パターンデータ４３の補間実行区間
は補間ラインＦ上の区間７２であり、画像ラインＥの基
パターンデータ５２と画像ラインＧの候補パターンデー
タ５３の補間実行区間は補間ラインＦ上の区間８２であ
る。

【００５７】次に、補間画素列演算部１５２では、補間
実行区間決定部１５１において決定された補間実行区間
に対する補間画素列を作成する。基パターンデータと候
補パターンデータの長さが同じ場合、基パターンデータ
と候補パターンデータの各画素の平均を取ったものが補
間画素列である。基パターンデータと候補パターンデー
タの長さが異なっている場合は、基パターンデータと候
補パターンデータの画像画素列を補間ラインＦの補間実
行区間５３と同じ長さになるように拡大または縮小した
後、各画素の平均を取ったものが補間画素列である。拡
大／縮小を用いなくても、基パターンデータと候補パタ
ーンデータの開始位置・長さを調整する方法もあり、上
記方法に限らない。

【００５８】図１０および図１１に補間画素列演算部１
５２において作成された画像データを、補間実行区間決
定部１５１において決定された補間実行区間に上書きし
た状態で示す。本実施形態では、画像ラインの一致パタ
ーンと補間ラインの補間実行区間の長さを同じに表現し
ているため、拡大／縮小等、長さを調整する処理は行わ
れない。例えば、画像ラインＥの基パターンデータ４２
と画像ラインＧの候補パターンデータ４３の画像画素列
は同じなので、補間実行区間は補間ラインＦ上の区間７
２に上書きされている画素列は基パターンデータ４２や
候補パターンデータ４３と全く同じになる。

【００５９】上記処理により、各補間実行区間に対する
補間画素列が設定され、動き情報処理部１５４では入力
された動き情報を使って別フィールドとの調和をとり、
補正手段１５３にて補間ラインの周りの画素との調和を
取ながら、補間画素列にて補間実行区間の画素に上書き
または既にある補間実行区間の画素とブレンドすること
で、ライン補間が実行される。ただし、動き情報処理部
１５４や補正手段１５３は必ず必要な手段とは限らな
い。

【００６０】なお、補間ライン上の補間実行区間以外の
画素は従来技術の補間方法で補間を行う。従来技術の補
間方法とは、例えば、上下入力画像ラインの画像データ
の平均値で補間ラインを補う方法や上入力ラインの画像
データで補間ラインを補う方法、また、次フィールド画
像で補間ラインを補う方法等がある。

【００６１】

【発明の効果】上記にて説明された本発明により以下の
効果がもたらされる。本発明によれば、画像ラインパタ
ーンを抽出するとともに、該画像ラインパターンに関す
る情報を生成し、ライン間に補間可能な画像ラインパタ
ーンを決定して、補間可能な画像ラインパターン間に補
間画素列を設定して補間を実行するので、処理速度を大
幅に削減することができる。さらに、フィールド画像に
おいて、ライン間に画像の途切れがある場合であって
も、隣接ライン上の一致画素列で補間実行することがで
き、途切れのない滑らかなフレーム画像を生成すること
ができる。

【００６２】本発明によれば、パターン情報生成手段が
画像ラインパターンの画素列の情報収集して、画素単位
の演算を排除することで、処理速度の向上を図ってい
る。特に、情報収集手段がパターンとして連続する画素
列の情報を入力画像から収集することによって、一致す
るパターンの検索を画素列演算を不用として、補間処理
速度を大幅に向上させることができる。

【００６３】本発明によれば、コアリング処理を行うこ
とにより、歪みやノイズを検出し、画像表示に影響のな
い目立たない箇所や判断しにくい箇所を削除するので、
画質を維持しながら補間処理速度を大幅に改善できる。

【００６４】本発明によれば、補間可能な画像ラインパ
ターンの存在位置を予測するので、誤謬のないライン補
間が可能となる。

【００６５】本発明によれば、画像ラインパターンのパ
ターン情報が一致するかを判定し、補間可能な画像ライ
ンパターンを決定するので、演算処理をスピーディに実
行できる。特に、一致すると判定した画像ラインパター
ンに対してベクトル判定を行うので、誤認のないライン
補間が可能となる。

【００６６】本発明によれば、パターン情報が一致する
画像ラインパターン間の画素列を設定して補間するの
で、水平に細線画像のように、ライン間で画像が途切れ
た場合でも途切れのないなめらかのフレーム画像を生成
することができる。

【図面の簡単な説明】

【図１】本発明に係る画像補間装置の一実施形態の構成
を示すブロック図である。

【図２】白い背景に黒い細線映像のフィールド画像が写
し出されたモニタ画面の説明図である。

【図３】図２のフィールド画像の拡大図である。

【図４】画像ライン位置での画像ラインパターンを示す
説明図である。

【図５】画像ラインパターンの両端部分から補間パター
ン予測を行う説明図である。

【図６】一致する画像ラインパターンを検索する説明図
である。

【図７】一致するパターン検索終了時のベクトル方向を
示す説明図である。

【図８】１ライン補間する時の画像ラインパターンと補
間実行位値の関係図である。

【図９】１ライン補間後のフレーム拡大図と補間実行位
置の関係図である。

【図１０】複数ラインに渡った画像ラインパターンと補
間実行位置の関係図である。

【図１１】複数ライン補間後のフレーム拡大図と補間実
行位置の関係図である。

【図１２】複数ライン補間後のフレーム拡大図である。

【図１３】従来技術に係る画像の補間方法における画像
ラインと補間ライン上での各画素列の位置関係を示す説
明図である。

【図１４】従来技術に係る画像の補間方法における近傍
画素列と対象画素列との相関を求める処理を示す説明図
である。

【図１５】従来技術に係る画像の補間方法におけるその
他の近傍画素列と対象画素列との相関を求める処理を示
す説明図である。

【図１６】従来技術に係る画像の補間方法におけるエッ
ジ個所での補間を示す説明図である。

【符号の説明】

１００ パターン情報生成部 １０１ 縦方向輝度値の２回差分演算部 １０２ 正規化処理部 １０３ パターン抽出部 １０４ 縦方向相関検出部 １０５ 情報収集部 １１０ コアリング処理部 １１１ パターン内画像の歪み・ノイズ検出部 １１２ パターン編集判定部 １１３ パターン編集実行部 １２０ 補間パターン予測部 １２１ 補間方向予測部 １２２ 検索距離予測部 １２３ 補間実行距離予測部 １３０ 画像データベース １４０ 補間パターン決定部 １４１ パターン検索部 １４２ パターン一致判定部 １４３ パターン一致条件設定部 １４４ 補間方向判定部 １４５ 補間実行距離判定部 １４６ ベクトル判定部 １４７ ベクトル判定条件設定部 １５０ 補間実行部 １５１ 補間実行区間決定部 １５２ 補間画素列演算部 １５３ 補正手段 １５４ 動き情報処理部

Claims (11)

【特許請求の範囲】
1. 【請求項１】 入力画像に対し各画像ライン間の補間を
   行う画像補間装置において、 入力画像の対象画素と、該対象画素に隣接する画素との
   差分特性を求めて、ライン方向に共通の差分特性を有す
   る連続画素列である画像ラインパターンを抽出するとと
   もに、該画像ラインパターンに関する情報を生成するパ
   ターン情報生成手段と、 各ライン間における画像ラインパターンのうち前記パタ
   ーン情報が一致するものを取り出し、ライン間に補間可
   能な画像ラインパターンを決定する補間パターン決定手
   段と、 補間可能な画像ラインパターン間に補間画素列を設定し
   て補間を実行する補間実行手段と、を具備したことを特
   徴とする画像補間装置。
2. 【請求項２】 入力画像に対し各画像ライン間の補間を
   行う画像補間装置において、 入力画像の対象画素と、該対象画素に隣接する画素との
   差分特性を求めて、ライン方向に共通の差分特性を有す
   る連続画素列である画像ラインパターンを抽出するとと
   もに、該画像ラインパターンに関するパターン情報を生
   成するパターン情報生成手段と、 前記パターン情報に基づいて、補間可能な画像ラインパ
   ターンの存在位置に関する予測情報を生成する補間予測
   手段と、 各ライン間における画像ラインパターンのうち前記パタ
   ーン情報が一致するものを取り出し、前記予測情報に基
   づいてライン間に補間可能な画像ラインパターンを決定
   する補間パターン決定手段と、 補間可能な画像ラインパターン間に補間画素列を設定し
   て補間を実行する補間実行手段と、を具備したことを特
   徴とする画像補間装置。
3. 【請求項３】 前記パターン情報生成手段は、 入力画像の対象画素と該対象画素に対向する隣接ライン
   の画素との輝度値の各差を加えた２回差分値を求める２
   回差分値演算手段と、 画素毎の２回差分値を複数の種類に分類する正規化手段
   と、 前記正規化手段で求めた分類に基づいて、ライン方向に
   連続する同種類の画素列を画像ラインパターンとして認
   識して抽出するパターン抽出手段と、 前記画像ラインパターンとして認識した画素列の情報を
   収集する情報収集手段と、 前記画像ラインパターンに対するコアリング処理を行う
   コアリング手段と、を具備することを特徴とする請求項
   １又は２記載の画像補間装置。
4. 【請求項４】 前記情報収集手段は、 前記画像ラインパターン内の最大輝度値を収集する手段
   と、 前記画像ラインパターン開始位置からの最大輝度位置ま
   での最大輝度増加量を収集する手段と、 最大輝度位置から前記画像ラインパターン終了位置まで
   の最大輝度減少量を収集する手段と、 前記画像ラインパターン内の最小輝度値を収集する手段
   と、 前記画像ラインパターン開始位置からの最小輝度位置ま
   での最大輝度減少量を収集する手段と、 最小輝度位置から前記画像ラインパターン終了位置まで
   の最大輝度増加量を収集する手段と、を少なくとも１つ
   は具備することを特徴とする請求項３記載の画像補間装
   置。
5. 【請求項５】 前記コアリング手段は、 前記画像ラインパターン内の画像の歪みとノイズを検出
   する検出手段と、 前記検出手段の検出データに基づいて、前記画像ライン
   パターンを削除する編集が必要か否かを判定する編集判
   定手段と、 編集が必要と判定された画像ラインパターンに対して削
   除編集を実行する編集実行手段と、を具備することを特
   徴とする請求項３記載の画像補間装置。
6. 【請求項６】 前記補間パターン予測手段は、前記パタ
   ーン情報から補間可能方向／補間不可能方向を予測する
   補間方向予測手段を具備することを特徴とする請求項２
   記載の画像補間装置。
7. 【請求項７】 前記補間パターン予測手段は、 前記パターン情報が一致する画像ラインパターンが存在
   する位置までの距離を予測する検索距離予測手段と、 一致する画像ラインパターンと補間しても画像に破たん
   が生じない距離を予測する補間実行距離予測手段と、を
   具備することを特徴とする請求項２記載の画像補間装
   置。
8. 【請求項８】 前記補間パターン決定手段は、 画像ラインパターンの情報から一致している可能性のあ
   る画像ラインパターンを検索する一致パターン検索手段
   と、 検索された画像ラインパターン同士のパターン情報が一
   致するかを判定するパターン一致判定手段と、 一致すると判定された画像ラインパターンをベクトル判
   定するベクトル判定手段と、を具備することを特徴とす
   る請求項２記載の画像補間装置。
9. 【請求項９】 前記補間パターン決定手段は、 画像ラインパターンの情報から一致している可能性のあ
   る画像ラインパターンを検索する一致パターン検索手段
   と、 検索された画像ラインパターン同士のパターン情報が一
   致するかを判定するパターン一致判定手段と、 一致すると判定された画像ラインパターンが補間可能方
   向に存在するかを判定する補間方向判定手段と、 補間可能方向にあると判定された画像ラインパターンを
   ベクトル判定するベクトル判定手段と、を具備すること
   を特徴とする請求項６記載の画像補間装置。
10. 【請求項１０】 前記補間パターン決定手段は、 画像ラインパターンの情報から一致している可能性のあ
    る画像ラインパターンを検索する一致パターン検索手段
    と、 検索された画像ラインパターン同士のパターン情報が一
    致するかを判定するパターン一致判定手段と、 一致すると判定された画像ラインパターンまでの距離が
    補間実行距離より短いかを判定する補間実行距離判定手
    段と、 補間実行距離より短いと判定された画像ラインパターン
    をベクトル判定するベクトル判定手段と、を具備するこ
    とを特徴とする請求項７記載の画像補間装置。
11. 【請求項１１】 前記補間実行手段は、 補間を実行する区間を決定する手段と、補間する画素列
    を設定する補間画素列設定手段と、を具備することを特
    徴とする請求項１〜１０のいずれかに記載の画像補間装
    置。