JP2018117334A - 画像処理装置 - Google Patents

Abstract

【課題】拡大インターレース画像からオリジナルインターレース画像を復元する画像処理装置を提供する。
【解決手段】オリジナルインターレース画像が拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理装置が提供される。前記画像処理装置は、パターン検出部と、復元部とを備える。前記パターン検出部は、前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出し、前記縞模様のパターンに基づいて、前記拡大インターレース画像から前記オリジナルインターレース画像への縮小倍率を算出する。前記復元部は、前記縮小倍率に基づいて、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成する。
【選択図】図５

Description

本発明は、拡大インターレース画像からオリジナルインターレース画像を復元する画像処理装置、プログラム及び方法に関する。なお、オリジナルインターレース画像を復元することには、オリジナルインターレース画像に含まれるフィールド画像を復元することが含まれる。

周知のとおり、インターレース画像とは、２枚のフィールド画像を一方が奇数行を構成し、他方が偶数行を構成するように交互に合成した画像である。そのため、２枚のフィールド画像に時間差があり、被写体が動いている場合、インターレース画像には奇数行と偶数行とで同じ被写体が移動方向に互い違いにずれて写り、コーミングノイズと呼ばれる横方向の縞模様が現れる。

映像の鮮明化の手法には、例えば、明るさやコントラストの調整、鮮やかさや色合いの調整、ノイズ除去、シャープネス、ぶれやボケの補正、拡大、歪曲補正やあおり補正等の様々な種類がある。しかしながら、これらの処理は、場合によっては映像が持つ問題点を強調したり、周囲に分散させたりし、むしろ画質を劣化させることがある。例えば、インターレース画像をインターレース解除せずに、すなわち、２枚のフィールド画像に分離せずにシャープネスや歪曲補正等の処理を実行すると、コーミングノイズが強調されたり、変形したりするため、明らかに画質が劣化する。従って、インターレース画像は、鮮明化の処理を行う前にインターレースを解除しておくことが好ましい。なお、インターレース画像は、上記のとおり、２枚のフィールド画像が交互に配列されるという規則性を有するため、この規則性に従えば、容易にインターレースを解除することができる（例えば、特許文献１参照）。

特開２０１４−０３３４３８号公報

ところで、防犯カメラの専用のプレイヤーの中には、映像表示やファイル出力の際に、使用者の意図に関係なく勝手に画像の拡縮を行うものがある。また、キャプチャー機器を経由してインターレース画像を取得すると、自動的に画像サイズが変更されることもある。このとき、拡大後のインターレース画像（以下、拡大インターレース画像ということがある）の拡大時の拡大倍率が分からないと、拡大前のインターレース画像（以下、オリジナルインターレース画像ということがある）を復元することができず、２枚のフィールド画像に分離することもできなくなる。かといって、拡大インターレース画像をインターレース解除しないままに鮮明化すると、上記のとおり、画質の劣化を招来する。

また、以上のように何らかの理由で少なくとも縦方向に画像が拡大されるとき、当該画像には拡大倍率に応じて所定の間隔で新しい行が挿入され得る。従って、インターレース画像が少なくとも縦方向に拡大された場合、拡大インターレース画像においては、元の２枚のフィールド画像の交互の配列の規則性が崩れている。従って、拡大インターレース画像において拡大時の追加行の位置等が分からないと、オリジナルインターレース画像を復元することができず、２枚のフィールド画像に分離することもできなくなる。かといって、拡大インターレース画像をインターレース解除しないままに鮮明化すると、上記のとおり、画質の劣化を招来する。

本発明は、拡大インターレース画像からオリジナルインターレース画像を復元することを目的とする。

本発明の第１観点に係る画像処理装置は、オリジナルインターレース画像が拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理装置であって、パターン検出部と、復元部とを備える。前記パターン検出部は、前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出し、前記縞模様のパターンに基づいて、前記拡大インターレース画像から前記オリジナルインターレース画像への縮小倍率を算出する。前記復元部は、前記縮小倍率に基づいて、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成する。

本発明の第２観点に係る画像処理装置は、第１観点に係る画像処理装置であって、前記パターン検出部は、前記縞模様のパターンに基づいて、前記拡大インターレース画像から前記オリジナルインターレース画像への仮の縮小倍率を算出し、前記仮の縮小倍率及び前記拡大インターレース画像の縦画素数に基づいて、前記オリジナルインターレース画像の縦画素数の候補となる候補画素数を複数設定し、前記複数の候補画素数にそれぞれ対応する複数の前記縮小倍率を算出し、前記復元部は、前記複数の縮小倍率の各々に対し、前記復元画像及び前記フィールド画像の少なくとも一方を作成する。

本発明の第３観点に係る画像処理装置は、第２観点に係る画像処理装置であって、前記複数の候補画素数は、全て偶数である。

本発明の第４観点に係る画像処理装置は、第１観点から第３観点のいずれかに係る画像処理装置であって、前記復元部は、線形補間のアルゴリズムを用いて前記拡大インターレース画像を前記縮小倍率で縮小することにより、前記復元画像を作成する。

本発明の第５観点に係る画像処理装置は、オリジナルインターレース画像に所定の間隔で追加行が追加されたことにより、前記オリジナルインターレース画像がある拡大倍率で拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理装置であって、パターン検出部と、復元部とを備える。前記パターン検出部は、前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出し、前記縞模様のパターンに基づいて、前記拡大インターレース画像に含まれる前記追加行の位置を特定するパラメータを算出する。前記復元部は、前記追加行の位置を特定するパラメータに基づいて、前記拡大インターレース画像から前記追加行を除去することにより、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成する。

本発明の第６観点に係る画像処理装置は、第５観点に係る画像処理装置であって、前記追加行の位置を特定するパラメータには、前記拡大倍率が含まれる。

本発明の第７観点に係る画像処理装置は、第５観点又は第６観点に係る画像処理装置であって、前記パターン検出部は、１行おきの縞模様のパターンを有する画像を前記拡大倍率と同じ倍率で拡大した画像である拡大パターン画像と、前記拡大インターレース画像とを、両画像の前記縞模様のパターンが最も一致するように位置合わせし、前記位置合わせの結果に基づいて、前記追加行の位置を特定するパラメータを算出する。

本発明の第８観点に係る画像処理装置は、第５観点から第７観点のいずれかに係る画像処理装置であって、前記復元画像の滲みを除去する滲み補正部をさらに備える。

本発明の第９観点に係る画像処理装置は、第８観点に係る画像処理装置であって、前記滲み補正部は、滲みパターン画像に含まれる画素値から補正係数を算出し、前記補正係数に基づいて前記復元画像の画素値を補正する。前記滲みパターン画像は、１行おきの縞模様のパターンを有する画像を、前記拡大倍率と同じ倍率で拡大した後、前記拡大倍率の逆数の縮小倍率で縮小した画像である。

本発明の第１０観点に係る画像処理装置は、第１観点から第９観点のいずれかに係る画像処理装置であって、前記縞模様のパターンには、前記縞模様の周期が含まれる。

本発明の第１１観点に係る画像処理装置は、第１０観点に係る画像処理装置であって、前記拡大インターレース画像は、複数枚のフレームを含む動画である。前記パターン検出部は、前記複数枚のフレームから前記コーミングノイズを強調したノイズ強調画像を作成し、前記ノイズ強調画像の各行間の差分を表す差分画像を作成し、前記差分画像の各行に含まれる画素値の特徴を表す縦方向プロファイルを作成し、前記縦方向プロファイルのパワースペクトルのピークの位置から、前記縞模様の周期を算出する。

本発明の第１２観点に係る画像処理プログラムは、オリジナルインターレース画像が拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理プログラムであって、以下のステップをコンピュータに実行させる。
（１）前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出するステップ
（２）前記縞模様のパターンに基づいて、前記拡大インターレース画像から前記オリジナルインターレース画像への縮小倍率を算出するステップ
（３）前記縮小倍率に基づいて、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成するステップ

本発明の第１３観点に係る画像処理方法は、オリジナルインターレース画像が拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理プログラムであって、以下のステップを含む。
（１）前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出するステップ
（２）前記縞模様のパターンに基づいて、前記拡大インターレース画像から前記オリジナルインターレース画像への縮小倍率を算出するステップ
（３）前記縮小倍率に基づいて、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成するステップ

本発明の第１４観点に係る画像処理プログラムは、オリジナルインターレース画像に所定の間隔で追加行が追加されたことにより、前記オリジナルインターレース画像がある拡大倍率で拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理プログラムであって、以下のステップをコンピュータに実行させる。
（１）前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出するステップ
（２）前記縞模様のパターンに基づいて、前記拡大インターレース画像に含まれる前記追加行の位置を特定するパラメータを算出するステップ
（３）前記追加行の位置を特定するパラメータに基づいて、前記拡大インターレース画像から前記追加行を除去することにより、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成するステップ

本発明の第１５観点に係る画像処理方法は、オリジナルインターレース画像に所定の間隔で追加行が追加されたことにより、前記オリジナルインターレース画像がある拡大倍率で拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理方法であって、以下のステップを含む。
（１）前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出するステップ
（２）前記縞模様のパターンに基づいて、前記拡大インターレース画像に含まれる前記追加行の位置を特定するパラメータを算出するステップ
（３）前記追加行の位置を特定するパラメータに基づいて、前記拡大インターレース画像から前記追加行を除去することにより、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成するステップ

本発明の第１６観点に係る画像処理装置は、オリジナルインターレース画像に所定の間隔で追加行が追加されたことにより、前記オリジナルインターレース画像がある拡大倍率で拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理装置であって、検出部と、復元部とを備える。前記検出部は、前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれる画素値が同じ又は略同じ重複行を検出する。前記復元部は、前記拡大インターレース画像から前記重複行を除去することにより、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成する。

本発明の第１観点によれば、拡大インターレース画像を画像処理することにより、拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンが検出される。そして、この縞模様のパターンに基づいて、拡大インターレース画像からオリジナルインターレース画像を復元するための縮小倍率が算出される。そして、この縮小倍率に基づいて、オリジナルインターレース画像を復元した復元画像及び復元画像を構成するフィールド画像の少なくとも一方が作成される。以上により、拡大インターレース画像からオリジナルインターレース画像を復元することができる。

本発明の第５観点によれば、拡大インターレース画像を画像処理することにより、拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンが検出される。そして、この縞模様のパターンに基づいて、拡大インターレース画像に含まれる拡大時の追加行の位置が特定される。そして、この追加行が除去され、オリジナルインターレース画像を復元した復元画像及び復元画像を構成するフィールド画像の少なくとも一方が作成される。以上により、拡大インターレース画像からオリジナルインターレース画像を復元することができる。

本発明の第１６観点によれば、拡大インターレース画像を画像処理することにより、拡大インターレース画像に含まれる画素値が同じ又は略同じ重複行が検出される。そして、この重複行が除去されることにより、オリジナルインターレース画像を復元した復元画像及び復元画像を構成するフィールド画像の少なくとも一方が作成される。以上により、拡大インターレース画像からオリジナルインターレース画像を復元することができる。

本発明の第１実施形態に係る画像処理装置のブロック図。 画像データが取り込まれる前の基本画面の図。 画像データが取り込まれた後の基本画面の図。 １のタイムラインに属する静止画群を示す図。 本発明の第１実施形態に係る特殊インターレース解除の処理の流れを示すフローチャート。 拡大インターレース画像の差分画像から自己加重平均により作成したノイズ強調画像の例。 図６Ａと同じ拡大インターレース画像の差分画像から単なる平均により作成したノイズ強調画像の例。 ニアレストネイバー法による拡大インターレース画像のノイズ強調画像の行間の差分を表す差分画像の例。 バイリニア法による拡大インターレース画像のノイズ強調画像の行間の差分を表す差分画像の例。 図７Ａに示される四角枠内の拡大図。 図７Ｂに示される四角枠内の拡大図。 図７Ｂの差分画像から導出した縦方向プロファイルのグラフ。 図９の縦方向プロファイルのパワースペクトルのグラフ。 （ａ）コーミングノイズを想定したパターン画像。（ｂ）（ａ）をバイリニア法により拡大した拡大パターン画像。（ｃ）（ｂ）の行間の差分を表す差分画像。（ｄ）（ｅ）に対し位置合わせされた（ｃ）の画像。（ｅ）拡大インターレース画像から作成したノイズ強調画像の行間の差分を表す差分画像。 図１１（ｃ）の差分画像の画素値のグラフ。 拡大パターン画像を１画素ずつ下方向にずらして配置した様子を示す図。 図１３の各拡大パターン画像をニアレストネイバー法により縮小した縮小画像の図。 （ａ）図１１（ｂ）の拡大パターン画像。（ｂ）（ａ）をニアレストネイバー法により縮小した縮小画像。（ｃ）図１１（ａ）のパターン画像。（ｄ）（ｂ）及び（ｃ）の枠内に示す画像の一部を抜き出した画像。 変形例に係る特殊インターレース解除の処理の流れを示すフローチャート。 拡大インターレース画像の例。 図１７Ａの拡大インターレース画像に対し、通常のインターレース解除を行った結果を示す図（比較例）。 図１７Ａの拡大インターレース画像に対し、図５の特殊インターレース解除の縮小処理（Ｓ３）までを行った結果を示す図。 図１７Ａの拡大インターレース画像に対し、図５の特殊インターレース解除の滲み補正処理（Ｓ４）までを行った結果を示す図。 図１７Ａの拡大インターレース画像に対し、図５の特殊インターレース解除を行った結果を示す図（実施例１）。 図１７Ｃの縮小画像に対し、通常のインターレース解除を行った結果を示す図（実施例２）。 本発明の第２実施形態に係る特殊インターレース解除の処理の流れを示すフローチャート。 (Ａ)コーミングノイズを想定したパターン画像。(Ｂ)（Ａ）のパターン画像を通常のバイリニア法で拡大した後、通常のバイリニア法で元のサイズに縮小した画像。（Ｃ)（Ａ）のパターン画像を通常のバイリニア法で拡大した後、第２実施形態に係るバイリニア法で元のサイズに縮小した画像。 図１９（Ａ）のパターン画像を様々な拡大倍率でバイリニア法で拡大した後、元のサイズに縮小したときの、各縮小画像と元のパターン画像とのＰＳＮＲのグラフ。 図１７Ａの拡大インターレース画像を、第２実施形態に係るアルゴリズムで特殊インターレース解除を行った結果を示す図（実施例３）。 実施例４〜６に係る６種類のオリジナルインターレース画像のサンプルを示す図。 サンプル１を拡大倍率１．３倍及び１．６倍で拡大し、第２実施形態に係るバイリニア法及び通常のバイリニア法で元のサイズに復元した場合の復元画像（実施例５及び比較例５）。 サンプル２を拡大倍率１．３倍及び１．６倍で拡大し、第２実施形態に係るバイリニア法及び通常のバイリニア法で元のサイズに復元した場合の復元画像（実施例５及び比較例５）。 サンプル３を拡大倍率１．３倍及び１．６倍で拡大し、第２実施形態に係るバイリニア法及び通常のバイリニア法で元のサイズに復元した場合の復元画像（実施例５及び比較例５）。 サンプル４を拡大倍率１．３倍及び１．６倍で拡大し、第２実施形態に係るバイリニア法及び通常のバイリニア法で元のサイズに復元した場合の復元画像（実施例５及び比較例５）。 サンプル５を拡大倍率１．３倍及び１．６倍で拡大し、第２実施形態に係るバイリニア法及び通常のバイリニア法で元のサイズに復元した場合の復元画像（実施例５及び比較例５）。 サンプル６を拡大倍率１．３倍及び１．６倍で拡大し、第２実施形態に係るバイリニア法及び通常のバイリニア法で元のサイズに復元した場合の復元画像（実施例５及び比較例５）。 サンプル３の場合における拡大倍率とＰＳＮＲとの関係を示すグラフ。 サンプル６の場合における拡大倍率とＰＳＮＲとの関係を示すグラフ。 サンプル３に係る図２５の画像をインターレース解除した画像（実施例６及び比較例６）。

以下、図面を参照しつつ、本発明の幾つかの実施形態に係る画像処理装置、プログラム及び方法について説明する。

＜１．第１実施形態＞
＜１−１．画像処理装置の構成＞
図１に示す画像処理装置１は、本発明の第１実施形態に係る画像処理装置である。画像処理装置１は、ハードウェアとしては、汎用のパーソナルコンピュータである。画像処理装置１には、ＣＤ−ＲＯＭやＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０から、或いはＬＡＮやインターネット等のネットワーク経由で画像処理プログラム２が提供され、インストールされている。画像処理プログラム２は、動画及び静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０及び制御部４０を有する。これらの部１０〜４０は、互いにバス線やケーブル等の通信線５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウスやキーボート、タッチパネル等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスクやフラッシュメモリ等から構成される不揮発性の記憶領域である。制御部４０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成される。

画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１及び加工ファイル領域５２が確保されている。各領域５１，５２の役割については、後述する。

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に表示制御部４１及び画像処理部４２として動作する。表示制御部４１は、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示を制御する。画像処理部４２は、様々な種類の画像処理を実行する。画像処理部４２は、後述する特殊インターレース解除の処理の実行中、仮想的に検出部４２ａ、復元部４２ｂ及び補正部４２ｃとして動作する。各部４１，４２，４２ａ〜４２ｃの動作の詳細は、後述する。

＜１−２．画像処理装置の動作＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検出すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。

＜１−２−１．画像データの取込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理及び画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパス及びファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパス及びフォルダ名をユーザに入力させる。その後、制御部４０は、指定された静止画ファイル又は指定されたフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパス及びファイル名を入力する。表示制御部４１は、ユーザが動画ファイルを指定したことを検出すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して特定の区間を選択したことを検出すると、選択された区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。従って、本実施形態では、後述する再生処理及び画像処理の対象となる画像データは、動画ファイルではなく、静止画ファイルである。

なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群に含まれるファイルをタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。

＜１−２−２．再生処理＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、表示制御部４１は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ作成される。

表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームに対応する静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。

図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４及びタイムラインバーＴ５が配置されている。

表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブフレームと呼ぶ。

表示制御部４１は、アクティブな表示ウィンドウＷ２内で、アクティブフレーム群を動画として再生可能である。再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。表示制御部４１は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検出すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブフレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４１は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検出すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブフレームに固定する。

コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブフレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群に含まれるフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

図３に示すように、表示制御部４１は、タイムラインバーＴ５上において、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを、異なる表示形式で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に属するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に属するフレーム群である。

タイムラインバーＴ５は、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。このとき選択される区間は、連続区間であってもよいし、図３に示すように、不連続区間であってもよい。具体的には、ユーザは、入力部２０を介してタイムラインバーＴ５上の分割領域を操作することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。分割領域は、同時に複数選択が可能である。表示制御部４１は、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブフレームを最新に選択された分割領域に対応するフレームに直ちに切り替える。画像処理部４２は、選択フレーム群を後述される画像処理の対象として認識する。

＜１−２−３．画像処理＞
画像処理部４２は、選択フレーム群に対し、明るさ／コントラスト／彩度調整、ノイズ除去、シャープネス、ぶれ／ぼけ補正、拡大／縮小、歪曲補正、あおり補正、通常のインターレース解除、特殊インターレース解除などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。画像処理部４２は、ユーザが画像処理モジュールを選択したことを検出する度に、その時点の選択フレーム群に対しその画像処理モジュールを実行する。なお、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。

フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームの静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。画像処理部４２は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。

図４は、１のタイムラインに属する画像群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、画像Ｉ（ｎ，ｍ）を表している。画像Ｉ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の画像である（ｎは、自然数であり、ｍは、０以上の整数である）。

制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍ_sとして管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍ_sは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍ_sは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、任意のフレームの座標ｍ_sを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍ_s次の画像に対し画像処理モジュールを実行することである。従って、座標ｍ_sを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。また、フレームを表示するとは、そのフレームの座標ｍ_sの画像を表示することである。従って、座標ｍ_sを変更することには、アクティブな表示ウィンドウＷ２内に表示される対象を変更するという意味もある。

＜１−３．特殊インターレース解除＞
以下、画像処理プログラム２に実装されている画像処理の１つである、特殊インターレース解除の処理について説明する。インターレース画像とは、２枚のフィールド画像を一方が奇数行を構成し、他方が偶数行を構成するように交互に合成した画像である。通常のインターレース解除とは、この規則性に従って、インターレース画像を奇数行からなる画像と偶数行からなる画像とに、すなわち、元の２枚のフィールド画像に分離することを言う。

これに対し、特殊インターレース解除とは、拡大インターレース画像を元の２枚のフィールド画像に分離することを言う。拡大インターレース画像とは、オリジナルインターレース画像が少なくとも縦方向にある拡大倍率で拡大された画像であり、言い換えると、オリジナルインターレース画像に拡大倍率に応じて所定の間隔で追加行が追加された画像である（追加列が追加されている場合も含む）。従って、拡大インターレース画像においては、これらの追加行の存在により、合成前の２枚のフィールド画像の交互の配列の規則性が崩れている。よって、拡大インターレース画像は、通常のインターレース解除の処理ではインターレースを解除できない特殊なインターレース画像である。特殊インターレース解除は、このような特殊なインターレース画像のインターレースを解除する処理である。具体的には、拡大インターレース画像から追加行を除去することにより、拡大インターレース画像を少なくとも縦方向に元のサイズに復元した復元画像を作成し、この復元画像を奇数行のフィールド画像と偶数行のフィールド画像とに分離する。このとき、拡大インターレース画像に含まれる追加行の位置は、拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンに基づいて画像処理により特定される。なお、コーミングノイズとは、横方向の縞模様として現れる、インターレース画像に特有のノイズである。すなわち、合成前の２枚のフィールド画像の時間差により、奇数行と偶数行とで動いている被写体が移動方向に互い違いにずれて写ることにより生じるノイズである。

以下、図５を参照しつつ、特殊インターレース解除のアルゴリズムについて詳細に説明する。図５は、本実施形態に係る特殊インターレース解除の処理の流れを示すフローチャートである。特殊インターレース解除の処理は、選択フレーム群に含まれる各フレームを対象として実行される。ただし、本実施形態に係る特殊インターレース解除の処理は、少なくとも２枚のフレームを必要とするため、選択フレーム群に少なくとも２枚のフレームが含まれる場合にのみ実行される。従って、図５のフローチャートに係る処理は、ユーザが入力部２０を介してアクティブタイムライン上で２枚以上のフレームを選択している状態で本処理の実行を命令した場合に開始する。

最初のステップＳ１では、検出部４２ａが、選択フレーム群に含まれるフレームＦ₁，Ｆ₂，・・・，Ｆ_N（Ｎは、２以上の整数）のコーミングノイズによる縞模様のパターンを検出する。縞模様のパターンは、以下のアルゴリズムにより検出される。まず、検出部４２ａは、ｎ＝１，２，・・・，Ｎ−１に対し、時間的に隣接する２枚のフレームＦ_nとＦ_n+1との差分画像ＦＤｉｆ_nを作成する。具体的には、以下の式に従って、ｘ＝１，２，・・・，Ｗ、ｙ＝１，２，・・・，Ｈに対し、差分画像ＦＤｉｆ_nに含まれる各画素値ＦＤｉｆ_n,x,yを算出する。なお、フレームＦ_nは、Ｈ（縦）×Ｗ（横）ピクセルの画像であり、ＦＤｉｆ_n,x,yは、ＦＤｉｆ_nのｙ行ｘ列の画素値あり、Ｄａｔ_n,x,yは、フレームＦ_nのｙ行ｘ列の画素値ある。

差分画像ＦＤｉｆ_nにおいては、静止している物体が消え、相対的に動体部分が強調される。コーミングノイズは、フレームＦ₁，Ｆ₂，・・・，Ｆ_Nに写る動体部分に現れるため、差分画像ＦＤｉｆ_nにおいては、コーミングノイズが強調される。

次に、検出部４２ａは、差分画像ＦＤｉｆ₁，ＦＤｉｆ₂，・・・，ＦＤｉｆ_N-1を重ね合わせた画像ＷＦＤｉｆを作成する。具体的には、以下の式に従って、ｘ＝１，２，・・・，Ｗ、ｙ＝１，２，・・・，Ｈに対し、画像ＷＦＤｉｆに含まれる各画素値ＷＦＤｉｆ_x,yを算出する。なお、ＷＦＤｉｆ_x,yは、画像ＷＦＤｉｆのｙ行ｘ列の画素値である。画像ＷＦＤｉｆは、差分画像ＦＤｉｆ₁，ＦＤｉｆ₂，・・・，ＦＤｉｆ_N-1を重ね合わせることにより、フレームＦ₁，Ｆ₂，・・・，Ｆ_Nに含まれるコーミングノイズをさらに強調した画像（以下、ノイズ強調画像ということがある）である。

数２の式では、自己加重平均による重ね合わせが行われている。すなわち、数２の式によるノイズ強調画像ＷＦＤｉｆは、各画素について、差分画像ＦＤｉｆ₁，ＦＤｉｆ₂，・・・，ＦＤｉｆ_N-1に含まれる画素値を、それぞれ自身の画素値を重みとして平均化した画像である。なお、ノイズ強調画像ＷＦＤｉｆの算出方法はこれに限らず、例えば、差分画像ＦＤｉｆ₁，ＦＤｉｆ₂，・・・，ＦＤｉｆ_N-1の単なる平均画像とすることもできる。また、差分画像ＦＤｉｆ₁，ＦＤｉｆ₂，・・・，ＦＤｉｆ_N-1を重ね合わせることなく、任意の１枚の差分画像ＦＤｉｆ_nをそのままノイズ強調画像ＷＦＤｉｆとして、その後の処理を進めることもできる。

図６Ａは、９６枚の拡大インターレース画像から数２の式に従って作成したノイズ強調画像ＷＦＤｉｆである。一方、図６Ｂは、同じ９６枚の拡大インターレース画像の差分画像ＦＤｉｆ₁，ＦＤｉｆ₂，・・・，ＦＤｉｆ_N-1の単なる平均画像として作成したノイズ強調画像ＷＦＤｉｆである。これらを比較すれば明らかなとおり、自己加重平均を行うことで、コーミングノイズがより強調されることが分かる。

次に、検出部４２ａは、ノイズ強調画像ＷＦＤｉｆの隣接する各行間の差分を表す差分画像ＬＤｉｆを作成する。具体的には、以下の式に従って、ｘ＝１，２，・・・，Ｗ、ｙ＝１，２，・・・，Ｈ−１に対し、差分画像ＬＤｉｆに含まれる各画素値ＬＤｉｆ_x,yを算出する。なお、ＬＤｉｆ_x,yは、差分画像ＬＤｉｆのｙ行ｘ列の画素値である。

図７Ａは、図６Ａの画像から数３の式に従って作成した差分画像ＬＤｉｆである。図７Ｂは、図６Ａとは異なる６０枚の拡大インターレース画像から数３の式に従って作成した差分画像ＬＤｉｆである。

次に、検出部４２ａは、差分画像ＬＤｉｆの各行に含まれる画素値の特徴を表す縦方向プロファイルＹｐｒｏを作成する。具体的には、以下の式に従って、ｙ＝１，２，・・・，Ｈ−１に対し、Ｙｐｒｏ_yを算出する。なお、Ｙｐｒｏは、（Ｈ−１）行１列の行列であり、Ｙｐｒｏ_yは、Ｙｐｒｏのｙ行目の値である。

次に、検出部４２ａは、縦方向プロファイルＹｐｒｏに含まれる（Ｈ−１）個の値のデータ列をフーリエ変換し、パワースペクトルを導出する。ただし、このとき、縦方向プロファイルＹｐｒｏに含まれる１行目からＨ'行目までの値が用いられる。Ｈ'は、（Ｈ−１）以下の２のべき乗の最大値である。

縦方向プロファイルＹｐｒｏには、コーミングノイズによる縞模様のパターンから生じる波形の特徴が現れるため、Ｙｐｒｏのパワースペクトルには、縞模様の幅の変化の周期に対応するピークが現れる。そのため、縞模様の周期Ｃ_pは、以下の式に従って、Ｈ'及びＹｐｒｏのパワースペクトルのピークの位置Ｙｐｅａｋから算出することができる。

図８Ａ及び図８Ｂは、それぞれ図７Ａ及び図７Ｂの差分画像ＬＤｉｆ上に示される四角枠内の拡大図である。図８Ａからは、縞模様の間隔に８行単位の周期性があることが分かる（つまり、Ｃ_p＝８）。また、１周期に相当する各８行の中には、黒い又は黒っぽい行が３行ずつあることが分かる。ノイズ強調画像ＷＦＤｉｆの各行間の差分を表す差分画像ＬＤｉｆ上に現れる黒い又は黒っぽい行は、ノイズ強調画像ＷＦＤｉｆにおいて当該行の画素値が隣接する行の画素値と同じ又は略同じであったことを表す。言い換えると、黒い又は黒っぽい行は、オリジナルインターレース画像から拡大インターレース画像への拡大時にコーミングノイズの幅が広がった行、つまり追加行を表す。通常のインターレース画像では、縞模様は１行おきに変化するため、このような黒い又は黒っぽい行は存在しない。従って、１周期内の本来の行数Ｃ_orgは、以下の式のとおり、周期Ｃ_pから１周期Ｃ_p当たりの黒い又は黒っぽい行の数Ｃｎｔを引くことで算出される。図７Ａ及び図８Ａの例では、Ｃ_org＝８−３＝５行である。

一方、図７Ｂ及び図８Ｂからは、黒い又は黒っぽい行が目視では判別し難い。しかしながら、Ｃ_p及びＣｎｔは、差分画像ＬＤｉｆから算出することができる。図９は、図７Ｂの差分画像ＬＤｉｆから導出した縦方向プロファイルＹｐｒｏのグラフであり、図１０は、そのパワースペクトルを示す。図１０の例では、Ｈ'＝５１２であり、ピークの位置Ｙｐｅａｋ＝５１であるため、数５の式より、Ｃ_p＝５１２／５１＝１０．０３９・・・となり、周期Ｃ_pが１０行と特定される。また、図９を見ると、１０行の１周期当たりに１回、下に凸となる箇所が現れている。そして、この下に凸となる箇所が、目視では検出し難いこともある黒い又は黒っぽい行に相当する。従って、この例では、Ｃｎｔ＝１である。

以上より、検出部４２ａは、縦方向プロファイルＹｐｒｏのパワースペクトルから、数５の式に従って周期Ｃ_pを算出し、さらに縦方向プロファイルＹｐｒｏの値の配列の中から、１周期Ｃ_p当たりの下に凸となる箇所の数Ｃｎｔを算出する。また、これらのＣ_p及びＣｎｔから、数６の式に従ってＣ_orgを算出する。

次に、検出部４２ａは、縞模様のパターンを表すパラメータとなるＣ_p及びＣｎｔに基づいて、以下の式により、オリジナルインターレース画像から拡大インターレース画像への縦方向の拡大倍率Ｒ_Eを算出する。

以上より、図７Ａ及び図８Ａの例では、拡大倍率Ｒ_E＝８／５＝１．６倍である。一方、図７Ｂ及び図８Ｂの例では、拡大倍率Ｒ_E＝１０／９＝１．１１１・・・倍である。

ところで、図７Ａ及び図８Ａは、ニアレストネイバー（最近傍補間）法により拡大された拡大インターレース画像由来の画像であり、図７Ｂ及び図８Ｂは、周辺の複数の画素値から１つの画素値を決定する補間アルゴリズムの１つである、バイリニア法により拡大された拡大インターレース画像由来の画像である。前者のニアレストネイバー法では、拡大時の追加行が隣接行のコピーとなるため、Ｃ_p及びＣｎｔを目視でも特定できる。一方、バイリニア法のように拡大時の追加行が複数の行の画素値の混合値である後者の例では、目視での特定が困難となる。この点、数５〜数７の式により縞模様のパターンを検出するアルゴリズムは、ニアレストネイバー法のみならず、バイリニア法のようなアルゴリズムで拡大された拡大インターレース画像にも対応することができる。

続くステップＳ２では、検出部４２ａは、ステップＳ１の結果に基づいて、拡大インターレース画像であるフレームＦ_nに含まれる追加行の位置を特定するパラメータを算出する。このパラメータは、以下のアルゴリズムにより算出される。

検出部４２ａは、図１１（ａ）に示すようなコーミングノイズを想定したパターン画像ＣＰ０を作成する。パターン画像ＣＰ０は、白の画素値を有する行と、黒の画素値を有する行とが１行おきに交互に配列された縞模様のパターンを有する画像である。追加行の位置を特定するパラメータは、このパターン画像ＣＰ０から特殊なインターレース画像（インターレース画像を拡大した画像）を生成するシミュレーションにより算出される。具体的には、検出部４２ａは、パターン画像ＣＰ０を所定の補間法により縦方向に拡大倍率Ｒ_Eで拡大した画像（拡大パターン画像）ＣＰ１（図１１（ｂ）参照）を作成する。図１１の例では、バイリニア法が用いられている。バイリニア法では、各画素の新たな画素値が当該画素と４つの周辺画素との距離に基づく線形補間によって生成されるため、図１１の拡大パターン画像ＣＰ１には、白と黒の中間濃度の画素が出現している。ただし、ここで用いられる補間法としては、フレームＦ_nが作成されたときの補間法が選択されるべきであり、従って、バイリニア法に限らず、ニアレストネイバー法やバイキュービック法等、任意の補間法を選択することができる。なお、フレームＦ_nが作成されたときの補間法は未知であることが多いため、様々な補間法で同様の処理を行い、最も良い結果をユーザ自ら又は自動的に選択するように構成することができる。

さらに、検出部４２ａは、数３の式と同様の以下の式に従って、拡大パターン画像ＣＰ１の隣接する各行間の差分を表す差分画像ＣＰ２（図１１（ｃ）参照）を作成する。図１２は、差分画像ＣＰ２の画素値のグラフである。具体的には、以下の式に従って、ｘ＝１，２，・・・，Ｗ、ｙ＝１，２，・・・，Ｈ−１に対し、差分画像ＣＰ２に含まれる各画素値ＭＤｉｆ_x,yを算出する。なお、ＭＤｉｆ_x,yは、差分画像ＣＰ２のｙ行ｘ列の画素値であり、Ｎ_x,yは、拡大パターン画像ＣＰ１のｙ行ｘ列の画素値である。

続いて、検出部４２ａは、差分画像ＬＤｉｆと差分画像ＣＰ２とを、両画像の濃淡が最も一致するように、差分画像ＣＰ２を上下方向にシフトさせる。そして、最も一致したときの差分画像ＣＰ２のシフト量を、オフセット値Ｏ₁として特定する。なお、このシフトは、パターン画像ＣＰ０から作成した拡大インターレース画像である拡大パターン画像ＣＰ１と、同じく拡大インターレース画像であるフレームＦ₁，Ｆ₂，・・・，Ｆ_Nとを、両画像の縞模様のパターンが最も一致するように位置合わせしていることを意味する。

図１３は、拡大パターン画像ＣＰ１を１画素ずつ下方向にずらして配置した様子を示している。また、図１４は、図１３の各拡大パターン画像ＣＰ１をニアレストネイバー法により拡大倍率Ｒ_Eの逆数の倍率で縦方向に縮小した縮小画像ＣＰ３を示している。検出部４２ａは、このような縮小画像ＣＰ３を作成し、各縮小画像ＣＰ３と、同じサイズのパターン画像ＣＰ０とを比較して、両画像の濃淡が最も一致する縮小画像ＣＰ３を特定する。なお、縮小画像ＣＰ３をニアレストネイバー法により作成するのは、線形補間による平滑化効果がこれ以上進まないようにするためであるが、別の補間法を選択することもできる。図１４の例では、左から５番目の縮小画像ＣＰ３、すなわち、下方向に４行シフトさせた拡大パターン画像ＣＰ１を縮小した縮小画像ＣＰ３が最もパターン画像ＣＰ０と類似している。検出部４２ａは、このようなシフト量を、オフセット値Ｏ₂として特定する。すなわち、オフセット値Ｏ₂は、パターン画像ＣＰ０を縦方向に拡大した後、元のサイズに縮小するときに、元のパターン画像ＣＰ０を最も正しく復元することが可能な、当該縮小処理時のパラメータである。

検出部４２ａは、以上のオフセット値Ｏ₁，Ｏ₂を加算したオフセット値Ｏ＝Ｏ₁＋Ｏ₂を、フレームＦ₁，Ｆ₂，・・・，Ｆ_Nに含まれる追加行の位置を表すパラメータとして特定する。すなわち、フレームＦ₁，Ｆ₂，・・・，Ｆ_Nをオフセット値Ｏだけ縦方向にシフトさせた上で、拡大倍率Ｒ_Eの逆数の倍率で縦方向に縮小するときに削除されることになる行が、追加行に相当する。この意味で、拡大倍率Ｒ_Eもまた、追加行の位置を特定するパラメータと言える。すなわち、拡大倍率Ｒ_Eは、追加行の挿入パターンの１周期を表し、オフセット値Ｏは、この周期の開始位置を表す。

続くステップＳ３では、復元部４２ｂは、ステップＳ１，Ｓ２の結果に基づいて、フレームＦ₁，Ｆ₂，・・・，Ｆ_Nをそれぞれオフセット値Ｏだけ縦方向にシフトさせた後、ニアレストネイバー法により拡大倍率Ｒ_Eの逆数の縮小倍率で縦方向に縮小することにより、復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nを作成する。すなわち、復元部４２ｂは、各フレームＦ₁，Ｆ₂，・・・，Ｆ_Nから、当該フレームへの少なくとも縦方向の拡大時に追加されていた追加行が除去される。なお、このときニアレストネイバー法が用いられるのは、平滑化効果がこれ以上進まないようにするためであるが、バイリニア法やバイキュービック法等の別の補間法を選択することもできる。

続くステップＳ４では、復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nの滲みを除去する。図１５（ａ）は、図１１（ｂ）の拡大パターン画像ＣＰ１を示しており、図１５（ｃ）は、図１１（ａ）のパターン画像ＣＰ０を示している。図１５（ｂ）は、図１４においてパターン画像ＣＰ０に最も類似する、左から５番目の拡大パターン画像ＣＰ１の縮小画像ＣＰ３を示している。図１５（ｂ）の縮小画像ＣＰ３は、パターン画像ＣＰ０の拡大及び縮小により生じる滲みのパターンを表す画像（以下、滲みパターン画像ということがある）であると言うことができる。図１５（ｃ）は、復元画像として理想の状態であるが、図１５（ｂ）及び（ｃ）を比較すれば明らかなとおり、拡大時に発生した中間濃度は、縮小しても解消されることはない。そこで、以下のアルゴリズムに従って、この滲みを解消する。ここでも、オフセット値Ｏを決定したときと同様に、パターン画像ＣＰ０に基づくシミュレーションが実行される。

復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nの各画素の滲みは、当該画素とその上下の画素の画素値を用いて補正される。図１５（ｄ）は、図１５（ｂ）及び（ｃ）の枠内に示す画像の一部を抜き出した画像である。そして、同図において、滲みパターン画像ＣＰ３に含まれるＡ、Ｂ及びＣの画素値が、パターン画像ＣＰ０に含まれるＤの画素値になるような補正を行う。具体的には、補正部４２ｃは、以下の式に従って補正係数α_y，β_yを算出する。ただし、ｙは、復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nの縞模様のパターンの１周期（Ｃ_org）分の縦座標である。

補正部４２ｃは、図１５（ｂ）及び（ｃ）に示される３行を含む枠を１画素ずつずらしながら、ｙ＝１，２，・・・，Ｃ_orgに対し、補正係数α_y，β_yを算出する。そして、これらの補正係数α_y，β_yに基づいて、復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nの各画素値から滲みを除去した補正値を算出する。具体的には、復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nの各画素に対し、当該画素の画素値をＢとし、その上下の画素の画素値をＡ及びＣとして数９の第１式に代入し、得られるＤを当該画素の画素値の補正値とする。このとき、各画素に対して用いられる補正係数α_y，β_yとして、Ｃ_org通りの補正係数α_y，β_yの中から、上述のオフセット値Ｏに基づいて、当該画素の行番号に対応するα_y，β_yが選択される。

続くステップＳ５では、復元部４２ｂは、ステップＳ４による補正後の復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nからそれぞれ２枚のフィールド画像を作成する。すなわち、通常のインターレース解除と同様に、ステップＳ４による補正後の各復元画像Ｇ_nを、奇数行からなるフィールド画像Ｏ_nと偶数行からなるフィールド画像Ｅ_nとに分離する。なお、１枚のフレームＦ_nから２枚のフレームが作成されることになるため、本実施形態では、新たな１つのタイムラインが作成され、当該タイムラインに属するものとしてフィールド画像Ｏ₁，Ｏ₂，・・・，Ｏ_N及びＥ₁，Ｅ₂，・・・，Ｅ_Nはオリジナル画像領域５１内に保存される。このとき、予め定められている設定に従って、或いは自動判定により、奇数行ファーストか偶数行ファーストかが判定され、新たな１つの動画が作成される。新たなタイムライン上では、奇数行ファーストの場合には、Ｏ₁，Ｅ₁，Ｏ₂，Ｅ₂，・・・，Ｏ_N，Ｅ_Nの順にフレームが配列され、偶数行ファーストの場合には、Ｅ₁，Ｏ₁，Ｅ₂，Ｏ₂，・・・，Ｅ_N，Ｏ_Nの順にフレームが配列される。

＜１−４．用途＞
画像処理プログラム２は、多種多様な静止画及び動画に対する画像処理を取り扱うことができるが、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析するのにも利用され得る。防犯カメラ及びこれに接続される記録装置及び再生機器においては、インターレース画像が意図せず拡大されてしまうことがあるが、このようなインターレース画像を解析しなければならない場面において、上述の特殊インターレース解除の処理は有用である。

＜１−５．変形例＞
以上、第１実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

＜１−５−１＞
上記実施形態に係る特殊インターレース解除の処理に代えて、図１６に示す特殊インターレース解除の処理を実行することができる。本処理は、オリジナルインターレース画像をニアレストネイバー法により拡大した拡大インターレース画像を復元するのに適している。

まず、ステップＳ１１では、検出部４２ａが、ｎ＝１，２，・・・，Ｎに対し、選択フレーム群に含まれるフレームＦ_nを画像処理することにより、フレームＦ_nに含まれる重複行を検出する。ここでいう重複行とは、隣接する行において、画素値が同じ又は略同じ行である。より具体的には、検出部４２ａは、以下の式に従って、ｙ＝１，２，・・・，Ｈ−１に対し、Ｄａｔ_n,y+1とＤａｔ_n,yとの差分を表すＨＤｉｆ_n,yを作成する。

なお、Ｄａｔ_n,yは、フレームＦ_nのｙ行目の画素値の配列を表す行列である。そして、ＨＤｉｆ_n,yに含まれる全ての要素の絶対値の合計値が所定値以下の場合には、フレームＦ_nの（ｙ＋１）行をｙ行との重複行と判断する。

続くステップＳ１２では、復元部４２ｂは、ｎ＝１，２，・・・，Ｎに対し、フレームＦ_nから、ステップＳ１１で検出された重複行を除去することにより、復元画像Ｇ_nを作成する。ニアレストネイバー法では、拡大倍率に応じた周期で隣接行のデータをそのままコピーした追加行を挿入することにより、画像が拡大される。従って、ここで除去される重複行は、オリジナルインターレース画像からフレームＦ_nへの拡大時の追加行である。よって、復元画像Ｇ_nは、オリジナルインターレース画像からフレームＦ_nへの拡大時の拡大倍率の逆数の縮小倍率で縮小した画像となる。また、このとき、除去されるべき重複行と、これと重複していると判断された行（除去されない行）とに基づいて、後者の行の画素値を決定してもよい。ニアレストネイバー法により拡大した場合であっても、ノイズ等の影響により、追加行がそのコピー元の行と完全に一致するとは限らないからである。従って、２つの行を合成する（例えば、平均する）ことにより、ノイズの影響をキャンセルすることができる。

続くステップＳ１３は、ステップＳ５と同様である。すなわち、復元部４２ｂは、ステップＳ１２による復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nから、それぞれを構成する２枚のフィールド画像を作成する。

＜１−５−２＞
第１実施形態に係る特殊インターレース解除の処理では、ステップＳ２が終了した段階で追加行の位置が特定されている。従って、これらの追加行を削除しつつ、ステップＳ３を省略して復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nを作成することなく、直接的にフレームＦ₁，Ｆ₂，・・・，Ｆ_Nのインターレース解除を行うこともできる。

＜２．第２実施形態＞
以下、第２実施形態に係る特殊インターレース解除の処理について説明する。なお、本処理を実行する画像処理装置のハードウェア構成は、第１実施形態と共通しているため、以下の説明においては、各要素に同様の符号が付される。

＜２−１．特殊インターレース解除＞
第１実施形態と同様、第２実施形態に係る特殊インターレース解除でも、拡大インターレース画像が元の２枚のフィールド画像に分離される。ここでいう拡大インターレース画像とは、オリジナルインターレース画像が少なくとも縦方向にある拡大倍率で拡大された画像であり、言い換えると、拡大倍率に応じてオリジナルインターレース画像の縦画素数が増加した画像である（横画素数が増加した場合も含む）。従って、拡大インターレース画像の生成時の拡大倍率が分からないと、元のサイズに戻し、オリジナルインターレース画像に復元することができず、２枚のフィールド画像に分離することもできなくなる。また、拡大インターレース画像においては、縦画素数の増加により、合成前の２枚のフィールド画像の交互の配列の規則性が崩れている可能性がある。よって、拡大インターレース画像は、通常のインターレース解除の処理ではインターレースを解除できない特殊なインターレース画像である。第２実施形態に係る特殊インターレース解除も、このような特殊なインターレース画像のインターレースを解除する処理である。具体的には、拡大インターレース画像からオリジナルインターレース画像を復元するための少なくとも縦方向の縮小倍率を算出し、拡大インターレース画像を少なくとも縦方向に元のサイズに復元した復元画像を作成し、この復元画像を奇数行のフィールド画像と偶数行のフィールド画像とに分離する。このとき、縮小倍率は、拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンに基づいて画像処理により特定される。

以下、図１８を参照しつつ、第２実施形態に係る特殊インターレース解除のアルゴリズムについて詳細に説明する。図１８は、第２実施形態に係る特殊インターレース解除の処理の流れを示すフローチャートである。本処理も、第１実施形態と同様に、選択フレーム群に含まれる各フレームを対象として実行される。また、本処理も、少なくとも２枚のフレームを必要とするため、選択フレーム群に少なくとも２枚のフレームが含まれる場合にのみ実行される。

最初のステップＳ２１では、ステップＳ１と同様、検出部４２ａが、選択フレーム群に含まれるフレームＦ₁，Ｆ₂，・・・，Ｆ_N（Ｎは、２以上の整数）を画像処理することにより、これに含まれるコーミングノイズによる縞模様のパターンを検出する。具体的には、検出部４２ａは、ステップＳ１と同様に、ｎ＝１，２，・・・，Ｎ−１に対し、時間的に隣接する２枚のフレームＦ_nとＦ_n+1との差分画像ＦＤｉｆ_nを作成する。次に、検出部４２ａは、差分画像ＦＤｉｆ₁，ＦＤｉｆ₂，・・・，ＦＤｉｆ_N-1を重ね合わせた画像ＷＦＤｉｆを作成する。さらに、検出部４２ａは、ノイズ強調画像ＷＦＤｉｆの隣接する各行間の差分を表す差分画像ＬＤｉｆを作成する。続いて、検出部４２ａは、差分画像ＬＤｉｆの各行に含まれる画素値の特徴を表す縦方向プロファイルＹｐｒｏを作成する。

続いて、ステップＳ１と同様、検出部４２ａは、縦方向プロファイルＹｐｒｏに含まれる（Ｈ−１）個の値のデータ列をフーリエ変換し、パワースペクトルを導出する。縦方向プロファイルＹｐｒｏには、第１実施形態の説明でも触れたとおり、コーミングノイズによる縞模様のパターンから生じる波形の特徴が現れるため、Ｙｐｒｏのパワースペクトルには、縞模様の幅の変化の周期に対応するピークが現れる。本実施形態では、検出部４２ａは、Ｙｐｒｏのパワースペクトルから、以下のアルゴリズムに従って、ピークの位置Ｙｐｅａｋを自動検出する。
ただし、Ｙｐｗｒは、以下のとおり定義されるパワースペクトルである。

次に、検出部４２ａは、以下の式に従って、Ｈ及びピークの位置Ｙｐｅａｋから縞模様の周期Ｃ_pを算出する。

次に、検出部４２ａは、縞模様のパターンを表すパラメータとなるＣ_pに基づいて、以下の式により、拡大インターレース画像からオリジナルインターレース画像への縦方向の縮小倍率Ｒ_Rを算出する。なお、この縮小倍率Ｒ_Rは、続くステップＳ２２で更新される縮小倍率であり、言い換えると、仮の縮小倍率である。

数１４の式について考察すると、例えば、オリジナルインターレース画像が１．１倍されて拡大インターレース画像が生成されていた場合、１０画素当たりに１画素が追加されたことになるため、Ｃ_pは１０＋１＝１１と計算される。この場合、数１４の式により、１０／１１倍が縮小倍率Ｒ_Rとなるが、その逆数である拡大倍率Ｒ_Eは、１．１倍となり、正しく計算できていることが分かる。また、オリジナルインターレース画像が１．５倍されて拡大インターレース画像が生成されていた場合、２画素当たりに１画素が追加されたことになるため、Ｃ_pは２＋１＝３と計算される。この場合、数１４の式により、２／３倍が縮小倍率Ｒ_Rとなるが、その逆数である拡大倍率Ｒ_Eは、１．５倍となり、正しく計算できていることが分かる。

なお、数１３，１４の式により縞模様のパターンを検出するアルゴリズムは、ニアレストネイバー法や、線形補間法であるバイリニア法、バイキュービック法のような様々なアルゴリズムで拡大された拡大インターレース画像に対し、適用することができる。

続くステップＳ２２では、検出部４２ａは、仮の縮小倍率Ｒ_R及びフレームＦ₁，Ｆ₂，・・・，Ｆ_Nの縦画素数であるＨに基づいて、復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nの縦画素数の候補となる複数の候補画素数Ｈ_orgを設定する。Ｈ_orgは、下式に従って設定される。下式中、ｈは、計算途中の一時的な値であり、［ ］は、小数点以下を切り捨てて整数を得る関数である。

インターレース画像の縦画素数は、通常偶数である。そのため、ｈが奇数となった場合には、上段の式の１の加減算に連動して下段の式のｈが加減算され、偶数となる。また、上段の式で１が加減算されるのは、単にＨ_org＝［Ｈ・Ｒ_R］としたのでは、Ｈ_orgが真値からずれることがあるからである。そのため、検出部４２ａは、Ｈ・Ｒ_Rに１を加減算することにより、２つのｈを算出して、２つの候補画素数Ｈ_orgを算出する。なお、加減算される１の値は、実験的に決定した数値である。そして、これら２つの候補画素数Ｈ_org間に偶数が存在する場合には、その偶数も候補画素数Ｈ_orgとする。例えば、拡大インターレース画像の縦画素数Ｈ＝１００であり、Ｒ_R＝０．９である場合、ｈ＝８９，９１となる。よって、８８，９２という２つのＨ_orgが算出され、この例では、その間に挟まれる９０もＨ_orgとなる。

続くステップＳ２３では、検出部４２ａは、下式に従って、複数の候補画素数Ｈ_orgにそれぞれ対応する複数の縮小倍率Ｒ_R’を算出する。

続くステップＳ２４では、複数の縮小倍率Ｒ_R’のそれぞれに対し、フレームＦ₁，Ｆ₂，・・・，Ｆ_Nを元のサイズに縮小した復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nを作成する。本実施形態では、復元部４２ｂは、線形補間のバイリニア法により、フレームＦ₁，Ｆ₂，・・・，Ｆ_Nの縮小を行う。

具体的には、本実施形態では、下式に従って、ｎ＝１，２，・・・，Ｎに対し、フレームＦ_nの縮小が行われ、復元画像Ｇ_nが作成される。Ｄｓｔ_i,jは、復元画像Ｇ_nのｉ列ｊ行の画素値を意味する（ｉ＝１，２，・・・，Ｗ・Ｒ_R’，ｊ＝１，２，・・・，Ｈ・Ｒ_R’）。

上式中の各記号の意味は、以下のとおりである。なお、offsetは、０又は−０．５であり、フレームＦ₁，Ｆ₂，・・・，Ｆ_Nがオリジナルインターレース画像から作成されたときのアルゴリズムの違いに応じて、すなわち、拡大演算の起点が画素端か画素中心かに応じて定まる値である。本実施形態では、offset＝０及びoffset＝−０．５の両方のパターンでＤｓｔ_i,jを算出する、すなわち、復元画像Ｇ_nを生成する。

第２実施形態に係るバイリニア法のアルゴリズムは、通常のバイリニア法の一部が変更されたものである。すなわち、通常のバイリニア法では、新たに生成される画素の画素値は、当該画素とその周辺画素との距離に基づく重みｕ₀，ｕ₁，ｖ₀，ｖ₁を付けて、周辺画素の画素値Ｐ_0,0，Ｐ_1,0，Ｐ_0,1，Ｐ_1,1を加算することにより算出される。しかしながら、数１７の式に表れているとおり、本実施形態では、Ｐ_1,0，Ｐ_0,1の係数が負の値となっている。

以上のアルゴリズムにより、拡大インターレース画像をオリジナルインターレース画像へと復元した効果について、説明する。図１９（Ａ）の画像は、図１１（ａ）のＣＰ０と同様のコーミングノイズを想定したパターン画像である。図１９（Ｂ）の画像は、図１９（Ａ）のパターン画像を１２５％の拡大倍率で通常のバイリニア法で拡大した後、通常のバイリニア法で元のサイズに縮小した画像である。一方、図１９（Ｃ）の画像は、図１９（Ａ）のパターン画像を１２５％の拡大倍率で通常のバイリニア法で拡大した後、第２実施形態に係るバイリニア法で元のサイズに縮小した画像である。同図から分かるとおり、第２実施形態に係るバイリニア法によれば、完全ではないものの、オリジナルインターレース画像をより正しく復元できることが分かる。

また、図２０は、図１９（Ａ）のパターン画像を１．００倍から２．００倍まで０．０１刻みの拡大倍率で通常のバイリニア法で拡大した後、元のサイズに縮小したときの、各縮小画像と元のパターン画像とのＰＳＮＲ（ピーク信号対雑音比）のグラフである。図２０には、通常のバイリニア法で縮小した場合と、第２実施形態に係るバイリニア法で縮小した場合の２つのグラフが示されている。同図によると、後者の場合の方がＰＳＮＲが大きく、特に拡大倍率が大きい程、その傾向が顕著であることが分かる。このことからも、第２実施形態に係るバイリニア法によれば、オリジナルインターレース画像をより正しく復元できることが分かる。

下表１〜４は、横画素数１のオリジナルインターレース画像をある拡大倍率で拡大し、さらにその逆数の縮小倍率で縮小したときの、拡縮後の画素値を形成する、拡縮前の各画素の画素値の構成割合を示す。言い換えると、下表１〜４は、下式中の拡縮前の画素値Ｐ_0,jと、拡縮後の数１７のＤｓｔ_i,jとの一致度を示している。なお、下式中のＤｓｔ_0,jは、拡縮後の画像のｊ行の画素値を意味する（ｊ＝１，２，・・・，Ｈ）。また、下式中、Ｐ_0,jは、オリジナルインターレース画像のｊ行の画素値であり、ｖ_jは、その係数である。

表１は、拡大倍率１２５％で通常のバイリニア法で拡大した後、第２実施形態に係るバイリニア法により元のサイズに縮小した結果を示しており、表２は、同倍率で通常のバイリニア法で拡大した後、通常のバイリニア法により元のサイズに縮小した結果を示している。一方、表３は、拡大倍率１７５％で通常のバイリニア法で拡大した後、第２実施形態に係るバイリニア法により元のサイズに縮小した結果を示しており、表４は、同倍率で通常のバイリニア法で拡大した後、通常のバイリニア法により元のサイズに縮小した結果を示している。

新たな１つの画素値を生成するために、バイリニア法で使用する元の画素数は、横画素数を１とした場合、通常２画素である。そして、再度バイリニア法により、元のサイズまでサイズ調整するために使用される画素数も、２画素である。よって、拡縮後の２画素は、元の２画素又は３画素から生成されることになり、その構成割合が表１〜表４に示されている。拡縮後に元の画像を完全に復元するには、同じ画素の画素値が１：１に対応するようにしなければならないが、表２，４によれば、通常のバイリニア法で縮小すると、概ね元の２つの画素値が平均されて、拡縮後の画素値が生成されている。一方で、表１，３によれば、第２実施形態に係るバイリニア法で縮小すると、概ね拡縮の前後で同じ画素の画素値が１：１で対応しており、さらに倍率が高い程、この傾向が顕著である。よって、このことからも、第２実施形態に係るバイリニア法によれば、オリジナルインターレース画像をより正しく復元できることが分かる。

続くステップＳ２５では、復元部４２ｂは、複数の縮小倍率Ｒ_R’及び２種類のOffset値の各組み合わせに対し、ステップＳ２４の復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nからそれぞれ２枚のフィールド画像を作成する。同ステップは、ステップＳ５と同様に実行される。また、表示制御部４１により、複数の縮小倍率Ｒ_R’及び２種類のOffset値の各組み合わせに対する復元画像Ｇ₁，Ｇ₂，・・・，Ｇ_Nがディスプレイ１０上に表示される。ユーザは、これらの中から、目視にて最も良いものを選択することができる。

以下に、本発明の実施例について説明するが、本発明はこれに限定されない。

（１）実施例１及び２
比較例１として、図１７Ａに示す拡大インターレース画像（映像）に対し、通常のインターレース解除を行った結果を図１７Ｂに示す。

また、同じく図１７Ａに示す拡大インターレース画像に対し、図５のフローチャートに示される特殊インターレース解除を行った。図１７Ｃは、ステップＳ３による縮小処理の結果を示しており、図１７Ｄは、ステップＳ４による滲み補正処理の結果を示しており、図１７Ｅは、ステップＳ５によるインターレース解除の結果（実施例１）を示している。さらに、図１７Ｆは、図１７Ｃの画像に対し、通常のインターレース解除を行った結果（実施例２）を示している。

実施例１（図１７Ｅ）及び実施例２（図１７Ｆ）と比較例１（図１７Ｂ）と比較すれば明らかなとおり、比較例１に対し実施例１，２ではいずれも正しく元の画像を復元できていることが分かる。また、実施例１と実施例２とを比較すれば明らかな通り、ステップＳ４の滲み補正処理により、より正しく元の画像を復元できることが分かる。

（２）実施例３
図１７Ａの拡大インターレース画像（映像）に対し、ステップＳ２１〜Ｓ２４と同様の方法により複数の縮小倍率を推定し、複数の復元画像を復元した。そして、複数の復元画像の中から、目視により最も良いと思われる復元画像を選択し、インターレース解除を行ったところ、図２１に示す結果が得られた。図２１の２枚のフィールド画像には、互いの絵柄の影響が残っているものの、通常のインターレース解除の結果を示す図１７Ｂの比較例１に比べてその影響が少なく、第２実施形態に係る特殊インターレース解除により、より正しく元の画像を復元できることが分かる。

（３）実施例４〜６
第２実施形態に係る特殊インターレース解除の効果を確認するため、図２２に示す６種類の画像（映像）を用意した。これらの画像は拡大がされていない通常のインターレース画像である。図２２中、最小サイズの画像がサンプル５で、３２０×２４０画素であり、最大サイズの画像がサンプル６で、６４０×４８０画素である。他の画像も相対的なサイズが保持されている。また、サンプル３は、小さく映った人々が動いている映像であり、サンプル６は、上下方向に大きく手振れしている映像である。

以上の６種類の画像を、１．０００倍から２．０００倍まで０．００１刻みの拡大倍率で通常のバイリニア法で拡大した後、ステップＳ２１〜Ｓ２３と同様の方法により候補となる複数の縮小倍率を推定した。なお、サンプル１〜６については、拡大前の元画像のサイズが分かっているため、候補となる複数の縮小倍率の中に正解が含まれているか否かを調べた。その結果を正答率として、表５に示す。また、縮小倍率の推定時において、自己加重平均画像の生成には、各サンプルに対し、５０枚のフレームを使用した。

正答率について考察すると、候補内に縮小倍率の正答が含まれる割合は、９８.５％〜９９．５％であり、候補の中にほぼ正解が含まれると言える。また、候補の中間の値が正答となる割合について調べたところ、７９.８％〜９７．５５％となり、こちらも高い値が得られた。従って、ステップＳ２２に関し、Ｈ_orgが真値からずれることがある問題について述べたが、中間の値を正答とすることも可能であることが分かった。なお、数１５の第１式のｈが偶数の場合、候補は２つになるが、この場合、２つの候補のうち小数部を切り捨てる前の値に近い方を選択し、ここでいう中間の値とした。

縮小倍率の候補の中に正解が含まれるか否かに関わらず、各サンプルに由来する拡大インターレース画像（映像）に対し、ステップＳ２１〜Ｓ２４と同様の方法で複数の復元画像を作成した（実施例４）。同時に、各サンプルに由来する拡大インターレース画像（映像）に対し、通常のバイリニア法で複数の復元画像を作成した（比較例４）。そして、これらの復元画像の中から無作為に１フレームを選択し、拡縮前後の絵柄の一致度合いをＰＳＮＲによって評価した結果を表５に示す。これによると、１．８３３〜５．５０８の改善効果（復元効果）が認められた。サンプル３のように動いている物体が小さい場合には、実施例４及び比較例４間の差が小さくなっている。一方、非常に動きの激しいサンプル６のような画像では、改善効果が特に大きいことが確認された。なお、インターレース解除後の画像についても同様の比較を行ったが、同様の結果であった。

図２３〜図２８に、それぞれサンプル１〜６の画像を拡大倍率１．３倍及び１．６倍で通常のバイリニア法で拡大し、第２実施形態に係るバイリニア法及び通常のバイリニア法で元のサイズに復元した場合の復元画像と、それぞれの場合のＰＳＮＲとを示す（実施例５、比較例５）。また、例として、サンプル３，６の場合における拡大倍率とＰＳＮＲとの関係を図２９及び図３０に示す。図２９及び図３０に示すように、図２０の場合と同様、サンプル３では、第２実施形態に係るアルゴリズムの効果が低倍率において薄れるものの、高倍率では効果の上昇が確認された。また、サンプル６では、第２実施形態に係るアルゴリズムの効果が常に確認された。また、図２３〜図２８を見ると、目視においては、常に第２実施形態に係るアルゴリズムが通常のバイリニア法よりも効果が高いことが分かる。

図３１に、サンプル３に係る図２５の画像をインターレース解除した画像を示す（実施例６、比較例６）。同図に示すように、実施例６では、比較例６よりも、多少コントラストが強まっているものの、低倍率でも特に問題はないことが分かり、第２実施形態に係るアルゴリズムの優位性が示された。

１ 画像処理装置
２ 画像処理プログラム
４２ａ 検出部（パターン検出部）
４２ｂ 復元部
４２ｃ 補正部（滲み補正部）

Claims (16)

1. オリジナルインターレース画像が拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理装置であって、
   前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出し、前記縞模様のパターンに基づいて、前記拡大インターレース画像から前記オリジナルインターレース画像への縮小倍率を算出するパターン検出部と、
   前記縮小倍率に基づいて、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成する復元部と
   を備える、画像処理装置。
2. 前記パターン検出部は、
   前記縞模様のパターンに基づいて、前記拡大インターレース画像から前記オリジナルインターレース画像への仮の縮小倍率を算出し、
   前記仮の縮小倍率及び前記拡大インターレース画像の縦画素数に基づいて、前記オリジナルインターレース画像の縦画素数の候補となる候補画素数を複数設定し、
   前記複数の候補画素数にそれぞれ対応する複数の前記縮小倍率を算出し、
   前記復元部は、前記複数の縮小倍率の各々に対し、前記復元画像及び前記フィールド画像の少なくとも一方を作成する、
   請求項１に記載の画像処理装置。
3. 前記複数の候補画素数は、全て偶数である、
   請求項２に記載の画像処理装置。
4. 前記復元部は、線形補間のアルゴリズムを用いて前記拡大インターレース画像を前記縮小倍率で縮小することにより、前記復元画像を作成する、
   請求項１から３のいずれかに記載の画像処理装置。
5. オリジナルインターレース画像に所定の間隔で追加行が追加されたことにより、前記オリジナルインターレース画像がある拡大倍率で拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理装置であって、
   前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出し、前記縞模様のパターンに基づいて、前記拡大インターレース画像に含まれる前記追加行の位置を特定するパラメータを算出するパターン検出部と、
   前記追加行の位置を特定するパラメータに基づいて、前記拡大インターレース画像から前記追加行を除去することにより、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成する復元部と、
   を備える、画像処理装置。
6. 前記追加行の位置を特定するパラメータには、前記拡大倍率が含まれる、
   請求項５に記載の画像処理装置。
7. 前記パターン検出部は、
   １行おきの縞模様のパターンを有する画像を前記拡大倍率と同じ倍率で拡大した画像である拡大パターン画像と、前記拡大インターレース画像とを、両画像の前記縞模様のパターンが最も一致するように位置合わせし、
   前記位置合わせの結果に基づいて、前記追加行の位置を特定するパラメータを算出する、
   請求項５又は６に記載の画像処理装置。
8. 前記復元画像の滲みを除去する滲み補正部
   をさらに備える、
   請求項５から７のいずれかに記載の画像処理装置。
9. 前記滲み補正部は、滲みパターン画像に含まれる画素値から補正係数を算出し、前記補正係数に基づいて前記復元画像の画素値を補正し、
   前記滲みパターン画像は、１行おきの縞模様のパターンを有する画像を、前記拡大倍率と同じ倍率で拡大した後、前記拡大倍率の逆数の縮小倍率で縮小した画像である、
   請求項８に記載の画像処理装置。
10. 前記縞模様のパターンには、前記縞模様の周期が含まれる、
    請求項１から９のいずれかに記載の画像処理装置。
11. 前記拡大インターレース画像は、複数枚のフレームを含む動画であり、
    前記パターン検出部は、
    前記複数枚のフレームから前記コーミングノイズを強調したノイズ強調画像を作成し、
    前記ノイズ強調画像の各行間の差分を表す差分画像を作成し、
    前記差分画像の各行に含まれる画素値の特徴を表す縦方向プロファイルを作成し、
    前記縦方向プロファイルのパワースペクトルのピークの位置から、前記縞模様の周期を算出する、
    請求項１０に記載の画像処理装置。
12. オリジナルインターレース画像が拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理プログラムであって、
    前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出するステップと、
    前記縞模様のパターンに基づいて、前記拡大インターレース画像から前記オリジナルインターレース画像への縮小倍率を算出するステップと、
    前記縮小倍率に基づいて、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成するステップと
    をコンピュータに実行させる、画像処理プログラム。
13. オリジナルインターレース画像が拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理方法であって、
    前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出するステップと、
    前記縞模様のパターンに基づいて、前記拡大インターレース画像から前記オリジナルインターレース画像への縮小倍率を算出するステップと、
    前記縮小倍率に基づいて、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成するステップと
    を含む、画像処理方法。
14. オリジナルインターレース画像に所定の間隔で追加行が追加されたことにより、前記オリジナルインターレース画像がある拡大倍率で拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理プログラムであって、
    前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出するステップと、
    前記縞模様のパターンに基づいて、前記拡大インターレース画像に含まれる前記追加行の位置を特定するパラメータを算出するステップと、
    前記追加行の位置を特定するパラメータに基づいて、前記拡大インターレース画像から前記追加行を除去することにより、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成するステップと
    をコンピュータに実行させる、画像処理プログラム。
15. オリジナルインターレース画像に所定の間隔で追加行が追加されたことにより、前記オリジナルインターレース画像がある拡大倍率で拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理方法であって、
    前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれるコーミングノイズによる縞模様のパターンを検出するステップと、
    前記縞模様のパターンに基づいて、前記拡大インターレース画像に含まれる前記追加行の位置を特定するパラメータを算出するステップと、
    前記追加行の位置を特定するパラメータに基づいて、前記拡大インターレース画像から前記追加行を除去することにより、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成するフィールド画像の少なくとも一方を作成するステップと
    を含む、画像処理方法。
16. オリジナルインターレース画像に所定の間隔で追加行が追加されたことにより、前記オリジナルインターレース画像がある拡大倍率で拡大された拡大インターレース画像から、前記オリジナルインターレース画像を復元する画像処理装置であって、
    前記拡大インターレース画像を画像処理することにより、前記拡大インターレース画像に含まれる画素値が同じ又は略同じ重複行を検出する検出部と、
    前記拡大インターレース画像から前記重複行を除去することにより、前記オリジナルインターレース画像を復元した復元画像及び前記復元画像を構成する２枚のフィールド画像の少なくとも一方を作成する復元部と
    を備える、画像処理装置。