JP2015146121A - Ｓｉｍｄ型超並列演算処理装置向け超解像処理方法、装置、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】従来のＢａｙｓｅ確率論に基づく画像復元方法はＳＩＭＤ型超並列演算処理装置に向かないという問題を解決するための方法、装置、プログラム及び記憶媒体を提供する。
【解決手段】汎用コンピュータがＢａｙｓｅ確率論的線形方程式に基づく１つの畳込み演算を含む演算をＳＩＭＤ型超並列演算処理装置に分担させる事により、ＴＶ映像及び画像に含まれる光学的劣化を低減して劣化前のＴＶ映像及び画像に近いものを復元する方法、同方法に基づく装置、同方法を汎用コンピュータに実行させるための第１及び第３プログラム、同装置を汎用コンピュータに構成しかつ実行させるための第２及び第４プログラム、第１〜４プログラムを各々記憶する手段を備える。
【選択図】図１５

Description

本発明は、ＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒａｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）型超並列演算処理装置向け画像処理に関し、特に画像に含まれる光学的なボケや滲みといった劣化情報をＢａｙｓｅ確率論に基づく数学的な演算処理によって取り除き、劣化する前の原画像を復元するためのＳＩＭＤ型超並列演算処理装置向け超解像処理方法及び装置並びにＳＩＭＤ型超並列演算処理装置向けＴＶ映像超解像処理方法及び装置そして第１〜４プログラム並びに第１〜４記憶媒体に関する。

近年、音声、画像及び映像などの多様なデジタルコンテンツの略実時間加工処理技術が普及しており、例えば、地上デジタルＴＶでは１０８０ｉ（１，９２０横ｘ１，０８０縦、２９．９７フレーム／秒）といった２Ｍピクセル／フレームを超えるデータの略実時間処理が要求され、こういった用途向けにＳＩＭＤ型超並列演算処理装置が開発されている。ＳＩＭＤ型超並列演算処理装置は、複数のプログラマブル数値演算プロセッサ（ＰＥ：Ｐｒｏｇｒａｍｍａｂｌｅ ａｒｉｔｈｍｅｔｉｃ ｐｒｏｃｅｓｓｏｒ Ｅｌｅｍｅｎｔ）を備え、１つの命令による１つの演算を全てのＰＥで同時並行的に実行させる事により高速演算処理を可能とするものであるが、アルゴリズムによっては、データの事前準備、得られた演算結果の後処理、及び／又はデータの転送速度が律速となり高速性が得られない可能性が有る。ＳＩＭＤ型超並列演算処理装置の構成に関する１例は、処理対象データを記憶するための入力及び出力メモリブロック、この入力メモリブロックから１、２、４、８ビットなどの予め設定したビット単位でデータを読み込み、そのビット単位で演算処理を行い出力メモリブロックに演算結果を書込むＰＥ、を備え、更にこのＰＥは複数あり、個々のＰＥがアレイ状に構成され更にチャネルにより相互に連結された構成をとり、多様な演算を同時並行に処理可能である。量産されているものには、例えば、ルネサス エレクトロニクス株式会社のＭＸ−Ｇ、株式会社東芝のＣ−ＶｉＡなどがある。

地上デジタルＴＶの場合、ＴＶ映像を構成する各フレームは、映り込んでいる対象の見分けがつかない程にまで大きくボケていないものの、光学的なボケや滲みといった劣化情報を含んでいるという問題がある。

例えば、図１は、ＴＶ映像の１フレームに含まれる光学的劣化情報の1例を示す図である。図１には、２枚の画像があり、左側の画像はＸ線ピンホールカメラのＹ（輝度）成分だけから成るＴＶ映像の１フレームであり、右側の画像は本発明者が発明した従来技術（特許文献１〜２）により、図１の左側の画像を超解像処理して画像を復元したものである。図１の両画像を比較すると、超解像処理前のＴＶ映像には光学的なボケや滲みといった光学的劣化情報が含まれている事が分かる。

本発明者が発明した画像復元技術（特許文献１〜２）は、光学的なボケや滲みといった劣化情報を含む静止画１枚の情報から復元画像を求めるためのＢａｙｓｅ確率論的数式に従い反復演算を繰り返す内に、静止画の輝度分布に最も尤もらしい最尤ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）のフーリエ変換である最尤ＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）及び最尤復元画像を数値演算により推定するものである。しかし、この画像復元技術は、非線形方程式に基づき実空間及び空間周波数領域において演算を行うアルゴリズムであり、フーリエ変換や逆フーリエ変換を反復演算回数1回当たり複数回実行する必要がある事から演算処理量が膨大であり、略実時間処理を必要とするＴＶ映像を扱う事は困難であるという問題及びデータの事前準備や演算結果の後処理やデータの転送がＳＩＭＤ型超並列演算処理装置使用時の律速と成りＳＩＭＤ型超並列演算処理装置向きのアルゴリズムでないという問題があった。

本発明者は、本発明者が発明した画像復元技術（特許文献１〜２）を改良し、ＴＶ映像の略実時間処理を可能とする技術Ｌを出願中である。この技術Ｌは、従来の画像復元技術（特許文献１〜２）における演算対象を複素数から実数に変更し、更に演算処理装置をソフトウエアによるものからＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いたハードウエアにする事により、略実時間処理を可能とする。しかし、ハードウエア化した際のゲート数が１５０万ゲートと大きく、コストが高く実装面積が大きいという問題、略実時間処理を実現するため６回の反復演算回数が限界であり超解像処理強度が不足するかも知れないという懸念、及び非線形方程式に基づくアルゴリズムであるためにデータの事前準備や演算結果の後処理やデータの転送がＳＩＭＤ型超並列演算処理装置使用時の律速と成りＳＩＭＤ型超並列演算処理装置向きのアルゴリズムでないという問題があった。

技術Ｌの画像復元能力は、フレーム内の対象の見分けがつかない程にボケていない場合には画像復元技術（特許文献１〜２）並みであるものの、画像復元が完全な状態に至るまでの反復演算回数が６回程度必要である場合も多く、収斂が遅く、２〜４Ｋといった大画面ＴＶ映像の処理を略実時間で行う用途には処理速度の面で問題が発生する可能性があり、更なる高速性及び収斂速度の向上の必要があった。そこで、本発明者は、技術Ｌを更に高速化するために画像復元技術（特許文献１〜２）で用いていたＢａｙｓｅ確率論に基づく非線形方程式から成るアルゴリズムを改良し、Ｂａｙｓｅ確率論に基づく非線形方程式から成る加速アルゴリズムを発明し、出願している。この加速アルゴリズムに基づくＴＶ映像向けの超解像処理技術は、画像復元技術（特許文献１〜２）及び技術Ｌで用いていたＰＳＦの復元工程を省略し、更に、劣化画像の劣化度合いに見合った劣化示数に紐づいた第１ＰＳＦそしてこの第１ＰＳＦを事前に鮮鋭化して得られた第２ＰＳＦを用いる事により、劣化情報を含む静止画１枚の情報から復元画像を求めるためのＢａｙｓｅ確率論的数式に従った２回の反復演算により、技術Ｌと同等の画像復元能力が得られるというものである。しかしながら、加速アルゴリズムに基づくＴＶ映像向けの超解像処理技術は、未だ非線形方程式に基づくアルゴリズムであるために演算量が多く、且つデータの事前準備や演算結果の後処理やデータの転送がＳＩＭＤ型超並列演算処理装置使用時の律速と成りＳＩＭＤ型超並列演算処理装置向きのアルゴリズムでないという問題があった。

さて、他の発明者によって発明され既に開示された超並列演算処理装置向きのアルゴリズムの例としては、プロセッサを２次元状に配置したＭＩＳＤ（Ｍｕｌｔｉｐｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｔｒｅａｍ， Ｓｉｎｇｌｅ Ｄａｔａ ｓｔｒｅａｍ）型のＳＡＰ（ＳＹＳＴＯＬＩＣ ＡＲＲＡＹ ＰＲＯＣＥＳＳＯＲ）を用いて数式（１）に基づき画像のボケ除去を行うものがある（特許文献３）。しかし、この方法は、数式（１）による線形方程式に基づく反復演算方法でありＭＩＭＤ型のＳＡＰで処理されるため、ＳＩＭＤ型超並列演算処理装置へは直接応用できないという問題があった。

数式（１）において、Ｕは原画像を、ＨはＰＳＦを、Ｙｂは劣化画像を、ｋはフィードバックオペレータを、Ｓはスムージングオペレータを、それぞれ意味しており、これらは全て２次元の関数でｍ掛けるｎの要素から成り、＊は２次元の畳込み演算子を意味する。

その他、線形方程式による超解像アルゴリズムとしては、例えば、特許文献４を参照すると、劣化画像の自己回帰パラメータを推定する事なしに状態空間モデル（原画像から成る状態方程式と原画像及び雑音から成る観測方程式）を構成し、この状態空間モデルに対してカルマンフィルタを用いた画像復元を行なう方法及び装置が開示されている。しかし、この方法及び装置では、注目画素周辺のみの復元処理であり画像全体の復元処理でないという問題及びＳＩＭＤ型超並列演算処理装置向けに開発されたものでないという可能性がある。

国際公開番号：特許第４５６８７３０号（ＷＯ２００６／０４１１２７） 国際公開番号：特許第４５７５３８７号（ＷＯ２００６／０４１１２６） 特許公開番号：ＷＯ２００５／０６９２１７Ａ３ 特許公開番号：特開２０１１−１６５０１３

特許文献１〜４に記載されたいずれの方法も、コストが安価な量産製品のＳＩＭＤ型超並列演算処理装置を用いて画像及び映像から略実時間内で画像及び映像全体から光学的劣化を低減して劣化する前の画像及び映像を復元する事ができないという問題があった。そこで、本発明は、これら上記の問題を解決するためのＳＩＭＤ型超並列演算装置向け超解像処理方法及び装置並びにＳＩＭＤ型超並列演算処理装置向けＴＶ映像超解像処理方法及び装置そして第１〜４プログラム並びに第１〜４記憶媒体の提供を課題とする。

上記課題を解決するために、本発明による第１の発明は、ＳＩＭＤ型超並列演算装置向け超解像処理方法を提供する。このＳＩＭＤ型超並列演算装置向け超解像処理方法は、請求項１に記載されたものと同じであり、実行可能で且つ読込んで解読可能な言語で記述された第１プログラムに従い汎用コンピュータがＳＩＭＤ型超並列演算処理装置にＢａｙｓｅ確率論的線形方程式の数式（３）（後述）に基づく演算を分担させる事により、劣化画像全体に含まれる光学的劣化を略実時間内で低減して劣化前の画像に近い画像を復元する。

ＳＩＭＤ型超並列演算装置向け超解像処理方法は、（Ｓ１）輝度分布から成る劣化画像を指定された劣化画像ファイルから準備し更に劣化画像をモニタに表示する劣化画像準備工程と、（Ｓ２）モニタを見ながら劣化画像の劣化状況に適したＰＳＦを特定するＰＳＦ準備工程と、（Ｓ３）劣化画像を複写しこれを復元画像初期値と成す復元画像初期値準備工程と、（Ｓ４）最大反復演算回数を汎用コンピュータから設定する最大反復演算回数設定工程と、（Ｓ５）反復演算回数を計数するＩカウンターに０を設定しリセットするＩリセット工程と、（Ｓ６）ＰＳＦのサイズを取得してＰＳＦサイズを求めるＰＳＦサイズ取得工程、（Ｓ７）まず復元画像初期値を複写して補正復元画像初期値と成し、次にＰＳＦを補正復元画像初期値に畳込み演算を行う際に除外領域と成る領域を、ＰＳＦサイズから計算により求めその領域を補正復元画像初期値の外側にミラー対称に成る様に転写する事により補正復元画像初期値を補正する復元画像初期値補正工程と、（Ｓ８）反復演算１回用のデータ群をＳＩＭＤ型超並列演算処理装置内の実行用データ記憶領域に最大効率でデータを配置できる様に演算用データを作成して準備するデータ準備工程と、（Ｓ９）演算用データをＳＩＭＤ型超並列演算処理装置内の実行用データ記憶領域に転送して演算し、復元画像を求める画像復元工程と、（Ｓ１０）Ｉカウンターに１を加算するＩ加算工程と、（Ｓ１１）Ｉカウンターの値が最大反復演算回数以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｓ１２）へ進むが、検証結果が真であれば（Ｓ１４）へ進むＩ判定工程と、（Ｓ１２）復元画像を復元画像初期値と入れ替える入替え工程と、（Ｓ１３）工程（Ｓ７）へ戻るジャンプ工程と、（Ｓ１４）復元画像を出力する出力工程と、（Ｓ１５）劣化画像ファイル及び復元画像からＲＧＢ形式の最尤復元画像を求める最尤復元画像化工程と、（Ｓ１６）最尤復元画像を最尤復元画像ファイルと成すファイル化工程と、（Ｓ１７）最尤復元画像ファイルを指定された記憶領域へ記憶する記憶工程と、を備える事に特徴がある。

上記課題を解決するために、本発明による第２の発明は、ＳＩＭＤ型超並列演算装置向け超解像処理装置を提供する。このＳＩＭＤ型超並列演算装置向け超解像処理装置は、請求項２に記載されたものと同じであり、本発明による第１の発明であるＳＩＭＤ型超並列演算装置向け超解像処理方法に従い、実行可能で且つ読込んで解読可能な言語で記述された第２プログラムに従い汎用コンピュータがＳＩＭＤ型超並列演算処理装置に演算を分担させる様に全手段を構成し且つこれ等の全手段を実行する事により、劣化画像に含まれる光学的劣化を略実時間内で低減して劣化前の画像に近い画像を復元する装置である。

ＳＩＭＤ型超並列演算装置向け超解像処理装置は、（Ｗ１）輝度分布から成る劣化画像を指定された劣化画像ファイルから準備し更に劣化画像をモニタに表示する劣化画像準備手段と、（Ｗ２）モニタを見ながら劣化画像の劣化状況に適したＰＳＦを特定するＰＳＦ準備手段と、（Ｗ３）劣化画像を複写しこれを復元画像初期値と成す復元画像初期値準備手段と、（Ｗ４）最大反復演算回数を汎用コンピュータから設定する最大反復演算回数設定手段と、（Ｗ５）反復演算回数を計数するＩカウンターに０を設定しリセットするＩリセット手段と、（Ｗ６）ＰＳＦのサイズを取得してＰＳＦサイズを求めるＰＳＦサイズ取得手段と、（Ｗ７）まず復元画像初期値を複写して補正復元画像初期値と成し、次にＰＳＦを補正復元画像初期値に畳込み演算を行う際に除外領域と成る領域を、ＰＳＦサイズから計算により求めその領域を補正復元画像初期値の外側にミラー対称に成る様に転写する事により補正復元画像初期値を補正する復元画像初期値補正手段と、（Ｗ８）反復演算１回用のデータ群をＳＩＭＤ型超並列演算処理装置内の実行用データ記憶領域に最大効率でデータを配置できる様に演算用データを作成して準備するデータ準備手段と、（Ｗ９）演算用データをＳＩＭＤ型超並列演算処理装置内の実行用データ記憶領域に転送して演算し、復元画像を求める画像復元手段と、（Ｗ１０）Ｉカウンターに１を加算するＩ加算手段と、（Ｗ１１）Ｉカウンターの値が最大反復演算回数以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｗ１２）へ進むが、検証結果が真であれば（Ｗ１４）へ進むＩ判定手段と、（Ｗ１２）復元画像を復元画像初期値と入れ替える入替え手段と、（Ｗ１３）手段（Ｗ７）へ戻るジャンプ手段と、（Ｗ１４）復元画像を出力する出力手段と、（Ｗ１５）劣化画像ファイル及び復元画像からＲＧＢ形式の最尤復元画像を求める最尤復元画像化手段と、（Ｗ１６）最尤復元画像を最尤復元画像ファイルと成すファイル化手段と、（Ｗ１７）最尤復元画像ファイルを指定された記憶領域へ記憶する記憶手段と、を備える事に特徴がある。

上記課題を解決するために、本発明による第３の発明は第１プログラムを提供する。この第１プログラムは、請求項３に記載されたものと同じであり、第１の発明によるＳＩＭＤ型超並列演算装置向け超解像処理方法を汎用コンピュータに実行させるための第１プログラムである。

上記課題を解決するために、本発明による第４の発明は第１記憶媒体を提供する。この第１記憶媒体は、請求項４に記載されたものと同じであり、第３の発明による第１プログラムを記憶し且つ汎用コンピュータに接続可能で且つ汎用コンピュータが読込んで実行可能な第１記憶媒体である。

上記課題を解決するために、本発明による第５の発明は第２プログラムを提供する。この第２プログラムは、請求項５に記載されたものと同じであり、第２の発明によるＳＩＭＤ型超並列演算装置向け超解像処理装置として汎用コンピュータを機能させるための第２プログラムである。

上記課題を解決するために、本発明による第６の発明は第２記憶媒体を提供する。この第２記憶媒体は、請求項６に記載されたものと同じであり、第５の発明による第２プログラムを記憶し且つ汎用コンピュータに接続可能で且つ汎用コンピュータが読込んで実行可能な第２記憶媒体である。

上記課題を解決するために、本発明による第７の発明はＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法を提供する。このＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法は、請求項７に記載されたものと同じであり、第１の発明によるＳＩＭＤ型超並列演算装置向け超解像処理方法を用いて、ＴＶ映像全体の光学的劣化を略実時間内で低減して劣化する前のＴＶ映像に近いＴＶ映像を復元する方法である。

ＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法は、（Ｓ２０）ＴＶ映像信号から１フレーム分の輝度分布から成る劣化画像を抽出すると共にＴＶ映像信号から１フレーム分の信号を取り除いた残りのＴＶ映像信号を１フレーム分遅延して出力し、更に劣化画像の色差Ｕ及びＶを記憶し、その後、劣化画像をモニタに表示する一方で劣化画像をデガンマ処理する劣化フレーム取得工程と、（Ｓ２１）ＳＩＭＤ型超並列演算装置向け超解像処理方法を構成する工程Ｓ２〜Ｓ１４から成る画像復元演算工程を用いてユーザが最大反復演算回数及び劣化示数から成る超解像処理条件を決定しこの超解像処理条件に従い劣化画像から復元画像を求める工程と、（Ｓ２２）画像復元演算工程の出力工程から出力される復元画像をガンマ処理し、そして、この復元画像と、劣化フレーム取得工程で記憶された劣化画像の色差Ｕ及びＶとからＲＧＢ形式の最尤復元画像を求める第２最尤復元画像化工程と、（Ｓ２３）ＲＧＢ形式の最尤復元画像及び遅延された残りのＴＶ映像信号から１フレーム分の復元ＴＶ映像信号を合成して出力する復元ＴＶ映像信号出力工程と、を備える事に特徴がある。

上記課題を解決するために、本発明による第８の発明はＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置を提供する。このＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置は、請求項８に記載されたものと同じであり、第７の発明によるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法に従ってＴＶ映像の光学的劣化を略実時間内で低減して劣化前のＴＶ映像に近いＴＶ映像を復元する装置である。

ＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置は、（Ｗ２０）ＴＶ映像信号から１フレーム分の輝度分布から成る劣化画像を抽出すると共にＴＶ映像信号から１フレーム分の信号を取り除いた残りのＴＶ映像信号を１フレーム分遅延して出力し、更に劣化画像の色差Ｕ及びＶを記憶し、その後、劣化画像をモニタに表示する一方で劣化画像をデガンマ処理する劣化フレーム取得手段と、（Ｗ２１）ＳＩＭＤ型超並列演算装置向け超解像処理装置を構成する手段Ｗ２〜Ｗ１４から成る画像復元演算手段を用いてユーザが最大反復演算回数及び劣化示数から成る超解像処理条件を決定しこの超解像処理条件に従い劣化画像から復元画像を求める手段と、（Ｗ２２）画像復元演算手段の出力手段から出力される復元画像をガンマ処理し、そして、この復元画像と、劣化フレーム取得手段で記憶された劣化画像の色差Ｕ及びＶとからＲＧＢ形式の最尤復元画像を求める第２最尤復元画像化手段と、（Ｗ２３）ＲＧＢ形式の最尤復元画像及び遅延された残りのＴＶ映像信号から１フレーム分の復元ＴＶ映像信号を合成して出力する復元ＴＶ映像信号出力手段と、を備える事に特徴がある。

上記課題を解決するために、本発明による第９の発明は第３プログラムを提供する。この第３プログラムは、請求項９に記載されたものと同じであり、第７の発明によるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法を汎用コンピュータに実行させるための第３プログラムである。

上記課題を解決するために、本発明による第１０の発明は第３記憶媒体を提供する。この第３記憶媒体は、請求項１０に記載されたものと同じであり、第９の発明による第３プログラムを記憶し且つ汎用コンピュータに接続可能で且つ汎用コンピュータが読込んで実行可能な第３記憶媒体である。

上記課題を解決するために、本発明による第１１の発明は第４プログラムを提供する。この第４プログラムは、請求項１１に記載されたものと同じであり、第１０の発明によるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置として汎用コンピュータを機能させるための第４プログラムである。

上記課題を解決するために、本発明による第１２の発明は第４記憶媒体を提供する。この第４記憶媒体は、請求項１２に記載されたものと同じであり、第１１の発明による第４プログラムを記憶し且つ汎用コンピュータに接続可能で且つ汎用コンピュータが読込んで実行可能な第４記憶媒体である。

本発明は、Ｂａｙｓｅ確率論的線形方程式に従い劣化画像の情報だけから光学的劣化情報を取り除く方法であり、四則演算に比べて演算量が膨大なコンボリューションを１回とする事により、データの事前準備や演算結果の後処理やデータの転送がＳＩＭＤ型超並列演算処理装置使用時の律速と成らない様にしてコストが安価な量産製品のＳＩＭＤ型超並列演算処理装置の使用を可能とするものである。このため、量産され開発キットの完備された既成のＳＩＭＤ型超並列演算処理装置の使用による経済的効果及び開発期間の短縮による省力化効果、コンボリューションを１回にする事による高速演算処理効果、この他、本発明は、ＴＶ方式の映像であれば線源を問わず何でも良いため、赤外線カメラやＸ線カメラによる映像であっても良く、適用範囲が広いという効果、といった上記列記された効果が少なくとも部分的に実現される。

ＴＶ映像の１フレームに含まれる光学的劣化情報の１例を示す図 本発明によるＳＩＭＤ型超並列演算装置向け超解像処理方法の処理手順の１例を示すフローチャート 本発明による劣化画像準備工程の処理手順の１例を示すフローチャート 本発明によるＰＳＦ準備工程の処理手順の１例を示すフローチャート 本発明による超解像処理ウインドウの構成に関する１例を示す図 本発明で用いる畳込み演算によって生ずる除外領域の発生状況及びその補正方法の１例を示す図 本発明による復元画像初期値補正工程の処理手順の１例を示すフローチャート 本発明によるデータ準備工程の処理手順の１例を示すフローチャート 本発明によるデータ準備工程において、復元画像初期値の画素に対するスキャン方法の１例を示す図 本発明によるデータ準備工程により作成された第１データセット及び第２データセットの１例を示す図 本発明による画像復元工程の処理手順の1例を示すフローチャート 本発明による画像復元工程においてＳＩＭＤ型超並列演算処理装置が行う並列演算方法の１例を示す図 本発明による最尤復元画像化工程の処理手順の１例を示すフローチャート 本発明によるファイル化工程の処理手順の１例を示すフローチャート ＳＩＭＤ型超並列演算装置向け超解像処理装置の構成に関する１例を示す図 本発明で用いる汎用コンピュータの構成に関する1例を示す図 本発明による第２プログラムの構造に関する１例を示す図 本発明による劣化画像準備手段の構成に関する１例を示す図 本発明によるＰＳＦ準備手段の構成に関する１例を示す図 本発明による復元画像初期値補正手段の構成に関する１例を示す図 本発明によるデータ準備手段の構成に関する１例を示す図 本発明による画像復元手段の構成に関する１例を示す図 本発明による最尤復元画像化手段の構成に関する１例を示す図 本発明によるファイル化手段の構成に関する１例を示す図 本発明によるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法の処理手順の１例を示すフローチャート 本発明によるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置の構成に関する１例を示す図 本発明による実施例１のＳＩＭＤ型超並列演算装置向け超解像処理装置における超解像処理手順の１例をトランザクションテーブルとして示す図 本発明による実施例１のＳＩＭＤ型超並列演算装置向け超解像処理装置における超解像処理後の処理手順の１例を示すフローチャート 本発明による実施例１のＳＩＭＤ型超並列演算装置向け超解像処理装置による超解像処理効果確認例の１つを示す図 本発明による実施例２のＴＶ映像超解像処理装置の構成に関する１例を示す図

本発明を実施するために最良な形態を、図を用いながら詳細に説明する。

図２は、ＳＩＭＤ型超並列演算装置向け超解像処理方法の処理手順の１例に関するフローチャートである。図２のＳＩＭＤ型超並列演算装置向け超解像処理方法は、（Ｓ１）輝度分布から成る劣化画像１を指定された劣化画像ファイル２から準備し更に劣化画像１をモニタ３に表示する劣化画像準備工程と、（Ｓ２）モニタ３を見ながら劣化画像１の劣化状況に適したＰＳＦ４を特定するＰＳＦ準備工程と、（Ｓ３）劣化画像１を複写しこれを復元画像初期値５と成す復元画像初期値準備工程と、（Ｓ４）最大反復演算回数７を汎用コンピュータ８から設定する最大反復演算回数設定工程と、（Ｓ５）反復演算回数を計数するＩカウンター９に０を設定しリセットするＩリセット工程と、（Ｓ６）ＰＳＦ４のサイズを取得してＰＳＦサイズ１０を求めるＰＳＦサイズ取得工程、（Ｓ７）まず復元画像初期値５を複写して補正復元画像初期値６と成し、次にＰＳＦ４を補正復元画像初期値６に畳込み演算を行う際に除外領域と成る領域を、ＰＳＦサイズ１０から計算により求めその領域を補正復元画像初期値６の外側にミラー対称に成る様に転写する事により補正復元画像初期値６を補正する復元画像初期値補正工程と、（Ｓ８）反復演算１回用のデータ群をＳＩＭＤ型超並列演算処理装置１１内の実行用データ記憶領域１２に最大効率でデータを配置できる様に演算用データ１３を作成して準備するデータ準備工程と、（Ｓ９）演算用データ１３をＳＩＭＤ型超並列演算処理装置１１内の実行用データ記憶領域１２に転送して演算し、復元画像１４を求める画像復元工程と、（Ｓ１０）Ｉカウンター９に１を加算するＩ加算工程と、（Ｓ１１）Ｉカウンター９の値が最大反復演算回数７以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｓ１２）へ進むが、検証結果が真であれば（Ｓ１４）へ進むＩ判定工程と、（Ｓ１２）復元画像１４を復元画像初期値５と入れ替える入替え工程と、（Ｓ１３）工程（Ｓ７）へ戻るジャンプ工程と、（Ｓ１４）復元画像１４を出力する出力工程と、（Ｓ１５）劣化画像ファイル２及び復元画像１４からＲＧＢ形式の最尤復元画像１５を求める最尤復元画像化工程と、（Ｓ１６）最尤復元画像１５を最尤復元画像ファイル１６と成すファイル化工程と、（Ｓ１７）最尤復元画像ファイル１６を指定された記憶領域へ記憶する記憶工程と、を備える事に特徴がある。

本発明による第１の発明によるＳＩＭＤ型超並列演算装置向け超解像処理方法は、光学的な劣化がない原画像ＦがＰＳＦ Ｈによって劣化し劣化画像Ｇになるというモデル式の数式（２）から誘導した数式（３）に基づきＳＩＭＤ型超並列演算処理装置１１を用いてｎ回反復演算を実行するうちにｎ回目の復元画像である最尤復元画像１５を推定する方法であり、従来の方法に比べて高速である。

数式（２）及び（３）において、Ｆは原画像を、Ｆｎは復元画像を、ＨはＰＳＦを、Ｇは劣化画像を、（＊）は畳込み演算を意味する。また、数式（３）において、Ｆ０は復元画像初期値５を意味する。Ｆ、Ｆｎ及びＧは同じ画素サイズであり、画像を構成する画素は縁が無く座標により指定することができ、Ｆ、Ｆｎ及びＧを順に重ね合わせると同じ座標の画素は同じ位置で上下方向に重なり合わさっている。Ｈは、Ｆ、Ｆｎ及びＧと同じ画素サイズの縁の無い画素から成り各画素は座標により指定する事が出来、Ｆ、Ｆｎ及びＧと同等か又はＨが点対称で且つシフトインバリアントが成立する場合、Ｆ、Ｆｎ及びＧよりも小さい画像サイズである。

劣化画像準備工程Ｓ１は、更に複数の細分化された複数のサブ工程から構成されている。図３は劣化画像準備工程Ｓ１における処理手順の１例をフローチャートとして図示したものである。図３の劣化画像準備工程Ｓ１は、（Ｓ１−１）劣化画像ファイル２を読込、この劣化画像ファイル２から、ＲＧＢ画素データから成るＲＧＢ劣化画像１７を抽出するＲＧＢ劣化画像抽出工程と、（Ｓ１−２）ＲＧＢ劣化画像１７をＹＵＶ変換し、Ｙ（輝度）成分から成るＹ劣化画像１８、Ｕ（青色差）成分から成るＵ劣化画像１９、Ｖ（赤色差）成分から成るＶ劣化画像２０を、それぞれ抽出するＹＵＶ変換工程と、（Ｓ１−３）Ｙ劣化画像１８をデガンマ処理し、デガンマ処理後のＹ劣化画像１８を劣化画像１と成すデガンマ工程と、（Ｓ１−４）モニタ３に劣化画像１を表示する劣化画像表示工程と、を備える事に特徴がある。図３において、ＲＧＢ劣化画像抽出工程Ｓ１−１等の工程は、劣化画像準備工程Ｓ１のサブ工程であるため、枝番をハイフォン付で表示している。

本発明において、対象とする劣化画像１は非圧縮且つ人工的な一切の加工を受けていないものであり、ファイルから抽出した後の画像は２４ビット又は３２ビットのＲＧＢ形式のビットマップであれば何でも良い。また、ＹＵＶ４４４形式のものであっても良いが、この場合には、ＲＧＢ劣化画像抽出工程Ｓ１−１をＹＵＶ画像が扱えるように改良する必要があり、図３の例では対象外である。さて、本発明において、画像輝度分布から成る劣化画像１を処理対象とする理由は、ＲＧＢの各原色劣化画像を処理対象とすると、色の構成に変化を生じる可能性があるためである。経験上、この様にしても十分な超解像効果が得られる事が分かっている。また、本発明においては、ＲＧＢからＹＵＶへの変換及びその逆変換並びにガンマ変換そしてデガンマ変換は、社団法人電波産業会 １９８７年８月 策定 ２００９年７月 Ｃ１.０改定 の 標準規格 ＢＴＡ Ｓ−００１Ｃ １．０版「１１２５/６０高精細度テレビジョン方式 スタジオ規格」内の表３．５ 「測色パラメータ」（ｈｔｔｐ：／／ｗｗｗ．ａｒｉｂ．ｏｒ．ｊｐ／ｅｎｇｌｉｓｈ／ｈｔｍｌ／ｏｖｅｒｖｉｅｗ／ｄｏｃ／２−ＢＴＡ＿Ｓ−００１＿Ｃ１＿０．ｐｄｆ）に従い行っている。

図４はＰＳＦ準備工程Ｓ２における処理手順の１例をフローチャートとして図示したものである。図４のＰＳＦ準備工程Ｓ２は、（Ｓ２−１）ユーザ２１がモニタ３を見ながら劣化画像１の劣化状況に適した劣化示数２２を汎用コンピュータ８から設定する劣化示数設定工程と、（Ｓ２−２）ＰＳＦを劣化示数に対して紐づけて整理して作成したＰＳＦデータベース２３から、劣化示数２２に適応したＰＳＦ４を選定且つ抽出するＰＳＦ抽出工程と、を備える事に特徴がある。

本発明では、対象が不鮮明で見分けがつかない程に劣化したものを対象としないため、５×５画素サイズで中心が最大輝度の２次元正規分布のものをＰＳＦ４に用いている。しかし、この例によらず、ＰＳＦ４のサイズが劣化画像までのものであれば、何でも使用可能であるが、ＰＳＦサイズ１０が大きくなるに従い、演算速度は遅くなる。

劣化示数２２は０〜２５５の整数であり、０は光学的劣化が無いものであり、２５５は光学的劣化が最大のものと成る。劣化示数２２の設定は汎用コンピュータ８を介して行うのであるが、具体的には、モニタ３上の超解像処理ウインドウ２４内の劣化示数設定ボタン２７を操作して設定する。超解像処理ウインドウ２４は、第１プログラム５１が起動すると、汎用コンピュータ８がモニタ３上に構成するものであり、超解像処理に関する全ての操作は、この超解像処理ウインドウ２４上で可能となる。

図５は、超解像処理ウインドウ２４の構成に関する１例を図示したものである。図５の超解像処理ウインドウ２４は、劣化画像１及び最尤復元画像１５などを表示するための画像ウインドウ２５、現在日時及び超解像条件及び劣化画像ファイル名及びシステムからのメッセージなどを表示するためのもので上下スクロールバーが右端に設けられた情報ウインドウ２６、劣化示数２２を０〜２５５の２５６段階中のいずれかをプルダウンメニュー（本発明のプルダウンメニューではデフォルトは薄青色の背景で表示されている。）から１つの数字を指定して設定するための劣化示数設定ボタン２７、クリックするとコンボボックスが開くのでリストの中の値を選ぶか又はテキストボックスに表示されているデフォルト値の上から最大反復演算回数７を直接入力して設定するために使用する最大反復演算回数設定ボタン２８、クリックするとファイル管理システムウインドウが開きファイルが表示されるのでその中から１件を指定する事によりファイルの指定が可能な劣化画像ファイル指定ボタン２９、画像ウインドウ２５に表示されている最尤復元画像１５をクリックして指定した後にこのボタンをクリックする事により、ファイル管理システムウインドウが開くので希望するディレクトリを指定し、ファイル管理システムウインドウ中のファイル名入力欄にファイル名入力し更にファイル形式を指定して保存をクリックする事により最尤復元画像１５を指定したディレクトリに保存する最尤復元画像ファイル保存ボタン３０、超解像処理を設定された条件のもと開始するためにクリックする超解像処理開始ボタン３１、超解像処理を中断するためにクリックする超解像処理中断ボタン３２、中断した超解像処理を再開するための超解像処理再開ボタン３３、超解像処理を停止するためにクリックする超解像処理停止ボタン３４、ヘルプウインドウを開きヘルプ内容を検索そして表示するためのヘルプボタン３５、画像ウインドウ２５内の縮小／拡大したい画像をクリックして指定した後にこのボタン内の＋を押せば指定した画像が拡大され‐を押せば指定した画像が拡大され０を押せばデフォルト倍率に復帰して指定した画像が表示される画像拡大／縮小ボタン３６、画像ウインドウ２５内の画像の表示モードのタイル又は重ねて表示をプルダウンメニューからどちらかを選択するために使用する画像表示モード指定ボタン３７、超解像処理ウインドウ２４を閉じるために使用する閉じるボタン３８、から構成されている。

最大反復演算回数設定工程Ｓ４は、超解像処理ウインドウ２４内の最大反復演算回数設定ボタン２８を操作して最大反復演算回数７を設定する。

復元画像初期値補正工程Ｓ７は、補正復元画像初期値６にＰＳＦ４を数式（４）〜（５）に従い畳込む際に発生する計算できない除外領域を、解消するための工程であり、予め除外領域内の画素を補正復元画像初期値６の最外周の外側にミラー対称に転写する事により、補正復元画像初期値６の最外周を除外領域の外側に移動して除外領域を解消する。

数式（４）〜（５）において、Ｇは劣化画像を、Ｇ（ｉ，ｊ）は座標（ｉ，ｊ）の劣化画像の画素を、Ｆは復元画像を、Ｆ（ｉ‐ｍ，ｊ−ｎ）は座標（ｉ‐ｍ，ｊ−ｎ）の復元画像の画素を、ＨはＰＳＦを、Ｈ（ｍ，ｎ）は座標（ｍ，ｎ）のＰＳＦの画素を、白抜き丸「○」の中にアスタリスク「＊」を記した記号は畳込み演算を、中点「・」は掛け算を、それぞれ意味しており、また、ｉ，ｊ，ｍ，ｎ、Ｍ及びＮは正の整数である。

数式（５）によれば、ＰＳＦサイズは横画素数２Ｍ＋1で縦画素数２Ｎ＋1である。この場合、除外領域は数式（６）〜（７）により求める事ができ、縦画素数ＥＬ、横画素数ＥＷである。

数式（６）〜（７）において、ＩＮＴ（）は括弧内の数値の整数部分のみを取り出す関数である。本発明においては、ＰＳＦサイズは５×５であるため、Ｎ＝Ｍ＝２に相当する。この場合、ＥＬ＝ＥＷ＝２と成り、除外領域は復元画像初期値５の外周２画素の領域となる。

図６は本発明で用いる畳込み演算によって生ずる除外領域の発生状況及びその補正方法の１例を示す図である。図６の例では、５×５のＰＳＦを補正復元画像初期値６に畳込み演算する場合の左上隅付近の状況を説明例にとっているが、この様な除外領域は補正復元画像初期値の外周２画素の領域全体と成る。図６の例では、復元画像初期値５を複写して補正復元画像初期値６と成した後の状態を示しており、補正復元画像初期値６の外周２画素を除外領域へミラー対称と成る様に転写する事により補正し、更に原点を移動させる事により、補正復元画像初期値６の除外領域を解消する。こうする事により、畳込み演算後の原点は補正前の補正復元画像初期値６の原点即ち復元画像初期値５の原点と一致する。

図７は、復元画像初期値補正工程Ｓ７における処理手順の１例をフローチャートとして図示したものである。図７の復元画像初期値補正工程Ｓ７は、（Ｓ７−１）ＰＳＦサイズ１０を横画素数ＨＷ及び縦画素数ＨＬから成る数値として求めるＨサイズ計算工程と、（Ｓ７−２）ＰＳＦサイズ１０を基にして、ＨＷを２で割った商の整数部分を横サイズ補正値Ｃｗと成し、更に、ＨＬを２で割った商の整数部分を縦サイズ補正値Ｃｌと成す補正値演算工程と、（Ｓ７−３）補正復元画像初期値６の上辺から内側にＣｌ個の画素行を復元補正復元画像初期値６の上辺の外側にミラー対象に転写する第１Ｆ補正工程と、（Ｓ７−４）補正復元画像初期値６の右辺から内側にＣｗ個の画素列を補正復元画像初期値６の右辺の外側にミラー対象に転写して作成しこれを新たに補正復元画像初期値６と成す第２Ｆ補正工程と、（Ｓ７−５）補正復元画像初期値６の下辺から内側にＣｌ個の画素行を補正復元画像初期値６の下辺の外側にミラー対象にコピーして作成しこれを新たに補正復元画像初期値６と成す第３Ｆ補正工程と、（Ｓ７−６）補正復元画像初期値６の左辺から内側にＣｗ個の画素列を補正復元画像初期値６の左辺の外側にミラー対象にコピーして作成しこれを新たに補正復元画像初期値６と成す第４Ｆ補正工程と、から構成されている。

データ準備工程Ｓ８において、演算用データ１３とは反復演算１回用のデータ群の事であり、数式（３）の等号の右辺をＳＩＭＤ型超並列演算処理装置１１で計算するために必要なデータ群の事である。データ準備工程Ｓ８が必要な理由は、ＳＩＭＤ型超並列演算処理装置１１は２ビット、４ビット、８ビット、１６ビット・・・などの予め設定された所定の単位でＳＩＭＤ型超並列演算処理装置１１内の実行用データ記憶領域１２に記憶されたデータの四則演算及びＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）論理演算を予め設定された並列度数で同時並行に行う演算装置である。このため、ＳＩＭＤ型超並列演算処理装置１１が演算できる様に実行用データ記憶領域１２に、事前に演算用データ１３を転送し記憶する必要がある。この演算用データ１３は実行用データ記憶領域１２に最大効率でデータを配置できる様に事前に作成されたものである。

本発明では、実行用データ記憶領域１２は演算ユニット当たり５１２ビットのバンク左右２つで計１０２４ビットの容量を有し、左右バンクには１〜５１２のＸアドレスと１０２４のＹアドレスが付与されており、左右バンクいずれかを指定し更にアドレス（Ｘ，Ｙ）を指定する事により指定したバンク内の任意のレジスタが選択可能であり、演算ユニットは２ビットの四則演算及びＬＵＴ演算を行い、演算ユニット及び実行用データ記憶領域１２の並列演算度数は１０２４である。そこで、このＳＩＭＤ型超並列演算処理装置１１を使用する場合の演算用データ１３の作成を例にとり、データ準備工程Ｓ８の構成に関する1例を説明する。

図８は、データ準備工程Ｓ８における処理手順の1例をフローチャートとして図示したものである。図８のデータ準備工程Ｓ８は、（Ｓ８−１）復元画像初期値５の画素数による画像サイズを取り込み、復元画像初期値５の左上隅の画素を原点とし、横方向に左端の画素から右端の画素へ至り次いで縦下方向に1画素分移動して横方向左端に戻り左端の画素から右端の画素に至りといった様に画素の座標（ｘ、ｙ）を発生する工程と、（Ｓ８−２）補正復元画像初期値６の座標（ｘ、ｙ）の画素を原点としこれを含む右横方向５画素×下方向５画素の８ビット幅の画素値を読込みＦＣ（ｉ，ｊ）と成す工程と、（Ｓ８−３）ＰＳＦ４の５×５画素の８ビット幅の画素値を読込、これらを左上隅の画素を原点とするＨ（ｉ，ｊ）と成し、ＦＣ（ｉ，ｊ）の画素値とこれと同じ座標のＨ（ｉ，ｊ）の画素値を掛け算できるようにするために、原点から縦方向に上から下に次いで横方向に1つづれて縦方向に上から下にといった様にＨ（ｉ，ｊ）及びＦＣ（ｉ，ｊ）の座標を操作しながらＦＣ（ｉ，ｊ）の値８ビットとこれと同じ座標のＦＣ（ｉ，ｊ）の値８ビットそして両者の積を書込むために用いる１２ビットの領域をこの順で連ねて1つにしたデータセットを全てのｉ（１〜５の整数）及びｊ（１〜５の整数）の組み合わせについて作り、始めの１7個分のデータセットを実行用データ記憶領域１２の左バンクに転送し記憶させるために用いるための第１データセット３９と成し、残りの８個分のデータセットを実行用データ記憶領域１２の右バンクに転送し記憶させるために用いるための第２データセット４０と成す工程と、（Ｓ８−４）第１データセット３９及び第２データセット４０の積格納領域から1つずつ重複しない様に読み込み、これを加算するために用いる１２ビット幅の第１累積和演算用領域４１及び加算演算後の和を格納するために用いる１２ビット幅の第２累積和演算用領域４２をひと繋がりにしてなる累積和演算用領域４３を作成する工程と、（Ｓ８−５）劣化画像１の画素平面の左上隅を原点とし、劣化画像１の任意の画素はＧ（ｘ、ｙ）で表示され、復元画像初期値５の画素平面の左上隅を原点とし、復元画像初期値５の任意の画素はＦ（ｘ、ｙ）で表示される時に、Ｇ（ｘ、ｙ）の８ビット幅の画素値とＦ（ｘ、ｙ）の８ビット幅の画素値が足し算をできる様にデータペアを形成し、その結果を収納するために空の１２ビット幅の領域を加えてひと繋がりと成し、加算用データセット４４と成す工程と、（Ｓ８−６）加算用データセット４４の中の結果格納領域内の値から累積和演算用第１領域４１に格納された結果を減算しその結果である復元画像１４の画素値を格納するための１２ビット幅の復元画像画素値領域４５を作成する工程と、（Ｓ８−７）第２データセット４０の後に累積和演算用領域４３を連ね更にこれに引き続いて加算用データセット４４を連ね更にこれに引き続いて復元画像画素値領域４５を連ねて1つのデータセットと成す工程と、（Ｓ８−８）ｘ及びｙから「１−ｘ−ｙ」及び「２−ｘ−ｙ」というラベルを作成し第１データセット３９には「１−ｘ−ｙ」を第２データセット４０には「２−ｘ−ｙ」を付与する工程と、（Ｓ８−９）復元画像初期値５に未演算の画素が残っていないという仮説を検証し、検証結果が偽であればＳ８−1へ戻り、そうでなはなく検証結果が真である場合には終了する工程と、から構成されている。

第１データセット３９及び第２データセット４０は同じ１つの演算ユニット用のデータペアであり、復元画像１４の１画素分の演算用データである。

図９は、工程Ｓ８−１において、復元画像初期値５の画素の座標を発生させる際に画素をスキャンする方法の１例を示す図である。図９には、復元画像初期値５の画素全ての座標を1つずつ発生させる際に、復元画像初期値５の左上隅の画素を原点とし、横方向に左端の画素から右端の画素へ、次いで縦下方向に1画素分移動して更に横方向左端に戻り、左端の画素から右端の画素にといった様にスキャンする方法が示されている。しかし、このスキャンの方向は、この例によらず自由である。図９において、復元画像初期値５の画像サイズは横方向総画素数Ｗｘであり縦方向総画素数Ｌｙであり、画素はＦ（ｘ、ｙ）で表示されており、ｘは１〜Ｗｘの整数であり、ｙは１〜Ｌｙの整数である。

図１０は、データ準備工程Ｓ８により作成された第１データセット３９及び第２データセット４０の１例を示す図である。図１０によれば、第１データセット３９及び第２データセット４０の中の同一Ｙアドレスのデータセットは、数式（３）の右側の式に従い、復元画像１４の特定の１画素分を演算するためのデータセットである。Ｙアドレス全体は１０２４画素分のデータセットである。左バンクのＸアドレスが１〜５０４及び右バンクのＸアドレスが１〜２２４の領域は畳込み演算における積算用のデータセットであり補正復元画像初期値６の画素ＦＣ（ｉ，ｊ）とＰＳＦ４の画素Ｈ（ｉ，ｊ）とこれらの積を格納するための領域から成り、右バンクのＸアドレスが２５３〜２７６の領域は累積和演算用領域４３であり、右バンクのＸアドレスが２７７〜３０４の領域は加算用データセット４４であり、右バンクのＸアドレスが３０５〜３１６の領域は復元画像画素値領域４５である。

図１１は、画像復元工程Ｓ９における処理手順の１例をフローチャートとして図示したものである。図１１の画像復元工程Ｓ９は、（Ｓ９−１）復元画像初期値５の画素数による画像サイズを取り込み、図９に示されたスキャン方法に習い、復元画像初期値５の左上隅の画素を原点とし、横方向に左端の画素から右端の画素へ至り次いで縦下方向に1画素分移動してから左端の画素に戻り、この左端の画素から横方向に右端の画素に至りといった様に読込対象画素座標を変化させながら１０２４画素間隔で復元画像初期値５の画素の座標（ｘ，ｙ）４６を発生し、大容量高速メモリ５４の変数ｘ（）及び変数ｙ（）に記憶する工程と、（Ｓ９−２）画素座標（ｘ，ｙ）４６を開始画素として図９に示したスキャン方法で原点画素座標（ｘ，ｙ）４６を含む座標を発生させ同時にこの座標からラベル「１−ｘ−ｙ」及び「２−ｘ−ｙ」を発生させ、１０２４画素分又は最大画素数分の第１データセット３９及び第２データセット４０を読込み、第１データセット３９を実行用データ記憶領域１２の左バンクへ、更に第２データセット４０を実行用データ記憶領域１２の右バンクへ、それぞれ左詰めで１０２４画素分又は最大画素数分のデータをＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）転送する工程と、（Ｓ９−３）ＳＩＭＤ型超並列演算処理装置１１において、転送された第１データセット３９及び第２データセット４０を用いて、まず畳込み演算を構成する積算を１０２４画素分並行して行い、次にこれ等２５個の積の累積和を１０２４画素分並行して求め、次いで劣化画像１と復元画像初期値５との和算を１０２４画素分並行して行い、この結果である１０２４画素分の和から１０２４画素分の累積和を1回の演算で差し引きその結果を復元画像１４の１０２４画素分の画素として実行用データ記憶領域１２の右バンク復元画像画素値領域４５の列に記憶する様にＳＩＭＤ型超並列演算処理装置１１に命令し且つ演算終了を検知する工程と、（Ｓ９−４）図９に示されたスキャン方法に従い、原点画素座標（ｘ，ｙ）４６を開始画素としてこの画素を含む１０２４画素分又は最大画素数分の座標（ｘ1,ｙ1）を発生し各々を大容量高速メモリ５４の変数ｘ１及び変数ｙ１に保存する一方でこれ等ｘ１及びｙ１から「Ｆ−ｘ１−ｙ１」というラベルを作成し、このラベルを変数名とする復元画像１４の画素値を保存するための変数Ｆ−ｘ１−ｙ１（）を１０２４画素分又は最大画素数分作成し、できた順に縦に並べて１０２４個又は最大画素数分の画素値を収納可能な変数群から成る列である復元画素一時保存領域４７を大容量高速メモリ５４内に作成し、その後実行用データ記憶領域１２の右バンクの復元画像画素値領域４５の列から１０２４個又は最大画素数分の復元画像１４の画素値を読み出し、復元画素一時保存領域４７にＦＩＦＯ転送する工程と、（Ｓ９−５）まず復元画像初期値記憶領域９０と同じサイズの記憶領域から成り且つ左上隅を原点とし復元画像１４の画素座標に対応する画素値記憶領域から成る復元画像記憶領域９２を大容量高速メモリ５４内に定義し、次に復元画素一時保存領域４７から1画素分の画素データを順に読込、ラベルを解析して画素座標（ｘ、ｙ）を発生させ、この画素座標（ｘ、ｙ）に対応する復元画像記憶領域９２の記憶領域に画素値を記憶させるといった事を１０２４個又は最大画素数分繰り返す工程と、（Ｓ９−６）復元画像初期値５の画像サイズを参照して、図９のスキャン法に従い復元画像初期値５の画素の座標（ｘ，ｙ）４６から１０２４画素目の画素が存在しないという仮説を検証し、もしも検証結果が偽であればデータ準備工程Ｓ９−1へ戻り、そうではなくもしも検証結果が真であれば終了する工程と、から構成されている。

図１２は、工程Ｓ９−４において行われる第１データセット３９及び第２データセット４０を用いたＳＩＭＤ型超並列演算処理装置１１における並列演算方法の１例を示す図である。図１２において、第１データセット３９及び第２データセット４０は図１０と同じ配置であり、積算、和算及び減算は、カラム単位（レジスタのＹアドレス１〜１０２４）で並行して同時に実行し、累積和は、（１）積算Ｎ（Ｎは整数で、１≦Ｎ≦２５）の結果である積Ｎと第１累積和演算用領域４１との和算を行いその和を第２累積和演算用領域４２に記憶する工程と、（２）第２累積和演算用領域４２のデータを第１累積和演算用領域４１に転送する工程と、（３）Ｎが２５になるまで（１）〜（２）を繰り返す工程と、から構成され、これ等の工程（１）〜（３）を実行する事により求める。

最尤復元画像化工程Ｓ１５は、更に細分化された工程から構成されており、最尤復元画像化工程Ｓ１５の処理手順に関する１例をフローチャートとして図１３に示す。図１３の最尤復元画像化工程Ｓ１５は、（Ｓ１５−１）劣化画像ファイル２からＲＧＢ形式の劣化画像１を抽出し、更にＹＵＶ変換してＵ色差Ｕ色差から成るＵ劣化画像１９及びＶ色差から成るＶ劣化画像２０を抽出する工程と、（Ｓ１５−２）輝度分布（Ｙ）から成る復元画像１４を大容量高速メモリ５４内の復元画像記憶領域９２から読み出しこの復元画像１４をガンマ補正する工程と、（Ｓ１５−３）ガンマ補正後の復元画像１４、Ｕ劣化画像１９及びＶ劣化画像２０からＹＵＢ形式の最尤復元画像１５を合成しこの最尤復元画像１５の画像サイズに適合したメモリ領域を大容量高速メモリ５４内の最尤復元画像記憶領域１１４に定義した後に記憶する工程と、（Ｓ１５−４）最尤復元画像記憶領域１１４からＹＵＢ形式の最尤復元画像１５を読み出しこれをＲＧＢ形式に変換した後に最尤復元画像記憶領域１１４に記憶する共に出力する工程と、（Ｓ１５−５）ＲＧＢ画像記憶領域８４からＲＧＢ劣化画像１７を読み込み、これを画像ウインドウ２５の左半分と成る様にそしてＲＧＢ形式の最尤復元画像１５を最尤復元画像記憶領域１１４から読み込み、これを画像ウインドウ２５の右半分と成る様に調整後、モニタ３をイニシャライズした後に表示する工程と、を備える。

図１４は、ファイル化工程Ｓ１６の処理手順の１例をフローチャートとして図示したものである。図１３のファイル化工程Ｓ１６は、（Ｓ１６−１）超解像処理ウインドウ２４の画像ウインドウ２５内の最尤復元画像１５がクリックされ指定される事を常時監視する工程と、（Ｓ１６−２）最尤復元画像１５が指定されたという仮説を検証し、もしも検証結果が偽であれば工程Ｓ１６−１へ戻り、そうではなくもしも検証結果が真であれば工程Ｓ１６-３へ進む工程と、（Ｓ１６-３）最尤復元画像ファイル保存ボタン３０がクリックされる事を常時監視する工程と、（Ｓ１６-４）最尤復元画像ファイル保存ボタン３０がクリックされたという仮説を検証し、もしも検証結果が偽であれば工程Ｓ１６−３へ戻り、そうではなくもしも検証結果が真であれば工程Ｓ１６-５へ進む工程と、（Ｓ１６−５）Ｅｘｐｌｏｒｅｒを開く工程と、（Ｓ１６−６）記憶工程Ｓ１７においてユーザ２１が最尤復元画像１５ファイル１６を保存するとＥｘｐｌｏｒｅｒが閉じるが、このＥｘｐｌｏｒｅｒが閉じる事を常時監視する工程と、（Ｓ１６−７）ファイル保存が完了してＥｘｐｌｏｒｅｒが閉じたという仮説を検証し、もしも検証結果が偽であれば工程Ｓ１６−８へ進み、そうではなくもしも検証結果が真であれば終了する工程と、（Ｓ１６−８）情報ウインドウ２６に「ファイル保存に失敗しました。再度保存する場合には、最尤復元画像ファイル保存ボタン３０をクリックして下さい。キャンセルする場合には汎用コンピュータ８のキーボード４８のＥＳＣ（エスケープ）ボタン４９を押して下さい」というメッセージを表示する工程と、（Ｓ１６−９）キーボード４８のＥＳＣ（エスケープ）ボタン４９が押された事を常時監視する工程と、（Ｓ１６−１０）キーボード４８のＥＳＣ（エスケープ）ボタン４９が押されたという仮説を検証し、もしも検証結果が偽であれば工程Ｓ１６−１１へ進み、そうではなくもしも検証結果が真であれば終了する工程と、（Ｓ１６−１１）最尤復元画像ファイル保存ボタン３０がクリックされる事を常時監視する工程と、（Ｓ１６-１２）最尤復元画像ファイル保存ボタン３０がクリックされたという仮説を検証し、もしも検証結果が偽であれば工程Ｓ１６−９へ戻り、そうではなくもしも検証結果が真であれば工程Ｓ１６-５へ戻る工程と、を備え、超解像処理ウインドウ２４において、超解像処理が完了し画像ウインドウ２５に最尤復元画像１５が表示されると、ユーザ２１がこれを保存するために、画像ウインドウ２５の最尤復元画像１５をクリックする事により指定し、その後、最尤復元画像ファイル保存ボタン３０をクリックすると、本発明はＭｉｃｒｏｓｏｆｔ（登録商標）社ＯＳを使用しているため同ＯＳが提供する「Ｅｘｐｌｏｒｅｒ（登録商標）」と言う名称のファイルシステムウインドウが開き、記憶工程Ｓ１７において、ユーザ２１がファイルシステムウインドウ内の適切なディレクトリを指定し更にファイル名を入力し更に適切な画像ファイル形式を選択しその後保存をクリックする事により保存処理が完了する。

図１５は、ＳＩＭＤ型超並列演算装置向け超解像処理装置５０の構成に関する１例を図示したものである。図１５のＳＩＭＤ型超並列演算装置向け超解像処理装置５０は、本発明による第１の発明であるＳＩＭＤ型超並列演算装置向け超解像処理方法に従い、実行可能で且つ読込んで解読可能な言語で記述された第２プログラム８０に従い汎用コンピュータ８がＳＩＭＤ型超並列演算処理装置１１に演算を分担させる事により、劣化画像１に含まれる光学的劣化を低減して劣化前の画像を復元する装置である。また、図１５において、黒丸は結合を、太実線は実行順序の関係を、それぞれ示す。

図１５のＳＩＭＤ型超並列演算装置向け超解像処理装置５０は、（Ｗ１）輝度分布から成る劣化画像１を指定された劣化画像ファイル２から準備し更に劣化画像１をモニタ３に表示する劣化画像準備手段と、（Ｗ２）モニタ３を見ながら劣化画像１の劣化状況に適したＰＳＦ４を特定するＰＳＦ準備手段と、（Ｗ３）劣化画像１を複写しこれを復元画像初期値５と成す復元画像初期値準備手段と、（Ｗ４）最大反復演算回数７を汎用コンピュータ８から設定する最大反復演算回数設定手段と、（Ｗ５）反復演算回数を計数するＩカウンター９に０を設定しリセットするＩリセット手段と、（Ｗ６）ＰＳＦ４のサイズを取得してＰＳＦサイズ１０を求めるＰＳＦサイズ取得手段と、（Ｗ７）まず復元画像初期値５を複写して補正復元画像初期値６と成し、次にＰＳＦ４を補正復元画像初期値６に畳込み演算を行う際に除外領域と成る領域をＰＳＦサイズ１０から計算により求めその領域を補正復元画像初期値６の外側にミラー対称に成る様に転写する事により補正復元画像初期値６を補正する復元画像初期値補正手段と、（Ｗ８）反復演算１回用のデータ群をＳＩＭＤ型超並列演算処理装置１１内の実行用データ記憶領域１２に最大効率でデータを配置できる様に演算用データ１３を作成して準備するデータ準備手段と、（Ｗ９）演算用データ１３をＳＩＭＤ型超並列演算処理装置１１内の実行用データ記憶領域１２に転送して演算し、復元画像１４を求める画像復元手段と、（Ｗ１０）Ｉカウンター９に１を加算するＩ加算手段と、（Ｗ１１）Ｉカウンター９の値が最大反復演算回数７以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｗ１２）へ進むが、検証結果が真であれば（Ｗ１４）へ進むＩ判定手段と、（Ｗ１２）復元画像１４を復元画像初期値５と入れ替える入替え手段と、（Ｗ１３）手段（Ｗ７）へ戻るジャンプ手段と、（Ｗ１４）復元画像１４を出力する出力手段と、（Ｗ１５）劣化画像ファイル２及び復元画像１４からＲＧＢ形式の最尤復元画像１５を求める最尤復元画像化手段と、（Ｗ１６）最尤復元画像１５を最尤復元画像ファイル１６と成すファイル化手段と、（Ｗ１７）最尤復元画像ファイル１６を指定された記憶領域５２へ記憶する記憶手段と、を備える事に特徴がある。

本発明による第２の発明であるＳＩＭＤ型超並列演算装置向け超解像処理装置５０は、本発明による第１の発明であるＳＩＭＤ型超並列演算装置向け超解像処理方法に従う装置の1例であり、構成上必要十分な最小の構成手段を有しており、ＲＧＢ形式の劣化画像ファイル２から光学的劣化情報を取り除いたＲＧＢ形式の最尤復元画像ファイル１６を高速に生成する。

図１６は、本発明で用いる汎用コンピュータ８の構成に関する１例を図示したものであり、図１６にはＳＩＭＤ型超並列演算処理装置１１も構成要素として含まれている。図１６の汎用コンピュータ８は、タッチセンサ付きモニタ３、ＳＩＭＤ型超並列演算処理装置１１、ＰＳＦデータベース２３、キーボード４８、第２プログラム８０、高速ランダムアクセス及び書込み読み出し及び消去及び編集が可能な１Ｔバイト以上の容量を有するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５３、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｕｍｎ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＰＳＲＡＭ（Ｐｓｕｅｄ Ｓｔａｔｉｃ Ｒａｎｄｏｕｍｎ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｕｍｎ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＦｌａｓｈ Ｍｅｍｏｒｙから成る高容量高速メモリ５４、４個以上のＣＰＵコアを有する２ＧＨｚ以上のクロックスピードの６４ビットインストラクションセット３２ビットＣＰＵ５５、データ通信及び高容量高速メモリの管理及びバス制御などを行う周辺回路５６、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）モデムを内蔵し且つＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｉｎｔｅｒｆａｃｅ）及びＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）Ｉ／Ｏ及び公衆回線Ｉ／Ｏ及びＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、登録商標）Ｉ／Ｏ及びキーボード４８との通信Ｉ／Ｏ及びメモリカードＩ／Ｏ及びＣＤやＤＶＤやＢＤの再生・記録・消去が可能なコンボディスクモジュールＩ／Ｏ及びモニタ３へビデオデータを提供し更にモニタ３のタッチセンサから送られるデータをＣＰＵ５５へ送るモニタＩ／Ｏ及び音声Ｉ／Ｏなどの多様なＩ／Ｏをサポートする通信Ｉ／Ｏ回路５７、ビデオデータの送受信及びコーディング及びデコーディング及び多様な画像処理を行うビデオアクセラレータ回路５８、双方向性バス５９、コンボディスクモジュール６０、メモリスロット６１、電源回路６２、ＣＰＵ５５からの命令により適切な冷却を行う冷却装置６３、ＬＡＮ端子６４、ＵＳＢ端子６５〜６７、マウス６８、マイクロソフト社製Ｗｉｎｄｏｗｓ（登録商標）８ Ｏ／Ｓ ６９、マイクロソフト社製 Ｖｉｓｕａｌ Ｓｔｕｄｉｏ ２０１０（登録商標）（Ｖｉｓｕａｌ Ｃ＋＋ ２０１０を含む）７０、マイクロソフト社製 Ｏｆｆｉｃｅ ２０１３（登録商標）{Ｅｘｃｅｌ ２０１３（登録商標）、Ｗｏｒｄ ２０１３（登録商標）、Ｐｏｗｅｒ Ｐｏｉｎｔ ２０１３（登録商標）}７１、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信モジュール７２、スピーカ７３、マイク７４、電源スイッチ７５、電源ケーブル７６、ＵＳＢケーブル７７、ＭＤＭＩ（登録商標）ケーブル７８、開発環境Ｈｉｇｈ−ｐｅｒｆｏｒｍａｎｃｅ Ｅｍｂｅｄｄｅｄ Ｗｏｒｋｓｈｏｐソフトウエア７９、これ等全てのものから構成される。

図１６において、ＰＳＦデータベース２３、第１プログラム５１、Ｗｉｎｄｏｗｓ（登録商標）８ Ｏ／Ｓ ６９、Ｖｉｓｕａｌ Ｓｔｕｄｉｏ ２０１０（登録商標）７０、Ｏｆｆｉｃｅ ２０１３（登録商標）７１、及び開発環境Ｈｉｇｈ−ｐｅｒｆｏｒｍａｎｃｅ Ｅｍｂｅｄｄｅｄ Ｗｏｒｋｓｈｏｐソフトウエア７９はＨＤＤ５３に既に記憶済みの状態にある。

図１６の汎用コンピュータ８には、市販されているＷｉｎｏｄｗｓ（登録商標）系ノートブックＰＣおよびデスクトップＰＣなどの多くの製品が使用可能であり、また、ＳＩＭＤ型超並列演算処理装置１１には、例えば、ルネサス エレクトロニクス株式会社製「Ｓｕｐｅｒ ＲＩＳＣ ｅｎｇｉｎｅ ｆａｍｉｌｙ用 ＭＸ開発ツールキット」が使用可能であり、本発明でも、このキットを使用している。同キットはＭＸコアと呼ぶＳＩＭＤ型超並列演算処理装置１１を搭載した基板及びこの回路基板内のハードウエアを駆動するために必要なソフトウエア、例えば、Ｃ言語で作成したソースプログラムを、ＭＸコアで実行可能なオブジェクトプログラムに変換する「ＭＸコード生成ツール」、デバッガ及びシミュレータから構成されている。本発明によるＳＩＭＤ型超並列演算装置向け超解像処理装置５０では、図１６に示されている様に汎用コンピュータ８とＳＩＭＤ型超並列演算処理装置１１との間をＵＳＢケーブル７７によって接続し、更に、ＳＩＭＤ型超並列演算処理装置１１を汎用コンピュータ８から動かすために必要な統合開発環境Ｈｉｇｈ−ｐｅｒｆｏｒｍａｎｃｅ Ｅｍｂｅｄｄｅｄ Ｗｏｒｋｓｈｏｐソフトウエア７９を汎用コンピュータ８に事前にインストールしている。

本発明による第３の発明は、第１の発明によるＳＩＭＤ型超並列演算装置向け超解像処理方法を汎用コンピュータ８に実行させるための第１プログラム５１である。この第１プログラム５１は、Ｃ＋＋、ＨＴＭＬ、ＸＴＭＬ及びＪＡＶＡ（登録商標）を用いて記述されたものである。

本発明による第４の発明は、第３の発明による第１プログラムを記憶し且つ汎用コンピュータ８に接続可能で且つ汎用コンピュータ８が読込んで実行可能な事に特徴が有る第１記憶媒体である。この第１記憶媒体は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、Ｆｌａｓｈメモリカード、ＳＤメモリカード、ＵＳＢメモリなどが使用可能である。第１プログラムを暗号化して記録し、暗号化したままで汎用コンピュータ８に読み込み、汎用コンピュータ８で復号した後にインストールする事が可能である。この他、暗号化／復号化回路が内蔵さ且つパスワードロックする事が可能なＵＳＢメモリやＳＤＨＣメモリカードを使用する事も可能である。本発明においては、暗号化／復号化回路が内蔵されたＵＳＢメモリを使用している。また、暗号には、暗号強度２５６ビットのＡＥＳやＤＥＳなどが使用可能である。

本発明による第５の発明は、第２の発明によるＳＩＭＤ型超並列演算装置向け超解像処理装置５０として汎用コンピュータ８を機能させるための第２プログラム８０であり、第１プログラム５１と同じ言語で記述されている。

図１７は、第２プログラム８０の構造に関する１例を図示したものである。図１７の第２プログラム８０は、ＳＩＭＤ型超並列演算装置向け超解像処理装置５０を構成する全ての手段を汎用コンピュータ８内に仮想的に構成する画像復元装置プログラム８１、超解像処理ウインドウ２４を作成しモニタ３に表示させる超解像処理ウインドウ作成プログラム８２、超解像処理ウインドウ２４内の画像及びボタン、そしてキーボード４８の中のＥＳＣボタン４９、Ｅｎｔｅｒボタン、ページアップボタン及びページダウンボタンを常時監視して必要な処理を画像復元装置プログラム８１と協調して実行する超解像処理ウインドウ監視プログラム８３、から構成されている。また、図１７において、太実線は実行順序の関係を示す。

本発明による第６の発明は、第５の発明による第２プログラム８０を記憶し且つ汎用コンピュータ８に接続可能で且つ汎用コンピュータ８が読込んで実行可能な事に特徴が有る第２記憶媒体である。第２記憶媒体には、第１記憶媒体と同じものが使用可能であり、本発明においては、第２記憶媒体に第１記憶媒体と同じ暗号化／復号化回路が内蔵されたＵＳＢメモリを使用している。

図１８は、劣化画像準備手段Ｗ１の構成に関する1例を図示したものである。図１８の劣化画像準備手段Ｗ１は、ＲＧＢ劣化画像抽出手段Ｗ１−１、ＹＵＶ変換手段Ｗ１−２、デガンマ手段Ｗ１−３及び劣化画像表示手段Ｗ１−４から構成されており、「ＲＧＢ劣化画像抽出手段Ｗ１−１」は、劣化画像ファイル２を読み込んでこれをＨＤＤ５３に記憶し、このＨＤＤ５３に記憶された劣化画像ファイル２から、ＲＧＢ画素データから成るＲＧＢ劣化画像１７を抽出し、ＲＧＢ劣化画像１７の画像サイズに適合したメモリ領域を大容量高速メモリ５４内に、ＲＧＢ画像記憶領域８４、Ｙ劣化画像記憶領域８５、Ｕ劣化画像記憶領域８６、Ｖ劣化画像記憶領域８７及び劣化画像記憶領域８８として設定し、その後、ＲＧＢ劣化画像１７をＲＧＢ画像記憶領域８４に記憶し、「ＹＵＶ変換手段Ｗ１−２」は、ＲＧＢ画像記憶領域８４に記憶されたＲＧＢ劣化画像１７をＹＵＶ変換し、Ｙ（輝度）成分から成るＹ劣化画像１８を抽出してこれをＹ劣化画像記憶領域８５に記憶し、Ｕ（青色差）成分から成るＵ劣化画像１９を抽出してこれをＵ劣化画像記憶領域８６に記憶し、Ｖ（赤色差）成分から成るＶ劣化画像２０を抽出してこれをＶ劣化画像記憶領域８７に記憶し、「デガンマ手段Ｗ１−３」は、Ｙ劣化画像記憶領域８５に記憶されたＹ劣化画像１８をデガンマ処理し、デガンマ処理後のＹ劣化画像１８を劣化画像記憶領域８８に記憶する事により劣化画像１と成し、「劣化画像表示手段Ｗ１−４」は、劣化画像記憶領域８８から劣化画像１を読み出しこれをモニタ３に表示する。また、図１８において、太実線は実行順序の関係を示す。

図１９は、ＰＳＦ準備手段Ｗ２の構成に関する１例を図示したものである。図１９のＰＳＦ準備手段Ｗ２は、（Ｗ２−１）汎用コンピュータ８のモニタ３に表示されている超解像処理ウインドウ２４内の画像ウインドウ２５内の劣化画像１をユーザ２１が見ながら超解像処理ウインドウ２４内の劣化示数設定ボタン２７を操作して劣化画像１の劣化状況に応じた劣化示数２２を設定する劣化示数設定手段と、（Ｗ２−２）ＰＳＦを劣化示数に対して紐づけて整理して作成したＰＳＦデータベース２３が予めＨＤＤ５３に記憶されたものであり、このＨＤＤ５３内のＰＳＦデータベース２３から、劣化示数２２に適応したＰＳＦ４を検索し、ヒットしたＰＳＦ４を取得してこれを大容量高速メモリ５４内のＰＳＦ記憶領域８９に記憶する事により劣化示数２２に適応したＰＳＦ４を選定且つ抽出するＰＳＦ抽出手段と、を備える。また、図１９において、太実線は実行順序の関係を示す。

復元画像初期値準備手段Ｗ３内の処理に関する１例は、劣化画像記憶領域８８から劣化画像１を読み出し劣化画像１の画像サイズに適合したメモリ領域を大容量高速メモリ５４内の復元画像初期値記憶領域９０に用意し、その後劣化画像１を復元画像初期値記憶領域９０に記憶し、更に復元画像初期値記憶領域９０から劣化画像１を復元画像初期値５として読み出す事により復元画像初期値５と成す。復元画像初期値記憶領域９０は、劣化画像１の全ての画素数よりも大きな２次元の配列から構成され、劣化画像１の画素の座標と２次元の配列の座標は１対１で対応している。また、復元画像初期値記憶領域９０は、実際に記憶する前に配列サイズを復元画像初期値５の画像サイズに合わせる様に宣言する事により、自由に変更する事が可能である。

最大反復演算回数設定手段Ｗ４内の処理に関する１例は、汎用コンピュータ８のモニタ３に表示されている超解像処理ウインドウ２４内の最大反復演算回数設定ボタン２８をユーザ２１が操作して任意の最大反復演算回数７を選択すると、これが大容量高速メモリ５４内の変数Ｉ＿ｍａｘに記憶されるというものであり、こうする事により最大反復演算回数７は汎用コンピュータ８から設定される。

Ｉリセット手段Ｗ５内の反復演算回数を計数するＩカウンター９は、例えば、整数型の変数Ｉを大容量高速メモリ５４内に予め準備し、このＩに０を入力する事によりリセットした後に、ＰＳＦサイズ取得手段Ｗ６〜画像復元手段Ｗ９を実行した後にＩ加算手段Ｗ１０を実行してＩに１を加え、その後、Ｉ判定手段Ｗ１１を実行し、Ｉの値が最大反復演算回数７以上であれば出力手段Ｗ１４を実行し、あるいは入替え手段Ｗ１２〜ジャンプ手段Ｗ１３を実行するといった使い方をする事により変数Ｉはカウンターとなる。こういった使用方法は広く知られている。

ＰＳＦサイズ取得手段Ｗ６の構成に関する１例は、（Ｗ６−１）ＰＳＦ記憶領域８９に記憶されたＰＳＦ４を読み込み、このＰＳＦ４からＰＳＦサイズ１０を横画素数ＨＷ及び縦画素数ＨＬから成る数値として求めそれぞれ大容量高速メモリ５４内の変数ＨＷ及び変数ＨＬに記憶するＨサイズ計算手段と、（Ｗ６−２）ＰＳＦサイズ１０を基にして、ＨＷを２で割った商の整数部分を横サイズ補正値Ｃｗと成しこれを大容量高速メモリ５４内の変数Ｃｗに記憶し、更に、ＨＬを２で割った商の整数部分を縦サイズ補正値Ｃｌと成しこれを大容量高速メモリ５４内の変数Ｃｌに記憶する補正値演算手段と、を備える事に特徴が有る。

図２０は、復元画像初期値補正手段Ｗ７の構成に関する１例を図示したものである。図２０の復元画像初期値補正手段Ｗ７は、（Ｗ７−１）復元画像初期値記憶領域９０に記憶された復元画像初期値５を読み込み、大容量高速メモリ５４内の補正復元画像初期値記憶領域９１のサイズを復元画像初期値５の横サイズに２Ｃｗを加えたものかける縦サイズに２Ｃｌを加えたものに設定し、その後、復元画像初期値５の上辺から内側にＣｌ個の画素行を復元画像初期値５の上辺の外側にミラー対象に転写して作成された補正復元画像初期値６を補正復元画像初期値記憶領域９１に記憶する第１Ｆ補正手段と、（Ｗ７−２）補正復元画像初期値記憶領域９１に記憶された補正復元画像初期値６を読み込み、補正復元画像初期値６の右辺から内側にＣｗ個の画素列を補正復元画像初期値６の右辺の外側にミラー対象にコピーして作成しこれを補正復元画像初期値記憶領域９１に記憶する第２Ｆ補正手段と、（Ｗ７−３）補正復元画像初期値記憶領域９１に記憶された補正復元画像初期値６を読込、補正復元画像初期値６の下辺から内側にＣｌ個の画素行を補正復元画像初期値６の下辺の外側にミラー対象にコピーして作成しこれを補正復元画像初期値記憶領域９１に記憶する第３Ｆ補正手段と、（Ｗ７−４）補正復元画像初期値記憶領域９１に記憶された補正復元画像初期値６を読込、補正復元画像初期値６の左辺から内側にＣｗ個の画素列を補正復元画像初期値６の左辺の外側にミラー対象にコピーして作成しこれを補正復元画像初期値記憶領域９１に記憶する第４Ｆ補正手段と、から構成されている。また、図２０において、黒丸は結合を、太実線は実行順序の関係を、それぞれ示す。

図２１は、データ準備手段Ｗ８の構成に関する１例を図示したものである。図２１のデータ準備手段Ｗ８は、（Ｗ８−１）復元画像初期値記憶領域９０に記憶された復元画像初期値５を読み込み、この復元画像初期値５の画素数による画像サイズを取り込み、復元画像初期値５の左上隅の画素を原点とし、図９の方法に従い、横方向に左端の画素から右端の画素へ至り次いで縦下方向に1画素分移動してから左端の画素に戻り、この左端の画素から横方向に右端の画素に至りといった様に画素の座標（ｘ、ｙ）を発生し大容量高速メモリ５４内の変数ｘ及び変数ｙに記憶する手段と、（Ｗ８−２）まず補正復元画像初期値記憶領域９１に記憶された補正復元画像初期値６を読み込み、この補正復元画像初期値６の画素の中で、大容量高速メモリ５４内の変数ｘ及び変数ｙに記憶されたｘ及びｙを座標とする座標（ｘ、ｙ）の画素を新たに原点（ｉ＝１，ｊ＝１）とし、この原点（ｉ＝１，ｊ＝１）を含む右横方向５画素（ｉが１から５の範囲）及び下方向５画素（ｊが１から５の範囲）の領域の８ビット幅の画素値を読み込み、５×５の２次元配列変数ＦＣ（ｉ，ｊ）に記憶する事によりＦＣ（ｉ，ｊ）と成す手段と、（Ｗ８−３）ＰＳＦ記憶領域８９に記憶されたＰＳＦ４の５×５画素（ｉが１から５の範囲及びｊが１から５の範囲）の８ビット幅の画素値を読み込み、これらを左上隅の画素を原点（１，１）とする５×５の２次元配列変数Ｈ（ｉ，ｊ）に記憶する事によりＨ（ｉ，ｊ）と成し、ＦＣ（ｉ，ｊ）の画素値とこれと同じ座標のＨ（ｉ，ｊ）の画素値を掛け算できるようにするために、原点から縦方向に上から下に次いで横方向に1つずれて縦方向に上から下にといった様にＨ（ｉ，ｊ）及びＦＣ（ｉ，ｊ）の座標を操作しながらＦＣ（ｉ，ｊ）の値８ビットとこれと同じ座標のＦＣ（ｉ，ｊ）の値８ビットそして両者の積を書込むために用いる１２ビットの積格納領域をこの順で連ねてひと繋がりにしたデータセットＤＳ（ｉ，ｊ）を全てのｉ（１〜５の整数）及びｊ（１〜５の整数）の組み合わせについて作り、それぞれ大容量高速メモリ５４内の２次元変数配列ＤＳ（ｉ，ｊ）に記憶し、ｉとｊとの和が小さい順に始めの１7個分のデータセットＤＳ（ｉ，ｊ）をこの順で連ねてひと繋がりにしたものを実行用データ記憶領域１２の左バンクの所定のＹアドレスの領域に左詰めで転送して記憶させるために用いるための第１データセット３９として大容量高速メモリ５４内に定義し、ｉとｊとの和が小さい順に始めの１８個目〜２５個目のデータセットＤＳ（ｉ，ｊ）から成る残りの８個分のデータセットＤＳ（ｉ，ｊ）をこの順で連ねてひと繋がりにしたものを左バンクのＹアドレスと同じＹアドレスの実行用データ記憶領域１２の右バンクに左詰めで転送し記憶させるために用いるための第２データセット４０として大容量高速メモリ５４内に定義する手段と、（Ｗ８−４）第１データセット３９及び第２データセット４０の積格納領域から1つずつ重複しない様に読込これを加算するために用いる１２ビット幅の第１累積和演算用領域４１及び加算演算後の和を格納するために用いる１２ビット幅の第２累積和演算用領域４２をひと繋がりにしてなる累積和演算用領域４３を大容量高速メモリ５４内に定義する事によって作成する手段と、（Ｗ８−５）劣化画像記憶領域８８に記憶された劣化画像１の画素平面の左上隅を原点とし、劣化画像１の任意の画素はＧ（ｘ、ｙ）で表示され、復元画像初期値記憶領域９０に記憶された復元画像初期値５の画素平面の左上隅を原点とし、復元画像初期値５の任意の画素はＦ（ｘ、ｙ）で表示される時に、Ｇ（ｘ、ｙ）の８ビット幅の画素値とＦ（ｘ、ｙ）の８ビット幅の画素値が足し算をできる様にデータペアを形成し、その結果を収納するための空の１２ビット幅の領域を加えてひと繋がりと成した加算用データセット４４用の領域を大容量高速メモリ５４内に定義する事により作成する手段と、（Ｗ８−６）加算用データセット４４の中の結果格納領域内の値から累積和演算用第１領域に最後に格納された結果を減算しその結果である復元画像１４の画素値を格納するための１２ビット幅の復元画像画素値領域４５を大容量高速メモリ５４内に定義する事により作成する手段と、（Ｗ８−７）第２データセット４０の後に累積和演算用領域４３を連ね更にこれに引き続いて加算用データセット４４を連ね更にこれに引き続いて復元画像画素値領域４５を連ねて1つのデータセットと成しこれを新たに第２データセット４０として大容量高速メモリ５４内に定義する事により作成する手段と、（Ｗ８−８）ｘ及びｙから「１−ｘ−ｙ」及び「２−ｘ−ｙ」というラベルを作成し第１データセット３９には「１−ｘ−ｙ」を第２データセット４０には「２−ｘ−ｙ」を付与する手段と、（Ｗ８−９）復元画像初期値５に未演算の画素が残っていないという仮説を検証し、検証結果が偽であればＷ８−1へ戻り、そうではなく検証結果が真である場合には終了する手段と、から構成されている。また、図２１において、黒丸は結合を、太実線は実行順序の関係を、それぞれ示す。

実行用データ記憶領域１２の左バンク及び右バンクは左上隅を原点とし、ｘアドレス１〜５１２、Ｙアドレス１〜１０２４の交点に１ビットのレジスタが存在する（図１０、１２）。本発明においては、１画素／Ｙアドレスというルールでデータの設定及び演算を行い、復元画像画素値領域４５に復元画像１４の画素値が格納されている。このため、第１データセット３９及び第２データセット４０は１つのＹアドレスの実行用データ記憶領域１２の左バンク及び右バンクにそれぞれ転送される。また、第１データセット３９及び第２データセット４０には、ラベルが付与され、第１データセット３９及び第２データセット４０の実行用データ記憶領域１２の左バンク及び右バンクへの転送および復元画像画素値領域４５からの復元画像１４の画素値の転送に有益である。作成された第１データセット３９及び第２データセット４０の１例は、図１０に示されている。

手段Ｗ８−８では、大容量高速メモリ５４内の第１データセット３９に新たに「１−ｘ−ｙ」というラベルを付ける。これは、バイナリー宣言して作成した５１２ビット幅の変数名を「１−ｘ−ｙ」という変数１−ｘ−ｙ（）を予め用意し、大容量高速メモリ５４内の第１データセット３９を読み出し、１−ｘ−ｙ（）へ複写する事で達成可能である。この方法は、一般的なプログラム作成方法の１部として知られている。

図２２は、画像復元手段Ｗ９の構成に関する１例を図示したものである。図２２の画像復元手段Ｗ９は、（Ｗ９−１）復元画像初期値記憶領域９０に記憶されている復元画像初期値５の画素数による画像サイズを取り込み、図９に示されたスキャン方法に従い、横方向に左端の画素から右端の画素へ至り次いで縦下方向に1画素分移動してから左端の画素に戻り、この左端の画素から横方向に右端の画素に至りといった様に読込対象画素座標を変化させながら１０２４画素間隔で復元画像初期値５の画素の座標（ｘ，ｙ）４６を発生し、大容量高速メモリ５４の変数ｘ（）及び変数ｙ（）に記憶する手段と、（Ｗ９−２）座標（ｘ，ｙ）４６を開始画素として図９に示したスキャン方法で原点画素座標（ｘ，ｙ）４６を含む座標を発生させ、同時にこの座標からラベル「１−ｘ−ｙ」及び「２−ｘ−ｙ」を発生させ、１０２４画素分又は最大画素数分の第１データセット３９及び第２データセット４０を大容量高速メモリ５４から読み込み、第１データセット３９を実行用データ記憶領域１２の左バンクへ、更に第２データセット４０を実行用データ記憶領域１２の右バンクへ、それぞれ左詰めで１０２４画素分又は最大画素数分のデータをＦＩＦＯ転送する手段と、（Ｗ９−３）ＳＩＭＤ型超並列演算処理装置１１において、転送された第１データセット３９及び第２データセット４０を用いて、まず畳込み演算を構成する積算を１０２４画素分並行して行い、次にこれら２５個の積の累積和を１０２４画素分並行して求め、次いで劣化画像１と復元画像初期値５との和算を１０２４画素分並行して行い、この結果である１０２４画素分の和から１０２４画素分の累積和を１回の演算で差し引きその結果を復元画像１４の１０２４画素分の画素として実行用データ記憶領域１２の右バンク復元画像画素値領域４５の列に記憶する様にＳＩＭＤ型超並列演算処理装置１１に命令し且つ演算終了を検知する手段と、（Ｗ９−４）図９に示されたスキャン方法に従い、画素座標（ｘ，ｙ）４６を開始画素としてこの画素を含む１０２４画素分又は最大画素数分の座標（ｘ１ｙ１）を発生し各々を大容量高速メモリ５４の変数ｘ１及び変数ｙ１に保存する一方でこれらｘ１及びｙ１から「Ｆ−ｘ１−ｙ１」というラベルを作成し、このラベルを変数名とする復元画像１４の画素値を保存するための変数Ｆ−ｘ１−ｙ１（）を１０２４画素分又は最大画素数分作成し、できた順に縦に並べて１０２４個又は最大画素数分の画素値を収納可能な変数群から成る列である復元画素一時保存領域４７を大容量高速メモリ５４内に作成し、その後実行用データ記憶領域１２の右バンクの復元画像画素値領域４５の列から１０２４個又は最大画素数分の復元画像１４の画素値を読み出し、復元画素一時保存領域４７にＦＩＦＯ転送する手段と、（Ｗ９−５）まず復元画像初期値記憶領域９０と同じサイズの記憶領域から成り且つ左上隅を原点とし復元画像１４の画素座標に対応する画素値記憶領域から成る復元画像記憶領域９２を大容量高速メモリ５４内に定義し、次に復元画素一時保存領域４７から1画素分の画素データを順に読込、ラベルを解析して画素座標（ｘ、ｙ）を発生させ、この画素座標（ｘ、ｙ）に対応する復元画像記憶領域９２に画素値を記憶させるといった事を１０２４個又は最大画素数分繰り返す手段と、（Ｗ９−６）復元画像初期値５の画像サイズを参照して、図９のスキャン法に従い復元画像初期値５の画素の座標（ｘ，ｙ）４６から１０２４画素目の画素が存在しないという仮説を検証し、もしも検証結果が偽であればデータ準備手段Ｗ９−1へ戻り、そうではなくもしも検証結果が真であれば終了する手段、から構成されている。画像復元手段Ｗ９で行われる演算の１例は図１２に示されている。画像復元手段Ｗ９は、１０２４画素又は最大画素数単位で演算を行って復元画像１４を復元画像記憶領域９２に記憶させ構成していく。また、図２２において、黒丸は結合を、太実線は実行順序の関係を、それぞれ示す。

入替え手段Ｗ１２の処理手順に関する１例は、復元画像記憶領域９２に記憶された復元画像１４を復元画像初期値記憶領域９０にＦＩＦＯ転送する事により復元画像１４を復元画像初期値５と入れ替えるというものである。

最尤復元画像化手段Ｗ１５は、更に細分化された手段から構成されており、最尤復元画像化手段Ｗ１５の構成に関する１例を図２３に示す。図２３の最尤復元画像化手段Ｗ１５は、（Ｗ１５−１）劣化画像ファイル２からＲＧＢ形式の劣化画像１を抽出し、更にＹＵＶ変換してＵ色差から成るＵ劣化画像１９及びＶ色差から成るＶ劣化画像２０を抽出する手段と、（Ｗ１５−２）輝度分布（Ｙ）から成る復元画像１４を大容量高速メモリ５４内の復元画像記憶領域９２から読み出しこの復元画像１４ガンマ補正する手段と、（Ｗ１５−３）ガンマ補正後の復元画像１４、Ｕ劣化画像１９及びＶ劣化画像２０からＹＵＢ形式の最尤復元画像１５を合成しこの最尤復元画像１５の画像サイズに適合したメモリ領域を大容量高速メモリ５４内の最尤復元画像記憶領域１１４に定義した後に記憶する手段と、（Ｗ１５−４）最尤復元画像記憶領域１１４からＹＵＢ形式の最尤復元画像１５を読み出しこれをＲＧＢ形式に変換した後に最尤復元画像記憶領域１１４に記憶すると共に出力する手段と、（Ｗ１５−５）ＲＧＢ画像記憶領域８４からＲＧＢ劣化画像１７を読み込み、これを画像ウインドウ２５の左半分と成る様にそしてＲＧＢ形式の最尤復元画像１５を最尤復元画像記憶領域１１４から読込これを画像ウインドウ２５の右半分と成る様に調整後、モニタ３をイニシャライズした後に表示する手段と、を備える。また、図２３において、太実線は実行順序の関係を示す。

図２４は、ファイル化手段Ｗ１６の構成に関する１例を図示したものである。図２４のファイル化手段Ｗ１６は、（Ｗ１６−１）超解像処理ウインドウ２４の画像ウインドウ２５内の最尤復元画像１５がクリックされ指定される事を常時監視する手段と、（Ｗ１６−２）最尤復元画像１５が指定されたという仮説を検証し、もしも検証結果が偽であれば手段Ｗ１６−１へ戻り、そうではなくもしも検証結果が真であれば手段Ｗ１６-３へ進む手段と、（Ｗ１６-３）最尤復元画像ファイル保存ボタン３０がクリックされる事を常時監視する手段と、（Ｗ１６-４）最尤復元画像ファイル保存ボタン３０がクリックされたという仮説を検証し、もしも検証結果が偽であれば手段Ｗ１６−３へ戻り、そうではなくもしも検証結果が真であれば手段Ｗ１６-５へ進む手段と、（Ｗ１６−５）Ｅｘｐｌｏｒｅｒを開く手段と、（Ｗ１６−６）記憶手段Ｓ１７においてユーザ２１が最尤復元画像１５ファイル１６を保存するとＥｘｐｌｏｒｅｒが閉じるが、このＥｘｐｌｏｒｅｒが閉じる事を常時監視する手段と、（Ｗ１６−７）ファイル保存が完了してＥｘｐｌｏｒｅｒが閉じたという仮説を検証し、もしも検証結果が偽であれば手段Ｗ１６−８へ進み、そうではなくもしも検証結果が真であれば終了する手段と、（Ｗ１６−８）情報ウインドウ２６に「ファイル保存に失敗しました。再度保存する場合には、最尤復元画像ファイル保存ボタン３０をクリックして下さい。キャンセルする場合には汎用コンピュータ８のキーボード４８のＥＳＣ（エスケープ）ボタン４９を押して下さい」というメッセージを表示する手段と、（Ｗ１６−９）キーボード４８のＥＳＣ（エスケープ）ボタン４９が押された事を常時監視する手段と、（Ｗ１６−１０）キーボード４８のＥＳＣ（エスケープ）ボタン４９が押されたという仮説を検証し、もしも検証結果が偽であれば手段Ｗ１６−１１へ進み、そうではなくもしも検証結果が真であれば終了する手段と、（Ｗ１６−１１）最尤復元画像ファイル保存ボタン３０がクリックされる事を常時監視する手段と、（Ｗ１６-１２）最尤復元画像ファイル保存ボタン３０がクリックされたという仮説を検証し、もしも検証結果が偽であれば手段Ｗ１６−９へ戻り、そうではなくもしも検証結果が真であれば手段Ｗ１６-５へ戻る手段と、を備え、超解像処理ウインドウ２４において、超解像処理が完了し画像ウインドウ２５に最尤復元画像１５が表示されると、ユーザ２１がこれを保存するために、画像ウインドウ２５の最尤復元画像１５をクリックする事により指定し、その後、最尤復元画像ファイル保存ボタン３０をクリックすると、本発明はＭｉｃｒｏｓｏｆｔ社ＯＳを使用しているため同ＯＳが提供する「Ｅｘｐｌｏｒｅｒ（登録商標）」と言う名称のファイルシステムウインドウが開き、記憶手段Ｓ１７において、ユーザ２１がファイルシステムウインドウ内の適切なディレクトリを指定し更にファイル名を入力し更に適切な画像ファイル形式を選択しその後保存をクリックする事により保存処理が完了する。また、図２４において、太実線は実行順序の関係を示す。

図２５は、本発明による第７の発明であるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法の処理手順に関する１例をフローチャートとして図示したものである。ＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法は、第１の発明によるＳＩＭＤ型超並列演算装置向け超解像処理方法を用いて、ＴＶ映像の光学的な劣化を取り除く方法である。

図２５のＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法は、（Ｓ２０）ＴＶ映像信号９３から１フレーム分の輝度分布から成る劣化画像１を抽出すると共にＴＶ映像信号９３から１フレーム分の信号を取り除いた残りのＴＶ映像信号９４を１フレーム分遅延して出力し、更に劣化画像１の色差Ｕ９５及び色差Ｖ９６を記憶し、その後、劣化画像１をモニタ３に表示する一方で劣化画像１をデガンマ処理する劣化フレーム取得工程と、（Ｓ２１）ＳＩＭＤ型超並列演算装置向け超解像処理方法を構成する工程Ｓ２〜Ｓ１４から成る画像復元演算工程用いてユーザ２１が最大反復演算回数７及び劣化示数２２から成る超解像処理条件を決定し、この超解像処理条件に従い劣化画像１から復元画像１４を求める工程と、（Ｓ２２）画像復元演算工程Ｓ２１の出力工程Ｓ１４から出力される復元画像１４をガンマ処理し、そして、この復元画像１４と、劣化フレーム取得工程で記憶された劣化画像の色差Ｕ９５及び色差Ｖ９６とからＲＧＢ形式の最尤復元画像１５を求める第２最尤復元画像化工程と、（Ｓ２３）ＲＧＢ形式の最尤復元画像１５及び遅延された残りのＴＶ映像信号９４から１フレーム分の復元ＴＶ映像信号９７を合成して出力する復元ＴＶ映像信号出力工程と、を備える事に特徴がある。また、図２５において、太実線は実行順序の関係を示す。

第２最尤復元画像化工程Ｓ２２の処理手順に関する１例は次に示す様なものである。第２最尤復元画像化工程Ｓ２２は、（Ｓ２２−１）輝度分布（Ｙ）から成る復元画像１４をガンマ補正する工程と、（Ｓ２２−２）ガンマ補正後の復元画像１４、色差Ｕ９５及び色差Ｖ９６からＹＵＢ形式の最尤復元画像１５を合成する工程と、（Ｓ２２−３）ＹＵＢ形式の最尤復元画像１５をＲＧＢ形式に変換する工程と、を備える。

図２６は、本発明による第８の発明であるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８の構成に関する１例を図示したものである。ＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８は第７の発明であるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法に従いＴＶ映像の光学的な劣化を取り除く装置である。

図２６のＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８は、（Ｗ２０）ＴＶ映像信号９３から１フレーム分の輝度分布から成る劣化画像１を抽出すると共にＴＶ映像信号９３から１フレーム分の信号を取り除いた残りのＴＶ映像信号９４を１フレーム分遅延して出力し、更に劣化画像１の色差Ｕ９５及び色差Ｖ９６を記憶し、その後、劣化画像１をモニタ３に表示する一方で劣化画像１をデガンマ処理する劣化フレーム取得手段と、（Ｗ２１）ＳＩＭＤ型超並列演算装置向け超解像処理装置５０を構成する手段Ｗ２〜Ｗ１４から成る画像復元演算手段を用いてユーザ２１が最大反復演算回数７及び劣化示数２２から成る超解像処理条件を決定し、この超解像処理条件に従い劣化画像１から復元画像１４を求める手段と、（Ｗ２２）画像復元演算手段Ｗ２１の出力手段Ｗ１４から出力される復元画像１４をガンマ処理し、そして、この復元画像１４と、劣化フレーム取得手段で記憶された劣化画像の色差Ｕ９５及び色差Ｖ９６とからＲＧＢ形式の最尤復元画像１５を求める第２最尤復元画像化手段と、（Ｗ２３）ＲＧＢ形式の最尤復元画像１５及び遅延された残りのＴＶ映像信号９４から１フレーム分の復元ＴＶ映像信号９７を合成して出力する復元ＴＶ映像信号出力手段と、を備える事に特徴がある。

第２最尤復元画像化手段Ｗ２２の構成に関する１例は次に示す様なものである。第２最尤復元画像化手段Ｗ２２は、（Ｗ２２−１）輝度分布（Ｙ）から成る復元画像１４をガンマ補正する手段と、（Ｗ２２−２）ガンマ補正後の復元画像１４、色差Ｕ９５及び色差Ｖ９６からＹＵＢ形式の最尤復元画像１５を合成する手段と、（Ｗ２２−３）ＹＵＢ形式の最尤復元画像１５をＲＧＢ形式に変換する手段と、を備える。

本発明による第９の発明は、第７の発明によるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法を汎用コンピュータ８に実行させるための第３プログラムであり、第１プログラム５１と同じ言語で記述されている。

本発明による第１０の発明は、第９の発明による第３プログラムを記憶し且つ汎用コンピュータ８に接続可能で且つ汎用コンピュータ８が読込んで実行可能な事に特徴が有る第３記憶媒体である。第３記憶媒体には、第１記憶媒体と同じものを使用している。

本発明による第１１の発明は、第８の発明によるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８として汎用コンピュータ８を機能させるための第４プログラムであり、第１プログラム５１と同じ言語で記述されている。

本発明による第１２の発明は、第１０の発明による第４プログラムを記憶し且つ汎用コンピュータ８に接続可能で且つ汎用コンピュータ８が読込んで実行可能な事に特徴が有る第４記憶媒体である。第４記憶媒体には、第１記憶媒体と同じものを使用している。

実施例１は、本発明によるＳＩＭＤ型超並列演算装置向け超解像処理装置５０である。ＳＩＭＤ型超並列演算装置向け超解像処理装置５０は、図１５に示す汎用コンピュータ８に第２プログラム８０によって仮想的に構成されるものである。ＳＩＭＤ型超並列演算装置向け超解像処理装置５０を汎用コンピュータ８に構成するためには、まず、汎用コンピュータ８に第２プログラム８０を第２記憶媒体からインストールし、次に第２プログラム８０を実行する。すると、第２プログラム８０内の画像復元装置プログラム８１が汎用コンピュータ８内にＳＩＭＤ型超並列演算装置向け超解像処理装置５０の全ての手段を仮想的に構成し、次に、第２プログラム８０内の超解像処理ウインドウ作成プログラム８２が起動して超解像処理ウインドウ２４をモニタ３に表示し、次に、超解像処理ウインドウ監視プログラム８３が起動し、超解像処理ウインドウ２４内のボタン及び画像ウインドウ２５内の挙動を常時監視して、挙動を検知するとこれに対する適切な処置を行う様になり、ユーザ２１は超解像処理に関する全て操作を、超解像処理ウインドウ２４を介して行える様に成り、ＳＩＭＤ型超並列演算装置向け超解像処理装置５０が立ち上がった状態に成る。実施例１では、１６Ｇバイトの暗号化／復号化可能なＵＳＢメモリを第２記憶媒体として用いているが、暗号化／復号化可能なＳＤＨＣメモリカードであっても構わない。ＵＳＢメモリやＳＤＨＣメモリカードには多くの種類のものが複数のメーカから量産販売されており、汎用コンピュータ８に接続して読込可能なものであれば、何でも使用可能である。

図２７は、本発明による実施例１のＳＩＭＤ型超並列演算装置向け超解像処理装置５０における超解像処理手順の１例をトランザクションテーブルとして図示したものである。図２５のトランザクションテーブルには、ユーザ２１の操作に関する時間軸（実線）及びＳＩＭＤ型超並列演算装置向け超解像処理装置５０の応答及び処理に関する時間軸（点線）並びに両時間軸間を一方向に行き来する矢印から構成されている。

図２７において、ユーザ２１は、超解像処理を行うために以下の操作を行い（実線矢印）、ＳＩＭＤ型超並列演算装置向け超解像処理装置５０の応答及び処理（点線矢印）がユーザ２１へ返る。（１）ユーザ２１がモニタ３内のＳＩＭＤ型超並列演算装置向け超解像処理装置５０のアイコンをタッチして汎用コンピュータ８のＳＩＭＤ型超並列演算装置向け超解像処理装置５０を起動し、（Ａ）ＳＩＭＤ型超並列演算装置向け超解像処理装置５０が図５の超解像処理ウインドウ２４をモニタ３に表示させ、（２）ユーザ２１が超解像処理ウインドウ２４の劣化画像ファイル指定ボタン２９をタッチし、（Ｂ）ＳＩＭＤ型超並列演算装置向け超解像処理装置５０がＥｘｐｌｏｒｅｒを開き、（３）ユーザ２１が対象と考える劣化画像ファイル２をタッチして選び、（Ｃ）ＳＩＭＤ型超並列演算装置向け超解像処理装置５０が選択された劣化画像ファイル２の色を反転して表示し、（４）ユーザ２１がＥｘｐｌｏｒｅｒの開くボタンをタッチし、（Ｄ）ＳＩＭＤ型超並列演算装置向け超解像処理装置５０が劣化画像ファイル２を読み込み、更に最表面に表示されていたＥｘｐｌｏｒｅｒを閉じ、代わりに劣化画像１を画像ウインドウ２５にフィットした状態で表示させ、（５）ユーザ２１が画像ウインドウ２５内の劣化画像１を確認しながら、劣化示数設定ボタン２７をタッチし、（Ｅ）ＳＩＭＤ型超並列演算装置向け超解像処理装置５０が劣化示数設定ボタン２７のプルダウンメニューを展開して表示し、（６）ユーザ２１が劣化画像１の劣化度合いに相応しい劣化示数２２（デフォルト値は２５５段階中６０）を選択し、（Ｆ）ＳＩＭＤ型超並列演算装置向け超解像処理装置５０が劣化示数２２を読込、更に劣化示数設定ボタン２７のプルダウンメニューを閉じ、（７）ユーザ２１が最大反復演算回数設定ボタン２８をタッチし、（Ｇ）ＳＩＭＤ型超並列演算装置向け超解像処理装置５０がコンボボックスを開き、（８）ユーザ２１が最大反復演算回数７（デフォルト値は５）を設定し、（Ｈ）ＳＩＭＤ型超並列演算装置向け超解像処理装置５０が設定された最大反復演算回数７を記録し更にコンボボックスを閉じ、（９）ユーザ２１が超解像処理開始ボタン３１をタッチし、（Ｉ）ＳＩＭＤ型超並列演算装置向け超解像処理装置５０が超解像処理を開始し、復元画像１４を劣化画像１に並んだ状態で画像ウインドウ２５に表示し、終了する。

図２７の超解像処理手順は、超解像処理が終了するまでであったが、その後、超解像処理品質に従った処理を行う。図２８は、超解像処理後の処理手順の１例をフローチャートとして図示したものである。（ステップ１）ユーザ２１は画像ウインドウ２５に表示されている復元画像１４を確認し、超解像処理品質が気に入らず始めから超解像処理を行いたい場合にはステップ２へ進み、復元画像１４の追加超解像が行いたければステップ４へ進み、超解像処理の品質が良好であり保存する場合にはステップ５へ進み、（ステップ２）ユーザ２１は超解像処理品質が気に入らないため画像ウインドウ２５内の復元画像１４をタッチする、するとＳＩＭＤ型超並列演算装置向け超解像処理装置５０が画像ウインドウ２５内の復元画像１４の周辺を強調表現し、（ステップ３）ユーザ２１がキーボード４８のＤｅｌｅｔｅボタンを押す、するとＳＩＭＤ型超並列演算装置向け超解像処理装置５０が復元画像１４を消去するので、その後にユーザ２１が超解像処理ウインドウ２４内の劣化示数設定ボタン２７をタッチして図２７の（５）へ戻り、（ステップ４）ユーザ２１はノイズが多いと思い追加反復演算をおこなうために、ユーザ２１が復元画像１４をタッチする、するとＳＩＭＤ型超並列演算装置向け超解像処理装置５０が画像ウインドウ２５内の復元画像１４の周辺を強調表現し、ユーザ２１が超解像処理ウインドウ２４内の劣化示数設定ボタン２７をタッチしてその後図２７の（５）へ戻り、（ステップ５）ユーザ２１が画像ウインドウ２５内の復元画像１４をタッチして選択する、するとＳＩＭＤ型超並列演算装置向け超解像処理装置５０が画像ウインドウ２５内の復元画像１４の周辺を強調表現し、（ステップ６）ユーザ２１が劣化画像ファイル指定ボタン２９をタッチする、するとＳＩＭＤ型超並列演算装置向け超解像処理装置５０がＥｘｐｌｏｒｅｒを開き、（ステップ７）ユーザ２１が適切なディレクトリを選択するか又は作成して、次にフィル名を入力し、更にｂｍｐ、ｔｔｆ、ｄｉｂ、ｊｐｇなどの画像ファイル形式を選択してＥｘｐｌｏｒｅｒの保存をタッチする、するとＳＩＭＤ型超並列演算装置向け超解像処理装置５０が、復元画像１４を最尤復元画像ファイル１６として適切なディレクトリに保存し、更に最表面に表示されていたＥｘｐｌｏｒｅｒを閉じ、更に画像ウインドウ２５に復元画像１４及び劣化画像１が並んだ状態で表示された状態の超解像処理ウインドウ２４を表示し、（ステップ８）続けて超解像処理を行う場合にはユーザ２１が超解像処理ウインドウ２４の劣化画像ファイル指定ボタン２９をタッチして図２７の（２）へ戻り、そうではなく超解像処理を止めて、超解像処理ウインドウ２４を閉じ且つＳＩＭＤ型超並列演算装置向け超解像処理装置５０を停止させる場合にはステップ９へ進み、（ステップ９）閉じるボタン３８をタッチする、するとＳＩＭＤ型超並列演算装置向け超解像処理装置５０が、全ての開いているファイルを安全に閉じ更にメモリ領域を解放し終了する。

ＳＩＭＤ型超並列演算装置向け超解像処理装置５０では、画像の拡大／縮小は超解像処理に影響をあたえず、単に、画像ウインドウ２５内の画像のサイズを拡大／縮小するだけであるので、ユーザ２１は、この倍率のままで、超解像処理へ進む事にした。

ユーザ２１は、画像ウインドウ２５内の劣化画像１を確認しながら、劣化示数設定ボタン２７をタッチして劣化画像１の劣化度合いに相応しい劣化示数２２として２５５段階の内３０（デフォルト値は６０）を選択し、次に、最大反復演算回数設定ボタン２８をタッチして最大反復演算回数７として２（デフォルト値は５）を設定する。次に、ユーザ２１は、超解像処理開始ボタン３１をタッチして超解像処理を開始する。すると、即座に、復元画像１４が画像ウインドウ２５に劣化画像１に並んだ状態で表示される。ユーザ２１は、これを確認し、良好に超解像できたと考え、画像ウインドウ２５内の復元画像１４をタッチして選択し、次に、劣化画像ファイル指定ボタン２９をタッチしてＥｘｐｌｏｒｅｒを開き、適切なディレクトリを選択するか又は作成して、次にファイル名を入力し、更にｂｍｐ、ｔｔｆ、ｄｉｂ、ｊｐｇなどの画像ファイル形式を選択してＥｘｐｌｏｒｅｒの保存をタッチする事により、復元画像１４は最尤復元画像ファイル１６として適切なディレクトリに保存され、最表面に表示されていたＥｘｐｌｏｒｅｒが閉じ、画像ウインドウ２５に復元画像１４及び劣化画像１が並んだ状態で表示された状態の超解像処理ウインドウ２４が表示される。

図２９は、本発明の実施例１のＳＩＭＤ型超並列演算装置向け超解像処理装置５０による超解像処理効果確認例の１つを図示したものである。図２９によれば、内視鏡によって撮影された画像（左図）は、ＳＩＭＤ型超並列演算装置向け超解像処理装置５０により劣化示数２２が４０で且つ最大反復演算回数７が２回の反復演算によって超解像処理を受け、右図に示す様な復元画像と成った。右図の復元画像では、左図では不明確であった組織の詳細な部分や血管などが鮮明に復元されている事が分かり、十分な画像復元効果及び超解像処理効果が得られている。

実施例２は、本発明によるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８を応用したＴＶ映像超解像処理装置９９である。図３０は、ＴＶ映像超解像処理装置９９の構成に関する１例を図示したものである。図３０のＴＶ映像超解像処理装置９９は、ＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８に、ＨＤＭＩ（登録商標）端子１０１からデジタルＴＶ映像信号を受け取り、このデジタルＴＶ映像信号がインターレース方式かプログレッシブ方式かを自動的に判断して常にプログレッシブ方式のデジタルＴＶ映像信号９３を出力するＴＶ映像方式変換回路１００と、デジタルＴＶ映像信号入力用のＨＤＭＩ（登録商標）端子１０１と、劣化画像１及び最尤復元画像１５の表示モードを指定する超解像処理ウインドウ２４上の出力画像モード選択ボタン１０３と、ＴＶ映像信号９３及び復元ＴＶ映像信号９７から出力画像選択ボタン１０３で選択した表示モードに従い劣化画像１及び最尤復元画像１５の表示構成を整えた復元ＴＶ映像信号９７を出力する出力再構成回路１０４と、復元ＴＶ映像信号９７の出力用ＨＤＭＩ（登録商標）端子１０２と、ＨＤＭＩ（登録商標）端子１０２への出力を分けた外部モニタ用出力端子のＨＤＭＩ（登録商標）端子１０５と、を追加したものと成っており、フレーム単位で超解像処理を行い、復元ＴＶ映像信号９７をＨＤＭＩ（登録商標）端子１０２に出力する。

図３０には、ＴＶ映像入力源として、内視鏡１０６、地上デジタルＴＶ１０７、監視カメラ１０８、Ｗｅｂカム１０９、顕微鏡１１０、ブルーレイディスクレコーダー１１１がセレクター１１２及びＨＤＭI（登録商標）ケーブル及びＨＤＭＩ（登録商標）端子１０１を介してＴＶ映像方式変換回路１００に接続されており、モニタとして外部モニタ１１３がＨＤＭI（登録商標）端子１０５に接続され、地上デジタルＴＶ１０７がＨＤＭI（登録商標）端子１０２に接続されている。また、また、劣化画像１及び最尤復元画像１５はモニタ３でも常時モニタできる。

出力画像モード選択ボタン１０３は、ＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８で新たに超解像処理ウインドウ２４に追加されたものであり、クリックする度に、「モード１：劣化画像１と最尤復元画像１５が並んだ状態での表示」→「モード２：劣化画像１のみ表示」→「モード３：最尤復元画像１５のみ表示」→モード１へ戻るといった挙動を示す。また、出力画像モード選択ボタン１０３は他のボタン同様、いつでも変更可能であり、超解像処理中であっても変更可能である。

ＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８は、第４記憶媒体を汎用コンピュータ８に接続して第４プログラムを読み込ませてインストールする。すると、モニタ３上にＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８の起動用アイコンが表示される。ユーザ２１は、このＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８の起動用アイコンをクリックするだけで、いつでも第４プログラムが起動しＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８が仮想的に構成され起動できる様に成る。ユーザ２１が、ＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８の起動用アイコンをクリックすると、まず、第４プログラム内のＴＶ映像超解像処理装置プログラムが起動して、汎用コンピュータ８内にＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８の全ての手段を仮想的に構成し、次に、第４プログラム内の超解像処理ウインドウ作成プログラムが起動して、超解像処理ウインドウ２４をモニタ３に表示し、次に、超解像処理ウインドウ監視プログラムが起動し、超解像処理ウインドウ２４内のボタン及び画像ウインドウ２５内の挙動を常時監視して、挙動を検知するとこれに対する適切な処置を行う様になり、ユーザ２１は超解像処理に関する全て操作を、超解像処理ウインドウ２４を介して行える様に成り、ＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８が立ち上がった状態に成る。ＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８の立ち上げ手順は、図２７に示すものと変わらず、また、超解像処理後の操作手順も図２８と変わらない。画像ウインドウ２５には、連続した劣化画像１から成る劣化映像と連続した復元画像１４から成る復元映像が並んで表示される。このため、画像ウインドウ２５では、復元演算中の状況が確認できる。

ＴＶ映像方式変換回路１００及び出力再構成回路１０４はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）及び必要な高周波用ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を用いて構成されたハードウエアであり、電源を供給するだけでいつでも動作し、立ち上がったＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置９８と連携して処理を実行してＴＶ映像超解像処理装置９９を構成する。この様な構成とする事により、略実時間で超解像処理が可能と成る。

セレクター１１２は、複数の入力用ＨＤＭＩ（登録商標）端子及び１つ以上の出力用ＨＤＭＩ（登録商標）端子を備え、専用コマンダーによるマニュアル切替でまたは汎用コンピュータ８からの命令による自動切替で、入力を内視鏡１０６や地上デジタルＴＶ１０７などの任意の１つのＴＶ映像入力源にノイズレスで切り替える事が可能な装置である。この様な装置は、複数のメーカから多様な製品が販売されており、いずれのものも使用可能である。

実施例２のＴＶ映像超解像処理装置９９による超解像処理能力は、ＴＶ映像信号９３の１フレーム及びこれに対応する復元ＴＶ映像信号９７を取り出して比較する事で評価可能であり、その例は、図２９に示すものと変わらないものであった。

本発明は、ＴＶ映像を利用するものであれば、如何なる用途にも適用可能であるため、ビデオカメラやデジタルカメラの開発・製造を行う精密機器業及び電子機器業、アプリケーションやゲームなどのソフトウエア開発業、内視鏡やＭＲＩなど医療機器業、モニタなどの情報機器業、監視カメラなどの防災・防犯機器業、アーカイブ業などで利用可能である。

１・・・劣化画像、２・・・劣化画像ファイル、３・・・モニタ、４・・・ＰＳＦ、５・・・復元画像初期値、６・・・補正復元画像初期値、７・・・最大反復演算回数、８・・・汎用コンピュータ、９・・・Ｉカウンター、１０・・・ＰＳＦサイズ、１１・・・ＳＩＭＤ型超並列演算処理装置、１２・・・実行用データ記憶領域、１３・・・演算用データ、１４・・・復元画像、１５・・・最尤復元画像、１６・・・最尤復元画像ファイル、１７・・・ＲＧＢ劣化画像、１８・・・Ｙ劣化画像、１９・・・Ｕ劣化画像、２０・・・Ｖ劣化画像、２１・・・ユーザ、２２・・・劣化示数、２３・・・ＰＳＦデータベース、２４・・・超解像処理ウインドウ、２５・・・画像ウインドウ、２６・・・情報ウインドウ、２７・・・劣化示数設定ボタン、２８・・・最大反復演算回数設定ボタン、２９・・・劣化画像ファイル指定ボタン、３０・・・最尤復元画像ファイル保存ボタン、３１・・・超解像処理開始ボタン、３２・・・超解像処理中断ボタン、３３・・・超解像処理再開ボタン、３４・・・超解像処理停止ボタン、３５・・・ヘルプボタン、３６・・・画像拡大／縮小ボタン、３７・・・画像表示モード指定ボタン、３８・・・閉じるボタン、３９・・・第１データセット、４０・・・第２データセット、４１・・・第１累積和演算用領域、４２・・・第２累積和演算用領域、４３・・・累積和演算用領域、４４・・・加算用データセット、４５・・・復元画像画素値領域、４６・・・復元画像初期値５の画素の座標（ｘ，ｙ）、４７・・・復元画素一時保存領域、４８・・・キーボード、４９・・・ＥＳＣ（エスケープ）ボタン、５０・・・ＳＩＭＤ型超並列演算処理装置向け画像復元装置、５１・・・第１プログラム、５２・・・記憶領域、５３・・・ＨＤＤ、５４・・・大容量高速メモリ、５５・・・ＣＰＵ、５６・・・周辺回路、５７・・・通信Ｉ／Ｏ回路、５８・・・ビデオアクセラレータ回路、５９・・・双方向性バス、６０・・・コンボディスクモジュール、６１・・・メモリスロット、６２・・・電源回路、６３・・・冷却装置、６４・・・ＬＡＮ端子、６５・・・ＵＳＢ端子、６６・・・ＵＳＢ端子、６７・・・ＵＳＢ端子、６８・・・マウス、６９・・・Ｗｉｎｄｏｗｓ（登録商標）８ Ｏ／Ｓ、７０・・・Ｖｉｓｕａｌ Ｓｔｕｄｉｏ ２０１０（登録商標）、７１・・・Ｏｆｆｉｃｅ ２０１３（登録商標）、７２・・・無線モジュール、７３・・・スピーカ、７４・・・マイク、７５・・・電源スイッチ、７６・・・電源ケーブル、７７・・・ＵＳＢ端子ケーブル、７８・・・ＭＤＭＩケーブル、７９・・・開発環境Ｈｉｇｈ−ｐｅｒｆｏｒｍａｎｃｅ Ｅｍｂｅｄｄｅｄ Ｗｏｒｋｓｈｏｐソフトウエア、８０・・・第２プログラム、８１・・・画像復元装置プログラム、８２・・・超解像処理ウインドウ作成プログラム、８３・・・超解像処理ウインドウ監視プログラム、８４・・・ＲＧＢ画像記憶領域、８５・・・Ｙ劣化画像記憶領域、８６・・・Ｕ劣化画像記憶領域、８７・・・Ｖ劣化画像記憶領域、８８・・・劣化画像記憶領域、８９・・・ＰＳＦ記憶領域、９０・・・復元画像初期値記憶領域、９１・・・補正復元画像初期値記憶領域、９２・・・復元画像記憶領域、９３・・・ＴＶ映像信号、９４・・・残りのＴＶ映像信号、９５・・・色差Ｕ、９６・・・色差Ｖ、９７・・・復元ＴＶ映像信号、９８・・・ＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置、９９・・・ＴＶ映像超解像処理装置、１００・・・ＴＶ映像方式変換回路、１０１・・・ＨＤＭＩ（登録商標）端子、１０２・・・ＨＤＭＩ（登録商標）端子、１０３・・・出力画像モード選択ボタン、１０４・・・出力再構成回路、１０５・・・ＨＤＭＩ（登録商標）端子、１０６・・・内視鏡、１０７・・・地上デジタルＴＶ、１０８・・・監視カメラ、１０９・・・Ｗｅｂカム、１１０・・・顕微鏡、１１１・・・ブルーレイディスクレコーダー、１１２・・・セレクター、１１３・・・外部モニタ、１１４・・・最尤復元画像記憶領域、（１）〜（９）・・・ユーザ２１による操作、（Ａ）〜（Ｉ）・・・ＳＩＭＤ型超並列演算装置向け超解像処理装置５０による応答及び処理、１−ｘ−ｙ・・・ラベル、２−ｘ−ｙ・・・ラベル、Ｆ−ｘ１−ｙ１・・・ラベル、Ｃｌ・・・縦サイズ補正値、Ｃｗ・・・横サイズ補正値、Ｅｘｐｌｏｒｅｒ・・・エクスプローラ、Ｆ（ｘ，ｙ）・・・復元画像初期値画素、ＦＣ（ｉ，ｊ）・・・補正復元画像初期値画素、Ｇ（ｘ，ｙ）・・・劣化画像画素、Ｈ（ｉ，ｊ）・・・ＰＳＦ画素、ＨＬ・・・ＰＳＦ縦サイズ、ＨＷ・・・ＰＳＦ横サイズ、Ｉ・・・変数、Ｉ＿ｍａｘ・・・変数、ｘ・・・変数、ｘ１・・・変数、ｙ・・・変数、ｙ１・・・変数、ステップ１〜９・・・ステップ、Ｓ１・・・劣化画像準備工程、Ｓ１−１・・・ＲＧＢ劣化画像抽出工程、Ｓ１−２・・・ＹＵＶ変換工程、Ｓ１−３・・・デガンマ工程、Ｓ１−４・・・劣化画像表示工程、Ｓ２・・・ＰＳＦ準備工程、Ｓ２−１・・・劣化示数設定工程、Ｓ２−２・・・ＰＳＦ抽出工程、Ｓ３・・・復元画像初期値準備工程、Ｓ４・・・最大反復演算回数設定工程、Ｓ５・・・Ｉリセット工程、Ｓ６・・・ＰＳＦサイズ取得工程、Ｓ７・・・復元画像初期値補正工程、Ｓ７−１・・・Ｈサイズ計算工程、Ｓ７−２・・・補正値演算工程、Ｓ７−３・・・第１Ｆ補正工程、Ｓ７−４・・・第２Ｆ補正工程、Ｓ７−５・・・第３Ｆ補正工程、Ｓ７−６・・・第４Ｆ補正工程、Ｓ８・・・データ準備工程、Ｓ８−１〜９・・・工程、Ｓ９・・・画像復元工程、Ｓ９−１〜５・・・工程、Ｓ１０・・・Ｉ加算工程、Ｓ１１・・・Ｉ判定工程、Ｓ１２・・・入替え工程、Ｓ１３・・・ジャンプ工程、Ｓ１４・・・出力工程、Ｓ１５・・・最尤復元画像化工程、Ｓ１５−１〜４・・・工程、Ｓ１６・・・ファイル化工程、Ｓ１６−１〜１２・・・工程、Ｓ１７・・・記憶工程、Ｓ２０〜２３・・・工程、Ｗ１・・・劣化画像準備手段、Ｗ１−１・・・ＲＧＢ劣化画像抽出手段、Ｗ１−２・・・ＹＵＶ変換手段、Ｗ１−３・・・デガンマ手段、Ｗ１−４・・・劣化画像表示手段、Ｗ２・・・ＰＳＦ準備手段、Ｗ２−１・・・劣化示数設定手段、Ｗ２−２・・・ＰＳＦ抽出手段、Ｗ３・・・復元画像初期値準備手段、Ｗ４・・・最大反復演算回数設定手段、Ｗ５・・・Ｉリセット手段、Ｗ６・・・復元画像初期値補正手段、Ｗ６−１・・・Ｈサイズ計算手段、Ｗ６−２・・・補正値演算手段、Ｗ７・・・復元画像初期値補正手段、Ｗ７−１・・・第１Ｆ補正手段、Ｗ７−２・・・第２Ｆ補正手段、Ｗ７−３・・・第３Ｆ補正手段、Ｗ７−４・・・第４Ｆ補正手段、Ｗ８・・・データ準備手段、Ｗ８−１〜９・・・手段、Ｗ９・・・画像復元手段、Ｗ１０・・・Ｉ加算手段、Ｗ１１・・・画像復元手段、Ｗ１２・・・入替え手段、Ｗ１３・・・ジャンプ手段、Ｗ１４・・・出力手段、Ｗ１５・・・最尤復元画像化手段、Ｗ１５−１〜４・・・手段、Ｗ１６・・・ファイル化手段、Ｗ１６−１〜１２・・・手段、Ｗ１７・・・記憶手段、Ｗ２０・・・劣化フレーム取得手段、Ｗ２１〜２３・・・手段

Claims (12)

1. 実行可能で且つ読込んで解読可能な言語で記述された第１プログラムに従い汎用コンピュータがＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）型超並列演算処理装置に演算を分担させる事により、劣化画像に含まれる光学的劣化を略実時間内で低減して劣化前の画像に近い画像を復元するＳＩＭＤ型超並列演算装置向け超解像処理方法であって、
   （Ｓ１）輝度分布から成る劣化画像を指定された劣化画像ファイルから準備し更に前記劣化画像をモニタに表示する劣化画像準備工程と、
   （Ｓ２）前記モニタを見ながら前記劣化画像の劣化状況に適したＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を特定するＰＳＦ準備工程と、
   （Ｓ３）前記劣化画像を複写しこれを復元画像初期値と成す復元画像初期値準備工程と、
   （Ｓ４）最大反復演算回数を前記汎用コンピュータから設定する最大反復演算回数設定工程と、
   （Ｓ５）反復演算回数を計数するＩカウンターに０を設定しリセットするＩリセット工程と、
   （Ｓ６）前記ＰＳＦのサイズを取得してＰＳＦサイズを求めるＰＳＦサイズ取得工程と、
   （Ｓ７）まず前記復元画像初期値を複写して補正復元画像初期値と成し、次に前記ＰＳＦを前記補正復元画像初期値に畳込み演算を行う際に除外領域と成る領域を、前記ＰＳＦサイズから計算により求めその領域を前記補正復元画像初期値の外側にミラー対称に成る様に転写する事により前記補正復元画像初期値を補正する復元画像初期値補正工程と、
   （Ｓ８）反復演算１回用のデータ群を前記ＳＩＭＤ型超並列演算処理装置内の実行用データ記憶領域に最大効率でデータを配置できる様に演算用データを作成して準備するデータ準備工程と、
   （Ｓ９）前記演算用データを前記ＳＩＭＤ型超並列演算処理装置内の実行用データ記憶領域に転送して演算し、復元画像を求める画像復元工程と、
   （Ｓ１０）前記Ｉカウンターに１を加算するＩ加算工程と、
   （Ｓ１１）前記Ｉカウンターの値が前記最大反復演算回数以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｓ１２）へ進むが、前記検証結果が真であれば（Ｓ１４）へ進むＩ判定工程と、
   （Ｓ１２）前記復元画像を前記復元画像初期値と入れ替える入替え工程と、
   （Ｓ１３）工程（Ｓ７）へ戻るジャンプ工程と、
   （Ｓ１４）前記復元画像を出力する出力工程と、
   （Ｓ１５）前記劣化画像ファイル及び前記復元画像からＲＧＢ形式の最尤復元画像を求める最尤復元画像化工程と、
   （Ｓ１６）前記最尤復元画像を最尤復元画像ファイルと成すファイル化工程と、
   （Ｓ１７）前記最尤復元画像ファイルを指定された記憶領域へ記憶する記憶工程と、
   を備える事に特徴があるＳＩＭＤ型超並列演算装置向け超解像処理方法。
2. 請求項１に記載されたＳＩＭＤ型超並列演算装置向け超解像処理方法に従い、
   実行可能で且つ読込んで解読可能な言語で記述された第２プログラムに従い汎用コンピュータがＳＩＭＤ型超並列演算処理装置に演算を分担させる様に全手段を構成し且つこれ等の全手段を実行する事により、劣化画像に含まれる光学的劣化を略実時間内で低減して劣化前の画像に近い画像を復元するＳＩＭＤ型超並列演算装置向け超解像処理装置であって、
   （Ｗ１）輝度分布から成る劣化画像を指定された劣化画像ファイルから準備し更に前記劣化画像をモニタに表示する劣化画像準備手段と、
   （Ｗ２）前記モニタを見ながら前記劣化画像の劣化状況に適したＰＳＦを特定するＰＳＦ準備手段と、
   
   
   （Ｗ３）前記劣化画像を複写しこれを復元画像初期値と成す復元画像初期値準備手段と、
   （Ｗ４）最大反復演算回数を前記汎用コンピュータから設定する最大反復演算回数設定手段と、
   （Ｗ５）反復演算回数を計数するＩカウンターに０を設定しリセットするＩリセット手段と、
   （Ｗ６）前記ＰＳＦのサイズを取得してＰＳＦサイズを求めるＰＳＦサイズ取得手段と、
   （Ｗ７）まず前記復元画像初期値を複写して補正復元画像初期値と成し、次に前記ＰＳＦを前記補正復元画像初期値に畳込み演算を行う際に除外領域と成る領域を、前記ＰＳＦサイズから計算により求めその領域を前記補正復元画像初期値の外側にミラー対称に成る様に転写する事により前記補正復元画像初期値を補正する復元画像初期値補正手段と、
   （Ｗ８）反復演算１回用のデータ群を前記ＳＩＭＤ型超並列演算処理装置内の実行用データ記憶領域に最大効率でデータを配置できる様に演算用データを作成して準備するデータ準備手段と、
   （Ｗ９）前記演算用データを前記ＳＩＭＤ型超並列演算処理装置内の実行用データ記憶領域に転送して演算し、復元画像を求める画像復元手段と、
   （Ｗ１０）前記Ｉカウンターに１を加算するＩ加算手段と、
   （Ｗ１１）前記Ｉカウンターの値が前記最大反復演算回数以上であるという仮説を検証し、もしも、検証結果が偽であれば（Ｗ１２）へ進むが、前記検証結果が真であれば（Ｗ１４）へ進むＩ判定手段と、
   （Ｗ１２）前記復元画像を前記復元画像初期値と入れ替える入替え手段と、
   （Ｗ１３）手段（Ｗ７）へ戻るジャンプ手段と、
   （Ｗ１４）前記復元画像を出力する出力手段と、
   （Ｗ１５）前記劣化画像ファイル及び前記復元画像からＲＧＢ形式の最尤復元画像を求める最尤復元画像化手段と、
   （Ｗ１６）前記最尤復元画像を最尤復元画像ファイルと成すファイル化手段と、
   （Ｗ１７）前記最尤復元画像ファイルを指定された記憶領域へ記憶する記憶手段と、
   を備える事に特徴があるＳＩＭＤ型超並列演算装置向け超解像処理装置。
3. 請求項１に記載されたＳＩＭＤ型超並列演算装置向け超解像処理方法を前記汎用コンピュータに実行させるための第１プログラム。
4. 請求項３に記載された第１プログラムを記憶し且つ前記汎用コンピュータに接続可能で且つ前記汎用コンピュータが読み込んで実行可能な事に特徴が有る第１記憶媒体。
5. 請求項２に記載されたＳＩＭＤ型超並列演算装置向け超解像処理装置として前記汎用コンピュータを機能させるための第２プログラム。
6. 請求項５に記載された第２プログラムを記憶し且つ前記汎用コンピュータに接続可能で且つ前記汎用コンピュータが読込んで実行可能な事に特徴が有る第２記憶媒体。
7. 請求項１に記載されたＳＩＭＤ型超並列演算装置向け超解像処理方法を用いて、ＴＶ映像の光学的劣化を略実時間内で低減して劣化前のＴＶ映像に近いＴＶ映像を復元するＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法であって、
   （Ｓ２０）ＴＶ映像信号から１フレーム分の輝度分布から成る劣化画像を抽出すると共に前記ＴＶ映像信号から１フレーム分の信号を取り除いた残りのＴＶ映像信号を１フレーム分遅延して出力し、更に前記劣化画像の色差Ｕ及びＶを記憶し、その後、前記劣化画像をモニタに表示する一方で前記劣化画像をデガンマ処理する劣化フレーム取得工程と、
   （Ｓ２１）前記ＳＩＭＤ型超並列演算装置向け超解像処理方法を構成する前記工程Ｓ２〜Ｓ１４から成る画像復元演算工程を用いてユーザが最大反復演算回数及び劣化示数から成る超解像処理条件を決定しこの超解像処理条件に従い前記劣化画像から復元画像１４を求める工程と、
   （Ｓ２２）前記画像復元演算工程の前記出力工程から出力される前記復元画像をガンマ処理し、そして、当該復元画像と、前記劣化フレーム取得工程で記憶された前記劣化画像の前記色差Ｕ及びＶとからＲＧＢ形式の最尤復元画像を求める第２最尤復元画像化工程と、
   （Ｓ２３）前記ＲＧＢ形式の最尤復元画像及び遅延された前記残りのＴＶ映像信号から１フレーム分の復元ＴＶ映像信号を合成して出力する復元ＴＶ映像信号出力工程と、
   を備える事に特徴があるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法。
8. 請求項７に記載されたＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法に従ってＴＶ映像の光学的劣化を略実時間内で低減して劣化前のＴＶ映像に近いＴＶ映像を復元するＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置であって、
   （Ｗ２０）ＴＶ映像信号から１フレーム分の輝度分布から成る劣化画像を抽出すると共に前記ＴＶ映像信号から１フレーム分の信号を取り除いた残りのＴＶ映像信号を１フレーム分遅延して出力し、更に前記劣化画像の色差Ｕ及びＶを記憶し、その後、前記劣化画像をモニタに表示する一方で前記劣化画像をデガンマ処理する劣化フレーム取得手段と、
   （Ｗ２１）前記ＳＩＭＤ型超並列演算装置向け超解像処理装置を構成する手段Ｗ２〜Ｗ１４から成る画像復元演算手段を用いて前記ユーザが前記最大反復演算回数及び前記劣化示数から成る前記超解像処理条件を決定しこの超解像処理条件に従い前記劣化画像から復元画像を求める手段と、
   （Ｗ２２）前記画像復元演算手段の前記出力手段から出力される前記復元画像をガンマ処理し、そして、当該復元画像と、前記劣化フレーム取得手段で記憶された前記劣化画像の前記色差Ｕ及びＶとからＲＧＢ形式の最尤復元画像を求める第２最尤復元画像化手段と、
   （Ｗ２３）前記ＲＧＢ形式の最尤復元画像及び遅延された前記残りのＴＶ映像信号から１フレーム分の復元ＴＶ映像信号を合成して出力する復元ＴＶ映像信号出力手段と、
   を備える事に特徴があるＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置。
9. 請求項７に記載されたＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理方法を前記汎用コンピュータに実行させるための第３プログラム。
10. 請求項９に記載された第３プログラムを記憶し且つ前記汎用コンピュータに接続可能で且つ前記汎用コンピュータが読込んで実行可能な事に特徴が有る第３記憶媒体。
11. 請求項８に記載されたＳＩＭＤ型超並列演算装置向けＴＶ映像超解像処理装置として前記汎用コンピュータを機能させるための第４プログラム。
12. 請求項１１に記載された第４プログラムを記憶し且つ前記汎用コンピュータに接続可能で且つ前記汎用コンピュータが読込んで実行可能な事に特徴が有る第４記憶媒体。