JP2015114812A - Ｔｖ映像向け超解像処理方法および同方法によるｔｖ映像向け超解像処理装置、第１〜第１４超解像処理プログラム、並びに第１〜第４記憶媒体 - Google Patents

Ｔｖ映像向け超解像処理方法および同方法によるｔｖ映像向け超解像処理装置、第１〜第１４超解像処理プログラム、並びに第１〜第４記憶媒体 Download PDF

Info

Publication number
JP2015114812A
JP2015114812A JP2013255919A JP2013255919A JP2015114812A JP 2015114812 A JP2015114812 A JP 2015114812A JP 2013255919 A JP2013255919 A JP 2013255919A JP 2013255919 A JP2013255919 A JP 2013255919A JP 2015114812 A JP2015114812 A JP 2015114812A
Authority
JP
Japan
Prior art keywords
luminance distribution
image
function
psf
initial value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013255919A
Other languages
English (en)
Other versions
JP6155182B2 (ja
Inventor
満男 江口
Mitsuo Eguchi
満男 江口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lightron International Co Ltd
Original Assignee
Lightron International Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=53371023&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2015114812(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Lightron International Co Ltd filed Critical Lightron International Co Ltd
Priority to JP2013255919A priority Critical patent/JP6155182B2/ja
Priority to PCT/JP2014/081457 priority patent/WO2015087711A1/ja
Priority to CN201480067471.2A priority patent/CN105814874B/zh
Priority to US15/102,707 priority patent/US9762849B2/en
Priority to KR1020167015372A priority patent/KR101807230B1/ko
Publication of JP2015114812A publication Critical patent/JP2015114812A/ja
Application granted granted Critical
Publication of JP6155182B2 publication Critical patent/JP6155182B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Television Systems (AREA)

Abstract

【課題】ＴＶ映像を超解像処理するためのＴＶ映像の超解像処理方法、およびＴＶ映像の超解像処理装置を提供する。【解決手段】ＴＶ映像の劣化度合いに応じて特定されたＰＳＦの輝度分布、ＴＶ映像のＹ（輝度）成分から成る劣化画像の輝度分布及び復元画像初期値の推定輝度分布、を入力情報としてＢａｙｓｅ確率論に基づく実数ベースの反復演算を複数回実行するソフトウエア又はハードウエアによるＰＳＦ復元手段及び画像復元手段を用いて劣化画像の輝度分布に最も尤もらしい復元画像の推定輝度分布を求めこれを劣化画像の輝度分布を抽出した際のＴＶ映像のＹ成分と入れ替えることにより略実時間で劣化前の状態に近いＴＶ映像を提供する。【選択図】図１４

Description

本発明は、ＴＶ映像の画像処理に関し、特にＴＶ映像に含まれる光学的なボケや滲みといった劣化した情報をＢａｙｓｅ確率論に基づく数学的な演算処理によって取り除き、劣化する前の原画像を復元するためのＴＶ映像向け超解像処理方法、および同方法によるＴＶ映像向け超解像処理装置に関する。
ＴＶ映像は１秒間に３０枚以上のフレームと呼ばれる静止画像から構成されており、各フレームはデジタル及びアナログを問わず不鮮明な程にボケてはいないものの光学的なボケや滲みといった劣化した情報を含んでいるという問題がある。
図１は実際のＴＶ映像を構成するフレームが含む光学的劣化情報の１例を図示したものである。図１は、２枚の画像から成り、左側の画像はＸ線ピンホールカメラのＴＶ映像のＹ（輝度成分）だけから成る１フレームであり、一方、右側の画像は、左側の画像を本発明者が発明し登録済の超解像技術（特許文献１〜２）により劣化前の画像を復元したものである。図１の両画像を比較すると、実際のＴＶ映像を構成するフレーム、つまり、ＴＶ映像には光学的劣化情報が含まれており、超解像の必要がある。
本発明者が発明した超解像技術（特許文献１〜２）は、光学的なボケや滲みといった劣化情報を含む静止画１枚の情報から反復演算を繰り返す内にＢａｙｓｅ法により静止画の輝度分布に最も尤もらしい最尤劣化要因及び最尤復元画像の輝度分布即ち鮮鋭化画像を数値演算により求めるものであるが、計算に要する演算処理量が膨大なため、リアルタイム処理を必要とするＴＶ映像を扱う事は困難であるという問題があった。
従来のＴＶ映像向け超解像技術の１つは、ＴＶ映像を構成する複数フレーム内の同一被写体に着目して、同一被写体を位置合わせすることで、複数フレームを重ね合わせて、超解像化を行う「再構成型超解像」方法（特許文献３、４）があり、製品化されている。
しかしながら、動きの激しい場面やズームイン／ズームアウトが激しく行われる場面など、被写体の大きさが大きく変化する場合や被写体が複数のフレームに映っていない場合、「再構成型超解像」方法による超解像は困難になるという問題があった。
他の方法としては、非特許文献１にあるように、ビデオカメラによって得られる互いに少しずつ視点の異なる連続した複数枚の静止画像を基に、Ｂａｙｅｓ統計処理を行い、超解像化された静止画を得る方法がある。
しかし、この方法では、常に複数枚の劣化情報を含む静止画像を蓄積するためのメモリが大量に必要であり、しかも、１枚の超解像化された静止画を得るためには、常に複数枚の静止画像を処理する必要があるため、計算が膨大になり、ＴＶ映像を処理することができないという問題があった。
国際公開番号：特許第４５６８７３０号（ＷＯ２００６／０４１１２７） 国際公開番号：特許第４５７５３８７号（ＷＯ２００６／０４１１２６） 特許公開番号：特開２００９−２９６４１０ 特許公開番号：特開２００９−１００４０７
兼村厚範等「ベイズ超解像と階層モデリング」日本神経回路学会誌、ｖｏｌ．１５，Ｎｏ．３（２００８），１８１−１９２
特許文献１〜４および非特許文献１に記載されたいずれの方法でも、光学的なボケや滲みといった劣化情報を含む１フレームだけの情報に基づきＴＶ映像を超解像処理する事はできないという問題があった。
そこで、本発明は、これら上記の問題を解決し、ＴＶ映像を超解像処理するためのＴＶ映像の超解像処理方法、および同方法を実現するためのＴＶ映像の超解像処理装置を提供することを課題とする。
上記課題を解決するために、本発明による第１の発明は、ＴＶ映像を構成する１フレームの光学的劣化を低減して劣化前のフレームを復元した超解像ＴＶ映像信号を出力する事によってＴＶ映像を復元するＴＶ映像向け第１超解像処理方法を提供する。この第１の発明は、請求項１に記載されたものと同じものである。
本発明による第１の発明であるＴＶ映像向け第１超解像処理方法は、（Ｓ１）１フレーム分の輝度分布から成る劣化画像の輝度分布をＴＶ映像から準備する第１劣化画像準備工程と、（Ｓ２）劣化画像の輝度分布を復元画像初期値の推定輝度分布と成す工程と、（Ｓ３）ＰＳＦの輝度分布を特定する第１ＰＳＦ特定工程と、（Ｓ４）特定されたＰＳＦの輝度分布をＰＳＦ初期値の推定輝度分布と成す工程と、（Ｓ５）最大反復演算回数を設定する工程と、（Ｓ６）反復演算回数を計数するカウンターをリセットする工程と、（Ｓ７）復元画像初期値の推定輝度分布を複写しこれを補正復元画像初期値の推定輝度分布と成し、更に、ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み演算する際に補正復元画像初期値の推定輝度分布の周辺部に発生する演算困難領域を、ＰＳＦの輝度分布の画像サイズを基にして演算困難領域を計算し、演算困難領域の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布の境界の外側に境界に対してミラー対称に成る様に配置する様にペーストし、補正復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と、（Ｓ８）補正復元画像初期値の推定輝度分布を劣化画像の輝度分布と成す工程と、（Ｓ９）ＰＳＦ初期値の推定輝度分布を補正復元画像初期値の推定輝度分布に畳込み第１の関数を得る工程と、（Ｓ１０）第１の関数を反転して第２の関数を得る工程と、（Ｓ１１）第２の関数に劣化画像の輝度分布を掛け合わせて第３の関数を得る工程と、（Ｓ１２）補正復元画像初期値の推定輝度分布の反転関数を求めこれを第４の関数と成す工程と、（Ｓ１３）第４の関数を第３の関数に畳込み第５の関数を得る工程と、（Ｓ１４）第５の関数をＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る工程と、（Ｓ１５）復元ＰＳＦの推定輝度分布をＰＳＦ初期値の推定輝度分布と入れ替える工程と、（Ｓ１６）カウンターに１を加算する工程と、（Ｓ１７）カウンターの値が最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽であれば（Ｓ９）の工程へ戻るが、もしも検証結果が真であれば復元ＰＳＦの推定輝度分布を最尤復元ＰＳＦの輝度分布として出力する工程と、（Ｓ１８）（Ｓ１）〜（Ｓ８）の工程から構成されるＰＳＦ復元演算準備工程と、（Ｓ１９）（Ｓ９）〜（Ｓ１７）の工程から構成される第１ＰＳＦ復元演算工程と、（Ｓ２０）ＰＳＦ復元演算準備工程及び第１ＰＳＦ復元演算工程を備え、ＰＳＦ復元演算準備工程及び第１ＰＳＦ復元演算工程において、Ｓの添え数字の小さい順に実行する事により最大反復演算回数の反復演算を終え、最尤復元ＰＳＦの輝度分布を出力する第１ＰＳＦ復元工程と、（Ｓ２１）カウンターをリセット更に（Ｓ２３）へジャンプする工程と、（Ｓ２２）最尤復元ＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第２復元画像初期値補正工程と、（Ｓ２３）最尤復元ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第６の関数を得る工程と、（Ｓ２４）第６の関数を反転して第７の関数を得る工程と、（Ｓ２５）第７の関数に劣化画像の輝度分布を掛け合わせて第８の関数を得る工程と、（Ｓ２６）最尤復元ＰＳＦの輝度分布の反転関数を求めこれを第９の関数と成す工程と、（Ｓ２７）第９の関数を第８の関数に畳込み第１０の関数を得る工程と、（Ｓ２８）第１０の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、（Ｓ２９）復元画像の推定輝度分布を復元画像初期値の推定輝度分布と入れ替える工程と、（Ｓ３０）カウンターに１を加算する工程と、（Ｓ３１）カウンターの値が最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｓ２２）の工程へ戻るが、もしも検証結果が真であれば復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程と、（Ｓ３２）（Ｓ２１）の工程から構成される第１画像復元演算準備工程と、（Ｓ３３）（Ｓ２２）〜（Ｓ３１）の工程から構成される第１画像復元演算工程と、（Ｓ３４）第１画像復元演算準備工程及び第１画像復元演算工程を備え、第１画像復元演算準備工程及び第１画像復元演算工程において、Ｓの添え数字の小さい順に実行する事により最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第１画像復元工程と、（Ｓ３５）最尤復元画像の輝度分布をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号を出力する第１ＴＶ映像化工程とを備える事に特徴が有る。
本発明による第２の発明は、第１の発明であるＴＶ映像向け第１超解像処理方法を構成する第１ＰＳＦ復元演算工程の第２の態様としての第２ＰＳＦ復元演算工程であり、請求項２に記載されたものと同じである。第１ＰＳＦ復元演算工程の第２の態様は、（Ｓ４０）ＰＳＦ初期値の推定輝度分布を補正復元画像初期値の推定輝度分布に畳込み第１１の関数を得る工程と、（Ｓ４１）第１１の関数を反転して第１２の関数を得る工程と、（Ｓ４２）第１２の関数に劣化画像の輝度分布を掛け合わせて第１３の関数を得る工程と、（Ｓ４３）補正復元画像初期値の推定輝度分布の反転関数を求めこれを第１４の関数と成す工程と、（Ｓ４４）第１４の関数を第１３の関数に畳込み第１５の関数を得る工程と、（Ｓ４５）第１５の関数をＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る工程と、（Ｓ４６）復元ＰＳＦの推定輝度分布をＰＳＦ初期値の推定輝度分布及び復元ＰＳＦの推定輝度分布の最終値として出力する工程と、（Ｓ４７）（Ｓ４０）〜（Ｓ４６）の工程を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う単分ＰＳＦ復元工程と、（Ｓ４８）最大反復演算回数分の単分ＰＳＦ復元工程Ｓ４７を直列に接続する事により構成される第２ＰＳＦ復元演算工程とを備え、前記第２ＰＳＦ復元演算工程において、直列に接続された単分ＰＳＦ復元工程の数に相当する回数の反復演算を行い、最終段目の単分ＰＳＦ復元工程から出力される復元ＰＳＦの推定輝度分布の最終値を最尤復元ＰＳＦの輝度分布として出力する事に特徴が有る。
本発明による第３の発明は、第１の発明であるＴＶ映像向け第１超解像処理方法を構成する第１画像復元演算工程の第２の態様としての第２画像復元演算工程であり、請求項３に記載されたものと同じである。第１画像復元演算工程の第２の態様は、（Ｓ５０）最尤復元ＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第３復元画像初期値補正工程と、（Ｓ５１）最尤復元ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第１６の関数を得る工程と、（Ｓ５２）第１６の関数を反転して第１７の関数を得る工程と、（Ｓ５３）第１７の関数に劣化画像の輝度分布を掛け合わせて第１８の関数を得る工程と、（Ｓ５４）最尤復元ＰＳＦの輝度分布の反転関数を求めこれを第１９の関数と成す工程と、（Ｓ５５）第１９の関数を第１８の関数に畳込み第２０の関数を得る工程と、（Ｓ５６）第２０の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、（Ｓ５７）復元画像の推定輝度分布を復元画像初期値の推定輝度分布及び復元画像の推定輝度分布の最終値として出力する工程と、（Ｓ５８）（Ｓ５０）〜（Ｓ５７）の工程を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う第１単分画像復元工程と、（Ｓ５９）最大反復演算回数分の第１単分画像復元工程を直列に接続する事により構成される第２画像復元演算工程とを備え、前記第２画像復元演算工程において、直列に接続された第１単分画像復元工程の数に相当する回数の反復演算を行い、最終段目の第１単分画像復元工程から出力される復元画像の推定輝度分布の最終値を最尤復元画像の輝度分布として出力する事に特徴が有る。
本発明による第４の発明は、ＴＶ映像を構成する１フレームの光学的劣化を低減して劣化前のフレームを復元した超解像ＴＶ映像信号を出力する事によってＴＶ映像を復元するＴＶ映像向け第２超解像処理方法であり、請求項４に記載されたものと同じである。ＴＶ映像向け第２超解像処理方法は、（Ｓ６０）ＴＶ映像を見ながらＴＶ映像の劣化状況に適したＰＳＦの輝度分布を特定する第２ＰＳＦ特定工程と、（Ｓ６１）１フレーム分の輝度分布から成る劣化画像の輝度分布をＴＶ映像から準備する第２劣化画像準備工程と、（Ｓ６２）劣化画像の輝度分布を複写しこれを復元画像初期値の推定輝度分布と成し、更にＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第４復元画像初期値補正工程と、（Ｓ６３）補正復元画像初期値の推定輝度分布を劣化画像の輝度分布と成す工程と、（Ｓ６４）最大反復演算回数を設定する工程と、（Ｓ６５）反復演算回数を計数するカウンターを０にリセットする工程と、（Ｓ６６）特定されたＰＳＦの輝度分布に補正復元画像初期値の推定輝度分布を畳込み第２１の関数を得る工程と、（Ｓ６７）第２１の関数を反転して第２２の関数を得る工程と、（Ｓ６８）第２２の関数に劣化画像の輝度分布を掛け合わせて第２３の関数を得る工程と、（Ｓ６９）ＰＳＦの輝度分布の反転関数を求めこれを第２４の関数と成す工程と、（Ｓ７０）第２４の関数を第２３の関数に畳込み第２５の関数を得る工程と、（Ｓ７１）第２５の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、（Ｓ７２）復元画像の推定輝度分布を復元画像初期値の推定輝度分布と入れ替える工程と、（Ｓ７３）カウンターに１を加算する工程と、（Ｓ７４）カウンターの値が最大反復演算回数以上であるという仮説を検証し、もしも検証結果が偽の場合には（Ｓ７５）の工程へジャンプするが、もしも検証結果が真の場合に（Ｓ７７）の工程へジャンプする工程と、（Ｓ７５）ＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第５復元画像初期値補正工程と、（Ｓ７６）Ｓ６６へジャンプする工程と、（Ｓ７７）復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程と、（Ｓ７８）（Ｓ６０）〜（Ｓ６５）の工程から構成される第２画像復元演算準備工程と、（Ｓ７９）（Ｓ６６）〜（Ｓ７７）の工程から構成される第３画像復元演算工程と、（Ｓ８０）第２画像復元演算準備工程及び第３画像復元演算工程を備え、Ｓの添え数字の小さい順に実行する事により最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第２画像復元工程と、（Ｓ８１）最尤化された最尤復元画像の輝度分布をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号を出力する第２ＴＶ映像化工程と、を備える事に特徴が有る。
本発明による第５の発明は、第４の発明であるＴＶ映像向け第２超解像処理方法を構成する第３画像復元演算工程の第２の態様としての第４画像復元演算工程であり、請求項５に記載されたものと同じである。第３画像復元演算工程の第２の態様は、（Ｓ８５）ＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第６復元画像初期値補正工程と、（Ｓ８６）ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第２６の関数を得る工程と、（Ｓ８７）第２６の関数を反転して第２７の関数を得る工程と、（Ｓ８８）第２７の関数に劣化画像の輝度分布を掛け合わせて第２８の関数を得る工程と、（Ｓ８９）ＰＳＦの輝度分布の反転関数を求めこれを第２９の関数と成す工程と、（Ｓ９０）第２９の関数を第２８の関数に畳込み第３０の関数を得る工程と、（Ｓ９１）第３０の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、（Ｓ９２）復元画像の推定輝度分布を復元画像初期値の推定輝度分布及び復元画像の推定輝度分布の最終値として出力する工程と、（Ｓ９３）（Ｓ８５）〜（Ｓ９２）の工程を備え、Ｓの添え数字の小さい順に処理する事により１回分の反復演算を行う第２単分画像復元工程と、（Ｓ９４）最大反復演算回数分の第２単分画像復元工程を直列に接続する事により構成される第４画像復元演算工程とを備え、この第４画像復元演算工程において、直列に接続された第２単分画像復元工程の数に相当する回数の反復演算を行い、最終段目の第２単分画像復元工程から出力される復元画像の推定輝度分布の最終値を最尤復元画像の輝度分布として出力する事に特徴が有る。
本発明による第６の発明は、第４の発明であるＴＶ映像向け第２超解像処理方法を構成する第３画像復元演算工程の第３の態様としての第５画像復元演算工程であり、請求項６に記載されたものと同じである。第３画像復元演算工程の第３の態様は、（Ｓ１００）反復演算回数を計数するカウンターをリセットする工程と、（Ｓ１０１）カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｓ１０２）へジャンプし、もしも検証結果が真であれば（Ｓ１０３）へジャンプする工程と、（Ｓ１０２）劣化画像の輝度分布を劣化画像の輝度分布保存用バッファー及び復元画像初期値の推定輝度分布用バッファーに転送する工程と、（Ｓ１０３）復元画像初期値の推定輝度分布用バッファーから復元画像初期値の推定輝度分布を読込む工程と、（Ｓ１０４）ＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第７復元画像初期値補正工程と、（Ｓ１０５）ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第３１の関数を得る工程と、（Ｓ１０６）第３１の関数を反転して第３２の関数を得る工程と、（Ｓ１０７）第３２の関数に劣化画像の輝度分布を掛け合わせて第３３の関数を得る工程と、（Ｓ１０８）ＰＳＦの輝度分布の反転関数を求めこれを第３４の関数と成す工程と、（Ｓ１０９）第３４の関数を第３３の関数に畳込み第３５の関数を得る工程と、（Ｓ１００）第３５の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、（Ｓ１１１）カウンターに１を加算する工程と、（Ｓ１１２）カウンターの値が最大反復演算回数を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｓ１１３）へジャンプし、もしも検証結果が真であれば（Ｓ１１５）へジャンプする工程と、（Ｓ１１３）復元画像の推定輝度分布を復元画像初期値の推定輝度分布用バッファーへ転送する工程と、（Ｓ１１４）（Ｓ１０３）へジャンプする工程と、（Ｓ１１５）復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程と、（Ｓ１１６）（Ｓ１１０）〜（Ｓ１１５）の工程を備え、Ｓの添え数字の小さい順に順番通りに実行する事により最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第５画像復元演算工程とを備える事に特徴が有る。
本発明による第７の発明は、第１の発明であるＴＶ映像向け第１超解像処理方法を構成する第１ＰＳＦ特定工程及び第４の発明であるＴＶ映像向け第２超解像処理方法を構成するの第２ＰＳＦ特定工程に関し、これ等第１ＰＳＦ特定工程及び第２ＰＳＦ特定工程は、（Ｓ１２０）モニタに映し出されるＴＶ映像の光学的な劣化度合いに応じた劣化示数を設定する工程と、（Ｓ１２１）劣化示数に紐づけられたＰＳＦの輝度分布をＰＳＦの輝度分布データベースから抽出して出力する工程とを備える事に特徴が有る。第７の発明は請求項７に記載されたものと同じである。
本発明による第８の発明は、第１の発明であるＴＶ映像向け第１超解像処理方法を構成する第１劣化画像準備工程及び第４の発明であるＴＶ映像向け第２超解像処理方法を構成する第２劣化画像準備工程に関し、これ等第１劣化画像準備工程及び第２劣化画像準備工程は、（Ｓ１３０）１フレーム分のＴＶ映像信号からフレームを構成するＲＧＢ信号を取り出すＲＧＢ信号抽出工程と、（Ｓ１３１）１フレーム分のＴＶ映像信号の内、ＲＧＢ信号を取り出した残りのＴＶ映像信号を１フレーム分遅延して出力する遅延工程と、（Ｓ１３２）ＲＧＢ信号をＹＵＶ変換してＹＵＶ信号と成すＹＵＶ変換工程と、（Ｓ１３３）ＹＵＶ信号の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布を抽出してＹ劣化画像の輝度分布と成し、残りのＵ信号のみから成るＵ劣化画像の分布及びＶ信号のみから成るＶ劣化画像の分布を保持するＹ劣化画像抽出工程と、（Ｓ１３４）Ｙ劣化画像の輝度分布のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布と成し出力するデガンマ処理工程とを備える事に特徴が有る。第８の発明は請求項８に記載されたものと同じである。
本発明による第９の発明は、第１の発明であるＴＶ映像向け第１超解像処理方法を構成する第１ＴＶ映像化工程及び第４の発明であるＴＶ映像向け第２超解像処理方法を構成する第２ＴＶ映像化工程に関し、これ等第１ＴＶ映像化工程及び第２ＴＶ映像化工程は、（Ｓ１４０）最尤復元画像の輝度分布のガンマ処理を行うガンマ処理工程と、（Ｓ１４１）Ｙ劣化画像抽出工程で保持したＵ劣化画像の分布及びＶ劣化画像の分布とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布から１枚のＹＵＶ復元画像の分布を合成する復元画像合成工程と、（Ｓ１４２）ＹＵＶ復元画像の分布のＲＧＢ変換を行いＲＧＢ復元画像の分布と成すＲＧＢ変換工程と、（Ｓ１４３）ＲＧＢ復元画像の分布を読み取りＲＧＢ信号を出力するＲＧＢ信号変換工程と、（Ｓ１４４）ＲＧＢ信号を遅延工程が出力するＲＧＢ信号を除いた１フレーム分のＴＶ映像信号と合成して１フレーム分の超解像ＴＶ映像信号と成し出力するＴＶ映像信号合成工程とを備える事に特徴が有る。第９の発明は請求項９に記載されたものと同じである。
本発明による第１０の発明は、第１〜第３の発明であるＴＶ映像向け第１超解像処理方法を構成するＰＳＦの輝度分布及び第４〜５の発明であるＴＶ映像向け第２超解像処理方法を構成するＰＳＦの輝度分布に関し、このＰＳＦの輝度分布は、縁の無い正方形状の同一サイズの画素から成るものであって、中心が最も明るい２次元正規分布であり、そのサイズが５ｘ５画素である事に特徴が有る。第１０の発明は請求項１０に記載されたものと同じである。
本発明による第１１の発明は、第１の発明であるＴＶ映像向け第１超解像処理方法を構成する第１ＰＳＦ復元工程及び第１画像復元工程内の全ての工程を実行させるための第１超解像処理プログラムであり、請求項１１に記載されたものと同じである。
本発明による第１２の発明は、第１〜２の発明であるＴＶ映像向け第１超解像処理方法を構成するＰＳＦ復元演算準備工程、第２ＰＳＦ復元演算工程及び第１画像復元工程内の全ての工程を実行させるための第２超解像処理プログラムであり、請求項１２に記載されたものと同じである。
本発明による第１３の発明は、第１及び第３の発明であるＴＶ映像向け第１超解像処理方法を構成する第１ＰＳＦ復元工程、第１画像復元演算準備工程及び第２画像復元演算工程内の全ての工程を実行させるための第３超解像処理プログラムであり、請求項１３に記載されたものと同じである。
本発明による第１４の発明は、第１〜３の発明であるＴＶ映像向け第１超解像処理方法を構成するＰＳＦ復元演算準備工程、第２ＰＳＦ復元演算工程、第１画像復元演算準備工程及び第２画像復元演算工程内の全ての工程を実行させるための第４超解像処理プログラムであり、請求項１４に記載されたものと同じである。
本発明による第１５の発明は、第４の発明であるＴＶ映像向け第２超解像処理方法を構成する第２画像復元工程内の全ての工程を実行させるための第５超解像処理プログラムであり、請求項１５に記載されたものと同じである。
本発明による第１６の発明は、第４〜５の発明であるＴＶ映像向け第２超解像処理方法を構成する第２画像復元演算準備工程及び第４画像復元演算工程内の全ての工程を実行させるための第６超解像処理プログラムであり、請求項１６に記載されたものと同じである。
本発明による第１７の発明は、第４及び第６の発明であるＴＶ映像向け第２超解像処理方法を構成する第２画像復元演算準備工程及び第５画像復元演算工程内の全ての工程を実行させるための第７超解像処理プログラムであり、請求項１７に記載されたものと同じである。
本発明による第１８の発明は、第１、第７〜１０の発明であるＴＶ映像向け第１超解像処理方法を用いて、ＴＶ映像を構成する１フレームの光学的劣化を低減して劣化前のフレームを復元した超解像ＴＶ映像信号を出力する事によってＴＶ映像を復元するＴＶ映像向け第１超解像処理装置に関し、このＴＶ映像向け第１超解像処理装置は、（Ｗ１）１フレーム分の輝度分布から成る劣化画像の輝度分布をＴＶ映像から準備する第１劣化画像準備手段と、（Ｗ２）劣化画像の輝度分布を復元画像初期値の推定輝度分布と成す手段と、（Ｗ３）ＰＳＦの輝度分布を特定する第１ＰＳＦ特定手段と、（Ｗ４）特定されたＰＳＦの輝度分布をＰＳＦ初期値の推定輝度分布と成す手段と、（Ｗ５）最大反復演算回数を設定する手段と、（Ｗ６）反復演算回数を計数するカウンターをリセットする手段と、（Ｗ７）復元画像初期値の推定輝度分布を複写しこれを補正復元画像初期値の推定輝度分布と成し、更に、ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み演算する際に補正復元画像初期値の推定輝度分布の周辺部に発生する演算困難領域を、ＰＳＦの輝度分布の画像サイズを基にして演算困難領域を計算し、演算困難領域の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布の境界の外側に境界に対してミラー対称に成る様に配置する様にペーストし、補正復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と、（Ｗ８）補正復元画像初期値の推定輝度分布を劣化画像の輝度分布と成す手段と、（Ｗ９）ＰＳＦ初期値の推定輝度分布を補正復元画像初期値の推定輝度分布に畳込み第３６の関数を得る手段と、（Ｗ１０）第３６の関数を反転して第３７の関数を得る手段と、（Ｗ１１）第３７の関数に劣化画像の輝度分布を掛け合わせて第３８の関数を得る手段と、（Ｗ１２）補正復元画像初期値の推定輝度分布の反転関数を求めこれを第３９の関数と成す手段と、（Ｗ１３）第３９の関数を第３８の関数に畳込み第４０の関数を得る手段と、（Ｗ１４）第４０の関数をＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る手段と、（Ｗ１５）復元ＰＳＦの推定輝度分布をＰＳＦ初期値の推定輝度分布と入れ替える手段と、（Ｗ１６）カウンターに１を加算する手段と、（Ｗ１７）カウンターの値が最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽であれば（Ｗ９）の手段へ戻るが、もしも検証結果が真であれば復元ＰＳＦの推定輝度分布を最尤復元ＰＳＦの輝度分布として出力する手段と、（Ｗ１８）（Ｗ１）〜（Ｗ８）の手段から構成されるＰＳＦ復元演算準備手段と、（Ｗ１９）（Ｗ９）〜（Ｗ１７）の手段から構成される第１ＰＳＦ復元演算手段と、を備え、（Ｗ２０）ＰＳＦ復元演算準備手段及び第１ＰＳＦ復元演算手段において、Ｓの添え数字の小さい順に実行する事により最大反復演算回数の反復演算を終え、最尤復元ＰＳＦの輝度分布を出力する第１ＰＳＦ復元手段と、（Ｗ２１）カウンターをリセットし更に（Ｗ２３）へジャンプする手段と、（Ｗ２２）最尤復元ＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ処理手順から成る第２復元画像初期値補正手段と、（Ｗ２３）最尤復元ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第４１の関数を得る手段と、（Ｗ２４）第４１の関数を反転して第４２の関数を得る手段と、（Ｗ２５）第４２の関数に劣化画像の輝度分布を掛け合わせて第４３の関数を得る手段と、（Ｗ２６）最尤復元ＰＳＦの輝度分布の反転関数を求めこれを第４４の関数と成す手段と、（Ｗ２７）第４４の関数を第４３の関数に畳込み第４５の関数を得る手段と、（Ｗ２８）第４５の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、（Ｗ２９）復元画像の推定輝度分布を復元画像初期値の推定輝度分布と入れ替える手段と、（Ｗ３０）カウンターに１を加算する手段と、（Ｗ３１）カウンターの値が最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｗ２２）の手段へ戻るが、もしも検証結果が真であれば復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段と、（Ｗ３２）（Ｗ２１）の手段から構成される第１画像復元演算準備手段と、（Ｗ３３）（Ｗ２２）〜（Ｗ３１）の手段から構成される第１画像復元演算手段と、を備え、（Ｗ３４）第１画像復元演算準備手段及び第１画像復元演算手段において、Ｓの添え数字の小さい順に実行する事により最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第１画像復元手段と、（Ｗ３５）最尤復元画像の輝度分布をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号を出力する第１ＴＶ映像化手段とを備える事に特徴が有る。第１８の発明は請求項１８に記載されたものと同じである。
本発明による第１９の発明は、第１８の発明であるＴＶ映像向け第１超解像処理装置を構成する第１ＰＳＦ復元手段の第２の態様に関し、この第１ＰＳＦ復元手段の第２の態様は、（Ｗ４０）ＰＳＦ初期値の推定輝度分布を補正復元画像初期値の推定輝度分布に畳込み第４６の関数を得る手段と、（Ｗ４１）第４６の関数を反転して第４７の関数を得る手段と、（Ｗ４２）第４７の関数に劣化画像の輝度分布を掛け合わせて第４８の関数を得る手段と、（Ｗ４３）補正復元画像初期値の推定輝度分布の反転関数を求めこれを第４９の関数と成す手段と、（Ｗ４４）第４９の関数を第４８の関数に畳込み第５０の関数を得る手段と、（Ｗ４５）第５０の関数をＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る手段と、（Ｗ４６）復元ＰＳＦの推定輝度分布をＰＳＦ初期値の推定輝度分布及び復元ＰＳＦの推定輝度分布の最終値として出力する手段と、（Ｗ４７）（Ｗ４０）〜（Ｗ４６）の手段を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う単分ＰＳＦ復元手段と、（Ｗ４８）最大反復演算回数分の単分ＰＳＦ復元手段を直列に接続する事により構成される第２ＰＳＦ復元演算手段とを備え、前記第２ＰＳＦ復元演算手段において、直列に接続された単分ＰＳＦ復元手段の数に相当する回数の反復演算を行い、最終段目の単分ＰＳＦ復元手段から出力される復元ＰＳＦの推定輝度分布の最終値を最尤復元ＰＳＦの輝度分布として出力する事に特徴が有る。第１９の発明は請求項１９に記載されたものと同じである。
本発明による第２０の発明は、第１８の発明であるＴＶ映像向け第１超解像処理装置を構成する第１画像復元手段の第２の態様に関し、この第１画像復元手段の第２の態様は、（Ｗ５０）最尤復元ＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ構成から成る第３復元画像初期値補正手段と、（Ｗ５１）最尤復元ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第５１の関数を得る手段と、（Ｗ５２）第５１の関数を反転して第５２の関数を得る手段と、（Ｗ５３）第５２の関数に劣化画像の輝度分布を掛け合わせて第５３の関数を得る手段と、（Ｗ５４）最尤復元ＰＳＦの輝度分布の反転関数を求めこれを第５４の関数と成す手段と、（Ｗ５５）第５４の関数を第５３の関数に畳込み第５５の関数を得る手段と、（Ｗ５６）第５５の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、（Ｗ５７）復元画像の推定輝度分布を復元画像初期値の推定輝度分布及び復元画像の推定輝度分布の最終値として出力する手段と、（Ｗ５８）（Ｗ５０）〜（Ｗ５７）の手段を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う第１単分画像復元手段と、（Ｗ５９）最大反復演算回数分の第１単分画像復元手段を直列に接続する事により構成される第２画像復元演算手段とを備え、前記第２画像復元演算手段において、直列に接続された第１単分画像復元手段の数に相当する回数の反復演算を行い、最終段目の第１単分画像復元手段から出力される復元画像の推定輝度分布の最終値を最尤復元画像の輝度分布として出力する事に特徴が有る。第２０の発明は請求項２０に記載されたものと同じである。
本発明による第２１の発明は、第４、７〜１０の発明であるＴＶ映像向け第２超解像処理方法に従い、を用いて、ＴＶ映像を構成する１フレームの光学的劣化を低減して劣化前のフレームを復元した超解像ＴＶ映像信号を出力する事によってＴＶ映像を復元するＴＶ映像向け第２超解像処理装置に関し、このＴＶ映像向け第２超解像処理装置は、（Ｗ６０）ＴＶ映像を見ながらＴＶ映像の劣化状況に適したＰＳＦの輝度分布を特定する第２ＰＳＦ特定手段と、（Ｗ６１）１フレーム分の輝度分布から成る劣化画像の輝度分布をＴＶ映像から準備する第２劣化画像準備手段と、（Ｗ６２）劣化画像の輝度分布を複写しこれを復元画像初期値の推定輝度分布と成し、更にＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ処理手順から成る第４復元画像初期値補正手段と、（Ｗ６３）補正復元画像初期値の推定輝度分布を劣化画像の輝度分布と成す手段と、（Ｗ６４）最大反復演算回数を設定する手段と、（Ｗ６５）反復演算回数を計数するカウンターを０にリセットする手段と、（Ｗ６６）特定されたＰＳＦの輝度分布に補正復元画像初期値の推定輝度分布を畳込み第２１の関数を得る手段と、（Ｗ６７）第２１の関数を反転して第２２の関数を得る手段と、（Ｗ６８）第２２の関数に劣化画像の輝度分布を掛け合わせて第２３の関数を得る手段と、（Ｗ６９）ＰＳＦの輝度分布の反転関数を求めこれを第２４の関数と成す手段と、（Ｗ７０）第２４の関数を第２３の関数に畳込み第２５の関数を得る手段と、（Ｗ７１）第２５の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、（Ｗ７２）復元画像の推定輝度分布を復元画像初期値の推定輝度分布と入れ替える手段と、（Ｗ７３）カウンターに１を加算する手段と、（Ｗ７４）カウンターの値が最大反復演算回数以上であるという仮説を検証し、もしも検証結果が偽の場合には（Ｗ７５）の手段へジャンプするが、もしも検証結果が真の場合に（Ｗ７７）の手段へジャンプする手段と、（Ｗ７７）ＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ処理手順から成る第５復元画像初期値補正手段と、（Ｗ７６）Ｗ６６へジャンプする手段と、（Ｗ７７）復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段と、（Ｗ７８）（Ｗ６０）〜（Ｗ６５）の手段から構成される第２画像復元演算準備手段と、（Ｗ７９）（Ｗ６６）〜（Ｗ７８）の手段から構成される第３画像復元演算手段と、（Ｗ８０）第２画像復元演算準備手段及び第３画像復元演算手段を備え、Ｓの添え数字の小さい順に実行する事により最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第２画像復元手段と、（Ｗ８１）最尤復元画像の輝度分布をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号を出力する第２ＴＶ映像化手段とを備える事に特徴が有る。第２１の発明は請求項２１に記載されたものと同じである。
本発明による第２２の発明は、第２１の発明であるＴＶ映像向け第２超解像処理装置を構成する第３画像復元手段の第２の態様に関し、この第３画像復元手段の第２の態様は、（Ｗ８５）ＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ処理手順から成る第６復元画像初期値補正手段と、（Ｗ８６）ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第６１の関数を得る手段と、（Ｗ８７）第６１の関数を反転して第６２の関数を得る手段と、（Ｗ８８）第６２の関数に劣化画像の輝度分布を掛け合わせて第６３の関数を得る手段と、（Ｗ８９）ＰＳＦの輝度分布の反転関数を求めこれを第６４の関数と成す手段と、（Ｗ９０）第６４の関数を第６３の関数に畳込み第６５の関数を得る手段と、（Ｗ９１）第６５の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、（Ｗ９２）復元画像の推定輝度分布を復元画像初期値の推定輝度分布及び復元画像の推定輝度分布の最終値として出力する手段と、（Ｗ９３）（Ｗ８５）〜（Ｗ９２）の手段を備え、Ｓの添え数字の小さい順に処理する事により１回分の反復演算を行う第２単分画像復元手段と、（Ｗ９４）最大反復演算回数分の第２単分画像復元手段を直列に接続する事により構成される第４画像復元演算手段とを備え、前記第４画像復元演算手段において、直列に接続された第２単分画像復元手段の数に相当する回数の反復演算を行い、最終段目の第２単分画像復元手段から出力される復元画像の推定輝度分布の最終値を最尤復元画像の輝度分布として出力する事に特徴が有る。第２２の発明は請求項２２に記載されたものと同じである。
本発明による第２３の発明は、第２１の発明であるＴＶ映像向け第２超解像処理装置を構成する第３画像復元手段の第３の態様に関し、この第３画像復元手段の第３の態様は、（Ｗ１００）反復演算回数を計数するカウンターをリセットする手段と、（Ｗ１０１）カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｗ１０２）へジャンプし、もしも検証結果が真であれば（Ｗ１０３）へジャンプする手段と、（Ｗ１０２）劣化画像の輝度分布を劣化画像の輝度分布保存用バッファー及び復元画像初期値の推定輝度分布用バッファーに転送する手段と、（Ｗ１０３）復元画像初期値の推定輝度分布用バッファーから復元画像初期値の推定輝度分布を読込む手段と、（Ｗ１０４）ＰＳＦの輝度分布の画像サイズを基にして復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ処理手順から成る第７復元画像初期値補正手段と、（Ｗ１０５）ＰＳＦの輝度分布を補正復元画像初期値の推定輝度分布に畳込み第３１の関数を得る手段と、（Ｗ１０６）第３１の関数を反転して第３２の関数を得る手段と、（Ｗ１０７）第３２の関数に劣化画像の輝度分布を掛け合わせて第３３の関数を得る手段と、（Ｗ１０８）ＰＳＦの輝度分布の反転関数を求めこれを第３４の関数と成す手段と、（Ｗ１０９）第３４の関数を第３３の関数に畳込み第３５の関数を得る手段と、（Ｗ１１０）第３５の関数を復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、（Ｗ１１１）カウンターに１を加算する手段と、（Ｗ１１２）カウンターの値が最大反復演算回数を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｗ１１３）へジャンプし、もしも検証結果が真であれば（Ｗ１１５）へジャンプする手段と、（Ｗ１１３）復元画像の推定輝度分布を復元画像初期値の推定輝度分布用バッファーへ転送する手段と、（Ｗ１１４）（Ｗ１０３）へジャンプする手段と、（Ｗ１１５）復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段と、（Ｗ１１６）（Ｗ１００）〜（Ｗ１１５）の手段を備え、Ｗの添え数字の小さい順に順番通りに実行する事により最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第５画像復元演算手段である事に特徴が有る。第２３の発明は請求項２３に記載されたものと同じである。
本発明による第２４の発明は、第１８の発明であるＴＶ映像向け第１超解像処理装置を構成する第１ＰＳＦ特定手段及び第２１の発明であるＴＶ映像向け第２超解像処理装置を構成する第２ＰＳＦ特定手段に関し、これ等の第１ＰＳＦ特定手段及び第２ＰＳＦ特定手段は、（Ｗ１２０）モニタに映し出されるＴＶ映像の光学的な劣化度合いに応じた劣化示数を設定する手段と、（Ｗ１２１）劣化示数に紐づけられたＰＳＦの輝度分布をＰＳＦデータベースから抽出する手段とを備える事に特徴が有る。第２４の発明は請求項２４に記載されたものと同じである。
本発明による第２５の発明は、第１８の発明であるＴＶ映像向け第１超解像処理装置を構成する第１劣化画像準備手段及び第２１の発明であるＴＶ映像向け第２超解像処理装置を構成する第２劣化画像準備手段に関し、これ等の第１劣化画像準備手段及び第２劣化画像準備手段は、（Ｗ１３０）１フレーム分のＴＶ映像信号からフレームを構成するＲＧＢ信号を取り出すＲＧＢ信号抽出手段と、（Ｗ１３１）１フレーム分のＴＶ映像信号の内、ＲＧＢ信号を取り出した残りのＴＶ映像信号を１フレーム分遅延して出力する遅延手段と、（Ｗ１３２）ＲＧＢ信号をＹＵＶ変換してＹＵＶ信号と成すＹＵＶ変換手段と、（Ｗ１３３）ＹＵＶ信号の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布を抽出してＹ劣化画像の輝度分布と成し、残りのＵ信号のみから成るＵ劣化画像の分布及びＶ信号のみから成るＶ劣化画像の分布を保持するＹ劣化画像抽出手段と、（Ｗ１３４）Ｙ劣化画像の輝度分布のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布と成し出力するデガンマ処理手段とを備える事に特徴が有る。第２５の発明は請求項２５に記載されたものと同じで有る。
本発明による第２６の発明は、第１８の発明であるＴＶ映像向け第１超解像処理装置を構成する第１ＴＶ映像化手段及び第２１の発明であるＴＶ映像向け第２超解像処理装置を構成する第２ＴＶ映像化手段に関し、これ等の第１ＴＶ映像化手段及び第２ＴＶ映像化手段は、（Ｗ１４０）最尤復元画像の輝度分布のガンマ処理を行うガンマ処理手段と、（Ｗ１４１）Ｙ劣化画像抽出手段で保持したＵ劣化画像の分布及びＶ劣化画像の分布とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布から１枚のＹＵＶ復元画像の分布を合成する復元画像合成手段と、（Ｗ１４２）ＹＵＶ復元画像の分布のＲＧＢ変換を行いＲＧＢ復元画像の分布と成すＲＧＢ変換手段と、（Ｗ１４３）ＲＧＢ復元画像の分布を読み取りＲＧＢ信号を出力するＲＧＢ信号変換手段と、（Ｗ１４４）ＲＧＢ信号を遅延手段が出力するＲＧＢ信号を除いた１フレーム分のＴＶ映像信号と合成して１フレーム分の超解像ＴＶ映像信号と成し出力するＴＶ映像信号合成手段とを備える事に特徴が有る。第２６の発明は請求項２６に記載されたものと同じで有る。
本発明による第２７の発明は、第１８の発明であるＴＶ映像向け第１超解像処理装置を構成する第１ＰＳＦ復元手段及び第１画像復元手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第１超解像処理装置プログラムである。第２７の発明は請求項２７に記載されたものと同じで有る。
本発明による第２８の発明は、第１８〜１９の発明であるＴＶ映像向け第１超解像処理装置を構成するＰＳＦ復元演算準備手段、第２ＰＳＦ復元演算手段及び第１画像復元手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第２超解像処理装置プログラムである。第２８の発明は請求項２８に記載されたものと同じで有る。
本発明による第２９の発明は、第１８、２０の発明であるＴＶ映像向け第１超解像処理装置を構成する第１ＰＳＦ復元手段、第１画像復元演算準備手段及び第２画像復元演算手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第３超解像処理装置プログラムである。第２９の発明は請求項２９に記載されたものと同じで有る。
本発明による第３０の発明は、第１８〜２０の発明であるＴＶ映像向け第１超解像処理装置を構成するＰＳＦ復元演算準備手段、第２ＰＳＦ復元演算手段、第１画像復元演算準備手段及び第２画像復元演算手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第４超解像処理装置プログラムである。第３０の発明は請求項３０に記載されたものと同じで有る。
本発明による第３１の発明は、第２１の発明であるＴＶ映像向け第２超解像処理装置を構成する第２画像復元手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第５超解像処理装置プログラムである。第３１の発明は請求項３１に記載されたものと同じで有る。
本発明による第３２の発明は、第２１〜２２の発明であるＴＶ映像向け第２超解像処理装置を構成する第２画像復元演算準備手段及び第４画像復元演算手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第６超解像処理装置プログラムである。第３２の発明は請求項３２に記載されたものと同じで有る。
本発明による第３３の発明は、第２１、２２の発明であるＴＶ映像向け第２超解像処理装置を構成する第２画像復元演算準備手段及び第５画像復元演算手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第７超解像処理装置プログラムである。第３３の発明は請求項３３に記載されたものと同じで有る。
本発明による第３４の発明は、第１１〜１４の発明であるＴＶ映像向け第１超解像処理方法を実行するための第１超解像処理プログラム、第２超解像処理プログラム、第３超解像処理プログラム及び第４超解像処理プログラムをそれぞれ個別に暗号化して個別に記憶し一方読み出し時には個別に読み出し且つ復号後に提供し、コンピュータに接続可能で且つコンピュータが読込み可能な第１記憶媒体である。第３４の発明は請求項３４に記載されたものと同じで有る。
本発明による第３５の発明は、第１５〜１７の発明であるＴＶ映像向け第２超解像処理方法を実行するための第５超解像処理プログラム、第６超解像処理プログラム及び第７超解像処理プログラムをそれぞれ個別に暗号化して個別に記憶し一方読み出し時には個別に読み出し且つ復号後に提供し、コンピュータに接続可能で且つコンピュータが読込み可能な第２記憶媒体である。第３５の発明は請求項３５に記載されたものと同じで有る。
本発明による第３６の発明は、第２７〜３０の発明であるＴＶ映像向け第１超解像処理装置内の全ての手段を構成し且つこれ等の全ての手段を実行するための第８超解像処理プログラム、第９超解像処理プログラム、第１０超解像処理プログラム及び第１１超解像処理プログラムをそれぞれ個別に暗号化して個別に記憶し一方読み出し時には個別に読み出し且つ復号後に提供し、コンピュータに接続可能で且つコンピュータが読込み可能な第３記憶媒体である。第３６の発明は請求項３６に記載されたものと同じで有る。
本発明による第３７の発明は、第３１〜３３の発明であるＴＶ映像向け第２超解像処理装置内の全ての手段を構成し且つこれ等の全ての手段を実行するための第１２超解像処理プログラム、第１３超解像処理プログラム及び第１４超解像処理プログラムをそれぞれ個別に暗号化して個別に記憶し一方読み出し時には個別に読み出し且つ復号後に提供し、コンピュータに接続可能で且つコンピュータが読込み可能な第４記憶媒体である。第３７の発明は請求項３７に記載されたものと同じで有る。
ＴＶ映像の１フレームの情報だけから画像を復元し、これを連続的に行いＴＶ映像の超解像処理を行う事は、従来不可能であったが、本発明を適用することにより略実時間処理が可能となるという効果がある。また、本発明は、ＴＶ方式の映像であれば線源を問わず何でも良いため、赤外線カメラやＸ線カメラによる映像であっても良く、適用範囲が広いという効果もある。
実際のＴＶ映像を構成するフレームが含む光学的劣化情報の１例を示す図 本発明による第１の発明であるＴＶ映像向け第１超解像処理方法における処理手順の１例を示すフローチャート 本発明による第１復元画像初期値補正工程において用いる補正処理手順の1例を示す図 本発明による第２の発明である第２ＰＳＦ復元演算工程における処理手順の１例を示すフローチャート 本発明による第３の発明である第２画像復元演算工程における処理手順の１例を示すフローチャート 本発明による第４の発明であるＴＶ映像向け第２超解像処理方法の処理手順に関する１例を示すフローチャート 本発明による第５の発明である第４画像復元演算工程の処理手順に関する１例を示すフローチャート 本発明による第６の発明である第５画像復元演算工程の処理手順に関する１例を示すフローチャート 本発明による第７の発明である第１ＰＳＦ特定工程及び第２ＰＳＦ特定工程の処理手順に関する１例を示すフローチャート 本発明によるＰＳＦデータベース内のデータの1例を示す図 本発明による第８の発明である第１劣化画像準備工程及び第２劣化画像準備工程における処理手順の１例を示すフローチャート 本発明による第９の発明である第１ＴＶ映像化工程及び第２ＴＶ映像化工程における処理手順の１例を示すフローチャート 本発明による第１０の発明であるＰＳＦの輝度分布の1例を示す図 本発明による第１８の発明であるＴＶ映像向け第１超解像処理装置の構成に関する1例を示す図 本発明による第１９の発明である第２ＰＳＦ復元演算手段の構成に関する１例を示す図 本発明による第２０の発明である第２画像復元演算手段の構成に関する１例を示す図 本発明による第２１の発明であるＴＶ映像向け第２超解像処理装置の構成に関する１例を示す図 本発明による第２２の発明である第４画像復元演算手段の構成に関する１例を示す図 本発明による第２３の発明である第５画像復元演算手段の構成に関する１例を示す図 本発明による第２４の発明である第１ＰＳＦ特定手段及び第２ＰＳＦ特定手段の構成に関する１例を示す図 本発明による第２５の発明である第１劣化画像準備手段及び第２劣化画像準備手段の構成に関する１例を示す図 本発明による第２６の発明である第１ＴＶ映像化手段及び第２ＴＶ映像化手段の構成に関する１例を示す図 本発明による実施例１のＴＶ映像向け第１超解像処理システムの構成に関する１例を示す図 本発明による第１超解像処理装置プログラムの構造及びそのインストールの様子の１例を示す図 本発明による超解像処理ウインドウの構成に関する１例を示す図 本発明によるＴＶ映像向け第１超解像処理システムにおいて超解像処理を実行する手順の１例をトランザクションテーブルとして示す図 実施例１による超解像処理の状況の１例を示す図 実施例３による第１セットトップボックスの内部の構成に関する１例を示す図 実施例３による第１セットトップボックスにおける処理手順の１例を示すフローチャート 実施例３による第１セットトップボックスのセットアップの状況の1例を示す図
本発明を実施するための最良の形態について、適宜図を用いながら説明する。
本発明において、劣化画像、ＰＳＦ及び復元画像は、それぞれ縁の無い同じサイズの正方形の画素が敷き詰められて構成されており、各画素は８ビット深さの赤原色（Ｒ）、８ビット深さの緑原色（Ｇ）及び８ビット深さの青原色（Ｂ）から成るＲＧＢカラー画素であり、ＲＧＢが同じビット数の場合にはグレイスケール画素と成る。本発明において、ＰＳＦはグレイスケール画素のみから成る。
本発明において、劣化画像、ＰＳＦ及び復元画像は、左上隅の画素を原点とし、原点が存在する行を、行を変えずに横方向に向かった画素行に平行な軸をｘ軸とし、原点が存在する列を、列を変えずに縦方向に向かった画素列に平行な軸をｙ軸とする。劣化画像、ＰＳＦ及び復元画像内の全ての画素は、（ｘ、ｙ）という２次元座標によって指定する事が可能である。
本発明において、劣化画像及び復元画像は互いに同じ画像サイズであり、同じ座標を有する。しかし、本発明においては、画像の見分けがつかない程ボケている場合を取り扱わないため、ＰＳＦの周辺部分は略ゼロであり、計算回数の削減のために、劣化画像及び復元画像内の何処へ行ってもＰＳＦの輝度分布は変化しないという仮定が成立するものとして取り扱っており、ＰＳＦサイズは５画素かける５画素のものを使用している。もちろん、劣化画像までの画像サイズであれば如何なるサイズであっても良い。
本発明において、ＰＳＦ、劣化画像及び復元画像はそれぞれ輝度成分から成るものだけを取り扱い、復元演算に使用するものは全て輝度成分のみである。こうする理由としては、演算回数が減少する事、そして、色合いが変化しない事に有る。本発明の方法は、Ｒ、Ｇ、Ｂ個別に復元した場合と比較して、超解像処理品質的に遜色が無い事を確認している。
本発明において、ＰＳＦ、劣化画像及び復元画像はそれぞれ輝度成分から成るため、ＰＳＦをＰＳＦの輝度分布、劣化画像の輝度分布及び復元画像の推定輝度分布と呼んでいる。復元画像の正確な輝度分布は不明であるため、推定輝度分布と呼んでいる。本発明によるＴＶ映像向け加速超解像処理方法により画像復元すると、光学的劣化の無い状態に略収斂した状態になり、原画像と略遜色ないため、最尤復元画像の場合には輝度分布としている。
図２は、本発明による第１の発明であるＴＶ映像向け第１超解像処理方法における処理手順の１例をフローチャートとして図示したものである。
本発明による第１の発明であるＴＶ映像向け第１超解像処理方法は、（Ｓ１）１フレーム分の輝度分布から成る劣化画像の輝度分布１をＴＶ映像２から準備する第１劣化画像準備工程、（Ｓ２）劣化画像の輝度分布１を復元画像初期値の推定輝度分布３と成す工程、（Ｓ３）ＰＳＦの輝度分布４を特定する第１ＰＳＦ特定工程、（Ｓ４）特定されたＰＳＦの輝度分布４をＰＳＦ初期値の推定輝度分布５と成す工程、（Ｓ５）最大反復演算回数６を設定する工程、（Ｓ６）反復演算回数を計数するカウンターをリセットする工程、（Ｓ７）復元画像初期値の推定輝度分布３を複写しこれを補正復元画像初期値の推定輝度分布７と成し、更に、ＰＳＦの輝度分布４を補正復元画像初期値の推定輝度分布７に畳込み演算する際に補正復元画像初期値の推定輝度分布７の周辺部に発生する演算困難領域８を、ＰＳＦの輝度分布の画像サイズを基にして演算困難領域８を計算し、演算困難領域８の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布７の境界の外側に境界に対してミラー対称に成る様に配置する様にペーストし、補正復元画像初期値の推定輝度分布７を補正する第１復元画像初期値補正工程、（Ｓ８）補正復元画像初期値の推定輝度分布７を劣化画像の輝度分布１と成す工程、（Ｓ９）ＰＳＦ初期値の推定輝度分布５を補正復元画像初期値の推定輝度分布７に畳込み第１の関数を得る工程、（Ｓ１０）第１の関数を反転して第２の関数を得る工程、（Ｓ１１）第２の関数に劣化画像の輝度分布１を掛け合わせて第３の関数を得る工程、（Ｓ１２）補正復元画像初期値の推定輝度分布７の反転関数を求めこれを第４の関数と成す工程、（Ｓ１３）第４の関数を第３の関数に畳込み第５の関数を得る工程、（Ｓ１４）第５の関数をＰＳＦ初期値の推定輝度分布５に掛け合わせて復元ＰＳＦの推定輝度分布９を得る工程、（Ｓ１５）復元ＰＳＦの推定輝度分布９をＰＳＦ初期値の推定輝度分布５と入れ替える工程、（Ｓ１６）カウンターに１を加算する工程、（Ｓ１７）カウンターの値が最大反復演算回数６を超えたという仮説を検証し、もしも検証結果が偽であれば（Ｓ９）の工程へ戻るが、もしも検証結果が真であれば復元ＰＳＦの推定輝度分布９を最尤復元ＰＳＦの輝度分布１０として出力する工程、（Ｓ１８）（Ｓ１）〜（Ｓ８）の工程から構成されるＰＳＦ復元演算準備工程、（Ｓ１９）（Ｓ９）〜（Ｓ１７）の工程から構成される第１ＰＳＦ復元演算工程、（Ｓ２０）ＰＳＦ復元演算準備工程Ｓ１８及び第１ＰＳＦ復元演算工程Ｓ１９を備え、ＰＳＦ復元演算準備工程Ｓ１８及び第１ＰＳＦ復元演算工程Ｓ１９において、Ｓの添え数字の小さい順に実行する事により最大反復演算回数６の反復演算を終え、最尤復元ＰＳＦの輝度分布１０を出力する第１ＰＳＦ復元工程、（Ｓ２１）カウンターをリセット更に（Ｓ２３）へジャンプする工程、（Ｓ２２）最尤復元ＰＳＦの輝度分布１０の画像サイズを基にして復元画像初期値の推定輝度分布３を補正する第１復元画像初期値補正工程と同じ処理手順から成る第２復元画像初期値補正工程、（Ｓ２３）最尤復元ＰＳＦの輝度分布１０を復元画像初期値の推定輝度分布３に畳込み第６の関数を得る工程、（Ｓ２４）第６の関数を反転して第７の関数を得る工程、（Ｓ２５）第７の関数に劣化画像の輝度分布１を掛け合わせて第８の関数を得る工程、（Ｓ２６）最尤復元ＰＳＦの輝度分布１０の反転関数を求めこれを第９の関数と成す工程、（Ｓ２７）第９の関数を第８の関数に畳込み第１０の関数を得る工程、（Ｓ２８）第１０の関数を復元画像初期値の推定輝度分布３に掛け合わせて復元画像の推定輝度分布１１を得る工程、（Ｓ２９）復元画像の推定輝度分布１１を復元画像初期値の推定輝度分布３と入れ替える工程、（Ｓ３０）カウンターに１を加算する工程、（Ｓ３１）カウンターの値が最大反復演算回数６を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｓ２２）の工程へ戻るが、もしも検証結果が真であれば復元画像の推定輝度分布１１を最尤復元画像の輝度分布１２として出力する工程、（Ｓ３２）（Ｓ２１）の工程から構成される第１画像復元演算準備工程、（Ｓ３３）（Ｓ２２）〜（Ｓ３１）の工程から構成される第１画像復元演算工程、（Ｓ３４）第１画像復元演算準備工程Ｓ３２及び第１画像復元演算工程Ｓ３３を備え、第１画像復元演算準備工程Ｓ３２及び第１画像復元演算工程Ｓ３３において、Ｓの添え数字の小さい順に実行する事により最大反復演算回数６の反復演算を終え、最尤復元画像の輝度分布１２を出力する第１画像復元工程、（Ｓ３５）最尤復元画像の輝度分布１２をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号１３を出力する第１ＴＶ映像化工程、を備える事に特徴が有る。
第１ＰＳＦ復元演算工程Ｓ１９は、数式１に基づき演算を行い、特定されたＰＳＦの輝度分布４、特定されたＰＳＦの輝度分布４から成るＰＳＦ初期値の推定輝度分布５及び劣化画像の輝度分布１から、劣化画像の輝度分布１に最も尤もらしい最尤復元ＰＳＦの輝度分布１０を推定する。数式１は、本発明者が発明し登録された特許文献２に記載された数式２５を畳込み演算可能な様に書き改めたものである。数式１の方法は実数のみを演算対象とするため、特許文献２の数式２５の方法に比べて、ＰＳＦの輝度分布のフーリエ変換体であるＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）ではなくＰＳＦの輝度分布を用いており、位相を考慮していない。このため復元精度が落ちるが、ＴＶ映像は像が判別不明な程にボケている事は稀なため、数式１に基づく方法でも実用上問題無い。
数式１において、Ｆは復元画像初期値の推定輝度分布３を、Ｇは劣化画像の輝度分布１を、ＨはＰＳＦの輝度分布４を、Ｈの添え字はｋ番目の値である事を、添え字＃が付いたＦは復元画像の推定輝度分布の反転関数を、丸印中にアスタリスクのマークは畳込み演算を、それぞれ意味している。また、ｋは０以上の整数であり、ｋが０の時が初期値である。
第１画像復元演算工程Ｓ３３は、数式２に基づき演算を行い、特定されたＰＳＦの輝度分布４、劣化画像の輝度分布１から成る復元画像初期値の推定輝度分布３及び劣化画像の輝度分布１から、劣化画像の輝度分布１に最も尤もらしい最尤復元画像の輝度分布１２を復元する。数式２は、本発明者が発明し登録された特許文献２に記載された数式１５を畳込み演算可能な様に書き改めたものである。数式２の方法は実数のみを演算対象とするため、特許文献２の数式１５の方法に比べて、ＰＳＦの輝度分布のフーリエ変換体であるＯＴＦではなくＰＳＦの輝度分布を用いており、位相を考慮していない。このため復元精度が落ちるが、ＴＶ映像は像が判別不明な程にボケている事は稀なため、数式２に基づく方法で実用上問題無い。
数式２において、Ｆは復元画像の推定輝度分布を、Ｆの添え字はｋ番目の値である事を、Ｇは劣化画像の輝度分布を、Ｈは第１ＰＳＦ復元工程で復元された最尤復元ＰＳＦの輝度分布を、添え字＃が付いたＨは最尤復元ＰＳＦの輝度分布の反転関数を、丸印中にアスタリスクのマークは畳込み演算を、それぞれ意味している。また、ｋは０以上の整数であり、ｋが０の時が初期値である。
また、本発明においては、ＴＶ映像は像が判別不明な程にボケている事は稀なため、数式１〜２のＦ０即ち復元画像初期値の推定輝度分布３には劣化画像の輝度分布４を用いている。
本発明で用いる畳込み演算とは畳込み積分の事で有る。数式３は、一般的な畳込み積分の演算式の１例であり、Ｆ（ｉ，ｊ）をＨ（Ｍ，Ｎ）に畳込み、その結果がＧ（ｉ，ｊ）である事を意味している。
しかし、本発明では、有限サイズの画像の分布を対象とするため、データは離散値化しており、畳込み積分の演算には線形畳込みを用いる。数式４は、一般的な線形畳込み演算式の１例である。
数式３〜４において、ｉ，ｊ，ｍ，ｎ、Ｍ及びＮは整数である。但し、数式３〜４による畳込み演算は、畳込み演算を行うマトリクスサイズの半分を超えない最大の整数で表現できる演算困難領域が発生する。例えば、復元画像初期値の推定輝度分布Ｆは１００ｘ１００画素以上のサイズで、復元画像初期値の推定輝度分布Ｆに畳込むＰＳＦの輝度分布 Ｈが３ｘ３マトリクスサイズの場合にはＦの周辺１画素が演算困難領域となり、Ｆに畳込むＨが５ｘ５マトリクスサイズの場合にはＦの周辺２画素が演算困難領域と成るという問題がある。
そこで、本発明で用いる解決策の１例は、使用するＨのサイズに応じて演算困難領域の画素が周辺何画素であるのかを演算し、この演算困難領域に存在するＦの最外周の画素をＦの領域境界の外側にミラー対称に成る様にコピーアンドペーストして、新たに画素を作成し、その後、最外周の位置を変更する事により、つまり、Ｆの画像サイズを変更する事により、演算後に演算困難領域が発生しない様にしている。その際、上辺から右まわりに辺毎にコピーアンドペーストする事により、新たに発生した画素をＦ本来の画素に繰り込む事により、コピーアンドペーストされない領域が発生しない様にしている。例えば、Ｈが５ｘ５サイズでＦがＷｘＬサイズの場合、１回目のコピーアンドペーストでは、ＦはＷｘＬサイズからＷｘ（Ｌ＋２）サイズとなり、２回目のコピーアンドペーストでは、ＦはＷｘ（Ｌ＋２）サイズから（Ｗ＋２）ｘ（Ｌ＋２）サイズとなり、３回目のコピーアンドペーストでは、Ｆは（Ｗ＋２）ｘ（Ｌ＋２）サイズから（Ｗ＋２）ｘ（Ｌ＋４）サイズとなり、４回目のコピーアンドペーストでは、Ｆは（Ｗ＋２）ｘ（Ｌ＋４）サイズから（Ｗ＋４）ｘ（Ｌ＋４）サイズとなる。
図３は、本発明による第１復元画像初期値補正工程Ｓ７において用いる補正処理手順の１例を図示したものである。図３の補正処理手順は、６つのステップから成る。これ等６つのステップは、（１）復元画像初期値の推定輝度分布３を複写しこれを補正復元画像初期値の推定輝度分布７と成すステップ、（２）ＰＳＦの輝度分布４を補正復元画像初期値の推定輝度分布７に畳込み演算する際に補正復元画像初期値の推定輝度分布７の周辺部に発生する演算困難領域８を、ＰＳＦの輝度分布の画像サイズを基にして演算困難領域８を計算するステップ、（３）補正復元画像初期値の推定輝度分布７の上辺に関する演算困難領域８の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布７の上辺の境界の外側に境界に対してミラー対称に成る様に配置する様にペーストするステップ、（４）補正復元画像初期値の推定輝度分布７の右辺に関する演算困難領域８の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布７の右辺の境界の外側に境界に対してミラー対称に成る様に配置する様にペーストするステップ、（５）補正復元画像初期値の推定輝度分布７の下辺に関する演算困難領域８の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布７の下辺の境界の外側に境界に対してミラー対称に成る様に配置する様にペーストするステップ、（６）補正復元画像初期値の推定輝度分布７の左辺に関する演算困難領域８の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布７の左辺の境界の外側に境界に対してミラー対称に成る様に配置する様にペーストするステップ、から構成される。こうする事により、補正復元画像初期値の推定輝度分布７の４隅部の反転部が空白に成る事が防止できる。
図４は、本発明による第２の発明である第２ＰＳＦ復元演算工程Ｓ４８における処理手順の１例をフローチャートとして図示したものである。図４の第２ＰＳＦ復元演算工程Ｓ４８は、（Ｓ４０）ＰＳＦ初期値の推定輝度分布５を補正復元画像初期値の推定輝度分布７に畳込み第１１の関数を得る工程、（Ｓ４１）第１１の関数を反転して第１２の関数を得る工程、（Ｓ４２）第１２の関数に劣化画像の輝度分布１を掛け合わせて第１３の関数を得る工程、（Ｓ４３）補正復元画像初期値の推定輝度分布７の反転関数を求めこれを第１４の関数と成す工程、（Ｓ４４）第１４の関数を第１３の関数に畳込み第１５の関数を得る工程、（Ｓ４５）第１５の関数をＰＳＦ初期値の推定輝度分布５に掛け合わせて復元ＰＳＦの推定輝度分布９を得る工程、（Ｓ４６）復元ＰＳＦの推定輝度分布９をＰＳＦ初期値の推定輝度分布５及び復元ＰＳＦの推定輝度分布９の最終値１４として出力する工程、（Ｓ４７）（Ｓ４０）〜（Ｓ４６）の工程を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う単分ＰＳＦ復元工程、（Ｓ４８）最大反復演算回数６分の単分ＰＳＦ復元工程Ｓ４７を直列に接続する事により構成される第２ＰＳＦ復元演算工程、であり、この第２ＰＳＦ復元演算工程Ｓ４８において、直列に接続された単分ＰＳＦ復元工程Ｓ４７の数に相当する回数の反復演算を行い、最終段目の単分ＰＳＦ復元工程Ｓ４７−Ｆから出力される復元ＰＳＦの推定輝度分布９の最終値１４を最尤復元ＰＳＦの輝度分布１０として出力する事に特徴が有る。
図５は、本発明による第３の発明である第２画像復元演算工程Ｓ５９における処理手順の１例をフローチャートとして図示したものである。図５の第２画像復元演算工程Ｓ５９は、（Ｓ５０）最尤復元ＰＳＦの輝度分布１０の画像サイズを基にして復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正工程と同じ処理手順から成る第３復元画像初期値補正工程、（Ｓ５１）最尤復元ＰＳＦの輝度分布１０を補正復元画像初期値の推定輝度分布７に畳込み第１６の関数を得る工程、（Ｓ５２）第１６の関数を反転して第１７の関数を得る工程、（Ｓ５３）第１７の関数に劣化画像の輝度分布１を掛け合わせて第１８の関数を得る工程、（Ｓ５４）最尤復元ＰＳＦの輝度分布１０の反転関数を求めこれを第１９の関数と成す工程、（Ｓ５５）第１９の関数を第１８の関数に畳込み第２０の関数を得る工程、（Ｓ５６）第２０の関数を復元画像初期値の推定輝度分布３に掛け合わせて復元画像の推定輝度分布１１を得る工程、（Ｓ５７）復元画像の推定輝度分布１１を復元画像初期値の推定輝度分布３及び復元画像の推定輝度分布１１の最終値１５として出力する工程、（Ｓ５８）（Ｓ５０）〜（Ｓ５７）の工程を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う第１単分画像復元工程、（Ｓ５９）最大反復演算回数６分の第１単分画像復元工程Ｓ５８を直列に接続する事により構成される第２画像復元演算工程、であり、この第２画像復元演算工程Ｓ５９において、直列に接続された第１単分画像復元工程Ｓ５８の数に相当する回数の反復演算を行い、最終段目の第１単分画像復元工程Ｓ５８−Ｆから出力される復元画像の推定輝度分布１１の最終値１５を最尤復元画像の輝度分布１２として出力する事に特徴が有る。
本発明においては、ＴＶ映像向け第１超解像処理方法をソフトウエア及びハードウエアにより実施する事が可能であるが、ＴＶ映像は見分けがつかない程ボケてはいないため、最大反復演算回数６を大きくする必要が無く、最大反復演算回数６を１２にしている。ソフトウエアでは処理時間が問題に成るが、ハードウエアでは、予め準備する単分ＰＳＦ復元工程Ｓ４７及び第１単分画像復元工程Ｓ５８の数が問題に成る。最大反復演算回数６が１２なので、それぞれ１２個の単分ＰＳＦ復元工程Ｓ４７及び第１単分画像復元工程Ｓ５８を予め準備しておけば良い。
図６は、本発明による第４の発明であるＴＶ映像向け第２超解像処理方法の処理手順に関する１例をフローチャートとして図示したものである。図６のＴＶ映像向け第２超解像処理方法は、（Ｓ６０）ＴＶ映像２を見ながらＴＶ映像の劣化状況に適したＰＳＦの輝度分布４を特定する第２ＰＳＦ特定工程、（Ｓ６１）１フレーム分の輝度分布から成る劣化画像の輝度分布１をＴＶ映像２から準備する第２劣化画像準備工程、（Ｓ６２）劣化画像の輝度分布１を複写しこれを復元画像初期値の推定輝度分布３と成し、更にＰＳＦの輝度分布４の画像サイズを基にして復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正工程と同じ処理手順から成る第４復元画像初期値補正工程、（Ｓ６３）補正復元画像初期値の推定輝度分布７を劣化画像の輝度分布１と成す工程、（Ｓ６４）最大反復演算回数６を設定する工程、（Ｓ６５）反復演算回数を計数するカウンターを０にリセットする工程、（Ｓ６６）ＰＳＦの輝度分布４に補正復元画像初期値の推定輝度分布７を畳込み第２１の関数を得る工程、（Ｓ６７）第２１の関数を反転して第２２の関数を得る工程、（Ｓ６８）第２２の関数に劣化画像の輝度分布１を掛け合わせて第２３の関数を得る工程、（Ｓ６９）ＰＳＦの輝度分布４の反転関数を求めこれを第２４の関数と成す工程、（Ｓ７０）第２４の関数を第２３の関数に畳込み第２５の関数を得る工程、（Ｓ７１）第２５の関数を復元画像初期値の推定輝度分布３に掛け合わせて復元画像の推定輝度分布１１を得る工程、（Ｓ７２）復元画像の推定輝度分布１１を復元画像初期値の推定輝度分布と入れ替える工程、（Ｓ７３）カウンターに１を加算する工程、（Ｓ７４）カウンターの値が最大反復演算回数６以上であるという仮説を検証し、もしも検証結果が偽の場合には（Ｓ７５）の工程へジャンプするが、もしも検証結果が真の場合に（Ｓ７７）の工程へジャンプする工程、（Ｓ７５）ＰＳＦの輝度分布４の画像サイズを基にして復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正工程と同じ処理手順から成る第５復元画像初期値補正工程、（Ｓ７６）Ｓ６６へジャンプする工程、（Ｓ７７）復元画像の推定輝度分布１１を最尤復元画像の輝度分布１２として出力する工程、（Ｓ７８）（Ｓ６０）〜（Ｓ６５）の工程から構成される第２画像復元演算準備工程、（Ｓ７９）（Ｓ６６）〜（Ｓ７７）の工程から構成される第３画像復元演算工程、（Ｓ８０）第２画像復元演算準備工程及び第３画像復元演算工程を備え、Ｓの添え数字の小さい順に実行する事により最大反復演算回数６の反復演算を終え、最尤復元画像の輝度分布１２を出力する第２画像復元工程、（Ｓ８１）最尤復元画像１２の輝度分布をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号１３を出力する第２ＴＶ映像化工程、を備える事に特徴が有る。
図７は、本発明による第５の発明である第４画像復元演算工程Ｓ９４の処理手順に関する１例をフローチャートとして図示したものである。図７の第４画像復元演算工程Ｓ９４は、（Ｓ８５）ＰＳＦの輝度分布４の画像サイズを基にして復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正工程と同じ処理手順から成る第６復元画像初期値補正工程、（Ｓ８６）ＰＳＦの輝度分布４を補正復元画像初期値の推定輝度分布７に畳込み第２６の関数を得る工程、（Ｓ８７）第２６の関数を反転して第２７の関数を得る工程、（Ｓ８８）第２７の関数に劣化画像の輝度分布１を掛け合わせて第２８の関数を得る工程、（Ｓ８９）ＰＳＦの輝度分布４の反転関数を求めこれを第２９の関数と成す工程、（Ｓ９０）第２９の関数を第２８の関数に畳込み第３０の関数を得る工程、（Ｓ９１）第３０の関数を復元画像初期値の推定輝度分布３に掛け合わせて復元画像の推定輝度分布１１を得る工程、（Ｓ９２）復元画像の推定輝度分布１１を復元画像初期値の推定輝度分布３及び復元画像の推定輝度分布１１の最終値１５として出力する工程、（Ｓ９３）（Ｓ８５）〜（Ｓ９２）の工程を備え、Ｓの添え数字の小さい順に処理する事により１回分の反復演算を行う第２単分画像復元工程、（Ｓ９４）最大反復演算回数６分の第２単分画像復元工程Ｓ９３を直列に接続する事により構成される第４画像復元演算工程、であり、この第４画像復元演算工程Ｓ９４において、直列に接続された第２単分画像復元工程Ｓ９３の数に相当する回数の反復演算を行い、最終段目の第２単分画像復元工程Ｓ９３−Ｆから出力される復元画像の推定輝度分布１１の最終値１５を最尤復元画像の輝度分布１２として出力する事に特徴が有る。
図８は、本発明による第６の発明である第５画像復元演算工程Ｓ１１６の処理手順に関する１例をフローチャートとして図示したものである。図８の第５画像復元演算工程Ｓ１１６は、（Ｓ１００）反復演算回数を計数するカウンターをリセットする工程、（Ｓ１０１）カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｓ１０２）へジャンプし、もしも検証結果が真であれば（Ｓ１０３）へジャンプする工程、（Ｓ１０２）劣化画像の輝度分布１を劣化画像の輝度分布保存用バッファー１６及び復元画像初期値の推定輝度分布用バッファー１７に転送する工程、（Ｓ１０３）復元画像初期値の推定輝度分布用バッファー１７から復元画像初期値の推定輝度分布３を読込む工程、（Ｓ１０４）ＰＳＦの輝度分布４の画像サイズを基にして復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正工程と同じ処理手順から成る第７復元画像初期値補正工程、（Ｓ１０５）ＰＳＦの輝度分布４を補正復元画像初期値の推定輝度分布７に畳込み第３１の関数を得る工程、（Ｓ１０６）第３１の関数を反転して第３２の関数を得る工程、（Ｓ１０７）第３２の関数に劣化画像の輝度分布１を掛け合わせて第３３の関数を得る工程、（Ｓ１０８）ＰＳＦの輝度分布４の反転関数を求めこれを第３４の関数と成す工程、（Ｓ１０９）第３４の関数を第３３の関数に畳込み第３５の関数を得る工程、（Ｓ１１０）第３５の関数を復元画像初期値の推定輝度分布３に掛け合わせて復元画像の推定輝度分布１１を得る工程、（Ｓ１１１）カウンターに１を加算する工程、（Ｓ１１２）カウンターの値が最大反復演算回数６を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｓ１１３）へジャンプし、もしも検証結果が真であれば（Ｓ１１５）へジャンプする工程、（Ｓ１１３）復元画像の推定輝度分布１１を復元画像初期値の推定輝度分布用バッファー１７へ転送する工程、（Ｓ１１４）（Ｓ１０３）へジャンプする工程、（Ｓ１１５）復元画像の推定輝度分布１１を最尤復元画像の輝度分布１２として出力する工程、（Ｓ１１６）（Ｓ１００）〜（Ｓ１１５）の工程を備え、Ｓの添え数字の小さい順に順番通りに実行する事により最大反復演算回数６の反復演算を終え、最尤復元画像の輝度分布１２を出力する第５画像復元演算工程である事に特徴が有る。
図９は、本発明による第７の発明である第１ＰＳＦ特定工程Ｓ３及び第２ＰＳＦ特定工程Ｓ６０の処理手順に関する１例をフローチャートとして図示したものである。図９の第１ＰＳＦ特定工程Ｓ３及び第２ＰＳＦ特定工程Ｓ６０は、（Ｓ１２０）モニタに映し出されるＴＶ映像２の光学的な劣化度合いに応じた劣化示数１８を設定する工程、（Ｓ１２１）劣化示数１８に紐づけられたＰＳＦの輝度分布４をＰＳＦの輝度分布データベース１９から抽出して出力する工程、を備える事に特徴が有る。
図１０は、本発明によるＰＳＦデータベース１９内のデータの１例を図示したものである。ＰＳＦデータベース１９は、２５６段階の劣化示数１８に対してＰＳＦの輝度分布４の画像ファイル名２０をパスごと１対１で紐づけて構成したものであり、図１０の例では表である。この表は、例えば、ＣＳＶファイルまたは配列に格納されている。また、図１０の例では、パスは、ドライブ￥ディレクトリ￥ファイル名という構造であり、例えば、劣化示数１８が１であれば、ＰＳＦの輝度分布４の画像ファイル名２０を示すパスはＰＳＦデータベース１９からＣ：￥ＰＳＦ￥ＰＳＦ＿１．ｂｍｐである。ファイル名はＰＳＦにアンダースコアを付け加え更に劣化示数１８を付け加え更にドットを付け加え最後にファイル形式ｂｍｐを付け加えた構造である。
図１０の例における第１ＰＳＦ特定工程Ｓ３及び第２ＰＳＦ特定工程Ｓ６０の処理手順は、工程Ｓ１２１において、工程Ｓ１２０で設定された劣化示数１８を用いて、ＰＳＦデータベース１９を参照し、劣化示数１８に紐づいたＰＳＦの輝度分布の画像ファイル名２０を抽出し、このＰＳＦの輝度分布の画像ファイル名２０を用いてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの大容量ランダムアクセス記憶装置内の画像として記憶されたＰＳＦの輝度分布４を読み出す。
図１１は、本発明による第８の発明である第１劣化画像準備工程Ｓ１及び第２劣化画像準備工程Ｓ６１における処理手順の１例をフローチャートして図示したものである。図１１の第１劣化画像準備工程Ｓ１及び第２劣化画像準備工程Ｓ６１は、（Ｓ１３０）１フレーム分のＴＶ映像信号２１からフレームを構成するＲＧＢ信号２２を取り出すＲＧＢ信号抽出工程、（Ｓ１３１）１フレーム分のＴＶ映像信号２１の内、ＲＧＢ信号２２を取り出した残りのＴＶ映像信号２３を１フレーム分遅延して出力する遅延工程、（Ｓ１３２）ＲＧＢ信号２２をＹＵＶ変換してＹＵＶ信号２４と成すＹＵＶ変換工程、（Ｓ１３３）ＹＵＶ信号２４の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布１を抽出してＹ劣化画像の輝度分布２５と成し、残りのＵ信号のみから成るＵ劣化画像の分布２６及びＶ信号のみから成るＶ劣化画像の分布２７を保持するＹ劣化画像抽出工程、（Ｓ１３４）Ｙ劣化画像の輝度分布２５のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布１と成し出力するデガンマ処理工程、を備える事に特徴が有る。
図１２は、本発明による第９の発明である第１ＴＶ映像化工程Ｓ３５及び第２ＴＶ映像化工程Ｓ８１における処理手順の１例をフローチャートとして図示したものである。図１２の第１ＴＶ映像化工程Ｓ３４及び第２ＴＶ映像化工程Ｓ７８は、（Ｓ１４０）最尤復元画像の輝度分布１２のガンマ処理を行うガンマ処理工程、（Ｓ１４１）Ｙ劣化画像抽出工程Ｓ１２３で保持したＵ劣化画像の分布２６及びＶ劣化画像の分布２７とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布１２から１枚のＹＵＶ復元画像の分布２８を合成する復元画像合成工程、（Ｓ１４２）ＹＵＶ復元画像の分布２８のＲＧＢ変換を行いＲＧＢ復元画像の分布２９と成すＲＧＢ変換工程、（Ｓ１４３）ＲＧＢ復元画像の分布２９を読み取りＲＧＢ信号３０を出力するＲＧＢ信号変換工程、（Ｓ１４４）ＲＧＢ信号３０を遅延工程Ｓ１２１が出力するＲＧＢ信号２２を取り出した残りのＴＶ映像信号２３と合成して１フレーム分の超解像ＴＶ映像信号１３と成し出力するＴＶ映像信号合成工程、を備える事に特徴が有る。第９の発明は請求項９に記載されたものと同じである。
図１３は、本発明による第１０の発明であるＰＳＦの輝度分布４の１例を図示したものである。図１３のＰＳＦの輝度分布は、縁の無い正方形状の同一サイズの画素から成るものであって、中心が最も明るい２次元正規分布であり、そのサイズが５ｘ５画素である事に特徴が有る。
表１は、第１〜７超解像処理プログラムによって構成されるＴＶ映像向け第１超解像処理方法の４つの態様及びＴＶ映像向け第２超解像処理方法の３つの態様を示す１覧表である。表１から、第１超解像処理プログラムはＴＶ映像向け第１超解像処理方法の第１の態様を構成する全ての工程をコンピュータに実行させるためのものであり、第２超解像処理プログラムはＴＶ映像向け第１超解像処理方法の第２の態様を構成する全ての工程をコンピュータに実行させるためのものであり、第３超解像処理プログラムはＴＶ映像向け第１超解像処理方法の第３の態様を構成する全ての工程をコンピュータに実行させるためのものであり、第４超解像処理プログラムはＴＶ映像向け第１超解像処理方法の第４の態様を構成する全ての工程をコンピュータに実行させるためのものであり、第５超解像処理プログラムはＴＶ映像向け第２超解像処理方法の第１の態様を構成する全ての工程をコンピュータに実行させるためのものであり、第６超解像処理プログラムはＴＶ映像向け第２超解像処理方法の第２の態様を構成する全ての工程をコンピュータに実行させるためのものであり、第７超解像処理プログラムはＴＶ映像向け第２超解像処理方法の第３の態様を構成する全ての工程をコンピュータに実行させるためのものである。第１〜７超解像処理プログラムは、それぞれＣ＋＋で記述されたものを使用しているが、例えば、ＪＡＶＡ（登録商標）、ＨＴＭＬ及びＸＴＭＬといった他の言語単体又は複数のものを組み合わせたものであっても構わない。
本発明による第３４の発明である第１記憶媒体は、表１に示される様に、ＴＶ映像向け第１超解像処理方法の第１〜第４の態様をそれぞれ実行するための第１〜第４超解像処理プログラムを格納するためのものであり、暗号化及び復号化回路または接続して読み書きするコンピュータ側で暗号化及び復号化が可能な機能を搭載した記憶媒体で有れば、何でも良く、例えば、４Ｇバイト以上の容量のＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）フラッシュメモリやＳＤメモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などが使用可能である。
本発明による第３５の発明である第２記憶媒体は、表１に示される様に、ＴＶ映像向け第２超解像処理方法の第１〜第３の態様をそれぞれ実行するための第５〜第７超解像処理プログラムを格納するためのものであり、第１記憶媒体と同じ仕様のものが使用可能である。
図１４は、本発明による第１８の発明であるＴＶ映像向け第１超解像処理装置３１の構成に関する１例を図示したものである。図１４のＴＶ映像向け第１超解像処理装置３１は、（Ｗ１）１フレーム分の輝度分布から成る劣化画像の輝度分布１をＴＶ映像２から準備する第１劣化画像準備手段、（Ｗ２）劣化画像の輝度分布１を復元画像初期値の推定輝度分布３と成す手段、（Ｗ３）ＰＳＦの輝度分布４を特定する第１ＰＳＦ特定手段、（Ｗ４）特定されたＰＳＦの輝度分布４をＰＳＦ初期値の推定輝度分布５と成す手段、（Ｗ５）最大反復演算回数６を設定する手段、（Ｗ６）反復演算回数を計数するカウンターをリセットする手段、（Ｗ７）復元画像初期値の推定輝度分布３を複写しこれを補正復元画像初期値の推定輝度分布７と成し、更に、ＰＳＦの輝度分布４を補正復元画像初期値の推定輝度分布７に畳込み演算する際に補正復元画像初期値の推定輝度分布７の周辺部に発生する演算困難領域８を、ＰＳＦの輝度分布４の画像サイズを基にして演算困難領域８を計算し、演算困難領域８の画素をコピーし、このコピーした画素を補正復元画像初期値の推定輝度分布７の境界の外側に境界に対してミラー対称に成る様に配置する様にペーストし、補正復元画像初期値の推定輝度分布７を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正手段、（Ｗ８）補正復元画像初期値の推定輝度分布７を劣化画像の輝度分布１と成す手段、（Ｗ９）ＰＳＦ初期値の推定輝度分布５を補正復元画像初期値の推定輝度分布７に畳込み第３６の関数Ｆ３６を得る手段、（Ｗ１０）第３６の関数Ｆ３６を反転して第３７の関数Ｆ３７を得る手段、（Ｗ１１）第３７の関数Ｆ３７に劣化画像の輝度分布１を掛け合わせて第３８の関数Ｆ３８を得る手段、（Ｗ１２）補正復元画像初期値の推定輝度分布７の反転関数を求めこれを第３９の関数Ｆ３９と成す手段、（Ｗ１３）第３９の関数Ｆ３９を第３８の関数Ｆ３８に畳込み第４０の関数Ｆ４０を得る手段、（Ｗ１４）第４０の関数Ｆ４０をＰＳＦ初期値の推定輝度分布５に掛け合わせて復元ＰＳＦの推定輝度分布９を得る手段、（Ｗ１５）復元ＰＳＦの推定輝度分布９をＰＳＦ初期値の推定輝度分布５と入れ替える手段、（Ｗ１６）カウンターに１を加算する手段、（Ｗ１７）カウンターの値が最大反復演算回数６を超えたという仮説を検証し、もしも検証結果が偽であれば（Ｗ９）の手段へ戻るが、もしも検証結果が真であれば復元ＰＳＦの推定輝度分布９を最尤復元ＰＳＦの輝度分布１０として出力する手段、（Ｗ１８）（Ｗ１）〜（Ｗ８）の手段から構成されるＰＳＦ復元演算準備手段、（Ｗ１９）（Ｗ９）〜（Ｗ１７）の手段から構成される第１ＰＳＦ復元演算手段、を備え、（Ｗ２０）ＰＳＦ復元演算準備手段及Ｗ１７び第１ＰＳＦ復元演算手段Ｗ１８において、Ｓの添え数字の小さい順に実行する事により最大反復演算回数６の反復演算を終え、最尤復元ＰＳＦ１０の輝度分布を出力する第１ＰＳＦ復元手段、（Ｗ２１）カウンターをリセット更に（Ｗ２３）へジャンプする手段、（Ｗ２２）最尤復元ＰＳＦの輝度分布１０の画像サイズを基にして復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正手段と同じ処理手順から成る第２復元画像初期値補正手段、（Ｗ２３）最尤復元ＰＳＦの輝度分布１０を補正復元画像初期値の推定輝度分布７に畳込み第４１の関数Ｆ４１を得る手段、（Ｗ２４）第４１の関数Ｆ４１を反転して第４２の関数Ｆ４２を得る手段、（Ｗ２５）第４２の関数Ｆ４２に劣化画像の輝度分布１を掛け合わせて第４３の関数Ｆ４３を得る手段、（Ｗ２６）最尤復元ＰＳＦの輝度分布１０の反転関数を求めこれを第４４の関数Ｆ４４と成す手段、（Ｗ２７）第４４の関数Ｆ４４を第４３の関数Ｆ４３に畳込み第４５の関数Ｆ４５を得る手段、（Ｗ２８）第４５の関数Ｆ４５を復元画像初期値の推定輝度分布３に掛け合わせて復元画像の推定輝度分布１１を得る手段、（Ｗ２９）復元画像の推定輝度分布１１を復元画像初期値の推定輝度分布３と入れ替える手段、（Ｗ３０）カウンターに１を加算する手段、（Ｗ３１）カウンターの値が最大反復演算回数６を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｗ２２）の手段へ戻るが、もしも検証結果が真であれば復元画像の推定輝度分布１１を最尤復元画像の輝度分布１２として出力する手段、（Ｗ３２）（Ｗ２１）の手段から構成される第１画像復元演算準備手段、（Ｗ３３）（Ｗ２２）〜（Ｗ３１）の手段から構成される第１画像復元演算手段、を備え、（Ｗ３４）第１画像復元演算準備手段Ｗ３２及び第１画像復元演算手段Ｗ３３において、Ｓの添え数字の小さい順に実行する事により最大反復演算回数６の反復演算を終え、最尤復元画像の輝度分布１２を出力する第１画像復元手段、（Ｗ３５）最尤復元画像の輝度分布１２をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号１３を出力する第１ＴＶ映像化手段、を備える事に特徴が有る。
第１画像復元演算準備手段Ｗ７は、第１画像復元演算準備工程Ｓ７の処理手順に従い復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を求める手段である。
図１５は、本発明による第１９の発明である第２ＰＳＦ復元演算手段Ｗ４８の構成に関する１例を図示したものである。第２ＰＳＦ復元演算手段は、（Ｗ４０）ＰＳＦ初期値の推定輝度分布５を補正復元画像初期値の推定輝度分布７に畳込み第４６の関数Ｆ４６Ｆ４６を得る手段、（Ｗ４１）第４６の関数Ｆ４６を反転して第４７の関数Ｆ４７を得る手段、（Ｗ４２）第４７の関数Ｆ４７に劣化画像の輝度分布１を掛け合わせて第４８の関数Ｆ４８を得る手段、（Ｗ４３）補正復元画像初期値の推定輝度分布７の反転関数を求めこれを第４９の関数Ｆ４９と成す手段、（Ｗ４４）第４９の関数Ｆ４９を第４８の関数Ｆ４８に畳込み第５０の関数Ｆ５０を得る手段、（Ｗ４５）第５０の関数Ｆ５０をＰＳＦ初期値の推定輝度分布５に掛け合わせて復元ＰＳＦの推定輝度分布９を得る手段、（Ｗ４６）復元ＰＳＦの推定輝度分布９をＰＳＦ初期値の推定輝度分布３及び復元ＰＳＦの推定輝度分布９の最終値１４として出力する手段、（Ｗ４７）（Ｗ４０）〜（Ｗ４６）の手段を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う単分ＰＳＦ復元手段、（Ｗ４８）最大反復演算回数分の単分ＰＳＦ復元手段を直列に接続する事により構成される第２ＰＳＦ復元演算手段、であり、この第２ＰＳＦ復元演算手段Ｗ４８において、直列に接続された単分ＰＳＦ復元手段Ｗ４７の数に相当する回数の反復演算を行い、最終段目の単分ＰＳＦ復元手段Ｗ４７−Ｆから出力される復元ＰＳＦの推定輝度分布９の最終値１４を最尤復元ＰＳＦの輝度分布１０として出力する事に特徴が有る。
図１６は、本発明による第２０の発明である第２画像復元演算手段Ｗ５９の構成に関する１例を図示したものである。図１６の第２画像復元演算手段Ｗ５９は、（Ｗ５０）最尤復元ＰＳＦの輝度分布１０の画像サイズを基にして復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正手段と同じ構成から成る第３復元画像初期値補正手段、（Ｗ５１）最尤復元ＰＳＦの輝度分布１０を補正復元画像初期値の推定輝度分布７に畳込み第５１の関数を得る手段、（Ｗ５２）第５１の関数を反転して第５２の関数を得る手段、（Ｗ５３）第５２の関数に劣化画像の輝度分布１を掛け合わせて第５３の関数を得る手段、（Ｗ５４）最尤復元ＰＳＦの輝度分布１０の反転関数を求めこれを第５４の関数と成す手段、（Ｗ５５）第５４の関数を第５３の関数に畳込み第５５の関数を得る手段、（Ｗ５６）第５５の関数を復元画像初期値の推定輝度分布３に掛け合わせて復元画像の推定輝度分布１１を得る手段、（Ｗ５７）復元画像の推定輝度分布１１を復元画像初期値の推定輝度分布３及び復元画像の推定輝度分布１１の最終値１５として出力する手段、（Ｗ５８）（Ｗ５０）〜（Ｗ５７）の手段を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う第１単分画像復元手段、（Ｗ５９）最大反復演算回数６分の第１単分画像復元手段Ｓ５８を直列に接続する事により構成される第２画像復元演算手段、であり、この第２画像復元演算手段Ｗ５９において、直列に接続された第１単分画像復元手段Ｗ５８の数に相当する回数の反復演算を行い、最終段目の第１単分画像復元手段Ｗ５８−Ｆから出力される復元画像の推定輝度分布１１の最終値１５を最尤復元画像の輝度分布１２として出力する事に特徴が有る。
図１７は、本発明による第２１の発明であるＴＶ映像向け第２超解像処理装置３２の構成に関する１例を図示したものである。図１７のＴＶ映像向け第２超解像処理装置３２は、（Ｗ６０）ＴＶ映像２を見ながらＴＶ映像の劣化状況に適したＰＳＦの輝度分布４を特定する第２ＰＳＦ特定手段、（Ｗ６１）１フレーム分の輝度分布から成る劣化画像の輝度分布１をＴＶ映像２から準備する第２劣化画像準備手段、（Ｗ６２）劣化画像の輝度分布１を複写しこれを復元画像初期値の推定輝度分布３と成し、更にＰＳＦの輝度分布４の画像サイズを基にして復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正手段と同じ処理手順から成る第４復元画像初期値補正手段、（Ｗ６３）補正復元画像初期値の推定輝度分布７を劣化画像の輝度分布１と成す手段、（Ｗ６４）最大反復演算回数６を設定する手段、（Ｗ６５）反復演算回数を計数するカウンターの値ｎを０にリセットする手段、（Ｗ６６）特定されたＰＳＦの輝度分布４を補正復元画像初期値の推定輝度分布７に畳込み第５６の関数Ｆ５６を得る手段、（Ｗ６７）第５６の関数Ｆ５６を反転して第５７の関数Ｆ５７を得る手段、（Ｗ６８）第５７の関数Ｆ５７に劣化画像の輝度分布１を掛け合わせて第５８の関数Ｆ５８を得る手段、（Ｗ６９）ＰＳＦの輝度分布４の反転関数を求めこれを第５９の関数Ｆ５９と成す手段、（Ｗ７０）第５９の関数Ｆ５９を第５８の関数Ｆ５８に畳込み第６０の関数Ｆ６０を得る手段、（Ｗ７１）第６０の関数Ｆ６０を復元画像初期値の推定輝度分布３に掛け合わせて復元画像の推定輝度分布１１を得る手段、（Ｗ７２）復元画像の推定輝度分布１１を復元画像初期値の推定輝度分布３と入れ替える手段、（Ｗ７３）カウンターに１を加算する手段、（Ｗ７４）カウンターの値が最大反復演算回数６以上であるという仮説を検証し、もしも検証結果が偽の場合には（Ｗ７５）の手段へジャンプするが、もしも検証結果が真の場合に（Ｗ７７）の手段へジャンプする手段、（Ｗ７５）ＰＳＦの輝度分布４の画像サイズを基にして復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正手段と同じ処理手順から成る第５復元画像初期値補正手段、（Ｗ７６）Ｗ６６へジャンプする手段、（Ｗ７７）復元画像の推定輝度分布１１を最尤復元画像の輝度分布１２として出力する手段、（Ｗ７８）（Ｗ６０）〜（Ｗ６５）の手段から構成される第２画像復元演算準備手段、（Ｗ７９）（Ｗ６６）〜（Ｗ７８）の手段から構成される第３画像復元演算手段、（Ｗ８０）第２画像復元演算準備手段Ｓ７８及び第３画像復元演算手段Ｓ７９を備え、Ｓの添え数字の小さい順に実行する事により最大反復演算回数６の反復演算を終え、最尤復元画像の輝度分布１２を出力する第２画像復元手段、（Ｗ８１）最尤復元画像の輝度分布１２をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号１３を出力する第２ＴＶ映像化手段、を備える事に特徴が有る。
図１８は、本発明による第２２の発明である第４画像復元演算手段Ｗ９４の構成に関する１例を図示したものである。図１８の第４画像復元演算手段Ｗ９４は、（Ｗ８５）ＰＳＦの輝度分布４の画像サイズを基にして復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正手段と同じ処理手順から成る第６復元画像初期値補正手段、（Ｗ８６）ＰＳＦの輝度分布４を補正復元画像初期値の推定輝度分布７に畳込み第６１の関数を得る手段、（Ｗ８７）第６１の関数を反転して第６２の関数を得る手段、（Ｗ８８）第６２の関数に劣化画像の輝度分布１を掛け合わせて第６３の関数を得る手段、（Ｗ８９）ＰＳＦの輝度分布４の反転関数を求めこれを第６４の関数と成す手段、（Ｗ９０）第６４の関数を第６３の関数に畳込み第６５の関数を得る手段、（Ｗ９１）第６５の関数を復元画像初期値の推定輝度分布３に掛け合わせて復元画像の推定輝度分布を得る手段、（Ｗ９２）復元画像の推定輝度分布１１を復元画像初期値の推定輝度分布３及び復元画像の推定輝度分布１１の最終値１５として出力する手段、（Ｗ９３）（Ｗ８５）〜（Ｗ９２）の手段を備え、Ｓの添え数字の小さい順に処理する事により１回分の反復演算を行う第２単分画像復元手段、（Ｗ９４）最大反復演算回数６分の第２単分画像復元手段Ｗ９３を直列に接続する事により構成される第４画像復元演算手段、であり、この第４画像復元演算手段Ｗ９４において、直列に接続された第２単分画像復元手段Ｗ９３の数に相当する回数の反復演算を行い、最終段目の第２単分画像復元手段Ｗ９３−Ｆから出力される復元画像の推定輝度分布１１の最終値１５を最尤復元画像の輝度分布１２として出力する事に特徴が有る。
図１９は、本発明による第２３の発明である第５画像復元演算手段の構成に関する１例を図示したものである。図１９の第５画像復元演算手段は、（Ｗ１００）反復演算回数を計数するカウンターの値ｎを０にリセットする手段、（Ｗ１０１）カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｗ１０２）へジャンプし、もしも検証結果が真であれば（Ｗ１０３）へジャンプする手段、（Ｗ１０２）劣化画像の輝度分布１を劣化画像の輝度分布保存用バッファー１６及び復元画像初期値の推定輝度分布用バッファー１７に転送する手段、（Ｗ１０３）復元画像初期値の推定輝度分布用バッファー１７から復元画像初期値の推定輝度分布３を読込む手段、（Ｗ１０４）ＰＳＦの輝度分布４の画像サイズを基にして復元画像初期値の推定輝度分布３を補正し補正復元画像初期値の推定輝度分布７を得る第１復元画像初期値補正手段と同じ処理手順から成る第７復元画像初期値補正手段、（Ｗ１０５）ＰＳＦの輝度分布４を補正復元画像初期値の推定輝度分布７に畳込み第６６の関数Ｆ６６を得る手段、（Ｗ１０６）第６６の関数Ｆ６６を反転して第６７の関数Ｆ６７を得る手段、（Ｗ１０７）第６７の関数Ｆ６７に劣化画像の輝度分布１を掛け合わせて第６８の関数を得る手段、（Ｗ１０８）ＰＳＦの輝度分布の反転関数を求めこれを第６９の関数と成す手段、（Ｗ１０９）第６９の関数Ｆ６９を第６８の関数Ｆ６８に畳込み第７０の関数Ｆ７０を得る手段、（Ｗ１１０）第３５の関数を復元画像初期値の推定輝度分布３に掛け合わせて復元画像の推定輝度分布１１を得る手段、（Ｗ１１１）カウンターに１を加算する手段、（Ｗ１１２）カウンターの値が最大反復演算回数６を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｗ１１３）へジャンプし、もしも検証結果が真であれば（Ｗ１１５）へジャンプする手段、（Ｗ１１３）復元画像の推定輝度分布１１を復元画像初期値の推定輝度分布用バッファー１７へ転送する手段、（Ｗ１１４）（Ｗ１０３）へジャンプする手段、（Ｗ１１５）復元画像の推定輝度分布１１を最尤復元画像の輝度分布１２として出力する手段、（Ｗ１１６）（Ｗ１００）〜（Ｗ１１５）の手段を備え、Ｗの添え数字の小さい順に順番通りに実行する事により最大反復演算回数６の反復演算を終え、最尤復元画像の輝度分布１２を出力する第５画像復元演算手段である事に特徴が有る。第２３の発明は請求項２３に記載されたものと同じである。
図２０は、本発明による第２４の発明である第１ＰＳＦ特定手段Ｗ３及び第２ＰＳＦ特定手段Ｗ６０の構成に関する１例を図示したものである。図２０の第１ＰＳＦ特定手段Ｗ３及び第２ＰＳＦ特定手段Ｗ６０は、（Ｗ１２０）モニタに映し出されるＴＶ映像２の光学的な劣化度合いに応じた劣化示数１８を設定する手段、（Ｗ１２１）劣化示数１８に紐づけられたＰＳＦの輝度分布４をＰＳＦデータベース１９から抽出する手段を備える事に特徴が有る。
図２１は、本発明による第２５の発明である第１劣化画像準備手段Ｗ１及び第２劣化画像準備手段Ｗ６１の構成に関する１例を図示したものである。図２１の第１劣化画像準備手段Ｗ１及び第２劣化画像準備手段Ｗ６１は、（Ｗ１３０）１フレーム分のＴＶ映像信号２１からフレームを構成するＲＧＢ信号２２を取り出すＲＧＢ信号抽出手段、（Ｗ１３１）１フレーム分のＴＶ映像信号２１の内、ＲＧＢ信号２２を取り出した残りのＴＶ映像信号２３を１フレーム分遅延して出力する遅延手段、（Ｗ１３２）ＲＧＢ信号２２をＹＵＶ変換してＹＵＶ信号２４と成すＹＵＶ変換手段、（Ｗ１３３）ＹＵＶ信号２４の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布１を抽出してＹ劣化画像の輝度分布２５と成し、残りのＵ信号のみから成るＵ劣化画像の分布２６及びＶ信号のみから成るＶ劣化画像の分布２７を保持するＹ劣化画像抽出手段、（Ｗ１３４）Ｙ劣化画像の輝度分布２５のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布１と成し出力するデガンマ処理手段、を備える事に特徴が有る。第２５の発明は請求項２５に記載されたものと同じで有る。
図２２は、本発明による第２６の発明である第１ＴＶ映像化手段Ｗ３５及び第２ＴＶ映像化手段Ｗ８１の構成に関する１例を図示したものである。図２２の第１ＴＶ映像化手段Ｗ３５及び第２ＴＶ映像化手段Ｗ８１は、（Ｗ１４０）最尤復元画像の輝度分布１２のガンマ処理を行うガンマ処理手段、（Ｗ１４１）Ｙ劣化画像抽出手段Ｗ１３３で保持したＵ劣化画像の分布２６及びＶ劣化画像の分布２７とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布１２から１枚のＹＵＶ復元画像の分布２８を合成する復元画像合成手段、（Ｗ１４２）ＹＵＶ復元画像の分布２８のＲＧＢ変換を行いＲＧＢ復元画像の分布２９と成すＲＧＢ変換手段、（Ｗ１４３）ＲＧＢ復元画像の分布２９を読み取りＲＧＢ信号３０を出力するＲＧＢ信号変換手段、（Ｗ１４４）ＲＧＢ信号３０を遅延手段Ｗ１３１が出力するＲＧＢ信号２２を取り出した残りのＴＶ映像信号２３と合成して１フレーム分の超解像ＴＶ映像信号１３と成し出力するＴＶ映像信号合成手段、を備える事に特徴が有る。
表２は、第８〜１４超解像処理プログラムによって構成されるＴＶ映像向け第１超解像処理装置３１の４つの態様及びＴＶ映像向け第２超解像処理装置３２の３つの態様を示す１覧表である。表２から、第８超解像処理プログラムはＴＶ映像向け第１超解像処理装置３１の第１の態様を構成する全ての手段を構成すると共にこれ等の手段をコンピュータに実行させるためのものであり、第９超解像処理プログラムはＴＶ映像向け第１超解像処理装置３１の第２の態様を構成する全ての手段を構成すると共にこれ等の手段をコンピュータに実行させるためのものであり、第１０超解像処理プログラムはＴＶ映像向け第１超解像処理装置３１の第３の態様を構成する全ての手段を構成すると共にこれ等の手段をコンピュータに実行させるためのものであり、第１１超解像処理プログラムはＴＶ映像向け第１超解像処理装置３１の第４の態様を構成する全ての手段を構成すると共にこれ等の手段をコンピュータに実行させるためのものであり、第１２超解像処理プログラムはＴＶ映像向け第２超解像処理装置３２の第１の態様を構成する全ての手段を構成すると共にこれ等の手段をコンピュータに実行させるためのものであり、第１３超解像処理プログラムはＴＶ映像向け第２超解像処理装置３２の第２の態様を構成する全ての手段を構成すると共にこれ等の手段をコンピュータに実行させるためのものであり、第１４超解像処理プログラムはＴＶ映像向け第２超解像処理装置３２の第３の態様を構成する全ての手段を構成すると共にこれ等の手段をコンピュータに実行させるためのものである。第８〜１４超解像処理プログラムは、それぞれＣ＋＋で記述されたものを使用しているが、例えば、ＪＡＶＡ（登録商標）、ＨＴＭＬ及びＸＴＭＬといった他の言語単体又は複数のものを組み合わせたものであっても構わない。
本発明による第３６の発明である第３記憶媒体は、表２に示される様に、ＴＶ映像向け第１超解像処理装置３１の第１〜第４の態様の内のそれぞれの態様内の全ての手段を構成し且つこれ等の全ての手段を実行するための第８〜第１１超解像処理プログラムを格納するためのものであり、第１記憶媒体と同じ仕様のものが使用可能である。
本発明による第３７の発明である第４記憶媒体は、表２に示される様に、ＴＶ映像向け第２超解像処理装置３２の第１〜第３の態様の内のそれぞれの態様内の全ての手段を構成し且つこれ等の全ての手段を実行するための第１２〜第１４超解像処理プログラムを格納するためのものであり、第１記憶媒体と同じ仕様のものが使用可能である。
第８〜第１４超解像処理プログラムの各々は、ＴＶ映像向け超解像処理装置の種類及びその態様に合わせてその態様内の全ての手段を構成し且つ実行手順を規定する装置プログラム、超解像処理に関する操作を行うための超解像処理ウインドウを作成しコンピュータのモニタに表示する全プログラムに共通な超解像処理ウインドウ作成プログラム、超解像処理ウインドウ内の全てのボタン、コンピュータのキーボードのボタン、マウスにより指定された位置及び同位置における右クリック及び左クリックを常時監視し右クリック及び左クリックなどの監視対象へのアクションがあればこれに適した処理を実行するための全プログラムに共通な超解像処理ウインドウ監視プログラム、という同じ構造を有している。
実施例１は、本発明によるＴＶ映像向け第１超解像処理装置３１の第１の態様（表２）を第１超解像処理装置プログラム３３によってコンピュータ３４に構成したＴＶ映像向け第１超解像処理システム３５である。一方、ＴＶ映像向け第１超解像処理装置３１の第２〜４の態様は第１の態様とシステム構成上及び超解像処理品質の面において差が無い。このため、ＴＶ映像向け第１超解像処理装置３１の代表として第１の態様を実施例１に選んだ。
図２３は、本発明による実施例１のＴＶ映像向け第１超解像処理システム３５の構成に関する１例を図示したものである。図２３のＴＶ映像向け第１超解像処理システム３５は、デジタルＴＶ映像信号を入力／出力するために用いるデジタルＴＶ映像信号入出力端子３６、ＴＶ映像向け第１超解像処理装置３１がインストールされたコンピュータ３４、ＴＶ映像信号の入力に関する劣化画像の輝度分布１をＴＶ映像２から準備する第１劣化画像準備手段Ｗ１がＦＰＧＡによって構成されたＴＶ映像入力基板３７、超解像ＴＶ映像３８の出力に関する最尤復元画像の輝度分布１２をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号１３を出力する第１ＴＶ映像化手段Ｗ３５がＦＰＧＡによって構成された超解像ＴＶ映像出力基板３９、映像表示モード指定ボタン４０で指定された条件表示指定ボタン４１によって指定された映像表示方法及び超解像処理条件表示重畳有り無しを超解像ＴＶ映像信号１３に反映させる超解像処理モード切替制御回路基板４２、デジタルＴＶ映像ケーブル４３、バスケーブル４４、から構成されている。図２３においては、電源ケーブルは省略されている。
図２３において、コンピュータ３４に構成されたＴＶ映像向け第１超解像処理システム３５内のＴＶ映像向け第１超解像処理装置３１の第１劣化画像準備手段Ｗ１及び第１ＴＶ映像化手段Ｗ３５にはＴＶ映像入力基板３７及び超解像ＴＶ映像出力基板３９と言うハードウエアを用いているため、コンピュータ３４内の、第１劣化画像準備手段Ｗ１はＴＶ映像入力基板３７が出力する劣化画像の輝度分布１を取得する手段として構成し、また第１ＴＶ映像化手段Ｗ３５は超解像ＴＶ映像出力基板３９へ最尤復元画像の輝度分布１２を転送する手段として構成されている。
図２３において、ＴＶ映像向け第１超解像処理装置３１をコンピュータ３４に構成するにあたり、まず、図２４の例に習い、第３記憶媒体４５をコンピュータ３４の裏側のＵＳＢ端子に接続し、次に、第３記憶媒体４５に記憶された第１超解像処理装置プログラム３３をコンピュータ３４にインストールする。すると、コンピュータ３４は、ＴＶ映像向け第１超解像処理装置３１を起動するために使用するＴＶ映像向け第１超解像処理装置アイコン４６をモニタ４７内の画面上に置く。次に、ユーザ４８がＴＶ映像向け第１超解像処理装置アイコン４６をクリックして、ＴＶ映像向け第１超解像処理装置３１を起動する。すると、まず、第１超解像処理装置プログラム３３内の装置プログラム４９が起動して、ＴＶ映像向け第１超解像処理方法に従い処理を行うＴＶ映像向け第１超解像処理装置３１内の全ての手段を構成し、次に、超解像処理ウインドウ作成プログラム５０が起動して、ＴＶ映像向け第１超解像処理装置３１における超解像処理に関する操作を行うために用いる超解像処理ウインドウ５２を作成しモニタ４７に表示し、次に、超解像処理ウインドウ監視プログラム５１が起動し、超解像処理ウインドウ５２内の全てのボタン、コンピュータ３４のキーボード５３のボタン、コンピュータ３４のマウス５４により指定された位置及び同位置における右クリック及び左クリックを常時監視し右クリック及び左クリックなどの監視対象へのアクションがあればこれに適した処理を実行する処理を、超解像処理ウインドウ５２内の閉じるボタン５５が押されるまで行う。
図２５は、超解像処理ウインドウ５２の構成に関する１例を図示したものである。図２５の超解像処理ウインドウ５２は、映像ウインドウ５８内の映像の表示モードを半割のテストモード、ＴＶ映像２のみを表示する入力映像モード又は超解像ＴＶ映像３８のみを表示する超解像ＴＶ映像モードの中から１つをプルダウンメニューから選択するために使用する映像表示モード指定ボタン４０、超解像処理条件の最大反復演算回数６及び劣化示数１８を超解像ＴＶ映像３８の右上隅に重畳して表示するために使用するトグルスイッチの条件表示指定ボタン４１、超解像処理ウインドウ５２を閉じるために使用する閉じるボタン５５、劣化示数１８を０〜２５５の２５６段階中のいずれかをプルダウンメニュー（本発明のプルダウンメニューではデフォルトは薄青色の背景で表示されている。）から１つの数字を指定して設定するための劣化示数設定ボタン５６、クリックするとコンボボックスが開くのでリストの中の値を選ぶか又はテキストボックスに表示されているデフォルト値の上から最大反復演算回数６を直接入力して設定するために使用する最大反復演算回数設定ボタン５７、ＴＶ映像２及び超解像ＴＶ映像３８などを表示するための映像ウインドウ５８、現在日時及び超解像条件及びシステムからのメッセージなどを表示するためのもので上下スクロールバーが右端に設けられた情報ウインドウ６０、超解像処理を設定された条件のもと開始するためにクリックする超解像処理開始ボタン６１、超解像処理を中断するためにクリックする超解像処理中断ボタン６２、中断した超解像処理を再開するための超解像処理再開ボタン６３、超解像処理を停止するためにクリックする超解像処理停止ボタン６４、ヘルプウインドウを開きヘルプ内容を検索そして表示するためのヘルプボタン６５、映像ウインドウ５８内の縮小／拡大したい映像をクリックして指定した後にこのボタン内の＋を押せば指定した映像が拡大され‐を押せば指定した映像が拡大され０を押せばデフォルト倍率に復帰して指定した映像が表示される映像拡大／縮小ボタン６６、から構成されている。図２５は、テストモードにおける映像の表示状態を示している。
コンピュータ３４は、６４ビットインストラクションセット３２ビット６コア／チップＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、３２Ｇバイト以上のメモリ、１テラバイト以上の記憶容量を有するＨＤＤ、１２８Ｇバイト以上の記憶容量を有するＳＤＤ（Ｓｏｌｉｄｓｔａｔｅ Ｄｉｓｋ Ｄｒｉｖｅ）、３つ以上のＵＳＢ端子、１つ以上のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）端子、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信モジュール、電話端子、キーボード５３、マウス５４、ＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）ディスプレイ、マイクロソフト社製Ｗｉｎｄｏｗｓ（登録商標）８ Ｏ／Ｓ、マイクロソフト社製 Ｖｉｓｕａｌ Ｓｔｕｄｉｏ ２０１０（ＴＭ）（Ｖｉｓｕａｌ Ｃ＋＋ ２０１０を含む）、マイクロソフト社製 Ｏｆｆｉｃｅ ２０１３（ＴＭ）から構成され、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＡＮ、ＵＳＢ及びインターネットを介して他のコンピュータと通信可能なものである。コンピュータ３４には、量産され市場で流通している多くの種類のデスクトップ型コンピュータの中から選択したものを使用しており、同様の規格を有するものであれば、ワークステーションでも良い。また、Ｏ／Ｓの種類が異なるが、サーバであっても良い。
図２６は、ＴＶ映像向け第１超解像処理システム３５において超解像処理を実行する手順の１例をトランザクションテーブルとして図示したものである。図２６のトランザクションテーブルは、ユーザ４８の時間軸（実線）、ユーザ４８による入力処理を意味するユーザ４８の時間軸から斜めに伸びる実線矢印、コンピュータ３４の時間軸（点線）、コンピュータ３４による応答を意味するコンピュータ３４の時間軸から斜めに伸びる点線矢印、開始及び終了のタイミングを意味する文字入り楕円、から構成されている。
図２６のトランザクションテーブルに従い、ＴＶ映像向け第１超解像処理システム３５において超解像処理を実行するまでの手順は、（１）「起動」ステップにおいて、ユーザ４８はＴＶ映像向け第１超解像処理装置アイコン４６をクリックし、コンピュータ３４は（Ａ）超解像処理ウインドウ５２をモニタ４７に表示し、（２）「超解像処理条件入力−１」ステップにおいて、ユーザ４８は劣化示数設定ボタン５６をクリックし、コンピュータ３４は（Ｂ）劣化示数設定ボタン５６の位置にプルダウンメニューを展開表示し、（３）「超解像処理条件入力−２」ステップにおいて、ユーザ４８はプルダウンメニューから適切な数値を選択し、コンピュータ３４は（Ｃ）劣化示数１８を取り込み、プルダウンメニューを閉じ、（４）「超解像処理条件入力−３」ステップにおいて、ユーザ４８は最大反復演算回数設定ボタン５７をクリックし、コンピュータ３４は（Ｄ）最大反復演算回数設定ボタン５７の位置にコンボボックスを展開し、（５）「超解像処理条件入力−４」ステップにおいて、ユーザ４８はコンボボックスから適切な数値を選択又は入力し、コンピュータ３４は（Ｅ）最大反復演算回数６を取り込み、コンボボックスを閉じ、（６）「超解像処理条件入力−５」ステップにおいて、ユーザ４８は映像表示モード指定ボタン４０をクリックし、コンピュータ３４は（Ｆ）映像表示モード指定ボタン４０の位置にプルダウンメニューを展開し、（７）「超解像処理条件入力−６」ステップにおいて、ユーザ４８はプルダウンメニューから適切なモードを選択し、コンピュータ３４は（Ｇ）映像表示モード指定ボタン４０を取り込み、プルダウンメニューを閉じ、（８）「超解像処理条件入力−７」ステップにおいて、ユーザ４８は条件表示指定ボタン４１をクリックし、コンピュータ３４は（Ｈ）条件表示指定ボタン４１の色を反転して表示設定である事を表示し、（９）「超解像処理開始」ステップにおいて、ユーザ４８は超解像処理開始ボタン４８をクリックし、コンピュータ３４は（Ｉ）超解像処理を実行し、超解像ＴＶ映像３８及びＴＶ映像２を映像表示モード指定ボタン４０及び条件表示指定ボタン４１に従い映像ウインドウ５８に反映して表示する。超解像処理ウインドウ５２は、超解像処理中であっても、超解像処理ウインドウ５２のボタンへのアクセスを常時監視しているため、超解像処理条件変更ならば、ユーザ４８は、映像表示モード指定ボタン４０、条件表示指定ボタン４１、劣化示数設定ボタン５６、最大反復演算回数設定ボタン５７、をクリックして条件を再設定すれば映像は表示されたままで、超解像処理条件の変更が反映される。もしも、ユーザ４８が超解像処理を終了したいと思った場合には、ユーザ４８は、閉じるボタン５５をクリックする。すると、コンピュータ３４はこれに応答して超解像処理ウインドウ５２を閉じ、更に、ＴＶ映像向け第１超解像処理装置３１を閉じる。
図２６の超解像処理手順に従い、ユーザ４８は、まずステップ（１）を実行して超解像処理ウインドウ５２をモニタ４７に表示させ、次に、ステップ（２）を実行して、劣化示数設定ボタン５６の位置にプルダウンメニューを展開表示させ、ステップ（３）でＴＶ映像２が表示されている地上デジタルＴＶ５９を見ながらＴＶ映像２の劣化度合いが少ないと感じたので劣化示数１８（デフォルト値は２５６段階中の６０）として１４を選択し、次に、ステップ（４）を実行して、最大反復演算回数設定ボタン５７の位置にコンボボックスを展開させ、ステップ（５）でＴＶ映像２が表示されている地上デジタルＴＶ５９を見ながらＴＶ映像２の劣化度合いが少ないと感じたので最大反復演算回数６（デフォルト値は３）として４を選択し、次に、ステップ（６）を実行して映像表示モード指定ボタン４０の位置にプルダウンメニューを展開させ、ステップ（７）で、まだ超解像処理条件が確定していないので、テストモードを選択し、次に、ステップ（８）を実行して、条件表示指定ボタン４１を表示設定にし、次に、ステップ（９）を実行して、超解像処理を実行すると、超解像処理ウインドウ５２の映像ウインドウ５８にＴＶ映像２と超解像ＴＶ映像３８が横に並んだ半割の状態で表示され、ユーザ４８は、この超解像処理条件で良いと考え、地上デジタルＴＶ５９を操作して入力設定をビデオにして、映像ウインドウ５８に表示されている映像を地上デジタルＴＶ５９に全画面表示させ、次に、ユーザ４８は、映像表示モード指定ボタン４０を操作して超解像ＴＶ映像モードに変更し、映像ウインドウ５８及び地上デジタルＴＶ５９に超解像ＴＶ映像３８を全画面表示させ、視聴した。
図２７は、実施例１による超解像処理の状況の１例を示す図である。図２７には、テストモードにおけるＴＶ映像２と超解像ＴＶ映像３８が横に並んだ半割の状態で表示された映像の１フレームを表示している。半割の右側が超解像処理前のＴＶ映像２の１フレームであり、半割の左側は、半割の右側の１フレームを超解像処理した超解像ＴＶ映像３８の１フレームである。超解像ＴＶ映像３８の１フレームの右上隅には、劣化示数１８がＦという記号で表示され、更に最大反復演算回数６がＩという記号で表示され、その上映像表示モードがテストモードである事はテストという略語で表示されている。図２７から、ＴＶ映像２の表示開始位置が超解像ＴＶ映像３８よりも多少右にずれているが、本発明による実施例１のＴＶ映像向け第１超解像処理システム３５による超解像品質は十分な実用性を備えている事が分かる。
実施例２は、本発明によるＴＶ映像向け第２超解像処理装置３２の第１の態様（表２）を応用したＴＶ映像向け第２超解像処理システム６７である。ＴＶ映像向け第２超解像処理システム６７は、ＴＶ映像向け第１超解像処理システム３５の第１超解像処理装置プログラム３３を第５超解像処理装置プログラム６８に変更する事により構成されるが、ユーザ４８とコンピュータ３４との間のインターフェースである超解像処理ウインドウ５２には何等の変更が無いため、ユーザ４８から見たシステム上の変更及び超解像処理手順の変更は無い。しかし、ＴＶ映像向け第２超解像処理システム６７には、第１ＰＳＦ復元手段Ｗ１９が存在しないため、処理手段の数が約半分であり、実行処理速度が高速で有るという特徴がある反面、劣化示数１８の設定に敏感であるという欠点がある。超解像処理品質は、ＴＶ映像で有って且つ超解像処理条件設定が実施例１と同じであれば、実施例１と殆ど差が無く、図２７の例と同様の結果が得られる。また、ＴＶ映像向け第２超解像処理装置３２の第２〜３の態様は第１の態様とシステム構成上及び超解像処理品質の面において差が無い。
実施例３は、ＴＶ映像向け第１超解像処理装置３１の第４の態様（表２）をハードウエア化した第１セットトップボックス６９である。
図２８は、実施例３による第１セットトップボックス６９の内部の構成に関する１例を示す図である。図２８の第１セットトップボックス６９は、デジタルＴＶ映像信号を入力／出力するために用いるデジタルＴＶ映像信号入出力端子３６、ＴＶ映像２の劣化度合いを示す劣化示数１８を設定するために用いるＦ設定手段７０、最大反復演算回数６を設定するために用いるＩ設定手段７１、超解像処理モードをテスト又は本処理に切り替えるモードスイッチ７２、超解像処理のモード及びＦ設定手段７０及びＩ設定手段７１の値をＴＶ映像信号に重畳するかどうか指定する条件表示スイッチ７３、超解像処理のモード及びＦ設定手段７０及びＩ設定手段７１の値を常時モニタするためのＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタ７４、第１セットトップボックス６９の電源のオン／オフを行うために用いる電源スイッチ７５、電源スイッチ７５がオンの時にのみ点灯するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ランプ７６、ケース７７、第１セットトップボックスプログラム７８をインストールする事によって第１ＰＳＦ復元演算手段Ｗ１８及び第１画像復元演算手段Ｗ３２以外のＴＶ映像向け第１超解像処理装置３１の第４の態様の全ての手段が予め定義されたコンピュータ基板７９、デジタルＴＶ映像信号がデジタルインターレース方式かデジタルプログレッシブＴＶ映像信号かを自動的に判定しデジタルインターレース方式の時にのみデジタルＴＶ映像信号をデジタルプログレッシブＴＶ映像信号に変換するアップコンバータ回路基板８０、１フレーム分の輝度分布から成る劣化画像の輝度分布１をＴＶ映像２から準備する第１劣化画像準備手段Ｗ１を回路化したものから成るＧ回路基板８１、最尤復元画像の輝度分布１２をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号１３を出力する第１ＴＶ映像化手段３５を回路化したものから成るＲ回路基板８２、超解像処理モード切替制御回路基板４２、ＨＤＤ８３、第第１ＰＳＦ復元演算手段Ｗ１９を６つの単分ＰＳＦ復元手段Ｗ４７を直列接続して構成した第２ＰＳＦ復元演算手段Ｗ４８をＦＰＧＡを用いて作製したＰ回路基板８４、第１画像復元演算手段Ｗ３３を６つの第１単分画像復元手段Ｗ５８を直列接続して構成した第２画像復元演算手段Ｗ５９をＦＰＧＡを用いて作製したＦ回路基板８５、第１セットトップボックス６９内の必要なものへ適切な電源を提供する電源回路基板８６、コンピュータ基板７９から最適な駆動条件の提供を受け適量な風量で放熱を支援する放熱ファン８７、ＬＡＮ端子８８、ＵＳＢ端子８９〜９１、商用交流単相１００Ｖ電源ケーブル９２、バスケーブル９３、高周波ケーブル９４、電源ケーブル９５、信号線９６、信号線９７、から構成されている。
Ｆ設定手段７０はＴＶ映像向け第１超解像処理装置３１の第１ＰＳＦ特定手段Ｗ３及びＴＶ映像向け第２超解像処理装置３２の第２ＰＳＦ特定手段Ｗ６０に共通の手段であり、地上デジタルＴＶ５９などのモニタに映し出されるＴＶ映像２の光学的な劣化度合いに応じた劣化示数１８を設定するための手段Ｗ１２０に相当する。また、Ｉ設定手段７１はＴＶ映像向け第１超解像処理装置３１の手段Ｗ５及びＴＶ映像向け第２超解像処理装置３２の手段Ｗ６４に相当する。Ｆ設定手段７０及びＩ設定手段７１は１０進数３桁の数字を設定可能なビットスイッチであり、データ及び電源はバスケーブル９３を介して行い、且つ設定値が直接読める仕様のものが好適である。この仕様のものは、市場で入手可能である。
第１セットトップボックスプログラム７８は、Ｃ＋＋言語で記述されたプログラムであり、コンピュータ基板７９に搭載されたＣＰＵが読込んで実行可能なものであり、事前にインストールされ、第１ＰＳＦ特定手段Ｗ３及び第２ＰＳＦ特定手段Ｗ６０の中の手段Ｗ１２１（図２０）がコンピュータ基板７９内のコンピュータに定義され、更に、手段Ｗ１２１が参照するＰＳＦデータベース１９（図１０、図２０）がＨＤＤ８３内に構成され、その他、第１ＰＳＦ復元演算手段Ｗ１８及び第１画像復元演算手段Ｗ３２以外のＴＶ映像向け第１超解像処理装置３１の第４の態様の全ての手段が定義され且つ第１セットトップボックス６９内のハードウエアとの間で情報のやり取りがスムーズに行われる様プログラミングされており、電源スイッチ７５が投入されると、初期化後自動実行される。
図２９は、第１セットトップボックス６９における処理手順の１例をフローチャートとして図示したものである。図２９のフローチャートは、（ステップ１）電源投入による超解像処理モード切替制御回路基板４２、アップコンバータ回路基板８０、Ｇ回路基板８１、Ｒ回路基板８２、Ｐ回路基板８４及びＦ回路基板８５のリセットするステップ、（ステップ２）Ｇ回路基板８１から転送される劣化画像の輝度分布１をＰ回路基板８４及びＦ回路基板８５へ転送するステップ、（ステップ３）コンピュータ基板７９に定義された手段Ｗ５がＩ設定手段７１から最大反復演算回数６を読込むステップ、（ステップ４）コンピュータ基板７９に定義された第１ＰＳＦ特定手段Ｗ３がＦ設定手段７０から劣化示数１８を読込これを検索情報としてＰＳＦデータベース１９を検索して得られたＰＳＦの輝度分布４をＰ回路基板８４へ転送するステップ、（ステップ５）コンピュータ基板７９に定義された第１復元画像初期値補正手段Ｗ７がＧ回路基板８１から転送される劣化画像の輝度分布１を復元画像初期値の推定輝度分布３及び補正復元画像初期値の推定輝度分布７と成した後にＰＳＦの輝度分布４の画像サイズを基に補正復元画像初期値の推定輝度分布７の演算困難領域８を計算し更に補正復元画像初期値の推定輝度分布７の演算困難領域８を補正し更に補正復元画像初期値の推定輝度分布７を劣化画像の輝度分布１と成し更に補正復元画像初期値の推定輝度分布７をＰ回路基板８４及びＦ回路基板８５へ転送するステップ、（ステップ６）コンピュータ基板７９のコンピュータがＰ回路基板８４で最大反復演算回数６の反復演算を開始させるステップ、（ステップ７）コンピュータ基板７９のコンピュータはＰ回路基板８４が出力する最尤復元ＰＳＦの輝度分布１０をＦ回路基板８５へ転送するステップ、（ステップ８）コンピュータ基板７９のコンピュータがＦ回路基板８５で最大反復演算回数６の反復演算を開始させるステップ、（ステップ９）コンピュータ基板７９のコンピュータはＦ回路基板８５が出力する最尤復元画像の輝度分布１２をＲ回路基板８２へ転送するステップ、（ステップ１０）（ステップ４）へ戻るステップ、（ステップ１１）オフラインで電源スイッチ７５がオフに成る事で終了するステップ、から構成されている。処理は（ステップ１）から開始され、その後（ステップ３）〜（ステップ１１）の間で繰り返し行われ、（ステップ１２）において、オフラインで電源スイッチ７５がオフに成る事で終了する。
コンピュータ基板７９は最新のウィンドウズ（登録商標）ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）系コンピュータであり、Ｃ＋＋言語の使用可能なＰＣマザーボードである。ＰＣマザーボードには、各種Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ ｉｎｔｅｒｆａｃｅ）、ＬＡＮ端子８８、ＵＳＢ端子８９〜９１、マイク端子、スピーカ端子などの外部接続端子を数多く有しており、また、価格もそれ程高価ではないため好適である。ＰＣマザーボードは市場で多くの種類が流通しており、１６Ｇバイトなどの多量の高速メモリを搭載したハイエンドのものであれば何でも良い。また、Ｃ＋＋言語は、ＰＣマザーボード購入後にインストールしても良い。
超解像処理モード切替制御回路基板４２は、モードスイッチ７２及び条件表示スイッチ７３の状態を常時読込且つ自動判定し、（モード１）もしもモードスイッチ７２が本処理モード且つ条件表示スイッチ７３が重畳無しの場合には、アップコンバータ回路基板８０から１フレーム分のＴＶ映像信号２１を受取りＧ回路基板８１に出力し、Ｒ回路基板８２から出力されてくる超解像処理後の１フレーム分の超解像ＴＶ映像信号１３をデジタルＴＶ映像信号入出力端子３６に出力し、（モード２）もしもモードスイッチ７２が本処理モード且つ条件表示スイッチ７３が重畳有りの場合には、アップコンバータ回路基板８０から１フレーム分のＴＶ映像信号２１を受取りＧ回路基板８１に出力し、次に、Ｒ回路基板８２から出力されてくる超解像処理後の１フレーム分の超解像ＴＶ映像信号１３にコンピュータ基板７９から読込んだ情報を右上隅に重畳してデジタルＴＶ映像信号入出力端子３６に出力し、（モード３）もしもモードスイッチ７２がテストモード且つ条件表示スイッチ７３が重畳無しの場合には、アップコンバータ回路基板８０から１フレーム分のＴＶ映像信号２１を受取り複製して一方をＧ回路基板８１に出力すると同時にもう１方を１フレーム分遅延させ、遅延させた方を横幅１／２に圧縮して１枚の画面の右半分に成る様にし、更にＲ回路基板８２から出力されてくる超解像処理後の１フレーム分の超解像ＴＶ映像信号１３を横幅１／２に圧縮して１枚の画面の左半分に成る様にして合成する事により１枚の画面の右半分が超解像処理前のフレームで左半分が超解像処理後のフレームとなる様に調整した１フレーム分の超解像ＴＶ映像信号１３をデジタルＴＶ映像信号入出力端子３６に出力し、（モード４）もしもモードスイッチ７２がテストモード且つ条件表示スイッチ７３が重畳有りの場合には、アップコンバータ回路基板８０から１フレーム分のＴＶ映像信号２１を受取り複製して一方をＧ回路基板８１に出力すると同時にもう１方を１フレーム分遅延させ、遅延させた方を横幅１／２に圧縮して１枚の画面の右半分に成る様にし、更にＲ回路基板８２から出力されてくる超解像処理後の１フレーム分の超解像ＴＶ映像信号１３を横幅１／２に圧縮して１枚の画面の左半分に成る様にして合成する事により１枚の画面の右半分が超解像処理前のフレームで左半分が超解像処理後のフレームとなる様に調整した１フレーム分の超解像ＴＶ映像信号１３にコンピュータ基板７９から読込んだ情報を右上隅に重畳してデジタルＴＶ映像信号入出力端子３６に出力する。アップコンバータ回路基板８０とＧ回路基板８１との間、Ｇ回路基板８１と超解像処理モード切替制御回路基板４２との間、超解像処理モード切替制御回路基板４２とＲ回路基板８２との間、の信号及び情報の伝達は自動で行われる。
ＨＤＤ８３には、第１セットトップボックスプログラム７８の他、ウィンドウズ（登録商標）ＯＳ（図示せず）、Ｃ＋＋（図示せず）、ＰＳＦデータベース１９（図示せず）などが搭載されている。ＨＤＤ８３は、１Ｔバイト以上の容量のもので、且つランダム高速読み書き可能なもので、且つバスインターフェース及び８Ｍバイト以上のバッファーを搭載しているもので、データ及び信号の送受信並びに電源の供給はバスケーブル９３を介して行う仕様のものであれば何でも良い。市場には多くの種類があるが、スペースの関係上２．５インチサイズのものが望ましい。
超解像処理モード切替制御回路基板４２、アップコンバータ回路基板８０、Ｇ回路基板８１、Ｒ回路基板８２、Ｐ回路基板８４及びＦ回路基板８５はＦＰＧＡを用いて自作する必要があるが、アップコンバータ回路基板８０及び電源回路基板８６は、設計諸元を満たす様な既製品を市場で購入する事が可能である。
図３０は、実施例３による第１セットトップボックス６９のセットアップの状況の１例を図示したものである。図３０において、ユーザ４８は、地上デジタルＴＶ５９のデジタルビデオ信号・音声入出力端子から伸びるデジタル信号ケーブル９８を第１セットトップボックス６９のデジタルＴＶ映像信号入出力端子３６に接続する。
次に、ユーザ４８は、まず、第１セットトップボックス６９の電源スイッチ７５をオンにして電源を入れ、次に、地上デジタルＴＶ５９の電源を入れ、地上デジタルＴＶ５９のチャンネルコマンダー９９を用いて好みのチャンネルに合わせ、ＴＶ放送映像を地上デジタルＴＶ５９のＴＶモニタ１００で確認しながら、モードスイッチ７２をテストに、更に条件表示スイッチ７３を重畳有りに切り替えた。すると、ＴＶモニタ１００の右半分に超解像処理前のＴＶ放送映像が流れ、そして左半分にデフォルト設定条件で超解像処理された後のＴＶ放送映像が遅れる事無く流れ、ＴＶモニタ１００の右上隅には最大反復演算回数６の値が「Ｉ＝６」として、劣化示数１８の値が「Ｆ＝６０」として、テストモードが「テスト」という表示でＴＶ映像に重畳している。
次に、ユーザ４８は、フレームの光学的劣化が少なかったため、Ｆ設定手段７０を用いて劣化度合いをデフォルトの２５６段階中６０から３０に設定し、Ｉ設定手段７１を用いて最大反復演算回数をデフォルトの２５６段階中３のままにして、略実時間処理による超解像処理後の画質の変化をＴＶモニタ１００で確認した。この結果、大きな画質の変化は無く、デフォルト値以下で良い事が分かった。これは、第１セットトップボックス６９のＴＶ映像向け超解像装置２７はＰＳＦの輝度分布を復元するため、Ｆ設定手段７０により設定された劣化示数１８に紐づいたＰＳＦ初期値の推定輝度分布６が多少変化しても十分な復元能力があるためである。また、ユーザ４８は、この後、略実時間処理による超解像処理後の画質の変化をＴＶモニタ１００で確認しながら、Ｆ設定手段７０及びＩ設定手段７１を変化させて最適な画質の状態を探り出すことができる。１度、超解像処理条件（Ｆ設定手段７０及びＩ設定手段７１の設定値）が決定してしまえば、モードスイッチ７２を切り替えて、ＴＶモニタ１００の画面全面で超解像処理後のＴＶ放送映像を楽しめる。この状態であっても、超解像処理条件は可変可能である。
実施例４は、本発明によるＴＶ映像向け第２超解像処理装置３２の第２の態様をハードウエア化した第２セットトップボックス１０１である。第２セットトップボックス１０１は、第１セットトップボックス６９のハードウエアの構成からＰ回路基板８４を取り除き、第１セットトップボックスプログラム７８の替わりに第２セットトップボックスプログラム１０２を使用する以外は全て第１セットトップボックス６９と同じである。このため、図２８を書き直して示すことはしていない。第１セットトップボックス６９と第２セットトップボックス１０１との間の違いは、セットトップボックスの番号のみであり、図３０を書き直して示すことはしていない。
第２セットトップボックスプログラム１０２は、Ｃ＋＋言語で記述されたプログラムであり、コンピュータ基板７９に搭載されたＣＰＵが読込んで実行可能なものであり、事前にインストールされ、ＰＳＦの輝度分布を特定する第２ＰＳＦ特定手段Ｗ６０の中の手段Ｗ１２１（図２０）がコンピュータ基板７９内のコンピュータに定義され、更に、手段Ｗ９８が参照するＰＳＦデータベース１９（図１０、図２０）がＨＤＤ８３内に構成され、その他、第４画像復元演算手段Ｗ９４以外のＴＶ映像向け第２超解像処理装置３２の第２の態様の全ての手段が定義され且つ第２セットトップボックス１０１内のハードウエアとの間で情報のやり取りがスムーズに行われる様プログラミングされており、電源スイッチ７５が投入されると、初期化後自動実行される。
第２セットトップボックス１０１内の処理手順の１例は図２８に示されたフローチャートの内、（ステップ２）〜（ステップ７）が次の様に変更に成るが、他のステップに変更は無い。（ステップ２）は、「Ｇ回路基板８１から転送される劣化画像の輝度分布１をＦ回路基板８５へ転送するステップ」と変更され、（ステップ３）は、「コンピュータ基板７９に定義された手段Ｗ６４がＩ設定手段７１から最大反復演算回数６を読込むステップ」と変更され、（ステップ４）は、「コンピュータ基板７９に定義された第２ＰＳＦ特定手段Ｗ６０がＦ設定手段７０から劣化示数１８を読込これを検索情報としてＰＳＦデータベース１９を検索して得られたＰＳＦの輝度分布４をＦ回路基板８５へ転送するステップ」と変更され、（ステップ５）は、「コンピュータ基板７９に定義された第１復元画像初期値補正手段Ｗ７がＧ回路基板８１から転送される劣化画像の輝度分布１を復元画像初期値の推定輝度分布３及び補正復元画像初期値の推定輝度分布７と成した後にＰＳＦの輝度分布４の画像サイズを基に補正復元画像初期値の推定輝度分布７の演算困難領域８を計算し更に補正復元画像初期値の推定輝度分布７の演算困難領域８を補正し更に補正復元画像初期値の推定輝度分布７を劣化画像の輝度分布１と成し更に補正復元画像初期値の推定輝度分布７をＦ回路基板８５へ転送するステップ」と変更され、（ステップ６）及び（ステップ７）は省略される。
第２セットトップボックス１０１のＴＶ映像向け第２超解像処理装置３２は、ＰＳＦ復元手段を有していない。このため、第２セットトップボックス１０１の処理速度は、第１セットトップボックス６９の約２倍であるが、Ｆ設定手段７０による劣化示数１８に敏感であるという欠点がある。第２セットトップボックス１０１は、高速であるため、高速化する事により短縮された処理時間を反復演算回数の増加に当てる事により画像復元画質の向上が図れる。このため、第２セットトップボックス１０１のＩ設定手段７１のデフォルトは２５６段階中の５に設定されている。
第２セットトップボックス１０１の画像復元能力は、Ｆ設定手段７０によるＰＳＦの輝度分布の特定を丁寧且つ正確に行えば、第１セットトップボックス６９と何ら遜色ない結果が得られる事を確認している。
実施例５は、本発明によるＴＶ映像向け第２超解像処理装置３２の第３の態様をハードウエア化した第３セットトップボックス１０３である。第３セットトップボックス１０３は、第２セットトップボックス１０１のＦ回路基板８５のＦＰＧＡのプログラムを第５画像復元手段Ｗ１１６が構成できる様に変更して作製されている。このため、第３セットトップボックス１０３の内部構成は図２８のものから、Ｐ回路基板８４を取り除き、第１セットトップボックスプログラム７８の替わりに第３セットトップボックスプログラム１０４を使用する以外は全て第１セットトップボックス６９と同じである。このため、図２８を書き直して示すことはしていない。また、第１セットトップボックス６９と第３セットトップボックス１０３との間の違いは、セットトップボックスの番号のみであり、図３０を書き直して示すことはしていない。
第３セットトップボックスプログラム１０４は、Ｃ＋＋言語で記述されたプログラムであり、コンピュータ基板７９に搭載されたＣＰＵが読込んで実行可能なものであり、事前にインストールされ、ＰＳＦの輝度分布を特定する第２ＰＳＦ特定手段Ｗ６０の中の手段Ｗ１２１（図２０）がコンピュータ基板７９内のコンピュータに定義され、更に、手段Ｗ１２１が参照するＰＳＦデータベース１９（図１０、図２０）がＨＤＤ８３内に構成され、その他、第５画像復元手段Ｗ１１６以外のＴＶ映像向け第２超解像処理装置３２の第３の態様の全ての手段が定義され且つ第３セットトップボックス１０３内のハードウエアとの間で情報のやり取りがスムーズに行われる様プログラミングされており、電源スイッチ７５が投入されると、初期化後自動実行される。
実施例５による第３セットトップボックス１０３における処理手順は第２セットトップボックス１０１と同じである。
第３セットトップボックス１０３は、第２セットトップボックス１０１同様にＰＳＦの輝度分布復元手段を有さないため第１セットトップボックス６９よりも高速で有るが、画像復元手段がループ構造であるため第２セットトップボックス１０１よりも処理速度が遅い、但し、第２単分画像復元手段Ｗ９３を最大６段直列に接続する第４画像復元演算手段Ｗ９４に比べて第２単分画像復元手段Ｗ９３相当の演算手段が１段で良い第５画像復元演算手段Ｗ１１６を使用しているため、ＦＰＧＡ内のゲート規模が約１／５で済むため、経済的である。ゲート規模が１／６に成らない理由は、劣化画像の輝度分布保存用バッファー１６及び復元画像初期値の推定輝度分布用バッファー１７を備える必要があり、ＦＰＧＡ内のブロックメモリを大量に消費するためである。さて、超解像処理品質という面では、第３セットトップボックス１０３は第２セットトップボックス１０１と同様に劣化示数１８の影響を受けるものの、第１セットトップボックス６９と実用上差が無く差が無く、図２７に示した例の様な結果が得られる。
本発明は、ＴＶ映像を利用するものであれば、如何なる用途にも適用可能であるため、ビデオカメラやデジタルカメラの開発・製造を行う精密機器業及び電子機器業、アプリケーションやゲームなどのソフトウエア開発業、内視鏡やＭＲＩなど医療機器業、モニタなどの情報機器業、監視カメラなどの防災・防犯機器業、アーカイブ業などで利用可能である。
１・・・劣化画像の輝度分布、２・・・ＴＶ映像、３・・・復元画像初期値の推定輝度分布、４・・・ＰＳＦの輝度分布、５・・・ＰＳＦ初期値の推定輝度分布、６・・・最大反復演算回数、７・・・補正復元画像初期値の推定輝度分布、８・・・演算困難領域、９・・・復元ＰＳＦの推定輝度分布、１０・・・最尤復元ＰＳＦの輝度分布、１１・・・復元画像の推定輝度分布、１２・・・最尤復元画像の輝度分布、１３・・・超解像ＴＶ映像信号、１４・・・最終値、１５・・・最終値、１６・・・劣化画像の輝度分布保存用バッファー、１７・・・復元画像初期値の推定輝度分布用バッファー、１８・・・劣化示数、１９・・・ＰＳＦデータベース、２０・・・画像ファイル名、２１・・・１フレーム分のＴＶ映像信号、２２・・・ＲＧＢ信号、２３・・・残りのＴＶ映像信号、２４・・・ＹＵＶ信号、２５・・・Ｙ劣化画像の輝度分布、２６・・・Ｕ劣化画像の分布、２７・・・Ｖ劣化画像の分布、２８・・・ＹＵＶ復元画像の分布、２９・・・ＲＧＢ復元画像の分布、３０・・・ＲＧＢ信号、３１・・・ＴＶ映像向け第１超解像処理装置、３２・・・ＴＶ映像向け第２超解像処理装置、３３・・・第１超解像処理装置プログラム、３４・・・コンピュータ、３５・・・ＴＶ映像向け第１超解像処理システム、３６・・・デジタルＴＶ映像信号入出力端子、３７・・・ＴＶ映像入力基板、３８・・・超解像ＴＶ映像、３９・・・超解像ＴＶ映像出力基板、４０・・・映像表示モード指定ボタン、４１・・・条件表示指定ボタン、４２・・・超解像処理モード切替制御回路基板、４３・・・デジタルＴＶ映像ケーブル、４４・・・バスケーブル、４５・・・第３記憶媒体、４６・・・ＴＶ映像向け第１超解像処理装置アイコン、４７・・・モニタ、４８・・・ユーザ、４９・・・装置プログラム、５０・・・超解像処理ウインドウ作成プログラム、５１・・・超解像処理ウインドウ監視プログラム、５２・・・超解像処理ウインドウ、５３・・・キーボード、５４・・・マウス、５５・・・閉じるボタン、５６・・・劣化示数設定ボタン、５７・・・最大反復演算回数設定ボタン、５８・・・映像ウインドウ、５９・・・地上デジタルＴＶ、６０・・・情報ウインドウ４１、６１・・・超解像処理開始ボタン４４、６２・・・超解像処理中断ボタン４５、６３・・・超解像処理再開ボタン４６、６４・・・超解像処理停止ボタン４７、６５・・・ヘルプボタン、６６・・・映像拡大／縮小ボタン４９、６７・・・ＴＶ映像向け第２超解像処理システム６７、６８・・・第５超解像処理装置プログラム５４、６９・・・第１セットトップボックス、７０・・・Ｆ設定手段、７１・・・Ｉ設定手段、７２・・・モードスイッチ、７３・・・条件表示スイッチ、７４・・・ＬＣＤモニタ、７５・・・電源スイッチ、７６・・・ＬＥＤランプ、７７・・・ケース、７８・・・第１セットトップボックスプログラム、７９・・・コンピュータ基板、８０・・・アップコンバータ回路基板、８１・・・Ｇ回路基板、８２・・・Ｒ回路基板、８３・・・ＨＤＤ、８４・・・Ｐ回路基板、８５・・・Ｆ回路基板、８６・・・電源回路基板、８７・・・放熱ファン、８８・・・ＬＡＮ端子、８９・・・ＵＳＢ端子、９０・・・ＵＳＢ端子、９１・・・ＵＳＢ端子、９２・・・商用交流単相１００Ｖ電源ケーブル、９３・・・バスケーブル、９４・・・高周波ケーブル、９５・・・電源ケーブル、９６・・・信号線、９７・・・信号線、９８・・・デジタル信号ケーブル、９９・・・チャンネルコマンダー、１００・・・ＴＶモニタ、１０１・・・第２セットトップボックス、１０２・・・第２セットトップボックスプログラム、１０３・・・第３セットトップボックス、１０４・・・第３セットトップボックスプログラム、Ｆ３６・・・第Ｆ３６の関数、Ｆ３７・・・第Ｆ３７の関数、Ｆ３８・・・第Ｆ３８の関数、Ｆ３９・・・第Ｆ３９の関数、Ｆ４０・・・第Ｆ４０の関数、Ｆ４１・・・第Ｆ４１の関数、Ｆ４２・・・第Ｆ４２の関数、Ｆ４３・・・第Ｆ４３の関数、Ｆ４４・・・第Ｆ４４の関数、Ｆ４５・・・第Ｆ４５の関数、Ｆ４６・・・第Ｆ４６の関数、Ｆ４７・・・第Ｆ４７の関数、Ｆ４８・・・第Ｆ４８の関数、Ｆ４９・・・第Ｆ４９の関数、Ｆ５０・・・第Ｆ５０の関数、Ｆ５１・・・第５１の関数、Ｆ５２・・・第５２の関数、Ｆ５３・・・第５３の関数、Ｆ５４・・・第５４の関数、Ｆ５５・・・第５５の関数、Ｆ５６・・・第５６の関数、Ｆ５７・・・第５７の関数、Ｆ５８・・・第５８の関数、Ｆ５９・・・第５９の関数、Ｆ６０・・・第６０の関数、Ｆ６１・・・第６１の関数、Ｆ６２・・・第６２の関数、Ｆ６３・・・第６３の関数、Ｆ６４・・・第６４の関数、Ｆ６５・・・第６５の関数、Ｆ６６・・・第６６の関数、Ｆ６７・・・第６７の関数、Ｆ６８・・・第６８の関数、Ｆ６９・・・第６９の関数、Ｆ７０・・・第７０の関数、Ｆ・・・劣化示数、ＨＤＤ・・・Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、Ｉ・・・最大反復演算回数、Ｓ１・・・第１劣化画像準備工程、Ｓ２・・・工程、Ｓ３・・・第１ＰＳＦ特定工程、Ｓ４〜Ｓ６・・・工程、Ｓ７・・・第１復元画像初期値補正工程、Ｓ８〜Ｓ１６・・・工程、Ｓ１７・・・ＰＳＦ復元演算準備工程、Ｓ１８・・・第１ＰＳＦ復元演算工程、Ｓ１９・・・第１ＰＳＦ復元工程、Ｓ２０・・・工程、Ｓ２１・・・第２復元画像初期値補正工程、Ｓ２２〜Ｓ３０・・・工程、Ｓ３１・・・第１画像復元演算準備工程、Ｓ３２・・・第１画像復元演算工程、Ｓ３３・・・第１画像復元工程、Ｓ３４・・・第１ＴＶ映像化工程、Ｓ４０〜Ｓ４６・・・工程、Ｓ４７・・・単分ＰＳＦ復元工程、Ｓ４７−１・・・第１段目の単分ＰＳＦ復元工程、Ｓ４７−２・・・第２段目の単分ＰＳＦ復元工程、Ｓ４７−Ｆ・・・最終段目の単分ＰＳＦ復元工程、Ｓ４８・・・第２ＰＳＦ復元演算工程、Ｓ４９〜Ｓ５７・・・工程、Ｓ５８・・・第１単分画像復元工程、Ｓ５８−１・・・第１段目の第１単分画像復元工程、Ｓ５８−２・・・第２段目の第１単分画像復元工程、Ｓ５８−Ｆ・・・最終段目の第１単分画像復元工程、Ｓ５９・・・第２画像復元演算工程、Ｓ６０・・・第２ＰＳＦ特定工程、Ｓ６１・・・第２劣化画像準備工程、Ｓ６２〜Ｓ６４・・・工程、Ｓ６５・・・第４復元画像初期値補正工程、Ｓ６６〜Ｓ７４・・・工程、Ｓ７５・・・第２画像復元演算準備工程、Ｓ７６・・・第３画像復元演算工程、Ｓ７７・・・第２画像復元工程、Ｓ７８・・・第２ＴＶ映像化工程、Ｓ８０〜Ｓ８７・・・工程、Ｓ８８・・・第２単分画像復元工程、Ｓ８８−１・・・第１段目の第２単分画像復元工程、Ｓ８８−２・・・第２段目の第２単分画像復元工程、Ｓ８８−Ｆ・・・最終段目の第２単分画像復元工程、Ｓ８９・・・第４画像復元演算工程、Ｓ９０〜Ｓ９２・・・工程、Ｓ９３・・・第６復元画像初期値補正工程、Ｓ９４〜Ｓ１０５・・・工程、Ｓ１０６・・・第５画像復元演算工程、Ｓ１１０〜Ｓ１１１・・・工程、Ｓ１２０・・・ＲＧＢ信号抽出工程、Ｓ１２１・・・遅延工程、Ｓ１２２・・・ＹＵＶ変換工程、Ｓ１２３・・・Ｙ劣化画像抽出工程、Ｓ１２４・・・デガンマ工程、Ｓ１３０〜Ｓ１３４・・・工程、Ｗ１・・・第１劣化画像準備手段、Ｗ２・・・手段、Ｗ３・・・第１ＰＳＦ特定手段、Ｗ４〜Ｗ６・・・手段、Ｗ７・・・第１復元画像初期値補正手段、Ｗ８〜Ｗ１７・・・手段、Ｗ１８・・・ＰＳＦ復元演算準備手段、Ｗ１９・・・第１ＰＳＦ復元演算手段、Ｗ２０・・・第１ＰＳＦ復元手段、Ｗ２１・・・第２復元画像初期値補正手段、Ｗ２２〜Ｗ３１・・・手段、Ｗ３２・・・第１画像復元演算準備手段、Ｗ３３・・・第１画像復元演算手段、Ｗ３４・・・第１画像復元手段、Ｗ３５・・・第１ＴＶ映像化手段、Ｗ４０〜Ｗ４６・・・手段、Ｗ４７・・・単分ＰＳＦ復元手段、Ｗ４７−１・・・第１段目の単分ＰＳＦ復元手段、Ｗ４７−２・・・第２段目の単分ＰＳＦ復元手段、Ｗ４７−Ｆ・・・最終段目の単分ＰＳＦ復元手段、Ｗ４８・・・第２ＰＳＦ復元演算手段、Ｗ５０〜Ｗ５７・・・手段、Ｗ５８・・・第１単分画像復元手段、Ｗ５８−１・・・第１段目の第１単分画像復元手段、Ｗ５８−２・・・第２段目の第１単分画像復元手段、Ｗ５８−Ｆ・・・最終段目の第１単分画像復元手段、Ｗ５９・・・第２画像復元演算手段、Ｗ６０・・・第２ＰＳＦ特定手段、Ｗ６１・・・第２劣化画像準備手段、Ｗ６２・・・第４復元画像初期値補正手段、Ｗ６３・・・手段、Ｗ６４・・・最大反復演算回数６を設定、Ｗ６５〜Ｗ７４・・・手段、Ｗ７５・・・第５復元画像初期値補正手段、Ｗ７６〜Ｗ７７・・・手段、Ｗ７８・・・第２画像復元演算準備手段、Ｗ７９・・・第３画像復元演算手段、Ｗ８０・・・第２画像復元手段、Ｗ８１・・・第２ＴＶ映像化手段、Ｗ８５・・・第６復元画像初期値補正手段、Ｗ８６〜Ｗ９２・・・手段、Ｗ９３・・・第２単分画像復元手段、Ｗ９３−１・・・第１段目の第２単分画像復元手段、Ｗ９３−２・・・第２段目の第２単分画像復元手段、Ｗ９３−Ｆ・・・最終段目の第２単分画像復元手段、Ｗ９４・・・第４画像復元演算手段、Ｗ１００〜Ｗ１０３・・・手段、Ｗ１０４・・・第７復元画像初期値補正工程、Ｗ１０５〜Ｗ１１５・・・手段、Ｗ１１６・・・第５画像復元演算工程、Ｗ１２０〜Ｗ１２１・・・手段、Ｗ１３０・・・ＲＧＢ信号抽出手段、Ｗ１３１・・・遅延手段、Ｗ１３２・・・ＹＵＶ変換手段、Ｗ１３３・・・Ｙ劣化画像抽出手段、Ｗ１３４・・・デガンマ手段、Ｗ１４０〜Ｗ１４４・・・手段

Claims (37)

  1. ＴＶ映像を構成する１フレームの光学的劣化を低減して劣化前のフレームを復元した超解像ＴＶ映像信号を出力する事によってＴＶ映像を復元するＴＶ映像向け第１超解像処理方法であって、
    （Ｓ１）１フレーム分の輝度分布から成る劣化画像の輝度分布をＴＶ映像から準備する第１劣化画像準備工程と、
    （Ｓ２）前記劣化画像の輝度分布を復元画像初期値の推定輝度分布と成す工程と、
    （Ｓ３）ＰＳＦの輝度分布を特定する第１ＰＳＦ特定工程と、
    （Ｓ４）特定された前記ＰＳＦの輝度分布をＰＳＦ初期値の推定輝度分布と成す工程と、
    （Ｓ５）最大反復演算回数を設定する工程と、
    （Ｓ６）反復演算回数を計数するカウンターをリセットする工程と、
    （Ｓ７）前記復元画像初期値の推定輝度分布を複写しこれを補正復元画像初期値の推定輝度分布と成し、更に、前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み演算する際に前記補正復元画像初期値の推定輝度分布の周辺部に発生する演算困難領域を、前記ＰＳＦの輝度分布の画像サイズを基にして前記演算困難領域を計算し、前記演算困難領域の画素をコピーし、このコピーした画素を前記補正復元画像初期値の推定輝度分布の境界の外側に前記境界に対してミラー対称に成る様に配置する様にペーストし、前記補正復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と、
    （Ｓ８）前記補正復元画像初期値の推定輝度分布を劣化画像の輝度分布と成す工程と、
    （Ｓ９）前記ＰＳＦ初期値の推定輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第１の関数を得る工程と、
    （Ｓ１０）前記第１の関数を反転して第２の関数を得る工程と、
    （Ｓ１１）前記第２の関数に前記劣化画像の輝度分布を掛け合わせて第３の関数を得る工程と、
    （Ｓ１２）前記補正復元画像初期値の推定輝度分布の反転関数を求めこれを第４の関数と成す工程と、
    （Ｓ１３）前記第４の関数を前記第３の関数に畳込み第５の関数を得る工程と、
    （Ｓ１４）前記第５の関数を前記ＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る工程と、
    （Ｓ１５）前記復元ＰＳＦの推定輝度分布を前記ＰＳＦ初期値の推定輝度分布と入れ替える工程と、
    （Ｓ１６）前記カウンターに１を加算する工程と、
    （Ｓ１７）前記カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽であれば（Ｓ９）の工程へ戻るが、もしも検証結果が真であれば前記復元ＰＳＦの推定輝度分布を最尤復元ＰＳＦの輝度分布として出力する工程と、
    （Ｓ１８）前記（Ｓ１）〜（Ｓ８）の工程から構成されるＰＳＦ復元演算準備工程と、
    （Ｓ１９）前記（Ｓ９）〜（Ｓ１７）の工程から構成される第１ＰＳＦ復元演算工程と、
    （Ｓ２０）前記ＰＳＦ復元演算準備工程及び前記第１ＰＳＦ復元演算工程を備え、前記ＰＳＦ復元演算準備工程及び前記第１ＰＳＦ復元演算工程において、Ｓの添え数字の小さい順に実行する事により前記最大反復演算回数の反復演算を終え、最尤復元ＰＳＦの輝度分布を出力する第１ＰＳＦ復元工程と、
    （Ｓ２１）前記カウンターをリセットし更に（Ｓ２３）へジャンプする工程と、
    （Ｓ２２）前記最尤復元ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第２復元画像初期値補正工程と、
    （Ｓ２３）前記最尤復元ＰＳＦの輝度分布を前記復元画像初期値の推定輝度分布に畳込み第６の関数を得る工程と、
    （Ｓ２４）前記第６の関数を反転して第７の関数を得る工程と、
    （Ｓ２５）前記第７の関数に前記劣化画像の輝度分布を掛け合わせて第８の関数を得る工程と、
    （Ｓ２６）前記最尤復元ＰＳＦの輝度分布の反転関数を求めこれを第９の関数と成す工程と、
    （Ｓ２７）前記第９の関数を前記第８の関数に畳込み第１０の関数を得る工程と、
    （Ｓ２８）前記第１０の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、
    （Ｓ２９）前記復元画像の推定輝度分布を前記復元画像初期値の推定輝度分布と入れ替える工程と、
    （Ｓ３０）前記カウンターに１を加算する工程と、
    （Ｓ３１）前記カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｓ２２）の工程へ戻るが、もしも検証結果が真であれば前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程と、
    （Ｓ３２）前記（Ｓ２１）の工程から構成される第１画像復元演算準備工程と、
    （Ｓ３３）前記（Ｓ２２）〜（Ｓ３１）の工程から構成される第１画像復元演算工程と、
    （Ｓ３４）前記第１画像復元演算準備工程及び前記第１画像復元演算工程を備え、前記第１画像復元演算準備工程及び前記第１画像復元演算工程において、Ｓの添え数字の小さい順に実行する事により前記最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第１画像復元工程と、
    （Ｓ３５）前記最尤復元画像の輝度分布をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号を出力する第１ＴＶ映像化工程と
    を備える事に特徴があるＴＶ映像向け第１超解像処理方法。
  2. 前記第１ＰＳＦ復元演算工程の第２の態様は、
    （Ｓ４０）前記ＰＳＦ初期値の推定輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第１１の関数を得る工程と、
    （Ｓ４１）前記第１１の関数を反転して第１２の関数を得る工程と、
    （Ｓ４２）前記第１２の関数に前記劣化画像の輝度分布を掛け合わせて第１３の関数を得る工程と、
    （Ｓ４３）前記復元画像初期値の推定輝度分布の反転関数を求めこれを第１４の関数と成す工程と、
    （Ｓ４４）前記第１４の関数を前記第１３の関数に畳込み第１５の関数を得る工程と、
    （Ｓ４５）前記第１５の関数を前記ＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る工程と、
    （Ｓ４６）前記復元ＰＳＦの推定輝度分布を前記ＰＳＦ初期値の推定輝度分布及び復元ＰＳＦの推定輝度分布の最終値として出力する工程と、
    （Ｓ４７）前記（Ｓ４０）〜（Ｓ４６）の工程を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う単分ＰＳＦ復元工程と、
    （Ｓ４８）前記最大反復演算回数分の前記単分ＰＳＦ復元工程Ｓ４７を直列に接続する事により構成される第２ＰＳＦ復元演算工程と
    を備え、
    前記第２ＰＳＦ復元演算工程において、直列に接続された単分ＰＳＦ復元工程の数に相当する回数の反復演算を行い、最終段目の単分ＰＳＦ復元工程から出力される復元ＰＳＦの推定輝度分布の最終値を最尤復元ＰＳＦの輝度分布として出力する事に特徴が有る請求項１に記載のＴＶ映像向け第１超解像処理方法。
  3. 前記第１画像復元演算工程の第２の態様は、
    （Ｓ５０）前記最尤復元ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第３復元画像初期値補正工程と、
    （Ｓ５１）前記最尤復元ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第１６の関数を得る工程と、
    （Ｓ５２）前記第１６の関数を反転して第１７の関数を得る工程と、
    （Ｓ５３）前記第１７の関数に前記劣化画像の輝度分布を掛け合わせて第１８の関数を得る工程と、
    （Ｓ５４）前記最尤復元ＰＳＦの輝度分布の反転関数を求めこれを第１９の関数と成す工程と、
    （Ｓ５５）前記第１９の関数を前記第１８の関数に畳込み第２０の関数を得る工程と、
    （Ｓ５６）前記第２０の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、
    （Ｓ５７）前記復元画像の推定輝度分布を復元画像初期値の推定輝度分布及び復元画像の推定輝度分布の最終値として出力する工程と、
    （Ｓ５８）前記（Ｓ５０）〜（Ｓ５７）の工程を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う第１単分画像復元工程と、
    （Ｓ５９）前記最大反復演算回数分の前記第１単分画像復元工程を直列に接続する事により構成される第２画像復元演算工程と
    を備え、
    前記第２画像復元演算工程において、直列に接続された前記第１単分画像復元工程の数に相当する回数の反復演算を行い、最終段目の第１単分画像復元工程から出力される復元画像の推定輝度分布の最終値を最尤復元画像の輝度分布として出力する事に特徴が有る請求項１に記載のＴＶ映像向け第１超解像処理方法。
  4. ＴＶ映像を構成する１フレームの光学的劣化を低減して劣化前のフレームを復元した超解像ＴＶ映像信号を出力する事によってＴＶ映像を復元するＴＶ映像向け第２超解像処理方法であって、
    （Ｓ６０）前記ＴＶ映像を見ながら前記ＴＶ映像の劣化状況に適したＰＳＦの輝度分布を特定する第２ＰＳＦ特定工程と、
    （Ｓ６１）１フレーム分の輝度分布から成る劣化画像の輝度分布をＴＶ映像から準備する第２劣化画像準備工程と、
    （Ｓ６２）前記劣化画像の輝度分布を複写しこれを前記復元画像初期値の推定輝度分布と成し、更に前記ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第４復元画像初期値補正工程と、
    （Ｓ６３）前記補正復元画像初期値の推定輝度分布を劣化画像の輝度分布と成す工程と、
    （Ｓ６４）最大反復演算回数を設定する工程と、
    （Ｓ６５）反復演算回数を計数するカウンターを０にリセットする工程と、
    （Ｓ６６）前記特定されたＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第２１の関数を得る工程と、
    （Ｓ６７）前記第２１の関数を反転して第２２の関数を得る工程と、
    （Ｓ６８）前記第２２の関数に前記劣化画像の輝度分布を掛け合わせて第２３の関数を得る工程と、
    （Ｓ６９）前記ＰＳＦの輝度分布の反転関数を求めこれを第２４の関数と成す工程と、
    （Ｓ７０）前記第２４の関数を前記第２３の関数に畳込み第２５の関数を得る工程と、
    （Ｓ７１）前記第２５の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、
    （Ｓ７２）前記復元画像の推定輝度分布を前記復元画像初期値の推定輝度分布と入れ替える工程と、
    （Ｓ７３）前記カウンターに１を加算する工程と、
    （Ｓ７４）前記カウンターの値が前記最大反復演算回数以上であるという仮説を検証し、もしも検証結果が偽の場合には（Ｓ７５）の工程へジャンプするが、もしも検証結果が真の場合に（Ｓ７７）の工程へジャンプする工程と、
    （Ｓ７５）前記ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第５復元画像初期値補正工程と、
    （Ｓ７６）Ｓ６６へジャンプする工程と、
    （Ｓ７７）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程と、
    （Ｓ７８）前記（Ｓ６０）〜（Ｓ６５）の工程から構成される第２画像復元演算準備工程と、
    （Ｓ７９）前記（Ｓ６６）〜（Ｓ７７）の工程から構成される第３画像復元演算工程と、
    （Ｓ８０）前記第２画像復元演算準備工程及び第３画像復元演算工程を備え、Ｓの添え数字の小さい順に実行する事により前記最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第２画像復元工程と、
    （Ｓ８１）前記最尤化された最尤復元画像の輝度分布をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号を出力する第２ＴＶ映像化工程と
    を備える事に特徴が有るＴＶ映像向け第２超解像処理方法。
  5. 前記第３画像復元演算工程の第２の態様は、
    （Ｓ８５）前記ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第６復元画像初期値補正工程と、
    （Ｓ８６）前記ＰＳＦの輝度分布に前記復元画像初期値の推定輝度分布を畳込み第２６の関数を得る工程と、
    （Ｓ８７）前記第２６の関数を反転して第２７の関数を得る工程と、
    （Ｓ８８）前記第２７の関数に前記劣化画像の輝度分布を掛け合わせて第２８の関数を得る工程と、
    （Ｓ８９）前記ＰＳＦの輝度分布の反転関数を求めこれを第２９の関数と成す工程と、
    （Ｓ９０）前記第２９の関数を前記第２８の関数に畳込み第３０の関数を得る工程と、
    （Ｓ９１）前記第３０の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、
    （Ｓ９２）前記復元画像の推定輝度分布を復元画像初期値の推定輝度分布及び復元画像の推定輝度分布の最終値として出力する工程と、
    （Ｓ９３）前記（Ｓ８５）〜（Ｓ９２）の工程を備え、Ｓの添え数字の小さい順に処理する事により１回分の反復演算を行う第２単分画像復元工程と、
    （Ｓ９４）前記最大反復演算回数分の前記第２単分画像復元工程を直列に接続する事により構成される第４画像復元演算工程と
    を備え、
    前記第４画像復元演算工程において、直列に接続された前記第２単分画像復元工程の数に相当する回数の反復演算を行い、最終段目の第２単分画像復元工程から出力される復元画像の推定輝度分布の最終値を最尤復元画像の輝度分布として出力する事に特徴が有る請求項４に記載のＴＶ映像向け第２超解像処理方法。
  6. 前記第３画像復元演算工程の第３の態様は、
    （Ｓ１００）反復演算回数を計数する前記カウンターをリセットする工程と、
    （Ｓ１０１）前記カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｓ１０２）へジャンプし、もしも検証結果が真であれば（Ｓ１０３）へジャンプする工程と、
    （Ｓ１０２）前記劣化画像の輝度分布を劣化画像の輝度分布保存用バッファー及び復元画像初期値の推定輝度分布用バッファーに転送する工程と、
    （Ｓ１０３）前記復元画像初期値の推定輝度分布用バッファーから復元画像初期値の推定輝度分布を読込む工程と、
    （Ｓ１０４）前記ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正工程と同じ処理手順から成る第７復元画像初期値補正工程と、
    （Ｓ１０５）前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第３１の関数を得る工程と、
    （Ｓ１０６）前記第３１の関数を反転して第３２の関数を得る工程と、
    （Ｓ１０７）前記第３２の関数に前記劣化画像の輝度分布を掛け合わせて第３３の関数を得る工程と、
    （Ｓ１０８）前記ＰＳＦの輝度分布の反転関数を求めこれを第３４の関数と成す工程と、
    （Ｓ１０９）前記第３４の関数を前記第３３の関数に畳込み第３５の関数を得る工程と、
    （Ｓ１１０）前記第３５の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る工程と、
    （Ｓ１１１）前記カウンターに１を加算する工程と、
    （Ｓ１１２）前記カウンターの値が前記最大反復演算回数を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｓ１１３）へジャンプし、もしも検証結果が真であれば（Ｓ１１５）へジャンプする工程と、
    （Ｓ１１３）前記復元画像の推定輝度分布を前記復元画像初期値の推定輝度分布用バッファーへ転送する工程と、
    （Ｓ１１４）（Ｓ１０３）へジャンプする工程と、
    （Ｓ１１５）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する工程と、
    （Ｓ１１６）前記（Ｓ１００）〜（Ｓ１１５）の工程を備え、Ｓの添え数字の小さい順に順番通りに実行する事により前記最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第５画像復元演算工程と
    を備える事に特徴が有る請求項４に記載のＴＶ映像向け第２超解像処理方法。
  7. 請求項１に記載された第１ＰＳＦ特定工程及び請求項４に記載された第２ＰＳＦ特定工程は、
    （Ｓ１２０）モニタに映し出されるＴＶ映像の光学的な劣化度合いに応じた劣化示数を設定する工程と、
    （Ｓ１２１）前記劣化示数に紐づけられたＰＳＦの輝度分布をＰＳＦの輝度分布データベースから抽出して出力する工程と
    を備える事に特徴が有るＴＶ映像向け第１超解像処理方法及びＴＶ映像向け第２超解像処理方法。
  8. 請求項１に記載された第１劣化画像準備工程及び請求項４に記載された第２劣化画像準備工程は、
    （Ｓ１３０）１フレーム分のＴＶ映像信号からフレームを構成するＲＧＢ信号を取り出すＲＧＢ信号抽出工程と、
    （Ｓ１３１）前記１フレーム分のＴＶ映像信号の内、ＲＧＢ信号を取り出した残りのＴＶ映像信号を１フレーム分遅延して出力する遅延工程と、
    （Ｓ１３２）前記ＲＧＢ信号をＹＵＶ変換してＹＵＶ信号と成すＹＵＶ変換工程と、
    （Ｓ１３３）前記ＹＵＶ信号の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布を抽出してＹ劣化画像の輝度分布と成し、残りのＵ信号のみから成るＵ劣化画像の分布及びＶ信号のみから成るＶ劣化画像の分布を保持するＹ劣化画像抽出工程と、
    （Ｓ１３４）前記Ｙ劣化画像の輝度分布のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布と成し出力するデガンマ処理工程と
    を備える事に特徴が有るＴＶ映像向け第１超解像処理方法及びＴＶ映像向け第２超解像処理方法。
  9. 請求項１に記載された第１ＴＶ映像化工程及び請求項４に記載された第２ＴＶ映像化工程は、
    （Ｓ１４０）前記最尤復元画像の輝度分布のガンマ処理を行うガンマ処理工程と、
    （Ｓ１４１）前記Ｙ劣化画像抽出工程で保持した前記Ｕ劣化画像の分布及び前記Ｖ劣化画像の分布とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布から１枚のＹＵＶ復元画像の分布を合成する復元画像合成工程と、
    （Ｓ１４２）前記ＹＵＶ復元画像の分布のＲＧＢ変換を行いＲＧＢ復元画像の分布と成すＲＧＢ変換工程と、
    （Ｓ１４３）前記ＲＧＢ復元画像の分布を読み取りＲＧＢ信号を出力するＲＧＢ信号変換工程と、
    （Ｓ１４４）前記ＲＧＢ信号を前記遅延工程が出力する前記ＲＧＢ信号を取り出した残りのＴＶ映像信号と合成して１フレーム分の超解像ＴＶ映像信号と成し出力するＴＶ映像信号合成工程と
    を備える事に特徴が有るＴＶ映像向け第１超解像処理方法及びＴＶ映像向け第２超解像処理方法。
  10. 請求項１〜５に記載されたＰＳＦの輝度分布は、縁の無い正方形状の同一サイズの画素から成るものであって、中心が最も明るい２次元正規分布であり、そのサイズが５ｘ５画素である事に特徴が有るＴＶ映像向け第１超解像処理方法及びＴＶ映像向け第２超解像処理方法。
  11. 請求項１に記載されたＴＶ映像向け第１超解像処理方法を構成する前記第１ＰＳＦ復元工程及び前記第１画像復元工程内の全ての工程を実行させるための第１超解像処理プログラム。
  12. 請求項１〜２に記載されたＴＶ映像向け第１超解像処理方法を構成する前記ＰＳＦ復元演算準備工程、前記第２ＰＳＦ復元演算工程及び前記第１画像復元工程内の全ての工程を実行させるための第２超解像処理プログラム。
  13. 請求項１、３に記載されたＴＶ映像向け第１超解像処理方法を構成する前記第１ＰＳＦ復元工程、前記第１画像復元演算準備工程及び前記第２画像復元演算工程内の全ての工程を実行させるための第３超解像処理プログラム。
  14. 請求項１〜３に記載されたＴＶ映像向け第１超解像処理方法を構成する前記ＰＳＦ復元演算準備工程、前記第２ＰＳＦ復元演算工程、前記第１画像復元演算準備工程及び前記第２画像復元演算工程内の全ての工程を実行させるための第４超解像処理プログラム。
  15. 請求項４に記載されたＴＶ映像向け第２超解像処理方法を構成する前記第２画像復元工程内の全ての工程を実行させるための第５超解像処理プログラム。
  16. 請求項４〜５に記載されたＴＶ映像向け第２超解像処理方法を構成する前記第２画像復元演算準備工程及び前記第４画像復元演算工程内の全ての工程を実行させるための第６超解像処理プログラム。
  17. 請求項４、６に記載されたＴＶ映像向け第２超解像処理方法を構成する前記第２画像復元演算準備工程及び前記第５画像復元演算工程内の全ての工程を実行させるための第７超解像処理プログラム。
  18. 請求項１、７〜１０に記載されたＴＶ映像向け第１超解像処理方法を用いて、ＴＶ映像を構成する１フレームの光学的劣化を低減して劣化前のフレームを復元した超解像ＴＶ映像信号を出力する事によってＴＶ映像を復元するＴＶ映像向け第１超解像処理装置であって、
    （Ｗ１）１フレーム分の輝度分布から成る劣化画像の輝度分布をＴＶ映像から準備する第１劣化画像準備手段と、
    （Ｗ２）前記劣化画像の輝度分布を復元画像初期値の推定輝度分布と成す手段と、
    （Ｗ３）ＰＳＦの輝度分布を特定する第１ＰＳＦ特定手段と、
    （Ｗ４）特定された前記ＰＳＦの輝度分布をＰＳＦ初期値の推定輝度分布と成す手段と、
    （Ｗ５）最大反復演算回数を設定する手段と、
    （Ｗ６）反復演算回数を計数するカウンターをリセットする手段と、
    （Ｗ７）前記復元画像初期値の推定輝度分布を複写しこれを補正復元画像初期値の推定輝度分布と成し、更に、前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み演算する際に前記補正復元画像初期値の推定輝度分布の周辺部に発生する演算困難領域を、前記ＰＳＦの輝度分布の画像サイズを基にして前記演算困難領域を計算し、前記演算困難領域の画素をコピーし、このコピーした画素を前記補正復元画像初期値の推定輝度分布の境界の外側に前記境界に対してミラー対称に成る様に配置する様にペーストし、前記補正復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と、
    （Ｗ８）前記補正復元画像初期値の推定輝度分布を劣化画像の輝度分布と成す手段と、
    （Ｗ９）前記ＰＳＦ初期値の推定輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第３６の関数を得る手段と、
    （Ｗ１０）前記第３６の関数を反転して第３７の関数を得る手段と、
    （Ｗ１１）前記第３７の関数に前記劣化画像の輝度分布を掛け合わせて第３８の関数を得る手段と、
    （Ｗ１２）前記補正復元画像初期値の推定輝度分布の反転関数を求めこれを第３９の関数と成す手段と、
    （Ｗ１３）前記第３９の関数を前記第３８の関数に畳込み第４０の関数を得る手段と、
    （Ｗ１４）前記第４０の関数を前記ＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る手段と、
    （Ｗ１５）前記復元ＰＳＦの推定輝度分布を前記ＰＳＦ初期値の推定輝度分布と入れ替える手段と、
    （Ｗ１６）前記カウンターに１を加算する手段と、
    （Ｗ１７）前記カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽であれば（Ｗ９）の手段へ戻るが、もしも検証結果が真であれば前記復元ＰＳＦの推定輝度分布を最尤復元ＰＳＦの輝度分布として出力する手段と、
    （Ｗ１８）前記（Ｗ１）〜（Ｓ８）の手段から構成されるＰＳＦ復元演算準備手段と、
    （Ｗ１９）前記（Ｗ９）〜（Ｗ１７）の手段から構成される第１ＰＳＦ復元演算手段と
    を備え、
    （Ｗ２０）前記ＰＳＦ復元演算準備手段及び前記第１ＰＳＦ復元演算手段において、Ｓの添え数字の小さい順に実行する事により前記最大反復演算回数の反復演算を終え、最尤復元ＰＳＦの輝度分布を出力する第１ＰＳＦ復元手段と、
    （Ｗ２１）前記カウンターをリセット更に（Ｓ２３）へジャンプする手段と、
    （Ｗ２２）前記最尤復元ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ処理手順から成る第２復元画像初期値補正手段と、
    （Ｗ２３）前記最尤復元ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第４１の関数を得る手段と、
    （Ｗ２４）前記第４１の関数を反転して第４２の関数を得る手段と、
    （Ｗ２５）前記第４２の関数に前記劣化画像の輝度分布を掛け合わせて第４３の関数を得る手段と、
    （Ｗ２６）前記最尤復元ＰＳＦの輝度分布の反転関数を求めこれを第４４の関数と成す手段と、
    （Ｗ２７）前記第４４の関数を前記第４３の関数に畳込み第４５の関数を得る手段と、
    （Ｗ２８）前記第４５の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、
    （Ｗ２９）前記復元画像の推定輝度分布を前記復元画像初期値の推定輝度分布と入れ替える手段と、
    （Ｗ３０）前記カウンターに１を加算する手段と、
    （Ｗ３１）前記カウンターの値が前記最大反復演算回数を超えたという仮説を検証し、もしも検証結果が偽で有れば（Ｗ２２）の手段へ戻るが、もしも検証結果が真であれば前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段と、
    （Ｗ３２）前記（Ｗ２１）の手段から構成される第１画像復元演算準備手段と、
    （Ｗ３３）前記（Ｗ２２）〜（Ｗ３１）の手段から構成される第１画像復元演算手段と
    を備え、
    （Ｗ３４）前記第１画像復元演算準備手段及び第１画像復元演算手段において、Ｓの添え数字の小さい順に実行する事により前記最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第１画像復元手段と、
    （Ｗ３５）前記最尤復元画像の輝度分布をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号を出力する第１ＴＶ映像化手段と
    を備える事に特徴が有るＴＶ映像向け第１超解像処理装置。
  19. 前記第１ＰＳＦ復元手段の第２の態様は、
    （Ｗ４０）前記ＰＳＦ初期値の推定輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第４６の関数を得る手段と、
    （Ｗ４１）前記第４６の関数を反転して第４７の関数を得る手段と、
    （Ｗ４２）前記第４７の関数に前記劣化画像の輝度分布を掛け合わせて第４８の関数を得る手段と、
    （Ｗ４３）前記復元画像初期値の推定輝度分布の反転関数を求めこれを第４９の関数と成す手段と、
    （Ｗ４４）前記第４９の関数を前記第４８の関数に畳込み第５０の関数を得る手段と、
    （Ｗ４５）前記第５０の関数を前記ＰＳＦ初期値の推定輝度分布に掛け合わせて復元ＰＳＦの推定輝度分布を得る手段と、
    （Ｗ４６）前記復元ＰＳＦの推定輝度分布を前記ＰＳＦ初期値の推定輝度分布及び復元ＰＳＦの推定輝度分布の最終値として出力する手段と、
    （Ｗ４７）前記（Ｗ４０）〜（Ｗ４６）の手段を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う単分ＰＳＦ復元手段と、
    （Ｗ４８）前記最大反復演算回数分の前記単分ＰＳＦ復元手段を直列に接続する事により構成される第２ＰＳＦ復元演算手段と
    を備え、
    前記第２ＰＳＦ復元演算手段において、直列に接続された単分ＰＳＦ復元手段の数に相当する回数の反復演算を行い、最終段目の単分ＰＳＦ復元手段から出力される復元ＰＳＦの推定輝度分布の最終値を最尤復元ＰＳＦの輝度分布として出力する事に特徴が有る請求項１８に記載のＴＶ映像向け第１超解像処理装置。
  20. 前記第１画像復元手段の第２の態様は、
    （Ｗ５０）前記最尤復元ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ構成から成る第３復元画像初期値補正手段と、
    （Ｗ５１）前記最尤復元ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第５１の関数を得る手段と、
    （Ｗ５２）前記第５１の関数を反転して第５２の関数を得る手段と、
    （Ｗ５３）前記第５２の関数に前記劣化画像の輝度分布を掛け合わせて第５３の関数を得る手段と、
    （Ｗ５４）前記最尤復元ＰＳＦの輝度分布の反転関数を求めこれを第５４の関数と成す手段と、
    （Ｗ５５）前記第５４の関数を前記第５３の関数に畳込み第５５の関数を得る手段と、
    （Ｗ５６）前記第５５の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、
    （Ｗ５７）前記復元画像の推定輝度分布を復元画像初期値の推定輝度分布及び復元画像の推定輝度分布の最終値として出力する手段と、
    （Ｗ５８）前記（Ｗ５０）〜（Ｗ５７）の手段を備え、Ｓの添え数字の小さい順に順番通りに処理する事により１回分の反復演算を行う第１単分画像復元手段と、
    （Ｗ５９）前記最大反復演算回数分の前記第１単分画像復元手段を直列に接続する事により構成される第２画像復元演算手段と
    を備え、
    前記第２画像復元演算手段において、直列に接続された前記第１単分画像復元手段の数に相当する回数の反復演算を行い、最終段目の第１単分画像復元手段から出力される復元画像の推定輝度分布の最終値を最尤復元画像の輝度分布として出力する事に特徴が有る請求項１８に記載のＴＶ映像向け第１超解像処理装置。
  21. 請求項４、７〜１０に記載されたＴＶ映像向け第２超解像処理方法を用いて、ＴＶ映像を構成する１フレームの光学的劣化を低減して劣化前のフレームを復元した超解像ＴＶ映像信号を出力する事によってＴＶ映像を復元するＴＶ映像向け第２超解像処理装置であって、
    （Ｗ６０）前記ＴＶ映像を見ながら前記ＴＶ映像の劣化状況に適したＰＳＦの輝度分布を特定する第２ＰＳＦ特定手段と、
    （Ｗ６１）１フレーム分の輝度分布から成る劣化画像の輝度分布をＴＶ映像から準備する第２劣化画像準備手段と、
    （Ｗ６２）前記劣化画像の輝度分布を複写しこれを前記復元画像初期値の推定輝度分布と成し、更に前記ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ処理手順から成る第４復元画像初期値補正手段と、
    （Ｗ６３）前記補正復元画像初期値の推定輝度分布を劣化画像の輝度分布と成す手段と、
    （Ｗ６４）最大反復演算回数を設定する手段と、
    （Ｗ６５）反復演算回数を計数するカウンターを０にリセットする手段と、
    （Ｗ６６）前記特定されたＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第５６の関数を得る手段と、
    （Ｗ６７）前記第５６の関数を反転して第５７の関数を得る手段と、
    （Ｗ６８）前記第５７の関数に前記劣化画像の輝度分布を掛け合わせて第５８の関数を得る手段と、
    （Ｗ６９）前記ＰＳＦの輝度分布の反転関数を求めこれを第５９の関数と成す手段と、
    （Ｗ７０）前記第５９の関数を前記第２３の関数に畳込み第６０の関数を得る手段と、
    （Ｗ７１）前記第６０の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、
    （Ｗ７２）前記復元画像の推定輝度分布を前記復元画像初期値の推定輝度分布と入れ替える手段と、
    （Ｗ７３）前記カウンターに１を加算する手段と、
    （Ｗ７４）前記カウンターの値が前記最大反復演算回数以上であるという仮説を検証し、もしも検証結果が偽の場合には（Ｗ７５）の手段へジャンプするが、もしも検証結果が真の場合に（Ｗ７７）の手段へジャンプする手段と、
    （Ｗ７５）前記ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ処理手順から成る第５復元画像初期値補正手段と、
    （Ｗ７６）Ｗ６６へジャンプする手段と、
    （Ｗ７７）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段と、
    （Ｗ７８）前記（Ｗ６０）〜（Ｗ６５）の手段から構成される第２画像復元演算準備手段と、
    （Ｗ７９）前記（Ｗ６６）〜（Ｗ７７）の手段から構成される第３画像復元演算手段と、
    （Ｗ８０）前記第２画像復元演算準備手段及び第３画像復元演算手段を備え、Ｓの添え数字の小さい順に実行する事により前記最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第２画像復元手段と、
    （Ｗ８１）前記最尤化された最尤復元画像の輝度分布をＴＶ映像化して１フレーム分の超解像ＴＶ映像信号を出力する第２ＴＶ映像化手段と
    を備える事に特徴が有るＴＶ映像向け第２超解像処理装置。
  22. 前記第３画像復元手段の第２の態様は、
    （Ｗ８５）前記ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ処理手順から成る第６復元画像初期値補正手段と、
    （Ｗ８６）前記ＰＳＦの輝度分布に前記復元画像初期値の推定輝度分布を畳込み第６１の関数を得る手段と、
    （Ｗ８７）前記第６１の関数を反転して第６２の関数を得る手段と、
    （Ｗ８８）前記第６２の関数に前記劣化画像の輝度分布を掛け合わせて第６３の関数を得る手段と、
    （Ｗ８９）前記ＰＳＦの輝度分布の反転関数を求めこれを第６４の関数と成す手段と、
    （Ｗ９０）前記第６４の関数を前記第６３の関数に畳込み第６５の関数を得る手段と、
    （Ｗ９１）前記第６５の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、
    （Ｗ９２）前記復元画像の推定輝度分布を復元画像初期値の推定輝度分布及び復元画像の推定輝度分布の最終値として出力する手段と、
    （Ｗ９３）前記（Ｗ８５）〜（Ｗ９２）の手段を備え、Ｓの添え数字の小さい順に処理する事により１回分の反復演算を行う第２単分画像復元手段と、
    （Ｗ９４）前記最大反復演算回数分の前記第２単分画像復元手段を直列に接続する事により構成される第４画像復元演算手段と
    を備え、
    前記第４画像復元演算手段において、直列に接続された前記第２単分画像復元手段の数に相当する回数の反復演算を行い、最終段目の第２単分画像復元手段から出力される復元画像の推定輝度分布の最終値を最尤復元画像の輝度分布として出力する事に特徴が有る請求項２１に記載のＴＶ映像向け第２超解像処理装置。
  23. 前記第３画像復元手段の第３の態様は、
    （Ｗ１００）反復演算回数を計数する前記カウンターをリセットする手段と、
    （Ｗ１０１）前記カウンターの値が０以外であるという仮説を検証し、もしも検証結果が偽であれば（Ｗ１０２）へジャンプし、もしも検証結果が真であれば（Ｗ１０３）へジャンプする手段と、
    （Ｗ１０２）前記劣化画像の輝度分布を劣化画像の輝度分布保存用バッファー及び復元画像初期値の推定輝度分布用バッファーに転送する手段と、
    （Ｗ１０３）前記復元画像初期値の推定輝度分布用バッファーから復元画像初期値の推定輝度分布を読込む手段と、
    （Ｗ１０４）前記ＰＳＦの輝度分布の画像サイズを基にして前記復元画像初期値の推定輝度分布を補正し補正復元画像初期値の推定輝度分布を得る第１復元画像初期値補正手段と同じ処理手順から成る第７復元画像初期値補正手段と、
    （Ｗ１０５）前記ＰＳＦの輝度分布を前記補正復元画像初期値の推定輝度分布に畳込み第３１の関数を得る手段と、
    （Ｗ１０６）前記第３１の関数を反転して第３２の関数を得る手段と、
    （Ｗ１０７）前記第３２の関数に前記劣化画像の輝度分布を掛け合わせて第３３の関数を得る手段と、
    （Ｗ１０８）前記ＰＳＦの輝度分布の反転関数を求めこれを第３４の関数と成す手段と、
    （Ｗ１０９）前記第３４の関数を前記第３３の関数に畳込み第３５の関数を得る手段と、
    （Ｗ１１０）前記第３５の関数を前記復元画像初期値の推定輝度分布に掛け合わせて復元画像の推定輝度分布を得る手段と、
    （Ｗ１１１）前記カウンターに１を加算する手段と、
    （Ｗ１１２）前記カウンターの値が前記最大反復演算回数を超えているという仮説を検証し、もしも検証結果が偽であれば（Ｗ１１３）へジャンプし、もしも検証結果が真であれば（Ｗ１１５）へジャンプする手段と、
    （Ｗ１１３）前記復元画像の推定輝度分布を前記復元画像初期値の推定輝度分布用バッファーへ転送する手段と、
    （Ｗ１１４）（Ｗ１０３）へジャンプする手段と、
    （Ｗ１１５）前記復元画像の推定輝度分布を最尤復元画像の輝度分布として出力する手段と、
    （Ｗ１１６）前記（Ｗ１００）〜（Ｗ１１５）の手段を備え、Ｗの添え数字の小さい順に順番通りに実行する事により前記最大反復演算回数の反復演算を終え、最尤復元画像の輝度分布を出力する第５画像復元演算手段と
    を備える事に特徴が有る請求項２１に記載のＴＶ映像向け第２超解像処理装置。
  24. 請求項１８に記載された第１ＰＳＦ特定手段及び請求項２１に記載された第２ＰＳＦ特定手段は、
    （Ｗ１２０）モニタに映し出されるＴＶ映像の光学的な劣化度合いに応じた劣化示数を設定する手段と、
    （Ｗ１２１）前記劣化示数に紐づけられたＰＳＦの輝度分布をＰＳＦデータベースから抽出する手段と
    を備える事に特徴が有るＴＶ映像向け第１超解像処理装置及びＴＶ映像向け第２超解像処理装置。
  25. 請求項１８に記載された第１劣化画像準備手段及び請求項２１に記載された第２劣化画像準備手段は、
    （Ｗ１３０）１フレーム分のＴＶ映像信号からフレームを構成するＲＧＢ信号を取り出すＲＧＢ信号抽出手段と、
    （Ｗ１３１）前記１フレーム分のＴＶ映像信号の内、ＲＧＢ信号を取り出した残りのＴＶ映像信号を１フレーム分遅延して出力する遅延手段と、
    （Ｗ１３２）前記ＲＧＢ信号をＹＵＶ変換してＹＵＶ信号と成すＹＵＶ変換手段と、
    （Ｗ１３３）前記ＹＵＶ信号の内、輝度成分であるＹ信号のみから成る劣化画像の輝度分布を抽出してＹ劣化画像の輝度分布と成し、残りのＵ信号のみから成るＵ劣化画像の分布及びＶ信号のみから成るＶ劣化画像の分布を保持するＹ劣化画像抽出手段と、
    （Ｗ１３４）前記Ｙ劣化画像の輝度分布のデガンマ処理を行い１フレーム分の輝度分布から成る劣化画像の輝度分布と成し出力するデガンマ処理手段と
    を備える事に特徴が有るＴＶ映像向け第１超解像処理装置及びＴＶ映像向け第２超解像処理装置。
  26. 請求項１８に記載された第１ＴＶ映像化手段及び請求項２１に記載された第２ＴＶ映像化手段は、
    （Ｗ１４０）前記最尤復元画像の輝度分布のガンマ処理を行うガンマ処理手段と、
    （Ｗ１４１）前記Ｙ劣化画像抽出手段で保持した前記Ｕ劣化画像の分布及び前記Ｖ劣化画像の分布とＹ成分から成るガンマ処理後の最尤復元画像の輝度分布から１枚のＹＵＶ復元画像の分布を合成する復元画像合成手段と、
    （Ｗ１４２）前記ＹＵＶ復元画像の分布のＲＧＢ変換を行いＲＧＢ復元画像の分布と成すＲＧＢ変換手段と、
    （Ｗ１４３）前記ＲＧＢ復元画像の分布を読み取りＲＧＢ信号を出力するＲＧＢ信号変換手段と、
    （Ｗ１４４）前記ＲＧＢ信号を前記遅延手段が出力する前記ＲＧＢ信号を取り出した残りのＴＶ映像信号と合成して１フレーム分の超解像ＴＶ映像信号と成し出力するＴＶ映像信号合成手段と
    を備える事に特徴が有るＴＶ映像向け第１超解像処理装置及びＴＶ映像向け第２超解像処理装置。
  27. 請求項１８に記載されたＴＶ映像向け第１超解像処理装置を構成する前記第１ＰＳＦ復元手段及び前記第１画像復元手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第１超解像処理装置プログラム。
  28. 請求項１８〜１９に記載されたＴＶ映像向け第１超解像処理装置を構成する前記ＰＳＦ復元演算準備手段、前記第２ＰＳＦ復元演算手段及び前記第１画像復元手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第２超解像処理装置プログラム。
  29. 請求項１８、２０に記載されたＴＶ映像向け第１超解像処理装置を構成する前記第１ＰＳＦ復元手段、前記第１画像復元演算準備手段及び前記第２画像復元演算手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第３超解像処理装置プログラム。
  30. 請求項１８〜２０に記載されたＴＶ映像向け第１超解像処理装置を構成する前記ＰＳＦ復元演算準備手段、前記第２ＰＳＦ復元演算手段、前記第１画像復元演算準備手段及び前記第２画像復元演算手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第４超解像処理装置プログラム。
  31. 請求項２１に記載されたＴＶ映像向け第２超解像処理装置を構成する前記第２画像復元手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第５超解像処理装置プログラム。
  32. 請求項２１〜２２に記載されたＴＶ映像向け第２超解像処理装置を構成する前記第２画像復元演算準備手段及び前記第４画像復元演算手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第６超解像処理装置プログラム。
  33. 請求項２１、２２に記載されたＴＶ映像向け第２超解像処理装置を構成する前記第２画像復元演算準備手段及び前記第５画像復元演算手段内の全ての手段を構成し且つこれ等全ての手段を実行させるための第７超解像処理装置プログラム。
  34. 請求項１１〜１４に記載されたＴＶ映像向け第１超解像処理方法を実行するための前記第１超解像処理プログラム、前記第２超解像処理プログラム、前記第３超解像処理プログラム及び前記第４超解像処理プログラムをそれぞれ個別に暗号化して個別に記憶し一方読み出し時には個別に読み出し且つ復号後に提供し、コンピュータに接続可能で且つ前記コンピュータが読込み可能な第１記憶媒体。
  35. 請求項１５〜１７に記載されたＴＶ映像向け第２超解像処理方法を実行するための前記第５超解像処理プログラム、前記第６超解像処理プログラム及び前記第７超解像処理プログラムをそれぞれ個別に暗号化して個別に記憶し一方読み出し時には個別に読み出し且つ復号後に提供し、コンピュータに接続可能で且つ前記コンピュータが読込み可能な第２記憶媒体。
  36. 請求項２７〜３０に記載されたＴＶ映像向け第１超解像処理装置内の全ての手段を構成し且つこれ等の全ての手段を実行するための前記第１超解像処理装置プログラム、前記第２超解像処理装置プログラム、前記第３超解像処理装置プログラム及び前記第４超解像処理装置プログラムをそれぞれ個別に暗号化して個別に記憶し一方読み出し時には個別に読み出し且つ復号後に提供し、コンピュータに接続可能で且つ前記コンピュータが読込み可能な第３記憶媒体。
  37. 請求項３１〜３３に記載されたＴＶ映像向け第２超解像処理装置内の全ての手段を構成し且つこれ等の全ての手段を実行するための前記第５超解像処理装置プログラム、前記第６超解像処理装置プログラム及び前記第７超解像処理装置プログラムをそれぞれ個別に暗号化して個別に記憶し一方読み出し時には個別に読み出し且つ復号後に提供し、コンピュータに接続可能で且つ前記コンピュータが読込み可能な第４記憶媒体。

JP2013255919A 2013-12-11 2013-12-11 Ｔｖ映像向け超解像処理方法および同方法によるｔｖ映像向け超解像処理装置、第１〜第１４超解像処理プログラム、並びに第１〜第４記憶媒体 Active JP6155182B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013255919A JP6155182B2 (ja) 2013-12-11 2013-12-11 Ｔｖ映像向け超解像処理方法および同方法によるｔｖ映像向け超解像処理装置、第１〜第１４超解像処理プログラム、並びに第１〜第４記憶媒体
PCT/JP2014/081457 WO2015087711A1 (ja) 2013-12-11 2014-11-27 Ｔｖ映像向け超解像処理方法および同方法によるｔｖ映像向け超解像処理装置、第１～第１４超解像処理プログラム、並びに第１～第４記憶媒体
CN201480067471.2A CN105814874B (zh) 2013-12-11 2014-11-27 面向tv影像的超分辨率处理方法及装置、以及存储介质
US15/102,707 US9762849B2 (en) 2013-12-11 2014-11-27 Super-resolution processing method for TV video images, super-resolution processing device for TV video images that is used in same method, first to fourteenth super-resolution processing programs, and first to fourth storage media
KR1020167015372A KR101807230B1 (ko) 2013-12-11 2014-11-27 Tv 영상용 초해상 처리 방법 및 이 방법에 따른 tv 영상용 초해상 처리 장치, 제1~제14 초해상 처리 프로그램과 제1~제4 기억 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013255919A JP6155182B2 (ja) 2013-12-11 2013-12-11 Ｔｖ映像向け超解像処理方法および同方法によるｔｖ映像向け超解像処理装置、第１〜第１４超解像処理プログラム、並びに第１〜第４記憶媒体

Publications (2)

Publication Number Publication Date
JP2015114812A true JP2015114812A (ja) 2015-06-22
JP6155182B2 JP6155182B2 (ja) 2017-06-28

Family

ID=53371023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013255919A Active JP6155182B2 (ja) 2013-12-11 2013-12-11 Ｔｖ映像向け超解像処理方法および同方法によるｔｖ映像向け超解像処理装置、第１〜第１４超解像処理プログラム、並びに第１〜第４記憶媒体

Country Status (5)

Country Link
US (1) US9762849B2 (ja)
JP (1) JP6155182B2 (ja)
KR (1) KR101807230B1 (ja)
CN (1) CN105814874B (ja)
WO (1) WO2015087711A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085827B (zh) * 2017-04-27 2020-06-16 中国电子科技集团公司第二十八研究所 基于硬件平台实现的超分辨力图像复原方法
CN109102462B (zh) * 2018-08-01 2023-04-07 中国计量大学 一种基于深度学习的视频超分辨率重建方法
CN111294480B (zh) * 2018-12-06 2021-04-16 中国科学院深圳先进技术研究院 一种图像加密与校正方法、装置及图像解密方法、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006041126A1 (ja) * 2004-10-14 2006-04-20 Lightron Co., Ltd. 劣化情報復元方法と復元装置
WO2007122838A1 (ja) * 2006-04-25 2007-11-01 National University Corporation NARA Institute of Science and Technology 階層ベイズ法に基づく超解像法および超解像プログラム
WO2011099244A1 (ja) * 2010-02-10 2011-08-18 パナソニック株式会社 画像処理装置および画像処理方法
JP2013003610A (ja) * 2011-06-10 2013-01-07 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2013175003A (ja) * 2012-02-24 2013-09-05 Osaka Prefecture Univ Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006041127A1 (ja) * 2004-10-14 2006-04-20 Lightron Co., Ltd. 劣化情報復元方法と復元装置
JP4454657B2 (ja) 2007-01-12 2010-04-21 三洋電機株式会社 ぶれ補正装置及び方法、並びに撮像装置
JP2009100407A (ja) * 2007-10-19 2009-05-07 Toshiba Corp 画像処理装置及びその方法
JP5105286B2 (ja) 2008-05-07 2012-12-26 国立大学法人東京工業大学 画像復元装置、画像復元方法及び画像復元プログラム
JP2009296410A (ja) * 2008-06-06 2009-12-17 Hitachi Ltd 高解像度の映像再生装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006041126A1 (ja) * 2004-10-14 2006-04-20 Lightron Co., Ltd. 劣化情報復元方法と復元装置
WO2007122838A1 (ja) * 2006-04-25 2007-11-01 National University Corporation NARA Institute of Science and Technology 階層ベイズ法に基づく超解像法および超解像プログラム
WO2011099244A1 (ja) * 2010-02-10 2011-08-18 パナソニック株式会社 画像処理装置および画像処理方法
JP2013003610A (ja) * 2011-06-10 2013-01-07 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2013175003A (ja) * 2012-02-24 2013-09-05 Osaka Prefecture Univ Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置

Also Published As

Publication number Publication date
CN105814874A (zh) 2016-07-27
KR20160082704A (ko) 2016-07-08
JP6155182B2 (ja) 2017-06-28
KR101807230B1 (ko) 2017-12-08
US9762849B2 (en) 2017-09-12
WO2015087711A1 (ja) 2015-06-18
US20160316169A1 (en) 2016-10-27
CN105814874B (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
JP7392227B2 (ja) 映像フレーム補間のための特徴ピラミッドワーピング
US11663691B2 (en) Method and apparatus for restoring image
US10521468B2 (en) Animated seek preview for panoramic videos
CN110989878B (zh) 小程序中的动画展示方法、装置、电子设备及存储介质
KR102086711B1 (ko) Simd형 초병렬 연산 처리 장치용 초해상 처리 방법, 장치, 프로그램 및 기억 매체
WO2019203351A1 (ja) 画像表示装置及び画像表示方法
JP6155182B2 (ja) Ｔｖ映像向け超解像処理方法および同方法によるｔｖ映像向け超解像処理装置、第１〜第１４超解像処理プログラム、並びに第１〜第４記憶媒体
JP2010224535A (ja) コンピューター読み取り可能な記憶媒体、画像処理装置および画像処理方法
WO2016043161A1 (ja) 表示装置、表示システム、及び表示制御プログラム
KR20210113100A (ko) 멀티-카메라 또는 기타 환경을 위한 슈퍼-해상도 뎁스 맵 생성
US10602120B2 (en) Method and apparatus for transmitting image data, and method and apparatus for generating 3D image
CN114449233B (zh) 投影装置与其梯形校正方法
JP6126523B2 (ja) Ｔｖ映像向け加速超解像処理方法及び同方法によるｔｖ映像向け加速超解像処理装置、第１〜６加速超解像処理プログラム、並びに第１〜２記憶媒体
JP2008113292A (ja) 動き推定方法，装置，そのプログラムおよびその記録媒体
US10553004B2 (en) Method and apparatus for processing image and recording medium storing program therefor
TWI691935B (zh) 影像渲染裝置、方法及其非暫態電腦可讀取儲存媒體
US9609319B2 (en) Detection, location, and processing of static pixels
JPH06259219A (ja) 画像表示方法及びフラットパネルタブレットシステム
JP2020087104A (ja) コンピュータプログラム、画像処理方法、及び画像処理装置
WO2023036111A1 (zh) 视频处理方法、装置、设备及介质
US20230252608A1 (en) Hand motion pattern modeling and motion blur synthesizing techniques
WO2023035973A1 (zh) 视频处理方法、装置、设备及介质
WO2023125500A1 (zh) 一种图像处理方法、装置、电子设备和存储介质
JP7020225B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN115249207A (zh) 视频超分方法、装置、视频超分模型、介质及终端设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161109

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20161109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161125

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161213

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20161221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170605

R150 Certificate of patent or registration of utility model

Ref document number: 6155182

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250