JP2009169932A - 周波数基盤の映像モデルを用いた映像復元方法およびシステム - Google Patents

周波数基盤の映像モデルを用いた映像復元方法およびシステム Download PDF

Info

Publication number
JP2009169932A
JP2009169932A JP2008166486A JP2008166486A JP2009169932A JP 2009169932 A JP2009169932 A JP 2009169932A JP 2008166486 A JP2008166486 A JP 2008166486A JP 2008166486 A JP2008166486 A JP 2008166486A JP 2009169932 A JP2009169932 A JP 2009169932A
Authority
JP
Japan
Prior art keywords
video
converted
frequency component
frequency
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008166486A
Other languages
English (en)
Inventor
Won Jun Hwang
元俊 黄
Gyu-Tae Park
奎泰 朴
Moon Shick Chung
文植 鄭
Tokon Ri
東根 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2009169932A publication Critical patent/JP2009169932A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G3/00—Installations of electric cables or lines or protective tubing therefor in or on buildings, equivalent structures or vehicles
    • H02G3/02—Details
    • H02G3/04—Protective tubing or conduits, e.g. cable ladders or cable troughs
    • H02G3/0406—Details thereof
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L3/00—Supports for pipes, cables or protective tubing, e.g. hangers, holders, clamps, cleats, clips, brackets
    • F16L3/22—Supports for pipes, cables or protective tubing, e.g. hangers, holders, clamps, cleats, clips, brackets specially adapted for supporting a number of parallel pipes at intervals
    • F16L3/223—Supports for pipes, cables or protective tubing, e.g. hangers, holders, clamps, cleats, clips, brackets specially adapted for supporting a number of parallel pipes at intervals each support having one transverse base for supporting the pipes
    • F16L3/2235—Supports for pipes, cables or protective tubing, e.g. hangers, holders, clamps, cleats, clips, brackets specially adapted for supporting a number of parallel pipes at intervals each support having one transverse base for supporting the pipes each pipe being supported by a common element fastened to the base
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G3/00—Installations of electric cables or lines or protective tubing therefor in or on buildings, equivalent structures or vehicles
    • H02G3/30—Installations of cables or lines on walls, floors or ceilings

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Supports For Pipes And Cables (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 周波数基盤の映像モデルを用いた映像復元方法およびシステムを提供する。
【解決手段】 原本映像を周波数帯域に変換して変換映像を生成し、変換映像を、復元映像が拡張されてブロックで分けられた映像のうちのいずれか１つの領域に複写し、いずれか１つの領域に複写された変換映像を用いて、いずれか１つの領域の除いた残りのブロック領域の高周波成分を推定して復元する。
【選択図】 図１

Description

本発明は、周波数基盤の映像モデルを用いた映像復元方法およびシステムに関し、より詳細には、低解像度映像から高解像度映像を復元することができる周波数基盤の映像モデルを用いた映像復元方法およびシステムに関する。
低解像度の映像を高解像度に復元する技術は、例えば、保安映像に写った人の顔が小さくて識別が不可能である場合に、高解像度に復元して身元を把握する装置、デジタルテレビで受信された低解像度の放送映像を高解像度に復元する装置、軍衛星が撮影した写真を拡大する装置などに用いられている。また、デジタルカメラでは、デジタルカメラで撮影したイメージのうち、ユーザが所望する部分を拡大しようとする場合にも、このような低解像度の映像を高解像度に復元する方式が用いられている。
超解像度復元方式とは、基本的に、複数の低解像度映像のそれぞれの低解像度映像ピクセル（画素）を用いて、１枚の高解像度映像を復元する方式を意味するものである。このような方法は、高解像度映像に復元するときに、不足なピクセル情報を複数の他の低解像度映像で補充する方式を用いている。このような高解像度方式の代表的なものとしては、シュルツ方式（Ｓｃｈｕｌｔｚ’ｓ Ｍｅｔｈｏｄ）がある。このシュルツ方式は、テレビを視聴するときに、映像の画質を改善して鮮明な画面を見るための方法として用いられている。基本的に、低解像度映像は、周知の補間方式（例えば、バイキュービック（ｂｉｃｕｂｉｃ）など）を用いて所望するサイズに拡大し、拡大された領域で不足な部分は、複数の低解像度映像に基づき、ベイズ均衡（Ｂａｙｅｓｉａｎ Ｒｕｌｅ）を用いて復元を実行する。
韓国公開特許第２０００−００５６６４３号公報 韓国公開特許第２００６−００９８８１５号公報
本発明は、前記のような従来技術を改善するために案出されたものであって、保安カメラが遠距離から顔映像を撮影し、撮影された顔映像を用いて身元確認が困難である場合でも、低解像度の顔映像から高解像度の顔映像を復元できるようにすることを目的とする。
また、本発明は、ノイズに強く、入力映像の特性変化に強靭であり、従来の方式で示されていたブロック間の不連続性を解消するとともに順次に高周波成分を推論し、質の高い高解像度映像を復元できるようにすることを他の目的とする。
前記の目的を達成し、従来技術の問題点を解決するために、本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法は、原本映像を周波数帯域に変換して変換映像を生成する段階と、前記変換映像を、前記原本映像が拡張されてブロックで分けられた領域のうちのいずれか１つの領域に複写する段階と、前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階とを含む。
本発明の他の一側面によれば、前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、前記変換映像の低周波成分を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階である。
本発明のさらに他の一側面によれば、前記周波数帯域に変換された原本映像を、ブロックで分けられた拡張された領域に複写するときに発生する周波数歪曲ノイズを除去する段階をさらに含む。
本発明のさらに他の一側面によれば、前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、前記変換映像の入力ベクトルと最も類似した値をデータベースから検索して探し出した情報に基づいて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階である。
本発明のさらに他の一側面によれば、前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元する段階と、前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元する段階と、前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する段階とを含む。
本発明のさらに他の一側面によれば、基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元する段階をさらに含む。
本発明のさらに他の一側面によれば、前記基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元する段階は、前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元する段階と、前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元する段階と、前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する段階とを含む。
また、本発明の一側面に係るコンピュータ読取可能な記録媒体は、前記のような方法のうちのいずれか１つの方法を実行するためのプログラムを記録している。
また、本発明の他の実施形態に係る周波数基盤の映像モデルを用いた映像復元システムは、原本映像を周波数帯域に変換して変換映像を生成する映像変換部と、前記変換映像を、前記原本映像が拡張されてブロックで分けられた領域のうちのいずれか１つの領域に複写する映像複写部と、前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する映像復元部とを含む。
本発明の他の一側面によれば、前記映像復元部は、前記変換映像の低周波成分を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する。
本発明のさらに他の一側面によれば、前記周波数帯域に変換された原本映像を、ブロックで分けられた拡張された領域に複写するときに発生する周波数歪曲ノイズを除去するノイズ除去部をさらに含む。
本発明のさらに他の一側面によれば、前記映像復元部は、前記変換映像の入力ベクトルと最も類似した値をデータベースから検索して探し出した情報に基づいて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する。
本発明のさらに他の一側面によれば、前記映像復元部は、前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元し、前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元し、前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する。
本発明のさらに他の一側面によれば、前記映像復元部は、基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元する。
本発明のさらに他の一側によれば、前記映像復元部は、前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元し、前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元し、前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する。
本発明によれば、保安カメラが遠距離から顔映像を撮影し、撮影された顔映像を用いて身元確認が困難である場合でも、低解像度の顔映像から高解像度の顔映像を復元できるようにする効果がある。
また、本発明によれば、ノイズに強く、入力映像の特性変化に強靭であり、従来の方式で示されていたブロック間の不連続性を解消するとともに順次に高周波成分を推論し、質の高い高解像度映像を復元できるようにする効果がある。
以下、添付の図面に基づき、本発明の好適な実施の形態を詳細に説明するが、本発明がこれらの実施形態によって制限または限定されることはない。図中、同じ参照符号は同じ部材を示す。
図１は、本発明に係る周波数基盤の映像モデルを用いた映像復元方法を概念的に示した図である。図１は、映像を周波数帯域に転換して順次に復元する過程を説明している。
すなわち、本発明の一実施形態に係る映像復元方法は、図１に示されたように、映像自体をブロックで分けるのではなく、離散コサイン変換（ＤＣＴ）あるいはフーリエ転換などを用いて映像を周波数帯域に変換した後に、周波数帯域をブロックで分けて復元するのである。このとき、入力映像を低周波成分であると仮定し、残りの高周波成分を順次に復元するようになる。
図１を参照しながらより詳細に説明すれば、入力映像１０１を周波数帯域に変換１０２した後に、周波数帯域を拡大１０３、１０４する。この後、基準ブロックから水平方向への周波数帯域推定１０５、１０６と、垂直方向への周波数帯域推定１０７、１０８とを実施し、より原本映像に近い映像１０９、１１０を得る。
この後、水平方向への周波数帯域推定および垂直方向への周波数帯域推定に基づいて、基本ブロックから対角線方向への周波数帯域推定１１１、１１２を実施する。最終的に、残りのブロックの周波数帯域推定１１３、１１４を実施することによって、最終推定映像を生成して復元が完了する。
図２は、本発明の一実施形態に係る映像復元システムの構造を示した図である。以下、図２を参照しながら、本発明の一実施形態に係る映像復元システムの構成について説明する。
図２に示されたように、本発明の一実施形態に係る映像復元システム２００は、映像変換部２１０と、映像複写部２２０と、ノイズ除去部２３０と、映像復元部２４０とを含んで構成される。
映像変換部２１０は、原本映像を周波数帯域に変換して変換映像を生成する。このとき、映像複写部２２０は、変換映像を、原本映像が拡張されてブロックで分けられた領域のうちのいずれか１つの領域に複写する。
ノイズ除去部２３０は、周波数帯域に変換された原本映像を、ブロックで分けられた拡張された領域に複写するときに発生する周波数歪曲ノイズを除去する。
映像復元部２４０は、いずれか１つの領域に複写された変換映像を用いて、いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する。
また、映像復元部２４０は、変換映像の低周波成分を用いて、いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元することができる。
このとき、映像復元部２４０は、変換映像の入力ベクトルと最も類似した値をデータベースから検索して探し出した情報に基づいて、いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元することができる。
また、映像復元部２４０は、変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元し、変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元し、水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元することができる。
さらに、映像復元部２４０は、基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、復元されたブロック領域を用いて、残りのブロック領域の高周波成分を推定して復元することができる。このような過程を介して、基準ブロックに隣接するブロックおよび対角線に位置するブロックだけではなく、映像のより広い残りの部分のブロックを推定して復元すことができる。
図３は、本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法を説明するためのフローチャートである。図３を参照しながら、本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法について説明する。
図３に示されたように、原本映像が入力されれば（段階Ｓ３１０）、原本映像を周波数帯域に変換して変換映像を生成する（段階Ｓ３２０）。
このとき、原本映像は、低解像度映像（Ｌｏｗ−Ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ）であり、映像のサイズおよび拡大比率が分かれば、予め生成された顔モデルを選択することができる。また、原本映像の周波数帯域変換は、ＤＣＴあるいはフーリエ転換などによって、空間領域にある低解像度映像が周波数領域に変換するようになる。
この後に、周波数帯域を拡大する（段階Ｓ３２５）。すなわち、拡大比率に合わせてゼロマトリクス（Ｚｅｒｏ Ｍａｔｒｉｘ）を生成し、周波数帯域に変換された値を複写するようになる。例えば、図６に示されたように、４倍拡大６１０を目標にして入力映像が３２×２４である場合に、その４倍に該当する１２８×９６ゼロマトリクスを生成するようになる。この後、生成された低周波数領域を、３２×２４ゼロマトリクスの低周波数位置に複写するようになる（６２０）。
このときに、低周波成分だけの値があり、残りの部分には値がないため、ノイズが発生する恐れがある。したがって、このような周波数領域における映像拡大のときに発生するノイズを除去するための前処理過程を行うようになる（段階Ｓ３３０）。
すなわち、図７に示されたように、周波数領域における映像拡大７１０のときに発生するノイズを除去７２０するようになるのである。
低周波成分を拡大された領域にすぐに複写する場合には、図８に示された前処理を行っていない映像８３０のようなノイズが発生するため、本発明の一実施形態では、学習用顔データを用いて、このようなノイズを除去する変換マトリクスを生成する。
図８に示されたように、低解像度映像情報だけで拡大された映像８３０と、原本映像から入力映像と同じ低周波数成分だけを抽出した映像との場合には、映像特性が互いに異なることを知ることができる。
このような特性変化を、低解像度入力映像の場合にはｘで表記し、原本映像から低周波数成分のみを取り出したものをｙで表記すれば、図８に示されたグラフのように分布される。すなわち、低解像度入力映像の分散をＸマトリクスで現し、ノイズがない原本映像の低解像度部分をＹマトリクスで表記すれば、その変換マトリクスは、「ＳＶＤ」を用いて下記の数式（１）のように表記することができる。
前記の数式（１）を用いて変換マトリクスを生成するようになれば、新たな入力が入って来る場合に、そのノイズを除去したその出力値を、下記の数式（２）を用いて生成することができる。
図８に示されたように、前処理過程後の映像８６０は、前処理過程なしに生成された映像８３０に比べて、目領域から格子形状のノイズが除去されたことを確認することができる。
この後に、第１周波数帯域推定および第２周波数帯域推定を経て映像を復元することができる（段階Ｓ３４０、段階Ｓ３５０）。
図４は、本発明の一実施形態に係る第１周波数帯域の推定方法を説明するためのフローチャートである。図４を参照しながら、本発明の一実施形態に係る第１周波数帯域の推定方法について説明する。
ノイズを除去した後には、図９に示されたように、基準ブロック９１１から水平方向９１２への周波数帯域推定を実施し（段階Ｓ４１０）、図１０に示されたように、基準ブロック１０１１から垂直方向１０１２への周波数帯域推定を実施した後（段階Ｓ４２０）に、水平および垂直側への周波数帯域を推定した結果１１１１を用いて、基準ブロック９１１、１０１１から対角線方向１１１２への周波数帯域を推定するようになる（段階Ｓ４３０）。
このような周波数帯域を用いた推定による映像９２０、１０２０、１１２０の差を確認することができ、特に、映像９２０、１０２０、１１２０の目部位を拡大した映像９３０、１０３０、１１３０から、より確実な差を確認することができる。
こののような推定方法をより詳しく説明すれば、次の通りとなる。
低周波入力を用いて周辺にある高周波成分を推定する方法は、入力ベクトルと最も類似した値をトレーニングデータベースから検索し、検索されたペアセットを用いて高周波情報を復元するようになる。すなわち、図１２に示されたように、顔モデルの低解像度部分とこれに該当する周辺周波数情報を１つのペアとして顔モデルを構成するようになる。このとき、入力が入って来るようになれば、その入力と最も類似したペアセットをトレーニングデータベースから検索し、検索されたセットから高周波成分を複写して作業が終了する。
図１２に示されたように、復元されたｂ００を用いてｂ０１とｂ１０をトレーニングデータベースで復元する過程において、下記の数式（３）を用いてｘ００値を抽出する。このとき、Ｕ００は、原本映像のｂ００領域のみを用いて主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を実行した結果である。すなわち、ｂ００の基底ベクトルを生成した後、その係数値を出力として得る過程である。このような基底ベクトル投影過程は、現段階では大きな役割を果たさないが、ｂ００、ｂ０１、ｂ１０を合わせたｂ０００１１０を用いてＢ１１を推論する過程では、各値を線形的に加えた係数値によって出力するため、より優れた性能を類推することができる。
顔モデルは、トレーニングセットのＵ００投影係数値と、周辺高周波数値ｂ０１またはｂ１０でペアセットで構成されており、ｂ０１を類推するモデルであるＦ００は、下記の数式（４）の通りである。
顔モデルと入力値の類似度の比較は、Ｌ１、Ｌ２ディスタンス（Ｄｉｓｔａｎｃｅ）などを用いて、近似度が最も高い値を類推するようになる。このような過程については、図１３を参照しながら詳細に説明する。
図１３は、ｂ０１（図面符号１３２０）、ｂ１０（図面符号１３３０）を類推（推定）した後に、ｂ１１（図面符号１３４０）を推定する過程を図式化したものである。図１３に示されたように、ｂ１１（図面符号１３４０）の場合に、既に類推されたｂ０１（図面符号１３２０）、ｂ１０（図面符号１３３０）を用いてその値を推定する。すなわち、推定されたｂ０１（図面符号１３２０）およびｂ１０（図面符号１３３０）値を活用して、効果的にｂ１１（図面符号１３４０）の高周波数値を類推するのである。ｂ０００１１０をｂ００、ｂ０１、ｂ１０で成されたベクトルであると仮定すれば、前記のように実行された基底ベクトル投影および顔モデルの構成のときに、個別の周波数バンド（Ｆｒｅｑｕｅｎｃｙ Ｂａｎｄ）ではなく、３つのバンドの合計であるｂ０００１１０を活用してシステムを構成することができる。これについては、数式（５）に示された通りである。ここで、参考までに、本明細書上において、類推および推定という用語は、同一か類似した意味で用いられている。
この場合に、係数は、ｂ００、ｂ０１、ｂ１０と最も良く調和することができる値で顔モデルを構成するようになり、その最終結果を採択するようになる。
図５は、本発明の一実施形態に係る第２周波数帯域の推定方法を説明するためのフローチャートである。図５を参照しながら、本発明の一実施形態に係る第２周波数帯域の推定方法について説明する。
図１４に示されたように、４つのブロックで構成された基準ブロック１４１１から水平方向１４１２への周波数帯域推定を実施し（段階Ｓ５１０）、図１５に示されたように、４つのブロックで構成された基準ブロック１４１１から垂直方向１５１２への周波数帯域推定を実施した後（段階Ｓ５２０）に、水平および垂直方向への周波数帯域を推定した結果１６１１を用いて、基準ブロック１４１１、１５１１から対角線方向１６１２への周波数帯域を推定するようになる（段階Ｓ５３０）。
図４における第１周波数帯域の推定方法に基づいて、図１７に示されたように、抽出された情報Ｂ００（図面符号１７１０）で整合した後に、第１周波数帯域推定方法と同じように、残りの領域１７２０、１７３０の高周波数バンドを推論するようになる。また、類推されたＢ０１（図面符号１７２０）およびＢ１０（図面符号１７３０）値を活用して、効果的にＢ１１（図面符号１７４０）の高周波数値を類推することができる。
本発明の一実施形態に係る第２周波数帯域の推定方法は、本発明の一実施形態に係る第１周波数帯域の推定方法と同じであるが、基底ベクトルおよび顔モデルのみを異にした推定方法である。
このような第２周波数帯域の推定方法は、下記の数式（６）に基づいて成される。
図１８は、本発明に係る周波数基盤の映像モデルを用いた映像復元の一例を示した図である。
図１８に示された一例では、表情がなく、目を開いている映像モデルを用いたため、笑っている顔の場合には、笑っていない映像でマッピングをするようになり、目を閉じた顔映像は、目を開いた顔映像でマッピングが成された。
すなわち、顔モデルが、正面、無表情、または目を開いた状態であれば、入力として入って来る映像の顔１８１０がマスクを着用していたり、目を閉じた状態である場合にも、原本映像１８３０と最も類似した顔特徴を複写して復元１８２０が可能である。したがって、保安カメラが遠距離から顔映像を撮影し、撮影された顔映像を用いて身元確認が困難である場合にも、１枚の映像だけで低解像度の顔映像を高解像度に復元することができる。
また、本発明によれば、両目の座標だけを用いて正規化を実行するため、ノイズに強く、入力映像を低解像度から補正するので映像特性変化に強靭である上に、段階的に周波数バンドを復元するため、従来の方式で現れていたブロック間の不連続性を解消することができる。
なお、本発明に係る実施形態は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。本発明で説明された移動端末または基地局の動作の全部または一部がコンピュータプログラムで構成される場合に、前記コンピュータプログラムを保存したコンピュータ読取可能な記録媒体も本発明に含まれる。
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
本発明に係る周波数基盤の映像モデルを用いた映像復元方法を概念的に示した図である。 本発明の一実施形態に係る映像復元システムの構成を示した図である。 本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法を説明するためのフローチャートである。 本発明の一実施形態に係る第１周波数帯域の推定方法を説明するためのフローチャートである。 本発明の一実施形態に係る第２周波数帯域の推定方法を説明するためのフローチャートである。 本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法を説明するための一例を示した図である。 本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法を説明するための一例を示した図である。 本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法を説明するための一例を示した図である。 本発明の一実施形態に係る第１周波数帯域の推定方法を説明するための図である。 本発明の一実施形態に係る第１周波数帯域の推定方法を説明するための図である。 本発明の一実施形態に係る第１周波数帯域の推定方法を説明するための図である。 本発明の一実施形態に係る第１周波数帯域の推定方法を説明するための図である。 本発明の一実施形態に係る第１周波数帯域の推定方法を説明するための図である。 本発明の一実施形態に係る第２周波数帯域の推定方法を説明するための図である。 本発明の一実施形態に係る第２周波数帯域の推定方法を説明するための図である。 本発明の一実施形態に係る第２周波数帯域の推定方法を説明するための図である。 本発明の一実施形態に係る第２周波数帯域の推定方法を説明するための図である。 本発明に係る周波数基盤の映像モデルを用いた映像復元の一例を示した図である。
符号の説明
２００ 映像復元システム
２１０ 映像変換部
２２０ 映像複写部
２３０ ノイズ除去部
２４０ 映像復元部

Claims (15)

  1. 原本映像を周波数帯域に変換して変換映像を生成する段階と、
    前記変換映像を、前記原本映像が拡張されてブロックで分けられた領域のうちのいずれか１つの領域に複写する段階と、
    前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階と、
    を含むことを特徴とする周波数基盤の映像モデルを用いた映像復元方法。
  2. 前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、
    前記変換映像の低周波成分を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階であることを特徴とする請求項１に記載の周波数基盤の映像モデルを用いた映像復元方法。
  3. 前記周波数帯域に変換された原本映像を、ブロックで分けられた拡張された領域に複写するときに発生する周波数歪曲ノイズを除去する段階、
    をさらに含むことを特徴とする請求項１に記載の周波数基盤の映像モデルを用いた映像復元方法。
  4. 前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、
    前記変換映像の入力ベクトルと最も類似した値をデータベースから検索して探し出した情報に基づいて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階であることを特徴とする請求項１に記載の周波数基盤の映像モデルを用いた映像復元方法。
  5. 前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、
    前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元する段階と、
    前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元する段階と、
    前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する段階と、
    を含むことを特徴とする請求項１に記載の周波数基盤の映像モデルを用いた映像復元方法。
  6. 基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元する段階、
    をさらに含むことを特徴とする請求項１に記載の周波数基盤の映像モデルを用いた映像復元方法。
  7. 前記基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元する段階は、
    前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元する段階と、
    前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元する段階と、
    前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する段階と、
    を含むことを特徴とする請求項６に記載の周波数基盤の映像モデルを用いた映像復元方法。
  8. 請求項１ないし７のいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  9. 原本映像を周波数帯域に変換して変換映像を生成する映像変換部と、
    前記変換映像を、前記原本映像が拡張されてブロックで分けられた領域のうちのいずれか１つの領域に複写する映像複写部と、
    前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する映像復元部と、
    を含むことを特徴とする周波数基盤の映像モデルを用いた映像復元システム。
  10. 前記映像復元部は、
    前記変換映像の低周波成分を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元することを特徴とする請求項９に記載の周波数基盤の映像モデルを用いた映像復元システム。
  11. 前記周波数帯域に変換された原本映像を、ブロックで分けられた拡張された領域から複写するときに発生する周波数歪曲ノイズを除去するノイズ除去部、
    をさらに含むことを特徴とする請求項９に記載の周波数基盤の映像モデルを用いた映像復元システム。
  12. 前記映像復元部は、
    前記変換映像の入力ベクトルと最も類似した値をデータベースから検索して探し出した情報に基づいて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元することを特徴とする請求項９に記載の周波数基盤の映像モデルを用いた映像復元システム。
  13. 前記映像復元部は、
    前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元し、
    前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元し、
    前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元することを特徴とする請求項９に記載の周波数基盤の映像モデルを用いた映像復元システム。
  14. 前記映像復元部は、
    基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元することを特徴とする請求項９に記載の周波数基盤の映像モデルを用いた映像復元システム。
  15. 前記映像復元部は、
    前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元し、
    前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元し、
    前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元することを特徴とする請求項１４に記載の周波数基盤の映像モデルを用いた映像復元システム。
JP2008166486A 2008-01-15 2008-06-25 周波数基盤の映像モデルを用いた映像復元方法およびシステム Pending JP2009169932A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080004356A KR101033235B1 (ko) 2008-01-15 2008-01-15 튜브 고정용 랙

Publications (1)

Publication Number Publication Date
JP2009169932A true JP2009169932A (ja) 2009-07-30

Family

ID=40970980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008166486A Pending JP2009169932A (ja) 2008-01-15 2008-06-25 周波数基盤の映像モデルを用いた映像復元方法およびシステム

Country Status (2)

Country Link
JP (1) JP2009169932A (ja)
KR (1) KR101033235B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547395B1 (ko) * 2013-10-11 2015-08-25 세방전지(주) 전지모듈 하우징

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101972261B1 (ko) * 2018-02-22 2019-04-25 대상시너스(주) 배관 지지장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5925774U (ja) 1982-08-09 1984-02-17 日本発条株式会社 多列配管の支持装置
JPS611887U (ja) 1984-06-12 1986-01-08 日本電気株式会社 複数の丸ケ−ブルの固定構造
JPH0218987U (ja) * 1988-07-26 1990-02-08
JP2007053886A (ja) * 2005-08-19 2007-03-01 Osada:Kk ケーブル保持具

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547395B1 (ko) * 2013-10-11 2015-08-25 세방전지(주) 전지모듈 하우징

Also Published As

Publication number Publication date
KR101033235B1 (ko) 2011-05-06
KR20090078495A (ko) 2009-07-20

Similar Documents

Publication Publication Date Title
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
Suresh et al. Superresolution of license plates in real traffic videos
Su et al. Spatially adaptive block-based super-resolution
JP5555706B2 (ja) 高解像度映像獲得装置およびその方法
US9262684B2 (en) Methods of image fusion for image stabilization
JP2008518318A (ja) ボケた画像部分の画質を向上する方法
Aakerberg et al. Real‐world super‐resolution of face‐images from surveillance cameras
Wee et al. A novel fast fractal super resolution technique
Liang et al. Improved non-local iterative back-projection method for image super-resolution
CN111179159B (zh) 消除视频中目标影像的方法、装置、电子设备及存储介质
KR20110049570A (ko) 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법
KR101829287B1 (ko) 비부표본 윤곽선 변환의 적외선 영상 초고해상도 방법 및 장치
KR101538313B1 (ko) 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치
US20100040304A1 (en) Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program
JP4898655B2 (ja) 撮像装置及び画像合成プログラム
Chen et al. Eigen-patch: Position-patch based face hallucination using eigen transformation
KR20090078617A (ko) 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템
WO2023045627A1 (zh) 图像超分方法、装置、设备及存储介质
CN110490796B (zh) 一种高低频成分融合的人脸超分辨率处理方法及系统
JP2009169932A (ja) 周波数基盤の映像モデルを用いた映像復元方法およびシステム
JP4945533B2 (ja) 画像処理装置及び画像処理方法
JP2011070283A (ja) 顔画像高解像度化装置、及びプログラム
KR20230086996A (ko) 노이즈 추가 프로세스를 수행하는 컴퓨터 프로그램
Pham et al. Resolution enhancement of low-quality videos using a high-resolution frame
KR20230086998A (ko) 얼굴 세그먼트 영역에 노이즈를 부가하여 가상 인물 콘텐츠를 생성하는 컴퓨터 프로그램