JP2010220001A - 再符号化装置および再符号化方法 - Google Patents

再符号化装置および再符号化方法 Download PDF

Info

Publication number
JP2010220001A
JP2010220001A JP2009065853A JP2009065853A JP2010220001A JP 2010220001 A JP2010220001 A JP 2010220001A JP 2009065853 A JP2009065853 A JP 2009065853A JP 2009065853 A JP2009065853 A JP 2009065853A JP 2010220001 A JP2010220001 A JP 2010220001A
Authority
JP
Japan
Prior art keywords
resolution
super
encoding
image
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009065853A
Other languages
English (en)
Other versions
JP5262879B2 (ja
Inventor
Satoshi Sakazume
智 坂爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2009065853A priority Critical patent/JP5262879B2/ja
Publication of JP2010220001A publication Critical patent/JP2010220001A/ja
Application granted granted Critical
Publication of JP5262879B2 publication Critical patent/JP5262879B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】超解像拡大処理と再符号化処理と利用して、画質の高い符号化ビット列を生成すること。
【解決手段】第１復号部１０３は分離部１０２によって分離された入力符号化ビット列を復号し、所定の超解像拡大・縮小終了条件を満たすまで、超解像拡大部１０４がその復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成し、解像度縮小部１０５がその高空間解像度の超解像画像に対し解像度縮小処理を行い、基準空間解像度の超解像画像を生成して、基準空間解像度の超解像画像を更新する。次に、所定の再符号化終了条件を満たすまで、再符号化部１０７が再符号化を行い、再符号化後の符号化ビット列を第１復号部１０３に出力して復号させると共に、所定の超解像拡大・縮小終了条件を満たすまで、超解像拡大処理および解像度縮小処理を繰り返し行い、所定の再符号化終了条件を満たす再符号化後の符号化ビット列を生成する。
【選択図】図１

Description

本発明は、超解像拡大処理を利用した再符号化装置および再符号化方法に関する。
例えば、補間を行って最初の高解像度推定画像を生成し、位置合わせを行って位置合わせ画像を生成し、高解像度推定画像を不鮮明化し、不鮮明化画像と位置合わせ画像とを減算して残差画像を生成し、欠損していない周辺画素の残差値を用いて欠損残差を補間し、点拡がり逆関数を用いて残差画像から逆投影画像を生成し、平滑化画像と逆投影画像とを組み合わせて強調係数を生成し、強調係数を高解像度推定画像に更新して新たな高解像度推定画像を生成することにより、欠損画素の残差値を欠損していない周辺画素の残差値から補間する残差補間を用いた超解像処理方法及び装置がある(例えば、特許文献１)。
特開２００７−３１６１６１号
しかし、上記従来技術では、高い空間解像度に変換するような場合には、復号画像が劣化していると、空間解像度変換処理によって劣化成分自体も強調されてしまうために、余分な符号量を必要とし、効率良く再符号化できない、という問題がある。
そこで、本発明は、超解像拡大処理と再符号化処理と利用して、画質の高い符号化ビット列を生成することができる、再符号化装置および再符号化方法を提供することを目的とする。
上記課題を解決するため、本発明の再符号化装置は、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第１復号手段と、前記第１復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成する超解像拡大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像に対し再符号化を行う再符号化手段と、を有し、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の符号化ビット列を前記第１復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の符号化ビット列とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の符号化ビット列を生成させる、再符号化装置である。
ここで、さらに、入力する前記符号化ビット列と、所定の再符号化終了条件を満たす再符号化後の前記符号化ビット列とを多重化する多重化手段と、を有する、再符号化装置でもよい。
また、次の発明の再符号化装置では、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第１復号手段と、前記第１復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成する超解像拡大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第１復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成する減算手段と、前記所定の拡張層の残差情報に対し再符号化を行う再符号化手段と、再符号化された前記所定の拡張層の残差情報に対し復号を行う第２復号手段と、前記第１復号手段から得られる前記基準空間解像度の復号画像と、前記第２復号手段から得られる復号された前記所定の拡張層の残差情報とを加算し、所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、を備え、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記所定の拡張層の残差情報を前記第２復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報を生成させる、再符号化装置である。
ここで、さらに、入力する前記符号化ビット列と、所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報とを多重化する多重化手段と、を有する、再符号化装置でも良い。
また、次の発明の再符号化装置では、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第１復号手段と、前記第１復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成する超解像拡大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第１復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成する減算手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し再符号化を行う再符号化手段と、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行う第２復号手段と、前記第１復号手段から得られる前記基準空間解像度の復号画像と、前記第２復号手段から得られる復号された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、を備え、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を前記第２復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させる、再符号化装置である。
また、次の発明の再符号化装置では、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第１復号手段と、前記第１復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成すると共に、前記超解像拡大処理の位置合わせ処理において新たに特定された動きベクトル情報を利用して、符号化パラメータ情報を更新する超解像拡大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第１復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成する減算手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し、前記超解像拡大手段によって更新された前記符号化パラメータ情報を用いて再符号化を行う再符号化手段と、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行う第２復号手段と、前記第１復号手段から得られる前記基準空間解像度の復号画像と、前記第２復号手段から得られる復号された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、を備え、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を前記第２復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させる、再符号化装置である。
ここで、さらに、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情を多重化する多重化手段と、を有する、再符号化装置でもよい。
また、本発明の再符号化方法では、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像に対し再符号化を行うステップと、所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の符号化ビット列を復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の符号化ビット列とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の符号化ビット列を生成させるステップと、を有する再符号化方法である。
また、次の発明の再符号化方法は、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記第１復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、前記所定の拡張層の残差情報に対し再符号化を行うステップと、再符号化された前記所定の拡張層の残差情報に対し復号を行うステップと、前記基準空間解像度の復号画像と、前記所定の拡張層の残差情報とを加算し、所定の拡張層の復号画像として出力するステップと、所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記所定の拡張層の復号画像に対し前記超解像拡大処理および前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報を生成させるステップと、有する再符号化方法である。
また、次の発明の再符号化方法は、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し再符号化を行うステップと、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行うステップと、前記基準空間解像度の復号画像と、前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として出力するステップと、所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させるステップと、を有する再符号化方法である。
また、次の発明の再符号化方法は、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成すると共に、前記超解像拡大処理の位置合わせ処理において新たに特定された動きベクトル情報を利用して、符号化パラメータ情報を更新するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し、更新された前記符号化パラメータ情報を用いて再符号化を行うステップと、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行うステップと、前記基準空間解像度の復号画像と、前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として出力するステップと、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させるステップと、を有する再符号化方法である。
本発明は、再符号化前の十分でない情報量を含む符号化ビット列に対して、超解像拡大処理と解像度縮小処理を伴いながら再符号化を繰り返すことで、再符号化装置が最初に取得した符号化ビット列を、含まれる空間周波数成分情報を補いながら、符号化時の制約の少ない、効率の良い符号化を行うことができる。
本発明の再符号化装置および再符号化方法は、所定の符号化方式によって符号化された符号化ビット列を取得し、所定の符号化方式に基づいて復号し、超解像拡大処理を伴いながら、再符号化を繰り返すことで、取得した符号化ビット列から得られる動画像の各復号画像の情報量、つまり、復号画像に含まれる空間周波数成分情報の情報量を増大させ、より高い空間周波数成分情報を含む復号画像が得られるような符号化ビット列に再符号化するとともに、より効率の良い符号化ビット列に変換できるように構成される。以下に、本発明の詳細な実施例を示す。
実施形態１.
まず、再符号化後の符号化ビット列への置き換えを目的とした実施形態１の再符号化装置について説明する。
図１は、本発明の実施形態１である、再符号化装置１００の構成例を示すための概念ブロック図である。
図１において、実施形態１の再符号化装置１００は、少なくとも、再符号化制御部１０１、分離部１０２、第１復号部１０３、超解像拡大部１０４、解像度縮小部１０５、蓄積バッファ１０６、再符号化部１０７、多重化部１０８を有している。なお、生成した多重化ビット列を多重化しない場合は、多重化部１０８は省略しても良い。
再符号化制御部１０１は、本装置全体を制御すると共に、本装置外部との間で、再符号化制御情報１５３の入出力または送受信を行うものである。再符号化制御部１０１における再符号化制御情報１５３の入出力等は、図示しない外部の記憶装置、もしくは図示しない再符号化装置１００の内部の記憶装置に対して行われるように構成すると良い。また、再符号化制御部１０１は、再符号化制御情報１５３を多重化部１０８に供給する機能を有しても良い。再符号化制御部１０１は、再符号化開始要求情報を取得し、開始要求に従って再符号化装置１００を動作させるため、少なくとも、後述の分離部１０２、第１復号部１０３、超解像拡大部１０４、解像度縮小部１０５、蓄積バッファ１０６、再符号化部１０７、多重化部１０８に対し、再符号化制御情報１５３に応じて再符号化処理を繰り返し行うための制御を行う機能を有し、制御情報を供給するものである。また、再符号化制御部１０１は、再符号化停止要求情報を取得し、停止要求に従って再符号化装置１００を動作させるため、少なくとも、後述の分離部１０２、第１復号部１０３、超解像拡大部１０４、解像度縮小部１０５、蓄積バッファ１０６、再符号化部１０７、多重化部１０８に対し、再符号化処理を停止するための制御を行うものである。
ここで、再符号化制御情報１５３は、後述する再符号化継続判断情報、超解像回数制御情報、超解像終了判断情報、観測画像枚数制御情報、位置合わせ精度制御情報、ＰＳＦ（Point Ｓpread Function）制御情報、解像度縮小フィルタ制御情報、再符号化回数制御情報、再符号化終了判断情報、再符号化対象画像特定情報、の少なくともいずれかを含むと良い。
ここで、再符号化制御情報１５３に含まれる各情報について説明する。
再符号化継続判断情報は、入力される符号化ビット列１５１が、再符号化の途中のものであるか、再符号化が初回もしくは完了済みのものであるかを判断するための情報である。
超解像回数制御情報は、超解像拡大処理および解像度縮小処理の繰り返し回数を制御するための情報である。
超解像終了判断情報は、超解像拡大処理および解像度縮小処理の終了判断を行うための情報である。
観測画像枚数制御情報は、超解像拡大処理を行う際に利用する、観測画像の枚数を制御するための情報である。
位置合わせ精度制御情報は、超解像拡大処理の位置合わせ処理における、画素精度を制御するための情報である。位置合わせ精度制御情報によって、位置合わせ処理の画素精度を制御することで、位置合わせ処理に必要な処理量を制御することができる。
ＰＳＦ制御情報は、超解像拡大処理のＰＳＦ(Point Ｓpread Function；点広がり関数)処理における、ＰＳＦを制御するための情報である。ＰＳＦ制御情報によって使用するＰＳＦを切り替えることで、超解像拡大処理に必要な処理量を制御することができる。
解像度縮小フィルタ制御情報は、解像度縮小処理において、演算量の異なる複数の解像度変換フィルタの中から選択的に利用し、必要な縮小画像品質、処理量を制御するための情報である。
再符号化回数制御情報は、再符号化処理の繰り返し回数を制御するための情報である。
再符号化終了判断情報は、再符号化処理の終了判断を行うための情報である。
再符号化対象画像特定情報は、現在符号化対象となっている画像を、管理するための情報である。再符号化制御部１０１は、この再符号化対象画像特定情報に基づいて、再符号化処理の制御を行う。
再符号化制御部１０１の説明に戻る。再符号化制御部１０１は、後述の第１復号部１０３によって得られる符号化パラメータ情報を取得し、超解像拡大部１０４、解像度縮小部１０４、再符号化部１０７に供給するものである。さらに、再符号化制御部１０１は、超解像拡大部１０４から、更新された符号化パラメータ情報を取得する機能を有しても良い。また、再符号化制御部１０１は、更新された符号化パラメータ情報を、再符号化部１０７に供給する機能を有しても良い。
分離部１０２は、再符号化装置１００の入力側に接続される、記録装置１２１、記録装置１２１を介した記録媒体１２２、蓄積装置１２３、ネットワークに接続された伝送装置１２４等から、再符号化装置１００の入力として符号化ビット列１５１を取得するものである。また、分離部１０２は、取得した符号化ビット列１５１に対して、多重化方式を特定し、特定された多重化方式の構文構造に基づいて分離処理を行い、再符号化対象となる符号化ビット列を取得し、第１復号部１０３、多重化部１０８に供給するものである。分離部１０２は、再符号化制御部１０１からの制御情報に応じて、各種情報の入出力または送受信や、分離動作を行うものである。
第１復号部１０３は、分離部１０２によって分離された再符号化対象となる符号化ビット列と、再符号化部１０７から再符号化後の符号化ビット列を取得し、取得した符号化ビット列１５１または再符号化後の符号化ビット列１５１’に対し、符号化方式を特定し、特定された符号化方式の構文構造に基づいて復号するものである。ここで、再符号化装置１００の入力として取得した符号化ビット列１５１と、再符号化部１０７から得られる再符号化後の符号化ビット列１５１’との符号化方式は、同一でも、同一でなくとも構わない。つまり、第１復号部１０３は、一の復号方式に対応するものでも、複数の復号方式に対応し、復号方式を特定しながら復号できるものでも良い。また、第１復号部１０３は、復号の際に、少なくとも符号化パラメータ情報、復号画像を生成し、符号化パラメータ情報を再符号化制御部１０１に供給し、復号画像を蓄積バッファに供給するものである。ここで、符号化パラメータ情報には、少なくとも、動きベクトル情報、量子化パラメータ情報、符号化モード情報、復号画像の空間解像度を示すための空間解像度情報が含まれると良い。また、入力として取得した符号化ビット列を復号することによって得られる復号画像の空間解像度を、基準空間解像度とする。また、第１復号部１０３は、再符号化制御部１０１からの制御情報に応じて、各種情報を入出力または送受信や、復号動作を行うものである。
超解像拡大部１０４は、蓄積バッファ１０６に格納されている画像列から、少なくとも符号化対象となる画像を、超解像拡大処理の基準画像として取得し、再符号化制御部１０１から、符号化パラメータ情報を取得するものである。また、超解像拡大部１０４は、少なくとも１枚の観測画像を、符号化対象画像から生成、もしくは蓄積バッファから取得し、所定の超解像拡大処理により、高い空間解像度(以後、高空間解像度という)をもつ、高空間解像度の超解像画像を生成し、解像度縮小部１０５に供給するものである。ここで、生成される超解像画像の空間解像度は、基準となる所定の基準空間解像度以上であるものとする。また、超解像拡大部１０４は、所定の超解像拡大処理を行う際に、符号化パラメータ情報に含まれる、動きベクトル情報を利用するように構成すると、より良い構成となる。また、超解像拡大部１０４は、超解像拡大処理で行われる、位置合わせ処理で特定された動きベクトル情報に基づいて、符号化パラメータ情報を更新し、再符号化制御部１０１に供給する機能を備えるようにしても構わない。超解像拡大処理の詳細については、後述する。さらに、超解像拡大部１０４は、生成された高空間解像度の超解像画像を、外部の出力として接続された表示装置B １３２に供給する機能を有しても構わない。また、超解像拡大部１０４は、再符号化制御部１０１からの制御情報に応じて、各種情報の入出力または送受信や、超解像拡大動作を行うものである。
解像度縮小部１０５は、超解像拡大部１０４から高空間解像度の超解像画像を取得し、所定の解像度縮小処理により、基準空間解像度の超解像画像を生成し、蓄積バッファ１０６に供給するものである。ここで、さらに、解像度縮小部１０５は、再符号化制御部１０１から、符号化パラメータ情報を取得し、符号化パラメータ情報中の空間解像度情報に基づいて、基準空間解像度を特定し、所定の解像度縮小処理を行うものであると良い。また、解像度縮小部１０５は、再符号化制御部１０１からの制御情報に応じて、各種情報の入出力または送受信や、解像度縮小動作を行うものである。
蓄積バッファ１０６は、第１復号部１０３から復号画像を取得し、蓄積および管理し、超解像拡大部１０４に対し、必要とする符号化対象画像、および参照画像を供給するものである。さらに、蓄積バッファ１０６は、蓄積された復号画像、超解像画像を、所定の順序で、外部の出力として接続された表示装置Ａ１３１に供給する機能を有しても構わない。また、蓄積バッファ１０６は、再符号化制御部１０１からの制御情報に応じて、各種情報の入出力または送受信や、蓄積および管理動作を行うものである。また、蓄積バッファ１０６は、次に説明するように、再符号化部１０７に対し、再符号化対象となっている基準空間解像度の超解像画像を出力する。
再符号化部１０７は、少なくとも、再符号化制御部１０１で制御された回数の超解像拡大処理および解像度縮小処理を行った後の、再符号化対象となっている基準空間解像度の超解像画像を、蓄積バッファ１０６から取得するものである。また、再符号化部１０７は、符号化パラメータ情報に含まれる符号化モード情報に応じて、少なくとも１枚の参照画像を蓄積バッファから取得するものであると良い。さらに、再符号化部１０７は、再符号化制御部１０１から、符号化パラメータ情報、もしくは、更新された符号化パラメータ情報を取得するものである。再符号化部１０７は、再符号化制御部１０１の制御に応じて、符号化方式を決定し、取得した基準空間解像度の超解像画像と、符号化パラメータ情報に応じて、所定の構文構造に基づいて符号化を行い、生成された再符号化後の符号化ビット列を、第１復号部１０３、多重化部１０８に供給するものである。再符号化部１０７は、再符号化制御部１０１からの制御情報に応じて、各種情報の入出力または送受信や、再符号化動作を行うものである。
多重化部１０８は、分離部１０２から再符号化対象となる符号化ビット列を取得する機能、再符号化部１０７から再符号化後の符号化ビット列を取得し、再符号化制御部１０１の制御に応じて、多重化方式を選択し、選択された多重化方式の構文構造に基づいて、それぞれの符号化ビット列を識別するための識別情報を付加しながら、異なる再符号化終了条件や、異なる符号化方式によって符号化された符号化ビット列の多重化処理を行い、多重化後の符号化ビット列１５２を生成するものである。
また、多重化部１０８は、再符号化制御部１０１の制御に応じて、ＭＰＥＧ−１, ＭＰＥＧ−２, ＭＰＥＧ−４／ＡＶＣ／ＳＶＣ等の一般的な符号化方式に準拠した、所定の構文構造に基づいて、多重化処理を行い、多重化後の符号化ビット列を生成する機能を、さらに備えると良い。多重化部１０８は、再符号化装置１００の出力側に接続される、記録装置１４１、記録装置１４１を介した記録媒体１４２、蓄積装置１４３、ネットワークに接続された伝送装置１４４等に、生成された多重化後の符号化ビット列１５２を供給するものである。多重化部１０８は、再符号化制御部１０１からの制御情報に応じて、各種情報の入出力または送受信や、多重化動作を行うものである。なお、多重化部１０８は、本装置外に設けられていても勿論よい。
次に、図１に示す本実施形態１の再符号化装置１００の基本動作を、図２のフローチャートを参照しながら説明する。
まず、再符号化制御部１０１は、ユーザ等から再符号化開始要求を受けると、分離部１０２に対し、再符号化開始指令を送る。
すると、分離部１０２は、再符号化制御部１０１からの再符号化開始指令を受けて、その制御により、記録装置１２１や、記録媒体１２２、蓄積装置１２３、伝送装置１２４等から多重化符号化ビット列を取得し、取得した多重化符号化ビット列を分離処理によって音声データや、制御データ、映像データ等に分離し、そのうち本装置の再符号化対象である映像データの符号化ビット列を第１復号部１０３に供給する(Ｓ１０１)。なお、分離部１０２は、ユーザ等からの再符号化開始要求に基づくことなく、再符号化対象である映像データの符号化ビット列の入力に基づいて処理を開始してもよい。
第１復号部１０３は、分離部１０２から取得した再符号化対象の符号化ビット列を復号して、復号画像と符号化パラメータ情報を生成し、復号画像を蓄積バッファ１０６に供給し、符号化パラメータ情報を再符号化制御部１０１に供給する(Ｓ１０２)。
蓄積バッファ１０６は、第１復号部１０３から復号画像を取得し、蓄積バッファ１０６内に蓄積する(Ｓ１０３)。ここで、蓄積バッファ１０６は、復号画像を蓄積する際に、取得した復号画像の時間方向の順番に基づくフレーム管理情報とともに、蓄積された画像の管理を行う。なお、フレーム管理情報を使用しなくても良い。
ここで、第１復号部１０３は、再符号化制御部１０１の制御に基づいて、超解像拡大処理に必要な画像枚数が蓄積バッファ１０６に蓄積されるまで、復号画像を取得し、蓄積バッファ１０６は、その復号画像を観測画像として蓄積する。そのため、再符号化制御部１０１は、蓄積バッファ１０６における復号画像の蓄積状態の制御を、再符号化制御情報１５３に含まれる観測画像枚数制御情報に基づいて動作し、少なくとも基準画像と、観測画像枚数制御情報によって特定される、超解像拡大処理に必要な数観測画像の枚数が、蓄積バッファ１０６に蓄積されるように制御する。
超解像拡大処理に必要な画像枚数の復号画像が観測画像として蓄積バッファ１０６に蓄積されると、超解像拡大部１０４は、再符号化制御部１０１の制御に基づき、蓄積バッファ１０６から、現在超解像拡大対象となっている画像を基準画像として取得すると共に、少なくとも１枚の観測画像を、符号化対象画像から生成、もしくは蓄積バッファ１０６から取得する。ここで、再符号化制御情報１５３に含まれる観測画像枚数制御情報に基づいて、超解像拡大部１０４が取得する観測画像の枚数が制御されるようにすると良い。
その後、超解像拡大部１０４は、取得した基準画像と観測画像とを利用して、超解像拡大処理を行い、高空間解像度の超解像画像を生成し、解像度縮小部１０５に供給する(Ｓ１０４)。ここで、本実施形態の超解像拡大部１０４は、超解像拡大処理により、例えば、再符号化制御情報１５３に含まれる位置合わせ精度制御情報、ＰＳＦ制御情報に基づいて、超解像拡大処理の位置合わせ精度、点広がり関数(ＰＳＦ)の精度を制御し、超解像拡大処理に必要な処理量を制御しながら、超解像拡大処理を実行する。なお、再符号化制御情報１５３に含まれる位置合わせ精度制御情報、ＰＳＦ制御情報に基づく超解像拡大処理は、一例であり、限定されない。
次に、解像度縮小部１０５は、超解像拡大部１０４から高空間解像度の超解像画像を取得し、解像度縮小処理を行うことで、基準空間解像度の超解像画像を生成し、蓄積バッファ１０６に供給する(Ｓ１０５)。
ここで、本実施形態の解像度縮小部１０５は、この解像度縮小処理により、再符号化制御情報１５３に含まれる解像度縮小フィルタ制御情報に基づいて、解像度縮小処理で利用する解像度変換フィルタを選択して、必要な縮小画像品質、処理量を制御しているが、これに限定されない。
蓄積バッファ１０６は、基準空間解像度の超解像画像を取得し、取得した基準空間解像度の超解像画像と、既に蓄積されている復号画像とを、フレーム管理情報に基づいて関連付けて蓄積する(Ｓ１０６)。
その後、再符号化制御部１０１は、蓄積バッファ１０６に蓄積されている、基準空間解像度の超解像画像の更新が必要であるか、必要でないかを判断する(Ｓ１０７)。
ここで、再符号化制御部１０１は、超解像画像の更新が必要であるか、必要でないかを判断する際に、例えば、再符号化制御情報１５３に含まれる超解像回数制御情報、超解像終了判断情報に基づいて、所定の超解像処理回数を終了したか、あるいは所定の超解像度になり超解像が終了したかを判断して、超解像画像の更新が必要であるか否かを判断するが、これに限定されるものではない。また、再符号化制御部１０１は、超解像回数制御情報、超解像終了判断情報の双方の情報が有効で、超解像終了判断情報による終了条件を満たす前に、超解像回数制御情報による終了条件が満たされた場合には、終了条件が満たされたとして、超解像画像の更新が必要ではないと判断するようにしても良い。
そして、再符号化制御部１０１は、超解像画像の更新が必要であるとは判断した場合(Ｓ１０７ ＹＥＳ)、Ｓ１０４に戻り、更新が必要な基準空間解像度の超解像画像を、現在の超解像拡大対象の基準画像として、蓄積バッファ１０６から取得し、Ｓ１０５〜Ｓ１０７までの超解像拡大処理を繰り返す。
これに対し、再符号化制御部１０１は、超解像画像の更新が必要でないと判断した場合(Ｓ１０７ ＮＯ)、再符号化部１０７に再符号化の指示を送る。
再符号化部１０７は、現在の符号化対象となっている基準空間解像度の超解像画像を、蓄積バッファ１０６から取得し、再符号化を行うことで、再符号化後の符号化ビット列を生成し、再符号化制御部１０１へ出力する(Ｓ１０８)。ここでは、例えば、再符号化前の符号化パラメータ情報を考慮せずに、すなわち再符号化前の符号化パラメータ情報と同じ符号化パラメータ情報により再符号化を行うものとするが、再符号化前の符号化パラメータ情報と異なる符号化パラメータ情報により再符号化を行っても良い。
その後、再符号化制御部１０１は、再符号化部１０７にて生成された再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する(Ｓ１０９)。ここで、本実施形態の再符号化制御部１０１は、再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する際に、例えば、再符号化制御情報１５３に含まれる再符号化回数制御情報、再符号化終了判断情報に基づいて判断するが、これに限らない。また、再符号化回数制御情報、再符号化終了判断情報の双方の情報が有効で、再符号化終了判断情報による終了条件を満たす前に、再符号化回数制御情報による終了条件が満たされた場合には、終了条件が満たされたとして、再符号化後の符号化ビット列を更新する必要がないと判断するようにすると良い。
そして、再符号化制御部１０１は、再符号化後の符号化ビット列を更新する必要があると判断した場合(Ｓ１０９ ＹＥＳ)、再符号化部１０７に再々符号化の指令を送る。すると、再符号化部１０７は、第１復号部１０３に、再符号化後の符号化ビット列を供給し、Ｓ１０２に戻ることで、再符号化を再度繰り返す。
これに対し、再符号化制御部１０１は、再符号化後の符号化ビット列を更新する必要がないと判断した場合(Ｓ１０９ ＮＯ)、再符号化部１０７に指令を送り、再符号化部１０７は、再符号化後の符号化ビット列を多重化部１０８に供給する。
すると、多重化部１０８は、少なくとも、再符号化部１０７から再符号化後の符号化ビット列を取得し、符号化前の符号化ビット列と置き換えて多重化を行い(Ｓ１１０)、多重化後の符号化ビット列１５２を生成し、本装置内外の記録装置１４１や、記録媒体１４２、蓄積装置１４３、伝送装置１４４へ出力する。その際、必要あれば、再符号化制御部１０１からの再符号化制御情報１５３等を多重化する。なお、実施形態１の場合、再符号化前の符号化ビット列は、多重化部１０８にて多重化しないので、分離部１０２から多重化部１０８への信号線は不要で、この信号線は再符号化前の符号化ビット列を多重化する後述する実施形態２，３等にて必要になる。
以上のようなステップを経ることで、本実施形態の一連の基本動作が終了する。
なお、本実施形態の一連の基本動作の途中で、再符号化停止要求情報による再符号化装置の停止要求があった場合、再符号化制御情報１５３に含まれる再符号化継続判断情報に対して、再符号化の途中であることを示す情報を設定し、停止要求時点で得られている符号化ビット列に対して多重化を行い、多重化後の符号化ビット列を生成することで、再符号化を停止するように、再符号化制御部１０１が動作を制御するようにしても良い。
従って、本実施形態１の再符号化装置を動作させることにより、入力として取得した、必ずしも十分ではない画像品質および符号化効率の符号化ビット列を、高品質で符号化効率の高い符号化ビット列に置き換えることができる。
これにより、記録媒体１２２や記録装置１２１の記録容量が少ない場合や、伝送装置に接続された伝送路の伝送帯域が狭く、十分な伝送レートが得られないような環境、または、符号化側の制約により、十分な符号化処理が行えなかった場合であっても、本実施形態の再符号化装置であれば、復号画像の高品質化のみならず、取得した符号化ビット列を復号して得られる基準空間解像度の復号画像よりも情報量を増大させつつ、繰り返し再符号化を行うことで、最適な再符号化後の符号化ビット列を生成することを可能とし、各種記録装置および記録媒体への効率の良い蓄積や、高精細な動画像表示が可能な表示装置に対する、取得した情報量より多くの情報量に基づいた動画像の高精細表示や、通信装置を介して、高空間解像度および高い符号化ビットレートを要求する復号装置に対して動画像配信する際に、取得した情報量よりも多くの情報量に基づいた、高品位な動画像配信を実現することが可能となる。
[超解像拡大処理の詳細説明]
次に、図１に示す本実施形態１の超解像拡大部１０４で行われる、超解像拡大処理の詳細について説明する。
一般に、超解像処理による画像の高解像度化は、単に位置ずれがある等といった、比較的画像間の相関が高い複数の低空間解像度画像から１枚の高空間解像度画像を推定することによって行われるものであり、近年数多くの研究で報告されている。例えば、「Ｓung C.P.、Min K.P.共著、Ｓuper-Resolution Image Reconstruction: A Technical Overview, IEEE ＳignalProc. Magazine, 第２６巻, 第３号, p.２１-３６, ２００３年」などがある。また、「B.C.Tom, A.K.Katsaggelos共著、Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images, Proc. IEEE Int. Conf. Image Processing, 第２巻、p.５３９-５４２, １９９５年」に開示されているML (Maximum-likelihood) 法というものが提案されている。
このML法では、高空間解像度画像から推定された低空間解像度画像の画素値と実際に観測された画素値の二乗誤差を評価関数とし、評価関数を最小化するような高空間解像度画像を推定画像としている。この方法は、最尤推定の原理に基づいて超解像処理を行う方法である。
また、「R.R.Ｓchulz, R.L.Ｓtevenson共著、Extraction of high-resolution frames from video sequences, IEEE Trans. Image Processing, 第５巻, p.９９６-１０１１, １９９６年」に開示されているMAP (Maximum A Posterior) 法というものが提案されている。MAP法では、二乗誤差に高空間解像度画像の確率情報を付加した評価関数を最小化するような高空間解像度画像の推定を行う。この方法は、高空間解像度画像に対する何らかの先見情報を利用して、事後確率を最大化する最適化問題として高空間解像度画像の推定を行う超解像処理方法である。
さらに、「H.Stark, P.Oskoui共著、High resolution image recovery from image-plane arrays, using convex projections, J.Opt. Soc. Am. A, 第６巻, p.１７１５-１７２６, １９８９年」に開示されているPOCＳ (Projection Onto Convex Sets) 法というものが提案されている。このPOCS法では、高空間解像度画像と低空間解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高空間解像度画像を得る超解像処理方法である。
本実施形態１における所定の超解像拡大処理は、例えば、上述のような超解像処理を適用したものである。
以下、本実施形態１で用いる超解像拡大処理の基本構成例を説明する。
図３は、本発明の実施形態１における超解像拡大部１０４の詳細構成例を示すブロック図、図４および図５は、超解像処理を示す概念図、図６は、超解像処理の動作例を示すフローチャートである。
図３において、本実施形態１の超解像拡大部１０４は、位置合わせ部１０４１、補間部１０４２、推定画像生成部１０４３、繰り返し判断部１０４４を有している。
図４は、超解像拡大処理の一例を示している。
位置合わせ部１０４１は、図４(ａ)に示すような、超解像拡大処理を行う際の基準となる基準画像と、少なくとも１枚の観測画像を取得する。ここでは、図４(ａ)に示すような基準画像と、観測画像１と、観測画像２とを取得するものとする。位置合わせ部１０４１は、図４(ｂ)に示すように、取得した基準画像と観測画像１，２の空間解像度よりも高空間解像度の画素位置への位置合わせを行い、不等間隔にサンプリングされた不均一高空間解像度画像を生成するものである。また、生成した不均一高空間解像度画像を補間部１０４２、繰り返し判断部１０４４に供給するものである。ここで、生成される不均一高空間解像度画像は、例えば図４(ｂ)で示すように、基準画像の各画素を基準として観測画像の位置合わせを行い、基準画像との間の相関が最も高くなる位置に配置するようにすることが望ましい。また、位置合わせで適用される空間解像度は、超解像拡大処理後に得られる空間解像度よりも高い空間解像度で位置合わせを行うようにすることが望ましい。
なお、図３については、図８と対比して後述する。
ここで、取得できる画像が基準画像のみで、観測画像が存在しない場合には、取得した基準画像に対して、所定のリサンプリング処理を行うことで、複数の低空間解像度画像を生成し、生成された複数の低空間解像度画像のうちの１つを基準画像、それ以外を観測画像として、位置合わせ部１０４１に供給することで、より良い構成となる。
図５は、観測画像が存在しない場合の超解像拡大処理の一例を示している。
この場合、超解像拡大部１０４では、例えば、位置合わせ部１０４１が、図５のように、図５（ａ）の取得画像に対して、所定のリサンプリング処理を行い、図５（ｂ）の基準画像、観測画像１、観測画像２、観測画像３を生成した上で、図５（ｃ）のような位置合わせ処理を行い、図５（ｄ）のような高空間解像度の推定画像を生成するようにしても構わない。
また、位置合わせ部１０４１は、取得した基準画像、観測画像が、符号化ビット列を復号して得られた復号画像であり、基準画像がインター符号化の復号画像であった場合、符号化パラメータ情報を利用して観測画像との間の参照関係を特定し、動きベクトル情報が利用できる場合には、位置合わせ処理を行う際の初期位置として動きベクトル情報を利用するように構成すると良い。位置合わせ処理に動きベクトル情報を利用することで、位置合わせ処理の演算量を軽減することができる。
また、位置合わせ部１０４１は、動きベクトル情報を利用し、位置合わせ処理の過程で、取得した動きベクトル情報よりも精度の高い動きベクトル情報が特定できた場合、符号化パラメータ情報に新たに動きベクトル情報を追加、もしくは更新し、再利用できるように構成すると良い。動きベクトル情報を更新する際に、動きベクトル情報の拡張情報として、元の動きベクトル情報との差分情報を符号化パラメータ情報に格納できるように構成すると、さらに良い構成となる。
補間部１０４２は、位置合わせ部１０４１にて生成された不均一高空間解像度画像を取得し、取得した不均一高空間解像度画像から所定の不均一補間処理を行って、所望の高空間解像度を持つ補間画像を生成し、推定画像生成部１０４３に供給するものである。また、補間部１０４２は、繰り返し判断部１０４４から制御情報を取得し、制御情報に応じて繰り返し処理を行う場合には、所定の更新方法に従って不均一推定画像を利用し、位置合わせ部１０４１から取得した不均一高空間解像度画像を更新するとともに、それぞれの補間画素を修正しても良い。ここで、制御情報は、繰り返し補間処理を行うか否かを示す情報で、推定画像生成部１０４３によって生成された不均一推定画像が含まれると良い。
推定画像生成部１０４３は、補間部１０４２にて生成された補間画像を取得し、所定のカメラモデルから得られる点広がり関数（ＰＳＦ）を考慮して所定の復元処理を行い、必要であれば所定のノイズ除去処理を行って、図４(ｃ)で示すような所望の空間解像度を持つ推定画像を生成し、推定画像に対してリサンプル処理を行って、不均一高空間解像度画像の各画素に対応する、不均一推定画像を生成し、繰り返し判断部１０４４に供給するものである。
また、推定画像生成部１０４３は、繰り返し判断部１０４４から制御情報を取得するとともに、制御情報に応じて、生成した所望の空間解像度を持つ推定画像を高空間解像度画像として外部に対して出力するものである。
繰り返し判断部１０４４は、位置合わせ部１０４１から不均一高空間解像度画像を取得するとともに、推定画像生成部１０４３から不均一推定画像を取得して、取得したそれぞれの画像を利用して、所定の判断方法に従って超解像拡大処理の繰り返しが必要か否かを判断し、その判断の結果、繰り返しが必要な場合は、補間部１０４２に対して処理を継続するための制御情報を供給する一方、繰り返しが必要ない場合には、推定画像生成部１０４３に対して超解像拡大処理結果である高空間解像度の推定画像を出力するための制御情報を供給するものである。
ここで、さらに高速な超解像拡大処理を行う必要があると判断した場合には、例えば、特許第３８３７５７５号で開示されているような、超解像処理の高速化方法を、本発明の画像処理装置に適用するようにすると、さらに良い構成を実現することができる。
次に、図３に示す超解像拡大部１０４の動作を、図６のフローチャートを参照しながら説明する。
まず、位置合わせ部１０４１は、超解像拡大処理を行う際の基準となる基準画像と、少なくとも１枚の観測画像とを取得し（Ｓ７１０）、所望の空間解像度よりも高い空間解像度によって、取得したそれぞれの画像の位置合わせを行う（Ｓ７２０）。その際、位置合わせ部１０４１は、基準画像の各画素を対応する位置に配置した後、この基準画像との相関が最も高くなるように観測画像の各画素を配置することで、不等間隔にサンプリングされた不均一高空間解像度画像を生成し、補間部１０４２へ出力する。なお、位置合わせ部１０４１は、観測画像を取得できなかった場合は、図５に示すように、所定のリサンプリング処理を行って、観測画像を生成する。
補間部１０４２は、位置合わせ部１０４１にて生成された不均一高空間解像度画像を取得し、所定の不均一補間処理を行って画素の補間を行い、所望の高空間解像度を持つ補間画像を生成し、推定画像生成部１０４３へ出力する（Ｓ７３０）。
推定画像生成部１０４３は、補間部１０４２から補間画像を取得し、所定の復元処理を行い、必要であれば所定のノイズ除去処理を行って、所望の空間解像度を持つ推定画像を生成し、推定画像に対してリサンプル処理を行って、不均一空間解像度画像の各画素に対応する、不均一推定画像を生成し、繰り返し判断部１０４４へ出力する（Ｓ７４０）。
繰り返し判断部１０４４は、位置合わせ部１０４１から不均一空間解像度画像を取得するとともに、推定画像生成部１０４３から不均一推定画像を取得し、取得したそれぞれの画像を利用して、所定の判断方法に従って超解像拡大処理の繰り返しが必要か否かを判断する（Ｓ７５０）。
ここで、繰り返し判断部１０４４は、超解像拡大処理の繰り返しが必要であると判断した場合（Ｓ７５０ ＹＥＳ）、補間部１０４２に対して処理を継続するための制御情報を出力する。
これに対し、繰り返し判断部１０４４は、超解像拡大処理の繰り返しが必要でないと判断した場合（Ｓ７５０ ＮＯ）、推定画像生成部１０４３に対して超解像拡大処理結果である高空間解像度の推定画像を出力するための制御情報を出力する。これにより、推定画像生成部１０４３は、繰り返し判断部１０４４からの制御情報に応じて、生成した所望の空間解像度を持つ推定画像を、超解像拡大処理によって得られた高空間解像度画像として出力する（Ｓ７６０）。以上で、本実施形態１の超解像拡大処理が完了する。
次に、解像度縮小部１０５および解像度拡大部４０３における所定の解像度変換処理の一例について説明する。
図７（ａ）は、解像度変換部８００の構成例を示すブロック図である。
図７（ａ）において、解像度変換部８００は、画素挿入部８０１、フィルタリング処理部８０２、画素間引き部８０３を有する。このような解像度変換部８００を、解像度縮小部１０５や、解像度拡大部４０３に適用することで、本実施形態の再符号化装置１００は、より良い構成となる。
つまり、解像度変換部８００における画素挿入部８０１を機能させないように構成することで、図７（ｂ）のように、定数分の１に空間解像度を縮小するような解像度縮小部１０５を構成することができる。なお、直接、図７（ｂ）のような解像度縮小部１０５を構成しても良い。
また、解像度変換部８００における画素間引き部８０３を機能させないように構成することで、図７（ｃ）のように、定数倍の空間解像度に拡大するような解像度拡大部４０３を構成することができる。なお、直接、図７(ｃ)のような解像度拡大部４０３を構成しても良い。
ここで、画素挿入部８０１は、入力された画像の空間解像度を拡大し、扱うことができる空間周波数帯域を拡張するために、画素間に新たな画素を挿入することで入力画像のアップサンプル画像を生成し、フィルタリング処理部８０２に供給するものである。画素挿入部８０１を機能させない場合には、入力画像をアップサンプル画像としてフィルタリング処理部８０２に供給すると良い。
フィルタリング処理部８０２は、画素挿入部８０１からアップサンプル画像を取得し、所定のローパスフィルタを利用してフィルタリング処理を行うことにより帯域制限画像を生成し、画素間引き部８０３に供給するものである。ここで、所定のローパスフィルタを利用したフィルタリング処理は、解像度変換部が最終的に出力する画像の空間解像度が表現できる空間周波数帯域の範囲内に、帯域制限および補間ができるローパスフィルタを用いて、アップサンプル画像に対するフィルタリング処理を行えばよく、利用するフィルタは、例えば、sinc関数やLanczos関数に基づいたフィルタ、周波数応答が全帯域にわたって平坦かつ急峻な遮断周波数特性を持つように設計されたＦＩＲおよびＩＩＲフィルタを用いると良い。また、Nearest-neighbor法、Bilinear法、Bicubic法、Ｓpline法、などに基づいたフィルタを用いて処理を軽減させても構わない。画素間引き部８０３を機能させない場合には、フィルタリング処理部８０２によって生成された帯域制限画像が出力画像として出力されるようにすると良い。
画素間引き部８０３は、フィルタリング処理部８０２から帯域制限画像を取得し、解像度変換部が最終的に出力する画像の空間解像度に合わせるために、所定の画素間引き処理を行い、出力画像を生成する。
図８は、解像度変換部８００、解像度縮小部１０５、解像度拡大部４０３のような空間解像度変換によって画像の拡大処理を行った後に、縮小処理を行った場合に、画像内の信号成分がどのように変化するかを示した概念図である。
図８(ａ)に示すように、入力画像に本来含まれる空間周波数成分は、faまでであるとすると、解像度変換部８００における解像度変換処理では、仮に扱うことのできる空間周波数成分を拡大するために空間解像度を高めて画像の拡大処理を行ったとしても、画像の画素数は増大するものの、含まれる空間周波数成分自体を増やすことはできない。
よって、図８(ｂ)のような元のままの空間周波数成分のみを含む状態となり、その後、ローパスフィルタリング処理によってfmaxまで帯域制限し、元の空間解像度をもつ画素数まで画素間引き処理をしても、元のままの空間周波数成分を含む画像が生成される。
これに対し、図９は、超解像拡大部１０４のような超解像拡大処理を行った後に、縮小処理を行った場合に、画像内の信号成分がどのように変化するかを示した概念図である。
図９(ａ)に示すように、入力画像に本来含まれる空間周波数成分はfaまでであるとすると、超解像拡大部における超解像拡大処理では、図４や図５のような処理に基づいて、含まれる空間周波数成分自体が増加する。仮にこのような処理によって図９(ｂ)に示すように、含まれる空間周波数成分はfbまで拡張されたとすると、その後、ローパスフィルタリング処理によってfmaxまで帯域制限を行うと、本来含まれていたfaまでの空間周波数成分以上の成分を、空間周波数fmaxまで表現できる画像内に含めた画像が生成される。
従って、超解像拡大部１０４がこのような超解像拡大処理を行うことにより、同じ空間解像度の画像であっても、本来含まれるべき画像成分を補った画像を生成して利用できるという点が、解像度変換部８００、解像度拡大部４０３における解像度変換処理との大きな違いである。
ここで、所定の解像度変換処理を行う際の解像度変換率は、所定の解像度変換率情報として設定されるか、外部のユーザ等から設定される解像度変換率情報を取得する機能を有し、取得した解像度変換率情報に基づいて解像度変換率が特定されて所定の解像度変換処理を行うようにしても良い。
例えば、図７（ａ）に示す解像度変換部８００を、図７(ｂ)に示す解像度縮小部１０５として作用させることを考える。基準空間解像度よりも高い空間解像度となっている高空間解像度の超解像画像から、基準空間解像度の超解像画像となるように画像の縮小処理を行う場合には、画素挿入部８０１における画素間に新たな画素を挿入する割合と、画素間引き部８０３における画素間引きを行う割合を解像度変換率に応じて設定する。
ここで、解像度変換率は、解像度変換率＝画素挿入率／画素間引き率と表せ、画素挿入率は、画素挿入率＝入力画素／出力画素、画素間引き率は、画素間引き率＝入力画素／出力画素である。
例えば、解像度変換率２で基準空間解像度から高空間解像度の超解像画像が生成されている場合を考えると、基準空間解像度に戻すための解像度変換率は１/２であることから、画素挿入部８０１では入力画素：出力画素＝１:１、つまり入力画像をそのままアップサンプル画像としてフィルタリング処理部８０２に供給するように設定する。画素間引き部８０３では入力画素：出力画素＝２:１、つまり２画素につき１画素の間引き処理を行って出力画像を生成する。
次に、図７（ａ）の解像度変換部８００を解像度拡大部４０３として作用させることを考える。例えば、解像度変換率２=２/１で基準空間解像度の２倍の拡大画像を生成する場合を考えると、画素挿入部８０１では入力画素：出力画素＝１:２、つまり１画素につき１画素の挿入を行ってアップサンプル画像を生成してフィルタリング処理部８０２に供給するように設定する。画素間引き部８０３では入力画素：出力画素＝１:１、つまり間引き処理を行わずにそのまま出力画像として出力するように設定する。
なお、図７（ａ）に示す解像度変換部８００の構成は、あくまで一例であり、より自由な空間解像度への画像の拡大・縮小処理が必要な場合には、Ｓpline法などを利用することで、実数の位置精度で自由な位置の画素を、入力画像から生成し、所望の空間解像度を持つ画像を生成することができるように構成することもできる。
従って、本実施形態１の再符号化装置によれば、入力された符号化ビット列を復号して得られる復号画像が有する空間解像度を基準空間解像度とし、復号画像で構成される動画像中に潜在的に含まれるが基準空間解像度では十分表現できていなかった空間方向および時間方向の周波数成分情報を、超解像拡大部１０４による所定の超解像拡大処理に基づいて復元した上で基準空間解像度よりも高い空間解像度で表現し、復号画像で構成される動画像が持つ周波数成分情報の情報量を拡張した高空間解像度の超解像画像を生成した上で、再符号化処理を行って、入力された符号化ビット列を復号して得られた復号画像がもつ情報量よりも、多くの情報量に基づいた再符号化を行えるという効果を生じる。
また、本実施形態１の再符号化装置では、超解像拡大部１０４にて生成した高空間解像度の超解像画像に対して、解像度縮小部１０５にて所定の解像度縮小処理を行い、基準空間解像度で表現された超解像画像を生成するようにしているので、動画像中に潜在的に含まれるが基準空間解像度では十分表現できていなかった空間方向および時間方向の周波数成分情報を生成し、本来含まれていなかった周波数成分情報を、基準空間解像度で表現できる周波数成分情報の範囲内に制限した上で超解像画像に含ませることにより、入力された符号化ビット列を復号して得られる復号画像で構成される動画像では表現できていなかった周波数成分情報を超解像画像に反映し、この超解像画像に基づいて再符号化処理を行って、入力された符号化ビット列を復号して得られる復号画像で構成される動画像がもつ情報量よりも多くの情報量に基づいた再符号化を行えるという効果を生じる。
実施形態２.
次に、実施形態２の再符号化装置について説明する。本実施形態２の再符号化装置では、再符号化後の符号化ビット列と、再符号化前の符号化ビット列とを共に多重化するように構成したものである。従って、構成自体は、図１に示す実施形態１の再符号化装置１００と同じであるので、図１を参照して説明する。
図１０は、本実施形態２の再符号化装置１００の基本動作を示すフローチャートである。
まず、再符号化開始要求を受けると、本実施形態１と同様に、再符号化制御部１０１の制御に応じて、分離部１０２が、あらかじめ符号化され、多重化された符号化ビット列を取得し、取得した多重化後の符号化ビット列を分離処理によって分離する(Ｓ２０１)ことで、再符号化対象となる符号化ビット列を取得し、第１復号部１０３に供給する。さらに、本実施形態２では、分離部１０２は、取得した再符号化対象となる符号化ビット列を、多重化部１０８に供給する。
その後のＳ２０２からＳ２０９までの動作は、図２に示す本実施形態１の基本動作である、Ｓ１０２からＳ１０９までの動作と同様であっても構わないため、ここでは説明を省略する。
そして、Ｓ２０９において、再符号化後の符号化ビット列を更新する必要がないと判断すると(Ｓ２０９ ＮＯ)、多重化部１０８は、再符号化制御部１０１の制御に応じて、再符号化部１０７から再符号化後の符号化ビット列を取得するとともに、再符号化前の符号化ビット列を分離部１０２から取得する。そして、符号化前の符号化ビット列と再符号化後の符号化ビット列を１つの多重化後の符号化ビット列にするために、多重化を行い、多重化後の符号化ビット列を生成する(Ｓ２１０)。その際、必要あれば、再符号化前の符号化ビット列と、再符号化後の符号化ビット列とを識別するための識別符号（フラグ）や、再符号化制御部１０１からの再符号化制御情報１５３等を多重化する。
以上のようなステップを経ることで、本実施形態２の一連の基本動作が終了する。
また、本実施形態２の一連の基本動作の途中で、再符号化停止要求情報による再符号化装置の停止要求があった場合も、本実施形態１の動作と同様であっても構わないため、ここでは説明を省略する。
このようなステップを実行することで、本実施形態２の再符号化装置を動作させることにより、再符号化前の符号化ビット列と、再符号化後の符号化ビット列をともに１つの多重化後の符号化ビット列として生成し、管理することが可能となる。
従って、本実施形態２によれば、このような多重化後の符号化ビット列を構成することにより、従来、同一のコンテンツであるにもかかわらず、複数の符号化形式で符号化された複数の符号化ビット列が存在している場合には、何らかの関連付け情報に基づいて複雑な管理を行う必要があったが、本実施形態２の再符号化装置が生成する多重化後の符号化ビット列のように、複数の符号化ビット列を多重化し、多重化後の符号化ビット列とすることで、コンテンツ毎の一元管理を容易にすることができる。
また、本実施形態２の再符号化装置によれば、当該装置に接続することができる高精細表示が可能な表示装置の要求に応じて、再符号化前の符号化ビット列による、オリジナルに忠実な復号動画像と、本実施形態２で新たに再符号化された、高品質で、高い符号化ビットレートをもつような再符号化後の符号化ビット列による、高品質化された復号動画像とを、選択的に切り替えて表示することができる。
また、本実施形態２の再符号化装置によれば、当該装置に接続することができる通信装置およびネットワークを介して、外部の復号装置に動画像配信を行うような場合、外部の復号装置からの要求に応じて、再符号化前の符号化ビット列による、オリジナルに忠実な復号動画像と、本実施形態２で新たに再符号化された、高品質で、高い符号化ビットレートをもつような再符号化後の符号化ビット列による、高品質化された復号動画像とを、選択的に供給することが可能となる。
実施形態３.
次に、実施形態３の再符号化装置について説明する。本実施形態３では、基本層の互換性維持を目的とした階層構造を採用した再符号化装置について説明する。
図１１は、本発明の本実施形態３である、再符号化装置２００の構成例を示すための概念ブロック図である。
実施形態３の再符号化装置２００は、実施形態１，２の構成に対して、さらに、減算部２０１、加算部２０２、再符号化部２０３、第２復号部２０４を追加し、再符号化部１０７を除いたものを有している。以下に、各構成要素において、実施形態１，２の再符号化装置１００とは異なる機能についてのみ説明する。
再符号化制御部１０１は、さらに、開始要求に従って再符号化装置２００を動作させるため、少なくとも、再符号化部２０３、第２復号部２０４に対し、再符号化制御情報１５３に応じて再符号化処理を繰り返し行うための制御を行い、制御情報を供給するものである。また、再符号化制御部１０１は、さらに、停止要求に従って再符号化装置２００を動作させるため、少なくとも、再符号化部２０３、第２復号部２０４に対し、再符号化処理を停止するための制御を行うものである。
第１復号部１０３は、さらに、復号画像を、減算部２０１、加算部２０２に供給するものである。
蓄積バッファ１０６は、さらに、再符号化制御部１０１の制御に応じて、加算部２０２から、加算後の復号画像を取得し、蓄積および管理するものである。また、蓄積バッファ１０６は、再符号化制御部１０１の制御に応じて、蓄積されている基準空間解像度の超解像画像を、減算部２０１に供給するものである。また、蓄積バッファ１０６は、再符号化制御部１０１の制御に応じて、蓄積されている復号画像を、減算部２０１に供給する機能を有しても良い。
多重化部１０８は、さらに、再符号化部２０３から、基本層すなわち基準空間解像度の再符号化後の符号化ビット列、拡張層の再符号化後の符号化ビット列を取得し、基本層の再符号化前の符号化ビット列を取得するものである。多重化部１０８は、さらに、再符号化制御部１０１の制御に応じて、多重化対象となる符号化ビット列を特定して多重化を行い、多重化後の符号化ビット列を生成するものである。
減算部２０１は、第１復号部１０２もしくは蓄積バッファ１０６からの再符号化前の符号化ビット列を復号して得られた基準空間解像度の復号画像を、蓄積バッファ１０６からの基準空間解像度の超解像画像を減算することで、残差情報を生成し、再符号化部２０３に供給するものである。また、減算部２０１は、再符号化制御部１０１の制御によって、第１復号部１０３から復号画像が取得できない場合には、減算処理を行わず、蓄積バッファ１０６から取得した基準空間解像度の超解像画像を、再符号化部２０３に供給するものであると良い。
加算部２０２は、第１復号部１０３からの基準空間解像度の復号画像に、第２復号部２０４から復号後の残差情報もしくは再符号化後の符号化ビット列を復号して得られた復号画像を加算し、加算後の復号画像蓄積バッファ１０６に供給するものである。また、加算部２０２は、再符号化制御部１０１の制御によって、第１復号部１０３から復号画像が取得できない場合には、加算処理を行わず、第２復号部２０４から取得した復号画像を、加算後の復号画像として、蓄積バッファ１０６に供給するものであると良い。
再符号化部２０３は、減算部２０１を介して、蓄積バッファ１０６から基準空間解像度の超解像画像を取得するものである。再符号化部２０３は、取得した基準空間解像度の超解像画像を基本層とし、基本層の符号化方式の構文構造に基づいて再符号化を行うことで、基本層の再符号化後の符号化ビット列を生成し、多重化部１０８、第２復号部２０４に供給するものである。また、再符号化部２０３は、さらに、減算部２０１から、生成された残差情報を取得するものである。また、再符号化部２０３は、取得した残差情報を拡張層とし、拡張層の符号化方式の構文構造に基づいて再符号化を行うことで、拡張層の再符号化後の符号化ビット列を生成し、多重化部１０８、第２復号部２０４に供給するものである。
第２復号部２０４は、再符号化部２０３から、基本層の再符号化後の符号化ビット列、もしくは拡張層の再符号化後の符号化ビット列を取得し、再符号化部２０３から取得した符号化ビット列に対し、符号化方式を特定し、特定された符号化方式の構文構造に基づいて復号するものである。ここで、第２復号部２０４は、符号化方式の特定によって、取得した符号化ビット列が基本層の符号化方式と特定された場合は、基本層の符号化方式の構文構造に基づいて復号し、ここでは、基本層の復号画像を生成すると良い。また、第２復号部２０４は、符号化方式の特定によって、取得した符号化ビット列が拡張層の符号化方式と特定された場合は、拡張層の符号化方式の構文構造に基づいて復号し、ここでは、拡張層の復号後の残差情報を生成すると良い。
図１２は、図１１に示す本実施形態３の再符号化装置２００の基本動作を示すフローチャートである。
まず、再符号化開始要求をうけると、再符号化制御部１０１の制御に応じて、分離部１０２が、あらかじめ符号化され、多重化された符号化ビット列を取得し、取得した多重化後の符号化ビット列を分離処理によって分離する(Ｓ３０１)ことで、再符号化対象となる符号化ビット列を取得し、第１復号部１０３に供給する。
次に、第１復号部１０３は、取得した再符号化対象の符号化ビット列を復号することで、復号画像と符号化パラメータ情報を生成し、復号画像を加算部２０２に供給する一方、符号化パラメータ情報を再符号化制御部１０１に供給する。
また、第２復号部２０４は、再符号化制御部１０１の制御に応じて、再符号化部２０３から拡張層の再符号化後の符号化ビット列を取得し、復号処理によって、拡張層の復号後の残差情報と符号化パラメータ情報を生成し、拡張層の復号後の残差情報を加算部２０２に供給する一方、拡張層の符号化パラメータ情報を再符号化制御部１０１に供給する。このような処理を行うことで、再符号化対象の符号化ビット列を復号する(Ｓ３０２)。
その後、加算部２０２は、第１復号部１０３から復号画像を取得する。ここで、加算部２０２には、第２復号部２０４から拡張層の復号後の残差情報は取得できないため、再符号化制御部１０１の制御に基づき、加算処理を行わず、取得した第１復号部１０３から取得した復号画像を、加算後の復号画像として、蓄積バッファ１０６に供給する。
その後、蓄積バッファ１０６は、加算部２０２から復号画像を取得し蓄積する(Ｓ３０３)。ここで、蓄積バッファ１０６は、復号画像を蓄積する際に、取得した復号画像の時間方向の順番に基づくフレーム管理情報とともに、蓄積された画像の管理を行うと良い。
ここで、再符号化制御部１０１の制御に基づいて、超解像拡大処理に必要な画像枚数が蓄積バッファ１０６に蓄積されるまで、第１復号部１０３は、復号画像を取得し、蓄積バッファ１０６は、復号画像を蓄積する。また、再符号化制御部１０１は、蓄積バッファ１０６における、復号画像の蓄積状態の制御を、再符号化制御情報１５３に含まれる観測画像枚数制御情報に基づいて動作し、少なくとも基準画像と、観測画像枚数制御情報によって特定される観測画像の枚数が、蓄積バッファ１０６に蓄積されるように制御すると良い。
超解像拡大処理に必要な画像枚数が蓄積バッファ１０６に蓄積されると、超解像拡大部１０４は、再符号化制御部１０１の制御に基づき、蓄積バッファ１０６から、現在超解像拡大対象となっている画像を基準画像として取得し、少なくとも１枚の観測画像を、符号化対象画像から生成、もしくは蓄積バッファ１０６から取得する。ここで、再符号化制御情報１５３に含まれる観測画像枚数制御情報に基づいて、超解像拡大部１０４が取得する観測画像の枚数が制御されるようにすると良い。
その後、超解像拡大部１０４は、取得した基準画像と観測画像を利用して、実施形態１と同様に超解像拡大処理を行い(Ｓ３０４)、高空間解像度の超解像画像を生成し、解像度縮小部１０５に供給する。この超解像拡大処理では、再符号化制御情報１５３に含まれる位置合わせ精度制御情報、ＰＳＦ制御情報に基づいて、超解像拡大処理の位置合わせ精度、点広がり関数(ＰＳＦ)の精度を制御し、超解像拡大処理に必要な処理量を制御しながら、超解像拡大処理を実行するようにすると良い。
次に、解像度縮小部１０５は、実施形態１と同様に超解像拡大部１０４から高空間解像度の超解像画像を取得し、解像度縮小処理を行って、基準空間解像度の超解像画像を生成し(Ｓ３０５)、蓄積バッファ１０６に供給する。この解像度縮小処理では、再符号化制御情報１５３に含まれる解像度縮小フィルタ制御情報に基づいて、解像度縮小処理で利用する解像度変換フィルタが選択され、必要な縮小画像品質、処理量が制御されるようにすると良い。
また、蓄積バッファ１０６は、基準空間解像度の超解像画像を取得し、既に蓄積されている復号画像とフレーム管理情報に基づいて関連付けて、基準空間解像度の超解像画像を蓄積する(Ｓ３０６)。
その後、再符号化制御部１０１は、蓄積バッファ１０６に蓄積されている、基準空間解像度の超解像画像の更新が必要であるか、必要でないかを判断する(Ｓ３０７)。ここで、超解像画像の更新が必要であるか、必要でないかを判断する際に、再符号化制御情報１５３に含まれる超解像回数制御情報、超解像終了判断情報に基づいて判断すると良い。また、超解像回数制御情報、超解像終了判断情報の双方の情報が有効で、超解像終了判断情報による終了条件を満たす前に、超解像回数制御情報による終了条件がみたされた場合には、終了条件が満たされたとして、超解像画像の更新が必要ではないと判断するようにすると良い。
超解像画像の更新が必要であると判断した場合(Ｓ３０７ ＹＥＳ)、再符号化制御部１０１は、Ｓ３０４に戻り、超解像拡大部１０４や解像度縮小部１０５に指示を送り、更新が必要な基準空間解像度の超解像画像を、現在の超解像拡大対象の基準画像として、蓄積バッファ１０６から取得し、超解像拡大処理を繰り返すように制御する。
これに対し、超解像画像の更新が必要でないと判断した場合(Ｓ３０７ ＮＯ)、再符号化制御部１０１は、次のＳ３０８に進み、拡張層の再符号化を実行させる(Ｓ３０８)。
つまり、超解像画像の更新が必要でないと判断された場合、減算部２０１は、第１復号部１０３もしくは蓄積バッファ１０６から基準空間解像度の復号画像を取得すると共に、蓄積バッファ１０６から基準空間解像度の超解像画像を取得し、基準空間解像度の超解像画像から、基準空間解像度の復号画像を減算することで、残差情報を生成し、再符号化部２０３に供給する。
すると、再符号化部２０３は、減算部２０１から残差情報を取得し、再符号化制御部１０１の制御に応じて、取得した残差情報を拡張層とし、拡張層の符号化方式の構文構造に基づいて再符号化を行うことで、拡張層の再符号化後の符号化ビット列を生成する(Ｓ３０８)。
その後、再符号化制御部１０１は、生成された拡張層の再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する(Ｓ３０９)。ここで、再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する際に、再符号化制御情報１５３に含まれる再符号化回数制御情報、再符号化終了判断情報等の再符号化終了条件に基づいて判断すると良い。また、再符号化回数制御情報、再符号化終了判断情報の双方の情報が有効で、再符号化終了判断情報による終了条件を満たす前に、再符号化回数制御情報による終了条件が満たされた場合には、終了条件が満たされたとして、再符号化後の符号化ビット列を更新する必要がないと判断するようにすると良い。なお、複数の再符号化終了条件を設け、再符号化終了条件毎に拡張層を設定して、拡張層を複数設ける場合、Ｓ３０４〜Ｓ３０８の処理を、拡張層毎に行うことになる。
再符号化後の符号化ビット列を更新する必要があると判断した場合(Ｓ３０９ ＹＥＳ)、再符号化部２０３は、第２復号部２０４に、拡張層の再符号化後の符号化ビット列を供給し、Ｓ３０２に戻ることで、再符号化を繰り返す。
これに対し、再符号化後の符号化ビット列を更新する必要がないと判断した場合(Ｓ３０９ ＮＯ)、再符号化部２０３は、拡張層の再符号化後の符号化ビット列を多重化部１０８に供給する。
その後、多重化部１０８は、少なくとも、分離部１０２から、基本層として再符号化前の符号化ビット列、再符号化部２０３から、拡張層の再符号化後の符号化ビット列を取得し、基本層と拡張層を１つの多重化後の符号化ビット列にするために、多重化を行い(Ｓ３１０)、多重化後の符号化ビット列を生成する。その際、必要あれば、上記実施形態１，２と同様に、基本層である再符号化前の符号化ビット列と、拡張層の再符号化後の符号化ビット列とを識別するための識別符号（フラグ）や、拡張層が複数ある場合はその複数の拡張層を識別するための識別符号（フラグ）、再符号化制御部１０１からの再符号化制御情報１５３等を多重化する。
以上のようなステップを経ることで、本実施形態３の一連の基本動作が終了する。
なお、本実施形態３の一連の基本動作の途中で、再符号化停止要求情報による再符号化装置の停止要求があった場合、再符号化制御情報１５３に含まれる再符号化継続判断情報に対して、再符号化の途中であることを示す情報を設定し、停止要求時点で得られている符号化ビット列に対して多重化を行い、多重化後の符号化ビット列を生成することで、再符号化を停止するように、再符号化制御部１０１が動作を制御するようにすると良い。
このようなステップを実行することで、本実施形態３の再符号化装置によれば、再符号化前の符号化ビット列を、基本層の符号化ビット列とし、また、基本空間解像度の超解像画像から基本空間解像度の復号画像を減算して得られる残差情報に対して再符号化を行うことで得られる、再符号化後の符号化ビット列を、拡張層の符号化ビット列とし、これらの基本層の符号化ビット列と、拡張層の符号化ビット列とを多重化することで、ともに１つの多重化後の符号化ビット列として生成し、管理することが可能となる。
従って、本実施形態３の再符号化装置によれば、従来、同一のコンテンツであるにもかかわらず、複数の符号化形式や符号化条件で符号化された複数の符号化ビット列が存在している場合には、何らかの関連付け情報に基づいて複雑な管理を行う必要があったが、本装置が生成する多重化後の符号化ビット列のように、基本層によりオリジナルの動画像との互換性を維持しつつ、基本層との差分である拡張層を多重化によりまとめることで、コンテンツ毎の一元管理が容易になる。また、拡張層が、基本層との差分に対して効率よく再符号化されることにより、多重化後の符号化ビット列を蓄積および伝送する際の、情報量を抑制できる。
また、本実施形態３の再符号化装置によれば、当該装置に接続することができる高精細表示が可能な表示装置の要求に応じて、再符号化前の符号化ビット列による、オリジナルに忠実な復号動画像と、本実施形態３で新たに再符号化された、高品質で、高い符号化ビットレートをもつような再符号化後の符号化ビット列による、高品質化された復号動画像とを、選択的に切り替えて表示することができる。
また、同様に、本実施形態３の再符号化装置によれば、当該装置に接続することができる通信装置およびネットワークを介して、外部の復号装置に動画像配信を行うような場合、外部の復号装置からの要求に応じて、再符号化前の符号化ビット列による、オリジナルに忠実な復号動画像と、本実施形態３で新たに再符号化された、高品質で、高い符号化ビットレートをもつような再符号化後の符号化ビット列による、高品質化された復号動画像とを、段階的に供給することが可能となる。
実施形態４.
次に、実施形態４の再符号化装置について説明する。本実施形態４では、実施形態３と同様に、基本層の互換性維持を目的とした階層構造を採用した再符号化装置について説明する。なお、構成自体は、図１１に示す実施形態３の再符号化装置２００と同様なので、図１１を参照して説明する。
本実施形態４では、図１１の再符号化装置２００は、本実施形態３における基本層の符号化ビット列を、再符号化前の符号化ビット列ではなく、再符号化後の符号化ビット列に置き換えることで、より符号化効率を高めたものである。
次に、本実施形態４の再符号化装置２００の構成要素の機能について、本実施形態３の機能と異なる部分のみ説明する。
本実施形態４では、再符号化制御部１０１は、さらに、基本層と拡張層の符号化ビット列を生成するため、各部に対する動作の制御、および情報の入出力または送受信の制御を行うものである。特に、減算部２０１における情報の入出力や、減算処理の実行を制御し、再符号化部２０３に残差情報を供給するか、超解像画像を供給するか、制御する機能を備えると良い。
また、本実施形態４では、多重化部１０８は、再符号化制御部１０１の制御に応じて、再符号化部２０３から基本層の再符号化後の符号化ビット列を取得して蓄積し、また、再符号化制御部１０１の制御に応じて、再符号化部２０３から拡張層の再符号化後の符号化ビット列を取得して蓄積し、取得した基本層および拡張層の符号化ビット列に対して、再符号化制御部１０１の制御に応じて、多重化処理を行い、多重化後の符号化ビット列を生成し、供給するものである。
また、本実施形態４では、再符号化部２０３は、減算部２０１から、再符号化制御部１０１の制御に基づいて、超解像画像と、残差情報とを取得し、再符号化制御部１０１の制御に基づいて、基本層の符号化方式に基づいて、取得した超解像画像に対して、基本層の再符号化を行い、基本層の再符号化後の符号化ビット列を生成し、第２復号部２０４に供給するものである。また、再符号化部２０３は、再符号化制御部１０１の制御に基づいて、拡張層の符号化方式に基づいて、取得した残差情報に対して、拡張層の再符号化を行い、拡張層の再符号化後の符号化ビット列を生成し、第２復号部２０４に供給するものである。ここで、再符号化部２０３は、再符号化時に、符号化履歴情報を生成し、再符号化の際に、前回の符号化履歴情報に基づいて、符号量割り当てを変更しながら、再符号化を行うものであると良い。
また、本実施形態４では、第２復号部２０４は、再符号化部２０３から、再符号化制御部１０１の制御に基づいて、基本層の再符号化後の符号化ビット列と、拡張層の再符号化後の符号化ビット列とを取得し、取得した再符号化後の符号化ビット列の符号化方式を特定し、復号するものである。
その際、第２復号部２０４は、取得した符号化ビット列が、基本層の符号化方式である場合には、基本層の符号化方式の構文構造に基づいて、基本層の復号を行い、基本層の復号画像と、符号化パラメータ情報を生成し、生成した基本層の復号画像を加算部２０２に供給する一方、基本層の符号化パラメータ情報を再符号化制御部１０１に供給するものである。
また、第２復号部２０４は、取得した符号化ビット列が、拡張層の符号化方式である場合には、拡張層の符号化方式の構文構造に基づいて、拡張層の復号を行い、拡張層の残差情報と、符号化パラメータ情報を生成し、生成した拡張層の残差情報を加算部２０２に供給する一方、拡張層の符号化パラメータ情報を再符号化制御部１０１に供給するものである。
図１３は、本実施形態４の再符号化装置２００の基本動作を示すフローチャートである。
本実施形態４の場合、まず、再符号化開始要求を受けると、再符号化制御部１０１の制御に応じて、分離部１０２が、あらかじめ符号化され、多重化された符号化ビット列１５１を取得し、取得した多重化後の符号化ビット列１５１を分離処理によって分離し(Ｓ４０１)、再符号化対象となる符号化ビット列を取得し、第１復号部１０３に供給する。
次に、再符号化制御部１０１の制御に応じて、第１復号部１０３は、取得した再符号化対象の符号化ビット列を、基本層の符号化ビット列として復号することにより、復号画像と、符号化パラメータ情報とを生成し、復号画像を加算部２０２に供給する一方、符号化パラメータ情報を再符号化制御部１０１に供給する。これは、基本層の符号化ビット列の一回目の符号化の場合である。
これに対し、基本層の符号化ビット列の再符号化の場合には、再符号化制御部１０１の制御により、第１復号部１０３は、復号処理は行わず、第２復号部２０４が再符号化部２０３から基本層の再符号化後の符号化ビット列を取得して復号処理を行う。そして、第２復号部２０４は、基本層の復号後の復号画像と符号化パラメータ情報とを生成し、基本層の復号後の復号画像を加算部２０２に供給する一方、基本層の符号化パラメータ情報を再符号化制御部１０１に供給する。このような処理を行うことで、基本層の符号化ビット列を復号する(Ｓ４０２)。
加算部２０２は、第１復号部１０３から復号画像を取得する。ただし、一回目の符号化の場合、加算部２０２は、第２復号部２０４から拡張層の復号後の残差情報は取得できないため、再符号化制御部１０１の制御により、加算処理を行わず、取得した第１復号部１０３から取得した復号画像を、加算後の復号画像として、蓄積バッファ１０６に供給する。
すると、蓄積バッファ１０６は、加算部２０２から復号画像を取得し、蓄積バッファ１０６内に、復号画像を蓄積する(Ｓ４０３)。ここで、蓄積バッファ１０６は、復号画像を蓄積する際に、取得した復号画像の時間方向の順番に基づくフレーム管理情報とともに、蓄積された画像の管理を行うと良い。
また、再符号化制御部１０１の制御に基づいて、超解像拡大処理に必要な画像枚数が蓄積バッファ１０６に蓄積されるまで、第１復号部１０３は、復号画像を取得し、蓄積バッファ１０６は、復号画像を蓄積する。
ここで、再符号化制御部１０１は、蓄積バッファ１０６における、復号画像の蓄積状態の制御を、再符号化制御情報１５３に含まれる観測画像枚数制御情報に基づいて動作し、少なくとも基準画像と、観測画像枚数制御情報によって特定される観測画像の枚数が、蓄積バッファ１０６に蓄積されるように制御すると良い。
超解像拡大処理に必要な画像枚数が蓄積バッファ１０６に蓄積されると、再符号化制御部１０１の制御に基づき、超解像拡大部１０４は、蓄積バッファ１０６から、現在超解像拡大対象となっている画像を基準画像として取得すると共に、少なくとも１枚の観測画像を、実施形態１等と同様に、符号化対象画像から生成もしくは蓄積バッファ１０６から取得する。ここで、再符号化制御情報１５３に含まれる観測画像枚数制御情報に基づいて、超解像拡大部１０４が取得する観測画像の枚数が制御されるようにすると良い。
次に、超解像拡大部１０４は、取得した基準画像と観測画像とを利用して、実施形態１等と同様に、超解像拡大処理を行い(Ｓ４０４)、高空間解像度の超解像画像を生成し、解像度縮小部１０５に供給する。なお、この超解像拡大処理では、再符号化制御情報１５３に含まれる位置合わせ精度制御情報、ＰＳＦ制御情報に基づいて、超解像拡大処理の位置合わせ精度、点広がり関数(ＰＳＦ)の精度を制御し、超解像拡大処理に必要な処理量を制御しながら、超解像拡大処理を実行するようにすると良い。
次に、解像度縮小部１０５は、超解像拡大部１０４から高空間解像度の超解像画像を取得し、解像度縮小処理を行い(Ｓ４０５)、基準空間解像度の超解像画像を生成し、蓄積バッファ１０６に供給する。この解像度縮小処理では、再符号化制御情報１５３に含まれる解像度縮小フィルタ制御情報に基づいて、解像度縮小処理で利用する解像度変換フィルタが選択され、必要な縮小画像品質、処理量が制御されるようにすると良い。
すると、蓄積バッファ１０６は、基準空間解像度の超解像画像を取得し、既に蓄積されている復号画像とフレーム管理情報に基づいて関連付けて、基準空間解像度の超解像画像を蓄積する(Ｓ４０６)。
その後、再符号化制御部１０１は、蓄積バッファ１０６に蓄積されている、基準空間解像度の超解像画像の更新が必要であるか、必要でないかを判断する(Ｓ４０７)。
ここで、超解像画像の更新が必要であるか、必要でないかを判断する際に、再符号化制御情報１５３に含まれる超解像回数制御情報、超解像終了判断情報に基づいて判断するようにすると良い。また、超解像回数制御情報、超解像終了判断情報の双方の情報が有効で、超解像終了判断情報による終了条件を満たす前に、超解像回数制御情報による終了条件が満たされた場合には、終了条件が満たされたとして、超解像画像の更新が必要ではないと判断するようにすると良い。
そして、超解像画像の更新が必要である場合(Ｓ４０７ ＹＥＳ)、再符号化制御部１０１の制御により、Ｓ４０４に戻り、超解像拡大部１０４および解像度縮小部１０５は、更新が必要な基準空間解像度の超解像画像を、現在の超解像拡大対象の基準画像として、蓄積バッファ１０６から取得し、超解像拡大処理を繰り返す。
これに対し、超解像画像の更新が必要でない場合(Ｓ４０７ ＮＯ)、再符号化制御部１０１の制御により、次のＳ４０８に進む。
つまり、超解像画像の更新が必要でないと判断されると、減算部２０１は、再符号化制御部１０１の制御に応じて、蓄積バッファ１０６から、基本層の再符号化対象となっている、基準空間解像度の超解像画像を取得し、減算処理を行わずに、再符号化部２０３に供給する。
その後、再符号化部２０３は、減算部２０１から基準空間解像度の超解像画像を取得し、再符号化制御部１０１の制御に応じて、取得した基準空間解像度の超解像画像を基本層とし、基本層の符号化方式の構文構造に基づいて再符号化を行い(Ｓ４０８)、基本層の再符号化後の符号化ビット列を生成する。
その後、再符号化制御部１０１は、生成された基本層の再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する(Ｓ４０９)。ここで、再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する際に、再符号化制御部１０１は、再符号化制御情報１５３に含まれる再符号化回数制御情報、再符号化終了判断情報等の再符号化終了条件に基づいて判断すると良い。
また、再符号化制御部１０１は、再符号化回数制御情報を利用する際に、基本層と拡張層において、それぞれ異なる再符号化回数制御情報に基づいて判断するようにしても良い。
同様に、再符号化制御部１０１は、再符号化終了判断情報を利用する際に、基本層と拡張層において、それぞれ異なる再符号化終了判断情報に基づいて判断するようにしても良い。
また、再符号化制御部１０１は、再符号化回数制御情報、再符号化終了判断情報の双方の情報が有効で、再符号化終了判断情報による終了条件を満たす前に、再符号化回数制御情報による終了条件が満たされる場合には、終了条件が満たされたとして、再符号化後の符号化ビット列を更新する必要がないと判断するようにすると良い。
そして、基本層の再符号化後の符号化ビット列を更新する必要があると判断した場合(Ｓ４０９ ＹＥＳ)、再符号化制御部１０１は再符号化部２０３に指令を送り、再符号化部２０３は、第２復号部２０４に、基本層の再符号化後の符号化ビット列を供給し、Ｓ４０２に戻ることで、基本層の再符号化を繰り返す。
これに対し、基本層の再符号化後の符号化ビット列を更新する必要がないと判断した場合(Ｓ４０９ ＮＯ)、再符号化制御部１０１は再符号化部２０３に指令を送り、再符号化部２０３は、基本層の再符号化後の符号化ビット列を、第２復号部２０４、多重化部１０８に供給する。
すると、第２復号部２０４は、再符号化制御部１０１の制御に基づいて、再符号化部２０３から基本層の再符号化後の符号化ビット列を取得し、符号化方式を特定した後に、復号処理を行い(Ｓ４１０)、基本層の復号画像、符号化パラメータ情報を生成し、生成した基本層の復号画像を加算部２０２に供給する一方、生成した基本層の符号化パラメータ情報を再符号化制御部１０１に供給する。
その後、加算部２０２は、第２復号部２０４から基本層の復号画像を取得し、再符号化制御部１０１の制御に応じて、加算処理を行わずに、蓄積バッファ１０６に供給する。蓄積バッファ１０６は、加算部２０２から、基本層の復号画像を取得し、既に蓄積されている復号画像や超解像画像に対して、フレーム管理情報に基づいて関連付けを行いながら、蓄積する。ここで、蓄積バッファ１０６は、既に蓄積されている復号画像を、フレーム管理情報に基づいて特定し、取得した復号画像と置き換えて蓄積すると良い。
一方、減算部２０１は、再符号化制御部１０１の制御に基づいて、蓄積バッファ１０６から、基本層の再符号化後の復号画像である、基準空間解像度の復号画像と、基準空間解像度の超解像画像を取得し、取得した超解像画像から復号画像を減算して、残差情報を生成し(Ｓ４１１)、再符号化部２０３に供給する。
すると、再符号化部２０３は、減算部２０１から残差情報を取得し、再符号化制御部１０１の制御に応じて、取得した残差情報を拡張層とし、拡張層の符号化方式の構文構造に基づいて再符号化を行い(Ｓ４１２)、拡張層の再符号化後の符号化ビット列を生成する。なお、再符号化部２０３は、再符号化時に、符号化履歴情報を生成し、再符号化の際に、前回の符号化履歴情報に基づいて、符号量割り当てを変更しながら、再符号化を行うと良い。
その後、再符号化制御部１０１は、生成された拡張層の再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する(Ｓ４１３)。ここで、再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する際に、再符号化制御情報１５３に含まれる再符号化回数制御情報、再符号化終了判断情報等の再符号化終了条件に基づいて判断すると良い。なお、複数の再符号化終了条件を設け、再符号化終了条件毎に拡張層を設定して、拡張層を複数設ける場合、Ｓ４１０〜Ｓ４１３の処理を、拡張層毎に行うことになる。また、再符号化回数制御情報を利用する際に、基本層と拡張層において、それぞれ異なる再符号化回数制御情報に基づいて判断するようにしても良い。同様に、再符号化終了判断情報を利用する際に、基本層と拡張層において、それぞれ異なる再符号化終了判断情報に基づいて判断するようにしても良い。また、再符号化回数制御情報、再符号化終了判断情報の双方の情報が有効で、再符号化終了判断情報による終了条件を満たす前に、再符号化回数制御情報による終了条件が満たされた場合には、終了条件が満たされたとして、再符号化後の符号化ビット列を更新する必要がないと判断するようにすると良い。
そして、拡張層の再符号化後の符号化ビット列を更新する必要があると判断した場合(Ｓ４１３ ＹＥＳ)、再符号化制御部１０１は再符号化部２０３に指令を送り、再符号化部２０３は、第２復号部２０４に、拡張層の再符号化後の符号化ビット列を供給し、Ｓ４１２に戻ることで、再符号化を繰り返す。
これに対し、拡張層の再符号化後の符号化ビット列を更新する必要がないと判断した場合(Ｓ４１３ ＮＯ)、再符号化制御部１０１の制御により、再符号化部２０３は、拡張層の再符号化後の符号化ビット列を多重化部１０８に供給する。
その後、多重化部１０８は、少なくとも、再符号化部２０３から基本層の再符号化後の符号化ビット列を取得すると共に、再符号化制御部１０１の制御に応じて、再符号化部２０３から拡張層の再符号化後の符号化ビット列を取得し、基本層と拡張層とを１つの多重化後の符号化ビット列にするために、多重化を行い(Ｓ４１４)、多重化後の符号化ビット列を生成する。その際、必要あれば、上記実施形態１，２，３と同様に、基本層である再符号化後の符号化ビット列と、拡張層の再符号化後の符号化ビット列とを識別するための識別符号（フラグ）や、拡張層が複数ある場合はその複数の拡張層を識別するための識別符号（フラグ）、再符号化制御部１０１からの再符号化制御情報１５３等を多重化しても良い。
以上のようなステップを経ることで、本実施形態４の一連の基本動作が終了する。
なお、本実施形態４の一連の基本動作の途中で、再符号化停止要求情報による再符号化装置の停止要求があった場合、再符号化制御情報１５３に含まれる再符号化継続判断情報に対して、再符号化の途中であることを示す情報を設定し、停止要求時点で得られている符号化ビット列に対して多重化を行い、多重化後の符号化ビット列を生成することで、再符号化を停止するように、再符号化制御部１０１が動作を制御するようにすると良い。
従って、本実施形態４の再符号化装置によれば、基本層である、再符号化前の符号化ビット列を、新たに再符号化して得られた再符号化後の符号化ビット列で置き換えるとともに、基準空間解像度の超解像画像から、基本層の復号画像を減算して得られる残差情報に対して、拡張層の再符号化を行い、拡張層の再符号化後の符号化ビット列を生成し、基本層と拡張層の多重化を行うことで、多重化後の符号化ビット列を生成することにより、多様な蓄積、表示、伝送を実現できる。
つまり、本実施形態４の再符号化装置によれば、基本層の再符号化により、低い符号化ビットレートで再符号化を行い、残りの残差情報を拡張層として再符号化して多重化して、多重化後の符号化ビット列を生成して、蓄積、表示、伝送することで、例えば、基本層のみを携帯端末装置などに記録媒体やネットワークを介して伝送することで、変換することなく容易に携帯端末装置での視聴を可能にする一方、基本層と拡張層を復号して、高精細な表示装置で高品質な視聴を楽しむことが可能となる。
また、本実施形態４の再符号化装置では、繰り返し基本層を再符号化することから、基本層を再符号化前の符号化ビット列の復号画像の品質と同等の品質で、再符号化後の符号化ビット列を生成した場合、基本層の符号化効率をより高めることが可能となる。
さらに、本実施形態４の再符号化装置では、基本層と拡張層のそれぞれにおいて、再符号化を繰り返すことにより、多重化後の符号化ビット列においても、最適な再符号化が行われることから、より符号化効率の高い符号化ビット列を得ることが可能となり、多重化後の符号化ビット列を蓄積および伝送する際の、情報量を抑制できる。
実施形態５.
次に、実施形態５について説明する。実施形態５の基本層の高速再符号化を目的とした階層構造に基づく再符号化装置について説明する。なお、再符号化装置の構成自体は、図１１に示す実施形態３のものとほぼ同じであるので、図１１を参照して説明する。
つまり、本実施形態５の再符号化装置２００では、超解像拡大部１０４が、基本層の符号化パラメータ情報に含まれる動きベクトル情報を、超解像拡大処理で行われる位置合わせ処理に利用するとともに、新たに特定された動きベクトル情報を利用して、基本層の符号化パラメータ情報を更新し、再符号化部２０３における基本層の再符号化を行う際に、更新された符号化パラメータ情報を利用する構成にする。
図１４は、本実施形態５の再符号化装置２００の基本動作を示すフローチャートである。
本実施形態５の再符号化装置２００における、Ｓ５０１からＳ５０３までの動作は、図１３に示す本実施形態４の再符号化装置２００における、Ｓ４０１からＳ４０３までの動作と同様であるため、説明を省略する。
超解像拡大処理に必要な画像枚数が蓄積バッファ１０６に蓄積されると、再符号化制御部１０１の制御に基づき、超解像拡大部１０４は、蓄積バッファ１０６から、現在超解像拡大対象となっている画像を基準画像として取得する。また、超解像拡大部１０４は、少なくとも１枚の観測画像を、符号化対象が像から生成もしくは蓄積バッファ１０６から取得する。ここで、再符号化制御情報１５３に含まれる観測画像枚数制御情報に基づいて、超解像拡大部１０４が取得する観測画像の枚数が制御されるようにすると良い。さらに、再符号化制御部１０１から、基本階層の符号化パラメータ情報を取得する。その後、超解像拡大部１０４は、取得した基準画像と観測画像を利用して、超解像拡大処理を行い(Ｓ５０４)、高空間解像度の超解像画像を生成し、解像度縮小部１０５に供給する。
ここで、超解像拡大処理を行う際に、超解像拡大処理の位置合わせ処理を行う際の初期条件として、取得した符号化パラメータ情報に含まれる動きベクトル情報を利用すると良い。また、この超解像拡大処理では、再符号化制御情報１５３に含まれる位置合わせ精度制御情報、ＰＳＦ制御情報に基づいて、超解像拡大処理の位置合わせ精度、点広がり関数(ＰＳＦ)の精度を制御し、超解像拡大処理に必要な処理量を制御しながら、超解像拡大処理を実行するようにすると良い。
その後、超解像拡大部１０４における超解像拡大処理の位置合わせ処理において、新たに特定された動きベクトル情報を利用して、超解像拡大部１０４は、取得した符号化パラメータ情報を更新し(Ｓ５０５)、更新された符号化パラメータ情報を、再符号化制御部１０１に供給する。
その後の解像度縮小処理を行うステップＳ５０６から超解像画像の更新判断を行うステップＳ５０８までの動作は、実施形態４のＳ４０５からＳ４０７までの動作と同様であるため、説明を省略する。
そして、Ｓ５０８において超解像画像の更新が必要でないと判断されると、減算部２０１は、再符号化制御部１０１の制御に応じて、蓄積バッファ１０６から、基本層の再符号化対象となっている、基準空間解像度の超解像画像を取得し、減算処理を行わずに、再符号化部２０３に供給する。
再符号化部２０３は、再符号化制御部１０１から、更新された基本層の符号化パラメータ情報を取得すると共に、減算部２０１から基準空間解像度の超解像画像を取得し、再符号化制御部１０１の制御に応じて、取得した基準空間解像度の超解像画像を基本層とし、基本層の符号化方式の構文構造に基づいて再符号化を行い(Ｓ５０９)、基本層の再符号化後の符号化ビット列を生成する。ここで、基本層の再符号化を行う際に、更新された符号化パラメータ情報に含まれる動きベクトル情報を、基本層の再符号化処理で行われる動き推定処理の初期条件に利用し、動き推定処理で行われる動きベクトル探索の処理を軽減するようにしても良い。
その後の符号化ビット列の更新判断を行うステップＳ５１０から多重化を行うステップＳ５１５までの動作は、実施形態４のＳ４０９からＳ４１４までの動作と同様であるため、説明を省略する。なお、複数の再符号化終了条件を設け、再符号化終了条件毎に拡張層を設定して、拡張層を複数設ける場合、Ｓ５１１〜Ｓ５１４の処理を、拡張層毎に行うことになる。
以上のようなステップを経ることで、本実施形態５の一連の基本動作が終了する。
また、本実施形態５の一連の基本動作の途中で、再符号化停止要求情報による再符号化装置の停止要求があった場合、再符号化制御情報１５３に含まれる再符号化継続判断情報に対して、再符号化の途中であることを示す情報を設定し、停止要求時点で得られている符号化ビット列に対して多重化を行い、多重化後の符号化ビット列を生成することで、再符号化を停止するように、再符号化制御部１０１が動作を制御するようにすると良い。
従って、本実施形態５の再符号装置によれば、このようなステップを実行することで、多重化後の符号化ビット列を生成する際の、演算量を抑制することが可能となる。
従って、以上説明した実施形態１〜５によれば、再符号化前の、十分でない情報量を含む符号化ビット列に対して、時間と演算量を十分費やして、超解像拡大処理を伴いながら再符号化を繰り返すことで、再符号化装置が最初に取得した符号化ビット列を、含まれる空間周波数成分情報を補いながら、符号化時の制約の少ない、効率の良い符号化を行うことができる。これは、復号画像が超解像拡大処理によって情報量が拡大されることにより、選択される符号化パラメータが変化し、最適化されることで、最終的な再符号化対象である残差情報が抑制されるために生じる効果である。
また、実施形態１〜５では、超解像拡大処理を伴いながら再符号化を繰り返す際に、符号化ビット列を復号して得られる復号画像を利用し、超解像拡大処理により、元の復号画像に含まれる空間周波数成分情報よりも多くの空間周波数成分情報が復元された、復号画像、つまり基準空間解像度の超解像画像を作成し、再符号化する。その後、再符号化結果を復号し、超解像拡大処理を行い、再度符号化することを、所定の条件を満たすまで繰り返し行うことで、再符号化された符号化ビット列から得られる復号画像の画像品質を向上させることができる。
また、実施形態１〜５では、再符号化の繰り返し制御を、再符号化制御情報に基づいて行うことにより、再符号化装置の負荷や稼働環境に応じて、蓄積および伝送された符号化ビット列の動画像品質を、高画質で高い符号化効率となるように再符号化することができる。
また、実施形態１〜５では、再符号化前の、基準空間解像度の復号画像が得られる符号化ビット列を、超解像拡大処理を伴って、基準空間解像度で空間周波数成分情報が拡大された復号画像、つまり基準空間解像度の超解像画像に基づいて再符号化された符号化ビット列に更新するようにしたので、既に取得した符号化ビット列を、高品質で高効率な符号化ビット列に置き換えることができ、効率の良い蓄積や、伝送を行うことができる。
また、時間と演算量を費やしてNパスの符号化を行う場合には、元の画像に含まれる情報量自体は変化せず、各種の符号化パラメータを変えて、より最適な符号量割り当ての方法を探ることで、符号化効率を向上させるが、実施形態１〜５では、再符号化を繰り返す際に、超解像拡大処理を伴うことによって、再符号化対象となる復号画像に含まれる情報量、つまり空間周波数成分情報が増加することで、動画像としての空間方向および時間方向の相関の状態が変化する。つまり、符号化対象自体が変化する。したがって、実施形態１〜５によれば、元の画像で符号化した場合の符号化パラメータ、および符号量割り当てとは異なる、増加した情報量に見合う、新たな符号化パラメータ、および符号量割り当てに随時更新しながら再符号化を行うことで、情報量を増大させるとともに、効率の良い符号化を行うことができる。
なお、上記実施形態１〜５では、再符号化装置をブロック図により図示してハードウエアにより構成したものとして説明したが、本発明では、これに限らず、図１５に示すように、コンピュータである情報処理装置１２００を構成するようにしても良い。例えば、ＣＰＵに代表される中央処理制御装置１２０３と、記録媒体や通信装置１２０６を介して例えばメモリに代表される一時記憶装置１２０５や例えばＨＤＤに代表される外部記憶装置１２０４に格納された再符号化プログラムにより、上記実施形態１〜５の機能をソフトウェア処理により達成するようにしても勿論よい。また、本発明の再符号化装置および再符号化方法の適用される範囲は、動画像を符号化および復号するような装置、方法、プログラム、システム等であれば、特に限定されるものではない。本発明は、例えば、ＴＶに代表される放送装置、携帯電話、テレビ会議装置、監視装置、ＤＶＤ−Ｒ／ＲＷやＢＤ−Ｒ／ＲＷ、ＨＤＤ、ＳＤ、ホログラフィックメモリなどの追記および書き換え可能な記録媒体を利用した録画再生装置、およびディジタルカメラやカムコーダといった撮像記録再生装置、オーサリングなどの記録編集装置、動画像の配信装置などに適用しても構わない。
また、上記実施形態１〜５では、解像度拡大部１０４の処理の後に、解像度縮小部１０５に、基本層である基準空間解像度の復号画像に戻すように説明したが、本発明では、これに限らず、解像度縮小部１０５を省略して、基準空間解像度から所定の空間解像度が大きくなるようにして勿論良い。
本発明の再符号化装置および再符号化方法は、例えば、符号化ビット列を記録・再生・伝送する、ディジタルカメラ、カムコーダ、レコーダ、監視装置、編集装置、動画像配信サーバ、などに利用することができる。
本発明の再符号化装置の実施形態１および２を示す概念ブロック図である。 本発明の再符号化装置の実施形態１の動作を説明するためのフローチャートである。 本発明の再符号化装置における、超解像拡大手段の実施形態を示す概念ブロック図、および超解像拡大処理を説明するための概念図である。 本発明の再符号化装置における、超解像拡大処理を説明するための概念図である。 本発明の再符号化装置における、超解像拡大処理を説明するための別の概念図である。 本発明の再符号化装置における、超解像拡大手段の動作を説明するためのフローチャートである。 本発明の再符号化装置における、解像度縮小手段の実施形態を示す概念ブロック図である。 従来法の解像度拡大および解像度縮小処理における、空間周波数の増減の様子を説明するための概念図である。 本発明の再符号化装置の超解像拡大処理における、空間周波数の増減の様子を説明するための概念図である。 本発明の再符号化装置の実施形態２の動作を説明するためのフローチャートである。 本発明の再符号化装置の実施形態３、４、および５を示す概念ブロック図である。 本発明の再符号化装置の実施形態３の動作を説明するためのフローチャートである。 本発明の再符号化装置の実施形態４の動作を説明するためのフローチャートである。 本発明の再符号化装置の実施形態５の動作を説明するためのフローチャートである。 本発明の再符号化プログラムに基づいて動作する情報処理装置における、実施形態６を示す概念ブロック図である。
１００、２００ 再符号化装置
１０１ 再符号化制御部
１０２ 分離部
１０３ 第１復号部
１０４ 超解像拡大部
１０５ 解像度縮小部
１０６ 蓄積バッファ
１０７、２０３ 再符号化部
１０８ 多重化部
１２１、１４１ 記録装置
１２２、１４２ 記録媒体
１２３、１４３ 蓄積装置
１２４、１４４ 伝送装置
１３１ 表示装置Ａ
１３２ 表示装置Ｂ
２０１ 減算部
２０２ 加算部
２０４ 第２復号部
８００ 解像度変換部
８０１ 画素挿入部
８０２ フィルタリング処理部
８０３ 画素間引き部
１０４１ 位置合わせ部
１０４２ 補間部
１０４３ 推定画像生成部
１０４４ 繰り返し制御部
１２００ 情報処理装置
１２０１ 入力装置
１２０２ 出力装置
１２０３ 中央処理制御装置
１２０４ 外部記憶装置
１２０５ 一時記憶装置
１２０６ 通信装置
１２０７ 接続バス

Claims (11)

  1. 入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第１復号手段と、
    前記第１復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成する超解像拡大手段と、
    前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、
    所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像に対し再符号化を行う再符号化手段と、を有し、
    前記制御手段は、さらに、
    所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の符号化ビット列を前記第１復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の符号化ビット列とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の符号化ビット列を生成させる、再符号化装置。
  2. 請求項１記載の再符号化装置において、さらに、
    入力する前記符号化ビット列と、所定の再符号化終了条件を満たす再符号化後の前記符号化ビット列とを多重化する多重化手段と、
    を有する、再符号化装置。
  3. 入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第１復号手段と、
    前記第１復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成する超解像拡大手段と、
    前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、
    所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第１復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成する減算手段と、
    前記所定の拡張層の残差情報に対し再符号化を行う再符号化手段と、
    再符号化された前記所定の拡張層の残差情報に対し復号を行う第２復号手段と、
    前記第１復号手段から得られる前記基準空間解像度の復号画像と、前記第２復号手段から得られる復号された前記所定の拡張層の残差情報とを加算し、所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、
    を備え、
    前記制御手段は、さらに、
    所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記所定の拡張層の残差情報を前記第２復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報を生成させる、再符号化装置。
  4. 請求項３記載の再符号化装置において、さらに、
    入力する前記符号化ビット列と、所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報とを多重化する多重化手段と、
    を有する、再符号化装置。
  5. 入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第１復号手段と、
    前記第１復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成する超解像拡大手段と、
    前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、
    所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第１復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成する減算手段と、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し再符号化を行う再符号化手段と、
    再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行う第２復号手段と、
    前記第１復号手段から得られる前記基準空間解像度の復号画像と、前記第２復号手段から得られる復号された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、
    を備え、
    前記制御手段は、さらに、
    所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を前記第２復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させる、再符号化装置。
  6. 入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第１復号手段と、
    前記第１復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成すると共に、前記超解像拡大処理の位置合わせ処理において新たに特定された動きベクトル情報を利用して、符号化パラメータ情報を更新する超解像拡大手段と、
    前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、
    所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第１復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成する減算手段と、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し、前記超解像拡大手段によって更新された前記符号化パラメータ情報を用いて再符号化を行う再符号化手段と、
    再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行う第２復号手段と、
    前記第１復号手段から得られる前記基準空間解像度の復号画像と、前記第２復号手段から得られる復号された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、
    を備え、
    前記制御手段は、さらに、
    所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を前記第２復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させる、再符号化装置。
  7. 請求項５または請求項６記載の再符号化装置において、さらに、
    前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を多重化する多重化手段と、
    を有する、再符号化装置。
  8. 入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、
    前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、
    前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、
    所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像に対し再符号化を行うステップと、
    所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の符号化ビット列を復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の符号化ビット列とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の符号化ビット列を生成させるステップと、
    を有する再符号化方法。を有する再符号化用プログラム。
  9. 入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、
    前記第１復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、
    前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、
    所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、
    前記所定の拡張層の残差情報に対し再符号化を行うステップと、
    再符号化された前記所定の拡張層の残差情報に対し復号を行うステップと、
    前記基準空間解像度の復号画像と、前記所定の拡張層の残差情報とを加算し、所定の拡張層の復号画像として出力するステップと、
    所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記所定の拡張層の復号画像に対し前記超解像拡大処理および前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報を生成させるステップと、
    有する再符号化方法。
  10. 入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、
    前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、
    前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、
    所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し再符号化を行うステップと、
    再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行うステップと、
    前記基準空間解像度の復号画像と、前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として出力するステップと、
    所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させるステップと、
    を有する再符号化方法。
  11. 入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、
    前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成すると共に、前記超解像拡大処理の位置合わせ処理において新たに特定された動きベクトル情報を利用して、符号化パラメータ情報を更新するステップと、
    前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、
    所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、
    前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し、更新された前記符号化パラメータ情報を用いて再符号化を行うステップと、
    再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行うステップと、
    前記基準空間解像度の復号画像と、前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として出力するステップと、
    所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させるステップと、
    を有する再符号化方法。
JP2009065853A 2009-03-18 2009-03-18 再符号化装置および再符号化方法 Active JP5262879B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009065853A JP5262879B2 (ja) 2009-03-18 2009-03-18 再符号化装置および再符号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009065853A JP5262879B2 (ja) 2009-03-18 2009-03-18 再符号化装置および再符号化方法

Publications (2)

Publication Number Publication Date
JP2010220001A true JP2010220001A (ja) 2010-09-30
JP5262879B2 JP5262879B2 (ja) 2013-08-14

Family

ID=42978329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009065853A Active JP5262879B2 (ja) 2009-03-18 2009-03-18 再符号化装置および再符号化方法

Country Status (1)

Country Link
JP (1) JP5262879B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175626A (ja) * 2011-02-24 2012-09-10 Kddi Corp 配信映像の超解像化装置および超解像映像再生装置
JP2012203873A (ja) * 2011-03-28 2012-10-22 Jvc Kenwood Corp 信号処理装置、信号処理方法、および信号処理プログラム
JP2012203872A (ja) * 2011-03-28 2012-10-22 Jvc Kenwood Corp 信号処理装置、信号処理方法、および信号処理プログラム
KR20130134911A (ko) * 2012-05-31 2013-12-10 에스케이텔레콤 주식회사 적응형 컨텐츠 제공을 위한 컨텐츠 캐싱 서비스 제공 방법 및 이를 위한 로컬 캐싱 장치
JP2014053857A (ja) * 2012-09-10 2014-03-20 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
KR20180090967A (ko) * 2018-07-31 2018-08-14 에스케이텔레콤 주식회사 적응형 컨텐츠 제공을 위한 컨텐츠 캐싱 서비스 제공 방법 및 이를 위한 로컬 캐싱 장치
WO2019138678A1 (ja) * 2018-01-15 2019-07-18 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003036980A1 (en) * 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using spatial sharpness enhancement techniques
WO2004114672A1 (en) * 2003-06-19 2004-12-29 Thomson Licensing S.A. Method and apparatus for low-complexity spatial scalable encoding
JP2005123913A (ja) * 2003-10-17 2005-05-12 Nippon Telegr & Teleph Corp <Ntt> 解像度変換用フィルタ係数決定方法，画像解像度変換方法，画像解像度変換装置，映像再符号化方法，映像再符号化装置，解像度変換用フィルタ係数決定プログラム，画像解像度変換プログラム，映像再符号化プログラムおよびそれらのプログラムを記録した記録媒体
JP2007174285A (ja) * 2005-12-22 2007-07-05 Victor Co Of Japan Ltd 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP2008042407A (ja) * 2006-08-03 2008-02-21 Nippon Hoso Kyokai <Nhk> Ｔｖ法を用いた画像符号化装置及び復号化装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003036980A1 (en) * 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using spatial sharpness enhancement techniques
WO2004114672A1 (en) * 2003-06-19 2004-12-29 Thomson Licensing S.A. Method and apparatus for low-complexity spatial scalable encoding
JP2005123913A (ja) * 2003-10-17 2005-05-12 Nippon Telegr & Teleph Corp <Ntt> 解像度変換用フィルタ係数決定方法，画像解像度変換方法，画像解像度変換装置，映像再符号化方法，映像再符号化装置，解像度変換用フィルタ係数決定プログラム，画像解像度変換プログラム，映像再符号化プログラムおよびそれらのプログラムを記録した記録媒体
JP2007174285A (ja) * 2005-12-22 2007-07-05 Victor Co Of Japan Ltd 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP2008042407A (ja) * 2006-08-03 2008-02-21 Nippon Hoso Kyokai <Nhk> Ｔｖ法を用いた画像符号化装置及び復号化装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175626A (ja) * 2011-02-24 2012-09-10 Kddi Corp 配信映像の超解像化装置および超解像映像再生装置
JP2012203873A (ja) * 2011-03-28 2012-10-22 Jvc Kenwood Corp 信号処理装置、信号処理方法、および信号処理プログラム
JP2012203872A (ja) * 2011-03-28 2012-10-22 Jvc Kenwood Corp 信号処理装置、信号処理方法、および信号処理プログラム
KR20130134911A (ko) * 2012-05-31 2013-12-10 에스케이텔레콤 주식회사 적응형 컨텐츠 제공을 위한 컨텐츠 캐싱 서비스 제공 방법 및 이를 위한 로컬 캐싱 장치
JP2014053857A (ja) * 2012-09-10 2014-03-20 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
WO2019138678A1 (ja) * 2018-01-15 2019-07-18 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
KR20180090967A (ko) * 2018-07-31 2018-08-14 에스케이텔레콤 주식회사 적응형 컨텐츠 제공을 위한 컨텐츠 캐싱 서비스 제공 방법 및 이를 위한 로컬 캐싱 장치
KR101971595B1 (ko) 2018-07-31 2019-04-23 에스케이텔레콤 주식회사 적응형 컨텐츠 제공을 위한 컨텐츠 캐싱 서비스 제공 방법 및 이를 위한 로컬 캐싱 장치

Also Published As

Publication number Publication date
JP5262879B2 (ja) 2013-08-14

Similar Documents

Publication Publication Date Title
JP5369893B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
JP5262879B2 (ja) 再符号化装置および再符号化方法
EP1851683B1 (en) Digital intermediate (di) processing and distribution with scalable compression in the post-production of motion pictures
TWI324481B (en) Method and apparatus for encoding/decoding video signal using reference pictures
JP5529293B2 (ja) メタデータによる時間スケーリングのためのエッジエンハンスメントのための方法
JP2008507180A (ja) 空間的及びｓｎｒ画像圧縮の方法
JP2004088244A (ja) 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム
US20090189995A1 (en) Image recording device, image reproducing device, recording medium, image recording method, and program thereof
JP2011228974A (ja) 画像符号化装置、画像復号装置及びプログラム
US20090190654A1 (en) Image recording device, image reproducing device, recording medium, image recording method, and program thereof
JP6588801B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP5838925B2 (ja) 通信システム、端末装置、動画の表示方法、及びプログラム
JP2011041329A (ja) 画像復号装置及び画像符号化装置
WO2014002979A1 (ja) 通信システム、端末装置、登録方法、及びプログラム
JP2012522285A (ja) データ及び三次元レンダリングを符号化するためのシステム及びフォーマット
JP2008294950A (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP2006217076A (ja) 録画装置
Joshi et al. In-loop frame super-resolution in AV1
JP2016208281A (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
JP5696560B2 (ja) 信号処理装置、信号処理方法、および信号処理プログラム
JP4143471B2 (ja) 画像符号化方法、画像符号化装置及び記録装置
JP2006270405A (ja) 映像処理装置，映像処理方法，およびコンピュータプログラム
US20140185666A1 (en) Apparatus and method for moving image encoding and apparatus and method for moving image decoding
KR20090041141A (ko) 주변 블록의 정보를 이용한 효율적인 영상 확대 방법 및이를 적용한 스케일러블 비디오 부호화/복호화 장치 및방법
Joshi et al. AV1 In-loop super-resolution framework

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130415

R150 Certificate of patent or registration of utility model

Ref document number: 5262879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150