JP2007074307A - 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents
時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP2007074307A JP2007074307A JP2005258504A JP2005258504A JP2007074307A JP 2007074307 A JP2007074307 A JP 2007074307A JP 2005258504 A JP2005258504 A JP 2005258504A JP 2005258504 A JP2005258504 A JP 2005258504A JP 2007074307 A JP2007074307 A JP 2007074307A
- Authority
- JP
- Japan
- Prior art keywords
- frequency component
- resolution
- high frequency
- time resolution
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
【解決手段】 本発明は、入力された低時間解像度の動画像の時間軸方向のサンプル数(フレームレート)をアップサンプリングし、フィルタにより不必要な高域成分(イメージング成分)を除去し、入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い、高域予測の結果(予測値)が正しいかを判定し、高域成分推定手段において予測値が正しい場合には、レート変換手段の出力と該予測値とを用いて時間解像度の拡大を行う。
【選択図】 図1
Description
別の方法として、動き補正型コマ数変換手法が知られている。これは、動きベクトル情報を用いて補完画素を作成する方法である(例えば、特許文献1参照)。しかし、この方法は、画像圧縮で用いられる動きベクトル情報は情報圧縮のための情報であり、補完に用いることは適切とは言えない。また、動きベクトルはブロック単位で導出していることから、予測が外れた場合は不連続が視覚的に目立つブロックノイズとして生じる。
但し、 aのパラメータは画像に依存して選択することが望ましいが、最適な選択をすることは困難となる。その他、図12に示すように直前の画素を予測画像に用いる方法等も提案されているが、最適な予測をすることは困難である。
レート変換手段と高域成分推定手段からなる装置において、
レート変換手段では、
入力された低時間解像度の動画像の時間軸方向のサンプル数(フレームレート)をアップサンプリングし、フィルタにより不必要な高域成分(イメージング成分)を除去し(ステップ1)、
高域成分推定手段では、
入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い(ステップ2)、
高域予測の結果(予測値)が正しいかを判定し(ステップ3)、
高域成分推定手段において予測値が正しい場合には(ステップ3、Yes)、レート変換手段の出力と該予測値とを用いて時間解像度の拡大を行う(ステップ4)。
レート変換手段と高域成分推定手段からなる装置において、
レート変換手段では、
入力された低時間解像度の動画像の時間軸方向のサンプル数(フレームレート)をアップサンプリングし、フィルタにより不必要な高域成分(イメージング成分)を除去し、高域成分が不足した高時間解像度動画像を出力し、
高域成分推定手段では、
入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、
複数の高域成分の類似性に基づいてレート変換手段から出力された高時間解像度動画像に不足している高域成分を作成し、
レート変換手段から出力された高域成分が不足した高時間解像度動画像と高域成分推定手段で作成された高域成分を加算し、出力する。
高域成分推定手段において、複数の時間軸方向の高域成分を作成する際に、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第1の高域成分を作成し、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第2の高域成分を作成し、
第1の高域成分及び第2の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて高域成分を推定する。
ウェーブレット変換手段と多入力高域成分推定手段と時間解像度拡張ウェーブレット変換手段からなる装置において、
ウェーブレット変換手段では、
入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成し、
多入力高域成分推定手段では、
複数の高域成分の類似性に基づいて高域推定成分を求め、
時間解像度拡張ウェーブレット変換手段では、時間方向の低周波数成分及び複数の高域成分を加算し、高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する。
入力された低時間解像度の動画像の時間軸方向のサンプル数(フレームレート)をアップサンプリングし、フィルタにより不必要な高域成分(イメージング成分)を除去するレート変換手段100と、
入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い、該高域予測の結果(予測値)が正しいかを判定する高域成分推定手段200と、
高域成分推定手段200において予測値が正しい場合には、レート変換手段100の出力と該予測値とを加算し、高時間解像度動画像を出力する加算手段250と、を有する。
入力された低時間解像度の動画像の時間軸方向のサンプル数(フレームレート)をアップサンプリングし、フィルタにより不必要な高域成分(イメージング成分)を除去し、高域成分が不足した高時間解像度動画像を出力するレート変換手段と、
入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、
複数の高域成分の類似性に基づいてレート変換手段から出力された高時間解像度動画像に不足している高域成分を作成する高域成分推定手段と、
レート変換手段から出力された高域成分が不足した高時間解像度動画像と高域成分推定手段で作成された高域成分を加算し、高時間解像度動画像を出力する加算手段と、を有する。
高域成分推定手段は、
複数の時間軸方向の高域成分を作成する際に、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第1の高域成分を作成する手段と、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第2の高域成分を作成する手段と、
第1の高域成分及び第2の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて高域成分を推定する手段と、を含む。
入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成するウェーブレット変換手段と、
複数の高域成分の類似性に基づいて高域推定成分を求める多入力高域成分推定手段と、
時間方向の低周波数成分及び複数の高域成分を加算した信号と、高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する時間解像度拡張ウェーブレット変換手段と、を有する。
図4は、本発明の第1の実施の形態における時間解像度拡大装置の構成を示す。
図6は、本発明の第2の実施の形態における時間解像度拡大装置の構成を示す。同図において、前述の図4と同一構成部分には同一符号を付し、その説明を省略する。
Hsuitein (t)=α*Hzeron if −T< Hzeron(t)<T 式(4)
Hsuitein(t)=α*(−T) if Hzeron (t)≦T 式(5)
そして、Hzero0をH1〜Hzero1を作成したのと同様の方法でH0から作成し、導出された特徴量T及びαを式(5)に代入することにより、高域成分を推定する。
本実施の形態では、符号化されたデータの伸張時に低時間解像度の動画像から高域成分を含んだ高時間解像度の動画像に変換することを可能とした時間解像度拡大装置について説明する。
11 フィルタ処理部
12 高域成分推定部
13 予測精度判定部
16 複数高域成分作成部
17 多入力高域成分推定部
18,21,22,25 フィルタ処理部
19、23 ダウンサンプル部
20、24 アップサンプル部
26 ウェーブレット変換部
27 多入力高域成分推定部
28 時間解像度拡張ウェーブレット変換部
100 レート変換手段、レート変換部
200 高域成分推定手段、高域成分推定部
250 加算手段
Claims (10)
- 動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
レート変換手段と高域成分推定手段からなる装置において、
前記レート変換手段では、
入力された低時間解像度の動画像の時間軸方向のサンプル数(フレームレート)をアップサンプリングし、フィルタにより不必要な高域成分(イメージング成分)を除去し、
前記高域成分推定手段では、
入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い、
前記高域予測の結果(予測値)が正しいかを判定し、
前記高域成分推定手段において前記予測値が正しい場合には、前記レート変換手段の出力と該予測値とを用いて時間解像度の拡大を行う、
ことを特徴とする時間解像度の拡大方法。 - 動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
レート変換手段と高域成分推定手段からなる装置において、
前記レート変換手段では、
入力された低時間解像度の動画像の時間軸方向のサンプル数(フレームレート)をアップサンプリングし、フィルタにより不必要な高域成分(イメージング成分)を除去し、高域成分が不足した高時間解像度動画像を出力し、
前記高域成分推定手段では、
入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、
前記複数の高域成分の類似性に基づいて前記レート変換手段から出力された前記高時間解像度動画像に不足している高域成分を作成し、
前記レート変換手段から出力された前記高域成分が不足した高時間解像度動画像と前記高域成分推定手段で作成された前記高域成分を加算し、出力する
ことを特徴とする時間解像度の拡大方法。 - 前記高域成分推定手段において、複数の時間軸方向の高域成分を作成する際に、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第1の高域成分を作成し、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第2の高域成分を作成し、
前記第1の高域成分及び前記第2の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて前記高域成分を推定する、
請求項2記載の時間解像度の拡大方法。 - 符号化された動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
ウェーブレット変換手段と多入力高域成分推定手段と時間解像度拡張ウェーブレット変換手段からなる装置において、
前記ウェーブレット変換手段では、
入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成し、
前記多入力高域成分推定手段では、
前記複数の高域成分の類似性に基づいて高域推定成分を求め、
前記時間解像度拡張ウェーブレット変換手段では、前記時間方向の低周波数成分及び前記複数の高域成分を加算し、前記高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する、
ことを特徴とする時間解像度の拡大方法。 - 動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された低時間解像度の動画像の時間軸方向のサンプル数(フレームレート)をアップサンプリングし、フィルタにより不必要な高域成分(イメージング成分)を除去するレート変換手段と、
入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い、該高域予測の結果(予測値)が正しいかを判定する高域成分推定手段と、
前記高域成分推定手段において前記予測値が正しい場合には、前記レート変換手段の出力と該予測値とを加算し、高時間解像度動画像を出力する加算手段と、
を有することを特徴とする時間解像度の拡大装置。 - 動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された低時間解像度の動画像の時間軸方向のサンプル数(フレームレート)をアップサンプリングし、フィルタにより不必要な高域成分(イメージング成分)を除去し、高域成分が不足した高時間解像度動画像を出力するレート変換手段と、
入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、
前記複数の高域成分の類似性に基づいて前記レート変換手段から出力された前記高時間解像度動画像に不足している高域成分を作成する高域成分推定手段と、
前記レート変換手段から出力された前記高域成分が不足した高時間解像度動画像と前記高域成分推定手段で作成された前記高域成分を加算し、高時間解像度動画像を出力する加算手段と、
を有することを特徴とする時間解像度の拡大装置。 - 前記高域成分推定手段は、
複数の時間軸方向の高域成分を作成する際に、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第1の高域成分を作成する手段と、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第2の高域成分を作成する手段と、
前記第1の高域成分及び前記第2の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて前記高域成分を推定する手段と、
を含む請求項6記載の時間解像度の拡大装置。 - 符号化された動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成するウェーブレット変換手段と、
前記複数の高域成分の類似性に基づいて高域推定成分を求める多入力高域成分推定手段と、
前記時間方向の低周波数成分及び前記複数の高域成分を加算し、前記高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する時間解像度拡張ウェーブレット変換手段と、
を有することを特徴とする時間解像度の拡大装置。 - コンピュータを、請求項5乃至8記載の時間解像度の拡大装置として機能させることを特徴とする時間解像度の拡大プログラム。
- コンピュータを、請求項5乃至8記載の時間解像度の拡大装置として機能させる時間解像度の拡大プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005258504A JP4373384B2 (ja) | 2005-09-06 | 2005-09-06 | 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005258504A JP4373384B2 (ja) | 2005-09-06 | 2005-09-06 | 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007074307A true JP2007074307A (ja) | 2007-03-22 |
JP4373384B2 JP4373384B2 (ja) | 2009-11-25 |
Family
ID=37935388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005258504A Expired - Fee Related JP4373384B2 (ja) | 2005-09-06 | 2005-09-06 | 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4373384B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8891539B2 (en) | 2008-09-26 | 2014-11-18 | Nec Corporation | Re-searching reference image for motion vector and converting resolution using image generated by applying motion vector to reference image |
WO2015115168A1 (ja) * | 2014-01-28 | 2015-08-06 | シャープ株式会社 | 画像処理装置 |
-
2005
- 2005-09-06 JP JP2005258504A patent/JP4373384B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8891539B2 (en) | 2008-09-26 | 2014-11-18 | Nec Corporation | Re-searching reference image for motion vector and converting resolution using image generated by applying motion vector to reference image |
WO2015115168A1 (ja) * | 2014-01-28 | 2015-08-06 | シャープ株式会社 | 画像処理装置 |
JPWO2015115168A1 (ja) * | 2014-01-28 | 2017-03-23 | シャープ株式会社 | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4373384B2 (ja) | 2009-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4356777B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP5529293B2 (ja) | メタデータによる時間スケーリングのためのエッジエンハンスメントのための方法 | |
JP5452337B2 (ja) | 画像符号化装置及びプログラム | |
JP2004312765A (ja) | 2:1間引きにおける効果的なダウンコンバージョン | |
JP2005295510A (ja) | 解像度変換方法及び装置 | |
JP5133038B2 (ja) | 画像復元方法および画像復元装置 | |
JP2011004345A (ja) | 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム | |
JP2006502643A (ja) | 画像変換ユニット及び方法 | |
JP4650123B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
Vo et al. | Selective data pruning-based compression using high-order edge-directed interpolation | |
US20080309831A1 (en) | Video Signal Processing Method and Apparatus | |
JP2005217532A (ja) | 解像度変換方法及び解像度変換装置 | |
JP4373384B2 (ja) | 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP5066041B2 (ja) | 画像信号処理装置、画像信号処理方法 | |
JP2001285881A (ja) | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 | |
JP2009207192A (ja) | 撮像装置、撮像方法、プログラム、及び記録媒体 | |
JP4310689B2 (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
JP5140637B2 (ja) | 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム | |
JP5130171B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
JP2005348320A (ja) | 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム | |
JP5894422B2 (ja) | 時空間低相関画像超解像装置、画像空間超解像装置、及びそれらのプログラム | |
JP2005286911A (ja) | 画像処理装置、画像出力装置、画像処理方法、画像出力方法、画像処理プログラムおよび画像出力プログラム | |
JP6388476B2 (ja) | 符号化装置及びプログラム | |
JP5349429B2 (ja) | 符号量低減装置および符号化装置 | |
JP2009141445A (ja) | サンプリングレート変換装置、およびサンプリングレート変換方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090901 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090903 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4373384 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |