JP2013229768A - 映像符号化方法及び装置 - Google Patents
映像符号化方法及び装置 Download PDFInfo
- Publication number
- JP2013229768A JP2013229768A JP2012100484A JP2012100484A JP2013229768A JP 2013229768 A JP2013229768 A JP 2013229768A JP 2012100484 A JP2012100484 A JP 2012100484A JP 2012100484 A JP2012100484 A JP 2012100484A JP 2013229768 A JP2013229768 A JP 2013229768A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- resolution image
- image sequence
- low
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】 本発明は、入力された高解像度画像列に対して、Group of Pictures(GOP)内でIntraフレームとInterフレーム間の動きベクトルを計算し、動きベクトルに基づいて、前記高解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定し、ダウンサンプリング格子パターンで画像列を平均し、低解像度画像列を平均化し、低解像度画像列を取得し、低解像度画像列を符号化して前記映像復号化装置に送信する。また、映像符号化装置は、映像復号化装置におけるSR処理後のフィルタリングのためのフィルタの係数を最適化し、サイド情報として該映像復号化装置に送信する。
【選択図】 図3
Description
近年、高精細テレビ(HDTV)やマルチメディア機器の普及によって扱う情報量が増大している。特に、帯域が制限されているモバイルネットワークの分野においては高い符号化効率が要求される。圧縮技術には大きく分けて、
1)可逆圧縮
2)非可逆圧縮
の2種類に分類できる。1)可逆圧縮はオリジナルの信号を完全に復元することができるが、圧縮率の限界が存在する。一方で、非可逆圧縮は可逆圧縮よりも情報量を削減することができるが、いくらかの誤差を伴うため、完全に復元することはできない。圧縮率を高くすることで情報量を減らすことが可能だが、画質は低下する。つまり、情報量の削減と画質の維持はトレードオフの関係にある。現在までにMPEG-4やH.264/AVCなどの映像符号化方式が標準化されている。本発明では、非可逆圧縮を対象とする。
現在多くの画像処理アプリケーションにおいて、高解像度の画像や映像の需要が高まっている。解像度が高いほど、物体のエッジやテクスチャ部分を正確に表現することができるからである。需要のある分野は、MRIやX線CTなどの医療画像、衛星画像などのリモートセンシング、監視カメラやナンバープレート認識などのセキュリティ、そしてマルチメディアなどが挙げられる。
近年、映像の圧縮効率向上を目的として、SR法を利用する符号化/復号化システムが研究されている。このシステムでは、動画を符号化する前に解像度を落としてから符号化を行い、復号化する際に、SR法を利用して元の解像度に復元する。解像度を低下(ダウンサンプリング)させると情報量を減らすことが可能だが、高周波数成分が消失してしまう。しかし、高周波数成分がない、あるいは、少ない領域では、ダウンサンプリングを行っても補間によって十分復元が行える。また、消失してしまった高周波数成分を超解像技術によって時間方向の相関を利用して復元することにより更なる符号化効率の向上が期待される。特に、低ビットレートにおいては圧縮によって高周波数成分がなくなってしまうため、ダウンサンプリングを行ない、低周波数成分に情報量を多く割り当てたシステムが有効となる。
入力された高解像度画像列に対して、Group of Pictures(GOP)内でIntraフレームとInterフレーム間の動きベクトルを計算する動きベクトル推定手段と、
前記動きベクトルに基づいて、前記高解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定するダウンサンプリング格子パターン決定手段と、
前記ダウンサンプリング格子パターンで画像列を平均し、低解像度画像列を平均化し、低解像度画像列を取得する低解像度画像列生成手段と、
前記低解像度画像列を符号化して前記映像復号化装置に送信する符号化手段と、
前記映像復号化装置におけるSR処理後のフィルタリングのためのフィルタの係数を最適化し、サイド情報として該映像復号化装置に送信するパラメータ生成手段と、を有する。
以下に、映像符号化/復号化システムについて説明する。
A−1) 動きベクトル推定部110は、入力高解像度画像列に対して、ブロック毎にIntraフレームとの間で動きベクトル推定を行う。
B−1) 復号器210は、エンコーダ100から取得した低解像度画像列を復号化する。
本実施の形態では、超解像に適したダウンサンプリングについて説明する。
ステップ1) 動きベクトル推定部110において、GOP内でIntraフレームとInterフレーム間の動きベクトルを計算する。
(mk+dx,k,nk+dy,k) k=1,…,N (1)
として決定する。ここで、(mk,nk)は位置合わせしたk番目のフレームのマクロブロック単位のインデックスであり、次のように表される。
本実施の形態では、LR画像生成部130における、超解像に適した低解像度画像列の生成について説明する。
本実施の形態では、SR法の処理について説明する。
デコーダ200のSR処理部220は、サブピクセル精度の動きベクトルを利用して、復号化したGOP内の低解像度画像列を高解像度格子上に配置する。埋まらなかったピクセルは補間する。
ステップ1で再構成したIntraフレームの動き補償として再構成する。
本実施の形態では、ポストフィルタリングについて説明する。
デコーダ200で施すフィルタ係数を別の動画像を用いて予めレート別に設計しておき、そのフィルタ係数を用いてフィルタリングを行う。
入力動画像をそのまま用いて、エンコーダ100のパラメータ最適化部150で事前にフィルタ係数を最適化しておき、サイド情報としてデコーダ200へ送信する。デコーダ200ではそのフィルタ係数を用いてフィルタリングを行う。この方式はオープンループと違い、入力動画像に適合したフィルタを設計することが可能である。フィルタ係数の設計は式(5)と同様に行うが、計算量の削減のため、はじめのIntraフレームのみで設計し、2フレーム目移行は同じフィルタ係数を利用する。また、送信するフィルタ係数の情報量は動画像当り(M×数ビット)であるため、無視できる範囲である。
20 デコーダ
100 エンコーダ
110 動きベクトル推定部
120 ダウンサンプリング部
130 LR画像生成部
140 符号器
150 パラメータ最適化部
200 デコーダ
210 復号器
220 SR処理部
230 フィルタ
Claims (2)
- 超解像処理を用いた映像符号化装置及び映像復号化装置を有するシステムにおける映像符号化装置であって、
入力された高解像度画像列に対して、Group of Pictures(GOP)内でIntraフレームとInterフレーム間の動きベクトルを計算する動きベクトル推定手段と、
前記動きベクトルに基づいて、前記高解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定するダウンサンプリング格子パターン決定手段と、
前記ダウンサンプリング格子パターンで画像列を平均し、低解像度画像列を平均化し、低解像度画像列を取得する低解像度画像列生成手段と、
前記低解像度画像列を符号化して前記映像復号化装置に送信する符号化手段と、
前記映像復号化装置におけるSR処理後のフィルタリングのためのフィルタの係数を最適化し、サイド情報として該映像復号化装置に送信するパラメータ生成手段と、
を有することを特徴とする映像符号化装置。 - 超解像処理を用いた映像符号化装置及び映像復号化装置を有するシステムにおける映像符号化方法であって、
動きベクトル推定手段が、入力された高解像度画像列に対して、Group of Pictures(GOP)内でIntraフレームとInterフレーム間の動きベクトルを計算する動きベクトル推定ステップと、
ダウンサンプリング格子パターン決定手段が、前記動きベクトルに基づいて、前記高解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定するダウンサンプリング格子パターン決定ステップと、
低解像度画像列生成手段が、前記ダウンサンプリング格子パターンで画像列を平均し、低解像度画像列を平均化し、低解像度画像列を取得する低解像度画像列生成ステップと、
符号化手段が、前記低解像度画像列を符号化して前記映像復号化装置に送信する符号化ステップと、
パラメータ生成手段が、前記映像復号化装置におけるSR処理後のフィルタリングのためのフィルタの係数を最適化し、サイド情報として該映像復号化装置に送信するパラメータ生成ステップと、
を行うことを特徴とする映像符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012100484A JP5860337B2 (ja) | 2012-04-25 | 2012-04-25 | 映像符号化方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012100484A JP5860337B2 (ja) | 2012-04-25 | 2012-04-25 | 映像符号化方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013229768A true JP2013229768A (ja) | 2013-11-07 |
JP5860337B2 JP5860337B2 (ja) | 2016-02-16 |
Family
ID=49676998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012100484A Expired - Fee Related JP5860337B2 (ja) | 2012-04-25 | 2012-04-25 | 映像符号化方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5860337B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109451323A (zh) * | 2018-12-14 | 2019-03-08 | 上海国茂数字技术有限公司 | 一种无损图像编码方法及装置 |
CN110111251A (zh) * | 2019-04-22 | 2019-08-09 | 电子科技大学 | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 |
CN110800297A (zh) * | 2018-07-27 | 2020-02-14 | 深圳市大疆创新科技有限公司 | 视频编码方法及装置、计算机可读存储介质 |
JP2021520741A (ja) * | 2018-04-13 | 2021-08-19 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | フレームレベル超解像ベースビデオ符号化 |
WO2023020513A1 (en) * | 2021-08-19 | 2023-02-23 | Huawei Technologies Co., Ltd. | Method, device, and medium for generating super-resolution video |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006005904A (ja) * | 2004-05-18 | 2006-01-05 | Sony Corp | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
JP2006174415A (ja) * | 2004-11-19 | 2006-06-29 | Ntt Docomo Inc | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 |
JP2007323480A (ja) * | 2006-06-02 | 2007-12-13 | Fuji Xerox Co Ltd | 画像処理装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム |
WO2009133844A1 (ja) * | 2008-04-30 | 2009-11-05 | 株式会社 東芝 | エッジを考慮したフィルタリング機能を備えた動画像符号化/復号化方法及び装置 |
WO2010001614A1 (ja) * | 2008-07-03 | 2010-01-07 | パナソニック株式会社 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路 |
JP2012049747A (ja) * | 2010-08-25 | 2012-03-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム |
-
2012
- 2012-04-25 JP JP2012100484A patent/JP5860337B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006005904A (ja) * | 2004-05-18 | 2006-01-05 | Sony Corp | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
JP2006174415A (ja) * | 2004-11-19 | 2006-06-29 | Ntt Docomo Inc | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 |
JP2007323480A (ja) * | 2006-06-02 | 2007-12-13 | Fuji Xerox Co Ltd | 画像処理装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム |
WO2009133844A1 (ja) * | 2008-04-30 | 2009-11-05 | 株式会社 東芝 | エッジを考慮したフィルタリング機能を備えた動画像符号化/復号化方法及び装置 |
WO2010001614A1 (ja) * | 2008-07-03 | 2010-01-07 | パナソニック株式会社 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路 |
JP2012049747A (ja) * | 2010-08-25 | 2012-03-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム |
Non-Patent Citations (2)
Title |
---|
JPN6015039443; Minmin Shen et al.: 'A Novel Scalable Video Coding Scheme Using Super Resolution Techniques' IEEE 10th Workshop on Multimedia Signal Processing (MMSP 2008) , 200810, pp.196-199, IEEE * |
JPN6015039444; Minmin Shen et al.: 'Down-Sampling Based Video Coding Using Super-Resolution Technique' IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY Vol.21, No.6, 201106, pp.755-765, IEEE * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021520741A (ja) * | 2018-04-13 | 2021-08-19 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | フレームレベル超解像ベースビデオ符号化 |
JP7269257B2 (ja) | 2018-04-13 | 2023-05-08 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | フレームレベル超解像ベースビデオ符号化 |
CN110800297A (zh) * | 2018-07-27 | 2020-02-14 | 深圳市大疆创新科技有限公司 | 视频编码方法及装置、计算机可读存储介质 |
CN110800297B (zh) * | 2018-07-27 | 2022-10-04 | 深圳市大疆创新科技有限公司 | 视频编码方法及装置、计算机可读存储介质 |
CN109451323A (zh) * | 2018-12-14 | 2019-03-08 | 上海国茂数字技术有限公司 | 一种无损图像编码方法及装置 |
CN110111251A (zh) * | 2019-04-22 | 2019-08-09 | 电子科技大学 | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 |
CN110111251B (zh) * | 2019-04-22 | 2023-04-28 | 电子科技大学 | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 |
WO2023020513A1 (en) * | 2021-08-19 | 2023-02-23 | Huawei Technologies Co., Ltd. | Method, device, and medium for generating super-resolution video |
US11778223B2 (en) | 2021-08-19 | 2023-10-03 | Huawei Technologies Co., Ltd. | Method, device, and medium for generating super-resolution video |
Also Published As
Publication number | Publication date |
---|---|
JP5860337B2 (ja) | 2016-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102668077B1 (ko) | 영상 부호화 및 복호화 장치 및 그 방법 | |
KR101915425B1 (ko) | 비디오 영상 프루닝 방법 및 장치 | |
JP5529293B2 (ja) | メタデータによる時間スケーリングのためのエッジエンハンスメントのための方法 | |
US20100272184A1 (en) | System and Method for Real-Time Super-Resolution | |
KR100913088B1 (ko) | 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치 | |
TW201132131A (en) | Global motion parameter estimation using block-based motion vectors | |
JP5860337B2 (ja) | 映像符号化方法及び装置 | |
US20100086048A1 (en) | System and Method for Video Image Processing | |
JP5436371B2 (ja) | 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム | |
US8170110B2 (en) | Method and apparatus for zoom motion estimation | |
TW201204054A (en) | Techniques for motion estimation | |
CN106060567A (zh) | 一种基于分层wz帧的小波域分布式多视点视频编码 | |
JP5484378B2 (ja) | 符号化装置、符号化及び復号化システム、符号化方法並びに符号化及び復号化方法 | |
CN114363617A (zh) | 一种网络轻量级视频流传输方法、系统及设备 | |
MR et al. | Latency Time and Resolution Optimization in Video Monitoring System | |
JP2009296300A (ja) | 画像符号化装置および方法 | |
Anantrasirichai et al. | Spatiotemporal super-resolution for low bitrate H. 264 video | |
Shen et al. | Down-sampling based video coding with super-resolution technique | |
KR100801155B1 (ko) | H.264에서의 저복잡도를 가지는 공간적 에러 은닉방법 | |
Shen et al. | A novel scalable video coding scheme using super resolution techniques | |
JP2009278473A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
Sugiyama et al. | Related pre and post-processing for all-intra and inter-picture coding | |
Liu et al. | Low bit-rate video coding via mode-dependent adaptive regression for wireless visual communications | |
Klepko et al. | Combining distributed video coding with super-resolution to achieve H. 264/AVC performance | |
John | Motion compensation based multiple inter frame interpolation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141121 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20141121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5860337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |