JP2014022845A - 画像符号化装置、画像復号装置、超解像装置およびそれらのプログラム - Google Patents
画像符号化装置、画像復号装置、超解像装置およびそれらのプログラム Download PDFInfo
- Publication number
- JP2014022845A JP2014022845A JP2012157960A JP2012157960A JP2014022845A JP 2014022845 A JP2014022845 A JP 2014022845A JP 2012157960 A JP2012157960 A JP 2012157960A JP 2012157960 A JP2012157960 A JP 2012157960A JP 2014022845 A JP2014022845 A JP 2014022845A
- Authority
- JP
- Japan
- Prior art keywords
- image
- super
- resolution
- unit
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000926 separation method Methods 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000009467 reduction Effects 0.000 claims abstract description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 64
- 230000002146 bilateral effect Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 25
- 239000006185 dispersion Substances 0.000 description 25
- 238000007792 addition Methods 0.000 description 13
- 230000008707 rearrangement Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【解決手段】入力画像を縮小し、縮小画像を生成する画像縮小部と、縮小画像を符号化する符号化部と、符号化した縮小画像を復号した縮小画像の各画素値を、雑音成分と信号成分とに分離する雑音・信号分離部と、信号成分を超解像して、第1の超解像画像を生成する信号成分超解像部と、雑音成分を、信号成分超解像部とは異なる方法で超解像して、第2の超解像画像を生成する雑音成分超解像部と、これらの超解像画像を加算して縮小画像の超解像画像を得る加算部と、該超解像画像と入力画像とを比較して、超解像に関する超解像パラメータを決定する超解像パラメータ決定部とを具備することを特徴とする画像符号化装置である。
【選択図】図1
Description
以下、図面を参照して、本発明の第1の実施形態について説明する。図1は、この発明の第1の実施形態による画像伝送システム10の構成を示す概略ブロック図である。図1に示すように、画像伝送システム10は、画像符号化装置100、ネットワーク200、画像復号装置300、画像表示装置400を含んで構成される。画像符号化装置100は、入力動画像を符号化し、符号化データを生成する。ネットワーク200は、画像符号化装置100と画像復号装置300とを通信可能に接続するパケット交換ネットワークなどのネットワークである。なお、ネットワーク200は、地上デジタル放送などの放送波を用いたネットワークであってもよい。ネットワーク200は、画像符号化装置100が生成した符号化データを、画像復号装置300に伝送する。画像復号装置300は、ネットワーク200が伝送した符号化データを復号して、復号動画像を生成する。画像表示装置400は、画像復号装置300が生成した復号動画像を表示する。
また、雑音成分と、信号成分とを、各々に対応した方法で超解像するので、符号化データを復号した際に良好な画質が得られるようにすることができる。
以下、図面を参照して、本発明の第2の実施形態について説明する。本実施形態における超解像装置500は、入力された入力動画像を超解像して、垂直方向および水平方向に2倍の画素数を有する画像を生成し、出力する。図15は、超解像装置500の構成を示す概略ブロック図である。
以下、図面を参照して、本発明の第3の実施形態について説明する。本実施形態における超解像装置600は、入力された入力動画像を超解像して、垂直方向および水平方向に2倍の画素数を有する画像を生成し、出力する。図16は、超解像装置600の構成を示す概略ブロック図である。図16において、雑音・信号分離部105は、図2における雑音・信号分離部105と同様であるので、説明を省略する。
また、上述の各実施形態では、説明を簡易にするために、各画素が1つの画素値を持つ場合(例えば、輝度値など)を例に説明した。なお、画素値として輝度値と、赤の色差と、青の色差とを有する場合や、赤色、緑色、青色の輝度値を有する場合など、複数の画素値を有する場合は、各画素値に対して、本実施形態と同様の処理をすればよい。
100…画像符号化装置
101…画像縮小部
102…符号化部
103…符号化データ生成部
104…復号部
105…雑音・信号分離部
106…信号成分超解像部
107…雑音成分超解像部
108…加算部
109…超解像パラメータ判定部
110…ウェーブレット一階分解部
111…低周波成分抽出部
150…時空間ウェーブレット一階分解部
151…雑音レベル抽出部
152…マスク画像生成部
153…雑音成分分離部
154…雑音成分再構成部
155…信号成分再構成部
160…ウェーブレット一階分解部
161a…拡張LH成分生成部
161b…拡張HL成分生成部
161c…拡張HH成分生成部
162…分散値設定部
163…ウェーブレット一階再構成部
170…雑音成分再配置部
171…ウェーブレット一階再構成部
172…画素値正規化部
173…白色雑音印加部
174…バイラテラルフィルタ部
175…分散値設定部
200…ネットワーク
300…画像復号装置
301…パラメータ抽出部
302…復号部
303…雑音・信号分離部
304…信号成分超解像部
305…雑音成分超解像部
306…加算部
307…出力部
400…画像表示装置
500…超解像装置
501…入力部
502…配置部
503…分散値設定部
504…出力部
600…超解像装置
601…入力部
602…信号成分超解像部
603…雑音成分超解像部
604…加算部
605…出力部
Claims (13)
- 入力画像を縮小し、縮小画像を生成する画像縮小部と、
前記縮小画像を符号化する符号化部と、
前記符号化した縮小画像を復号する復号部と、
前記復号した縮小画像の各画素値を、雑音成分と信号成分とに分離して、該信号成分からなる第1の画像と、該雑音成分からなる第2の画像とを生成する雑音・信号分離部と、
前記第1の画像を超解像して、第1の超解像画像を生成する信号成分超解像部と、
前記第2の画像を、前記信号成分超解像部とは異なる方法で超解像して、第2の超解像画像を生成する雑音成分超解像部と、
前記第1の超解像画像と、前記第2の超解像画像とを加算して、前記復号した縮小画像の超解像画像を得る加算部と、
前記復号した縮小画像の超解像画像と前記入力画像とを比較して、前記信号成分超解像部と前記雑音成分超解像部との少なくとも一方の超解像に関する超解像パラメータを決定する超解像パラメータ決定部と、
前記符号化した縮小画像と、前記決定した超解像パラメータとを含む符号化データを生成する符号化データ生成部と
を具備することを特徴とする画像符号化装置。 - 前記信号成分超解像部と前記雑音成分超解像部との少なくとも一方は、前記超解像を生成する際に、バイラテラルフィルタによるフィルタリングを行い、
前記超解像パラメータは、前記バイラテラルフィルタの分散値を含むことを特徴とする請求項1に記載の画像符号化装置。 - コンピュータを、請求項1または請求項2に記載の画像符号化装置として機能させるためのプログラム。
- 符号化データから符号化した画像と超解像パラメータとを抽出するデータ分離部と、
前記符号化した画像を復号し、縮小画像を生成する復号部と、
前記縮小画像の各画素値を、雑音成分と信号成分とに分離して、該信号成分からなる第1の画像と、該雑音成分からなる第2の画像とを生成する雑音・信号分離部と、
前記第1の画像を超解像して、第1の超解像画像を生成する信号成分超解像部と、
前記第2の画像を、前記信号成分超解像部とは異なる方法で超解像して、第2の超解像画像を生成する雑音成分超解像部と、
前記第1の超解像画像と、前記第2の超解像画像とを加算して、前記縮小画像の超解像画像を得る加算部と
を具備し、前記信号成分超解像部と前記雑音成分超解像部とのうち、少なくとも一方は、前記超解像パラメータを用いて超解像することを特徴とする画像復号装置。 - 前記信号成分超解像部と前記雑音成分超解像部との少なくとも一方は、前記超解像を生成する際に、バイラテラルフィルタによるフィルタリングを行い、
前記超解像パラメータは、前記バイラテラルフィルタの分散値を含むことを特徴とする請求項4に記載の画像復号装置。 - コンピュータを、請求項4または請求項5に記載の画像復号装置として機能させるためのプログラム。
- 入力画像の各画素値を、雑音成分と信号成分とに分離して、該信号成分からなる第1の画像と、該雑音成分からなる第2の画像とを生成する雑音・信号分離部と、
前記第1の画像を超解像して、第1の超解像画像を生成する信号成分超解像部と、
前記第2の画像を、前記信号成分超解像部とは異なる方法で超解像して、第2の超解像画像を生成する雑音成分超解像部と、
前記第1の超解像画像と、前記第2の超解像画像とを加算して、前記入力画像の超解像画像を得る加算部と
を具備することを特徴とする超解像装置。 - 前記雑音・信号分離部は、
前記入力画像を、時空間ウェーブレット一階分解する時空間ウェーブレット一階分解部と、
前記時空間ウェーブレット一階分解の結果のうち、時空間高周波成分を参照して、雑音を含む画素を判定し、前記時空間ウェーブレット一階分解の結果から雑音成分を分離する雑音成分分離部と、
前記分離した雑音成分を、ウェーブレット一階再構成して、前記第2の画像を生成する雑音成分再構成部と、前記雑音成分分離部が前記雑音成分を分離した残りの成分である信号成分を、ウェーブレット一階再構成して、前記第1の画像を生成する信号成分再構成部と
を具備することを特徴とする請求項7に記載の超解像装置。 - 垂直方向および水平方向に入力画像の2倍の画素数を有する画像をウェーブレット一階分解した際の低周波成分の領域と、水平高周波成分の領域と、垂直高周波成分の領域と、対角高周波成分の領域とに、それぞれ前記入力画像を配置する配置部と、
前記配置部による配置結果を、ウェーブレット一階再構成して、前記入力画像の超解像画像を生成するウェーブレット一階再構成部と
を具備することを特徴とする超解像装置。 - 前記入力画像の雑音レベルを抽出する雑音レベル抽出部と、
前記超解像画像の画素値を、前記雑音レベルで正規化する画素値正規化部と
を具備することを特徴とする請求項9に記載の超解像装置。 - 前記入力画像を、時空間ウェーブレット一階分解して、時空間高周波成分を算出する時空間ウェーブレット一階分解部を具備し、
前記雑音レベル抽出部は、前記時空間高周波成分における孤立点を抽出し、該孤立点の要素値を用いて、前記雑音レベルを算出すること
を特徴とする請求項10に記載の超解像装置。 - 前記ウェーブレット一階再構成部が生成した超解像画像を構成する画素であって、画素値が0である画素の画素値を、前記雑音レベルに応じた大きさの乱数値とする白色雑音印加部を具備することを特徴とする請求項10または請求項11に記載の超解像装置。
- コンピュータを、請求項7から請求項12のいずれか1項に記載の超解像装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012157960A JP5965760B2 (ja) | 2012-07-13 | 2012-07-13 | 画像符号化装置、画像復号装置およびそれらのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012157960A JP5965760B2 (ja) | 2012-07-13 | 2012-07-13 | 画像符号化装置、画像復号装置およびそれらのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014022845A true JP2014022845A (ja) | 2014-02-03 |
JP5965760B2 JP5965760B2 (ja) | 2016-08-10 |
Family
ID=50197306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012157960A Active JP5965760B2 (ja) | 2012-07-13 | 2012-07-13 | 画像符号化装置、画像復号装置およびそれらのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5965760B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017195429A (ja) * | 2016-04-18 | 2017-10-26 | ルネサスエレクトロニクス株式会社 | 画像処理システム、画像処理方法及び画像送信装置 |
CN114760479A (zh) * | 2022-05-09 | 2022-07-15 | 合肥宏晶半导体科技有限公司 | 视频传输方法、装置及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0497681A (ja) * | 1990-08-16 | 1992-03-30 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化復号化装置 |
WO2006001384A1 (ja) * | 2004-06-25 | 2006-01-05 | Matsushita Electric Industrial Co., Ltd. | 画像符号化方法および画像復号化方法 |
WO2006054507A1 (ja) * | 2004-11-19 | 2006-05-26 | Matsushita Electric Industrial Co., Ltd. | 動画像符号化方法及び動画像復号方法 |
JP2010041654A (ja) * | 2008-08-08 | 2010-02-18 | Toshiba Corp | 動画像符号化方法および装置 |
JP2011004345A (ja) * | 2009-06-22 | 2011-01-06 | Nippon Hoso Kyokai <Nhk> | 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム |
JP2011234316A (ja) * | 2010-04-30 | 2011-11-17 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置、画像復号装置及びプログラム |
JP2012054875A (ja) * | 2010-09-03 | 2012-03-15 | Hitachi Ltd | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
JP2012060306A (ja) * | 2010-09-07 | 2012-03-22 | Nippon Hoso Kyokai <Nhk> | 画像再構成装置、符号化装置、復号装置及びプログラム |
-
2012
- 2012-07-13 JP JP2012157960A patent/JP5965760B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0497681A (ja) * | 1990-08-16 | 1992-03-30 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化復号化装置 |
WO2006001384A1 (ja) * | 2004-06-25 | 2006-01-05 | Matsushita Electric Industrial Co., Ltd. | 画像符号化方法および画像復号化方法 |
WO2006054507A1 (ja) * | 2004-11-19 | 2006-05-26 | Matsushita Electric Industrial Co., Ltd. | 動画像符号化方法及び動画像復号方法 |
JP2010041654A (ja) * | 2008-08-08 | 2010-02-18 | Toshiba Corp | 動画像符号化方法および装置 |
JP2011004345A (ja) * | 2009-06-22 | 2011-01-06 | Nippon Hoso Kyokai <Nhk> | 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム |
JP2011234316A (ja) * | 2010-04-30 | 2011-11-17 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置、画像復号装置及びプログラム |
JP2012054875A (ja) * | 2010-09-03 | 2012-03-15 | Hitachi Ltd | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
JP2012060306A (ja) * | 2010-09-07 | 2012-03-22 | Nippon Hoso Kyokai <Nhk> | 画像再構成装置、符号化装置、復号装置及びプログラム |
Non-Patent Citations (3)
Title |
---|
JPN6016010092; 松尾康孝 他: 'パラメータ最適化によるデジタルシネマから超高精細映像への超解像法の検討' 2012年電子情報通信学会総合大会講演論文集 情報・システム2 D-11-19, 201203, p.19, 電子情報通信学会 * |
JPN6016010093; 松尾康孝 他: 'ウェーブレット超解像に基づく超高精細映像符号化の検討' 2010年映像情報メディア学会年次大会講演予稿集 14-10, 201008, pp.1-2, 映像情報メディア学会 * |
JPN6016010094; 松尾康孝 他: 'デジタルシネマから超高精細映像への画像超解像法の一検討' 2011年映像情報メディア学会冬季大会講演予稿集 1-4, 201111, p.1, 映像情報メディア学会 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017195429A (ja) * | 2016-04-18 | 2017-10-26 | ルネサスエレクトロニクス株式会社 | 画像処理システム、画像処理方法及び画像送信装置 |
CN107305684A (zh) * | 2016-04-18 | 2017-10-31 | 瑞萨电子株式会社 | 图像处理系统、图像处理方法和图像发送装置 |
CN114760479A (zh) * | 2022-05-09 | 2022-07-15 | 合肥宏晶半导体科技有限公司 | 视频传输方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5965760B2 (ja) | 2016-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI669939B (zh) | 用於立方體面圖框的選擇性濾波的方法和裝置 | |
US20130169834A1 (en) | Photo extraction from video | |
US8761541B2 (en) | Comfort noise and film grain processing for 3 dimensional video | |
JP6300565B2 (ja) | 動画像符号化装置、プログラム、および、集積回路 | |
KR102314703B1 (ko) | 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법 | |
US20080123979A1 (en) | Method and system for digital image contour removal (dcr) | |
JP5027757B2 (ja) | 動画像雑音除去装置、その方法およびそのプログラム | |
US20180176603A1 (en) | Encoding apparatus, decoding apparatus and transmission control method | |
US11190808B2 (en) | Image processing apparatus and image processing method | |
CN115486068A (zh) | 用于视频编码中基于深度神经网络的帧间预测的方法和设备 | |
CN112400185A (zh) | 多级双边噪声滤波的方法、装置及系统 | |
JP2013041565A (ja) | 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体 | |
JP5965760B2 (ja) | 画像符号化装置、画像復号装置およびそれらのプログラム | |
US8798379B2 (en) | Image processing method, encoding device, decoding device, and image processing apparatus | |
WO2014091943A1 (ja) | 画像処理装置および方法 | |
JP2014017739A (ja) | 画像符号化装置、画像復号装置およびプログラム | |
US20100215286A1 (en) | Image processing apparatus and image processing method | |
JP5690163B2 (ja) | 画像縮小装置、画像拡大装置、画像縮小プログラム、及び画像拡大プログラム | |
JP5022400B2 (ja) | 動画像雑音除去装置、動領域画像雑音除去装置、動画像雑音除去プログラム、及び動領域画像雑音除去プログラム | |
JP4795141B2 (ja) | 映像符号化合成装置、映像符号化合成方法及び映像伝送システム | |
JP5349429B2 (ja) | 符号量低減装置および符号化装置 | |
JP2011254393A (ja) | 符号化装置、符号化方法及びプログラム | |
US20240129496A1 (en) | Method and system of video coding with handling of illegal block partitions | |
JP2018093295A (ja) | コントラスト補正装置及びプログラム | |
JP2007013398A (ja) | ポストフィルタ、ポストフィルタリングプログラムおよび電子情報機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5965760 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |