JP2010068084A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2010068084A JP2010068084A JP2008230745A JP2008230745A JP2010068084A JP 2010068084 A JP2010068084 A JP 2010068084A JP 2008230745 A JP2008230745 A JP 2008230745A JP 2008230745 A JP2008230745 A JP 2008230745A JP 2010068084 A JP2010068084 A JP 2010068084A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- pixels
- block
- constituent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 239000000470 constituent Substances 0.000 claims description 62
- 238000009499 grossing Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000002093 peripheral effect Effects 0.000 claims description 12
- 230000007423 decrease Effects 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 39
- 238000010606 normalization Methods 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
画像の鮮明さを維持しながら、ブロックノイズやリンギングを除去する。
【解決手段】
まず、入力画像のフレーム内のブロックの境界を推定する(S101)。次に、フレーム内の画素のうち隣接する複数の画素を対象画素群として順次設定する(S102)。次に、対象画素群を構成する画素が全て同じブロックに属していたと推定されるか判断する(S103)。対象画素群を構成する画素がすべて同じブロックに属していなかったと推定される場合(S103,No)には、対象画素群の周辺の画素との画素間のエッジ強度から、対象画素群の特徴値を算出する(S105)。次に、特徴値から、対象画素群の正則化強度を算出する(S106)。エネルギー最小化部104がフレーム内の画素の画素値の平滑化を正則化再構成法によって行う(S108)。
【選択図】 図4
Description
Y. Yang et al., Regularized Reconstruction to Reduce Blocking Artifacts of Block Discrete Cosine Transform Compressed Images, IEEE Trans. Circuits and System for Video Technology, vol 3, no. 6, Dec. 1993.
図1は、本実施形態の画像処理装置100の構成を示す図である。本実施形態の画像処理装置は、入力される復号画像(以下、入力画像と記載)から、ブロックノイズやリンギングなどの人工ノイズの少ない画像への変換処理を行う。なお、入力画像は既に復号されており、符号化されていた際のブロック情報を得ることが出来ない場合について説明する。
次に、正則化再構成法について説明する。はじめに、入力画像に対して定義した拘束式を連立方程式として定式化し、それらの連立方程式をなるべく満たすようにするためのデータ項(Data terms)、および、ノイズを除去するための項である正則化項(Regularization terms)の2つを備えたエネルギー関数を定義し、そのエネルギー関数を最小化し出力画像を得る。
次に、正則化強度算出部103が求める正則化強度をL=Mの場合について説明する。正則化再構成法では、人工ノイズが大きいほど値が大きくなると期待できる関数Ereg(x)によって、人工ノイズを効果的に除去することができる。以下、対象画素群として2画素が抽出された場合について説明する。
Ereg(x)=Σgi,je(xi,xj)
ここで、Σは対象画素群(i,j)にする正則化項e(・)の値の重みつき和をとったものである。正則化項e(・)としては、図8のように、その対象画素群における画素間のエッジ強度が強いほど小さい値となる関数であれば何でも良い。例えば、指数関数を用いれば、(式3)を利用することが出来る。
次に、エネルギー最小化部104がエネルギー関数を最小化する(S108)具体的な方法について述べる。エネルギー関数の最小化には、例えば、シーケンシャル最小化やパラレル最小化が利用できる。
既知の2点を用いて補間する。補間に用いる2点は、できるだけ補間すべき点の近くを用いることが望ましい。既知の2点の位置をa1,a1+1、その画素値をy1,y2とし、補間すべき点の位置をa1+cで表すと、補間値は
既知の等間隔に配置された4点を用いて補間する。補間に用いる4点は、補間位置を中心とした2以下の範囲に配置されているものとする。補間値は、各点に対し、補間位置を中心とした次の重みカーネル
(ステップ1)仮のxを生成する(S1301)。仮のxは、例えば入力画像の補間により生成できる。補間には、例えば線形補間やキュービックコンボリューション法が利用できる。
次に、図13を参照しながら、パラレル最小化の方法(steepest descent法)を説明する。
入力画像から、ブロックサイズを推定する例について説明する。ブロックノイズは特徴的な画像パターンを発生させるため、画像のフォーマット情報が得られない場合であっても、ブロック境界を推定することができる。
本実施形態の画像処理装置は、第1の実施形態の画像処理装置と異なり、1つのフレーム内の処理を並列化し処理する。処理速度が向上するため、入力画像に対してリアルタイムで処理を行う場合に有効である。前述の、正則化再構成法は繰り返し演算によって個々の画素値の変化を伝播させることで平滑化の効果を上げる方法であるため、その効果をなるべく損なわない方法での並列化が望ましい。
101・・・ブロック情報推定部
102・・・特徴値算出部
103・・・正則化強度算出部
104・・・エネルギー最小化部
Claims (10)
- 入力画像が符号化された際の、フレーム内の変換単位であるブロックの境界を推定する推定手段と、
前記フレーム内の画素とその画素に隣接する少なくとも1つの画素とを構成画素として有する対象画素群の特徴値を、
(a)前記対象画素群のすべての構成画素が同じ前記ブロックに属する場合には、前記構成画素の画素値の変化の程度から算出し、
(b)前記対象画素群の構成画素が異なる複数の前記ブロックに属する場合には、前記構成画素の画素値と、前記構成画素の周辺に存在し前記構成画素と同じブロックに属する周辺画素の画素値との画素値の変化の程度から算出する、
特徴値算出手段と、
前記対象画素群の画素間で画素値を平滑化する際の強度値を、前記特徴値から算出する強度値算出手段と、
前記強度値算出手段が求めた前記強度値に応じて、前記対象画素群の画素値を平滑化する平滑化手段と、
を備えたことを特徴とする画像処理装置。 - 前記平滑化手段は、前記対象画素群の前記強度値と前記構成画素の画素値とから求める第1項と、前記構成画素の出力画素値に広がり関数による重み値を乗じた重み付き和と前記構成画素の画素値の和との差が小さいほど小さな値をとる第2項とを求め、前記第1項と前記第2項との加重和の最小値を推定することにより得られる出力画素の画素値を、前記構成画素の画素値として求めることを特徴とする請求項1記載の画像処理装置。
- 前記特徴値算出手段は、前記特徴値を画素値の差分量を用いて算出することを特徴とする請求項2記載の画像処理装置。
- 前記強度値算出手段は、前記差分量が大きい程、前記強度値が小さくなるような強度値を算出することを特徴とする請求項3記載の画像処理装置。
- 前記推定手段は、前記フレームを所定のブロックサイズで分割した際の境界を前記ブロック境界として推定することを特徴とする請求項2記載の画像処理装置。
- 前記推定手段は、前記入力画像のフォーマット情報を得て、前記フォーマット情報からブロックサイズを推定し、前記フレームを前記ブロックサイズで分割した際の境界を前記ブロック境界として推定することを特徴とする請求項2記載の画像処理装置。
- 前記推定手段は、複数のブロックサイズの候補それぞれで前記フレームを分割した際の前記ブロック境界をまたぐ画素間の画素値の相関の程度を求め、前記相関が低い前記ブロックサイズの候補の境界を前記ブロック境界として推定することを特徴とする請求項5乃至6記載の画像処理装置。
- 入力画像が符号化された際の、フレーム内の変換単位であるブロックの境界を推定する推定手段と、
前記推定手段が推定したブロック境界と異なる位置で前記フレームを、前記推定手段が推定する前記ブロック境界とは異なる境界で分割し、複数の区画を生成する分割手段と、
前記区画内の画素とその画素に隣接する少なくとも1つの画素とを構成画素として有する対象画素群の特徴値を、
(a)前記対象画素群のすべての構成画素が同じ前記ブロックに属する場合には、前記構成画素の画素値から算出し、
(b)前記対象画素群の構成画素が異なる複数の前記ブロックに属する場合には、前記構成画素の画素値と、前記構成画素の周辺に存在し前記構成画素と同じブロックに属する周辺画素の画素値との画素値の変化の程度から算出する、
特徴値算出手段と、
前記構成画素間で画素値を平滑化する際の強度を示し、前記差分量が大きい程、前記強度が小さくなるような強度値を算出する強度値算出手段と、
前記強度値算出手段が求めた前記強度値に応じた強度で、前記構成画素間の画素値を平滑化し、出力画素値を得る平滑化手段と、
前記区画毎の前記出力画素値から、1つのフレームに統合する統合手段と、
を備えた画像処理装置。 - 入力画像が符号化された際の、フレーム内の変換単位であるブロックの境界を推定する推定ステップと、
前記フレーム内の画素とその画素に隣接する少なくとも1つの画素とを構成画素として有する対象画素群の特徴値を、
(a)前記対象画素群のすべての構成画素が同じ前記ブロックに属する場合には、前記構成画素の画素値から算出し、
(b)前記対象画素群の構成画素が異なる複数の前記ブロックに属する場合には、前記構成画素の画素値と、前記構成画素の周辺に存在し前記構成画素と同じブロックに属する周辺画素の画素値との画素値の変化の程度から算出する、
特徴値算出ステップと、
前記対象画素群の画素間で画素値を平滑化する際の強度値を、前記特徴値から算出する強度値算出ステップと、
前記強度値に応じて、前記対象画素群の画素値を平滑化する平滑化ステップと、
を備えたことを特徴とする画像処理方法。 - 入力画像が符号化された際の、フレーム内の変換単位であるブロックの境界を推定する推定ステップと、
前記推定手段が推定したブロック境界と異なる位置で前記フレームを、前記推定手段が推定する前記ブロック境界とは異なる境界で分割し、複数の区画を生成する分割ステップと、
前記区画内の画素とその画素に隣接する少なくとも1つの画素とを構成画素として有する対象画素群の特徴値を、
(a)前記対象画素群のすべての構成画素が同じ前記ブロックに属する場合には、前記構成画素の画素値から算出し、
(b)前記対象画素群の構成画素が異なる複数の前記ブロックに属する場合には、前記構成画素の画素値と、前記構成画素の周辺に存在し前記構成画素と同じブロックに属する周辺画素の画素値との画素値の変化の程度から算出する、
特徴値算出ステップと、
前記構成画素間で画素値を平滑化する際の強度を示し、前記差分量が大きい程、前記強度が小さくなるような強度値を算出する強度値算出ステップと、
前記強度値算出手段が求めた前記強度値に応じた強度で、前記構成画素間の画素値を平滑化し、出力画素値を得る平滑化ステップと、
前記区画毎の前記出力画素値から、1つのフレームに統合する統合ステップと、
を備えた画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008230745A JP4945533B2 (ja) | 2008-09-09 | 2008-09-09 | 画像処理装置及び画像処理方法 |
US12/404,578 US8111939B2 (en) | 2008-09-09 | 2009-03-16 | Image processing device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008230745A JP4945533B2 (ja) | 2008-09-09 | 2008-09-09 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010068084A true JP2010068084A (ja) | 2010-03-25 |
JP4945533B2 JP4945533B2 (ja) | 2012-06-06 |
Family
ID=41799362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008230745A Expired - Fee Related JP4945533B2 (ja) | 2008-09-09 | 2008-09-09 | 画像処理装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8111939B2 (ja) |
JP (1) | JP4945533B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013011797A1 (ja) * | 2011-07-21 | 2013-01-24 | 日本電気株式会社 | 劣化復元システム、劣化復元方法およびプログラム |
WO2016185746A1 (ja) * | 2015-05-20 | 2016-11-24 | ソニー・オリンパスメディカルソリューションズ株式会社 | 信号処理装置及び医療用観察システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2489272B (en) * | 2011-03-23 | 2013-03-13 | Toshiba Res Europ Ltd | An image processing system and method |
WO2016129872A1 (ko) * | 2015-02-12 | 2016-08-18 | 엘지전자(주) | 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285876A (ja) * | 2000-03-30 | 2001-10-12 | Sony Corp | 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置 |
JP2002232889A (ja) * | 2001-01-31 | 2002-08-16 | Sony Corp | ブロック歪低減回路、再生装置、受信装置、ブロック歪低減方法 |
JP2002314431A (ja) * | 2001-04-09 | 2002-10-25 | Iwaki Akiyama | 画像の符号化及び復号化方式 |
JP2007060164A (ja) * | 2005-08-23 | 2007-03-08 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置および動きベクトル検出方法 |
JP2007266684A (ja) * | 2006-03-27 | 2007-10-11 | Fujitsu Ltd | ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置 |
JP2008124742A (ja) * | 2006-11-10 | 2008-05-29 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2008153812A (ja) * | 2006-12-15 | 2008-07-03 | Sharp Corp | ノイズ除去装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4165220B2 (ja) * | 2000-07-06 | 2008-10-15 | セイコーエプソン株式会社 | 画像処理方法、プログラムおよび画像処理装置 |
JP4035717B2 (ja) * | 2002-08-23 | 2008-01-23 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理方法 |
JP4455487B2 (ja) | 2005-12-16 | 2010-04-21 | 株式会社東芝 | 復号化装置及び復号化方法及びプログラム |
-
2008
- 2008-09-09 JP JP2008230745A patent/JP4945533B2/ja not_active Expired - Fee Related
-
2009
- 2009-03-16 US US12/404,578 patent/US8111939B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285876A (ja) * | 2000-03-30 | 2001-10-12 | Sony Corp | 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置 |
JP2002232889A (ja) * | 2001-01-31 | 2002-08-16 | Sony Corp | ブロック歪低減回路、再生装置、受信装置、ブロック歪低減方法 |
JP2002314431A (ja) * | 2001-04-09 | 2002-10-25 | Iwaki Akiyama | 画像の符号化及び復号化方式 |
JP2007060164A (ja) * | 2005-08-23 | 2007-03-08 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置および動きベクトル検出方法 |
JP2007266684A (ja) * | 2006-03-27 | 2007-10-11 | Fujitsu Ltd | ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置 |
JP2008124742A (ja) * | 2006-11-10 | 2008-05-29 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2008153812A (ja) * | 2006-12-15 | 2008-07-03 | Sharp Corp | ノイズ除去装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013011797A1 (ja) * | 2011-07-21 | 2013-01-24 | 日本電気株式会社 | 劣化復元システム、劣化復元方法およびプログラム |
JPWO2013011797A1 (ja) * | 2011-07-21 | 2015-02-23 | 日本電気株式会社 | 劣化復元システム、劣化復元方法およびプログラム |
US9280807B2 (en) | 2011-07-21 | 2016-03-08 | Nec Corporation | Degradation restoration system, degradation restoration method and program |
WO2016185746A1 (ja) * | 2015-05-20 | 2016-11-24 | ソニー・オリンパスメディカルソリューションズ株式会社 | 信号処理装置及び医療用観察システム |
JPWO2016185746A1 (ja) * | 2015-05-20 | 2018-03-08 | ソニー・オリンパスメディカルソリューションズ株式会社 | 信号処理装置及び医療用観察システム |
US11141043B2 (en) | 2015-05-20 | 2021-10-12 | Sony Olympus Medical Solutions Inc. | Signal processing device and medical observation system |
Also Published As
Publication number | Publication date |
---|---|
US8111939B2 (en) | 2012-02-07 |
JP4945533B2 (ja) | 2012-06-06 |
US20100061652A1 (en) | 2010-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4920599B2 (ja) | ハイブリッドビデオ圧縮の量子化雑音除去用の非線形ループ内デノイズフィルタ | |
KR101137753B1 (ko) | 고속의 메모리 효율적인 변환 구현 방법 | |
JP5007228B2 (ja) | 画像クリーンアップおよび前置符号化 | |
Kwon et al. | Efficient learning of image super-resolution and compression artifact removal with semi-local Gaussian processes | |
CN108028941B (zh) | 用于通过超像素编码和解码数字图像的方法和装置 | |
Luo et al. | Removing the blocking artifacts of block-based DCT compressed images | |
Schmaltz et al. | Understanding, optimising, and extending data compression with anisotropic diffusion | |
Fedorov et al. | Variational framework for non-local inpainting | |
JP2002506585A (ja) | マスクおよび丸め平均値を使用したオブジェクトベースの符号化システムのためのスプライト生成に関する方法 | |
US8396313B2 (en) | Image compression and decompression using the PIXON method | |
KR20130001213A (ko) | 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템 | |
JP2015513151A (ja) | 入力画像の階層的超解像を実行する方法及び装置 | |
Zhu et al. | Video super-resolution based on automatic key-frame selection and feature-guided variational optical flow | |
JP4945533B2 (ja) | 画像処理装置及び画像処理方法 | |
Vishnukumar et al. | Single image super-resolution based on compressive sensing and improved TV minimization sparse recovery | |
Ma et al. | Learning-based image restoration for compressed images | |
JP7202091B2 (ja) | 画質評価装置、学習装置及びプログラム | |
KR100319557B1 (ko) | 블럭 단위로 부호화된 영상의 블럭 경계 잡음 성분 제거 방법 | |
Goto et al. | Learning-based super-resolution image reconstruction on multi-core processor | |
Luzardo et al. | Real-time false-contours removal for inverse tone mapped HDR content | |
JP5198500B2 (ja) | 信号処理装置及びプログラム | |
JP4001629B2 (ja) | コンピュータにより画像セグメントのピクセルを処理する方法および装置 | |
JP2017097397A (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
Zhang et al. | Image magnification based on a blockwise adaptive Markov random field model | |
Singh et al. | A content adaptive method of de-blocking and super-resolution of compressed images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110318 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111125 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120305 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150309 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |