JP2015095702A - 1パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 - Google Patents
1パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 Download PDFInfo
- Publication number
- JP2015095702A JP2015095702A JP2013232878A JP2013232878A JP2015095702A JP 2015095702 A JP2015095702 A JP 2015095702A JP 2013232878 A JP2013232878 A JP 2013232878A JP 2013232878 A JP2013232878 A JP 2013232878A JP 2015095702 A JP2015095702 A JP 2015095702A
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- result
- resolution
- block matching
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 title claims description 102
- 238000012935 Averaging Methods 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 239000003623 enhancer Substances 0.000 claims description 36
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 description 56
- 238000010586 diagram Methods 0.000 description 34
- 230000033001 locomotion Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
【解決手段】フィールド内画素の方向による補間を行い、補間画素を中心とする近傍画素からなるブロックを用いたブロックマッチングにより画素の方向性を推定し、前記ブロックマッチングの結果から重み係数を計算して、すべての方向補間の結果を重み付け平均したものを最終的な補間結果とするとともに、フレーム間時間方向による補間結果も第2ブロックマッチングを行い、前記第2ブロックマッチング結果から重み係数を計算して、重み付け平均に加え、前記第2ブロックマッチング結果から最良の方向の補間を選択する1パスビデオ超解像処理方法等とする。
【選択図】図1
Description
・インターレース−プログレッシブ変換においては、フィールド内の画素の方向性を注目画素近傍領域からなるブロックによるブロックマッチングにより推定して、各方向性補間の結果をマッチング残差から計算される重み係数による重み付け平均したものを最終的な補間の結果とする点。
(実施形態における重要な技術要素)
・インターレース−プログレッシブ変換処理におけるフィールド内画素の方向性推定のためのブロックマッチング処理、フィールド内画素による方向性補間処理、各方向性補間の結果のマッチング残差による重み付け平均処理、マッチング残差による領域判別処理。
図1は、本発明の処理全体の概要を説明するブロック図である。図1に示すように、フィールド内およびフレーム間による空間および時間方向の補間処理からなるデインターレース処理(インターレースープログレッシブ変換処理)と、その結果のプログレッシブ画像をフレーム内方向性補間により任意サイズに拡大する解像度変換処理の2段階の処理からなり、さらに、後処理として、マルチスケール化した非線形エンハンサ処理を行う。非線形エンハンサ処理による過剰な補正を抑制するために、注目画素近傍における入力画素値の最大値最小値を探索して、それらの値による適応的なクリップ処理を併用する。
の入力画像におけるサブピクセル位置の座標を(ξ,η)とすると、次のように簡単になる。
実施形態の要旨概要は上述したとおりであるが、本発明にかかる実施形態の詳細な説明について以下に詳述する。なお、以下の説明においては、上述した要旨の内容と一部重複する技術事項も含まれるものであるが、説明の流れを維持して理解を容易にする観点から、重複説明を存置するものとする。
(デインターレース処理)
(インターレース方式ビデオ)
従来の画像の拡大方法は、原画素と原画素の間の画素を内挿補間生成することにより行われている。標本値から元来の連続的な信号fa(x)を復元する内挿公式は、次のように与えられる。
[非特許文献]
S. C. Park, M. K. Park, and M. G. Kang, Super-resolution image reconstruction: a technical overview,IEEE Signal Processing Magazine, Vol. 20, No. 3, pp.21-36. May 2003.
特開2009−70123号公報「画像処理装置及びその方法」
フィールド内の画素を用いた空間方向性補間によるインターレース−プログレッシブ変換を行う。入力フィールド画像I(i,j),i=1,..,H,j=1,..,V/2とすると、変換されたフレーム画像I(i’,j’),i’=1,..,H,j’=1,..,Vは次のようになる。
フィールド内画素の方向性が画像内容によっては、明確に得られない場合がある。そこで、画像中のエッジ部、テクスチャ部、平坦部を判別して、領域毎にフィールド内空間補間を行う。画像の領域判定の方法は、次のように行う。
任意サイズへの拡大処理である解像度変換処理においてもデインターレース処理同様、空間的な方向性補間を行う。ここでは、インターレース走査されたフィールド画像をプログレッシブ走査されたフレーム画像に変換した結果を方向性補間するため、フレーム内空間方向性補間と呼ぶことにする。
フレーム内空間方向性補間による解像度変換処理の結果を後処理的に画像のエッジ情報に基づいた非線形エンハンサ処理を行うことにより、さらなる解像度の向上を図る。図5に非線形エンハンサ処理の動作を示す。
(人工エッジ画像実験)
図11は人工的なエッジ画像例であり、傾斜角が各々12度である場合を説明する図である。エッジの傾斜角度を0度から60度まで、6度刻みで変えたエッジ画像に、正規化カットオフ周波数0.3の低域通過フィルタ処理を行って、水平垂直ともに1/2縮小した後、インターレース化を行う。そのようなインターレース画像に対して、本発明による方法を用いてデインターレース処理、解像度変換処理およびマルチスケール非線形エンハンサ処理を行い、原画像を復元する。復元画像と原画像の平均二乗誤差画像MSEを計算して、そのピークSN比(PSNR)により復元の良さを評価する。バイキュービック補間による従来法とも比較する。
(デインターレース処理)
図13は、連続するインターレース走査されたフレーム画像を説明する図である。画像サイズは720画素×576ライン(PAL方式)であり、フィールド間の動きによる縞状のコーミング(combing)が見られる。第1画像における奇数フィールド画像をデインターレース処理してフレーム画像に変換する。
また、図19は、デインターレース処理の結果を1350画素×1080ラインに解像度変換した結果を説明する図であり、図20は、図19で示した結果に加えて、さらにマルチスケール非線形エンハンサ処理した結果を説明する図である。
上述のように、次世代テレビ放送における過去の映像コンテンツのリパーパスのために、反復によらない1パスビデオ超解像処理として、画像の局所的な時間空間方向による補間とマルチスケール化した非線形エンハンサを提案した。
Claims (9)
- インターレース−プログレッシブ変換において、フィールド内の画素の方向性を注目画素近傍領域からなるブロックによるブロックマッチングにより推定して、各方向性補間の結果をマッチング残差から計算される重み係数による重み付け平均したものを最終的な補間の結果とする
ことを特徴とする1パスビデオ超解像処理方法。 - 請求項1に記載の1パスビデオ超解像処理方法において、
前記ブロックマッチングの結果から、画像のエッジ部、テクスチャ部、平坦部を判別して、領域毎に最良の補間を選択的に行う
ことを特徴とする1パスビデオ超解像処理方法。 - 請求項1または請求項2に記載の1パスビデオ超解像処理方法において、
フレーム間時間方向における奇数フィールドと偶数フィールドからなるフレーム画像による第2ブロックマッチングを行い、時間方向の補間結果も前記第2ブロックマッチングのマッチング残差から重み係数を計算して、フィールド内空間方向性補間の重み付け平均に加えることにより統一的に扱う
ことを特徴とする1パスビデオ超解像処理方法。 - 請求項1乃至請求項3のいずれか一項に記載の1パスビデオ超解像処理方法において、
前記インターレース−プログレッシブ変換されたフレーム画像も同様にして、フレーム内方向性補間によって任意サイズへの拡大である解像度変換を行う
ことを特徴とする1パスビデオ超解像処理方法。 - 請求項4に記載の1パスビデオ超解像処理方法において、
前記解像度変換の結果をマルチスケール非線形エンハンサ処理を適応クリップ処理とともに用いて、さらなる解像度の向上を図る
ことを特徴とする1パスビデオ超解像処理方法。 - フィールド内画素の方向による補間を行い、補間画素を中心とする近傍画素からなるブロックを用いたブロックマッチングにより画素の方向性を推定し、
前記ブロックマッチングの結果から重み係数を計算して、すべての方向補間の結果を重み付け平均したものを最終的な補間結果とするとともに、
フレーム間時間方向による補間結果も第2ブロックマッチングを行い、前記第2ブロックマッチング結果から重み係数を計算して、重み付け平均に加え、前記第2ブロックマッチング結果から最良の方向の補間を選択し、方向性補間の重み付け平均によりプログレッシブ変換された画像をフレーム内空間性補間により任意サイズへ拡大して、解像度変換の結果を非線形エンハンサ処理により、解像度の向上を図る
ことを特徴とする1パスビデオ超解像処理方法。 - 請求項1乃至請求項6のいずれか一項に記載の1パスビデオ超解像処理方法を用いて映像処理を遂行する映像処理装置。
- 請求項1乃至請求項6のいずれか一項に記載の1パスビデオ超解像処理方法を用いた映像処理をコンピュータに遂行させるためのプログラム。
- 請求項8に記載のプログラムを格納されたプログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013232878A JP6294052B2 (ja) | 2013-11-11 | 2013-11-11 | 1パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013232878A JP6294052B2 (ja) | 2013-11-11 | 2013-11-11 | 1パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015095702A true JP2015095702A (ja) | 2015-05-18 |
JP6294052B2 JP6294052B2 (ja) | 2018-03-14 |
Family
ID=53197853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013232878A Active JP6294052B2 (ja) | 2013-11-11 | 2013-11-11 | 1パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6294052B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017085988A1 (ja) * | 2015-11-17 | 2017-05-26 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
CN112785501A (zh) * | 2021-01-20 | 2021-05-11 | 北京百度网讯科技有限公司 | 文字图像的处理方法、装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02293793A (ja) * | 1989-05-04 | 1990-12-04 | Sony Corp | ビデオ信号補間方法 |
JP2003189261A (ja) * | 2001-12-18 | 2003-07-04 | Hitachi Ltd | 映像信号表示処理装置 |
JP2004153668A (ja) * | 2002-10-31 | 2004-05-27 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2005341337A (ja) * | 2004-05-28 | 2005-12-08 | Sharp Corp | 画素補間方向検出装置、画素補間装置、及び映像信号処理装置 |
-
2013
- 2013-11-11 JP JP2013232878A patent/JP6294052B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02293793A (ja) * | 1989-05-04 | 1990-12-04 | Sony Corp | ビデオ信号補間方法 |
JP2003189261A (ja) * | 2001-12-18 | 2003-07-04 | Hitachi Ltd | 映像信号表示処理装置 |
JP2004153668A (ja) * | 2002-10-31 | 2004-05-27 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2005341337A (ja) * | 2004-05-28 | 2005-12-08 | Sharp Corp | 画素補間方向検出装置、画素補間装置、及び映像信号処理装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017085988A1 (ja) * | 2015-11-17 | 2017-05-26 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
JP6137437B1 (ja) * | 2015-11-17 | 2017-05-31 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
CN108961186B (zh) * | 2018-06-29 | 2022-02-15 | 福建帝视信息科技有限公司 | 一种基于深度学习的老旧影片修复重制方法 |
CN112785501A (zh) * | 2021-01-20 | 2021-05-11 | 北京百度网讯科技有限公司 | 文字图像的处理方法、装置、设备和存储介质 |
CN112785501B (zh) * | 2021-01-20 | 2023-09-01 | 北京百度网讯科技有限公司 | 文字图像的处理方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6294052B2 (ja) | 2018-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7406208B2 (en) | Edge enhancement process and system | |
KR100393066B1 (ko) | 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법 | |
JP4490987B2 (ja) | 高解像度化装置および方法 | |
US20110206127A1 (en) | Method and Apparatus of Frame Interpolation | |
KR20060109265A (ko) | 움직임 보상형 시간적 잡음 제거 방법 및 시스템 | |
EP1721458A1 (en) | Reducing artefacts in scan-rate conversion of image signals by combining interpolation and extrapolation of images | |
CN106169173B (zh) | 一种图像插值方法 | |
JP5133038B2 (ja) | 画像復元方法および画像復元装置 | |
JP6294052B2 (ja) | 1パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 | |
US20110216831A1 (en) | Apparatus and method for motion vector filtering based on local image segmentation and lattice maps | |
KR20040058271A (ko) | 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법 | |
JP4355577B2 (ja) | ノイズ抑制対角線方向補正によるアップコンバージョン | |
Yang et al. | Fine edge-preserving technique for display devices | |
JP2010181951A (ja) | 画像処理装置および画像処理プログラム | |
Jung et al. | An effective de-interlacing technique using two types of motion information | |
Park et al. | Covariance-based adaptive deinterlacing method using edge map | |
US20050030424A1 (en) | Post-processing of interpolated images | |
Aggarwal et al. | An HVS-inspired video deinterlacer based on visual saliency | |
KR20030082249A (ko) | 움직임 적응 시공간 디인터레이싱 방법 | |
KR100698266B1 (ko) | 3차원 디인터레이싱 장치 및 그 방법 | |
KR100975787B1 (ko) | 개선된 대각선 방향의 인핸스먼트로의 업컨버젼 | |
Krämer et al. | Super-resolution mosaicing from MPEG compressed video | |
KR101010961B1 (ko) | 블럭 기반의 영역 분류를 이용한 공간적 디인터레이싱 방법 | |
Zhang et al. | Fusion-based edge-sensitive interpolation method for deinterlacing | |
Venkatesan et al. | Video deinterlacing with control grid interpolation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6294052 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |