JP2005223883A - 映像修復装置、映像修復方法及び映像修復プログラム - Google Patents
映像修復装置、映像修復方法及び映像修復プログラム Download PDFInfo
- Publication number
- JP2005223883A JP2005223883A JP2004259174A JP2004259174A JP2005223883A JP 2005223883 A JP2005223883 A JP 2005223883A JP 2004259174 A JP2004259174 A JP 2004259174A JP 2004259174 A JP2004259174 A JP 2004259174A JP 2005223883 A JP2005223883 A JP 2005223883A
- Authority
- JP
- Japan
- Prior art keywords
- filtering
- frame
- video
- field
- signal level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】 フレームまたはフィールドにフィルタリング処理をして参照フィルタリングフレームまたは参照フィルタリングフィールドとする第1フィルタリング手段12と、フレームと参照フィルタリングフレームまたはフィールドと参照フィルタリングフィールドとを比較して、フレームと参照フィルタリングフレームまたはフィールドと参照フィルタリングフィールドとの信号レベルの差を算出する信号レベル算出手段13と、この信号レベルの差に基づいて、映像劣化部分または修復誤り部分を検出する映像劣化検出手段14と、映像劣化部分または修復誤り部分にフィルタリング処理を行う第2フィルタリング手段16とを備える。
【選択図】 図1
Description
小松隆、岩間徹、斉藤隆弘「古い映像フィルムの損傷の検出と修復」、電子情報通信学会論文誌、1998年8月、VolJ81−D−II、No8、pp1912−1919
また、前記非特許文献1に記載の技術は、ブロッチのみを修復する技術であり、スクラッチを修復することはできなかった。
また、第2フィルタリング手段により、映像劣化検出手段で検出された映像劣化部分または修復誤り部分にフィルタリング処理を行う。
ここで、輝度信号レベルの差の絶対値和とは、式(2)に示すようなDkなどである。kはフレームまたはフィールドを例えばL個のマクロブロックに分割したときのマクロブロックの識別符号、m、nは、マクロブロックサイズ(m、n)を、yij、y0ijは輝度信号のレベル値を示している。
また、第2フィルタリングステップにより、映像劣化検出ステップで検出された映像劣化部分または修復誤り部分にフィルタリング処理を行う。
また、第2フィルタリング手段により、映像劣化検出手段で検出された映像劣化部分または修復誤り部分にフィルタリング処理を行う。
また、請求項3に係る発明によれば、フレームまたはフィールドをマクロブロックに分割しているので、画面の映像劣化と修復誤りをマクロブロック毎に修復または原画像と置き換えることができる。例えば、被写体の動きの大きな領域での修復誤りをマクロブロック単位で修復または原画像と置き換えることができる。
また、請求項5に係る発明は、検出対象とするサブマクロブロックに対して垂直方向に配置された複数のサブマクロブロックにおいて色信号レベル値の和の相関を求めるので、検出対象とするサブマクロブロック以外のサブマクロブロックも考慮することによって、より確実に修復誤り部分を検出することができる。
次に、図面を参照して、第1の実施形態に係る映像修復装置について説明する。参照する図1は、第1の実施形態の映像修復装置を示すブロック図である。映像修復装置10は、デジタル化されたフレームに劣化部分と修復誤りがあるかどうか判定して、劣化部分があった場合には、劣化部分を修復し、修復誤りがあった場合には、原画像のままにするものであり、第1遅延部11a、第2遅延部11b、参照映像生成部(第1フィルタリング手段)12、差分映像生成部(信号レベル算出手段)13、映像劣化検出部(映像劣化検出手段)14、フィルタリング決定部(フィルタリング決定手段)15及びフィルタリング処理部(第2フィルタリング手段)16を備える。なお、本実施の形態では、濃淡画像の修復について説明する。また、ここでの劣化部分には、ブロッチ、スクラッチが含まれる。
第1遅延部11aは、処理対象フレームより1フレーム前に入力されたフレームを1フレーム分遅延させ、第2遅延部11bに出力するものである。また、第1遅延部11aは、入力された処理対象フレームを1フレーム分遅延させて参照映像生成部12、差分映像生成部13及びフィルタリング処理部16に出力するものである。
ここで、多数決フィルタとは、N×N画素のウィンドウを画素毎に設け、中央画素を除くウィンドウ内で最も画素数の多いカテゴリで中心の画素のカテゴリに置き換えるものである。
なお、多数決フィルタを用いる場合には、映像を2値化する必要がある。
また、参照映像生成部12は、フィルタリングフレームを差分映像生成部13に出力するものである。
また、フィルタリング決定部15は、複数のフレーム間でフィルタリングを行うかどうかを示すデータをフィルタリング処理部16に出力するものである。
一方、フィルタリング処理しないと決定した場合(ステップS19で、No)には、処理対象フレームを原画像すなわちフィルタリングしていない画像のままにする(ステップS20)。
また、フィルタリング位置入力部16cが、作業者がフィルタリング処理すると決定した処理対象フレームの劣化部分または修復誤り部分を示すデータを同一フレーム内フィルタリング部16dに出力する。
また、同一フレーム内フィルタリング部16dは、同一フレーム内で処理対象フレームをフィルタリングする(ステップS22)。
なお、ここでは、フレーム毎にフィルタリング処理などを行っているが、ステップS14以降ではマクロブロック単位で処理を行ってもよい。
次に、図5乃至図7を参照して、第2実施形態に係る映像修復装置について説明する。本実施形態に係る映像修復装置は、映像において横長で垂直方向に例えば数ラインの大きさを有する白傷を修復するように動作するものである。参照する図面において、図5は、第2実施形態の映像修復装置を示すブロック図である。
第2実施形態の映像修復装置10Aにおいて、第1実施形態と同一の構成には同一の参照番号を付与する。
また、差分映像生成部13Aは、式(3)を用いて、輝度信号レベルの差の絶対値和の一画素当たりの平均値をフレーム全体に加算して平均した平均値(フレーム平均値)snr1を求める。
映像劣化検出部14Aは、フレーム判定部14aと、マクロブロック判定部14bと、サブマクロブロック判定部14cとを備えている。
フレーム判定部14aは、フレーム平均値snr1が第1の閾値以上の場合には、式(4)に示されるマクロブロックにおける差分輝度信号の絶対値和について1画素当たりの平均値(マクロブロック平均値)snr2を算出し、算出したマクロブロック平均値snr2をマクロブロック判定部14bに出力する。
マクロブロック判定部14bは、マクロブロック平均値snr2が第2の閾値以上の場合には、当該マクロブロックを垂直方向にp個(例えば3個)に分割したサブマクロブロック(縦m/p画素×横n画素)毎に、式(5)に示される処理対象フレームの色信号のレベル値の和sumck/pを算出し、算出した色信号のレベル値の和sumck/pをサブマクロブロック判定部14cに出力する。
サブマクロブロック判定部14cは、色信号のレベル値の和sumck/pが第3の閾値以上の場合には、当該サブマクロブロックを、修復誤り部分とみなし、この修復誤り部分を示す修復誤り部分データと、そのサブマクロブロックの位置情報とをフィルタリング処理部16Aに出力する。
ここで、フレーム間フィルタリング部16aが行うフィルタリングとは、処理対象フレームの修復誤り部分を、処理対象フレームより1フレーム前に入力されたフレームまたは処理対象フレームより1フレーム遅れて入力されたフレームの該当部分に置き換えるものである。
第2実施形態の映像修復装置10Aの映像劣化検出部(映像劣化検出手段)14Aは一例であって、これに限定されるものではなく、例えば、検出対象とするサブマクロブロックの周辺のサブマクロブロックの状態を考慮して修復誤り部分を検出するようにしてもよい。この場合の映像修復装置を第3実施形態として説明する。
周辺サブマクロブロック判定部14dは、検出対象とするサブマクロブロックの垂直方向に配置された複数個のサブマクロブロックについて、式(5)に示される処理対象フレームの色信号のレベル値の和sumck/pを算出し、色信号のレベル値の和sumck/pが第3のしきい値以下となるサブマクロブロックの個数Qをカウントする。そして、サブマクロブロックの個数Qが予め設定された設定値よりも大きいかどうかを判定する。
周辺サブマクロブロック判定部14dは、サブマクロブロックの個数Qが設定値以上の場合には、修復誤り部分データと、そのサブマクロブロックの位置情報とをフィルタリング処理部16Aに出力する。
12 参照映像生成部(第1フィルタリング手段)
13,13A 差分映像生成部(信号レベル算出手段)
14,14A 映像劣化検出部(映像劣化検出手段)
14a フレーム判定部(第1の判定部)
14b マクロブロック判定部(第2の判定部)
14c サブマクロブロック判定部(第3の判定部)
14d 周辺サブマクロブロック判定部(第4の判定部)
15 フィルタリング決定手段(フィルタリング決定手段)
16,16A フィルタリング処理部(第2フィルタリング手段)
Claims (7)
- フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で生じる映像の劣化を修復する映像修復装置であって、
前記フレームまたは前記フィールドにフィルタリング処理をしてフィルタリングフレームまたはフィルタリングフィールドとする第1フィルタリング手段と、
前記フレームと前記フィルタリングフレームまたは前記フィールドと前記フィルタリングフィールドとを比較して、前記フレームと前記フィルタリングフレームまたは前記フィールドと前記フィルタリングフィールドの信号レベルの差を算出する信号レベル算出手段と、
前記信号レベル算出手段で算出された信号レベルの差に基づいて、前記フィルタリングフレームまたは前記フィルタリングフィールドの映像劣化部分または修復誤り部分を検出する映像劣化検出手段と、
前記映像劣化検出手段で検出された映像劣化部分または修復誤り部分にフィルタリング処理を行う第2フィルタリング手段と、
を備えることを特徴とする映像修復装置。 - 前記映像劣化部分または前記修復誤り部分の大きさまたは数に基づいて、前記第2フィルタリング手段におけるフィルタリングを、複数のフレーム間、または複数のフィールド間で行うか、同一フレーム内または同一フィールド内で行うか、あるいは原画像のままにするかを決定するフィルタリング決定手段を備えることを特徴とする請求項1に記載の映像修復装置。
- 前記フレームまたは前記フィールドをマクロブロックに分割することを特徴とする請求項1または請求項2に記載の映像修復装置。
- 前記映像劣化検出手段は、修復誤り部分が含まれているかどうかを判定するために、
前記信号レベル算出手段により算出された輝度信号レベルの差の絶対値和の一画素当たりの平均値を前記フレームまたは前記フィールド全体に加算して平均した平均値に基づいて判定を行う第1の判定部と、
前記絶対値和または前記絶対値和の一画素当たりの平均値に基づいて判定を行う第2の判定部と、
マクロブロックを垂直方向に分割したサブマクロブロックの色信号レベル値の和に基づいて判定を行う第3の判定部と、
を備えることを特徴とする請求項3に記載の映像修復装置。 - 前記映像劣化検出手段は、検出対象とするサブマクロブロックに対して垂直方向に配置された複数のサブマクロブロックの色信号レベル値の和の相関に基づいて、検出対象とするサブマクロブロックにおいて修復誤り部分が含まれているかどうかを判定する第4の判定部をさらに備えることを特徴とする請求項4に記載の映像修復装置。
- フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で生じる映像の劣化を修復する映像修復方法であって、
前記フレームまたは前記フィールドにフィルタリング処理をしてフィルタリングフレームまたはフィルタリングフィールドとする第1フィルタリングステップと、
前記フレームと前記フィルタリングフレームまたは前記フィールドと前記フィルタリングフィールドとを比較して、前記フレームと前記フィルタリングフレームまたは前記フィールドと前記フィルタリングフィールドの信号レベルの差を算出する信号レベル算出ステップと、
前記信号レベル算出ステップで算出された信号レベルの差に基づいて、前記フィルタリングフレームまたは前記フィルタリングフィールドの映像劣化部分または修復誤り部分を検出する映像劣化検出ステップと、
前記映像劣化検出ステップで検出された映像劣化部分または修復誤り部分にフィルタリング処理を行う第2フィルタリングステップと、
を含んでいることを特徴とする映像修復方法。 - フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で生じる映像の劣化を修復するためにコンピュータを、
前記フレームまたは前記フィールドにフィルタリング処理をしてフィルタリングフレームまたはフィルタリングフィールドとする第1フィルタリング手段、
前記フレームと前記フィルタリングフレームまたは前記フィールドと前記フィルタリングフィールドとを比較して、前記フレームと前記フィルタリングフレームまたは前記フィールドと前記フィルタリングフィールドの信号レベルの差を算出する信号レベル算出手段、
前記信号レベル算出手段で算出された信号レベルの差に基づいて、前記フィルタリングフレームまたは前記フィルタリングフィールドの映像劣化部分または修復誤り部分を検出する映像劣化検出手段、
前記映像劣化検出手段で検出された映像劣化部分または修復誤り部分にフィルタリング処理を行う第2フィルタリング手段、
として機能させることを特徴とする映像修復プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004259174A JP4426930B2 (ja) | 2004-01-09 | 2004-09-07 | 映像修復装置、映像修復方法及び映像修復プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004004840 | 2004-01-09 | ||
JP2004259174A JP4426930B2 (ja) | 2004-01-09 | 2004-09-07 | 映像修復装置、映像修復方法及び映像修復プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005223883A true JP2005223883A (ja) | 2005-08-18 |
JP4426930B2 JP4426930B2 (ja) | 2010-03-03 |
Family
ID=34999141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004259174A Expired - Fee Related JP4426930B2 (ja) | 2004-01-09 | 2004-09-07 | 映像修復装置、映像修復方法及び映像修復プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4426930B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014216939A (ja) * | 2013-04-26 | 2014-11-17 | オリンパスイメージング株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
CN111292272A (zh) * | 2020-03-04 | 2020-06-16 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、介质以及电子设备 |
CN113724152A (zh) * | 2021-07-30 | 2021-11-30 | 杭州当虹科技股份有限公司 | 基于深度学习的视频去瑕疵方法及计算机可读存储介质 |
JP7001265B2 (ja) | 2018-03-05 | 2022-01-19 | 国立大学法人 鹿児島大学 | 映像修復システム、映像修復方法及びプログラム |
-
2004
- 2004-09-07 JP JP2004259174A patent/JP4426930B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014216939A (ja) * | 2013-04-26 | 2014-11-17 | オリンパスイメージング株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7001265B2 (ja) | 2018-03-05 | 2022-01-19 | 国立大学法人 鹿児島大学 | 映像修復システム、映像修復方法及びプログラム |
CN111292272A (zh) * | 2020-03-04 | 2020-06-16 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、介质以及电子设备 |
CN113724152A (zh) * | 2021-07-30 | 2021-11-30 | 杭州当虹科技股份有限公司 | 基于深度学习的视频去瑕疵方法及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4426930B2 (ja) | 2010-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3104327B1 (en) | Anomalous pixel detection | |
EP1483909B1 (en) | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data | |
KR101097673B1 (ko) | 화질 개선을 위한 노이즈 검출 및 평가 기술 | |
EP1800260B1 (en) | Correction of blotches in component images | |
US7936950B2 (en) | Apparatus for creating interpolation frame | |
US20080187234A1 (en) | Image processing method and image processing device | |
JP4545195B2 (ja) | デジタル映像のアーティファクト削減 | |
US20050089094A1 (en) | Intra prediction method and apparatus | |
US10467731B2 (en) | Automatic defective digital motion picture pixel detection | |
CN111127376B (zh) | 一种数字视频文件修复方法及装置 | |
JP5364264B2 (ja) | ニューラルネットワークを用いたブロック性欠陥の位置検出 | |
JP2010147538A (ja) | 画像処理装置および方法、並びにプログラム | |
US8135231B2 (en) | Image processing method and device for performing mosquito noise reduction | |
JP2004239733A (ja) | 画面の欠陥検出方法及び装置 | |
US6968074B1 (en) | Image processing device, image processing method, and storage medium | |
JP4426930B2 (ja) | 映像修復装置、映像修復方法及び映像修復プログラム | |
JP2005165387A (ja) | 画面のスジ欠陥検出方法及び装置並びに表示装置 | |
Tegolo et al. | Scratch detection and removal from static images using simple statistics and genetic algorithms | |
JP2012039440A (ja) | 暗領域ノイズ補正装置 | |
JP2015130698A (ja) | 情報出力装置、検知装置、プログラム及び情報出力方法 | |
JP2004112678A (ja) | 映像検索装置 | |
WO2011129163A1 (ja) | イントラ予測処理方法、及びイントラ予測処理プログラム | |
JP4099850B2 (ja) | 画像信号処理装置 | |
JP2014503872A (ja) | フィルムを自動的に修復する方法および装置 | |
JP2006295528A (ja) | 画像信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091211 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131218 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |