JP2019153966A - Video recovery system, video recovery method and program - Google Patents
Video recovery system, video recovery method and program Download PDFInfo
- Publication number
- JP2019153966A JP2019153966A JP2018038801A JP2018038801A JP2019153966A JP 2019153966 A JP2019153966 A JP 2019153966A JP 2018038801 A JP2018038801 A JP 2018038801A JP 2018038801 A JP2018038801 A JP 2018038801A JP 2019153966 A JP2019153966 A JP 2019153966A
- Authority
- JP
- Japan
- Prior art keywords
- image
- shot point
- splice
- point image
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、映像修復システム、映像修復方法及びプログラムに関する。 The present invention relates to a video restoration system, a video restoration method, and a program.
多チャンネル時代をむかえ、古い映像コンテンツを大画面で精細なディスプレイで見ることが多くなっている。そこで、古い映像コンテンツなどのデジタル映像化が行われている。古い映画コンテンツでは、経年劣化したフィルムの色の修復技術や、パラ消しと言われるノイズ除去など、映像を修復する技術等が一部自動化されている（例えば、特許文献１参照）。 In the multi-channel era, older video content is often viewed on large screens and fine displays. Therefore, digitalization of old video content has been performed. In old movie content, a technique for restoring video such as a technique for restoring the color of an aged film and a noise removal called para-erasing are partially automated (for example, see Patent Document 1).
古い映像コンテンツを大画面で精細なディスプレイで表示した場合に、特に際立ってくるのが、画像内に一瞬表示されるスプライスである。しかしながら、現状では、映像フィルムに残されたスプライスの検出及び修復は、依然として目視及び手作業で行われているのが一般的である。 When old video content is displayed on a large screen and a fine display, a splicing that is displayed momentarily in the image is particularly conspicuous. However, at present, the detection and repair of the splices left on the video film are generally still performed visually and manually.
本発明は、上記実情に鑑みてなされたものであり、映像フィルムの修復作業を各段に効率化することができる映像修復システム、映像修復方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a video restoration system, a video restoration method, and a program capable of improving the restoration work of a video film at each stage.
上記目的を達成するために、本発明の第１の観点に係る映像修復システムは、
動画を修復する映像修復システムであって、
畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出部と、
前記ショット点画像検出部で検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出部と、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部と、
を備える。
In order to achieve the above object, a video restoration system according to the first aspect of the present invention includes:
A video repair system that repairs videos,
By machine learning using a convolutional neural network, a shot point image detection unit that detects a shot point image corresponding to a scene switching time among a series of images constituting the moving image,
From the shot point image detected by the shot point image detection unit, a splice detection unit that detects a splice that is a linear scratch extending in the horizontal direction;
A similarity calculation unit for calculating the similarity between the shot point image in which the splice is detected by the splice detection unit and images before and after the shot point image;
A partial image corresponding to a portion where the splice appears is extracted from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is extracted from the corresponding shot point image. An image restoration unit that replaces the partial image and erases the splice contained in the shot point image;
Is provided.
この場合、前記スプライス検出部は、
ハフ変換により、前記スプライスのうち、一直線として認識される直線状のキズである強構造スプライスを検出する、
こととしてもよい。
In this case, the splice detection unit
By the Hough transform, a strong structural splice that is a linear scratch recognized as a straight line among the splices is detected.
It is good as well.
また、前記スプライス検出部は、
前記強構造スプライスが検出されなかったショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、
前記二値化画像における水平方向の白画素の合計数に基づいて、前記スプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出する、
こととしてもよい。
In addition, the splice detection unit,
Each pixel of the shot point image in which the strong structure splice was not detected is binarized into either a white pixel or a black pixel to generate a binarized image,
Based on the total number of horizontal white pixels in the binarized image, a weak structural splice that cannot be recognized as a clear straight line among the splices but is recognized as a linear flaw as a whole is detected.
It is good as well.
本発明の第２の観点に係る映像修復システムは、
動画を修復する映像修復システムであって、
前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出部と、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部と、
を備える。
The video restoration system according to the second aspect of the present invention is:
A video repair system that repairs videos,
The binarized image is generated by binarizing each pixel of the shot point image corresponding to the scene switching time among the series of images constituting the moving image into either a white pixel or a black pixel, and Weak structure that cannot be recognized as a clear straight line among splices that are linear scratches extending in the horizontal direction, but is recognized as a linear scratch as a whole, based on the total number of horizontal white pixels in the digitized image A splice detector for detecting splices;
A similarity calculation unit for calculating the similarity between the shot point image in which the splice is detected by the splice detection unit and images before and after the shot point image;
A partial image corresponding to a portion where the splice appears is extracted from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is extracted from the corresponding shot point image. An image restoration unit that replaces the partial image and erases the splice contained in the shot point image;
Is provided.
前記画像修復部は、
画像間動き推定法を用いて、前記ショット点画像と前記類似度が高い方の画像との水平方向のズレ量を検出し、
前記類似度が高い方の画像の部分画像を、水平方向に検出したズレ量だけずらして、前記ショット点画像の部分画像と置換する、
こととしてもよい。
The image restoration unit
Using an inter-image motion estimation method, a horizontal shift amount between the shot point image and the image with the higher similarity is detected,
The partial image of the image with the higher similarity is shifted by the amount of deviation detected in the horizontal direction and replaced with the partial image of the shot point image.
It is good as well.
前記画像修復部は、
前記部分画像が置換されたショット点画像を表示し、その画像についてズレがある旨の操作入力があった場合に、
前記ショット点画像における前記部分画像と他の部分との境界線の上下の輝度差が最小となるように、前記ショット点画像に対して前記部分画像を水平方向に検出したズレ量だけずらす、
こととしてもよい。
The image restoration unit
When a shot point image in which the partial image is replaced is displayed and there is an operation input indicating that there is a shift in the image,
The partial image is shifted by the amount of deviation detected in the horizontal direction with respect to the shot point image so that the luminance difference above and below the boundary line between the partial image and the other portion in the shot point image is minimized.
It is good as well.
前記部分画像が置換されたショット点画像における前記部分画像周辺の平滑化を行う画像平滑化部を備える、
こととしてもよい。
An image smoothing unit that performs smoothing around the partial image in the shot point image in which the partial image is replaced;
It is good as well.
本発明の第３の観点に係る映像修復方法は、
動画を修復する映像修復方法であって、
コンピュータが、畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出ステップと、
コンピュータが、前記ショット点画像検出ステップで検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出ステップと、
コンピュータが、前記スプライス検出ステップでスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出ステップと、
コンピュータが、前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復ステップと、
を含む。
The video restoration method according to the third aspect of the present invention is:
A video restoration method for repairing a video,
A shot point image detection step in which a computer detects a shot point image corresponding to a scene switching time among a series of images constituting the moving image by machine learning using a convolutional neural network;
A splice detection step in which the computer detects a splice that is a linear scratch extending in the horizontal direction from the shot point image detected in the shot point image detection step;
A computer calculating a similarity between the shot point image in which the splice is detected in the splice detection step and a similarity between the image before and after the shot point image; and
A computer extracts a partial image corresponding to a portion where the splice appears from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is used as the corresponding shot. An image repair step of replacing the partial image of the point image and erasing the splice contained in the shot point image;
including.
本発明の第４の観点に係る映像修復方法は、
動画を修復する映像修復方法であって、
コンピュータが、前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出ステップと、
コンピュータが、前記スプライス検出ステップでスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出ステップと、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復ステップと、
を含む。
The video restoration method according to the fourth aspect of the present invention is:
A video restoration method for repairing a video,
The computer binarizes each pixel of the shot point image corresponding to the scene switching time among a series of images constituting the moving image into either a white pixel or a black pixel to generate a binarized image, Based on the total number of white pixels in the horizontal direction in the binarized image, it cannot be recognized as a clear straight line among splices that are linear scratches extending in the horizontal direction, but is recognized as a linear scratch as a whole. A splice detection step for detecting weak structural splices;
A computer calculating a similarity between the shot point image in which the splice is detected in the splice detection step and a similarity between the image before and after the shot point image; and
A partial image corresponding to a portion where the splice appears is extracted from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is extracted from the corresponding shot point image. An image repairing step for replacing the partial image and erasing the splice contained in the shot point image;
including.
本発明の第５の観点に係るプログラムは、
動画を修復するコンピュータを、
畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出部、
前記ショット点画像検出部で検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出部、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部、
として機能させる。
A program according to the fifth aspect of the present invention is:
The computer that repairs the video
A shot point image detection unit that detects a shot point image corresponding to a scene change time among a series of images constituting the moving image by machine learning using a convolutional neural network,
A splice detector that detects a splice that is a linear scratch extending in the horizontal direction from the shot point image detected by the shot point image detector;
A similarity calculation unit for calculating the similarity between the shot point image in which the splice is detected by the splice detection unit and images before and after the shot point image;
A partial image corresponding to a portion where the splice appears is extracted from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is extracted from the corresponding shot point image. An image restoration unit that replaces the partial image and erases the splice contained in the shot point image,
To function as.
本発明の第６の観点に係るプログラムは、
動画を修復するコンピュータを、
前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出部、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部、
として機能させる。
A program according to the sixth aspect of the present invention is:
The computer that repairs the video
The binarized image is generated by binarizing each pixel of the shot point image corresponding to the scene switching time among the series of images constituting the moving image into either a white pixel or a black pixel, and Weak structure that cannot be recognized as a clear straight line among splices that are linear scratches extending in the horizontal direction, but is recognized as a linear scratch as a whole, based on the total number of horizontal white pixels in the digitized image A splice detector for detecting splices,
A similarity calculation unit for calculating the similarity between the shot point image in which the splice is detected by the splice detection unit and images before and after the shot point image;
A partial image corresponding to a portion where the splice appears is extracted from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is extracted from the corresponding shot point image. An image restoration unit that replaces the partial image and erases the splice contained in the shot point image,
To function as.
本発明によれば、映像フィルムに残るスプライスを自動的に検出し、検出したスプライスを消去して自動的に修復することができる。これにより、映像フィルムの修復作業を各段に効率化することができる。 According to the present invention, it is possible to automatically detect the splice remaining on the video film, erase the detected splice, and automatically repair it. Thereby, the restoration work of the video film can be made efficient at each stage.
以下、本発明の実施の形態について、図面を参照して詳細に説明する。全図において、同一又は相当する構成要素には、同一の符号が付されている。本実施の形態に係る映像修復システム１は、古い映像フィルムを再生したときに画面に現れるキズを修復する画像処理システムである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In all drawings, the same or corresponding components are denoted by the same reference numerals. The video restoration system 1 according to the present embodiment is an image processing system that repairs scratches that appear on a screen when an old video film is played back.
図１に示すように、データ記憶部１０には、古い映像フィルムをデジタル化して得られた動画データを構成する一連の画像Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、…、ＰＮ（Ｎは自然数）が記憶されている。本実施の形態では、この一連の画像Ｐ１〜ＰＮが修復対象となる。本実施の形態では、修復されるキズは、主として、スプライスである。 As shown in FIG. 1, the data storage unit 10 includes a series of images P1, P2, P3, P4, P5,..., PN (N is a natural number) constituting moving image data obtained by digitizing an old video film. Is remembered. In the present embodiment, this series of images P1 to PN is a restoration target. In the present embodiment, the scratches to be repaired are mainly splices.
スプライスは、表示された画像に現れる水平方向に延びる直線状のキズである。スプライスは、主として、映像の編集の際にフィルムがカットされ、つなぎ合わせた部分に発生する。例えば、図２に示すように、画像Ｐｔ−１、画像Ｐｔ、画像Ｐｔ＋１（ｔ＝２〜Ｎ−１の自然数）と続くような、映像コンテンツのシーン（場面）の切り替わりにおいて、切り替わり点、すなわちショット点画像となる画像ＰｔにスプライスＳが発生する。スプライスＳは、本来の画像と関係のない白い横線であり、画像Ｐｔの上部又は下部に発生する。 The splice is a linear flaw extending in the horizontal direction that appears in the displayed image. Splices are mainly generated when the film is cut and joined when editing video. For example, as shown in FIG. 2, in the switching of video content scenes (scenes) such as image Pt−1, image Pt, and image Pt + 1 (t = 2 to N−1 natural number), A splice S occurs in the image Pt that is a shot point image. The splice S is a white horizontal line unrelated to the original image, and is generated at the upper part or the lower part of the image Pt.
スプライスＳには、図２に示すような、一直線のキズとして認識される強構造スプライスＳＳと、図３に示すように、強構造スプライスＳＳのようにはっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスＳＷとがある。この映像修復システム１は、強構造スプライスＳＳだけでなく、弱構造スプライスＳＷも検出する。 As shown in FIG. 2, the splice S cannot be recognized as a clear straight line like the strong structure splice SS as shown in FIG. 3 and the strong structure splice SS as shown in FIG. There is a weak structure splice SW that is recognized as a linear scratch. The image restoration system 1 detects not only the strong structure splice SS but also the weak structure splice SW.
図１に戻り、映像修復システム１は、ショット点画像検出部２Ａと、スプライス検出部２Ｂと、類似度算出部３と、画像修復部４と、画像平滑化部６と、動画生成部７と、を備える。 Returning to FIG. 1, the video restoration system 1 includes a shot point image detection unit 2A, a splice detection unit 2B, a similarity calculation unit 3, an image restoration unit 4, an image smoothing unit 6, and a moving image generation unit 7. .
ショット点画像検出部２Ａは、動画を構成する一連の画像Ｐ１〜ＰＮのうち、スプライスＳ（強構造スプライスＳＳ及び弱構造スプライスＳＷ）が含まれる画像Ｐｔ（ｔ＝１〜Ｎ−１）を検出する。 The shot point image detection unit 2A detects an image Pt (t = 1 to N−1) including a splice S (strong structure splice SS and weak structure splice SW) from among a series of images P1 to PN constituting a moving image. To do.
より具体的には、ショット点画像検出部２Ａは、畳み込みニューラルネットワークを用いた機械学習により、一連の画像Ｐ１〜ＰＮのうち、映像コンテンツのシーンの切り変わり時点に対応するショット点画像Ｐｔを検出する。 More specifically, the shot point image detection unit 2A detects a shot point image Pt corresponding to the scene change point of the video content from the series of images P1 to PN by machine learning using a convolutional neural network. To do.
畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）とは、図４に示すような、神経科学の知見に基づく構造を持つ順伝播型ニューラルネットワークの一種であり、画像や動画認識に広く使われているモデルである。図４に示すように、ＣＮＮ２０において、１つ１つのブロックが、畳み込み層（特徴抽出を行なう単純型細胞に対応）又はプーリング層（位置ズレを許容する働きを持つ複雑型細胞に対応）である。この畳み込み層とプーリング層とから構成されるInceptionモジュールと呼ばれる小さなネットワーク (マイクロネットワーク) を定義し、Inceptionモジュールを通常の畳み込み層のように重ねていくことで１つの大きなＣＮＮ２０が作り上げられている。本実施の形態では、ＣＮＮ２０として、１０００クラスの画像分類を行うように学習された一般物体認識モデルが用いられる。 Convolutional Neural Network (CNN) is a type of forward-propagation neural network with a structure based on neuroscience knowledge as shown in Fig. 4, and is a model widely used for image and video recognition. It is. As shown in FIG. 4, in CNN 20, each block is a convolution layer (corresponding to a simple cell that performs feature extraction) or a pooling layer (corresponding to a complex cell that works to allow positional displacement). . One small CNN 20 is created by defining a small network (micronetwork) called an Inception module composed of the convolution layer and the pooling layer, and stacking the Inception module like a normal convolution layer. In the present embodiment, a general object recognition model learned to perform 1000-class image classification is used as the CNN 20.
ＣＮＮ２０では、以下の手順で処理が行われる。
（１）全画素における画素値（Ｒ，Ｇ，Ｂ）を、画像Ｐ１、Ｐ２、・・・の順に、順次入力する。
（２）ＣＮＮ２０の最終層ではなく、途中の層から出力値（特徴ベクトル）を取り出す。
（３）取り出した連続する２つの画像Ｐｔ−１，Ｐｔの特徴ベクトルを以下の式（１）に与え、ＣＯＳ類似度を算出する。
ここで、ｑは、画像Ｐｔにおける特徴ベクトルであり、ｄは、画像Ｐｔ−１における特徴ベクトルである。Ｖは特徴ベクトルの次元数である。
In the CNN 20, processing is performed according to the following procedure.
(1) Pixel values (R, G, B) in all pixels are sequentially input in the order of images P1, P2,.
(2) The output value (feature vector) is extracted from the middle layer of the CNN 20 instead of the final layer.
(3) The feature vectors of the two consecutive extracted images Pt-1 and Pt are given to the following equation (1), and the COS similarity is calculated.
Here, q is a feature vector in the image Pt, and d is a feature vector in the image Pt-1. V is the number of dimensions of the feature vector.
（４）ここで、ｑ＝Ｆｔ−１とし、ｄ＝Ｆｔとする。以下の式（２）を用いて、ＣＯＳ類似度と、閾値とを比較し、ＣＯＳ類似度が閾値（threshold）以下ならショット分割点とする。
（５）出力ｆｒａｍｅｔはショット分割点なら１、そうでなければ０とする。出力ｆｒａｍｅｔが１なら、画像Ｐｔがショット点画像となる。
(5) The output frame t is 1 if it is a shot division point, and 0 otherwise. If the output frame t is 1, the image Pt is a shot point image.
ＣＮＮ２０では、教師有りデータ等を用いた機械学習が予め行われている。例えば、教師有りデータとしては、シーンの切り替わりのショット点画像Ｐｔであることが明らかな画像と、ショット点画像でないことが明らかな画像とが与えられ、入力に対するＣＮＮ２０の出力が、実際の結果と合致するように、機械学習が行われる。 In the CNN 20, machine learning using supervised data or the like is performed in advance. For example, as supervised data, an image that is clearly a shot point image Pt of scene switching and an image that is clearly not a shot point image are given, and the output of the CNN 20 with respect to the input is the actual result. Machine learning is performed to match.
スプライス検出部２Ｂは、ショット点画像検出部２Ａで検出されたショット点画像ＰｔにスプライスＳが存在するか否かを検出する。まず、ショット点画像検出部２Ａは、検出されたシーンの切り替わり時点前後の画像Ｐｔの中から、強構造スプライスＳＳが含まれる画像Ｐｔを検出する。 The splice detector 2B detects whether or not the splice S is present in the shot point image Pt detected by the shot point image detector 2A. First, the shot point image detection unit 2A detects an image Pt including the strong structure splice SS from the images Pt before and after the detected scene switching time.
強構造スプライスＳＳの検出には、例えばハフ（Ｈｏｕｇｈ）変換を用いることができる。ハフ変換は、デジタル画像処理で用いられる特徴抽出法の１つであり、画像Ｐｔから直線、円、楕円等の図形を検出する技法である。例えば、図５（Ａ）に示すように、画像Ｐｔの各画素の位置座標を（ｘ，ｙ）とする。また、画像Ｐｔ内におけるスプライスＳがある場合に、スプライスＳの関係式をｙ＝ａｘ＋ｂとする。ハフ変換を行うことにより、スプライスＳの関係式の係数ａ，ｂを求めることができる。 For example, Hough transformation can be used to detect the strong structure splice SS. The Hough transform is one of feature extraction methods used in digital image processing, and is a technique for detecting figures such as straight lines, circles, and ellipses from the image Pt. For example, as shown in FIG. 5A, the position coordinates of each pixel of the image Pt are set to (x, y). When there is a splice S in the image Pt, the relational expression of the splice S is set to y = ax + b. The coefficients a and b of the relational expression of the splice S can be obtained by performing the Hough transform.
まず、スプライス検出部２Ｂは、画像Ｐｔにおいて輝度変化の大きな画素点をスプライスＳ上の候補点として検出する。図５（Ａ）では、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・が候補点として検出されている様子が示されている。 First, the splice detector 2B detects a pixel point having a large luminance change as a candidate point on the splice S in the image Pt. In FIG. 5A, (x1, y1), (x2, y2), (x3, y3), (x4, y4),... Are detected as candidate points.
候補点（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・をそれぞれ通過する直線は無数に存在する。スプライス検出部２Ｂは、抽出された候補点が最も多く通過する直線をスプライスＳとして検出する。 There are an infinite number of straight lines passing through the candidate points (x1, y1), (x2, y2), (x3, y3), (x4, y4),. The splice detection unit 2B detects, as the splice S, the straight line through which the extracted candidate points pass most.
ここで、図５（Ｂ）に、スプライスＳの関係式の係数ａ，ｂを座標軸とする平面を示す。スプライス検出部２Ｂは、図５（Ｂ）に示すように、この平面上で、それぞれ候補点（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・を通過する可能性のある点（ａ，ｂ）について投票を行っていく。この投票で最も点数の多かった座標（ａ１，ｂ１）を、強構造スプライスＳＳの直線式の係数ａ，ｂとして決定する。 Here, FIG. 5B shows a plane having the coordinates a and b of the relational expression of the splice S as coordinate axes. As shown in FIG. 5B, the splice detection unit 2B has candidate points (x1, y1), (x2, y2), (x3, y3), (x4, y4),.・ Vot for points (a, b) that may pass. The coordinates (a1, b1) having the highest score in this vote are determined as the linear coefficients a, b of the strong structure splice SS.
なお、スプライス検出部２Ｂは、投票数が閾値以下であった場合には、スプライス検出部２Ｂは、強構造スプライスＳＳが検出されなかったものと判定する。 When the number of votes is equal to or less than the threshold value, the splice detection unit 2B determines that the strong structure splice SS has not been detected.
スプライス検出部２Ｂは、強構造スプライスＳＳが検出されなかったショット点画像Ｐｔの各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成する。スプライス検出部２Ｂは、二値化画像における水平方向の白画素の合計数（白画素プロフィール）に基づいて、スプライスＳのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスＳＷを検出する。 The splice detection unit 2B binarizes each pixel of the shot point image Pt in which the strong structure splice SS has not been detected into either a white pixel or a black pixel, and generates a binarized image. The splice detection unit 2B cannot recognize the splice S as a clear straight line based on the total number of white pixels in the horizontal direction (white pixel profile) in the binarized image, but recognizes it as a straight scratch as a whole. The weak structure splice SW to be detected is detected.
例えば、図６（Ａ）に示すように弱構造スプライスＳＷが発生していない二値化画像Ｐｔでは、図６（Ｂ）に示すように、全ての垂直位置ｙにおける水平方向（ｘ方向）の白画素の合計数は、閾値以下となる。一方、図６（Ｃ）に示すように弱構造スプライスＳＷが発生している画像Ｐｔでは、図６（Ｄ）に示すように、弱構造スプライスＳＷがある垂直位置ｙにおいて水平方向（ｘ方向）の白画素の合計数が閾値を超えるようになる。スプライス検出部２Ｂは、水平方向の白画素の合計数が閾値を超える垂直位置ｙが有るか否かによって、弱構造スプライスＳＷを検出する。 For example, in the binarized image Pt in which the weak structure splice SW is not generated as shown in FIG. 6A, as shown in FIG. 6B, the horizontal direction (x direction) at all the vertical positions y is shown. The total number of white pixels is below the threshold. On the other hand, in the image Pt in which the weak structure splice SW is generated as shown in FIG. 6C, as shown in FIG. 6D, the horizontal direction (x direction) at the vertical position y where the weak structure splice SW is present. The total number of white pixels exceeds the threshold. The splice detector 2B detects the weak structure splice SW depending on whether or not there is a vertical position y where the total number of white pixels in the horizontal direction exceeds the threshold.
図１に戻り、類似度算出部３は、スプライス検出部２Ｂで検出された検出画像Ｐｔと、検出画像Ｐｔの前後の画像Ｐｔ−１、Ｐｔ＋１との類似度をそれぞれ算出する。ここでは、検出画像Ｐｔとその前後の画像Ｐｔ−１、Ｐｔ＋１について、検出画像Ｐｔとその前の画像Ｐｔ−１との類似度と、検出画像Ｐｔとその後の画像Ｐｔ＋１との類似度がそれぞれ算出される。 Returning to FIG. 1, the similarity calculation unit 3 calculates the similarity between the detection image Pt detected by the splice detection unit 2B and the images Pt−1 and Pt + 1 before and after the detection image Pt. Here, for the detected image Pt and the images Pt−1 and Pt + 1 before and after it, the similarity between the detected image Pt and the previous image Pt−1 and the similarity between the detected image Pt and the subsequent image Pt + 1 are calculated. Is done.
画像Ｐｔ，Ｐｔ−１の類似度及び画像Ｐｔ，Ｐｔ＋１の類似度は、以下の式（３）で表現される各画像Ｐｔの輝度値のヒストグラムの相関度に基づいて算出される。
ここで、Ｈ１（Ｉ），Ｈ２（Ｉ）は、Ｐｔ−１，Ｐｔ，Ｐｔ＋１の輝度値のヒストグラムの値である。それらの平均が、
である。
The similarity between the images Pt and Pt−1 and the similarity between the images Pt and Pt + 1 are calculated based on the correlation degree of the histogram of the luminance value of each image Pt expressed by the following equation (3).
Here, H 1 (I) and H 2 (I) are values of histograms of luminance values of Pt−1, Pt, and Pt + 1. Their average is
It is.
例えば、図７（Ａ）、図７（Ｂ）及び図７（Ｃ）に示すように、類似度算出部３は、画像Ｐｔ，Ｐｔ−１，Ｐｔ＋１の輝度値のヒストグラムを得る。さらに、類似度算出部３は、画像Ｐｔの輝度値ヒストグラムと画像Ｐｔ−１の輝度値のヒストグラムとの相関度を求め、画像Ｐｔの輝度値ヒストグラムと画像Ｐｔ＋１の輝度値ヒストグラムとの相関度を求める。輝度値ヒストグラムの相関度が高い画像Ｐｔ＋１、Ｐｔ−１のいずれかが、類似度が高い画像となる。 For example, as shown in FIGS. 7A, 7B, and 7C, the similarity calculation unit 3 obtains histograms of luminance values of the images Pt, Pt−1, and Pt + 1. Further, the similarity calculation unit 3 obtains the correlation between the luminance value histogram of the image Pt and the luminance value histogram of the image Pt−1, and calculates the correlation between the luminance value histogram of the image Pt and the luminance value histogram of the image Pt + 1. Ask. One of the images Pt + 1 and Pt−1 having a high correlation degree in the luminance value histogram is an image having a high similarity.
図１に戻り、画像修復部４は、図８（Ａ）に示すように、前後の画像Ｐｔ−１、Ｐｔ＋１のうち、類似度が高い方の画像Ｐ’を選択する。さらに、画像修復部４は、図８（Ｂ）に示すように、類似度が高い方の画像Ｐ’から、スプライスＳが出現した部分に対応する部分画像ＰＩ’を抽出する。さらに、画像修復部４は、抽出された部分画像ＰＩ’を、対応する検出画像Ｐｔの部分画像ＰＩと置換して、検出画像Ｐｔに含まれるスプライスＳを消去する。 Returning to FIG. 1, as shown in FIG. 8A, the image restoration unit 4 selects an image P ′ having a higher similarity between the previous and next images Pt−1 and Pt + 1. Further, as shown in FIG. 8B, the image restoration unit 4 extracts a partial image PI ′ corresponding to the portion where the splice S appears from the image P ′ having the higher similarity. Further, the image restoration unit 4 replaces the extracted partial image PI ′ with the partial image PI of the corresponding detected image Pt, and deletes the splice S included in the detected image Pt.
なお、スプライスＳは、各画像Ｐｔの上端近傍の領域又は下端近傍の領域に現れ、その発生領域は、上端又は下端から一定の範囲に現れるのが一般的である。従って、部分画像ＰＩ、ＰＩ’を、各画像Ｐｔの上端又は下端における固定大の画像領域とすることができる。このため、スプライスＳの位置は、画像の上側に出現しているか、下側に出現しているかを検出するだけでもよい。 Note that the splice S appears in an area near the upper end or near the lower end of each image Pt, and the generated area generally appears in a certain range from the upper end or the lower end. Therefore, the partial images PI and PI ′ can be set as fixed-size image regions at the upper end or the lower end of each image Pt. For this reason, it is only necessary to detect whether the position of the splice S appears on the upper side or the lower side of the image.
さらに、画像修復部４は、図９に示すように、検出画像Ｐｔと類似度が高い方の画像Ｐ’との水平方向のズレ量を検出する。そして、画像修復部４は、画像Ｐ’から抽出された部分画像ＰＩ’を、水平方向に検出したズレ量だけずらして、対応する検出画像Ｐｔの部分画像ＰＩと置換する。ズレ量の検出には、本実施の形態では、画像間動き推定法を用いる。画像間動き推定法は、２つの画像の間がどれぐらいずれているか、すなわち画像のシフト量を、各画像の位相画像を用いて推定する方法である。この方法では、２つの画像の位相に注目しそれらの位相の相関を取り、画像の間の「類似度」を測る。 Further, as shown in FIG. 9, the image restoration unit 4 detects the amount of deviation in the horizontal direction between the detected image Pt and the image P ′ having a higher similarity. Then, the image restoration unit 4 shifts the partial image PI ′ extracted from the image P ′ by the shift amount detected in the horizontal direction and replaces it with the corresponding partial image PI of the detected image Pt. In the present embodiment, an inter-image motion estimation method is used for detecting the amount of deviation. The inter-image motion estimation method is a method for estimating how much the two images are shifted, that is, the shift amount of the image using the phase image of each image. In this method, attention is paid to the phases of two images, the phases are correlated, and the “similarity” between the images is measured.
画像間動き推定法において、画像修復部４は、まず、図９に示すように、画像Ｐｔ、画像Ｐ’をそれぞれフーリエ変換して、それぞれのスペクトル成分Ｆａ，Ｆｂを得る。そして、画像修復部４は、スペクトル成分Ｆａ，Ｆｂを振幅スペクトルで割ることで正規化し、逆フーリエ変換することで位相限定画像Ｆａｂを得る。位相限定画像Ｆａｂでは、位置座標（Δｘ，Δｙ）に点が形成されている。この点の位置座標（Δｘ，Δｙ）が、画像Ｐｔと画像Ｐ’とのｘ軸方向、ｙ軸方向のズレ量を示している。 In the inter-image motion estimation method, the image restoration unit 4 first performs Fourier transform on the image Pt and the image P ′, respectively, as shown in FIG. 9 to obtain respective spectral components Fa and Fb. Then, the image restoration unit 4 normalizes the spectral components Fa and Fb by dividing them by the amplitude spectrum, and obtains the phase-only image Fab by performing inverse Fourier transform. In the phase only image Fab, points are formed at the position coordinates (Δx, Δy). The position coordinates (Δx, Δy) of this point indicate the amount of deviation between the image Pt and the image P ′ in the x-axis direction and the y-axis direction.
画像修復部４は、部分画像ＰＩ’をｘ軸方向にΔｘだけシフトさせて、画像Ｐｔに埋め込む。この場合、図１０（Ａ）に示すように、空白部分Ｑが発生する。置換後の画像Ｐｔ’に空白部分Ｑがある場合、画像修復部４は、図１０（Ｂ）に示すように、画像Ｐ’の空白部分Ｑに隣接する部分画像ＲＩを、空白部分Ｑに埋め込んで、画像を修復する。なお、図１０（Ａ）は、Δｘが正の場合であるが、Δｘが負で、部分画像ＰＩ’を左方向にシフトするようにしてもよい。 The image restoration unit 4 shifts the partial image PI ′ by Δx in the x-axis direction and embeds it in the image Pt. In this case, a blank portion Q is generated as shown in FIG. When there is a blank portion Q in the replaced image Pt ′, the image restoration unit 4 embeds a partial image RI adjacent to the blank portion Q of the image P ′ in the blank portion Q as shown in FIG. Then repair the image. FIG. 10A shows a case where Δx is positive. However, Δx may be negative and the partial image PI ′ may be shifted leftward.
また、画像修復部４は、図１１（Ａ）に示すように、部分画像ＰＩ’が置換されたショット点画像Ｐｔを表示し、その画像についてズレがある旨の操作入力があった場合に、図１１（Ｂ）に示すように、ショット点画像Ｐｔにおける部分画像ＰＩ’と他の部分との境界線Ｂの上下の輝度差が最小となるように、図１１（Ｃ）に示すように、ショット点画像Ｐｔに対して部分画像ＰＩ’を水平方向に検出したズレ量Δｘだけずらすこともできる。このように、最終的には人の眼により位置ズレを補正するインタラクティブな画像修復法を採用すれば、画像間動き推定法による位置ズレ補正を行っても残留する微小なズレをなくすことができる。 Further, as shown in FIG. 11A, the image restoration unit 4 displays the shot point image Pt in which the partial image PI ′ is replaced, and when there is an operation input indicating that there is a shift in the image, As shown in FIG. 11 (B), as shown in FIG. 11 (C), as shown in FIG. The partial image PI ′ can be shifted from the shot point image Pt by the amount of deviation Δx detected in the horizontal direction. In this way, if an interactive image restoration method that finally corrects the positional deviation by the human eye is adopted, the minute deviation remaining even if the positional deviation correction by the inter-image motion estimation method is performed can be eliminated. .
図１に戻り、画像平滑化部６は、画像修復部４で修復されたショット点画像Ｐｔの部分画像ＰＩの周辺領域の平滑化を行う。この画像の平滑化には、メディアンフィルタが用いられる。メディアンフィルタは、周辺輝度値の大きさを順に並べ、メディアン（中央値）を注目画素に置き換えていくフィルタ処理を行う。 Returning to FIG. 1, the image smoothing unit 6 smoothes the peripheral area of the partial image PI of the shot point image Pt restored by the image restoration unit 4. A median filter is used for smoothing the image. The median filter performs a filter process in which the sizes of the peripheral luminance values are arranged in order, and the median (median value) is replaced with the pixel of interest.
このメディアンフィルタを用いることで、画像平滑化部６は、画像Ｐｔ内に含まれるノイズを除去することができる。例えば、図１２に示すように、画素値が１００である注目画素について周辺の画素の輝度値が、１０、１５、４１、３０、３４、６０、１８０、１３０であったとする。この９つの画素の輝度値などを順番に並べ換えると、１０、１５、３０、３４、４１、６０、１００、１３０、１８０となる。この場合、画像平滑化部６は、中央の注目画素の値を中間値の４１とする。これがメディアンフィルタによる平滑化処理である。 By using this median filter, the image smoothing unit 6 can remove noise included in the image Pt. For example, as shown in FIG. 12, it is assumed that the luminance value of the surrounding pixels is 10, 15, 41, 30, 34, 60, 180, 130 for the target pixel having a pixel value of 100. When the luminance values of these nine pixels are rearranged in order, they become 10, 15, 30, 34, 41, 60, 100, 130, and 180, respectively. In this case, the image smoothing unit 6 sets the value of the center target pixel to an intermediate value of 41. This is a smoothing process using a median filter.
画像平滑化部６は、図１０（Ｂ）に示す画像Ｐｔの部分画像ＰＩ’との境界周辺に対してメディアンフィルタを適用する。 The image smoothing unit 6 applies a median filter to the periphery of the boundary between the image Pt and the partial image PI ′ shown in FIG.
図１に戻り、動画生成部７は、スプライスＳが消去された一連の画像Ｐ１〜ＰＮをつなげて動画を生成する。 Returning to FIG. 1, the moving image generation unit 7 connects the series of images P1 to PN from which the splice S has been deleted to generate a moving image.
図１３は、図１の映像修復システム１のハードウエア構成を示す。図１３に示すように、映像修復システム１は、制御部３１、主記憶部３２、外部記憶部３３、操作部３４及び表示部３５を備える。主記憶部３２、外部記憶部３３、操作部３４、表示部３５はいずれも内部バス３０を介して制御部３１に接続されている。 FIG. 13 shows a hardware configuration of the video restoration system 1 of FIG. As shown in FIG. 13, the video restoration system 1 includes a control unit 31, a main storage unit 32, an external storage unit 33, an operation unit 34, and a display unit 35. The main storage unit 32, the external storage unit 33, the operation unit 34, and the display unit 35 are all connected to the control unit 31 through the internal bus 30.
制御部３１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部３３に記憶されているプログラム３９を実行することにより、図１に示す映像修復システム１の各構成要素が実現される。 The control unit 31 includes a CPU (Central Processing Unit) and the like. The CPU executes the program 39 stored in the external storage unit 33, thereby realizing each component of the video restoration system 1 shown in FIG.
主記憶部３２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部３２には、外部記憶部３３に記憶されているプログラム３９がロードされる。この他、主記憶部３２は、制御部３１の作業領域（データの一時記憶領域）として用いられる。 The main storage unit 32 is composed of a RAM (Random-Access Memory) or the like. The main storage unit 32 is loaded with a program 39 stored in the external storage unit 33. In addition, the main storage unit 32 is used as a work area (temporary data storage area) of the control unit 31.
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部３３には、制御部３１に実行させるためのプログラム３９があらかじめ記憶されている。また、外部記憶部３３は、制御部３１の指示に従って、このプログラム３９の実行の際に用いられるデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。 The external storage unit 33 includes a nonvolatile memory such as a flash memory, a hard disk, a DVD-RAM (Digital Versatile Disc Random-Access Memory), and a DVD-RW (Digital Versatile Disc ReWritable). In the external storage unit 33, a program 39 to be executed by the control unit 31 is stored in advance. Further, the external storage unit 33 supplies data used when executing the program 39 to the control unit 31 in accordance with an instruction from the control unit 31, and stores the data supplied from the control unit 31.
操作部３４は、キーボード及びマウスなどのポインティングデバイス等と、キーボード及びポインティングデバイス等を内部バス３０に接続するインターフェイス装置から構成されている。操作部３４を介して、操作者が操作した内容に関する情報が制御部３１に入力される。 The operation unit 34 includes a pointing device such as a keyboard and a mouse, and an interface device that connects the keyboard and the pointing device to the internal bus 30. Information regarding the content operated by the operator is input to the control unit 31 via the operation unit 34.
表示部３５は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（ElectroLuminescence）などから構成される。操作者が操作情報を入力する場合は、表示部３５には、操作用の画面が表示される。 The display unit 35 includes a CRT (Cathode Ray Tube), an LCD (Liquid Crystal Display), an organic EL (ElectroLuminescence), or the like. When the operator inputs operation information, an operation screen is displayed on the display unit 35.
なお、制御部３１のプログラム３９の実行により、図１に示す映像修復システム１の構成において、ショット点画像検出部２Ａ、スプライス検出部２Ｂ、類似度算出部３、画像修復部４、画像平滑化部６及び動画生成部７は、制御部３１及び主記憶部３２に対応し、データ記憶部１０は、外部記憶部３３に対応する。 Note that, by executing the program 39 of the control unit 31, the shot point image detection unit 2A, the splice detection unit 2B, the similarity calculation unit 3, the image restoration unit 4, the image smoothing in the configuration of the video restoration system 1 shown in FIG. The unit 6 and the moving image generation unit 7 correspond to the control unit 31 and the main storage unit 32, and the data storage unit 10 corresponds to the external storage unit 33.
次に、本実施の形態に係る映像修復システム１の動作について説明する。 Next, the operation of the video restoration system 1 according to the present embodiment will be described.
図１４に示すように、まず、ショット点画像検出部２Ａは、ＣＮＮ２０（図４参照）を用いた機械学習により、映像コンテンツのシーンの切り替わり時点に対応するショット点画像（ショット）Ｐｔを検出する（ステップＳ１；ショット点画像検出ステップ）。これにより、映像コンテンツのシーンの切り替わり時点に対応するショット点画像Ｐｔが検出される。 As shown in FIG. 14, first, the shot point image detection unit 2A detects a shot point image (shot) Pt corresponding to the scene switching time of the video content by machine learning using the CNN 20 (see FIG. 4). (Step S1; shot point image detection step). As a result, a shot point image Pt corresponding to the switching point of the video content scene is detected.
続いて、スプライス検出部２Ｂは、画像Ｐｔに強構造スプライスＳＳが有るか否かを判定する（ステップＳ２；スプライス検出ステップ）。具体的には、スプライス検出部２Ｂは、ハフ変換を行って、画像Ｐｔにおいて、強構造スプライスＳＳを検出する。 Subsequently, the splice detection unit 2B determines whether or not the strong structure splice SS is present in the image Pt (step S2; splice detection step). Specifically, the splice detection unit 2B performs Hough transformation to detect the strong structure splice SS in the image Pt.
強構造スプライスＳＳがあった場合（ステップＳ２；Ｙｅｓ）、類似度算出部３は、例えば、図７（Ａ）、図７（Ｂ）及び図７（Ｃ）に示すヒストグラムを用いて、画像Ｐｔと前後の画像Ｐｔ−１、Ｐｔ＋１との類似性を算出する（ステップＳ３；類似度算出ステップ）。 When there is a strong structure splice SS (step S2; Yes), the similarity calculation unit 3 uses, for example, histograms shown in FIGS. 7A, 7B, and 7C to display the image Pt. And the previous and subsequent images Pt−1 and Pt + 1 are calculated (step S3; similarity calculation step).
続いて、画像修復部４は、前後の画像Ｐｔ−１、Ｐｔ＋１のうち、類似性の大きい画像との部分的な差し替えを行う（ステップＳ４；画像修復ステップ）。すなわち、画像修復部４は、図８（Ａ）及び図８（Ｂ）に示すように、画像ＰｔにおけるスプライスＳが存在する部分画像ＰＩを、類似性の高い画像Ｐ’の対応する部分画像ＰＩ’と置換することで、画像修復を行う。 Subsequently, the image restoration unit 4 partially replaces the previous and next images Pt−1 and Pt + 1 with images having high similarity (step S4; image restoration step). That is, as shown in FIGS. 8A and 8B, the image restoration unit 4 converts the partial image PI in which the splice S in the image Pt exists into the corresponding partial image PI of the image P ′ having high similarity. Perform image restoration by replacing with '.
続いて、画像修復部４は、図９に示すように、画像間動き推定法によるズレ量Δｘを算出する（ステップＳ５）。続いて、画像修復部４は、図１０（Ａ）に示すように、画像Ｐ’の部分画像ＰＩ’と、画像Ｐｔの部分画像ＰＩとのズレ量Δｘだけシフトさせる自動補正を行う（ステップＳ６）。画像修復部４は、図１０（Ｂ）に示すように、画像Ｐ’の隣接部分画像ＲＩを、画像Ｐｔの空白部分Ｑに埋め込んで、画像の埋め合わせを行う。隣接する部分画像ＲＩが空白部分Ｑとして最も近似するためである。 Subsequently, as shown in FIG. 9, the image restoration unit 4 calculates a shift amount Δx by the inter-image motion estimation method (step S5). Subsequently, as shown in FIG. 10A, the image restoration unit 4 performs automatic correction for shifting by a shift amount Δx between the partial image PI ′ of the image P ′ and the partial image PI of the image Pt (step S6). ). As shown in FIG. 10B, the image restoration unit 4 embeds the adjacent partial image RI of the image P ′ in the blank portion Q of the image Pt and performs image filling. This is because the adjacent partial image RI is most approximated as the blank portion Q.
続いて、画像修復部４は、図１１（Ａ）に示すように、修復された画像を表示部３５（図１３参照）に表示して、部分画像ＰＩ’と部分画像ＰＩとの間にズレが有るか否かを判定可能とする（ステップＳ７）。ズレがなく（ステップＳ７；Ｎｏ）、操作部３４を用いて、その旨の操作入力が行われると、画像平滑化部６が、修復した画像に対してメディアンフィルタ（図１２参照）を用いて平滑化を行う（ステップＳ１０）。 Subsequently, as shown in FIG. 11A, the image restoration unit 4 displays the restored image on the display unit 35 (see FIG. 13), and the gap between the partial image PI ′ and the partial image PI is displayed. It is possible to determine whether or not there is (step S7). When there is no deviation (step S7; No) and an operation input to that effect is performed using the operation unit 34, the image smoothing unit 6 uses a median filter (see FIG. 12) for the restored image. Smoothing is performed (step S10).
一方、ズレが残っており（ステップＳ７；Ｙｅｓ）、操作部３４を用いて、その旨の操作入力が行われると、画像修復部４は、部分画像ＰＩ’と部分画像ＰＩとの境界部分の輝度値の差を求め、その輝度値の差によるズレ量を算出し、ズレ量が補正される（ステップＳ８）。画像修復部４は、修復された画像を表示部３５に表示して、部分画像ＰＩ’と部分画像ＰＩとの間にズレが有るか否かを判定可能とする（ステップＳ９）。そして、ズレがあると判定される限り（ステップＳ９；Ｙｅｓ）、操作部３４の操作入力の下で、画像修復部４は、ステップＳ８とステップＳ９とを繰り返し、ズレの補正を行う。 On the other hand, when the deviation remains (step S7; Yes) and an operation input to that effect is performed using the operation unit 34, the image restoration unit 4 detects the boundary portion between the partial image PI ′ and the partial image PI. A difference in luminance value is obtained, a deviation amount due to the difference in luminance value is calculated, and the deviation amount is corrected (step S8). The image restoration unit 4 displays the restored image on the display unit 35, and can determine whether or not there is a difference between the partial image PI 'and the partial image PI (step S9). As long as it is determined that there is a deviation (step S9; Yes), the image restoration unit 4 repeats steps S8 and S9 under the operation input of the operation unit 34, and corrects the deviation.
ズレがないと判定されると（ステップＳ９；Ｎｏ）、画像平滑化部６は、修復した画像に対してメディアンフィルタ（図１２参照）を用いて平滑化を行う（ステップＳ１０）。 If it is determined that there is no deviation (step S9; No), the image smoothing unit 6 smoothes the repaired image using a median filter (see FIG. 12) (step S10).
その後、動画生成部７は、修復された画像Ｐ１〜ＰＮに基づいて、動画を生成する（ステップＳ１１）。 Thereafter, the moving image generation unit 7 generates a moving image based on the repaired images P1 to PN (step S11).
一方、強構造スプライスＳＳが検出されなかった場合（ステップＳ２；Ｎｏ）、スプライス検出部２Ｂは、画像の二値化（白画素又は黒画素への変換）を行う（ステップＳ２０）。続いて、スプライス検出部２Ｂは、図６（Ａ）又は図６（Ｂ）に示すような白画素プロフィールを生成する（ステップＳ２１）。続いて、スプライス検出部２Ｂは、弱構造スプライスＳＷが有るか否かを判定する（ステップＳ２２）。図６（Ｄ）に示すように、白画素プロフィールにおいて、閾値を超えるか否かにより、弱構造スプライスＳＷがあるか否かが判定される。弱構造スプライスＳＷがなければ（ステップＳ２２；Ｎｏ）、動画を生成して（ステップＳ１１）、処理を終了する。 On the other hand, when the strong structure splice SS is not detected (step S2; No), the splice detection unit 2B performs binarization (conversion to white pixels or black pixels) (step S20). Subsequently, the splice detection unit 2B generates a white pixel profile as shown in FIG. 6A or 6B (step S21). Subsequently, the splice detection unit 2B determines whether or not there is a weak structure splice SW (step S22). As shown in FIG. 6D, whether or not there is a weak structure splice SW is determined based on whether or not the threshold value is exceeded in the white pixel profile. If there is no weak structure splice SW (step S22; No), a moving image is generated (step S11), and the process is terminated.
弱構造スプライスＳＷが有る場合（ステップＳ２２；Ｙｅｓ）、前後の画像との類似性算出（ステップＳ３）、類似度の大きい画像との部分的な差し替え（ステップＳ４）、画像間動き推定法によるズレ量の算出（ステップＳ５）、ズレ量による自動補正（ステップＳ６）が行われ、ステップＳ７〜ステップＳ９におけるインタラクティブ修復が行われる。その後、画像平滑化部６は、修復した画像に対してメディアンフィルタを用いて平滑化を行い（ステップＳ１０）、動画生成部７が、縦キズが除去された画像で、動画を生成する（ステップＳ１１）。 When there is a weak structure splice SW (step S22; Yes), similarity calculation with previous and subsequent images (step S3), partial replacement with an image having a high degree of similarity (step S4), and displacement by an inter-image motion estimation method The amount is calculated (step S5), automatic correction based on the amount of deviation (step S6) is performed, and interactive repair in steps S7 to S9 is performed. Thereafter, the image smoothing unit 6 performs smoothing on the repaired image using a median filter (step S10), and the moving image generation unit 7 generates a moving image with the image from which vertical scratches have been removed (step S10). S11).
なお、本実施の形態に係る映像修復システム１を用いて映像を修復したところ、強構造スプライスＳＳ及び弱構造スプライスＳＷの自動検出率は１００％となった。特に、ショット点画像の検出にＣＮＮ２０を用いた場合には、弱構造スプライスＳＷの検出率は、８１％から１００％に向上した。 When the video was repaired using the video restoration system 1 according to the present embodiment, the automatic detection rate of the strong structure splice SS and the weak structure splice SW was 100%. In particular, when CNN20 was used for detection of shot point images, the detection rate of weak structure splice SW was improved from 81% to 100%.
以上詳細に説明したように、本実施の形態によれば、映像フィルムの動画に残るスプライスＳを自動的に検出し、自動的に修復することができる。これにより、映像フィルムの修復作業を各段に効率化することができる。 As described above in detail, according to the present embodiment, the splice S remaining in the moving image of the video film can be automatically detected and automatically repaired. Thereby, the restoration work of the video film can be made efficient at each stage.
なお、上記実施の形態では、畳み込みニューラルネットワークを用いた機械学習により、映像コンテンツのシーンの切り替わり時点を検出し、その時点の画像を対象としてスプライスＳを検出した。このようにすれば、スプライスＳを検出するショット点画像Ｐｔを正確に絞りこむことができるので、検出に要する時間を短縮することができる。しかしながら、本発明はこれには限られない。すべての画像ＰｔについてスプライスＳを検出するようにしてもよい。 In the above embodiment, the scene switching time of the video content is detected by machine learning using a convolutional neural network, and the splice S is detected for the image at that time. In this way, since the shot point image Pt for detecting the splice S can be accurately narrowed down, the time required for detection can be shortened. However, the present invention is not limited to this. The splice S may be detected for all the images Pt.
また、本実施の形態によれば、スプライスＳのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスＳＷを検出して修復することができる。このようにすれば、スプライスＳがより確実に消去された映像を修復することができる。 Further, according to the present embodiment, the splice S cannot be recognized as a clear straight line, but the weak structure splice SW recognized as a linear flaw as a whole can be detected and repaired. In this way, it is possible to restore an image from which the splice S has been erased more reliably.
また、上記実施の形態では、動画における物体の動きに基づく前後の画像Ｐｔ、Ｐ’の水平方向のズレ量を検出し、そのズレ量Δｘに応じて部分画像ＰＩ’をずらして置換する。これにより、ズレのない画像修復が可能となる。 Further, in the above-described embodiment, the horizontal shift amount of the previous and next images Pt and P ′ based on the motion of the object in the moving image is detected, and the partial image PI ′ is displaced and replaced according to the shift amount Δx. Thereby, it is possible to restore the image without deviation.
そして、部分画像ＰＩ’をずらして置換したことにより発生する空白部分Ｑには、図１０（Ｂ）に示すように、その部分に隣接する部分画像ＲＩを埋め込む。これにより、違和感のない自然な画像修復が可能となる。 Then, as shown in FIG. 10B, the partial image RI adjacent to the portion is embedded in the blank portion Q generated by shifting and replacing the partial image PI ′. Thereby, natural image restoration without a sense of incongruity becomes possible.
また、本実施の形態によれば、修復されたショット点画像Ｐｔを表示し、横方向のズレが残留しているか確認することができ、ズレが確認されれば、インタラクティブにそれを修復することができる。これにより、わずかな横方向のズレも補正することができる。 In addition, according to the present embodiment, the repaired shot point image Pt can be displayed, and it can be confirmed whether or not the lateral displacement remains. If the displacement is confirmed, it can be repaired interactively. Can do. As a result, a slight lateral shift can be corrected.
また、上記実施の形態によれば、上述のような部分画像ＰＩ’の置換部分周辺の平滑化を行っているので、画像Ｐｔの一部を置換しつつ、違和感のない画像修復が可能となる。 Further, according to the above-described embodiment, since the periphery of the replacement portion of the partial image PI ′ is smoothed as described above, it is possible to perform image restoration without feeling uncomfortable while replacing a part of the image Pt. .
また、上記実施の形態では、スプライスＳの検出にハフ変換を用い、部分画像の動き検出（ズレ量検出）に画像間動き推定法を用い、画像の平滑化にメディアンフィルタ等を用いたが、本発明はこれには限られない。これらの方法とは他の方法で、スプライスＳの検出、部分画像の動き検出（ズレ量検出）、画像の平滑化が可能であれば、その方法を適用することができる。 In the above embodiment, the Hough transform is used to detect the splice S, the inter-image motion estimation method is used to detect the motion of the partial image (deviation amount detection), and the median filter or the like is used to smooth the image. The present invention is not limited to this. These methods can be applied as long as they can detect the splice S, detect the motion of the partial image (detect the shift amount), and smooth the image.
その他、映像修復システム１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。 In addition, the hardware configuration and software configuration of the video restoration system 1 are merely examples, and can be arbitrarily changed and modified.
制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び内部バス３０などから構成される映像修復システム１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する映像修復システム１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで映像修復システム１を構成してもよい。 The central part that performs processing of the video restoration system 1 including the control unit 31, the main storage unit 32, the external storage unit 33, the operation unit 34, the display unit 35, the internal bus 30, and the like is independent of the dedicated system It can be realized using a normal computer system. For example, a computer program for executing the above operation is stored in a computer-readable recording medium (flexible disk, CD-ROM, DVD-ROM, etc.) and distributed, and the computer program is installed in the computer. Thus, the video restoration system 1 that executes the above-described processing may be configured. Further, the video restoration system 1 may be configured by storing the computer program in a storage device included in a server device on a communication network such as the Internet and downloading the computer program from a normal computer system.
映像修復システム１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。 When the functions of the video restoration system 1 are realized by sharing of an OS (operating system) and an application program, or by cooperation between the OS and the application program, only the application program portion is stored in a recording medium or a storage device. Also good.
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。 It is also possible to superimpose a computer program on a carrier wave and distribute it via a communication network. For example, a computer program may be posted on a bulletin board (BBS, Bulletin Board System) on a communication network, and the computer program distributed via the network. The computer program may be started and executed in the same manner as other application programs under the control of the OS, so that the above-described processing may be executed.
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。 Various embodiments and modifications can be made to the present invention without departing from the broad spirit and scope of the present invention. The above-described embodiments are for explaining the present invention and do not limit the scope of the present invention. In other words, the scope of the present invention is shown not by the embodiments but by the claims. Various modifications within the scope of the claims and within the scope of the equivalent invention are considered to be within the scope of the present invention.
本発明は、フィルム動画のスプライスの修復に適用することができる。 The present invention can be applied to repair of a splicing of a film moving image.
１ 映像修復システム、２Ａ ショット点画像検出部、２Ｂ スプライス検出部、３ 類似度算出部、４ 画像修復部、６ 画像平滑化部、７ 動画生成部、１０ データ記憶部、２０ ＣＮＮ（畳み込みニューラルネットワーク）、３０ 内部バス、３１ 制御部、３２ 主記憶部、３３ 外部記憶部、３４ 操作部、３５ 表示部、３９ プログラム、Ｓ スプライス、ＳＳ 強構造スプライス、ＳＷ 弱構造スプライス DESCRIPTION OF SYMBOLS 1 Image restoration system, 2A shot point image detection part, 2B splice detection part, 3 similarity calculation part, 4 image restoration part, 6 image smoothing part, 7 moving image production | generation part, 10 data storage part, 20 CNN (convolution neural network ), 30 Internal bus, 31 Control section, 32 Main storage section, 33 External storage section, 34 Operation section, 35 Display section, 39 Program, S splice, SS Strong structure splice, SW Weak structure splice
Claims (11)
畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出部と、
前記ショット点画像検出部で検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出部と、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部と、
を備える映像修復システム。 A video repair system that repairs videos,
By machine learning using a convolutional neural network, a shot point image detection unit that detects a shot point image corresponding to a scene switching time among a series of images constituting the moving image,
From the shot point image detected by the shot point image detection unit, a splice detection unit that detects a splice that is a linear scratch extending in the horizontal direction;
A similarity calculation unit for calculating the similarity between the shot point image in which the splice is detected by the splice detection unit and images before and after the shot point image;
A partial image corresponding to a portion where the splice appears is extracted from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is extracted from the corresponding shot point image. An image restoration unit that replaces the partial image and erases the splice contained in the shot point image;
Video restoration system with
ハフ変換により、前記スプライスのうち、一直線として認識される直線状のキズである強構造スプライスを検出する、
請求項１に記載の映像修復システム。 The splice detector is
By the Hough transform, a strong structural splice that is a linear scratch recognized as a straight line among the splices is detected.
The video restoration system according to claim 1.
前記強構造スプライスが検出されなかったショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、
前記二値化画像における水平方向の白画素の合計数に基づいて、前記スプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出する、
請求項２に記載の映像修復システム。 The splice detector is
Each pixel of the shot point image in which the strong structure splice was not detected is binarized into either a white pixel or a black pixel to generate a binarized image,
Based on the total number of horizontal white pixels in the binarized image, a weak structural splice that cannot be recognized as a clear straight line among the splices but is recognized as a linear flaw as a whole is detected.
The video restoration system according to claim 2.
前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出部と、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部と、
を備える映像修復システム。 A video repair system that repairs videos,
The binarized image is generated by binarizing each pixel of the shot point image corresponding to the scene switching time among the series of images constituting the moving image into either a white pixel or a black pixel, and Weak structure that cannot be recognized as a clear straight line among splices that are linear scratches extending in the horizontal direction, but is recognized as a linear scratch as a whole, based on the total number of horizontal white pixels in the digitized image A splice detector for detecting splices;
A similarity calculation unit for calculating the similarity between the shot point image in which the splice is detected by the splice detection unit and images before and after the shot point image;
A partial image corresponding to a portion where the splice appears is extracted from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is extracted from the corresponding shot point image. An image restoration unit that replaces the partial image and erases the splice contained in the shot point image;
Video restoration system with
画像間動き推定法を用いて、前記ショット点画像と前記類似度が高い方の画像との水平方向のズレ量を検出し、
前記類似度が高い方の画像の部分画像を、水平方向に検出したズレ量だけずらして、前記ショット点画像の部分画像と置換する、
ことを特徴とする請求項１から４のいずれか一項に記載の映像修復システム。 The image restoration unit
Using an inter-image motion estimation method, a horizontal shift amount between the shot point image and the image with the higher similarity is detected,
The partial image of the image with the higher similarity is shifted by the amount of deviation detected in the horizontal direction and replaced with the partial image of the shot point image.
The video restoration system according to any one of claims 1 to 4, wherein
前記部分画像が置換されたショット点画像を表示し、その画像についてズレがある旨の操作入力があった場合に、
前記ショット点画像における前記部分画像と他の部分との境界線の上下の輝度差が最小となるように、前記ショット点画像に対して前記部分画像を水平方向に検出したズレ量だけずらす、
請求項５に記載の映像修復システム。 The image restoration unit
When a shot point image in which the partial image is replaced is displayed and there is an operation input indicating that there is a shift in the image,
The partial image is shifted by the amount of deviation detected in the horizontal direction with respect to the shot point image so that the luminance difference above and below the boundary line between the partial image and the other portion in the shot point image is minimized.
The video restoration system according to claim 5.
請求項１から６のいずれか一項に記載の映像修復システム。 An image smoothing unit that performs smoothing around the partial image in the shot point image in which the partial image is replaced;
The video restoration system according to any one of claims 1 to 6.
コンピュータが、畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出ステップと、
コンピュータが、前記ショット点画像検出ステップで検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出ステップと、
コンピュータが、前記スプライス検出ステップでスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出ステップと、
コンピュータが、前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復ステップと、
を含む映像修復方法。 A video restoration method for repairing a video,
A shot point image detection step in which a computer detects a shot point image corresponding to a scene switching time among a series of images constituting the moving image by machine learning using a convolutional neural network;
A splice detection step in which the computer detects a splice that is a linear scratch extending in the horizontal direction from the shot point image detected in the shot point image detection step;
A computer calculating a similarity between the shot point image in which the splice is detected in the splice detection step and a similarity between the image before and after the shot point image; and
A computer extracts a partial image corresponding to a portion where the splice appears from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is used as the corresponding shot. An image repair step of replacing the partial image of the point image and erasing the splice contained in the shot point image;
Video restoration method including
コンピュータが、前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出ステップと、
コンピュータが、前記スプライス検出ステップでスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出ステップと、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復ステップと、
を含む映像修復方法。 A video restoration method for repairing a video,
The computer binarizes each pixel of the shot point image corresponding to the scene switching time among a series of images constituting the moving image into either a white pixel or a black pixel to generate a binarized image, Based on the total number of white pixels in the horizontal direction in the binarized image, it cannot be recognized as a clear straight line among splices that are linear scratches extending in the horizontal direction, but is recognized as a linear scratch as a whole. A splice detection step for detecting weak structural splices;
A computer calculating a similarity between the shot point image in which the splice is detected in the splice detection step and a similarity between the image before and after the shot point image; and
A partial image corresponding to a portion where the splice appears is extracted from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is extracted from the corresponding shot point image. An image repairing step for replacing the partial image and erasing the splice contained in the shot point image;
Video restoration method including
畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出部、
前記ショット点画像検出部で検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出部、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部、
として機能させるプログラム。 The computer that repairs the video
A shot point image detection unit that detects a shot point image corresponding to a scene change time among a series of images constituting the moving image by machine learning using a convolutional neural network,
A splice detector that detects a splice that is a linear scratch extending in the horizontal direction from the shot point image detected by the shot point image detector;
A similarity calculation unit for calculating the similarity between the shot point image in which the splice is detected by the splice detection unit and images before and after the shot point image;
A partial image corresponding to a portion where the splice appears is extracted from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is extracted from the corresponding shot point image. An image restoration unit that replaces the partial image and erases the splice contained in the shot point image,
Program to function as.
前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出部、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部、
として機能させるプログラム。 The computer that repairs the video
The binarized image is generated by binarizing each pixel of the shot point image corresponding to the scene switching time among the series of images constituting the moving image into either a white pixel or a black pixel, and Weak structure that cannot be recognized as a clear straight line among splices that are linear scratches extending in the horizontal direction, but is recognized as a linear scratch as a whole, based on the total number of horizontal white pixels in the digitized image A splice detector for detecting splices,
A similarity calculation unit for calculating the similarity between the shot point image in which the splice is detected by the splice detection unit and images before and after the shot point image;
A partial image corresponding to a portion where the splice appears is extracted from an image having a higher similarity to the shot point image among the preceding and following images, and the extracted partial image is extracted from the corresponding shot point image. An image restoration unit that replaces the partial image and erases the splice contained in the shot point image,
Program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018038801A JP7001265B2 (en) | 2018-03-05 | 2018-03-05 | Video restoration system, video restoration method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018038801A JP7001265B2 (en) | 2018-03-05 | 2018-03-05 | Video restoration system, video restoration method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019153966A true JP2019153966A (en) | 2019-09-12 |
| JP7001265B2 JP7001265B2 (en) | 2022-01-19 |
Family
ID=67947176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018038801A Active JP7001265B2 (en) | 2018-03-05 | 2018-03-05 | Video restoration system, video restoration method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7001265B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113544700A (en) * | 2020-12-31 | 2021-10-22 | 商汤国际私人有限公司 | Neural network training method and device, and associated object detection method and device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000074846A (en) | 1998-08-31 | 2000-03-14 | Canon Inc | Picture image processing device and its method |
| JP4426930B2 (en) | 2004-01-09 | 2010-03-03 | 日本放送協会 | Image restoration device, image restoration method, and image restoration program |
| US7620241B2 (en) | 2004-11-30 | 2009-11-17 | Hewlett-Packard Development Company, L.P. | Artifact reduction in a digital video |
| JP2009130561A (en) | 2007-11-22 | 2009-06-11 | Sony Corp | Imaging apparatus, control method of imaging apparatus and control program of imaging apparatus |
| JP6775146B2 (en) | 2016-12-06 | 2020-10-28 | 国立大学法人 鹿児島大学 | Video restoration system, video restoration method and program |
-
2018
- 2018-03-05 JP JP2018038801A patent/JP7001265B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113544700A (en) * | 2020-12-31 | 2021-10-22 | 商汤国际私人有限公司 | Neural network training method and device, and associated object detection method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7001265B2 (en) | 2022-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1901228B1 (en) | Apparatus, method and program for image matching | |
| CN109509146B (en) | Image splicing method and device and storage medium | |
| US20050286757A1 (en) | Color segmentation-based stereo 3D reconstruction system and process | |
| US9082039B2 (en) | Method and apparatus for recognizing a character based on a photographed image | |
| US9953422B2 (en) | Selective local registration based on registration error | |
| CN110660033B (en) | Subtitle removing method and device and electronic equipment | |
| CN114731408A (en) | System, device and method for video frame interpolation using structured neural network | |
| US11710315B2 (en) | Method, electronic apparatus and storage medium for detecting a static logo of a video | |
| CN111860207B (en) | Multi-scale remote sensing image ground object classification method, system, device and medium | |
| US11615520B2 (en) | Information processing apparatus, information processing method of information processing apparatus, and storage medium | |
| WO2014129018A1 (en) | Character recognition device, character recognition method, and recording medium | |
| JP5437414B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| US20140369552A1 (en) | Method of Establishing Adjustable-Block Background Model for Detecting Real-Time Image Object | |
| KR102225753B1 (en) | Deep learning-based panorama image quality evaluation method and device | |
| CN111179159A (en) | Method and device for eliminating target image in video, electronic equipment and storage medium | |
| JPWO2012137511A1 (en) | Image processing apparatus and image processing method | |
| US9392185B1 (en) | Apparatus and method for image mosiacking under low-light conditions | |
| JP2006279442A (en) | Image processing method, apparatus, and program | |
| JP7001265B2 (en) | Video restoration system, video restoration method and program | |
| US20220254169A1 (en) | Road surface inspection apparatus, road surface inspection method, and program | |
| US9230309B2 (en) | Image processing apparatus and image processing method with image inpainting | |
| JP6775146B2 (en) | Video restoration system, video restoration method and program | |
| US20230368324A1 (en) | Method and apparatus of embedding image in video, and method and apparatus of acquiring plane prediction model | |
| JP5873099B2 (en) | Method and apparatus for automatically repairing film | |
| JP2009277001A (en) | Image processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210119 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210119 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210514 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210514 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7001265 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |