JP2017058929A - Image information acquisition method, image evaluation method, image information acquisition device, image evaluation device, and image processing program - Google Patents

Image information acquisition method, image evaluation method, image information acquisition device, image evaluation device, and image processing program Download PDF

Info

Publication number
JP2017058929A
JP2017058929A JP2015182896A JP2015182896A JP2017058929A JP 2017058929 A JP2017058929 A JP 2017058929A JP 2015182896 A JP2015182896 A JP 2015182896A JP 2015182896 A JP2015182896 A JP 2015182896A JP 2017058929 A JP2017058929 A JP 2017058929A
Authority
JP
Japan
Prior art keywords
image
feature amount
pixel
input
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015182896A
Other languages
Japanese (ja)
Other versions
JP6404794B2 (en
Inventor
麻理子 五十川
Mariko Isogawa
麻理子 五十川
弾 三上
Dan Mikami
弾 三上
康輔 高橋
Kosuke Takahashi
康輔 高橋
明 小島
Akira Kojima
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015182896A priority Critical patent/JP6404794B2/en
Publication of JP2017058929A publication Critical patent/JP2017058929A/en
Application granted granted Critical
Publication of JP6404794B2 publication Critical patent/JP6404794B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image information acquisition method, an image evaluation method, an image information acquisition device, an image evaluation device and an image processing program, for precisely evaluating picture quality of an image in which repair process is performed on a missing region.SOLUTION: An image information acquisition method includes a feature amount extracting step of extracting a feature amount from a pixel corresponding to a profile of a missing region, in an input image. The feature amount includes at least one of a first feature amount that is obtained based on a color of a pixel on the profile and a color of a pixel that is not included in the missing region positioned in a periphery of the pixel corresponding to the profile, a second feature amount that is obtained based on an edge intensity of the pixel on the profile and an edge intensity of the pixel that is not included in the missing region positioned in the periphery of the pixel corresponding to the profile, and a third feature amount that is obtained based on an edge orientation at the pixel on the profile and an edge orientation at the pixel positioned in the periphery of the pixel corresponding to the profile, not included in the missing region.SELECTED DRAWING: Figure 6

Description

本発明は、画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラムに関する。   The present invention relates to an image information acquisition method, an image evaluation method, an image information acquisition device, an image evaluation device, and an image processing program.

写真などの静止画像や映像などの動画像を撮影する際に、撮影したい被写体に被さっている不要なものを撮影してしまうことがある。被写体に被さった不要なものを含んで撮影された静止画像や動画像は、視聴における体感品質を大きく損なってしまうおそれがあり、静止画像や動画像に含まれる不要なものを見た目に違和感なく除去する手法に対する需要は極めて高い。   When shooting a still image such as a photograph or a moving image such as a video, an unnecessary object covering the subject to be shot may be shot. Still images and moving images shot with unnecessary objects covered on the subject may greatly impair the quality of experience in viewing, and unnecessary images included in still images and moving images can be removed without feeling uncomfortable. The demand for this technique is extremely high.

また、自由視点映像合成と呼ばれる技術では、複数のカメラで撮影された映像群から任意の視点からの映像を合成する。このとき、オブジェクトによる遮蔽などが原因で、合成された任意の視点からの映像の一部が欠損してしまうことがある。このような欠損も映像の視聴の体感品質を大きく損なうおそれがあるため、欠損を見た目に違和感なく補完する手法に対する需要は高い。   In a technique called free viewpoint video synthesis, video from an arbitrary viewpoint is synthesized from a group of videos shot by a plurality of cameras. At this time, part of the synthesized video from an arbitrary viewpoint may be lost due to occlusion by the object. Such deficiencies may greatly impair the quality of viewing the video, so there is a great demand for a method that complements the deficiencies without any discomfort.

以下、静止画像や動画像における、不要な物の映り込みを除去したい領域及び遮蔽などで観測されていない領域などの補完したい領域を欠損領域という。また、欠損領域がマスクで与えられた画像を入力して、入力した画像において欠損領域が、欠損領域以外の領域(以下、「欠損周辺領域」という。)との見た目に違和感なく補完された画像を取得する処理をコンプリーション(Completion)処理という。   Hereinafter, regions that are desired to be complemented, such as regions that are desired to remove reflections of unnecessary objects and regions that are not observed due to occlusion, in still images and moving images are referred to as missing regions. In addition, an image in which the defect area is given by a mask is input, and the defect area in the input image is complemented without a sense of incongruity with the area other than the defect area (hereinafter referred to as “defect peripheral area”). The process of acquiring the process is referred to as a completion process.

欠損領域の位置や大きさを示すマスクは、静止画像や動画像に拘わらず手動又は公知の技術によって与えられるものとする。マスクを取得する公知の技術としては、例えば非特許文献1に記載の技術がある。なお、マスクとは、画像処理の対象となる画像において、当該画像処理を行う領域であるか否かを示す情報である。   The mask indicating the position and size of the defect area is given manually or by a known technique regardless of whether it is a still image or a moving image. As a known technique for acquiring a mask, for example, there is a technique described in Non-Patent Document 1. Note that a mask is information indicating whether or not an image to be subjected to image processing is an area on which image processing is to be performed.

図10は、欠損領域を表すマスクの例を示す図である。図10(A)は、マスクを二値の画像で与える一例である。図10(A)に示すマスク画像71は、画像処理を施す対象の原画像である画像70とは別に与えられる。このマスク画像71は、ドットパターンを付与した領域71aに示す領域に対して画像処理を行うことを示し、白抜きの領域71bに示す領域に対して画像処理を行わないことを示している。   FIG. 10 is a diagram illustrating an example of a mask representing a defective region. FIG. 10A shows an example in which a mask is given as a binary image. A mask image 71 shown in FIG. 10A is given separately from the image 70 that is an original image to be subjected to image processing. The mask image 71 indicates that image processing is performed on the region indicated by the region 71a to which the dot pattern is added, and indicates that image processing is not performed on the region indicated by the white region 71b.

図10(B)は、画像処理を施す対象の画像70にドットパターンで示すマスク72を重畳することで、マスク領域を特定する一例である。図10(B)に示すマスク72は、マスク72で示す領域に対して画像処理を行うことを示し、他の領域に対して画像処理を行わないことを示している。図10(B)のようにマスク72を画像70に重畳する場合には、マスク72は、他の領域との区別が容易な色やパターンなどで与えられる。他の領域との区別が容易な色とは、例えば画像70内で使用されていない色を用いる。   FIG. 10B is an example of specifying a mask region by superimposing a mask 72 indicated by a dot pattern on an image 70 to be subjected to image processing. A mask 72 shown in FIG. 10B indicates that image processing is performed on the area indicated by the mask 72, and that image processing is not performed on other areas. When the mask 72 is superimposed on the image 70 as shown in FIG. 10B, the mask 72 is given in a color or pattern that can be easily distinguished from other regions. For example, a color that is not used in the image 70 is used as the color that can be easily distinguished from other regions.

コンプリーション処理の手法の一つにパッチ単位で逐次修復を行う手法がある。パッチ単位で逐次修復を行うコンプリーション処理は以下の手順によって行われる。
(手順1)コンプリーション処理の対象となる画像内の領域から、欠損領域と欠損周辺領域とを共に含む小領域(以下、「コンプリーション対象パッチ」という。)を選択する。欠損領域の輪郭上に存在し、かつ、周辺のエッジの強いパッチを選定する(例えば、非特許文献2参照)。
(手順2)手順1で選択されたコンプリーション対象パッチの欠損周辺領域の画素を基に、類似パッチを探索する。探索範囲としては、同一画像又は動画像内やストレージ上に保存されている静止画像や動画像である。
(手順3)手順2で探索した類似パッチを、手順1で選択されたコンプリーション対象パッチにコピーする。
以上の手順1〜3に示した処理が、コンプリーション対象領域であるマスクで示される欠損領域が無くなるまで繰り返し行なわれる。
One of the completion processing methods is a method of performing sequential repairs in units of patches. Completion processing for performing sequential repair in units of patches is performed according to the following procedure.
(Procedure 1) A small region (hereinafter referred to as a “completion target patch”) including both a defective region and a defective peripheral region is selected from the regions in the image to be subjected to the completion process. A patch that exists on the outline of the defect region and has a strong peripheral edge is selected (for example, see Non-Patent Document 2).
(Procedure 2) A similar patch is searched based on the pixels in the defect peripheral region of the completion target patch selected in Procedure 1. The search range is a still image or a moving image stored in the same image or moving image or on a storage.
(Procedure 3) The similar patch searched in Procedure 2 is copied to the completion target patch selected in Procedure 1.
The processes shown in steps 1 to 3 are repeated until there is no missing area indicated by the mask that is the completion target area.

上述したコンプリーション処理は、選定する手法やパラメータによって結果として出力される画像が変化する。よって、コンプリーション処理において、予め最適な手法やパラメータを設定するためには、コンプリーション処理後の画像の画質を適切に評価して、画質の良い画像を特定する技術が必要である。画像データに対して、その見た目の自然さを評価する方法としてSSEQ(Spatial-Spectral Entropy-based Quality)が知られている(例えば、非特許文献3参照)。そして、コンプリーション処理を行った画像に対して、SSEQを用いて画質の評価を行う構成が考えられる。   In the above-described completion processing, an image output as a result changes depending on a method and parameters to be selected. Therefore, in order to set an optimal method and parameters in advance in the completion process, a technique for appropriately evaluating the image quality of the image after the completion process and specifying an image with a good image quality is necessary. SSEQ (Spatial-Spectral Entropy-based Quality) is known as a method for evaluating the naturalness of the appearance of image data (see, for example, Non-Patent Document 3). And the structure which evaluates an image quality using SSEQ with respect to the image which performed the completion process can be considered.

Xue Bai, Jue Wang, David Simons and Guillermo Sapiro, "Video SnapCut: Robust Video Object Cutout Using Localized Classifiers", ACM Transactions on Graphics(TOG)- Proceedings of ACM SIGGRAPH 2009, Volume 28, Issue 3, August 2009, Article No.70Xue Bai, Jue Wang, David Simons and Guillermo Sapiro, "Video SnapCut: Robust Video Object Cutout Using Localized Classifiers", ACM Transactions on Graphics (TOG)-Proceedings of ACM SIGGRAPH 2009, Volume 28, Issue 3, August 2009, Article No .70 A. Criminisi, P. Perez, and K. Toyama, “Region Filling and Object Removal by Exemplar-Based Image Inpainting”, IEEE TRANSACTIONS ON IMAGEPROCESSING, VOL. 13, NO. 9, pp. 1200-1212, Sept. 2004.A. Criminisi, P. Perez, and K. Toyama, “Region Filling and Object Removal by Exemplar-Based Image Inpainting”, IEEE TRANSACTIONS ON IMAGEPROCESSING, VOL. 13, NO. 9, pp. 1200-1212, Sept. 2004. Lixiong Liu, Bao Liu, Hua Huang, and Alan Conrad Bovik, "No reference image quality assessment based on spatial and spectral entropies", Sig. Proc.: Image Comm., Vol. 29, No. 8, pp. 856-863, 2014.Lixiong Liu, Bao Liu, Hua Huang, and Alan Conrad Bovik, "No reference image quality assessment based on spatial and spectral entropies", Sig. Proc .: Image Comm., Vol. 29, No. 8, pp. 856-863 , 2014.

しかしながら、非特許文献3に記載されたSSEQによる画像評価は、コンプリーション処理によって得られた画像の画質の違いを検出する精度が低いという問題がある。そのため、画質の良い画像を特定するには、人間が手動でコンプリーション処理後の画像を観測して選択する必要があり、このような作業には時間と労力を必要とし、かつ、人による画質の判断のバラツキを含むものであった。   However, the image evaluation by SSEQ described in Non-Patent Document 3 has a problem that the accuracy of detecting the difference in image quality of images obtained by the completion processing is low. Therefore, in order to identify an image with good image quality, it is necessary for a human to manually observe and select an image after completion processing, and such operations require time and effort, and human image quality This included variations in judgment.

上記事情に鑑み、本発明は、欠損領域に対して修復処理を行った画像に対して、その画質を精度よく評価するための画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラムの提供を目的としている。   In view of the above circumstances, the present invention provides an image information acquisition method, an image evaluation method, an image information acquisition device, and an image evaluation device for accurately evaluating the image quality of an image that has been repaired for a defective region. And an image processing program.

本発明の一態様は、欠損領域を修復した画像を入力する第1入力ステップと、前記第1入力ステップにおいて入力された前記画像に対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する特徴量抽出ステップと、を有し、前記特徴量は、前記輪郭上にある画素の色と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素の色とに基づいて求める第1の特徴量と、前記輪郭上にある画素のエッジ強度と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素のエッジ強度とに基づいて求める第2の特徴量と、前記輪郭上にある画素におけるエッジ方向と、前記輪郭に対応する画素の周辺に位置し、かつ、前記欠損領域に含まれない画素のエッジ方向とに基づいて求める第3の特徴量とのいずれか一つを少なくとも含む画像情報取得方法である。   In one aspect of the present invention, a first input step of inputting an image in which a defective area is repaired, and a feature amount from pixels corresponding to the outline of the defective area are input to the image input in the first input step. A feature amount extracting step to extract, wherein the feature amount is a color of a pixel on the contour and a color of a pixel not included in the defective region located around a pixel corresponding to the contour. A second feature value obtained on the basis of a first feature value obtained based on the edge strength of a pixel on the contour and an edge strength of a pixel not included in the defect region located around the pixel corresponding to the contour. And a third feature obtained based on an edge direction of a pixel on the contour, and an edge direction of a pixel located around the pixel corresponding to the contour and not included in the defect region Izu with quantity Including at least image information acquisition method one or.

本発明の一態様は、前記の画像情報取得方法であって、前記輪郭上にある画素を中心とした小領域において、前記第1の特徴量は、(式1)〜(式3)に基づいて求めるものであり、前記第2の特徴量は、(式4)〜(式6)に基づいて求めるものであり、前記第3の特徴量は、前記輪郭に対応する画素における水平方向のエッジ強度及び垂直方向のエッジ強度に基づいて当該画素におけるエッジ方向を特定して、特定したエッジ方向に基づいて求めるものである。   One aspect of the present invention is the image information acquisition method, wherein the first feature amount is based on (Expression 1) to (Expression 3) in a small region centered on a pixel on the contour. The second feature value is obtained based on (Expression 4) to (Expression 6), and the third feature value is an edge in a horizontal direction in a pixel corresponding to the contour. The edge direction in the pixel is specified based on the intensity and the edge strength in the vertical direction, and obtained based on the specified edge direction.

本発明の一態様は、欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第2の画像と、前記複数の第2の画像に対する画質評価の順位である評価順位とが入力される第2入力ステップと、前記第2入力ステップにおいて入力された複数の前記第2の画像に対して、前記画像情報取得方法を適用して前記特徴量を抽出する抽出ステップと、前記抽出ステップにおいて抽出した前記特徴量と、前記第2入力ステップにおいて入力された前記評価順位との対応関係を学習する学習ステップと、を有する画像評価方法である。   According to one aspect of the present invention, a plurality of second images restored by a plurality of restoration methods with respect to a first image having a defective area, and an evaluation rank that is a rank of image quality evaluation for the plurality of second images, A second input step in which is inputted, an extraction step of extracting the feature amount by applying the image information acquisition method to the plurality of second images inputted in the second input step, The image evaluation method includes a learning step of learning a correspondence relationship between the feature amount extracted in the extraction step and the evaluation rank input in the second input step.

本発明の一態様は、欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第3の画像が入力される第3入力ステップと、前記第3入力ステップにおいて入力された複数の前記第3の画像に対して、前記画像情報取得方法を適用して前記特徴量を抽出する抽出ステップと、前記抽出ステップにおいて抽出した前記特徴量に基づいて複数の前記第3の画像の中から画質評価の最も高い第4の画像を選択する画像選択ステップと、を有する画像評価方法である。   According to one aspect of the present invention, a third input step in which a plurality of third images repaired by a plurality of repair methods are input to the first image having a defect region is input in the third input step. An extraction step of extracting the feature amount by applying the image information acquisition method to a plurality of the third images, and a plurality of the third images based on the feature amount extracted in the extraction step And an image selection step of selecting a fourth image having the highest image quality evaluation from among them.

本発明の一態様は、欠損領域を修復した画像が入力される第1入力部と、前記第1入力部に入力された前記欠損領域を含む画像に対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する特徴量抽出部と、を備え、前記特徴量は、前記輪郭上にある画素の色と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素の色とに基づいて求める第1の特徴量と、前記輪郭上にある画素のエッジ強度と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素のエッジ強度とに基づいて求める第2の特徴量と、前記輪郭上にある画素におけるエッジ方向と、前記輪郭に対応する画素の周辺に位置し、かつ、前記欠損領域に含まれない画素のエッジ方向とに基づいて求める第3の特徴量とのいずれか一つを少なくとも含む画像情報取得装置である。   One aspect of the present invention corresponds to the outline of the defect region with respect to the first input unit to which an image in which the defect region is repaired is input and the image including the defect region input to the first input unit. A feature amount extraction unit that extracts a feature amount from a pixel, and the feature amount includes a color of a pixel on the contour and a pixel that is not included in the defect region located around the pixel corresponding to the contour Based on the first feature amount obtained based on the color of the pixel, the edge strength of the pixel on the contour, and the edge strength of the pixel not included in the defective region located around the pixel corresponding to the contour And the edge direction of a pixel on the contour, and the edge direction of a pixel located around the pixel corresponding to the contour and not included in the defective region Any one of the third feature values An image information acquisition device including at least.

本発明の一態様は、前記の画像情報取得装置であって、前記輪郭上にある画素を中心とした小領域において、前記第1の特徴量は、(式1)〜(式3)に基づいて求めるものであり、前記第2の特徴量は、(式4)〜(式6)に基づいて求めるものであり、前記第3の特徴量は、前記輪郭に対応する画素における水平方向のエッジ強度及び垂直方向のエッジ強度に基づいて当該画素におけるエッジ方向を特定して、特定したエッジ方向に基づいて求めるものである。   One aspect of the present invention is the image information acquisition device according to the first aspect, wherein the first feature amount is based on (Expression 1) to (Expression 3) in a small region centered on a pixel on the contour. The second feature value is obtained based on (Expression 4) to (Expression 6), and the third feature value is an edge in a horizontal direction in a pixel corresponding to the contour. The edge direction in the pixel is specified based on the intensity and the edge strength in the vertical direction, and obtained based on the specified edge direction.

本発明の一態様は、欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第2の画像と、前記複数の第2の画像に対する画質評価の順位である評価順位とが入力される第2入力部と、前記第2入力部に入力された複数の前記第2の画像を入力して前記特徴量を抽出する前記画像情報取得装置と、抽出した前記特徴量と、前記第2入力部に入力された前記評価順位との対応関係を学習する学習処理部と、を備える画像評価装置である。   According to one aspect of the present invention, a plurality of second images restored by a plurality of restoration methods with respect to a first image having a defective area, and an evaluation rank that is a rank of image quality evaluation for the plurality of second images, Is input, the image information acquisition device that inputs the plurality of second images input to the second input unit and extracts the feature amount, and the extracted feature amount, An image evaluation apparatus comprising: a learning processing unit that learns a correspondence relationship with the evaluation rank input to the second input unit.

本発明の一態様は、欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第3の画像が入力される第3入力部と、前記第3入力部に入力された複数の前記第3の画像を入力して、前記特徴量を抽出する前記画像情報取得装置と、抽出した前記特徴量に基づいて複数の前記第3の画像の中から画質評価の最も高い第4の画像を選択する画像選択部と、を備える画像評価装置である。   According to one aspect of the present invention, a third input unit that inputs a plurality of third images that have been repaired by a plurality of repair methods with respect to the first image that has a defect region, and the third input unit that is input The image information acquisition device for inputting the plurality of third images and extracting the feature amount, and the fourth image having the highest image quality evaluation among the plurality of third images based on the extracted feature amount And an image selection unit that selects the image.

本発明の一態様は、前記画像情報取得装置又は前記画像評価装置における各機能部を、コンピュータにより実現させるための画像処理プログラムである。   One aspect of the present invention is an image processing program for causing each functional unit in the image information acquisition apparatus or the image evaluation apparatus to be realized by a computer.

本発明により、欠損領域に対して修復処理を行った画像に対して、その画質を精度よく評価することができる。   According to the present invention, it is possible to accurately evaluate the image quality of an image obtained by performing repair processing on a defective area.

第1の実施形態における画像処理システムの構成例を示す図である。It is a figure which shows the structural example of the image processing system in 1st Embodiment. 第1の実施形態における修復情報格納部102に格納されるパラメータリストの具体例を示す図である。It is a figure which shows the specific example of the parameter list stored in the repair information storage part 102 in 1st Embodiment. 欠損領域Dの輪郭に着目して特徴量を算出する具体例を示す図である。It is a figure which shows the specific example which calculates the feature-value paying attention to the outline of the defect | deletion area | region D. FIG. 画素pを中心とするエッジ方向を特定する情報の具体例を示す図である。It is a figure which shows the specific example of the information which specifies the edge direction centering on the pixel p. 学習データ24の具体例を示す図である。It is a figure which shows the specific example of the learning data. 第1の実施形態における画像評価装置10の動作を示すフロー図である。It is a flowchart which shows operation | movement of the image evaluation apparatus 10 in 1st Embodiment. 第1の実施形態における学習モデル取得装置20の動作を示すフロー図である。It is a flowchart which shows operation | movement of the learning model acquisition apparatus 20 in 1st Embodiment. 第2の実施形態における画像評価システム10Aの構成例を示す図である。It is a figure which shows the structural example of 10 A of image evaluation systems in 2nd Embodiment. 第3の実施形態における学習モデル取得システム20Aの構成例を示す図である。It is a figure which shows the structural example of 20 A of learning model acquisition systems in 3rd Embodiment. 欠損領域を表すマスクの例を示す図である。It is a figure which shows the example of the mask showing a defect | deletion area | region.

以下、図面を参照して、本発明の実施形態について説明する。
(第1の実施形態)
図1は、第1の実施形態における画像処理システムの構成例を示す図である。図1に示すように、画像処理システム1は、入力された画像に対して複数種類の修復処理を行い複数の修復後画像を生成し、複数の修復後画像の画質を評価し、画質の評価の高い修復後画像を選択する画像評価装置10と、入力された学習データである画像から少なくとも一つの特徴量を抽出し、抽出した特徴量と画像の画質の評価との関係を示す学習モデルを取得する学習モデル取得装置20とを備える。
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram illustrating a configuration example of an image processing system according to the first embodiment. As shown in FIG. 1, the image processing system 1 performs a plurality of types of restoration processing on an input image to generate a plurality of restored images, evaluates the image quality of the plurality of restored images, and evaluates the image quality. An image evaluation apparatus 10 that selects a high-restored image, and a learning model that extracts at least one feature amount from an image that is input learning data and shows a relationship between the extracted feature amount and an evaluation of image quality of the image A learning model acquisition device 20 for acquisition.

<画像評価装置10の構成について>
画像評価装置10の構成について説明する。
画像評価装置10は、入力部101と、修復情報格納部102と、修復処理部103、特徴量抽出部104と、学習モデルDB(データベース)105と、画像選択部106とを備える。入力部101は、コンプリーション処理(修復処理)を施す対象の画像Iinと、欠損領域を指定するマスク画像Imask又はマスク領域を表す色情報Cとが入力される。画像Iinとして入力される画像は、静止画像や動画像(映像)である。入力部101は、マスク画像Imask又は色情報Cに基づいて画像Iinにおける欠損領域Dを求める。ここで、色情報CはRGB値(R=赤、G=緑、B=青)をもつ三次元ベクトルC(R、G、B)で表すことができ、例えばマゼンダの色を有する。色情報Cは、マスク領域として指定されている場合はC(R、G、B)=(255,0,255)のように表すことができる。
<Configuration of Image Evaluation Apparatus 10>
The configuration of the image evaluation apparatus 10 will be described.
The image evaluation apparatus 10 includes an input unit 101, a repair information storage unit 102, a repair processing unit 103, a feature amount extraction unit 104, a learning model DB (database) 105, and an image selection unit 106. The input unit 101 receives an image I in to be subjected to a completion process (restoration process) and a mask image I mask that specifies a missing area or color information C that represents a mask area. An image input as the image I in is a still image or a moving image (video). The input unit 101 obtains a missing area D in the image I in based on the mask image I mask or the color information C. Here, the color information C can be represented by a three-dimensional vector C (R, G, B) having RGB values (R = red, G = green, B = blue), and has, for example, a magenta color. The color information C can be expressed as C (R, G, B) = (255, 0, 255) when designated as a mask area.

入力部101における具体的な処理について、図10を用いて説明する。入力部101は、図10(A)に示した原画像である画像70が画像Iinとして入力され、かつ、欠損領域を示すマスク画像71が入力された場合は、領域71bで示された領域を欠損領域Dとして特定する。また、入力部101は、図10(B)に示した原画像である画像Iinとして画像70と、その画像70に重畳された色情報Cであるマスク72とが入力された場合は、マスク72で示された領域とそうでない領域を二値で表したマスク画像を生成し、これを欠損領域Dとして用いる。欠損領域Dは,欠損として指定されたピクセルの位置の集合{(dx1,dy1),…,(dxn,dyn)}で表しても良い。また、欠損領域Dは、画像Iinと同じ大きさの画像であって、欠損領域を1、そうでない領域を0とした2値画像としてもよい。 Specific processing in the input unit 101 will be described with reference to FIG. When the image 70 which is the original image shown in FIG. 10A is input as the image I in and the mask image 71 indicating the missing area is input, the input unit 101 displays the area indicated by the area 71b. Is identified as a defect region D. Further, the input unit 101 receives the image 70 as the image I in which is the original image shown in FIG. 10B and the mask 72 that is the color information C superimposed on the image 70. A mask image in which the area indicated by 72 and the area not shown by binary are represented by binary values is generated and used as the defect area D. The deficient area D may be represented by a set of pixel positions designated as deficient {(d x1 , d y1 ), ..., (d xn , d yn )}. Further, the defect area D may be an image having the same size as the image I in, and may be a binary image in which the defect area is 1 and the other area is 0.

修復情報格納部102は、修復手法、パッチサイズ、ピラミッド階層数などの修復パラメータがM個、リスト形式で登録される。図2は、第1の実施形態における修復情報格納部102に格納されるパラメータリストの具体例を示す図である。図2に示すように、各パラメータリストを識別するIDに関連付けて、コンプリーション処理の方法を示す修復方法と、その修復方法に用いるパラメータ1、2、…、Nとが格納されている。ここで、例えばパラメータ1は、コンプリーション対象パッチの大きさを示すパッチサイズ、パラメータ2は、類似パッチを探索する画像の解像度を段階的に変更する場合のピラミッド階層数である。   In the repair information storage unit 102, M repair parameters such as a repair method, a patch size, and the number of pyramid layers are registered in a list format. FIG. 2 is a diagram illustrating a specific example of a parameter list stored in the repair information storage unit 102 according to the first embodiment. As shown in FIG. 2, a repair method indicating a completion processing method and parameters 1, 2,..., N used for the repair method are stored in association with an ID for identifying each parameter list. Here, for example, parameter 1 is the patch size indicating the size of the completion target patch, and parameter 2 is the number of pyramid hierarchies when the resolution of an image for searching for similar patches is changed stepwise.

図2の具体例では、ID=1、2、…、Mが設定されている。すなわち、修復情報格納部102は、M種類(Mは2以上の整数)の修復情報であるパラメータリストを有している。修復情報として、ID=1に関連付けて、修復手法=A、パラメータ1=3、パラメータ2=3、…、パラメータN=Iが格納されており、ID=Mに関連付けて、修復方法=X、パラメータ1=5、パラメータ2=2、…、パラメータN=Jが格納されている。   In the specific example of FIG. 2, ID = 1, 2,..., M are set. That is, the repair information storage unit 102 has a parameter list that is repair information of M types (M is an integer of 2 or more). As repair information, repair method = A, parameter 1 = 3, parameter 2 = 3,..., Parameter N = I are stored in association with ID = 1, and repair method = X, in association with ID = M. Parameter 1 = 5, parameter 2 = 2,..., Parameter N = J are stored.

修復処理部103は、入力部101からコンプリーション対象の画像Iin及び欠損領域Dが入力され、修復情報格納部102からパラメータリストを取得する。修復処理部103は、M種類のパラメータリスト全てに対応した修復処理を行い、M枚の修復後の画像Iout_1〜Iout_Mを出力する。 The repair processing unit 103 receives the completion target image I in and the missing region D from the input unit 101, and acquires a parameter list from the repair information storage unit 102. The restoration processing unit 103 performs restoration processing corresponding to all the M types of parameter lists, and outputs M images I out — 1 to I out — M after restoration.

特徴量抽出部104は、修復処理部103から入力される修復後の画像Iout_1〜Iout_Mを入力とし、各画像Iout_1〜Iout_Mの特徴量を抽出して出力する。具体的には、特徴量抽出部104は、欠損領域Dの輪郭に対応する画素の値に基づいて、色一貫性特徴量(第1の特徴量)F、エッジ一貫性特徴量(第2の特徴量)F及びエッジ連続性特徴量(第3の特徴量)Fの3つの特徴量を抽出する。ここで、欠損領域Dの輪郭に対応する画素は、欠損領域Dの輪郭上に位置する画素の他に、欠損領域Dの輪郭上に位置する画素の周辺に位置する画素も含むものとする。 Feature quantity extracting unit 104 inputs the image I out_1 ~I OUT_M the repaired inputted from the recovery processing unit 103, and outputs the extracted feature amount of each image I out_1 ~I out_M. Specifically, the feature quantity extraction unit 104, based on the value of the pixel corresponding to the outline of the missing area D, the color consistency feature quantity (first feature quantity) F u , the edge consistency feature quantity (second features) F v and edge continuity feature quantity (third feature quantity) to extract the three feature amounts of F c of. Here, the pixels corresponding to the outline of the defect area D include pixels located around the pixels located on the outline of the defect area D in addition to the pixels located on the outline of the defect area D.

図3は、欠損領域Dの輪郭に着目して特徴量を算出する具体例を示す図である。図3において、斜線部分で示す領域Ωは、欠損領域Dを示し、その欠損領域Dの輪郭をδΩで表す。輪郭δΩ上にある画素pを中心とした3×3のサイズのパッチをP(p)で表す。   FIG. 3 is a diagram illustrating a specific example in which the feature amount is calculated by paying attention to the outline of the defect region D. In FIG. 3, a region Ω indicated by a hatched portion indicates a defective region D, and the outline of the defective region D is expressed by δΩ. A patch having a size of 3 × 3 centering on a pixel p on the contour δΩ is represented by P (p).

<<色一貫性特徴量Fの算出方法>>
特徴量抽出部104は、輪郭δΩ上にある画素pを中心とした小領域のパッチP(p)毎に欠損領域Dに含まれ画素の色と、欠損領域Dに含まれない欠損領域D周辺の画素の色とに変化があるか否かを示す特徴量である色一貫性特徴量Fを以下に説明する(式1)〜(式3)に基づいて算出する。まず、特徴量抽出部104は、以下の(式1)に基づいて第1色特徴量Uを算出する。

Figure 2017058929
ここで、u(q)はパッチP(p)に含まれる画素qのRGB値である。 << Calculation Method of Color Consistency Feature Quantity Fu >>
The feature quantity extraction unit 104 includes the color of the pixel included in the defective region D and the periphery of the defective region D not included in the defective region D for each small patch P (p) centered on the pixel p on the contour δΩ. The color consistency feature amount Fu , which is a feature amount indicating whether or not there is a change in the color of the pixel, is calculated based on (Expression 1) to (Expression 3) described below. First, the feature amount extraction unit 104 calculates the first color feature amount U 1 based on the following (Equation 1).
Figure 2017058929
Here, u (q) is the RGB value of the pixel q included in the patch P (p).

上記(式1)に示すように、特徴量抽出部104は、パッチP(p)に含まれる3×3の画素の内、輪郭δΩ上及び輪郭δΩ内に位置する画素(以下、欠損領域画素という)のRGB値のそれぞれを加算した値を第1色特徴量Uとして算出する。 As shown in (Expression 1) above, the feature amount extraction unit 104 includes pixels located on the contour δΩ and within the contour δΩ among the 3 × 3 pixels included in the patch P (p) (hereinafter referred to as missing region pixels). calculating a first color characteristic amount U 1 the value obtained by adding the respective RGB values) called.

次に、特徴量抽出部104は、以下の(式2)に基づいて第2色特徴量Uを算出する。

Figure 2017058929
上記(式2)に示すように、特徴量抽出部104は、パッチP(p)に含まれる3×3の画素の内、欠損領域画素を除いた画素のRGB値のそれぞれを加算した値を第2色特徴量Uとして算出する。 Next, the feature amount extraction unit 104 calculates the second color feature amount U 2 based on the following (Formula 2).
Figure 2017058929
As shown in the above (Formula 2), the feature amount extraction unit 104 adds a value obtained by adding each of the RGB values of the pixels excluding the defective region pixels among the 3 × 3 pixels included in the patch P (p). calculating a second color characteristic amount U 2.

特徴量抽出部104は、第1色特徴量Uを欠損領域画素の画素数aで割った画素平均値と、第2色特徴量UとをパッチP(p)の総画素数(図3では3×3=9画素)から画素数aを差し引いた画素数b(図3ではb=9−a)で割った平均値との比を計算する以下の(式3)に基づいて、色一貫性特徴量Fを算出する。

Figure 2017058929
The feature amount extraction unit 104 calculates a pixel average value obtained by dividing the first color feature amount U 1 by the pixel number a of the defective area pixel and the second color feature amount U 2 as the total number of pixels of the patch P (p) (see FIG. Based on the following (Equation 3) that calculates the ratio with the average value divided by the number of pixels b (3 = 3 = 9 pixels in 3) minus the number of pixels b (b = 9−a in FIG. 3): The color consistency feature value Fu is calculated.
Figure 2017058929

色一貫性特徴量Fは(式1)〜(式3)から明らかなように、パッチP(p)の領域において、欠損領域画素の色と、欠損領域画素でない欠損領域Dの周辺の画素の色とが一貫しているほど(同じ色であるほど)1に近づく値である。色一貫性特徴量Fは、パッチP(p)の領域において、欠損領域画素の色と、欠損領域画素でない欠損領域Dの周辺の画素の色とが異なるほど(違う色であるほど)第1色特徴量U>第2色特徴量Uであれば大きな値に、第1色特徴量U<第2色特徴量Uであれば0に近づく値である。 As is clear from (Equation 1) to (Equation 3), the color consistency feature amount Fu is the color of the defective region pixel and the pixels around the defective region D that are not the defective region pixels in the region of the patch P (p). The more consistent the color is, the closer the value is to 1. The color consistency feature value Fu is greater when the color of the defective region pixel is different from the color of the pixel around the defective region D that is not the defective region pixel in the region of the patch P (p). If 1 color feature value U 1 > second color feature value U 2 , the value is large, and if 1 color feature value U 1 <second color feature value U 2 , the value approaches 0.

上述した(式1)〜(式3)を用いて求めた色一貫性特徴量Fは一例であり、これに限定されるものではない。例えば、(式3)に示した色一貫性特徴量Fに対して、定数を乗除算した値や、定数を加減算した値を、色一貫性特徴量Fとしてもよい。特徴量抽出部104は、欠損領域Dに含まれる画素の色と、欠損領域Dに含まれない欠損領域D周辺の画素の色とに変化があるか否かを示す特徴量を計算する種々の計算式を用いて色一貫性特徴量Fを算出してもよい。特徴量抽出部104は、例えば、欠損領域Dに含まれ画素の色と、欠損領域Dに含まれない欠損領域D周辺の画素の色との色差を色一貫性特徴量Fとして算出してもよい。 Described above (Equation 1) Color consistency feature amount F u obtained using to (Equation 3) is one example, but is not limited thereto. For example, the color consistent feature amount F u shown in equation (3), and divided by a value multiplied by a constant, a value obtained by adding or subtracting a constant, may be color consistent feature amount F u. The feature amount extraction unit 104 calculates various feature amounts indicating whether or not there is a change in the color of the pixels included in the defective region D and the color of the pixels around the defective region D that are not included in the defective region D. The color consistency feature value Fu may be calculated using a calculation formula. For example, the feature amount extraction unit 104 calculates the color difference between the color of the pixel included in the defective region D and the color of the pixel around the defective region D not included in the defective region D as the color consistency feature amount Fu. Also good.

<<エッジ一貫性特徴量Fの算出方法>>
特徴量抽出部104は、小領域のパッチP(p)毎に欠損領域Dに含まれ画素のエッジ強度と、欠損領域Dに含まれない欠損領域D周辺の画素のエッジ強度とに変化があるか否かを示す特徴量であるエッジ一貫性特徴量Fを以下に説明する(式4)〜(式5)に基づいて算出する。まず、特徴量抽出部104は、以下の(式4)に基づいて第1エッジ特徴量Vを算出する。

Figure 2017058929
ここで、v(q)はパッチP(p)に含まれる画素qのエッジ強度を表す。 The method of calculating the << edge consistent feature amount F v >>
The feature amount extraction unit 104 changes the edge strength of pixels included in the defective region D and the edge strength of pixels around the defective region D that are not included in the defective region D for each patch P (p) of the small region. whether a is a characteristic quantity showing the edge consistent feature amount F v will be described below is calculated on the basis of (equation 4) to (equation 5). First, the feature amount extraction unit 104 calculates the first edge feature amount V 1 based on the following (Equation 4).
Figure 2017058929
Here, v (q) represents the edge strength of the pixel q included in the patch P (p).

上記(式4)に示すように、特徴量抽出部104は、パッチP(p)に含まれる3×3の画素の内、欠損領域画素のエッジ強度を加算した値を第1エッジ特徴量Vとして算出する。画素のエッジ強度とは、例えば、画素qと周辺の画素との輝度値の差の絶対値を加算して求める。画素の輝度値は、例えば画素のRGB値を用いてR+G+Bで求まる値である。 As shown in (Expression 4) above, the feature amount extraction unit 104 uses the value obtained by adding the edge strengths of the missing region pixels among the 3 × 3 pixels included in the patch P (p) as the first edge feature amount V. Calculated as 1 . The edge strength of a pixel is obtained, for example, by adding the absolute value of the difference in luminance value between the pixel q and surrounding pixels. The luminance value of the pixel is a value obtained by R + G + B using the RGB value of the pixel, for example.

次に、特徴量抽出部104は、以下の(式5)に基づいて第2エッジ特徴量Vを算出する。

Figure 2017058929
上記(式5)に示すように、特徴量抽出部104は、パッチP(p)に含まれる3×3の画素の内、欠損領域画素を除いた画素のエッジ強度を加算した値を第2エッジ特徴量Vとして算出する。 Next, the feature extraction unit 104 calculates a second edge feature quantity V 2 based on the following equation (5).
Figure 2017058929
As shown in the above (Formula 5), the feature amount extraction unit 104 calculates the second value obtained by adding the edge intensities of the pixels excluding the defective region pixels from the 3 × 3 pixels included in the patch P (p). calculated as an edge feature quantity V 2.

特徴量抽出部104は、第1エッジ特徴量Vを欠損領域画素の画素数aで割った画素の平均値と、第2エッジ特徴量VとをパッチP(p)の総画素数から画素数aを差し引いた画素数bで割った画素の平均値との比を計算する以下の(式6)に基づいて、エッジ一貫性特徴量Fを算出する。

Figure 2017058929
Feature amount extraction unit 104, the average value of the pixel divided by the number of pixels a defective region pixel of the first edge feature quantity V 1, a second edge feature quantity V 2 from the total number of pixels of the patch P (p) The edge consistency feature amount Fv is calculated based on the following (Equation 6) that calculates the ratio of the average value of the pixels divided by the pixel number b obtained by subtracting the pixel number a.
Figure 2017058929

エッジ一貫性特徴量Fは(式4)〜(式6)から明らかなように、パッチP(p)の領域において、欠損領域画素のエッジ強度と、欠損領域画素でない欠損領域Dの周辺の画素のエッジ強度とが一貫しているほど(同程度のエッジ強度であるほど)1に近づく値である。エッジ一貫性特徴量Fは、パッチP(p)の領域において、欠損領域画素のエッジ強度と、欠損領域画素でない欠損領域Dの周辺の画素のエッジ強度とが異なるほど第1エッジ特徴量V>第2エッジ特徴量Vであれば大きな値に、第1エッジ特徴量V<第2エッジ特徴量Vであれば0に近づく値である。 As is clear from (Equation 4) to (Equation 6), the edge consistency feature amount Fv is obtained in the region of the patch P (p), and the edge strength of the defective region pixel and the peripheral region of the defective region D that is not the defective region pixel. The value is closer to 1 as the edge strength of the pixel is more consistent (the edge strength is the same). The edge consistency feature amount Fv is such that, in the region of the patch P (p), the first edge feature amount V becomes larger as the edge strength of the defective region pixel differs from the edge strength of the peripheral pixel of the defective region D that is not a defective region pixel. If 1 > second edge feature value V 2 , the value is a large value, and if first edge feature value V 1 <second edge feature value V 2 , the value approaches 0.

上述した(式4)〜(式6)を用いて求めたエッジ一貫性特徴量Fは一例であり、これに限定されるものではない。例えば、(式6)に示したエッジ一貫性特徴量Fに対して、定数を乗除算した値や、定数を加減算した値を、エッジ一貫性特徴量Fとしてもよい。特徴量抽出部104は、欠損領域Dに含まれ画素のエッジ強度と、欠損領域Dに含まれない欠損領域D周辺の画素のエッジ強度とに変化(レベル差)があるか否かを示す特徴量を計算する種々の計算式を用いてエッジ一貫性特徴量Fを算出してもよい。 It described above (Equation 4) to the edge consistent feature amount F v obtained using the equation (6) is an example, but is not limited thereto. For example, the edge consistent feature amount F v shown in (Equation 6), and dividing a value multiplied by a constant, a value obtained by adding or subtracting a constant, may be an edge consistent feature amount F v. The feature amount extraction unit 104 indicates whether or not there is a change (level difference) between the edge strength of the pixel included in the defective region D and the edge strength of the pixel around the defective region D not included in the defective region D. the amount of the various formulas may be calculated edge consistent feature amount F v using to calculate.

特徴量抽出部104は、例えば、欠損領域Dに含まれる画素のエッジ強度をエッジ方向情報も合わせて取得し、欠損領域Dに含まれない欠損領域D周辺の画素のエッジ強度をエッジの方向情報も合わせて取得し、エッジの方向の一致度に応じた重み係数を乗算して、加算する処理によりエッジ一貫性特徴量Fを算出してもよい。なお、エッジの方向の一致度に応じた重み係数とは、例えば、同じ方向であれば1、反対方向であれば−1となる一致度に応じて−1〜1まで変化する係数である。また、特徴量抽出部104は、画素の輝度値に基づいてエッジ強度を求める構成であったが、これに限定されるものではない。特徴量抽出部104は、例えば、画素のRGB値に基づいてエッジ強度を求めてもよい。この場合、R、G、Bの各色別にエッジ強度が求まる。 For example, the feature amount extraction unit 104 acquires the edge strength of the pixels included in the defective region D together with the edge direction information, and determines the edge strength of the pixels around the defective region D that are not included in the defective region D as the edge direction information. acquired in combination with this, by multiplying a weight coefficient corresponding to the direction of the coincidence of the edge may be calculated edge consistent feature amount F v by the process of addition. The weighting coefficient according to the degree of coincidence of the edge direction is a coefficient that changes from −1 to 1 according to the degree of coincidence, for example, 1 in the same direction and −1 in the opposite direction. The feature amount extraction unit 104 is configured to obtain the edge intensity based on the luminance value of the pixel, but is not limited to this. For example, the feature amount extraction unit 104 may obtain the edge strength based on the RGB values of the pixels. In this case, the edge strength is obtained for each of R, G, and B colors.

<<エッジ連続性特徴量Fの算出方法>>
特徴量抽出部104は、輪郭δΩ上にある各画素pにおけるエッジ方向と、画素pに隣接する画素のエッジ方向とに変化があるか否かを示す特徴量であるエッジ連続性特徴量Fを以下に示す方法で算出する。
<< method of calculating the edge continuity feature quantity F c >>
The feature amount extraction unit 104 has an edge continuity feature amount F c that is a feature amount indicating whether or not there is a change in the edge direction of each pixel p on the contour δΩ and the edge direction of the pixel adjacent to the pixel p. Is calculated by the following method.

特徴量抽出部104は、輪郭δΩ上に位置する各画素pについて、エッジ方向を求める。このエッジ方向は、画素pを中心とするエッジ方向にある近傍の2画素を特定する情報であればよい。図4は、画素pを中心とするエッジ方向を特定する情報の具体例を示す図である。図4に示す通り画素pを中心として左下画素と右上画素とを通る斜め方向(1)と、左画素と右画素とを通る横方向(2)と、上画素と下画素とを通る縦方向(3)と、右下画素と左上画素とを通る斜め方向(4)とがある。特徴量抽出部104は、図4に示す4方向のうち、尤もらしい方向を特定すれば良い。特徴量抽出部104は、例えば、画素pの輝度値におけるx、y方向のエッジ強度(dx,dy)に基づいて、c(p)=dy/dxを求め(tangentを求めることに相当)その傾きから4つの方向のうちどこに該当するかを求める方法が挙げられる。   The feature amount extraction unit 104 obtains an edge direction for each pixel p located on the contour δΩ. The edge direction may be information that specifies two neighboring pixels in the edge direction centered on the pixel p. FIG. 4 is a diagram illustrating a specific example of information for specifying an edge direction centered on the pixel p. As shown in FIG. 4, an oblique direction (1) passing through the lower left pixel and the upper right pixel around the pixel p, a horizontal direction (2) passing through the left pixel and the right pixel, and a vertical direction passing through the upper pixel and the lower pixel. (3) and an oblique direction (4) passing through the lower right pixel and the upper left pixel. The feature quantity extraction unit 104 may specify a likely direction among the four directions shown in FIG. For example, the feature amount extraction unit 104 obtains c (p) = dy / dx based on the edge strengths (dx, dy) in the x and y directions of the luminance value of the pixel p (corresponding to obtaining tangent) There is a method for determining which of the four directions corresponds to the inclination.

次に、特徴量抽出部104は、画素pに隣接する画素ppと画素pnについても同様にc(pp)、c(pn)を求めて、これらの平均値c(p’)=[c(pp)+c(pn)]/2を求める。特徴量抽出部104は、c(p)、c(p’)を輪郭δΩ上にある全ての画素について求めて、c(p)で特定される第1のエッジ方向と、c(p’)で特定される第2のエッジ方向を取得する。特徴量抽出部104は、第1のエッジ方向と第2のエッジ方向とにおける方向の一致度を示す相関値を求めて、この相関値をエッジ連続性特徴量Fとする。なお、画素pに隣接する画素ppと画素pnの位置は、例えば、画素pの下方向に隣接する画素を画素ppとし、画素pの右方向に隣接する画素を画素pnの位置とするが、これに限定されるものではない。 Next, the feature amount extraction unit 104 similarly obtains c (pp) and c (pn) for the pixels pp and pn adjacent to the pixel p, and averages these values c (p ′) = [c ( pp) + c (pn)] / 2. The feature amount extraction unit 104 obtains c (p) and c (p ′) for all the pixels on the contour δΩ, and the first edge direction specified by c (p) and c (p ′) The second edge direction specified by is acquired. The feature amount extraction unit 104 obtains a correlation value indicating the degree of coincidence between the first edge direction and the second edge direction, and uses this correlation value as the edge continuity feature amount F c . Note that the positions of the pixels pp and pn adjacent to the pixel p are, for example, the pixel adjacent to the lower side of the pixel p is the pixel pp and the pixel adjacent to the right side of the pixel p is the position of the pixel pn. It is not limited to this.

学習モデルDB105は、学習モデル取得装置20が取得した、画像の特徴量と、画像の画質の評価との関係を示す学習モデルを格納している。学習モデルは、具体的には、少なくとも2つ以上の特徴量を入力すると、各特徴量を有する画像の画質が優れているかを示す順位を推定して出力するための、特徴量と順位の対応関係を示す情報である。   The learning model DB 105 stores a learning model indicating the relationship between the image feature amount acquired by the learning model acquisition device 20 and the image quality evaluation of the image. Specifically, the learning model, when at least two or more feature quantities are input, estimates and outputs a ranking indicating whether the image quality of each feature quantity is excellent. Information indicating the relationship.

画像選択部106は、特徴量抽出部104が抽出した各画像Iout_1〜Iout_Mの特徴量と学習モデルDB105に格納される学習モデルとに基づいて、修復処理部103が出力したM枚の修復後の各画像Iout_1〜Iout_Mに対して評価順位を付与し、最も画質が良いと推定される評価順位=1位の画像Ibestを出力する。 The image selection unit 106 performs M restorations output from the restoration processing unit 103 based on the feature amounts of the images I out — 1 to I out — M extracted by the feature amount extraction unit 104 and the learning model stored in the learning model DB 105. An evaluation rank is assigned to each of the subsequent images I out — 1 to I out — M , and an image I best ranked first with an estimated rank that is estimated to have the best image quality is output.

<学習モデル取得装置20の構成について>
学習モデル取得装置20の構成について説明する。
学習モデル取得装置20は、学習データ入力部201と、特徴量抽出部202と、学習リストDB(データベース)203と、評価順位学習部204とを備える。
<About the structure of the learning model acquisition apparatus 20>
The configuration of the learning model acquisition device 20 will be described.
The learning model acquisition apparatus 20 includes a learning data input unit 201, a feature amount extraction unit 202, a learning list DB (database) 203, and an evaluation rank learning unit 204.

学習データ入力部201は、学習モデルを生成するための図5に示すような学習データ24が入力される入力部である。図5は、学習データ24の具体例を示す図である。図5に示すように、学習データ24は、一連の評価順位を付与した画像のグループを示すグループID241と、修復後の画像データに対する評価順位242と、修復後の画像データ244を得る際に用いたマスク情報243と、修復後の画像データ244とを含むリスト形式のデータである。学習データ24は、いくつの修復後の画像データ244を比較するかによってリストの長さが変化する可変長テーブルである。   The learning data input unit 201 is an input unit to which learning data 24 as shown in FIG. 5 for generating a learning model is input. FIG. 5 is a diagram illustrating a specific example of the learning data 24. As shown in FIG. 5, the learning data 24 is used to obtain a group ID 241 indicating a group of images to which a series of evaluation ranks are assigned, an evaluation rank 242 for the restored image data, and the restored image data 244. The list format data includes the mask information 243 and the restored image data 244. The learning data 24 is a variable length table in which the length of the list varies depending on how many image data 244 after restoration are compared.

図5に示すように、学習データ24は、グループIDに関連付けてマスク情報243と、修復後の画像データ244と、同一グループの修復後の画像データ244中における評価順位242とを対応付けるものである。したがって、同一グループ内の修復後の画像データ244の個数は、2以上である必要がある。また、同一のグループIDの修復後の画像データ244の個数がK個である場合、そのなかで同順位のものの個数は、少なくとも一つ異なる評価順位を付与可能とするためにK−1個以下でなければならない。   As shown in FIG. 5, the learning data 24 associates the mask information 243 with the group ID, the restored image data 244, and the evaluation rank 242 in the restored image data 244 of the same group. . Therefore, the number of restored image data 244 in the same group needs to be two or more. Further, when the number of image data 244 after restoration of the same group ID is K, the number of the same rank among them is K−1 or less so that at least one different evaluation rank can be assigned. Must.

特徴量抽出部202は、上述した特徴量抽出部104と同様の構成であり、欠損領域Dの輪郭に着目して、色一貫性特徴量F、エッジ一貫性特徴量F及びエッジ連続性特徴量Fの3つの特徴量を抽出する。特徴量抽出部202が処理の対象とするのは、学習データ入力部201から入力された修復後の画像データ244である。特徴量抽出部202は、全ての修復後の画像データ244に対して、欠損領域Dの輪郭に対応する画素の値に基づいて、色一貫性特徴量F、エッジ一貫性特徴量F及びエッジ連続性特徴量Fの3つの特徴量を抽出する処理を行う。 The feature quantity extraction unit 202 has the same configuration as that of the feature quantity extraction unit 104 described above, and pays attention to the outline of the missing region D, and provides the color consistency feature quantity F u , edge consistency feature quantity F v, and edge continuity. Three feature amounts of the feature amount F c are extracted. The feature amount extraction unit 202 is the target of processing of the restored image data 244 input from the learning data input unit 201. The feature quantity extraction unit 202 applies the color consistency feature quantity F u , the edge consistency feature quantity F v, and the edge consistency feature quantity to all the restored image data 244 based on the pixel values corresponding to the outline of the missing area D. processing to extract three features of edge continuity feature quantity F c.

学習リストDB203は、グループIDに関連づけて、評価順位242と、3つの特徴量とを格納するデータベースである。   The learning list DB 203 is a database that stores evaluation ranks 242 and three feature amounts in association with group IDs.

評価順位学習部204は、学習リストDB203から学習リストを参照して、画像の特徴量と評価順位との対応関係についてランキング学習を行うことで学習モデルを生成する。ランキング学習とは、機械学習の枠組みで、画像の特徴量と評価順位との対応関係をあらかじめ学習して学習モデルを生成する処理である。この学習モデルを用いると、2枚以上の画像の特徴量に基づいて、それらの画像に対する評価順位を算出することができる。このようなランキング学習は、公知の技術であり、例えば、SVM(Support Vector Machine)−Rankなどの方法が利用可能である。また、以下の公知文献1に記載のSVMを用いてもよい。   The evaluation rank learning unit 204 refers to the learning list from the learning list DB 203 and generates a learning model by performing ranking learning on the correspondence relationship between the image feature amount and the evaluation rank. Ranking learning is a process of generating a learning model by learning in advance the correspondence between image feature amounts and evaluation ranks in a machine learning framework. If this learning model is used, the evaluation order for these images can be calculated based on the feature amounts of two or more images. Such ranking learning is a known technique, and for example, a method such as SVM (Support Vector Machine) -Rank can be used. Moreover, you may use SVM of the following well-known literature 1. FIG.

公知文献1:T. Joachims, “Training Linear SVMs in Linear Time”, Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (KDD), 2006   Known Document 1: T. Joachims, “Training Linear SVMs in Linear Time”, Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (KDD), 2006

評価順位学習部204は、画像の特徴量と、画像の評価順位との対応関係を示す学習モデルを生成して、画像評価装置10へ出力する。評価順位学習部204は、画像から抽出された色一貫性特徴量F、エッジ一貫性特徴量F及びエッジ連続性特徴量Fの3つの特徴量と、その画像の評価順位との対応関係を示す学習モデルを生成する。 The evaluation rank learning unit 204 generates a learning model indicating a correspondence relationship between the image feature amount and the image evaluation rank, and outputs the learning model to the image evaluation apparatus 10. The evaluation rank learning unit 204 associates the three feature quantities of the color consistency feature quantity F u , the edge consistency feature quantity F v, and the edge continuity feature quantity F c extracted from the image with the evaluation rank of the image. Generate a learning model that shows the relationship.

なお、評価順位学習部204において生成された学習モデルは、データを多段階に分類する用途であれば評価順位を推定する構成に限定されるものではない。例えば、SVMを用いて学習リストを処理することで、画像の特徴量に基づいて例えば画質評価OKと画質評価NGとを示す二値分類を行う学習モデルを生成してもよい。学習モデルが出力する値は、二値に限定されるものではなく、例えば5段階の多値分類を出力してもよい。   Note that the learning model generated in the evaluation rank learning unit 204 is not limited to the configuration for estimating the evaluation rank as long as the data is used for classifying data in multiple stages. For example, a learning model that performs binary classification indicating, for example, image quality evaluation OK and image quality evaluation NG based on the feature amount of the image may be generated by processing the learning list using SVM. The value output by the learning model is not limited to binary, and for example, a multi-level classification of 5 levels may be output.

<画像評価装置10の動作について>
次に、第1の実施形態における画像評価装置10の動作について説明する。図6は、第1の実施形態における画像評価装置10の動作を示すフロー図である。入力部101において、コンプリーション処理を施す対象の画像Iinと、欠損領域を指定するマスク画像Imaskとが入力される(ステップS101)。入力部101は、マスク画像Imaskに基づいて画像Iinにおける欠損領域Dを特定する(ステップS102)。
<Operation of Image Evaluation Apparatus 10>
Next, the operation of the image evaluation apparatus 10 in the first embodiment will be described. FIG. 6 is a flowchart showing the operation of the image evaluation apparatus 10 in the first embodiment. In the input unit 101, an image I in to be subjected to completion processing and a mask image I mask for designating a missing area are input (step S101). The input unit 101 identifies the missing area D in the image I in based on the mask image I mask (step S102).

修復処理部103は、入力部101から入力される画像Iinと欠損領域Dに基づいて、修復情報格納部102から取得したM種類の修復情報(パラメータリスト)全てに対応した修復処理を画像Iinに対して行い、M枚の修復後の画像Iout_1〜Iout_Mを出力する(ステップS103)。特徴量抽出部104は、修復処理部103から入力される修復後の画像Iout_1〜Iout_Mを入力とし、各画像Iout_1〜Iout_Mの特徴量を抽出して出力する(ステップS104)。具体的には、特徴量抽出部104は、欠損領域Dの輪郭に対応する画素の値に基づいて、各画像Iout_1〜Iout_Mから色一貫性特徴量F、エッジ一貫性特徴量F及びエッジ連続性特徴量Fの3つの特徴量を抽出する。 The repair processing unit 103 performs a repair process corresponding to all of the M types of repair information (parameter list) acquired from the repair information storage unit 102 based on the image I in and the defect area D input from the input unit 101. performed on in, and outputs the image I out_1 ~I OUT_M after M pieces of repair (step S103). Feature quantity extracting unit 104 inputs the image I out_1 ~I OUT_M the repaired inputted from the recovery processing unit 103, and outputs the extracted feature amount of each image I out_1 ~I out_M (step S104). Specifically, the feature quantity extraction unit 104 determines the color consistency feature quantity F u and the edge consistency feature quantity F v from each of the images I out — 1 to I out — M based on the value of the pixel corresponding to the outline of the missing region D. and extracted three characteristic amounts of edge continuity feature quantity F c.

画像選択部106は、特徴量抽出部104が抽出した各画像Iout_1〜Iout_Mの特徴量と学習モデルDB105に格納される学習モデルとに基づいて、修復処理部103が出力したM枚の修復後の各画像Iout_1〜Iout_Mに対して評価順位を付与する(ステップS105)。画像選択部106は、画像Iout_1〜Iout_Mの中から最も画質が良いと推定される評価順位=1位を付与した画像を選択して画像Ibestとして出力する(ステップS106)。 The image selection unit 106 performs M restorations output from the restoration processing unit 103 based on the feature amounts of the images I out — 1 to I out — M extracted by the feature amount extraction unit 104 and the learning model stored in the learning model DB 105. Evaluation ranks are assigned to the subsequent images I out — 1 to I out — M (step S105). Image selecting unit 106 selects the image imparted with evaluation rank = 1 of the most image quality is estimated to be from the images I out_1 ~I OUT_M outputs as an image I best (step S106).

<学習モデル取得装置20の動作について>
次に、第1の実施形態における学習モデル取得装置20の動作について説明する。図7は、第1の実施形態における学習モデル取得装置20の動作を示すフロー図である。学習データ入力部201において、学習モデルを生成するための図5に示すような学習データ24が入力される(ステップS201)。
<Operation of Learning Model Acquisition Device 20>
Next, operation | movement of the learning model acquisition apparatus 20 in 1st Embodiment is demonstrated. FIG. 7 is a flowchart showing the operation of the learning model acquisition apparatus 20 in the first embodiment. In the learning data input unit 201, learning data 24 as shown in FIG. 5 for generating a learning model is input (step S201).

特徴量抽出部202は、学習データ入力部201から入力された学習データ24の全てに対して特徴量を抽出するループ処理を開始する(ステップS202)。特徴量抽出部202は、処理対象の学習データ24から修復後の画像データ244を取得する(ステップS203)。特徴量抽出部202は、取得した修復後の画像データ244に対して、欠損領域Dの輪郭に着目して、色一貫性特徴量F、エッジ一貫性特徴量F及びエッジ連続性特徴量Fの3つの特徴量を抽出する。特徴量抽出部202は、グループIDに関連付けて、抽出した特徴量と、画像データ244の評価順位242とを学習リストDB203に格納する(ステップS204)。 The feature amount extraction unit 202 starts a loop process for extracting feature amounts from all of the learning data 24 input from the learning data input unit 201 (step S202). The feature amount extraction unit 202 acquires the restored image data 244 from the learning data 24 to be processed (step S203). The feature quantity extraction unit 202 pays attention to the outline of the defect area D with respect to the acquired image data 244 after restoration, and features the color consistency feature quantity F u , the edge consistency feature quantity F v, and the edge continuity feature quantity. extracting the three feature amounts of F c. The feature amount extraction unit 202 stores the extracted feature amount and the evaluation rank 242 of the image data 244 in the learning list DB 203 in association with the group ID (step S204).

特徴量抽出部202は、処理対象の学習データ24が最後のデータでなければステップS202に戻り、処理対象の学習データ24が最後のデータであればループ処理を終了して、ステップS206に進む(ステップS205)。以上のループ処理によって、学習リストDB203には、グループIDに関連づけて、評価順位242と、3つの特徴量とを格納するデータベースが構築される。   The feature quantity extraction unit 202 returns to step S202 if the learning data 24 to be processed is not the last data, ends the loop processing if the learning data 24 to be processed is the last data, and proceeds to step S206 ( Step S205). Through the above loop processing, a database that stores the evaluation rank 242 and the three feature quantities in association with the group ID is constructed in the learning list DB 203.

評価順位学習部204は、学習リストDB203から学習リストを参照して、画像の特徴量と評価順位との対応関係について学習処理を行うことで学習モデルを生成する(ステップS206)。評価順位学習部204が生成した学習モデルは、画像評価装置10へ出力され、学習モデルDB105に格納される。   The evaluation rank learning unit 204 refers to the learning list from the learning list DB 203 and generates a learning model by performing learning processing on the correspondence relationship between the image feature amount and the evaluation rank (step S206). The learning model generated by the evaluation rank learning unit 204 is output to the image evaluation device 10 and stored in the learning model DB 105.

以上に説明したように、第1の実施形態における画像処理装置30は、様々な手法やパラメータでコンプリーション処理された複数枚の修復後の画像データに対して、特徴量を抽出し、抽出した特徴量に基づいて修復後の画像データに評価順位を付与することができる。これにより、評価順位の最も良い修復後の画像データを選択することで、自動で最適なコンプリーション処理を施した画像データを得ることができる。また、既存の画像の評価手法とは異なり、欠損領域Dの境界に着目した特徴量を抽出して、学習モデルを参照してその特徴量に基づいた評価順位を得ることで、より高精度な画質の評価を実現している。また、学習モデル取得装置20は、学習データから抽出した特徴量と評価順位とを対応させた学習リストに基づいて学習モデルを生成することで、学習モデルの精度を向上させることができる。   As described above, the image processing apparatus 30 according to the first embodiment extracts and extracts feature amounts from a plurality of restored image data that has been subjected to completion processing using various methods and parameters. An evaluation rank can be given to the restored image data based on the feature amount. Thus, by selecting the restored image data having the best evaluation order, it is possible to obtain image data that has been automatically subjected to the optimum completion processing. In addition, unlike existing image evaluation methods, a feature amount focused on the boundary of the missing region D is extracted, and an evaluation order based on the feature amount is obtained with reference to the learning model, thereby achieving higher accuracy. Realizes image quality evaluation. In addition, the learning model acquisition device 20 can improve the accuracy of the learning model by generating a learning model based on a learning list in which feature amounts extracted from learning data are associated with evaluation ranks.

(第2の実施形態)
第1の実施形態の画像評価装置10が備える特徴量抽出部104又は学習モデル取得装置20が備える特徴量抽出部202を、独立した特徴量抽出装置として構成することも可能である。
以下では、第1の実施形態の画像評価装置10が備える特徴量抽出部104を、独立した特徴量抽出装置11として構成する第2の実施形態における画像評価システム10Aについて説明する。
(Second Embodiment)
The feature amount extraction unit 104 included in the image evaluation device 10 of the first embodiment or the feature amount extraction unit 202 included in the learning model acquisition device 20 may be configured as an independent feature amount extraction device.
Hereinafter, an image evaluation system 10A according to the second embodiment in which the feature amount extraction unit 104 included in the image evaluation device 10 according to the first embodiment is configured as an independent feature amount extraction device 11 will be described.

図8は、第2の実施形態における画像評価システム10Aの構成例を示す図である。なお、図8において、図1に示した第1の実施形態の画像処理システム1と同じ構成のものは、同じ符号を付与しており、説明を省略又は簡略化する。   FIG. 8 is a diagram illustrating a configuration example of an image evaluation system 10A according to the second embodiment. In FIG. 8, the same components as those of the image processing system 1 of the first embodiment shown in FIG. 1 are given the same reference numerals, and the description thereof is omitted or simplified.

図8に示すように、画像評価システム10Aは、画像評価装置10aと、特徴量抽出装置11とを備える構成である。図8に示す画像評価システム10Aは、図1に示した画像評価装置10と同等の機能を有する。   As illustrated in FIG. 8, the image evaluation system 10 </ b> A includes an image evaluation device 10 a and a feature amount extraction device 11. An image evaluation system 10A illustrated in FIG. 8 has a function equivalent to that of the image evaluation apparatus 10 illustrated in FIG.

<特徴量抽出装置11について>
第2実施形態の特徴量抽出装置11は、図8に示すように、画像入力部111と、特徴量抽出部112と、特徴量出力部113とを備える。画像入力部111は、修復処理部103から修復後の画像Iout_1〜Iout_Mが入力され、入力された修復後の画像Iout_1〜Iout_Mを特徴量抽出部112へ出力する。特徴量抽出部112は、図1に示した特徴量抽出部104と同じ機能を有し、画像入力部111から入力される修復後の画像Iout_1〜Iout_Mから特徴量を抽出して、抽出した特徴量を特徴量出力部113へ出力する。特徴量出力部113は、特徴量抽出部112より入力された特徴量を、画像評価装置10aの画像選択部106へ出力する。
<About the feature quantity extraction device 11>
As shown in FIG. 8, the feature amount extraction apparatus 11 of the second embodiment includes an image input unit 111, a feature amount extraction unit 112, and a feature amount output unit 113. The image input unit 111 receives the repaired images I out — 1 to I out_M from the repair processing unit 103, and outputs the input repaired images I out — 1 to I out_M to the feature amount extraction unit 112. The feature amount extraction unit 112 has the same function as the feature amount extraction unit 104 illustrated in FIG. 1, and extracts and extracts feature amounts from the restored images I out — 1 to I out — M input from the image input unit 111. The obtained feature amount is output to the feature amount output unit 113. The feature amount output unit 113 outputs the feature amount input from the feature amount extraction unit 112 to the image selection unit 106 of the image evaluation apparatus 10a.

(第3の実施形態)
第1の実施形態の学習モデル取得装置20が備える特徴量抽出部202を、独立した特徴量抽出装置として構成することも可能である。
以下では、第1の実施形態の学習モデル取得装置20が備える特徴量抽出部202を、独立した特徴量抽出装置21として構成する第3の実施形態の学習モデル取得システム20Aについて説明する。
(Third embodiment)
The feature quantity extraction unit 202 provided in the learning model acquisition apparatus 20 of the first embodiment can be configured as an independent feature quantity extraction apparatus.
Hereinafter, a learning model acquisition system 20A of the third embodiment in which the feature amount extraction unit 202 included in the learning model acquisition device 20 of the first embodiment is configured as an independent feature amount extraction device 21 will be described.

図9は、第3の実施形態における学習モデル取得システム20Aの構成例を示す図である。なお、図9において、図1に示した第1の実施形態の画像処理システム1と同じ構成のものは、同じ符号を付与しており、説明を省略又は簡略化する。   FIG. 9 is a diagram illustrating a configuration example of a learning model acquisition system 20A according to the third embodiment. In FIG. 9, the same components as those in the image processing system 1 of the first embodiment shown in FIG. 1 are given the same reference numerals, and description thereof is omitted or simplified.

図9に示すように、学習モデル取得システム20Aは、学習モデル取得装置20aと、特徴量抽出装置21とを備える構成である。図9に示す学習モデル取得システム20Aは、図1に示した学習モデル取得装置20と同等の機能を有する。   As illustrated in FIG. 9, the learning model acquisition system 20 </ b> A includes a learning model acquisition device 20 a and a feature amount extraction device 21. The learning model acquisition system 20A shown in FIG. 9 has the same function as the learning model acquisition device 20 shown in FIG.

<特徴量抽出装置21について>
第3実施形態の特徴量抽出装置21は、図9に示すように、画像入力部211と、特徴量抽出部212と、特徴量出力部213とを備える。画像入力部211は、学習モデル取得装置20aの学習データ入力部201から学習データ24に含まれる修復後の画像データ244が入力され、入力された修復後の画像データ244を特徴量抽出部212へ出力する。特徴量抽出部212は、図1に示した特徴量抽出部202と同じ機能を有し、画像入力部211から入力される修復後の画像データ244から特徴量を抽出して、抽出した特徴量を特徴量出力部213へ出力する。特徴量出力部213は、特徴量抽出部212より入力された特徴量を、学習モデル取得装置20aの学習リストDB203へ出力する。
<Regarding Feature Extraction Device 21>
As shown in FIG. 9, the feature quantity extraction device 21 of the third embodiment includes an image input unit 211, a feature quantity extraction unit 212, and a feature quantity output unit 213. The image input unit 211 receives the restored image data 244 included in the learning data 24 from the learning data input unit 201 of the learning model acquisition apparatus 20a, and inputs the restored image data 244 to the feature amount extraction unit 212. Output. The feature amount extraction unit 212 has the same function as the feature amount extraction unit 202 illustrated in FIG. 1, extracts feature amounts from the restored image data 244 input from the image input unit 211, and extracts the feature amounts Is output to the feature amount output unit 213. The feature amount output unit 213 outputs the feature amount input from the feature amount extraction unit 212 to the learning list DB 203 of the learning model acquisition device 20a.

学習モデル取得装置20aの備える評価順位学習部204が出力する学習モデルは、第1の実施形態の画像評価装置10へ出力される構成であっても、第2の実施形態における画像評価装置10aに出力される構成であってもよい。   Even if the learning model output by the evaluation rank learning unit 204 included in the learning model acquisition device 20a is output to the image evaluation device 10 of the first embodiment, the learning model is output to the image evaluation device 10a of the second embodiment. An output configuration may be used.

上述した第1の実施形態における画像評価装置10及び学習モデル取得装置20、第2実施形態における画像評価システム10A及び第3の実施形態における学習モデル取得システム20Aの備える各機能部は、例えば、コンピュータで実現することができる。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。   The functional units included in the image evaluation device 10 and the learning model acquisition device 20 in the first embodiment described above, the image evaluation system 10A in the second embodiment, and the learning model acquisition system 20A in the third embodiment are, for example, a computer Can be realized. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time. Further, the program may be a program for realizing a part of the above-described functions, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system. You may implement | achieve using programmable logic devices, such as FPGA (Field Programmable Gate Array).

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

本発明の画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラムは、コンプリーション処理を行う画像処理装置において利用することができる。   The image information acquisition method, image evaluation method, image information acquisition apparatus, image evaluation apparatus, and image processing program of the present invention can be used in an image processing apparatus that performs a completion process.

1…画像処理システム, 10、10a…画像評価装置, 20、20a…学習モデル取得装置,11、21…特徴量抽出装置,102…修復情報格納部,103…修復処理部,104、112、202、212…特徴量抽出部,105…学習モデルDB,106…画像選択部,203…学習リストDB,204…評価順位学習部 DESCRIPTION OF SYMBOLS 1 ... Image processing system 10, 10a ... Image evaluation apparatus 20, 20a ... Learning model acquisition apparatus, 11, 21 ... Feature-value extraction apparatus, 102 ... Repair information storage part, 103 ... Repair process part, 104, 112, 202 , 212 ... feature quantity extraction unit, 105 ... learning model DB, 106 ... image selection unit, 203 ... learning list DB, 204 ... evaluation rank learning unit

Claims (9)

欠損領域を修復した画像を入力する第1入力ステップと、
前記第1入力ステップにおいて入力された前記画像に対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する特徴量抽出ステップと、
を有し、
前記特徴量は、前記輪郭上にある画素の色と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素の色とに基づいて求める第1の特徴量と、前記輪郭上にある画素のエッジ強度と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素のエッジ強度とに基づいて求める第2の特徴量と、前記輪郭上にある画素におけるエッジ方向と、前記輪郭に対応する画素の周辺に位置し、かつ、前記欠損領域に含まれない画素のエッジ方向とに基づいて求める第3の特徴量とのいずれか一つを少なくとも含む画像情報取得方法。
A first input step of inputting an image in which the defect area is repaired;
A feature amount extraction step of extracting a feature amount from pixels corresponding to the outline of the missing region with respect to the image input in the first input step;
Have
The feature amount includes a first feature amount obtained based on a color of a pixel on the contour and a color of a pixel not included in the defect area located around the pixel corresponding to the contour, and the contour A second feature amount obtained based on an edge strength of an upper pixel and an edge strength of a pixel not included in the defective region located around the pixel corresponding to the contour; and a pixel on the contour Image information including at least one of an edge direction and a third feature amount obtained based on an edge direction of a pixel located in the periphery of the pixel corresponding to the contour and not included in the defective region Acquisition method.
前記輪郭上にある画素を中心とした小領域において、
前記第1の特徴量は、以下の(式1)〜(式3)に基づいて求めるものであり、
Figure 2017058929
前記第2の特徴量は、以下の(式4)〜(式6)に基づいて求めるものであり、
Figure 2017058929
前記第3の特徴量は、前記輪郭に対応する画素における水平方向のエッジ強度及び垂直方向のエッジ強度に基づいて当該画素におけるエッジ方向を特定して、特定したエッジ方向に基づいて求めるものである請求項1に記載の画像情報取得方法。
In a small area centered on the pixel on the contour,
The first feature amount is obtained based on the following (Expression 1) to (Expression 3):
Figure 2017058929
The second feature amount is obtained based on the following (formula 4) to (formula 6):
Figure 2017058929
The third feature amount is obtained based on the specified edge direction by specifying the edge direction in the pixel based on the horizontal edge strength and the vertical edge strength in the pixel corresponding to the contour. The image information acquisition method according to claim 1.
欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第2の画像と、前記複数の第2の画像に対する画質評価の順位である評価順位とが入力される第2入力ステップと、
前記第2入力ステップにおいて入力された複数の前記第2の画像に対して、請求項1又は請求項2に記載の前記画像情報取得方法を適用して前記特徴量を抽出する抽出ステップと、
前記抽出ステップにおいて抽出した前記特徴量と、前記第2入力ステップにおいて入力された前記評価順位との対応関係を学習する学習ステップと、
を有する画像評価方法。
A second input to which a plurality of second images restored by a plurality of restoration methods with respect to the first image having a defective area and an evaluation rank that is an image quality evaluation rank for the plurality of second images are input. Steps,
An extraction step of extracting the feature amount by applying the image information acquisition method according to claim 1 or 2 to a plurality of the second images input in the second input step;
A learning step of learning a correspondence relationship between the feature amount extracted in the extraction step and the evaluation rank input in the second input step;
An image evaluation method comprising:
欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第3の画像が入力される第3入力ステップと、
前記第3入力ステップにおいて入力された複数の前記第3の画像に対して、請求項1又は請求項2に記載の前記画像情報取得方法を適用して前記特徴量を抽出する抽出ステップと、
前記抽出ステップにおいて抽出した前記特徴量に基づいて複数の前記第3の画像の中から画質評価の最も高い第4の画像を選択する画像選択ステップと、
を有する画像評価方法。
A third input step in which a plurality of third images repaired by a plurality of repair methods are input to the first image having a defect region;
An extraction step of extracting the feature amount by applying the image information acquisition method according to claim 1 or 2 to a plurality of the third images input in the third input step;
An image selection step of selecting a fourth image having the highest image quality evaluation from among the plurality of third images based on the feature amount extracted in the extraction step;
An image evaluation method comprising:
欠損領域を修復した画像が入力される第1入力部と、
前記第1入力部に入力された前記欠損領域を含む画像に対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する特徴量抽出部と、
を備え、
前記特徴量は、前記輪郭上にある画素の色と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素の色とに基づいて求める第1の特徴量と、前記輪郭上にある画素のエッジ強度と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素のエッジ強度とに基づいて求める第2の特徴量と、前記輪郭上にある画素におけるエッジ方向と、前記輪郭に対応する画素の周辺に位置し、かつ、前記欠損領域に含まれない画素のエッジ方向とに基づいて求める第3の特徴量とのいずれか一つを少なくとも含む画像情報取得装置。
A first input unit for inputting an image in which a defect area is repaired;
A feature quantity extraction unit that extracts a feature quantity from pixels corresponding to the outline of the missing area for the image including the missing area input to the first input unit;
With
The feature amount includes a first feature amount obtained based on a color of a pixel on the contour and a color of a pixel not included in the defect area located around the pixel corresponding to the contour, and the contour A second feature amount obtained based on an edge strength of an upper pixel and an edge strength of a pixel not included in the defective region located around the pixel corresponding to the contour; and a pixel on the contour Image information including at least one of an edge direction and a third feature amount obtained based on an edge direction of a pixel located in the periphery of the pixel corresponding to the contour and not included in the defective region Acquisition device.
前記輪郭上にある画素を中心とした小領域において、
前記第1の特徴量は、以下の(式7)〜(式9)に基づいて求めるものであり、
Figure 2017058929
前記第2の特徴量は、以下の(式10)〜(式12)に基づいて求めるものであり、
Figure 2017058929
前記第3の特徴量は、前記輪郭に対応する画素における水平方向のエッジ強度及び垂直方向のエッジ強度に基づいて当該画素におけるエッジ方向を特定して、特定したエッジ方向に基づいて求めるものである請求項5に記載の画像情報取得装置。
In a small area centered on the pixel on the contour,
The first feature amount is obtained based on the following (Expression 7) to (Expression 9),
Figure 2017058929
The second feature amount is obtained based on the following (Expression 10) to (Expression 12),
Figure 2017058929
The third feature amount is obtained based on the specified edge direction by specifying the edge direction in the pixel based on the horizontal edge strength and the vertical edge strength in the pixel corresponding to the contour. The image information acquisition apparatus according to claim 5.
欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第2の画像と、前記複数の第2の画像に対する画質評価の順位である評価順位とが入力される第2入力部と、
前記第2入力部に入力された複数の前記第2の画像を入力して前記特徴量を抽出する請求項5又は請求項6に記載の前記画像情報取得装置と、
抽出した前記特徴量と、前記第2入力部に入力された前記評価順位との対応関係を学習する学習処理部と、
を備える画像評価装置。
A second input to which a plurality of second images restored by a plurality of restoration methods with respect to the first image having a defective area and an evaluation rank that is an image quality evaluation rank for the plurality of second images are input. And
The image information acquisition device according to claim 5 or 6, wherein the feature amount is extracted by inputting the plurality of second images input to the second input unit;
A learning processing unit for learning a correspondence relationship between the extracted feature amount and the evaluation rank input to the second input unit;
An image evaluation apparatus comprising:
欠損領域を有する第1の画像に対して複数の修復方法で修復した複数の第3の画像が入力される第3入力部と、
前記第3入力部に入力された複数の前記第3の画像を入力して、前記特徴量を抽出する請求項5又は請求項6に記載の前記画像情報取得装置と、
抽出した前記特徴量に基づいて複数の前記第3の画像の中から画質評価の最も高い第4の画像を選択する画像選択部と、
を備える画像評価装置。
A third input unit for inputting a plurality of third images repaired by a plurality of repair methods on the first image having a defect region;
The image information acquisition device according to claim 5 or 6, wherein the feature information is extracted by inputting the plurality of third images input to the third input unit;
An image selection unit that selects a fourth image having the highest image quality evaluation from among the plurality of third images based on the extracted feature amount;
An image evaluation apparatus comprising:
請求項5又は請求項6に記載の前記画像情報取得装置又は請求項7又は請求項8に記載の前記画像評価装置における各機能部を、コンピュータにより実現させるための画像処理プログラム。   An image processing program for causing each functional unit in the image information acquisition device according to claim 5 or 6 or the image evaluation device according to claim 7 or 8 to be realized by a computer.
JP2015182896A 2015-09-16 2015-09-16 Image information acquisition method, image evaluation method, image information acquisition device, image evaluation device, and image processing program Active JP6404794B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015182896A JP6404794B2 (en) 2015-09-16 2015-09-16 Image information acquisition method, image evaluation method, image information acquisition device, image evaluation device, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015182896A JP6404794B2 (en) 2015-09-16 2015-09-16 Image information acquisition method, image evaluation method, image information acquisition device, image evaluation device, and image processing program

Publications (2)

Publication Number Publication Date
JP2017058929A true JP2017058929A (en) 2017-03-23
JP6404794B2 JP6404794B2 (en) 2018-10-17

Family

ID=58390467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015182896A Active JP6404794B2 (en) 2015-09-16 2015-09-16 Image information acquisition method, image evaluation method, image information acquisition device, image evaluation device, and image processing program

Country Status (1)

Country Link
JP (1) JP6404794B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112086048A (en) * 2020-08-31 2020-12-15 苏州迈为科技股份有限公司 OLED screen bright spot repairing method and device
CN112950579A (en) * 2021-02-26 2021-06-11 北京金山云网络技术有限公司 Image quality evaluation method and device and electronic equipment
CN114199127A (en) * 2021-12-07 2022-03-18 长春汽车工业高等专科学校 Automobile part size detection system and method based on machine vision
CN118397006A (en) * 2024-06-28 2024-07-26 瑞峰(天津)电子有限公司 Circuit board welding failure detection method and system based on image recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163616A (en) * 2008-01-09 2009-07-23 Nippon Telegr & Teleph Corp <Ntt> Image interpolation device, image interpolation method, and image interpolation program
WO2013179560A1 (en) * 2012-05-30 2013-12-05 パナソニック株式会社 Image processing device and image processing method
JP2014511530A (en) * 2011-02-24 2014-05-15 スリーエム イノベイティブ プロパティズ カンパニー Non-uniformity detection system in web-based materials

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163616A (en) * 2008-01-09 2009-07-23 Nippon Telegr & Teleph Corp <Ntt> Image interpolation device, image interpolation method, and image interpolation program
JP2014511530A (en) * 2011-02-24 2014-05-15 スリーエム イノベイティブ プロパティズ カンパニー Non-uniformity detection system in web-based materials
WO2013179560A1 (en) * 2012-05-30 2013-12-05 パナソニック株式会社 Image processing device and image processing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112086048A (en) * 2020-08-31 2020-12-15 苏州迈为科技股份有限公司 OLED screen bright spot repairing method and device
CN112950579A (en) * 2021-02-26 2021-06-11 北京金山云网络技术有限公司 Image quality evaluation method and device and electronic equipment
CN112950579B (en) * 2021-02-26 2024-05-31 北京金山云网络技术有限公司 Image quality evaluation method and device and electronic equipment
CN114199127A (en) * 2021-12-07 2022-03-18 长春汽车工业高等专科学校 Automobile part size detection system and method based on machine vision
CN114199127B (en) * 2021-12-07 2024-02-02 长春汽车工业高等专科学校 Automobile part size detection system and method based on machine vision
CN118397006A (en) * 2024-06-28 2024-07-26 瑞峰(天津)电子有限公司 Circuit board welding failure detection method and system based on image recognition

Also Published As

Publication number Publication date
JP6404794B2 (en) 2018-10-17

Similar Documents

Publication Publication Date Title
JP6450287B2 (en) Learning data generation device, learning device, learning data generation method, learning method, and image processing program
US8270696B2 (en) Image slice segmentation using midpoints of contour anchor points
JP6404794B2 (en) Image information acquisition method, image evaluation method, image information acquisition device, image evaluation device, and image processing program
TW201029443A (en) Method and device for generating a depth map
JP2010055194A (en) Image processing device and method, learning device and method, and program
JP2010205067A (en) Device, method and program for extracting area
CN113516755B (en) Image processing method, image processing apparatus, electronic device, and storage medium
Ling et al. Image quality assessment for DIBR synthesized views using elastic metric
Alsalamah et al. Medical image inpainting with RBF interpolation technique
CN110751668A (en) Image processing method, device, terminal, electronic equipment and readable storage medium
TW201237803A (en) Algorithm for compensating hollows generated after conversion of 2D images
JP2015148895A (en) object number distribution estimation method
JP6606242B2 (en) Image processing apparatus, image processing method, and computer program
JP6416741B2 (en) Image processing apparatus, image processing method, and computer program
Patel et al. Improved exemplar based image inpainting using structure tensor
US11302073B2 (en) Method for texturing a 3D model
JP2011113177A (en) Method and program for structuring three-dimensional object model
CN104981841B (en) The method and apparatus of 3D rendering data segmentation
JP6416740B2 (en) Image processing apparatus, image processing method, and computer program
JP6420750B2 (en) Composite information table creation apparatus, composite information table creation method, and computer program
JP6339964B2 (en) Image generating apparatus and computer program
JP2015118611A (en) Image processor, image processing method, and program
JP5495321B2 (en) Method and program for constructing three-dimensional object model
EP2681714A1 (en) An object based segmentation method
JP7012457B2 (en) Image processing device, image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180913

R150 Certificate of patent or registration of utility model

Ref document number: 6404794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150