JP2009118079A - Image evaluating device and image evaluating program - Google Patents

Image evaluating device and image evaluating program Download PDF

Info

Publication number
JP2009118079A
JP2009118079A JP2007287626A JP2007287626A JP2009118079A JP 2009118079 A JP2009118079 A JP 2009118079A JP 2007287626 A JP2007287626 A JP 2007287626A JP 2007287626 A JP2007287626 A JP 2007287626A JP 2009118079 A JP2009118079 A JP 2009118079A
Authority
JP
Japan
Prior art keywords
image
feature amount
frame
threshold
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007287626A
Other languages
Japanese (ja)
Other versions
JP4982331B2 (en
Inventor
Shigeo Abe
成雄 阿部
Haruhiko Tanaka
晴彦 田中
Tomohide Ando
智英 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Systems Inc
Original Assignee
Nikon Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Systems Inc filed Critical Nikon Systems Inc
Priority to JP2007287626A priority Critical patent/JP4982331B2/en
Publication of JP2009118079A publication Critical patent/JP2009118079A/en
Application granted granted Critical
Publication of JP4982331B2 publication Critical patent/JP4982331B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To evaluate the deterioration state of image quality in each frame constituting moving image data. <P>SOLUTION: An image quality evaluating part 103a calculates featured values of each frame in the inputted moving image data, and extracts as the calculation result the distinctive image from the plurality of frames, based on a threshold received from a user on a setting screen. An evaluation result output part 103b displays the calculation result by the image quality evaluating part 103a on the screen by a numerical value (an evaluation value) or a graphic (an indicator). <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、入力された動画像データを評価するための画像評価装置、および画像評価プログラムに関する。   The present invention relates to an image evaluation apparatus and an image evaluation program for evaluating input moving image data.

次のようなデータ解析装置が知られている。このデータ解析装置は、画質の評価対象となる画像と、画質を評価するためのパラメータと、評価結果を示す図表またはグラフと、種々の制御ボタンとを同時に表示する(例えば、特許文献1)。   The following data analysis apparatuses are known. This data analysis apparatus simultaneously displays an image to be evaluated for image quality, a parameter for evaluating image quality, a chart or graph indicating the evaluation result, and various control buttons (for example, Patent Document 1).

特開2005−107766号公報JP-A-2005-107766

しかしながら、従来のデータ解析装置では、画像の評価に用いる閾値を使用者が任意に設定することはできなかった。   However, in the conventional data analysis apparatus, the user cannot arbitrarily set a threshold value used for image evaluation.

本発明による画像評価装置および画像評価プログラムは、入力された動画像データの各フレームの特徴量を算出し、動画像データを構成する複数のフレームの中から特徴的な画像を抽出するための閾値の設定を受け付け、特徴量の算出結果、および受け付けた閾値に基づいて、複数のフレームの中から特徴的な画像を抽出し、特徴量の算出結果を数値または図形により画面上に表示することを特徴とする。
本発明による画像評価装置では、特徴的な画像は、ぼやけ画像、単色調画像、および画像の一部に単色調な領域を含む部分単色調画像のいずれかであることが好ましい。
フレームごとにぼやけ度を表す特徴量を算出し、ぼやけ画像を抽出するための閾値として、ぼやけ度を表す特徴量の最小値および最大値の設定を受け付け、算出したぼやけ度を表す特徴量が、最小値と最大値とで示される範囲内にあるときに、そのフレームをぼやけ画像として抽出するようにしてもよい。
フレームの各画素ごとに単色調画像を表す特徴量を算出し、単色調画像を抽出するための閾値として、単色調画像を表す特徴量の最小値および最大値の設定を受け付け、フレーム内の全画素において、算出した単色調度を表す特徴量が最小値と最大値とで示される範囲内にあるときに、そのフレームを単色調画像として抽出するようにしてもよい。
フレームの各画素ごとに部分単色調画像を表す特徴量を算出し、部分単色調画像を抽出するための閾値として、部分単色調画像を表す特徴量の最小値および最大値の設定を受け付け、フレーム内に設定した少なくとも1つの領域内の全画素において、算出した部分単色調度を表す特徴量が最小値と最大値とで示される範囲内にあるときに、そのフレームを部分単色調画像として抽出するようにしてもよい。
入力された動画像データを表示した第1の表示領域、抽出した特徴画像を表示した第2の表示領域、特徴量の算出結果を数値または図形により表示し、さらに各フレームごとに特徴画像か否かの判定結果を表示した第3の表示領域、および動画像データの評価結果をグラフ表示した第4の表示領域を一画面上に表示するようにしてもよい。
第1の表示領域、第2の表示領域、第3の表示領域、および第4の表示領域のそれぞれの表示領域への表示内容を同期させるようにしてもよい。
使用者からの指示に基づいて、第1の表示領域、第2の表示領域、第3の表示領域、および第4の表示領域のいずれか1つ以上を非表示にするようにしてもよい。
An image evaluation apparatus and an image evaluation program according to the present invention calculate a feature amount of each frame of input moving image data, and extract a characteristic image from a plurality of frames constituting the moving image data. A characteristic image is extracted from a plurality of frames based on the feature value calculation result and the received threshold value, and the feature value calculation result is displayed on the screen as a numerical value or a figure. Features.
In the image evaluation apparatus according to the present invention, the characteristic image is preferably any one of a blurred image, a monochromatic image, and a partial monochromatic image including a monochromatic area in a part of the image.
The feature amount representing the blur level is calculated for each frame, and the setting of the minimum value and the maximum value of the feature amount representing the blur level is accepted as a threshold for extracting the blur image. When it is within the range indicated by the minimum value and the maximum value, the frame may be extracted as a blurred image.
A feature value representing a monochromatic image is calculated for each pixel of the frame, and setting of minimum and maximum values of the feature value representing the monochromatic image is accepted as a threshold for extracting the monochromatic image, and all the features in the frame are received. When the feature amount representing the calculated monochromatic tone is within the range indicated by the minimum value and the maximum value in the pixel, the frame may be extracted as a monochromatic image.
A feature amount representing a partial monochromatic image is calculated for each pixel of the frame, and a minimum value and a maximum value setting of the feature amount representing the partial monochromatic image are accepted as a threshold for extracting the partial monochromatic image, and the frame When all of the pixels in at least one region set within are within the range indicated by the minimum value and the maximum value, the frame is extracted as a partial monochromatic image. You may do it.
The first display area that displays the input moving image data, the second display area that displays the extracted feature image, the calculation result of the feature value is displayed as a numerical value or a figure, and whether or not the feature image exists for each frame. The third display area displaying the determination result and the fourth display area displaying the evaluation result of the moving image data in a graph may be displayed on one screen.
You may make it synchronize the display content to each display area of a 1st display area, a 2nd display area, a 3rd display area, and a 4th display area.
Based on an instruction from the user, any one or more of the first display area, the second display area, the third display area, and the fourth display area may be hidden.

本発明によれば、画像の評価に用いる閾値を使用者が任意に設定することができる。   According to the present invention, a user can arbitrarily set a threshold used for image evaluation.

図1は、本実施の形態における画像評価装置の一実施の形態の構成を示すブロック図である。画像評価装置100は、例えばパソコン(パーソナルコンピュータ)であって、操作部材101と、接続IF(インターフェース)102と、制御装置103と、HDD(ハードディスクドライブ)104と、モニタ105とを備えている。   FIG. 1 is a block diagram showing a configuration of an embodiment of an image evaluation apparatus according to the present embodiment. The image evaluation apparatus 100 is, for example, a personal computer, and includes an operation member 101, a connection IF (interface) 102, a control device 103, an HDD (hard disk drive) 104, and a monitor 105.

操作部材101は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続IF102は、デジタルカメラなどの外部装置を接続するためのインターフェースであって、例えばデジタルカメラやビデオカメラと有線接続を行うためのUSBインターフェースや、無線接続を行うための無線LANモジュールなどが使用される。本実施の形態では、例えば、この接続IF102を介して動画撮影が可能なデジタルカメラ、またはビデオカメラから動画像データが取り込まれる。   The operation member 101 includes various devices operated by the user, such as a keyboard and a mouse. The connection IF 102 is an interface for connecting an external device such as a digital camera. For example, a USB interface for performing a wired connection with a digital camera or a video camera, a wireless LAN module for performing a wireless connection, or the like is used. The In the present embodiment, for example, moving image data is taken in from a digital camera or a video camera capable of moving image shooting via the connection IF 102.

HDD104は、接続IF102を介して取り込まれた動画像データや、制御装置103で実行される種々のプログラム等を記録するための記録装置である。本実施の形態では、HDD104には、動画像データは、例えば、動画撮影機能付きのデジタルカメラやデジタルビデオカメラで撮影された所定フォーマットの動画像データが記録されているものとする。なお、本実施の形態では、動画像データのフォーマットは、YUVフォーマットであるものとする。モニタ105は、例えば液晶モニタであって、制御装置103から出力される表示用データを表示する。   The HDD 104 is a recording device for recording moving image data captured via the connection IF 102, various programs executed by the control device 103, and the like. In the present embodiment, it is assumed that the moving image data is recorded in the HDD 104 as a moving image data of a predetermined format, for example, taken by a digital camera with a moving image shooting function or a digital video camera. In the present embodiment, it is assumed that the moving image data format is the YUV format. The monitor 105 is a liquid crystal monitor, for example, and displays display data output from the control device 103.

制御装置103は、CPU、メモリ、およびその他の周辺回路によって構成され、画質評価部103aと、評価結果出力部103bとを機能的に備えている。画質評価部103aは、HDD104に記録されている動画像データを構成する複数フレームの中から、特徴的なフレーム(特徴的な画像)を抽出する。本実施の形態では、特徴的なフレームとして、ぼやけた画像、フレーム全体が単色調の画像、およびフレーム内の一部の領域が単色調の画像を抽出する。   The control device 103 includes a CPU, a memory, and other peripheral circuits, and functionally includes an image quality evaluation unit 103a and an evaluation result output unit 103b. The image quality evaluation unit 103 a extracts a characteristic frame (characteristic image) from a plurality of frames constituting the moving image data recorded in the HDD 104. In this embodiment, as a characteristic frame, a blurred image, an image in which the entire frame is monochromatic, and an image in which a part of the area in the frame is monochromatic are extracted.

ここで、フレーム全体が単色調の画像とは、フレーム全体が、所定範囲内の輝度、色、または濃度であることにより、単色の画像とみなすことができる画像をいう。本実施の形態では、動画像データを構成する複数フレームの中から、エンコード時の不具合により、ブラックアウトしたフレームを抽出することを目的とする。なお、エンコード時の不具合により発生するブラックアウトしたフレームは、必ずしも画像全体が黒色の単一色であるとは限らず、画像全体として黒っぽい場合や、緑っぽい場合などもある。このため、本実施の形態では、後述するようにブラックアウトしたフレームとして判定するための閾値を使用者が任意に設定できるようにする。   Here, the entire frame having a single color tone means an image that can be regarded as a single color image when the entire frame has luminance, color, or density within a predetermined range. An object of the present embodiment is to extract a blackout frame due to a malfunction during encoding from a plurality of frames constituting moving image data. It should be noted that a blacked-out frame generated due to a problem during encoding is not always a single black image, and may be blackish or greenish as a whole image. For this reason, in the present embodiment, as described later, the user can arbitrarily set a threshold for determining as a blackout frame.

そして、画質評価部103aは、フレーム中の全画素の画素値が、閾値によって設定された範囲内にある場合には、そのフレームはフレーム全体が単色調の画像であり、ブラックアウトしたフレームであると判断する。また、フレーム内の一部の領域が単色調の画像とは、フレーム内の一部の領域内の画像が上述した単色調の画像であるフレームをいう。なお、本実施の形態では、ぼやけた画像をぼやけ画像、フレーム全体が単色調の画像をブラックアウト画像、フレーム内の一部の領域が単色調の画像を部分ブラックアウト画像と呼ぶことにする。   When the pixel values of all the pixels in the frame are within the range set by the threshold value, the image quality evaluation unit 103a is a black-out frame that is a monochrome image as a whole. Judge. An image in which a part of the area in the frame is monochromatic means a frame in which the image in the part of the area in the frame is the above-described monotone image. In the present embodiment, a blurred image is referred to as a blurred image, an image in which the entire frame is monochromatic, a blackout image, and an image in which a part of the frame is monochromatic is referred to as a partial blackout image.

評価結果出力部103bは、図2に示すようなメイン画面をモニタ105上に表示する。このメイン画面上には、評価対象となる動画像データ(入力映像)を表示するための評価画像表示ウィンドウ2aと、評価画像表示ウィンドウ2aに表示中のフレームから抽出された特徴的な画像を表示するための特徴画像表示ウィンドウ2bと、画質評価部103aによる動画像データの評価結果をリスト表示するための評価結果リスト表示ウィンドウ2cと、画質評価部103aによる動画像データの評価結果をグラフ表示するための評価結果グラフ表示ウィンドウ2dとが配置されている。   The evaluation result output unit 103b displays a main screen as shown in FIG. On this main screen, an evaluation image display window 2a for displaying moving image data (input video) to be evaluated and a characteristic image extracted from a frame being displayed in the evaluation image display window 2a are displayed. A feature image display window 2b, an evaluation result list display window 2c for displaying a list of evaluation results of moving image data by the image quality evaluation unit 103a, and a graph of the evaluation result of moving image data by the image quality evaluation unit 103a. An evaluation result graph display window 2d for this purpose is arranged.

なお、特徴画像表示ウィンドウ2b内に、上述したぼけ画像、ブラックアウト画像、および部分ブラックアウト画像のいずれの特徴画像を表示するかは、使用者が切り替え可能である。また、使用者は、これらのウィンドウのうち、いずれか1つ以上を選択して非表示に設定することができる。評価結果出力部103bは、使用者によって非表示にするように設定されたウィンドウを、画面上から消去して非表示する。   Note that the user can switch which of the above-described blurred image, blackout image, and partial blackout image is displayed in the feature image display window 2b. Further, the user can select any one or more of these windows and set them to non-display. The evaluation result output unit 103b erases and hides the window set to be hidden by the user from the screen.

評価結果出力部103bは、このメイン画面上の各ウィンドウの表示内容の同期をとる。すなわち、評価画像表示ウィンドウ2aに動画像データを構成する1フレームが表示されている場合には、特徴画像表示ウィンドウ2bには、そのフレームから抽出した特徴画像を表示する。また、評価結果リスト表示ウィンドウ2cには、そのフレームについての評価結果を表示し、評価結果グラフ表示ウィンドウ2dのグラフをそのフレームについての評価結果を加えたものに更新する。そして、評価結果出力部103bは、評価画像表示ウィンドウ2aに表示されるフレームが次にフレームに切り替わると、他のウィンドウの表示も同時に次のフレームに関するものに切り替える。   The evaluation result output unit 103b synchronizes the display contents of each window on the main screen. That is, when one frame constituting moving image data is displayed in the evaluation image display window 2a, the feature image extracted from the frame is displayed in the feature image display window 2b. Further, the evaluation result list display window 2c displays the evaluation result for the frame, and the graph of the evaluation result graph display window 2d is updated to the one added with the evaluation result for the frame. Then, when the frame displayed in the evaluation image display window 2a is switched to the next frame, the evaluation result output unit 103b switches the display of the other window to the one related to the next frame at the same time.

なお、図2に示す例では、ピクセル値表示ウィンドウ2eおよびメインコンソール2fもメイン画面上に配置されているが、これらは本発明の特徴的部分ではないため、説明を省略する。   In the example shown in FIG. 2, the pixel value display window 2e and the main console 2f are also arranged on the main screen. However, these are not characteristic portions of the present invention, and thus the description thereof is omitted.

以下、画質評価部103aが動画像データを構成する複数フレームの中から、(A)ぼやけ画像、(B)ブラックアウト画像、および(C)部分ブラックアウト画像のそれぞれを抽出する方法について説明する。なお、以下の説明では、各フレームの画像サイズは、M×N(pixel)であるものとする。   Hereinafter, a method in which the image quality evaluation unit 103a extracts each of (A) a blurred image, (B) a blackout image, and (C) a partial blackout image from a plurality of frames constituting moving image data will be described. In the following description, it is assumed that the image size of each frame is M × N (pixel).

本実施の形態では、使用者は、各フレームに対して、ぼやけ画像を抽出するためのぼやけ度評価、ブラックアウト画像を抽出するためのブラックアウト評価、および部分ブラックアウト画像を抽出するための部分ブラックアウト評価のいずれを実行するかをあらかじめ設定する。例えば、使用者は、図3に示す設定画面上に表示された各評価項目の中から、評価を行いたい項目を選択し、操作部材101を操作してチェック欄3aにチェックを入れる。画質評価部103aは、この図3の設定画面上で使用者によって選択された評価項目について、以下の処理を実行して評価を行う。   In the present embodiment, for each frame, the user evaluates the degree of blur for extracting a blurred image, blackout evaluation for extracting a blackout image, and a portion for extracting a partial blackout image. Preset which of the blackout evaluations to perform. For example, the user selects an item to be evaluated from among the evaluation items displayed on the setting screen shown in FIG. 3, operates the operation member 101, and puts a check in the check column 3a. The image quality evaluation unit 103a executes the following processing to evaluate the evaluation item selected by the user on the setting screen of FIG.

なお、この図3に示す設定画面上では、使用者は、評価値算出方法選択欄3bで評価値の算出方法を選択することができる。本実施の形態では、使用者は、後述するように閾値に基づいて評価値を算出する方法(閾値から求める)、係数に基づいて閾値を算出する方法(係数から求める)、および評価値を算出しない(求めない)のいずれかを選択することができる。また、使用者は、「ファイルに保存」ボタン3cを押下してこの設定画面上での設定内容をファイルに保存することができ、「ファイルから読込」ボタン3dを押下して、既に設定内容を保存してあるファイルを読み込んで、その設定内容を反映させることもできる。使用者は、設定が完了した場合には、「OK」ボタン3eを押下して設定を確定する。   On the setting screen shown in FIG. 3, the user can select an evaluation value calculation method in the evaluation value calculation method selection field 3b. In the present embodiment, as described later, the user calculates an evaluation value based on a threshold (determined from the threshold), calculates a threshold based on a coefficient (determines from the coefficient), and calculates an evaluation value. It is possible to select either not (not required). Further, the user can save the setting contents on this setting screen to a file by pressing the “save to file” button 3c. The user can press the “read from file” button 3d to save the setting contents. You can also read saved files and reflect the settings. When the setting is completed, the user presses the “OK” button 3e to confirm the setting.

(A)ぼやけ画像の抽出方法
画質評価部103aは、各フレームに対して図4(a)に示す水平方向Sobelフィルタをかけて、垂直方向の成分を検出した画像V(i,j)を得る。また、画像に対して図4(b)に示す垂直方向Sobelフィルタをかけて、水平方向の成分を検出した画像H(i,j)を得る。そして、次式(1)により、この画像V(i,j)とH(i,j)とに基づいて、水平方向および垂直方向の微分画像を合成したエッジ画像R(i,j)を算出する。

Figure 2009118079
(A) Blurred Image Extraction Method The image quality evaluation unit 103a applies a horizontal Sobel filter shown in FIG. 4A to each frame to obtain an image V (i, j) in which a vertical component is detected. . Further, an image H (i, j) in which a horizontal component is detected is obtained by applying a vertical Sobel filter shown in FIG. 4B to the image. Then, an edge image R (i, j) obtained by synthesizing the differential images in the horizontal direction and the vertical direction is calculated based on the image V (i, j) and H (i, j) by the following expression (1). To do.
Figure 2009118079

そして、このエッジ画像R(i,j)を用いて、次式(2)により、フレーム内のエッジの度合いを示す特徴量であるエッジ度SIを算出することができる。

Figure 2009118079
なお、このエッジ度SIは、エッジ画像R(i,j)の標準偏差であり、その値が大きいほどぼやけの度合いは低く、その値が大きいほどぼやけの度合いが高くなる。 Then, using the edge image R (i, j), the edge degree SI that is a feature amount indicating the degree of the edge in the frame can be calculated by the following equation (2).
Figure 2009118079
The edge degree SI is a standard deviation of the edge image R (i, j). The larger the value, the lower the degree of blurring, and the larger the value, the higher the degree of blurring.

したがって、画質評価部103aは、式(2)により算出したエッジ度SIが、設定された閾値によって決定される範囲内にある場合には、そのフレームはぼやけ画像であると評価し、そのフレームをぼやけ画像として抽出する。なお、ぼやけ画像とするか否かの判断度合いは、人によって異なるため、このときに用いる閾値は、使用者が任意に設定できるものとする。例えば、使用者は、図5に示す設定画面上で、ぼやけ画像として判定する最小の閾値U1と、最大の閾値U2を入力して指定することができる。画質評価部103aは、算出したエッジ度SIが、ここで指定された閾値U1からU2の範囲内にある場合には、そのフレームはぼやけ画像であると判定する。   Therefore, when the edge degree SI calculated by the equation (2) is within the range determined by the set threshold, the image quality evaluation unit 103a evaluates the frame as a blurred image, and determines the frame as Extract as a blurred image. Note that since the degree of determination as to whether or not to make a blurred image varies depending on the person, the threshold used at this time can be arbitrarily set by the user. For example, the user can input and specify the minimum threshold value U1 and the maximum threshold value U2 determined as a blurred image on the setting screen shown in FIG. The image quality evaluation unit 103a determines that the frame is a blurred image when the calculated edge degree SI is within the range of the threshold values U1 to U2 specified here.

なお、この図5に示した設定画面上では、使用者は、後述するように、評価結果出力部103bが、ぼやけ度の評価結果をインジケーターを用いて表示するために用いる閾値5aから5gと、評価結果出力部103bが、ぼやけ度の評価結果を評価値を用いて表示するために用いる閾値5hから5oを設定することができる。   On the setting screen shown in FIG. 5, the user, as will be described later, threshold values 5a to 5g used by the evaluation result output unit 103b to display the evaluation result of the blur level using an indicator, The evaluation result output unit 103b can set threshold values 5h to 5o used for displaying the evaluation result of the blur level using the evaluation value.

評価結果出力部103bは、図2の評価結果リスト表示ウィンドウ2c内のインジケーター表示欄2g内に、エッジ度SIの大きさに基づいてぼやけ度を複数段階に色分けしたインジケーターを表示する。このため、使用者は、図5に示した設定画面上で、インジケーターの色が変化する境界の値を閾値として設定する。図5では、インジケーターは、領域5pから領域5uの各領域がそれぞれ異なる色で表示され、表示されるインジケーターが長いほどエッジ度SIは低い、すなわちフレームのぼやけ度は高いことを示す。逆に、表示されるインジケーターが短いほど、エッジ度SIは高い、すなわちフレームのぼやけ度は低いことを示す。   The evaluation result output unit 103b displays, in the indicator display field 2g in the evaluation result list display window 2c of FIG. 2, an indicator in which the degree of blur is color-coded in a plurality of stages based on the magnitude of the edge degree SI. For this reason, the user sets a boundary value at which the color of the indicator changes as a threshold on the setting screen shown in FIG. In FIG. 5, each of the areas 5p to 5u is displayed in a different color, and the longer the displayed indicator is, the lower the edge degree SI is, that is, the higher the degree of blur of the frame is. Conversely, the shorter the displayed indicator, the higher the edge degree SI, that is, the lower the blurring degree of the frame.

この図5の例では、使用者は、領域5pの最小値を閾値5aに設定し、領域5pと5qとの境界を閾値5bに設定する。同様に、領域5qと5rとの境界を閾値5cに設定し、領域5rと5sとの境界を閾値5dに設定し、領域5sと5tとの境界を閾値5eに設定する。また、領域5tと5uとの境界を閾値5fに設定し、領域5uの最大値を閾値5gに設定する。   In the example of FIG. 5, the user sets the minimum value of the region 5p to the threshold value 5a, and sets the boundary between the regions 5p and 5q to the threshold value 5b. Similarly, the boundary between the regions 5q and 5r is set to the threshold value 5c, the boundary between the regions 5r and 5s is set to the threshold value 5d, and the boundary between the regions 5s and 5t is set to the threshold value 5e. Further, the boundary between the regions 5t and 5u is set to the threshold value 5f, and the maximum value of the region 5u is set to the threshold value 5g.

また、使用者は、閾値5hから5oには、エッジ度SIに基づいてぼやけ度の評価結果を評価値により表示するために用いる閾値を設定する。この評価値の閾値は、上述したインジケーターの閾値に対応して設定される。すなわち、図5の例では、エッジ度SIが閾値5a以下のときの評価値を閾値5hに設定する。また、エッジ度SIが閾値5a以上5b未満のときの評価値を閾値5iに設定する。同様に、エッジ度SIが閾値5b以上5c未満のときの評価値を閾値5jに、エッジ度SIが閾値5c以上5d未満のときの評価値を閾値5kに、エッジ度SIが閾値5d以上5e未満のときの評価値を閾値5lに設定する。また、エッジ度SIが閾値5e以上5f未満のときの評価値を閾値5mに、エッジ度SIが閾値5f以上5g未満のときの評価値を閾値5nに、エッジ度SIが閾値5g以上のときの評価値を閾値5oに設定する。   Further, the user sets a threshold value used for displaying the evaluation result of the blur level as an evaluation value based on the edge degree SI in the threshold values 5h to 5o. The threshold value of the evaluation value is set corresponding to the threshold value of the indicator described above. That is, in the example of FIG. 5, the evaluation value when the edge degree SI is equal to or less than the threshold value 5a is set to the threshold value 5h. The evaluation value when the edge degree SI is not less than the threshold value 5a and less than 5b is set to the threshold value 5i. Similarly, the evaluation value when the edge degree SI is the threshold value 5b or more and less than 5c is the threshold value 5j, the evaluation value when the edge degree SI is the threshold value 5c or more and less than 5d is the threshold value 5k, and the edge degree SI is the threshold value 5d or more and less than 5e. The evaluation value at this time is set to the threshold value 5l. The evaluation value when the edge degree SI is not less than the threshold value 5e and less than 5f is the threshold value 5m, the evaluation value when the edge degree SI is not less than the threshold value 5f and less than 5g is the threshold value 5n, and the evaluation value when the edge degree SI is the threshold value 5g or more. The evaluation value is set to the threshold value 5o.

使用者は、この設定画面上での設定が完了した場合には、「OK」ボタン5wを押下することによって、設定内容を確定することができる。また、「キャンセル」ボタン5xを押下することによって、設定内容を確定せずに設定画面を閉じることができる。また、「初期値に戻す」ボタン5vを押下することによって、設定内容をキャンセルして各入力欄の値を初期値に戻すことができる。   When the setting on the setting screen is completed, the user can confirm the setting contents by pressing the “OK” button 5w. Also, by pressing the “Cancel” button 5x, the setting screen can be closed without confirming the setting contents. Further, by pressing the “return to initial value” button 5v, the setting contents can be canceled and the values in the respective input fields can be returned to the initial values.

評価結果出力部103bは、画質評価部103aによる各フレームごとのぼやけ画像か否かの判定結果を、図2に示したメイン画面上の評価結果リスト表示ウィンドウ2c内のNG判定表示欄2h内に表示する。例えば、評価結果出力部103bは、ぼやけ画像と判定されたフレームに対応するNG判定表示欄2h内に「NG」を表示する。このとき、評価結果出力部103bは、対応するフレームを表示行の背景色を変更したり、文字の表示色を変更したり、文字を点滅表示させるなどしてもよい。   The evaluation result output unit 103b displays the determination result as to whether or not each frame is a blurred image by the image quality evaluation unit 103a in the NG determination display field 2h in the evaluation result list display window 2c on the main screen shown in FIG. indicate. For example, the evaluation result output unit 103b displays “NG” in the NG determination display field 2h corresponding to the frame determined to be a blurred image. At this time, the evaluation result output unit 103b may change the background color of the display line of the corresponding frame, change the display color of the character, or blink the character.

また、評価結果出力部103bは、画質評価部103aによって算出されたエッジ度SIの大きさ、および図5の設定画面上で設定された閾値5aから5gに基づいて、フレームのぼやけ度の大きさを示すインジケーターを、図2に示した評価結果リスト表示ウィンドウ2c内のインジケーター表示欄2g内に表示する。また、評価結果出力部103bは、画質評価部103aによって算出されたエッジ度SIの大きさ、図5の設定画面上で設定された閾値5aから5g、および閾値5hから5oに基づいて、フレームのぼやけ度の大きさを示す評価値を、図2に示した評価結果リスト表示ウィンドウ2c内の評価値表示欄2i内に表示する。   Further, the evaluation result output unit 103b determines the magnitude of the blur level of the frame based on the magnitude of the edge degree SI calculated by the image quality evaluation unit 103a and the threshold values 5a to 5g set on the setting screen of FIG. Is displayed in the indicator display field 2g in the evaluation result list display window 2c shown in FIG. Further, the evaluation result output unit 103b determines the frame based on the magnitude of the edge degree SI calculated by the image quality evaluation unit 103a, the thresholds 5a to 5g and the thresholds 5h to 5o set on the setting screen of FIG. The evaluation value indicating the magnitude of the blur level is displayed in the evaluation value display field 2i in the evaluation result list display window 2c shown in FIG.

これによって、評価結果出力部103bは、画質評価部103aによる算出結果を、図形(インジケーター)および数値(評価値)により表して表示することができる。なお、本実施の形態では、画質評価部103aによる算出結果をインジケーターと評価値とを用いて表す例について説明したが、いずれか一方のみを用いて表すようにしてもよい。   Accordingly, the evaluation result output unit 103b can display the calculation result by the image quality evaluation unit 103a as a graphic (indicator) and a numerical value (evaluation value). In the present embodiment, the example in which the calculation result by the image quality evaluation unit 103a is expressed using the indicator and the evaluation value is described. However, only one of them may be expressed.

(B)ブラックアウト画像の抽出方法
画質評価部103aは、各フレームの全画素の画素値が、図6で後述する設定画面上で使用者によって設定された閾値の範囲内である場合に、そのフレームはブラックアウト画像であると評価し、そのフレームをブラックアウト画像として抽出する。ここで使用者による閾値の設定方法について説明する。図6は、ブラックアウト画像を抽出するための閾値を設定するための設定画面である。なお、この図6の設定画面で設定される閾値は、(C)で後述する部分ブラックアウト画像を抽出するための閾値としても用いられる。使用者は、図6に示す設定画面上のNG判定対象選択欄6g内で、設定した閾値を用いてブラックアウト画像、部分ブラックアウト画像のそれぞれを抽出対象とするかを設定することができる。
(B) Blackout image extraction method When the pixel value of all the pixels of each frame is within the threshold range set by the user on the setting screen described later with reference to FIG. The frame is evaluated as a blackout image, and the frame is extracted as a blackout image. Here, a method for setting a threshold value by the user will be described. FIG. 6 is a setting screen for setting a threshold for extracting a blackout image. Note that the threshold value set on the setting screen of FIG. 6 is also used as a threshold value for extracting a partial blackout image described later in (C). The user can set whether to extract each of the blackout image and the partial blackout image using the set threshold in the NG determination target selection field 6g on the setting screen shown in FIG.

なお、上述したように、動画像データのフォーマットはYUVフォーマットであるため、図6に示す設定画面では、使用者は、輝度成分であるYと、色差成分であるUおよびVのそれぞれについて閾値を設定する。本実施の形態では、使用者は、図6に示す設定画面でY、U、Vの閾値を複数通り設定することができ、それぞれの閾値の組に名前を付して管理することができる。   As described above, since the format of the moving image data is the YUV format, in the setting screen shown in FIG. 6, the user sets threshold values for Y as a luminance component and U and V as color difference components. Set. In the present embodiment, the user can set a plurality of threshold values for Y, U, and V on the setting screen shown in FIG. 6, and can manage by assigning a name to each threshold set.

なお、閾値の設定方法としては、「下限値−上限値」のように、閾値のとり得る範囲を「−」(ハイフン)で区切って入力する。このとき、使用者は、数値の前に「−」を付することによって、閾値の下限値を0に設定することができる。例えば、閾値を「−16」と入力した場合には、閾値の範囲を0以上16未満に設定できる。また、数値の後に「−」を付することによって、閾値の上限値を256に設定することができる。例えば、閾値を「240−」と入力した場合には、閾値の範囲を240以上256未満に設定できる。数値の前後に「−」を付さない場合には、その数値自体が閾値として設定される。   As a method for setting the threshold value, a range that can be taken by the threshold value, such as “lower limit value−upper limit value”, is divided and input by “−” (hyphen). At this time, the user can set the lower limit value of the threshold value to 0 by adding “-” in front of the numerical value. For example, when “−16” is input as the threshold, the threshold range can be set to 0 or more and less than 16. Further, by adding “−” after the numerical value, the upper limit value of the threshold value can be set to 256. For example, when “240−” is input as the threshold, the threshold range can be set to 240 or more and less than 256. When “−” is not added before and after the numerical value, the numerical value itself is set as a threshold value.

具体的には、使用者は、「追加」ボタン6aを押下することによって、名前を付した閾値の組を追加することができ、追加した内容は画面上の一覧に追加される。また、使用者は、一覧の中から閾値を変更したいレコードを選択した後、「編集」ボタン6bを押下することによって、閾値を変更することができる。また、使用者は、一覧の中から削除したいレコードを選択した後、「削除」ボタン6cを押下することによって、レコードを削除することができる。   Specifically, the user can add a set of named thresholds by pressing the “add” button 6a, and the added content is added to the list on the screen. The user can change the threshold value by selecting the record whose threshold value is to be changed from the list and then pressing the “edit” button 6b. The user can delete a record by selecting a record to be deleted from the list and then pressing the “delete” button 6c.

例えば、図6では、使用者は、黒色の単色調とみなすことができる画像(黒色調画像)をブラックアウト画像として抽出するための閾値の組に「Black」という名前を付して閾値を設定している。この黒色調画像を抽出するための閾値としては、Y成分の閾値として0以上16未満、U成分の閾値として128、V成分の閾値として128が設定されている。   For example, in FIG. 6, the user assigns a name “Black” to a set of threshold values for extracting an image (black tone image) that can be regarded as a black monochrome tone as a blackout image, and sets the threshold value. is doing. As threshold values for extracting the black-tone image, 0 or more and less than 16 are set as the Y component threshold, 128 as the U component threshold, and 128 as the V component threshold.

また、使用者は、緑の単色調とみなすことができる画像(緑色調画像)をブラックアウト画像として抽出するための閾値の組に「Green」という名前を付して閾値を設定し、マゼンダの単色調とみなすことができる画像(マゼンダ調画像)をブラックアウト画像として抽出するための閾値の組に「Magenda」という名前を付して閾値を設定している。なお、それぞれの名称に対する閾値の設定内容は、図示した通りであるため、説明を省略する。   In addition, the user assigns a name “Green” to a set of thresholds for extracting an image (green tone image) that can be regarded as a single green tone (green tone image) as a blackout image, sets the threshold value, and sets magenta A threshold value is set by assigning the name “Maganda” to a set of threshold values for extracting an image (magenta image) that can be regarded as a single color tone as a blackout image. In addition, since the setting content of the threshold value with respect to each name is as showing in figure, description is abbreviate | omitted.

使用者は、この図6に設定する画面上で閾値を設定した後、「初期値に戻す」ボタン6dを押下することによって、設定した閾値をリセットして、それぞれの値を初期値に戻すことができる。また、「OK」ボタン6eを押下することによって、閾値の設定内容を確定することができる。これに対して「キャンセル」ボタン6fを押下することによって、閾値の設定内容をキャンセルして、設定画面を閉じることができる。   After setting the threshold value on the screen set in FIG. 6, the user presses the “reset to initial value” button 6 d to reset the set threshold value and return each value to the initial value. Can do. Further, by pressing the “OK” button 6e, the setting contents of the threshold can be confirmed. On the other hand, by pressing the “cancel” button 6f, the setting contents of the threshold can be canceled and the setting screen can be closed.

画質評価部103aは、使用者によって設定された閾値に基づいて、各フレームがブラックアウト画像であるか否かを判断する。このために、画質評価部103bは、フレーム内の全画素を対象として、Y成分の閾値、U成分の閾値、およびV成分の閾値を用いた判定処理を実行する。具体的には、画質評価部103bは、次のように処理する。   The image quality evaluation unit 103a determines whether each frame is a blackout image based on a threshold set by the user. For this purpose, the image quality evaluation unit 103b executes determination processing using all of the pixels in the frame using the Y component threshold, the U component threshold, and the V component threshold. Specifically, the image quality evaluation unit 103b performs the following process.

画質評価部103bは、各画素の輝度値(Y成分の値)と設定されたY成分の閾値、各画素の青色成分との色差値(U成分の値)と設定されたU成分の閾値、および各画素の赤色成分の色差値(V成分の値)と設定されたV成分の閾値をそれぞれ比較する。このとき、画質評価部103bは、図6に示したように、異なる名称が付された複数の閾値の組が設定されている場合には、それぞれの組の閾値と各画素の輝度値および色差値とを比較する。   The image quality evaluation unit 103b includes a luminance value (Y component value) of each pixel and a set Y component threshold value, a color difference value (U component value) from the blue component of each pixel and a set U component threshold value, Then, the color difference value (V component value) of the red component of each pixel is compared with the set V component threshold value. At this time, as shown in FIG. 6, when a plurality of sets of threshold values with different names are set, the image quality evaluation unit 103b determines the threshold value of each set, the luminance value of each pixel, and the color difference. Compare the value.

そして、画質評価部103bは、フレーム内の全ての画素が、次式(3)から(5)に示す条件を満たす場合には、そのフレームはブラックアウト画像であると評価し、そのフレームをブラックアウト画像として抽出する。
V1≦輝度値<V2 ・・・(3)
V3≦青色成分の色差値<V4 ・・・(4)
V5≦赤色成分の色差値<V6 ・・・(5)
Then, when all the pixels in the frame satisfy the conditions shown in the following equations (3) to (5), the image quality evaluation unit 103b evaluates that the frame is a blackout image, and determines that the frame is black. Extract as an out-image.
V1 ≦ luminance value <V2 (3)
V3 ≦ blue component color difference value <V4 (4)
V5 ≦ color difference value of red component <V6 (5)

なお、式(3)における閾値V1およびV2は、図6の設定画面で設定されたY成分の閾値に基づいて決定され、式(4)における閾値V3およびV4は、図6の設定画面で設定されたU成分の閾値に基づいて決定され、式(5)における閾値V5およびV6は、図6の設定画面で設定されたV成分の閾値に基づいて決定される。例えば、「Black」として設定された閾値を例に説明すると、図6の設定画面で設定されたY成分の閾値は−16であるため、閾値V1=0、閾値V2=16と決定される。また、U成分の閾値は128であるため、閾値V3=128、閾値V4=128+1=129と決定される。V成分の閾値も同様に128であるため、閾値V5=128、閾値V6=128+1=129と決定される。   The threshold values V1 and V2 in equation (3) are determined based on the Y component threshold values set on the setting screen in FIG. 6, and the threshold values V3 and V4 in equation (4) are set on the setting screen in FIG. The threshold values V5 and V6 in the equation (5) are determined based on the V component threshold values set on the setting screen of FIG. For example, the threshold value set as “Black” will be described as an example. Since the Y component threshold value set on the setting screen in FIG. 6 is −16, the threshold value V1 = 0 and the threshold value V2 = 16 are determined. Further, since the U component threshold value is 128, the threshold value V3 = 128 and the threshold value V4 = 128 + 1 = 129 are determined. Similarly, since the threshold value of the V component is 128, the threshold value V5 = 128 and the threshold value V6 = 128 + 1 = 129 are determined.

このように、本実施の形態では、閾値を使用者が任意に設定できることから、閾値の設定方法によっては、フレーム全体が真っ白となったホワイトアウト画像を抽出することもできる。また、その他の色の単色調の画像も抽出することができる。   As described above, in the present embodiment, the user can arbitrarily set the threshold value. Therefore, depending on the threshold setting method, it is possible to extract a white-out image in which the entire frame is completely white. In addition, monochromatic images of other colors can be extracted.

評価結果出力部103bは、画質評価部103aによる各フレームごとのブラックアウト画像か否かの判定結果を、図2に示したメイン画面上の評価結果リスト表示ウィンドウ内のブラックアウト表示欄2j内に表示する。例えば、評価結果出力部103bは、ブラックアウト画像と判定されたフレームに対応するブラックアウト表示欄2j内に「○」を表示する。このとき、評価結果出力部103bは、対応するフレームを表示行の背景色を変更したり、文字の表示色を変更したり、文字を点滅表示させるなどしてもよい。   The evaluation result output unit 103b displays the determination result of whether or not each frame is a blackout image for each frame by the image quality evaluation unit 103a in the blackout display field 2j in the evaluation result list display window on the main screen shown in FIG. indicate. For example, the evaluation result output unit 103b displays “◯” in the blackout display field 2j corresponding to the frame determined to be a blackout image. At this time, the evaluation result output unit 103b may change the background color of the display line of the corresponding frame, change the display color of the character, or blink the character.

(C)部分ブラックアウト画像の抽出方法
画質評価部103aは、フレーム内のm×n(0<m≦M、0<n≦N)の小領域を対象として、ブラックアウト画像と同様の抽出処理を行うことで、各小領域がブラックアウトしているかいなかを判断する。そして、フレーム内にあらかじめ設定された数、例えば1つのブラックアウト領域が含まれている場合には、そのフレームは部分ブラックアウト画像であると判断する。
(C) Partial Blackout Image Extraction Method The image quality evaluation unit 103a uses the same extraction process as that of a blackout image for a small area of m × n (0 <m ≦ M, 0 <n ≦ N) in a frame. To determine whether each small area is blacked out. If a predetermined number, for example, one blackout area is included in the frame, it is determined that the frame is a partial blackout image.

評価結果出力部103bは、画質評価部103aによる各フレームごとの部分ブラックアウト画像か否かの判定結果を、図2に示したメイン画面上の評価結果リスト表示ウィンドウ内の部分ブラックアウト表示欄2k内に表示する。例えば、評価結果出力部103bは、部分ブラックアウト画像と判定されたフレームに対応する部分ブラックアウト表示欄2k内に「○」を表示する。このとき、評価結果出力部103bは、対応するフレームを表示行の背景色を変更したり、文字の表示色を変更したり、文字を点滅表示させるなどしてもよい。   The evaluation result output unit 103b displays the result of determination by the image quality evaluation unit 103a as to whether or not the image is a partial blackout image for each frame, in the partial blackout display field 2k in the evaluation result list display window on the main screen shown in FIG. Display within. For example, the evaluation result output unit 103b displays “◯” in the partial blackout display field 2k corresponding to the frame determined to be the partial blackout image. At this time, the evaluation result output unit 103b may change the background color of the display line of the corresponding frame, change the display color of the character, or blink the character.

図7は、本実施の形態における画像評価装置100の処理を示すフローチャートである。図7に示す処理は、使用者によって評価対象の動画像データが指定され、処理の実行が指示されると起動するプログラムとして制御装置103によって実行される。なお、上述した図3に示した設定画面上での評価項目の選択、および図5、6の各設定画面上での閾値の設定は、使用者によってあらかじめ行われているものとする。   FIG. 7 is a flowchart showing the processing of the image evaluation apparatus 100 in the present embodiment. The process shown in FIG. 7 is executed by the control device 103 as a program to be started when the moving image data to be evaluated is designated by the user and the execution of the process is instructed. It is assumed that the selection of the evaluation item on the setting screen shown in FIG. 3 and the setting of the threshold value on each setting screen in FIGS. 5 and 6 are performed in advance by the user.

ステップS10において、画質評価部103aは、使用者によって設定された閾値を読み込んで、ステップS20へ進む。ステップS20では、画質評価部103aは、動画像データの最初のフレームを読み込んで、ステップS30へ進む。   In step S10, the image quality evaluation unit 103a reads the threshold set by the user, and proceeds to step S20. In step S20, the image quality evaluation unit 103a reads the first frame of the moving image data, and proceeds to step S30.

ステップS30では、画質評価部103aは、(A)ぼやけ画像の抽出方法で上述したように、式(2)により算出したエッジ度SIと使用者によって設定された閾値U1およびU2とを比較して、現在のフレームがぼやけ画像であるか否かを判定する。その結果、ぼやけ画像であると判定した場合には、そのフレームをぼやけ画像として抽出する。その後、ステップS40へ進む。   In step S30, the image quality evaluation unit 103a compares the edge degree SI calculated by the equation (2) with the thresholds U1 and U2 set by the user, as described above in (A) Blur image extraction method. Then, it is determined whether or not the current frame is a blurred image. As a result, when it is determined that the image is a blurred image, the frame is extracted as a blurred image. Thereafter, the process proceeds to step S40.

ステップS40では、画質評価部103aは、(B)ブラックアウト画像の抽出方法で上述したように、式(3)から(5)に基づいて、現在のフレームがブラックアウト画像であるか否かを判定する。その結果、ブラックアウト画像であると判定した場合には、そのフレームをブラックアウト画像として抽出する。その後、ステップS50へ進む。   In step S40, the image quality evaluation unit 103a determines whether or not the current frame is a blackout image based on the equations (3) to (5), as described above in (B) Blackout image extraction method. judge. As a result, when it is determined that the image is a blackout image, the frame is extracted as a blackout image. Thereafter, the process proceeds to step S50.

ステップS50では、画質評価部103aは、画質評価部103aは、(C)部分ブラックアウト画像の抽出方法で上述したように、フレーム内に設定した複数のm×nの小領域の中に、少なくとも1つのブラックアウト領域が含まれているか否かを判定することによって、現在のフレームが部分ブラックアウト画像であるか否かを判定する。その結果、部分ブラックアウト画像であると判定した場合には、そのフレームを部分ブラックアウト画像として抽出する。その後、ステップS60へ進む。   In step S50, the image quality evaluation unit 103a determines that the image quality evaluation unit 103a includes at least a plurality of m × n small regions set in the frame, as described above in (C) the partial blackout image extraction method. By determining whether or not one blackout area is included, it is determined whether or not the current frame is a partial blackout image. As a result, when it is determined that the image is a partial blackout image, the frame is extracted as a partial blackout image. Thereafter, the process proceeds to step S60.

ステップS60では、評価結果出力部103bは、画質評価部103aによる上記処理の結果に基づいて、上述したように図2に示したメイン画面内の各ウィンドウへの表示結果を更新する。すなわち、評価結果出力部103bは、各ウィンドウ内の表示を画質評価部103aによる評価結果を反映させた最新の状態に更新する。その後、ステップS70へ進み、画質評価部103aは、現在入力されているフレームが、動画像データの最終フレームであるか否かを判断する。否定判断した場合には、ステップS80へ進み、画質評価部103aは、動画像データの次フレームを読み込んで、ステップS30へ戻る。これに対して、肯定判断した場合には、処理を終了する。   In step S60, the evaluation result output unit 103b updates the display result on each window in the main screen shown in FIG. 2 as described above based on the result of the above processing by the image quality evaluation unit 103a. In other words, the evaluation result output unit 103b updates the display in each window to the latest state reflecting the evaluation result by the image quality evaluation unit 103a. Thereafter, the process proceeds to step S70, and the image quality evaluation unit 103a determines whether or not the currently input frame is the final frame of the moving image data. If a negative determination is made, the process proceeds to step S80, where the image quality evaluation unit 103a reads the next frame of the moving image data and returns to step S30. On the other hand, when an affirmative determination is made, the process ends.

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
(1)画質評価部103aは、入力された動画像データの各フレームの特徴量を算出し、この算出結果、および設定画面上で使用者から受け付けた閾値に基づいて、複数のフレームの中から特徴的な画像を抽出する。評価結果出力部103bは、画質評価部103aによる算出結果を数値(評価値)または図形(インジケーター)により画面上に表示する。これによって、使用者は、動画像データを構成する複数フレーム内に含まれる特長的な画像を容易に特定することができる。また、使用者は閾値を任意に設定できるため、使用者の望む画像を特徴的な画像として抽出することができる。
According to the present embodiment described above, the following operational effects can be obtained.
(1) The image quality evaluation unit 103a calculates the feature amount of each frame of the input moving image data, and based on the calculation result and the threshold value received from the user on the setting screen, the image quality evaluation unit 103a Extract characteristic images. The evaluation result output unit 103b displays the calculation result by the image quality evaluation unit 103a on the screen as a numerical value (evaluation value) or a figure (indicator). Thereby, the user can easily identify characteristic images included in a plurality of frames constituting the moving image data. Further, since the user can arbitrarily set the threshold value, an image desired by the user can be extracted as a characteristic image.

(2)特徴的な画像は、ぼやけ画像、単色調画像(ブラックアウト画像)、および画像の一部に単色調な領域を含む部分単色調画像(部分ブラックアウト画像)のいずれかであるようにした。これによって、動画像データのエンコード時の不具合によって画質が劣化したフレームを抽出することができる。 (2) The characteristic image is one of a blurred image, a monochromatic image (blackout image), and a partial monochromatic image (partial blackout image) including a monochromatic area in a part of the image. did. As a result, it is possible to extract a frame whose image quality has deteriorated due to a problem during encoding of moving image data.

(3)画質評価部103aは、フレームごとにぼやけ度を表す特徴量としてのエッジ度SIを算出し、設定画面上でエッジ度の閾値の最小値および最大値の設定を受け付け、エッジ度SIが閾値の最小値と最大値とで示される範囲内にあるときに、そのフレームをぼやけ画像として抽出するようにした。これによって、ぼやけ画像とするか否かの判断度合いは人によって異なることを加味して、使用者がぼやけ画像として抽出したいエッジ度の範囲を任意に設定できるようにすることができる。 (3) The image quality evaluation unit 103a calculates the edge degree SI as a feature amount representing the blur level for each frame, accepts the setting of the minimum value and the maximum value of the threshold value of the edge degree on the setting screen, and the edge degree SI is The frame is extracted as a blurred image when it is within the range indicated by the minimum and maximum threshold values. In this way, it is possible to arbitrarily set a range of edge degrees that the user wants to extract as a blurred image, taking into account that the degree of determination as to whether or not to create a blurred image varies depending on the person.

(4)画質評価部103aは、フレームの各画素ごとに単色調画像を表す特徴量として、Y、U、V各成分の値を算出し、設定画面上で各色成分ごとの閾値の最小値および最大値の設定を受け付け、フレーム内の全画素において、全ての色成分の値が閾値の最小値と最大値とで示される範囲内にあるときに、そのフレームをブラックアウト画像として抽出するようにした。これによって、ブラックアウトしたフレームは、必ずしも画像全体が黒色の単一色であるとは限らず、画像全体として黒っぽい場合や、緑っぽい場合などもあることを加味して、使用者が閾値を任意に設定することができる。 (4) The image quality evaluation unit 103a calculates the values of the Y, U, and V components as feature quantities representing a monochromatic image for each pixel of the frame, and sets the minimum threshold value for each color component on the setting screen. Accepts the setting of the maximum value, and extracts the frame as a blackout image when all the color component values are within the range indicated by the minimum value and the maximum value of all the pixels in the frame. did. As a result, the blackout frame does not necessarily have a single black color for the entire image, and the user can arbitrarily set the threshold in consideration of the fact that the entire image may be blackish or greenish. Can be set to

(5)画質評価部103aは、フレームの各画素ごとに部分単色調画像を表す特徴量として、Y、U、V各成分の値を算出し、設定画面上で各色成分ごとの閾値の最小値および最大値の設定を受け付け、フレーム内に設定した少なくとも1つの領域内の全画素において、全ての色成分の値が閾値の最小値と最大値とで示される範囲内にあるときに、そのフレームを部分ブラックアウト画像として抽出するようにした。これによって、部分ブラックアウトしたフレームは、必ずしも画像内の所定領域内が黒色の単一色であるとは限らず、画像内の一部の領域が黒っぽい場合や、緑っぽい場合などもあることを加味して、使用者が閾値を任意に設定することができる。 (5) The image quality evaluation unit 103a calculates the values of the Y, U, and V components as the feature values representing the partial monochromatic image for each pixel of the frame, and the minimum threshold value for each color component on the setting screen When the setting of the maximum value is received and all the color component values are within the range indicated by the minimum value and the maximum value of all the pixels in at least one region set in the frame, the frame Is extracted as a partial blackout image. As a result, a partially blackout frame does not necessarily have a single black color within a predetermined area in the image, and some areas in the image may be blackish or greenish. In addition, the user can arbitrarily set the threshold value.

(6)評価結果出力部103bは、入力された動画像データ(入力映像)を表示するための評価画像表示ウィンドウ2aと、特徴的な画像を表示するための特徴画像表示ウィンドウ2bと、画質評価部103aによる動画像データの評価結果をリスト表示するための評価結果リスト表示ウィンドウ2cと、画質評価部103aによる動画像データの評価結果をグラフ表示するための評価結果グラフ表示ウィンドウ2dとを画面上に表示するようにした。これによって、使用者は、同一画面上で必要な情報を確認することができる。 (6) The evaluation result output unit 103b includes an evaluation image display window 2a for displaying input moving image data (input video), a feature image display window 2b for displaying a characteristic image, and image quality evaluation. An evaluation result list display window 2c for displaying a list of evaluation results of moving image data by the unit 103a, and an evaluation result graph display window 2d for displaying a graph of evaluation results of moving image data by the image quality evaluation unit 103a are displayed on the screen. To be displayed. As a result, the user can confirm necessary information on the same screen.

(7)評価結果出力部103bは、上記各ウィンドウへの表示内容を同期させるようにした。これによって、動画像データのフレームが切り替わるごとに、全てのウィンドウ内の表示内容を最新の内容に更新することができる。 (7) The evaluation result output unit 103b is configured to synchronize the display contents on the windows. Thereby, every time the frame of the moving image data is switched, the display contents in all the windows can be updated to the latest contents.

(8)評価結果出力部103bは、使用者からの指示に基づいて、上記各ウィンドウのいずれか1つ以上を非表示にするようにした。これによって、使用者は、好みに応じていずれかのウィンドウを非表示にすることができる。 (8) The evaluation result output unit 103b does not display any one or more of the windows based on an instruction from the user. As a result, the user can hide any of the windows according to his / her preference.

―変形例―
なお、上述した実施の形態の画像評価装置は、以下のように変形することもできる。
(1)上述した実施の形態では、画質評価部103aは、各画素のY成分、U成分、およびV成分のそれぞれについて閾値と比較を行って、ブラックアウト画像および部分ブラックアウト画像を抽出する例について説明した。しかしながら、画質評価部103aは、RGB等の別の色空間の画素値を閾値と比較することによって、ブラックアウト画像および部分ブラックアウト画像を抽出するようにしてもよい。
-Modification-
The image evaluation apparatus according to the above-described embodiment can be modified as follows.
(1) In the above-described embodiment, the image quality evaluation unit 103a compares the Y component, the U component, and the V component of each pixel with the threshold value and extracts the blackout image and the partial blackout image. Explained. However, the image quality evaluation unit 103a may extract a blackout image and a partial blackout image by comparing pixel values of another color space such as RGB with a threshold value.

(2)上述した実施の形態では、画像評価装置100としてパソコンを用いる例について説明した。しかしながら、本発明における画像評価装置100は、動画像データを再生して表示することができる他の機器に適用することもできる。例えば、動画再生機能を備えたデジタルカメラや携帯電話に適用することで、これらの機器上でも画質の評価を行うことができるようになる。 (2) In the above-described embodiment, an example in which a personal computer is used as the image evaluation apparatus 100 has been described. However, the image evaluation apparatus 100 according to the present invention can also be applied to other devices that can reproduce and display moving image data. For example, when applied to a digital camera or a mobile phone having a moving image playback function, image quality can be evaluated on these devices.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。   Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired.

画像評価装置の一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of an image evaluation apparatus. メイン画面の具体例を示す図である。It is a figure which shows the specific example of a main screen. 評価項目を選択するための設定画面の具体例を示す図である。It is a figure which shows the specific example of the setting screen for selecting an evaluation item. 水平方向Sobelフィルタおよび垂直方向Sobelフィルタの具体例を示す図である。It is a figure which shows the specific example of a horizontal direction Sobel filter and a vertical direction Sobel filter. ぼやけ画像を抽出するための閾値を設定するための設定画面の具体例を示す図である。It is a figure which shows the specific example of the setting screen for setting the threshold value for extracting a blurred image. ブラックアウト画像および部分ブラックアウト画像を抽出するための閾値を設定するための設定画面の具体例を示す図である。It is a figure which shows the specific example of the setting screen for setting the threshold value for extracting a blackout image and a partial blackout image. 画像評価装置100の処理を示すフローチャート図である。It is a flowchart figure which shows the process of the image evaluation apparatus.

符号の説明Explanation of symbols

100 画像評価装置、101 操作部材、102 接続IF、103 制御装置、103a 画質評価部、103b 評価結果出力部、104 HDD、105 モニタ DESCRIPTION OF SYMBOLS 100 Image evaluation apparatus, 101 Operation member, 102 Connection IF, 103 Control apparatus, 103a Image quality evaluation part, 103b Evaluation result output part, 104 HDD, 105 Monitor

Claims (9)

入力された動画像データの各フレームの特徴量を算出する特徴量算出手段と、
前記動画像データを構成する複数のフレームの中から特徴的な画像を抽出するための閾値の設定を受け付ける閾値受付手段と、
前記特徴量算出手段による算出結果、および前記閾値受付手段で受け付けた閾値に基づいて、前記複数のフレームの中から前記特徴的な画像を抽出する特徴画像抽出手段と、
前記特徴量算出手段による算出結果を数値または図形により画面上に表示する表示制御手段とを備えることを特徴とする画像評価装置。
Feature amount calculating means for calculating the feature amount of each frame of the input moving image data;
Threshold receiving means for receiving a setting of a threshold for extracting a characteristic image from a plurality of frames constituting the moving image data;
Feature image extraction means for extracting the characteristic image from the plurality of frames based on a calculation result by the feature amount calculation means and a threshold value received by the threshold value reception means;
An image evaluation apparatus comprising: a display control unit that displays a calculation result by the feature amount calculation unit on a screen as a numerical value or a graphic.
請求項1に記載の画像評価装置において、
前記特徴的な画像は、ぼやけ画像、単色調画像、および画像の一部に単色調な領域を含む部分単色調画像のいずれかであることを特徴とする画像評価装置。
The image evaluation apparatus according to claim 1,
The image evaluation apparatus according to claim 1, wherein the characteristic image is any one of a blurred image, a monochromatic image, and a partial monochromatic image including a monochromatic area in a part of the image.
請求項2に記載の画像評価装置において、
前記特徴量算出手段は、前記フレームごとにぼやけ度を表す特徴量を算出し、
前記閾値受付手段は、ぼやけ画像を抽出するための閾値として、前記ぼやけ度を表す特徴量の最小値および最大値の設定を受け付け、
前記特徴画像抽出手段は、前記特徴量算出手段が算出した前記ぼやけ度を表す特徴量が、前記最小値と前記最大値とで示される範囲内にあるときに、そのフレームを前記ぼやけ画像として抽出することを特徴とする画像評価装置。
The image evaluation apparatus according to claim 2,
The feature amount calculating means calculates a feature amount representing a blurring degree for each frame,
The threshold receiving means receives a setting of a minimum value and a maximum value of a feature amount representing the blur level as a threshold for extracting a blurred image;
The feature image extraction unit extracts the frame as the blurred image when the feature amount representing the blur level calculated by the feature amount calculation unit is within a range indicated by the minimum value and the maximum value. An image evaluation apparatus characterized by:
請求項2または3に記載の画像評価装置において、
前記特徴量算出手段は、前記フレームの各画素ごとに前記単色調画像を表す特徴量を算出し、
前記閾値受付手段は、前記単色調画像を抽出するための閾値として、前記単色調画像を表す特徴量の最小値および最大値の設定を受け付け、
前記特徴画像抽出手段は、前記フレーム内の全画素において、前記特徴量算出手段が算出した前記単色調度を表す特徴量が前記最小値と前記最大値とで示される範囲内にあるときに、そのフレームを前記単色調画像として抽出することを特徴とする画像評価装置。
The image evaluation apparatus according to claim 2 or 3,
The feature amount calculating means calculates a feature amount representing the monochrome image for each pixel of the frame,
The threshold acceptance means accepts setting of a minimum value and a maximum value of a feature amount representing the monochrome image as a threshold for extracting the monochrome image,
The feature image extraction unit is configured such that, for all pixels in the frame, the feature amount representing the monochromaticity calculated by the feature amount calculation unit is within a range indicated by the minimum value and the maximum value. An image evaluation apparatus, wherein a frame is extracted as the monochromatic image.
請求項2〜4のいずれか一項に記載の画像評価装置において、
前記特徴量算出手段は、前記フレームの各画素ごとに前記部分単色調画像を表す特徴量を算出し、
前記閾値受付手段は、前記部分単色調画像を抽出するための閾値として、前記部分単色調画像を表す特徴量の最小値および最大値の設定を受け付け、
前記特徴画像抽出手段は、前記フレーム内に設定した少なくとも1つの領域内の全画素において、前記特徴量算出手段が算出した前記部分単色調度を表す特徴量が前記最小値と前記最大値とで示される範囲内にあるときに、そのフレームを前記部分単色調画像として抽出することを特徴とする画像評価装置。
In the image evaluation apparatus according to any one of claims 2 to 4,
The feature amount calculating means calculates a feature amount representing the partial monochromatic image for each pixel of the frame,
The threshold acceptance means accepts a setting of a minimum value and a maximum value of a feature amount representing the partial monochromatic image as a threshold for extracting the partial monochromatic image;
The feature image extraction unit indicates the feature amount representing the partial monochromaticity calculated by the feature amount calculation unit as the minimum value and the maximum value in all pixels in at least one region set in the frame. When the image is within the range, the frame is extracted as the partial monochromatic image.
請求項1〜5のいずれか一項に記載の画像評価装置において、
前記表示制御手段は、入力された前記動画像データを表示した第1の表示領域、前記特徴画像抽出手段が抽出した前記特徴画像を表示した第2の表示領域、前記特徴量算出手段による算出結果を数値または図形により表示し、さらに各フレームごとに前記特徴画像か否かの判定結果を表示した第3の表示領域、および前記動画像データの評価結果をグラフ表示した第4の表示領域を一画面上に表示することを特徴とする画像評価装置。
In the image evaluation apparatus according to any one of claims 1 to 5,
The display control means includes a first display area that displays the input moving image data, a second display area that displays the feature image extracted by the feature image extraction means, and a calculation result by the feature amount calculation means. Is displayed as a numerical value or a figure, and further, a third display area displaying the determination result as to whether or not the image is the feature image for each frame, and a fourth display area displaying the evaluation result of the moving image data as a graph. An image evaluation apparatus characterized by being displayed on a screen.
請求項6に記載の画像評価装置において、
前記表示制御手段は、前記第1の表示領域、前記第2の表示領域、前記第3の表示領域、および前記第4の表示領域のそれぞれの表示領域への表示内容を同期させることを特徴とする画像評価装置。
The image evaluation apparatus according to claim 6,
The display control means synchronizes display contents on the display areas of the first display area, the second display area, the third display area, and the fourth display area. Image evaluation device.
請求項6または7に記載の画像評価装置において、
前記表示制御手段は、使用者からの指示に基づいて、前記第1の表示領域、前記第2の表示領域、前記第3の表示領域、および前記第4の表示領域のいずれか1つ以上を非表示にすることを特徴とする画像評価装置。
In the image evaluation apparatus according to claim 6 or 7,
The display control means selects one or more of the first display area, the second display area, the third display area, and the fourth display area based on an instruction from a user. An image evaluation apparatus characterized by being hidden.
入力された動画像データの各フレームの特徴量を算出する特徴量算出手順と、
前記動画像データを構成する複数のフレームの中から特徴的な画像を抽出するための閾値の設定を受け付ける閾値受付手順と、
前記特徴量算出手順による算出結果、および前記閾値受付手順で受け付けた閾値に基づいて、前記複数のフレームの中から前記特徴的な画像を抽出する特徴画像抽出手順と、
前記特徴量算出手順による算出結果を数値または図形により画面上に表示する表示制御手順とをコンピューターに実行させるための画像評価プログラム。
A feature amount calculation procedure for calculating the feature amount of each frame of the input moving image data;
A threshold acceptance procedure for accepting a threshold setting for extracting a characteristic image from a plurality of frames constituting the moving image data;
A feature image extraction procedure for extracting the characteristic image from the plurality of frames based on a calculation result of the feature amount calculation procedure and a threshold received in the threshold reception procedure;
An image evaluation program for causing a computer to execute a display control procedure for displaying a calculation result of the feature amount calculation procedure on a screen as a numerical value or a graphic.
JP2007287626A 2007-11-05 2007-11-05 Image evaluation apparatus and image evaluation program Active JP4982331B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007287626A JP4982331B2 (en) 2007-11-05 2007-11-05 Image evaluation apparatus and image evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007287626A JP4982331B2 (en) 2007-11-05 2007-11-05 Image evaluation apparatus and image evaluation program

Publications (2)

Publication Number Publication Date
JP2009118079A true JP2009118079A (en) 2009-05-28
JP4982331B2 JP4982331B2 (en) 2012-07-25

Family

ID=40784726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007287626A Active JP4982331B2 (en) 2007-11-05 2007-11-05 Image evaluation apparatus and image evaluation program

Country Status (1)

Country Link
JP (1) JP4982331B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126418A (en) * 2014-12-26 2016-07-11 サクサ株式会社 Image processing device
JP2019096364A (en) * 2019-03-18 2019-06-20 株式会社ニコン Image evaluation device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337357A (en) * 1993-05-31 1994-12-06 Nireco Corp Automatic focusing device for microscope
JP2006080651A (en) * 2004-09-07 2006-03-23 Canon Inc Imaging apparatus and control method therefor
JP2006174182A (en) * 2004-12-16 2006-06-29 Ricoh Co Ltd Image estimation device, image estimation method, and its recording medium
JP2006287748A (en) * 2005-04-01 2006-10-19 Canon Inc Information processing method and information processing apparatus
JP2007028299A (en) * 2005-07-19 2007-02-01 Hitachi Kokusai Electric Inc Image monitoring system
JP2007128342A (en) * 2005-11-04 2007-05-24 Seiko Epson Corp Image decision device, image decision method and image decision program
JP2007221700A (en) * 2006-02-20 2007-08-30 Nikon Corp Digital camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337357A (en) * 1993-05-31 1994-12-06 Nireco Corp Automatic focusing device for microscope
JP2006080651A (en) * 2004-09-07 2006-03-23 Canon Inc Imaging apparatus and control method therefor
JP2006174182A (en) * 2004-12-16 2006-06-29 Ricoh Co Ltd Image estimation device, image estimation method, and its recording medium
JP2006287748A (en) * 2005-04-01 2006-10-19 Canon Inc Information processing method and information processing apparatus
JP2007028299A (en) * 2005-07-19 2007-02-01 Hitachi Kokusai Electric Inc Image monitoring system
JP2007128342A (en) * 2005-11-04 2007-05-24 Seiko Epson Corp Image decision device, image decision method and image decision program
JP2007221700A (en) * 2006-02-20 2007-08-30 Nikon Corp Digital camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126418A (en) * 2014-12-26 2016-07-11 サクサ株式会社 Image processing device
JP2019096364A (en) * 2019-03-18 2019-06-20 株式会社ニコン Image evaluation device

Also Published As

Publication number Publication date
JP4982331B2 (en) 2012-07-25

Similar Documents

Publication Publication Date Title
JP6279825B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus
JP4895878B2 (en) Representative color extraction method and representative color extraction apparatus
JP2005275977A (en) Image display method, image display device, and image display program
US10528792B2 (en) Display apparatus and display control method for simultaneously displaying a plurality of images
JP2005227897A (en) Method, device, and program for image display
US8427549B2 (en) Apparatus, method, and recording medium for displaying a pixel having a predetermined luminance in an output image to be identifiable from a position
JP2018045396A (en) Image processing apparatus, image processing method, and program
CN110825334A (en) Display control apparatus, control method thereof, and computer readable medium
JP2007053543A (en) Image processor and image processing method
JP4982331B2 (en) Image evaluation apparatus and image evaluation program
JP5095263B2 (en) Image evaluation apparatus and image evaluation program
US20080062268A1 (en) Apparatus, Method and Program for Information Processing
JP5202190B2 (en) Image processing method and image processing apparatus
JP2006246127A (en) Image reproducing method apparatus, and program
JP5124312B2 (en) Image processing program, image processing method, and electronic camera
JP7458806B2 (en) Image processing device and image processing method
JP6566004B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus
JP5212451B2 (en) Region specifying method, region specifying device, program, server, and system
KR100661544B1 (en) Softmenubar color select method of mobile terminal using background image
JP7140511B2 (en) Electronics
JP5234086B2 (en) Region specifying method, region specifying device, program, server, and system
US20200036856A1 (en) Image processing apparatus and image processing method
JP5211864B2 (en) Image processing device
JP4738973B2 (en) Image display processing method, image processing apparatus, and program
JP5730360B2 (en) Display control apparatus, display control apparatus control method, and program

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20101025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110719

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120423

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4982331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250