JP2017005344A - Video quality estimation device, video quality estimation method and program - Google Patents

Video quality estimation device, video quality estimation method and program Download PDF

Info

Publication number
JP2017005344A
JP2017005344A JP2015114651A JP2015114651A JP2017005344A JP 2017005344 A JP2017005344 A JP 2017005344A JP 2015114651 A JP2015114651 A JP 2015114651A JP 2015114651 A JP2015114651 A JP 2015114651A JP 2017005344 A JP2017005344 A JP 2017005344A
Authority
JP
Japan
Prior art keywords
feature amount
difference
frame
pixel information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015114651A
Other languages
Japanese (ja)
Inventor
勇一朗 浦田
Yuichiro Urata
勇一朗 浦田
孝典 林
Takanori Hayashi
孝典 林
征貴 増田
Masataka Masuda
征貴 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015114651A priority Critical patent/JP2017005344A/en
Publication of JP2017005344A publication Critical patent/JP2017005344A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To estimate the difference in video quality before and after transcode with high precision by using a video feature amount in consideration of motion compensation.SOLUTION: A video feature amount calculation device includes a difference generator for generating differential pixel information for preceding and subsequent frames of a video content before transcode, a frame feature amount calculator for calculating the feature amount of the differential pixel information, a motion compensation feature amount calculator 1 for calculating one feature amount based on the feature amount calculated for each frame of a video content, an index calculator 4 for calculating an index representing the quality difference before and after transcode of a video content, and a quality difference estimation unit 5 for calculating an estimation value of the quality difference before and after transcode based on the one feature amount and the index. The differential pixel information represents the difference of pixel information of respective pixels of the preceding and subsequent frames of the video content under the state that the pixels of only one of the frames are displaced in the opposite direction to the motion direction of a picture by the amount corresponding to the motion of the picture between the preceding and subsequent frames.SELECTED DRAWING: Figure 2

Description

本発明は、映像品質差推定装置、映像品質差推定方法、及びプログラムに関する。   The present invention relates to a video quality difference estimation device, a video quality difference estimation method, and a program.

光回線、3G回線、LTE(Long Term Evolution)、無線LAN(Local Area Network)などのネットワーク環境を用いた映像配信サービスが近年急速に普及しており、特に無線通信における映像通信のトラヒック量は、急増すると予測されている。ネットワーク環境では、一度に通信処理できるデータ量に上限があるため、多くのトラヒックが発生すると、ネットワーク回線の輻輳が起きる。輻輳が起きると、通信が中断されたり、速度が十分に確保できずにユーザが通信サービスの利用にストレスを感じたりするため、ユーザの満足度が低下する。輻輳を回避するための対策の一つとして映像データを再圧縮するトランスコード技術が研究開発されている。しかし、トランスコードにより映像データ量を削減すると、画質が低下し、ユーザ体感品質(QoE:Quality of Experience)が低下する。   Video distribution services using network environments such as optical lines, 3G lines, LTE (Long Term Evolution), and wireless LAN (Local Area Network) have been rapidly spreading in recent years. Expected to increase rapidly. In a network environment, there is an upper limit on the amount of data that can be communicated at one time. Therefore, when a lot of traffic occurs, network line congestion occurs. When congestion occurs, communication is interrupted, and the user's satisfaction is reduced because the user feels stressed in using the communication service because the speed cannot be secured sufficiently. As one of the measures for avoiding congestion, transcoding technology for recompressing video data has been researched and developed. However, when the amount of video data is reduced by transcoding, the image quality is lowered and the quality of experience (QoE) is lowered.

快適なQoEでサービスを提供するためには、QoEを定量化(評価)して品質の変動を監視し、ネットワーク設備への投資に反映させたり、トラヒックを制御したりする必要がある。特にユーザが映像コンテンツを作成し共有するサービスでは、トランスコード前の映像でも品質が低い場合があり、この場合にはトランスコードによる圧縮率を下げ、ほとんど映像データを削減しなくても、もともとの映像品質が低いため、トランスコード後の映像品質も低くなってしまう。このため、トランスコード後の映像品質のみでは、トランスコード映像に対する品質監視・管理を適切に行えない。従って、トランスコードに対する品質監視・管理では、トランスコード前後の映像品質の差を把握することが重要である。トランスコード映像に対する品質監視・管理の具体例としては、トランスコード前後の映像の品質差がある一定量を超えていないかを監視したり、映像品質差がある一定量より小さくなるようにトランスコーダの圧縮率を設定して、運用したりすることが考えられる。   In order to provide services with comfortable QoE, it is necessary to quantify (evaluate) QoE, monitor quality fluctuations, reflect it in investment in network equipment, and control traffic. Especially in services where users create and share video content, the quality of the video before transcoding may be low. In this case, even if the video compression is reduced and the video data is reduced, Since the video quality is low, the video quality after transcoding is also low. For this reason, the quality monitoring / management for the transcoded video cannot be performed appropriately only by the video quality after the transcoding. Therefore, it is important to grasp the difference in video quality before and after transcoding in quality monitoring and management for transcoding. Specific examples of quality monitoring and management for transcoded video include monitoring whether the video quality difference before and after transcoding exceeds a certain amount, or transcoding so that the video quality difference becomes smaller than a certain amount. It is conceivable to set the compression rate of the system and operate it.

QoEは、ユーザが映像視聴時に体感する品質を主観的に評価した値が基本となる。しかし、主観品質評価では、評価者が映像を視聴して体感品質を評価しなければならないため、時間的、金銭的なコストの制約から評価できる映像コンテンツの数が限られる。そのため、サービス運用時の品質管理には、映像信号やパケットのヘッダ等の測定可能な物理的なパラメータからQoEを推定する客観品質評価が用いられる。特にトランスコード映像に対する品質監視・管理のためには、トランスコード前の映像に対するQoEと、トランスコード後の映像に対するQoEとの差を推定する客観評価技術が求められる。   QoE is based on a value obtained by subjectively evaluating the quality experienced by a user when viewing a video. However, in the subjective quality evaluation, the evaluator must watch the video and evaluate the quality of experience, so that the number of video contents that can be evaluated is limited due to time and money cost restrictions. For this reason, objective quality evaluation for estimating QoE from measurable physical parameters such as video signals and packet headers is used for quality management during service operation. In particular, for quality monitoring and management of transcoded video, an objective evaluation technique for estimating the difference between QoE for video before transcoding and QoE for video after transcoding is required.

品質の劣化が生じる前後の映像信号を比較して客観品質評価する代表的なものとして、PSNR(Peak signal-to-noise ratio)やSSIM(Structural SIMilarity)がある(非特許文献1)。しかし、PSNRやSSIMとQoEの差との関係(回帰直線の係数)は、映像コンテンツに依存するため、PSNRやSSIM等を用いて高精度にQoEの差の推定を実現するためには、映像コンテンツの特徴を考慮する必要がある。映像コンテンツの特徴を表す指標である映像特徴量として、非特許文献2で定義されている、映像の空間的な特徴量SIと時間的な特徴量TIがよく知られている。   Typical examples of objective quality evaluation by comparing video signals before and after quality degradation include PSNR (Peak signal-to-noise ratio) and SSIM (Structural SIMilarity) (Non-patent Document 1). However, since the relationship between PSNR and the difference between SSIM and QoE (coefficient of regression line) depends on the video content, in order to realize the estimation of QoE difference with high accuracy using PSNR or SSIM, video Content features need to be considered. As a video feature amount that is an index representing a feature of video content, a spatial feature amount SI and a temporal feature amount TI defined in Non-Patent Document 2 are well known.

Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: From error visibility to structural similarity," IEEE Trans. Image Process, vol. 13, no. 4, pp. 600-612, Apr. 2004.Z. Wang, AC Bovik, HR Sheikh, and EP Simoncelli, "Image quality assessment: From error visibility to structural similarity," IEEE Trans. Image Process, vol. 13, no. 4, pp. 600-612, Apr. 2004 . ITU-T Rec. P.910, "Subjective video quality assessment methods for multimedia applications," Apr. 2008.ITU-T Rec. P.910, "Subjective video quality assessment methods for multimedia applications," Apr. 2008.

SSIM等の品質差指標の変化に対するQoEの差の変動は、映像コンテンツ毎の符号化の困難性(符号化による品質劣化の生じやすさ)に依存するため、映像の符号化によって生じる品質劣化を高精度に推定するためには、映像コンテンツ毎の符号化の困難性を考慮する必要がある。   The variation in the difference in QoE with respect to a change in quality difference index such as SSIM depends on the difficulty of encoding for each video content (ease of quality deterioration due to encoding). In order to estimate with high accuracy, it is necessary to consider the difficulty of encoding for each video content.

非特許文献2に記載されている映像特徴量は、空間的な複雑さと時間的な複雑さを表すことができ、それらの組み合わせによって映像の複雑さ(符号化の困難性)をある程度推定可能であるが、現在普及している映像符号化方式(例えば、H.264/AVC)では、動き補償と呼ばれる技術によってデータの圧縮を行っており、SI、TIは、この動き補償を用いる方式の符号化困難性を捉えられていない。   The video feature amount described in Non-Patent Document 2 can express spatial complexity and temporal complexity, and the complexity (encoding difficulty) of the video can be estimated to some extent by a combination thereof. However, in the currently popular video coding method (for example, H.264 / AVC), data is compressed by a technique called motion compensation, and SI and TI are codes of a method using this motion compensation. It is not captured difficulty.

例えば、道路を定点カメラで撮影した映像を考えると、道路等の背景はほとんど変化せず、車や人等の動きが各フレームの違いとなる。動き補償では、背景部分に対しては、前後のフレームのその箇所の画素を参照して差分画像を生成し、それを圧縮する。車や人等のオブジェクトに対しては、その動きの方向・速さ(動きベクトル)を探索し、移動元(又は移動先)の画素を参照して差分画像を生成し、それを圧縮する。SIは、背景が複雑かどうか(多数の葉を持つ木々が映っているか等)を表すが、動き補償による圧縮では前後のフレームを参照するため、背景の複雑さは大きな影響を与えない。TIは、オブジェクトの大きさ、数、移動速度等を表すが、この値が大きくても動きベクトルが正しく発見可能な場合には、動き補償による圧縮によって効率的に圧縮できる。このように、既存の映像特徴量では、現在の符号化方式の符号化困難性を十分に捉えられていない。   For example, when an image obtained by shooting a road with a fixed point camera is considered, the background of the road or the like hardly changes, and the movement of a car or a person becomes a difference between the frames. In motion compensation, a difference image is generated for a background portion with reference to the pixels in that portion of the previous and subsequent frames and compressed. For an object such as a car or a person, the direction and speed (motion vector) of the motion are searched, a difference image is generated with reference to the pixel of the movement source (or movement destination), and the difference image is compressed. SI indicates whether the background is complicated (such as whether trees with many leaves are reflected), but the compression by motion compensation refers to the previous and subsequent frames, so the background complexity does not have a significant effect. The TI represents the size, number, moving speed, etc. of the object. If the motion vector can be found correctly even if this value is large, it can be efficiently compressed by compression by motion compensation. As described above, the existing video feature quantity does not sufficiently capture the difficulty of encoding of the current encoding method.

本発明は、上記の点に鑑みてなされたものであって、動き補償を考慮した映像特徴量を利用して高精度にトランスコード前後の映像品質の差を推定することを目的とする。   The present invention has been made in view of the above points, and an object of the present invention is to estimate a difference in video quality before and after transcoding with high accuracy by using a video feature amount considering motion compensation.

そこで上記課題を解決するため、映像品質差推定装置は、トランスコード前の映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成部と、前記差分画素情報の特徴量を算出するフレーム特徴量算出部と、前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、1つの特徴量を算出する動き補償特徴量算出部と、前記映像コンテンツのトランスコード前後の品質差を示す指標を算出する指標算出部と、前記動き補償特徴量算出部によって算出された特徴量と、前記指標算出部によって算出された指標とに基づいて、前記トランスコード前後の品質差の推定値を算出する品質差推定部と、を有する。   Therefore, in order to solve the above-described problem, the video quality difference estimation apparatus, for the frames before and after the video content before transcoding, sets the pixels of one frame as the motion of the video as much as the video has moved between the previous and next frames. Is a difference generation unit that generates difference pixel information indicating a difference between pixel information of each pixel in the preceding and following frames in a state shifted in the reverse direction, and a frame feature amount calculation unit that calculates a feature amount of the difference pixel information; A motion compensation feature amount calculation unit that calculates one feature amount based on the feature amount calculated for each frame of the video content, and an index that calculates an index indicating a quality difference before and after transcoding of the video content Based on the calculation unit, the feature amount calculated by the motion compensation feature amount calculation unit, and the index calculated by the index calculation unit, Serial having a quality difference estimator that calculates an estimate of the quality difference between before and after transcoding.

動き補償を考慮した映像特徴量を利用して高精度にトランスコード前後の映像品質の差を推定することができる。   It is possible to estimate the difference in video quality before and after transcoding with high accuracy using the video feature amount considering the motion compensation.

本発明の実施の形態における映像品質差推定装置のハードウェア構成例を示す図である。It is a figure which shows the hardware structural example of the video quality difference estimation apparatus in embodiment of this invention. 本発明の実施の形態における映像品質差推定装置の機能構成例を示す図である。It is a figure which shows the function structural example of the video quality difference estimation apparatus in embodiment of this invention. 動き補償特徴量算出部の構成例を示す図である。It is a figure which shows the structural example of a motion compensation feature-value calculation part. 映像品質差推定処理の処理手順の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the process sequence of an image quality difference estimation process. 動き補償特徴量算出処理の処理手順の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the process sequence of a motion compensation feature-value calculation process.

以下、図面に基づいて本発明の実施の形態を説明する。図1は、本発明の実施の形態における映像品質差推定装置のハードウェア構成例を示す図である。図1の映像品質差推定装置10は、それぞれバスBで相互に接続されているドライブ装置100、補助記憶装置102、メモリ装置103、CPU104、及びインタフェース装置105等を有する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating a hardware configuration example of a video quality difference estimation apparatus according to an embodiment of the present invention. The video quality difference estimation device 10 in FIG. 1 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a CPU 104, an interface device 105, and the like that are mutually connected by a bus B.

映像品質差推定装置10での処理を実現するプログラムは、CD−ROM等の記録媒体101によって提供される。プログラムを記憶した記録媒体101がドライブ装置100にセットされると、プログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。但し、プログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置102は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。   A program for realizing processing in the video quality difference estimation apparatus 10 is provided by a recording medium 101 such as a CD-ROM. When the recording medium 101 storing the program is set in the drive device 100, the program is installed from the recording medium 101 to the auxiliary storage device 102 via the drive device 100. However, the program need not be installed from the recording medium 101 and may be downloaded from another computer via a network. The auxiliary storage device 102 stores the installed program and also stores necessary files and data.

メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従って映像品質差推定装置10に係る機能を実行する。インタフェース装置105は、ネットワークに接続するためのインタフェースとして用いられる。   The memory device 103 reads the program from the auxiliary storage device 102 and stores it when there is an instruction to start the program. The CPU 104 executes a function related to the video quality difference estimation device 10 according to a program stored in the memory device 103. The interface device 105 is used as an interface for connecting to a network.

図2は、本発明の実施の形態における映像品質差推定装置の機能構成例を示す図である。図2において、映像品質差推定装置10は、動き補償特徴量算出部1、空間的特徴量算出部2、時間的特徴量算出部3、品質差指標算出部4、及び映像品質差推定部5を有する。   FIG. 2 is a diagram illustrating a functional configuration example of the video quality difference estimation apparatus according to the embodiment of the present invention. In FIG. 2, the video quality difference estimation device 10 includes a motion compensation feature quantity calculation unit 1, a spatial feature quantity calculation unit 2, a temporal feature quantity calculation unit 3, a quality difference index calculation unit 4, and a video quality difference estimation unit 5. Have

動き補償特徴量算出部1には、トランスコード前の映像コンテンツの各フレームが、その順番にしたがって連続的に入力される。当該映像コンテンツのデータ形式は、所定の形式に限定されない。動き補償特徴量算出部1は、当該映像コンテンツについて、符号化の困難性を表す指標として用いられる動き補償特徴量σを算出する。   Each frame of the video content before transcoding is continuously input to the motion compensation feature amount calculation unit 1 according to the order. The data format of the video content is not limited to a predetermined format. The motion compensation feature amount calculation unit 1 calculates a motion compensation feature amount σ that is used as an index representing the difficulty of encoding for the video content.

図3は、動き補償特徴量算出部の構成例を示す図である。図3において、動き補償特徴量算出部1は、ブロック分割部12、差分画像生成部13、ブロック統合部15、フレーム特徴量算出部16、及び特徴量算出部17等を有する。動き補償特徴量算出部1は、また、画素情報記憶部11及びフレーム特徴量記憶部18を有する。画素情報記憶部11及びフレーム特徴量記憶部18は、例えば、メモリ装置103又は補助記憶装置102等を用いて実現可能である。   FIG. 3 is a diagram illustrating a configuration example of the motion compensation feature amount calculation unit. In FIG. 3, the motion compensation feature amount calculation unit 1 includes a block division unit 12, a difference image generation unit 13, a block integration unit 15, a frame feature amount calculation unit 16, a feature amount calculation unit 17, and the like. The motion compensation feature amount calculation unit 1 also includes a pixel information storage unit 11 and a frame feature amount storage unit 18. The pixel information storage unit 11 and the frame feature amount storage unit 18 can be realized using the memory device 103 or the auxiliary storage device 102, for example.

画素情報記憶部11は、入力されるトランスコード前のフレームの画素情報(以下、「トランスコード前フレーム画素情報F」という。)を記憶し、一つ前のトランスコード前フレーム画素情報(過去画素情報)Fn−1を、差分画像生成部13へ入力する。フレームの画素情報とは、例えば、当該フレームの画素ごとの輝度信号Y、色差信号U、V等である。人間は、色差信号の変化よりも輝度信号の変化に敏感であるため、映像品質の分野では主に輝度信号が用いられる。 The pixel information storage unit 11 stores input pixel information of a frame before transcoding (hereinafter referred to as “pre-transcoding frame pixel information F n ”), and stores the previous pre-transcoding frame pixel information (past past). Pixel information) F n−1 is input to the difference image generation unit 13. The pixel information of the frame is, for example, the luminance signal Y, the color difference signals U and V for each pixel of the frame. Since humans are more sensitive to changes in luminance signals than changes in color difference signals, luminance signals are mainly used in the field of video quality.

ブロック分割部12は、入力されるトランスコード前フレーム画素情報Fをブロックに分割し、ブロック画素情報Bn,iとして差分画像生成部13へ入力する。ブロックとは、フレームを一定区画ごとに分割することで形成される単位をいう。ブロックのサイズは、通常16×16であるが、8×8、4×4、32×32、又は64×64が用いられることもある。以下、ブロックのサイズは16×16を想定して記載するが、他のサイズが用いられてもよい。なお、フレームの縦及び横の少なくともいずれか一方の画素数が、16の倍数でない場合、一部のブロックのサイズは、16×16でなくてもよい。 The block dividing unit 12 divides the inputted pre-transcoded frame pixel information F n into blocks, and inputs the block pixel information B n, i to the difference image generating unit 13. A block is a unit formed by dividing a frame into predetermined sections. The block size is typically 16 × 16, but 8 × 8, 4 × 4, 32 × 32, or 64 × 64 may be used. Hereinafter, the block size is described assuming 16 × 16, but other sizes may be used. Note that if the number of pixels in at least one of the vertical and horizontal directions of the frame is not a multiple of 16, the size of some blocks may not be 16 × 16.

差分画像生成部13は、映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す情報を生成する。ここで、フレーム内の映像の動きは、1方向に限られない。フレーム内において複数の部分に動きがある場合、それぞれの部分の移動方向が同じであるとは限らないからである。そこで、差分画像生成部13は、入力される過去画素情報Fn−1とブロック画素情報Bn,iとに基づいて、ブロックごとにブロック差分画素情報DBn,iを算出し、各ブロック差分画素情報DBn,iをブロック統合部15へ入力する。具体的には、フレーム内の位置x、yの画素値をFn−1(x,y)とし、ブロック内の位置x、yの画素値をBn,i(x,y)で表すとすると、差分画像生成部13に含まれる動きベクトル探索部14は、以下の式(1)が最小となるx、yを、ブロックごとに求める。 The difference image generation unit 13 is configured to change the pixels of one frame before and after the frame of the video content in a state in which the pixels of one frame are shifted in the direction opposite to the motion of the video by the amount of movement of the video between the previous and next frames. Information indicating a difference in pixel information of each pixel of the frame is generated. Here, the motion of the video in the frame is not limited to one direction. This is because when there are movements in a plurality of parts in the frame, the movement directions of the respective parts are not necessarily the same. Therefore, the difference image generation unit 13 calculates block difference pixel information DB n, i for each block based on the past pixel information F n−1 and the block pixel information B n, i that are input, and each block difference Pixel information DB n, i is input to the block integration unit 15. Specifically, when the pixel values at the positions x and y in the frame are F n−1 (x, y) and the pixel values at the positions x and y in the block are represented by B n, i (x, y). Then, the motion vector search unit 14 included in the difference image generation unit 13 obtains x and y that minimize the following expression (1) for each block.

Figure 2017005344
式(1)が最小となるようなx、yを探すことを、動きベクトル探索という。この例では、動きベクトルの精度は1pixelであるが、フィルタを用いることで1/2pixelや1/4pixel単位で動きベクトルを探索することもできる。
Figure 2017005344
Searching for x and y that minimizes Equation (1) is called motion vector search. In this example, the accuracy of the motion vector is 1 pixel, but it is also possible to search for the motion vector in units of 1/2 pixel or 1/4 pixel by using a filter.

差分画像生成部13は、動きベクトル探索部14によって探索されたx、yを用いて、以下の代入演算を実行して、ブロックごとにブロック差分画素情報DBn,iを生成する。
DBn,i(j,k)=Fn−1(x+j,y+k)−Bn,i(j,k)
ここで、j=1、2、…、16、k=1、2、…、16
すなわち、ここでの「=」は、代入を意味する。つまり、Fn−1(x+j,y+k)−Bn,i(j,k)の算出結果が、DBn,i(j,k)に代入されることで、ブロック差分画素情報DBn,iが生成される。また、x、yの値は、当該ブロックに関して探索された値が用いられる。生成された各ブロック差分画素情報DBn,iは、ブロック統合部15に入力される。
The difference image generation unit 13 generates the block difference pixel information DB n, i for each block by executing the following substitution operation using x and y searched by the motion vector search unit 14.
DB n, i (j, k) = F n-1 (x + j, y + k) −B n, i (j, k)
Here, j = 1, 2,..., 16, k = 1, 2,.
That is, “=” here means substitution. That is, the block difference pixel information DB n, i is obtained by substituting the calculation result of F n-1 (x + j, y + k) −B n, i (j, k) into DB n, i (j, k). Is generated. Further, as the values of x and y, values searched for the block are used. Each block difference pixel information DB n, i generated is input to the block integration unit 15.

なお、(x+j,y+k)が、フレームの領域外とならないようにするために、0≦x≦フレームの横幅(画素数)−16、0≦y≦フレームの横幅(画素数)−16という制限が設けられてもよい。または、x、yの範囲をもう少し大きな値(−16しないなど)にしたり、(フレームサイズが16の倍数でなく)端数などで、フレームの領域外にアクセスする必要が有る場合には、例えば、領域外の画素値が0にされてもよいし、領域内においてアクセス先に最も近い画素(例えば、隣など)の画素値が参照されて、Fn−1(x+j,y+k)の値が決定されてもよい。 In order to prevent (x + j, y + k) from being outside the frame region, 0 ≦ x ≦ frame width (number of pixels) −16, 0 ≦ y ≦ frame width (number of pixels) −16 May be provided. Alternatively, if the range of x and y is set to a slightly larger value (such as not -16), or the frame area needs to be accessed outside the frame area by a fraction (not a multiple of 16), for example, The pixel value outside the area may be set to 0, or the value of F n−1 (x + j, y + k) is determined by referring to the pixel value of the pixel closest to the access destination (for example, the neighbor) in the area. May be.

ブロック統合部15は、入力された各ブロック差分画素情報DBn,iを統合し、フレーム差分画素情報DFを生成する。各ブロック差分画素情報DBn,iの統合とは、各ブロック差分画素情報DBn,iに係る各ブロックの相対的な位置関係が維持されるように各ブロック差分画素情報DBn,iを配列して、1つのフレーム差分画素情報DFを生成することをいう。生成されたフレーム差分画素情報DFは、フレーム特徴量算出部16に入力される。 The block integration unit 15 integrates each input block difference pixel information DB n, i to generate frame difference pixel information DF n . Each block difference pixel information DB n, the integration of i, each block difference pixel information DB n, i the sequence so that the relative positional relationship of each block difference pixel information DB n, each block of the i is maintained Then, one frame difference pixel information DF n is generated. The generated frame difference pixel information DF n is input to the frame feature amount calculation unit 16.

フレーム特徴量算出部16は、入力されたフレーム差分画素情報DFからフレーム特徴量(DFの各画素値の標準偏差)σを算出する。フレーム特徴量としては、フレーム差分画素情報DFの標準偏差の他に、各画素値の分散や各画素値の二乗平均などが用いられてもよい。算出されたフレーム特徴量σは、特徴量算出部17に入力される。 The frame feature amount calculation unit 16 calculates a frame feature amount (standard deviation of each pixel value of DF n ) σ n from the input frame difference pixel information DF n . The frame feature value, in addition to the standard deviation of the frame difference pixel information DF n, may mean square, etc. employed for the dispersion and the pixel value of each pixel value. The calculated frame feature amount σ n is input to the feature amount calculation unit 17.

特徴量算出部17は、入力されたフレーム特徴量σをフレーム特徴量記憶部18に記憶する。特徴量算出部17は、トランスコード前後の品質差の推定対象とされた映像コンテンツの全てのフレームのフレーム特徴量σがフレーム特徴量記憶部18に記憶されると、全てのフレーム特徴量σに基づいて、1つの動き補償特徴量σを算出する。例えば、全てのフレーム特徴量σの平均値が、動き補償特徴量σとして算出される。 The feature amount calculation unit 17 stores the input frame feature amount σ n in the frame feature amount storage unit 18. When the frame feature value σ n of all the frames of the video content whose quality difference is estimated before and after transcoding is stored in the frame feature value storage unit 18, the feature value calculation unit 17 stores all the frame feature values σ Based on n , one motion compensation feature amount σ is calculated. For example, the average value of all the frame feature values σ n is calculated as the motion compensation feature value σ.

なお、動き補償特徴量σの算出に用いる画素情報としては、通常、輝度の情報が用いられるが、色差の信号やRGBのいずれかの信号が用いられてもよく、また、それぞれnお画素情報に基づいて計算された各動き補償特徴量を重みづけして合計した結果が、動き補償特徴量σとして算出されてもよい。   As the pixel information used to calculate the motion compensation feature quantity σ, luminance information is usually used, but either a color difference signal or RGB signal may be used, and each pixel information A result obtained by weighting and summing each motion compensation feature amount calculated based on the above may be calculated as a motion compensation feature amount σ.

図2に戻る。空間的特徴量算出部2には、トランスコード前の映像コンテンツの各フレームが、その順番にしたがって連続的に入力される。空間的特徴量算出部2は、入力される各フレームのトランスコード前フレーム画素情報Fに基づいて、空間的な特徴量を算出する。例えば、非特許文献2に記載のSIが、空間的特徴量SIとして算出されてもよい。非特許文献2では、フレーム毎の特徴量の最大値をSIとしているが、フレーム毎の特徴量の平均値が、空間的特徴量SIとされてもよい。 Returning to FIG. Each frame of video content before transcoding is continuously input to the spatial feature amount calculation unit 2 in accordance with the order. Spatial feature amount calculation unit 2, based on the transcoding previous frame pixel information F n of each frame input to calculate the spatial feature amount. For example, the SI described in Non-Patent Document 2 may be calculated as the spatial feature amount SI. In Non-Patent Document 2, the maximum feature value for each frame is set as SI, but the average value of the feature values for each frame may be set as the spatial feature value SI.

時間的特徴量算出部3には、トランスコード前の映像コンテンツの各フレームが、その順番にしたがって連続的に入力される。時間的特徴量算出部3は、入力される各フレームのトランスコード前フレーム画素情報Fに基づいて、時間的な特徴量を算出する。例えば、非特許文献2に記載のTIが、時間的特徴量TIとして算出されてもよい。非特許文献2では、フレーム毎の特徴量の最大値をTIとしているが、フレーム毎の特徴量の平均値が、時間的特徴量TIとされてもよい。 The temporal feature amount calculation unit 3 is continuously input with each frame of video content before transcoding in the order. The temporal feature amount calculation unit 3 calculates a temporal feature amount based on the pre-transcoded frame pixel information F n of each input frame. For example, the TI described in Non-Patent Document 2 may be calculated as the temporal feature amount TI. In Non-Patent Document 2, the maximum value of the feature value for each frame is TI, but the average value of the feature values for each frame may be the temporal feature value TI.

品質差指標算出部4には、トランスコード前の映像コンテンツの各フレームと、トランスコード後の映像コンテンツの各フレームとが、その順番にしたがって連続的に入力される。品質差指標算出部4は、入力される各フレームのトランスコード前フレーム画素情報Fと、入力される各フレームのトランスコード後フレーム画素情報F'とに基づいて、品質差指標を算出する。例えばSSIMが品質差指標として算出されてもよい。又は、PSNRが、品質差指標とされてもよく、SSIMとPSNRとの組み合わせが、品質差指標として算出されてもよい。 Each frame of video content before transcoding and each frame of video content after transcoding are continuously input to the quality difference index calculation unit 4 in the order. The quality difference index calculation unit 4 calculates a quality difference index based on the pre-transcoded frame pixel information F n of each input frame and the post-transcoded frame pixel information F ′ n of each input frame. . For example, SSIM may be calculated as a quality difference index. Alternatively, PSNR may be used as a quality difference index, and a combination of SSIM and PSNR may be calculated as a quality difference index.

映像品質差推定部5は、入力された動き補償特徴量σと、空間的特徴量SIと、時間的特徴量TIと、品質差指標SSIMとに基づいて、映像コンテンツのトランスコード前後の品質差の推定値である映像品質差DMOSpを算出する。例えば、以下の式(2)によって、映像品質差DMOSpが算出されてもよい。
DMOSp=(c・σ+c・SI+c・TI+c)・(1−SSIM) ・・・(2)
ここで、c〜cは定数であり、映像品質差推定装置10の設計者が、主観品質評価実験により得られたデータ等に基づいて自由に決めることができる。
The video quality difference estimation unit 5 determines the quality difference before and after transcoding of video content based on the input motion compensation feature quantity σ, spatial feature quantity SI, temporal feature quantity TI, and quality difference index SSIM. A video quality difference DMOSp that is an estimated value of is calculated. For example, the video quality difference DMOSp may be calculated by the following equation (2).
DMOSp = (c 1 · σ + c 2 · SI + c 3 · TI + c 4 ) · (1-SSIM) (2)
Here, c 1 to c 4 are constants, and can be freely determined by the designer of the video quality difference estimation apparatus 10 based on data obtained through subjective quality evaluation experiments.

以下、映像品質差推定装置10が実行する処理手順について説明する。図4は、映像品質差推定処理の処理手順の一例を説明するためのフローチャートである。   Hereinafter, a processing procedure executed by the video quality difference estimation device 10 will be described. FIG. 4 is a flowchart for explaining an example of the processing procedure of the video quality difference estimation processing.

ステップS1−1において、動き補償特徴量算出部1は、映像品質差の推定対象の映像コンテンツ(以下、「対象コンテンツ」という。)について、動き補償特徴量σを算出する。   In step S <b> 1-1, the motion compensation feature quantity calculation unit 1 calculates a motion compensation feature quantity σ for video content for which a video quality difference is to be estimated (hereinafter referred to as “target content”).

また、空間的特徴量算出部2は、トランスコード前フレーム画素情報Fの入力に応じて空間的特量SIの算出のための処理手順を開始し、算出された空間的特徴量SIを出力する(ステップS1−2)。 In addition, the spatial feature amount calculation unit 2 starts a processing procedure for calculating the spatial feature amount SI in response to the input of the pre-transcoding frame pixel information F n and outputs the calculated spatial feature amount SI. (Step S1-2).

また、時間的特徴量算出部3は、トランスコード前フレーム画素情報Fの入力に応じて時間的特徴量TIの算出のための処理手順を開始し、算出された時間的特徴量TIを出力する(ステップS1−3)。 Further, the temporal feature amount calculation unit 3 starts the processing procedure for calculating the temporal feature amount TI in accordance with the input of the transcoding previous frame pixel information F n, it outputs the temporal feature amount TI calculated (Step S1-3).

また、品質差指標算出部4は、トランスコード前フレーム画素情報Fとトランスコード後フレーム画素情報F'との入力に応じて、映像品質差指標SSIMを出力する(ステップS1−4)。 Further, the quality difference index calculation unit 4 outputs the video quality difference index SSIM in response to the input of the pre-transcoding frame pixel information F n and the post-transcoding frame pixel information F ′ n (step S1-4).

続いて、映像品質差推定部5は、動き補償特徴量算出部1によって算出された動き補償特徴量σと、空間的特徴量算出部2によって算出された空間的特徴量SIと、時間的特徴量算出部3によって算出された時間的特徴量TIと、品質差指標算出部4によって算出された映像品質差指標SSIMとに基づいて、映像品質差DMOSpを推定する(ステップS2)。   Subsequently, the video quality difference estimation unit 5 includes the motion compensation feature amount σ calculated by the motion compensation feature amount calculation unit 1, the spatial feature amount SI calculated by the spatial feature amount calculation unit 2, and the temporal feature. The video quality difference DMOSp is estimated based on the temporal feature quantity TI calculated by the quantity calculation unit 3 and the video quality difference index SSIM calculated by the quality difference index calculation unit 4 (step S2).

なお、空間的特徴量SI及び時間的特徴量TIを用いずに、映像品質差DMOSpが推定されてもよい。   Note that the video quality difference DMOSp may be estimated without using the spatial feature quantity SI and the temporal feature quantity TI.

続いて、ステップS1−1の詳細について説明する。図5は、動き補償特徴量算出処理の処理手順の一例を説明するためのフローチャートである。動き補償特徴量算出部1は、対象コンテンツの最初のトランスコード前フレーム画素情報の入力に応じて、図5の処理手順を開始する。   Next, details of step S1-1 will be described. FIG. 5 is a flowchart for explaining an example of the processing procedure of the motion compensation feature amount calculation processing. The motion compensation feature amount calculation unit 1 starts the processing procedure of FIG. 5 in response to the input of the first pre-transcoded frame pixel information of the target content.

最初のトランスコード前フレーム画素情報Fが入力されると、動き補償特徴量算出部1は、フレーム数をカウントするための変数nを初期化する(ステップS10)。具体的には、変数nに0が代入される。続いて、動き補償特徴量算出部1は、変数nをインクリメント(変数nに1を加算)し、フレーム数をカウントする(ステップS11)。また、画素情報記憶部11は、入力されたトランスコード前フレーム画素情報Fを記憶する(ステップS12)。 When the first transcoding previous frame pixel information F 1 is input, the motion compensation feature amount calculating unit 1 initializes the variable n for counting the number of frames (step S10). Specifically, 0 is assigned to the variable n. Subsequently, the motion compensation feature amount calculation unit 1 increments the variable n (adds 1 to the variable n), and counts the number of frames (step S11). The pixel information storage unit 11 stores the transcoded previous frame pixel information F 1 inputted (step S12).

続いて、ブロック分割部12は、変数nの値が1であるか否かを判定する(ステップS13)。変数nが1であれば(ステップS13でYes)、S11に戻る。この場合、次のトランスコード前フレーム画素情報Fが入力されると、ステップS11以降が実行される。 Subsequently, the block dividing unit 12 determines whether or not the value of the variable n is 1 (step S13). If the variable n is 1 (Yes in step S13), the process returns to S11. In this case, when the following transcoding previous frame pixel information F 2 is input, step S11 and subsequent steps are executed.

変数nが1でない場合(ステップS13でNo)、ブロック分割部12は、トランスコード前フレーム画素情報Fをブロックに分割し、ブロック画素情報Bn,iを生成する(ステップS14)。 When the variable n is not 1 (No in Step S13), the block dividing unit 12 divides the pre-transcoding frame pixel information Fn into blocks, and generates block pixel information Bn, i (Step S14).

続いて、動きベクトル探索部14は、トランスコード前フレーム画素情報Fを参照して、ブロック画素情報Bn,iの動きベクトルをブロックごとに探索する。差分画像生成部13は、動きベクトルの探索結果に基づいて、ブロック差分画像情報DBn,iをブロックごとに生成する(ステップS15)。 Subsequently, the motion vector search unit 14 searches the motion vector of the block pixel information B n, i for each block with reference to the pre-transcoding frame pixel information F n . The difference image generation unit 13 generates block difference image information DB n, i for each block based on the motion vector search result (step S15).

続いて、ブロック統合部15は、ブロックごとのブロック差分画素情報DBn,iを統合し、フレーム差分画素情報DFを生成する(ステップS16)。 Subsequently, the block integration unit 15 integrates the block difference pixel information DB n, i for each block to generate frame difference pixel information DF n (step S16).

続いて、フレーム特徴量算出部16は、フレーム差分画素情報DFからフレーム特徴量σを算出する(ステップS17)。算出されたフレーム特徴量σは、フレーム特徴量記憶部18に記憶される(ステップS18)。 Subsequently, the frame feature amount calculation unit 16 calculates a frame feature amount σ n from the frame difference pixel information DF n (step S17). The calculated frame feature quantity σ n is stored in the frame feature quantity storage unit 18 (step S18).

対象コンテンツの全てのフレームが処理された場合にはステップS20に進み、そうでない場合にはステップS11以降が繰り返される(ステップS19)。   If all the frames of the target content have been processed, the process proceeds to step S20. If not, step S11 and subsequent steps are repeated (step S19).

ステップS20において、特徴量算出部17は、フレーム特徴量記憶部18に記憶された各フレームのフレーム特徴量σに基づいて動き補償特徴量σを算出する(ステップS20)。 In step S20, the feature amount calculation unit 17 calculates a motion compensation feature amount σ based on the frame feature amount σ n of each frame stored in the frame feature amount storage unit 18 (step S20).

次に、本実施の形態の効果を説明する。トランスコード前後の或る映像群に対して主観品質評価試験によって得られたQoEの差(DMOS)と、本実施の形態による推定結果(DMOSp)との相関係数(PCC)は、0.86であり、最小二乗平均誤差平方根(RMSE)は、0.19であった。本実施の形態の特徴の一部である動き補償特徴量σを用いない場合(式(2)において、cが0の場合)のPCCは、0.79、RMSEは、0.26であり、動き補償特徴量σを用いた場合の方が精度よく品質差を推定できることを確認できた。 Next, the effect of this embodiment will be described. The correlation coefficient (PCC) between the QoE difference (DMOS) obtained by the subjective quality evaluation test for a certain video group before and after transcoding and the estimation result (DMOSp) according to the present embodiment is 0.86. And the root mean square error (RMSE) was 0.19. When the motion compensation feature quantity σ which is a part of the feature of the present embodiment is not used (when c 1 is 0 in the equation (2)), the PCC is 0.79, and the RMSE is 0.26. It was confirmed that the quality difference can be estimated more accurately when the motion compensation feature quantity σ is used.

上述したように、本実施の形態によれば、映像符号化で利用されている動き補償を考慮することにより、QoEの観点に基づく映像符号化の困難性を表す特徴量を算出することができ、トランスコード前後の映像品質の差を高精度に推定可能となる。   As described above, according to the present embodiment, it is possible to calculate the feature amount representing the difficulty of video coding based on the viewpoint of QoE by considering the motion compensation used in video coding. The difference in video quality before and after transcoding can be estimated with high accuracy.

なお、本実施の形態において、差分画像生成部13は、差分生成部の一例である。品質差指標算出部4は、指標算出部の一例である。映像品質差推定部5は、品質差推定部の一例である。   In the present embodiment, the difference image generation unit 13 is an example of a difference generation unit. The quality difference index calculation unit 4 is an example of an index calculation unit. The video quality difference estimation unit 5 is an example of a quality difference estimation unit.

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to such specific embodiment, In the range of the summary of this invention described in the claim, various deformation | transformation・ Change is possible.

1 動き補償特徴量算出部
2 空間的特徴量算出部
3 時間的特徴量算出部
4 品質差指標算出部
5 映像品質差推定部
10 映像品質差推定装置
11 画素情報記憶部
12 ブロック分割部
13 差分画像生成部
14 動きベクトル探索部
15 ブロック統合部
16 フレーム特徴量算出部
17 特徴量算出部
18 フレーム特徴量記憶部
100 ドライブ装置
101 記録媒体
102 補助記憶装置
103 メモリ装置
104 CPU
105 インタフェース装置
B バス
DESCRIPTION OF SYMBOLS 1 Motion compensation feature-value calculation part 2 Spatial feature-value calculation part 3 Temporal feature-value calculation part 4 Quality difference index calculation part 5 Video quality difference estimation part 10 Video quality difference estimation apparatus 11 Pixel information storage part 12 Block division part 13 Difference Image generation unit 14 Motion vector search unit 15 Block integration unit 16 Frame feature amount calculation unit 17 Feature amount calculation unit 18 Frame feature amount storage unit 100 Drive device 101 Recording medium 102 Auxiliary storage device 103 Memory device 104 CPU
105 Interface device B bus

Claims (8)

トランスコード前の映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成部と、
前記差分画素情報の特徴量を算出するフレーム特徴量算出部と、
前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、1つの特徴量を算出する動き補償特徴量算出部と、
前記映像コンテンツのトランスコード前後の品質差を示す指標を算出する指標算出部と、
前記動き補償特徴量算出部によって算出された特徴量と、前記指標算出部によって算出された指標とに基づいて、前記トランスコード前後の品質差の推定値を算出する品質差推定部と、
を有することを特徴とする映像品質差推定装置。
For the frames before and after the video content before transcoding, each of the previous and next frames in a state where the pixels of one frame are shifted in the direction opposite to the movement of the video by the amount of movement of the video between the previous and next frames. A difference generation unit that generates difference pixel information indicating a difference in pixel information of pixels;
A frame feature value calculation unit for calculating a feature value of the difference pixel information;
A motion compensation feature amount calculation unit that calculates one feature amount based on the feature amount calculated for each frame of the video content;
An index calculation unit for calculating an index indicating a quality difference before and after transcoding of the video content;
A quality difference estimation unit that calculates an estimated value of the quality difference before and after the transcoding based on the feature amount calculated by the motion compensation feature amount calculation unit and the index calculated by the index calculation unit;
A video quality difference estimation device characterized by comprising:
前記差分生成部は、前記フレームを一定区画ごとに分割することで形成されるブロックごとに、前後のフレーム間の動きベクトルを探索する動きベクトル探索部を有し、前記ブロックごとに、前後のフレームについて当該ブロックに係る動きベクトル分だけ画素をずらした状態における当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成し、
前記フレーム特徴量算出部は、前記ブロックごとの差分画素情報を統合した結果について特徴量を算出する、
ことを特徴とする請求項1記載の映像品質差推定装置。
The difference generation unit includes a motion vector search unit that searches for a motion vector between the preceding and succeeding frames for each block formed by dividing the frame into predetermined sections. Generating difference pixel information indicating a difference in pixel information of each pixel of the preceding and succeeding frames in a state in which the pixel is shifted by a motion vector related to the block,
The frame feature amount calculation unit calculates a feature amount for a result of integrating the difference pixel information for each block;
The video quality difference estimation apparatus according to claim 1, wherein:
トランスコード前の前記映像コンテンツのフレームの画素情報に基づいて、空間的な特徴量を算出する空間的特徴量算出部と、
トランスコード前の前記映像コンテンツのフレームの画素情報に基づいて、時間的な特徴量を算出する時間的特徴量算出部とを有し、
前記品質差推定部は、記動き補償特徴量算出部によって算出された特徴量と、前記指標算出部によって算出された指標と、前記空間的な特徴量と、前記時間的な特徴量とに基づいて、前記トランスコード前後の品質差の推定値を算出する、
ことを特徴とする請求項1又は2記載の映像品質差推定装置。
A spatial feature amount calculation unit that calculates a spatial feature amount based on pixel information of a frame of the video content before transcoding;
A temporal feature amount calculation unit that calculates a temporal feature amount based on pixel information of the frame of the video content before transcoding,
The quality difference estimation unit is based on the feature amount calculated by the motion compensation feature amount calculation unit, the index calculated by the index calculation unit, the spatial feature amount, and the temporal feature amount. Calculating an estimated value of the quality difference before and after the transcoding,
The video quality difference estimation apparatus according to claim 1 or 2, wherein
前記指標算出部は、トランスコード前後のフレーム画素情報に基づき品質差を示す指標を算出する、
ことを特徴とする請求項1乃至3いずれか一項記載の映像品質差推定装置。
The index calculation unit calculates an index indicating a quality difference based on frame pixel information before and after transcoding.
The video quality difference estimation apparatus according to any one of claims 1 to 3, wherein
コンピュータが、
トランスコード前の映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成手順と、
前記差分画素情報の特徴量を算出するフレーム特徴量算出手順と、
前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、1つの特徴量を算出する動き補償特徴量算出手順と、
前記映像コンテンツのトランスコード前後の品質差を示す指標を算出する指標算出手順と、
前記動き補償特徴量算出手順において算出された特徴量と、前記指標算出手順において算出された指標とに基づいて、前記トランスコード前後の品質差の推定値を算出する品質差推定手順と、
を実行することを特徴とする映像品質差推定方法。
Computer
For the frames before and after the video content before transcoding, each of the previous and next frames in a state where the pixels of one frame are shifted in the direction opposite to the movement of the video by the amount of movement of the video between the previous and next frames. A difference generation procedure for generating difference pixel information indicating a difference in pixel information of pixels;
A frame feature amount calculation procedure for calculating a feature amount of the difference pixel information;
A motion compensation feature amount calculation procedure for calculating one feature amount based on the feature amount calculated for each frame of the video content;
An index calculation procedure for calculating an index indicating a quality difference before and after transcoding of the video content;
A quality difference estimation procedure for calculating an estimated value of the quality difference before and after the transcoding based on the feature amount calculated in the motion compensation feature amount calculation procedure and the index calculated in the index calculation procedure;
A video quality difference estimation method characterized by executing:
前記差分生成手順は、前記フレームを一定区画ごとに分割することで形成されるブロックごとに、前後のフレーム間の動きベクトルを探索する動きベクトル探索部を有し、前記ブロックごとに、前後のフレームについて当該ブロックに係る動きベクトル分だけ画素をずらした状態における当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成し、
前記フレーム特徴量算出手順は、前記ブロックごとの差分画素情報を統合した結果について特徴量を算出する、
ことを特徴とする請求項5記載の映像品質差推定方法。
The difference generation procedure includes a motion vector search unit that searches for a motion vector between the preceding and succeeding frames for each block formed by dividing the frame into predetermined sections. Generating difference pixel information indicating a difference in pixel information of each pixel of the preceding and succeeding frames in a state in which the pixel is shifted by a motion vector related to the block,
The frame feature amount calculation procedure calculates a feature amount for a result of integrating the difference pixel information for each block,
6. The video quality difference estimation method according to claim 5, wherein:
前記コンピュータが、
トランスコード前の前記映像コンテンツのフレームの画素情報に基づいて、空間的な特徴量を算出する空間的特徴量算出手順と、
トランスコード前の前記映像コンテンツのフレームの画素情報に基づいて、時間的な特徴量を算出する時間的特徴量算出手順とを実行し、
前記品質差推定手順は、記動き補償特徴量算出手順において算出された特徴量と、前記指標算出手順において算出された指標と、前記空間的な特徴量と、前記時間的な特徴量とに基づいて、前記トランスコード前後の品質差の推定値を算出する、
ことを特徴とする請求項5又は6記載の映像品質差推定方法。
The computer is
A spatial feature amount calculating procedure for calculating a spatial feature amount based on pixel information of the frame of the video content before transcoding;
Performing a temporal feature amount calculation procedure for calculating a temporal feature amount based on pixel information of the frame of the video content before transcoding,
The quality difference estimation procedure is based on the feature amount calculated in the motion compensation feature amount calculation procedure, the index calculated in the indicator calculation procedure, the spatial feature amount, and the temporal feature amount. Calculating an estimated value of the quality difference before and after the transcoding,
7. The video quality difference estimation method according to claim 5, wherein the video quality difference is estimated.
コンピュータを、請求項1乃至4いずれか一項記載の各部として機能させるためのプログラム。   The program for functioning a computer as each part as described in any one of Claims 1 thru | or 4.
JP2015114651A 2015-06-05 2015-06-05 Video quality estimation device, video quality estimation method and program Pending JP2017005344A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015114651A JP2017005344A (en) 2015-06-05 2015-06-05 Video quality estimation device, video quality estimation method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015114651A JP2017005344A (en) 2015-06-05 2015-06-05 Video quality estimation device, video quality estimation method and program

Publications (1)

Publication Number Publication Date
JP2017005344A true JP2017005344A (en) 2017-01-05

Family

ID=57752906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015114651A Pending JP2017005344A (en) 2015-06-05 2015-06-05 Video quality estimation device, video quality estimation method and program

Country Status (1)

Country Link
JP (1) JP2017005344A (en)

Similar Documents

Publication Publication Date Title
CA2958720C (en) Method and system for objective perceptual video quality assessment
Vu et al. ViS 3: An algorithm for video quality assessment via analysis of spatial and spatiotemporal slices
CN104365095B (en) Method and apparatus for being encoded to the selected space segment of video flowing
US8804815B2 (en) Support vector regression based video quality prediction
US10582211B2 (en) Neural network to optimize video stabilization parameters
US8274602B2 (en) Image processing apparatus and image processing method with redundant frame detection
US11259029B2 (en) Method, device, apparatus for predicting video coding complexity and storage medium
KR20160045404A (en) Video thumbnail extraction method and server and video provision system
Ghadiyaram et al. A no-reference video quality predictor for compression and scaling artifacts
JPWO2014045479A1 (en) Object information extraction apparatus, object information extraction program, and object information extraction method
JP2018533273A5 (en)
WO2018153161A1 (en) Video quality evaluation method, apparatus and device, and storage medium
CN110913221A (en) Video code rate prediction method and device
JP2007201975A (en) Code amount estimating method, frame rate estimating method, code amount estimating apparatus, frame rate estimating apparatus, code amount estimating program, frame rate estimating program, and computer readable storage medium for storing program
JP2017005343A (en) Video quality estimation device, video quality estimation method and program
WO2018192518A1 (en) Data processing method and device and storage medium
JP2017098604A (en) Video quality estimation device, video quality estimation method and program
JP5956316B2 (en) Subjective image quality estimation apparatus, subjective image quality estimation method, and program
JP2017005344A (en) Video quality estimation device, video quality estimation method and program
KR20190027435A (en) Method and Device of Motion Estimation for Depth Video Coding by Plane Modeling, and NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM
JP6373681B2 (en) Objective image quality evaluation apparatus, objective image quality evaluation method, and program
CN102036074A (en) Embedded equipment-based code rate control method and device
WO2011102867A1 (en) A universal blurriness measurement approach for digital imagery
JP2017005342A (en) Video feature amount calculation device, video feature amount calculation method and program
KR20220003087A (en) VR image quality evaluation method and device