JP2017005344A - Video quality estimation device, video quality estimation method and program - Google Patents
Video quality estimation device, video quality estimation method and program Download PDFInfo
- Publication number
- JP2017005344A JP2017005344A JP2015114651A JP2015114651A JP2017005344A JP 2017005344 A JP2017005344 A JP 2017005344A JP 2015114651 A JP2015114651 A JP 2015114651A JP 2015114651 A JP2015114651 A JP 2015114651A JP 2017005344 A JP2017005344 A JP 2017005344A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- difference
- frame
- pixel information
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、映像品質差推定装置、映像品質差推定方法、及びプログラムに関する。 The present invention relates to a video quality difference estimation device, a video quality difference estimation method, and a program.
光回線、3G回線、LTE(Long Term Evolution)、無線LAN(Local Area Network)などのネットワーク環境を用いた映像配信サービスが近年急速に普及しており、特に無線通信における映像通信のトラヒック量は、急増すると予測されている。ネットワーク環境では、一度に通信処理できるデータ量に上限があるため、多くのトラヒックが発生すると、ネットワーク回線の輻輳が起きる。輻輳が起きると、通信が中断されたり、速度が十分に確保できずにユーザが通信サービスの利用にストレスを感じたりするため、ユーザの満足度が低下する。輻輳を回避するための対策の一つとして映像データを再圧縮するトランスコード技術が研究開発されている。しかし、トランスコードにより映像データ量を削減すると、画質が低下し、ユーザ体感品質(QoE:Quality of Experience)が低下する。 Video distribution services using network environments such as optical lines, 3G lines, LTE (Long Term Evolution), and wireless LAN (Local Area Network) have been rapidly spreading in recent years. Expected to increase rapidly. In a network environment, there is an upper limit on the amount of data that can be communicated at one time. Therefore, when a lot of traffic occurs, network line congestion occurs. When congestion occurs, communication is interrupted, and the user's satisfaction is reduced because the user feels stressed in using the communication service because the speed cannot be secured sufficiently. As one of the measures for avoiding congestion, transcoding technology for recompressing video data has been researched and developed. However, when the amount of video data is reduced by transcoding, the image quality is lowered and the quality of experience (QoE) is lowered.
快適なQoEでサービスを提供するためには、QoEを定量化(評価)して品質の変動を監視し、ネットワーク設備への投資に反映させたり、トラヒックを制御したりする必要がある。特にユーザが映像コンテンツを作成し共有するサービスでは、トランスコード前の映像でも品質が低い場合があり、この場合にはトランスコードによる圧縮率を下げ、ほとんど映像データを削減しなくても、もともとの映像品質が低いため、トランスコード後の映像品質も低くなってしまう。このため、トランスコード後の映像品質のみでは、トランスコード映像に対する品質監視・管理を適切に行えない。従って、トランスコードに対する品質監視・管理では、トランスコード前後の映像品質の差を把握することが重要である。トランスコード映像に対する品質監視・管理の具体例としては、トランスコード前後の映像の品質差がある一定量を超えていないかを監視したり、映像品質差がある一定量より小さくなるようにトランスコーダの圧縮率を設定して、運用したりすることが考えられる。 In order to provide services with comfortable QoE, it is necessary to quantify (evaluate) QoE, monitor quality fluctuations, reflect it in investment in network equipment, and control traffic. Especially in services where users create and share video content, the quality of the video before transcoding may be low. In this case, even if the video compression is reduced and the video data is reduced, Since the video quality is low, the video quality after transcoding is also low. For this reason, the quality monitoring / management for the transcoded video cannot be performed appropriately only by the video quality after the transcoding. Therefore, it is important to grasp the difference in video quality before and after transcoding in quality monitoring and management for transcoding. Specific examples of quality monitoring and management for transcoded video include monitoring whether the video quality difference before and after transcoding exceeds a certain amount, or transcoding so that the video quality difference becomes smaller than a certain amount. It is conceivable to set the compression rate of the system and operate it.
QoEは、ユーザが映像視聴時に体感する品質を主観的に評価した値が基本となる。しかし、主観品質評価では、評価者が映像を視聴して体感品質を評価しなければならないため、時間的、金銭的なコストの制約から評価できる映像コンテンツの数が限られる。そのため、サービス運用時の品質管理には、映像信号やパケットのヘッダ等の測定可能な物理的なパラメータからQoEを推定する客観品質評価が用いられる。特にトランスコード映像に対する品質監視・管理のためには、トランスコード前の映像に対するQoEと、トランスコード後の映像に対するQoEとの差を推定する客観評価技術が求められる。 QoE is based on a value obtained by subjectively evaluating the quality experienced by a user when viewing a video. However, in the subjective quality evaluation, the evaluator must watch the video and evaluate the quality of experience, so that the number of video contents that can be evaluated is limited due to time and money cost restrictions. For this reason, objective quality evaluation for estimating QoE from measurable physical parameters such as video signals and packet headers is used for quality management during service operation. In particular, for quality monitoring and management of transcoded video, an objective evaluation technique for estimating the difference between QoE for video before transcoding and QoE for video after transcoding is required.
品質の劣化が生じる前後の映像信号を比較して客観品質評価する代表的なものとして、PSNR(Peak signal-to-noise ratio)やSSIM(Structural SIMilarity)がある(非特許文献1)。しかし、PSNRやSSIMとQoEの差との関係(回帰直線の係数)は、映像コンテンツに依存するため、PSNRやSSIM等を用いて高精度にQoEの差の推定を実現するためには、映像コンテンツの特徴を考慮する必要がある。映像コンテンツの特徴を表す指標である映像特徴量として、非特許文献2で定義されている、映像の空間的な特徴量SIと時間的な特徴量TIがよく知られている。 Typical examples of objective quality evaluation by comparing video signals before and after quality degradation include PSNR (Peak signal-to-noise ratio) and SSIM (Structural SIMilarity) (Non-patent Document 1). However, since the relationship between PSNR and the difference between SSIM and QoE (coefficient of regression line) depends on the video content, in order to realize the estimation of QoE difference with high accuracy using PSNR or SSIM, video Content features need to be considered. As a video feature amount that is an index representing a feature of video content, a spatial feature amount SI and a temporal feature amount TI defined in Non-Patent Document 2 are well known.
SSIM等の品質差指標の変化に対するQoEの差の変動は、映像コンテンツ毎の符号化の困難性(符号化による品質劣化の生じやすさ)に依存するため、映像の符号化によって生じる品質劣化を高精度に推定するためには、映像コンテンツ毎の符号化の困難性を考慮する必要がある。 The variation in the difference in QoE with respect to a change in quality difference index such as SSIM depends on the difficulty of encoding for each video content (ease of quality deterioration due to encoding). In order to estimate with high accuracy, it is necessary to consider the difficulty of encoding for each video content.
非特許文献2に記載されている映像特徴量は、空間的な複雑さと時間的な複雑さを表すことができ、それらの組み合わせによって映像の複雑さ(符号化の困難性)をある程度推定可能であるが、現在普及している映像符号化方式(例えば、H.264/AVC)では、動き補償と呼ばれる技術によってデータの圧縮を行っており、SI、TIは、この動き補償を用いる方式の符号化困難性を捉えられていない。 The video feature amount described in Non-Patent Document 2 can express spatial complexity and temporal complexity, and the complexity (encoding difficulty) of the video can be estimated to some extent by a combination thereof. However, in the currently popular video coding method (for example, H.264 / AVC), data is compressed by a technique called motion compensation, and SI and TI are codes of a method using this motion compensation. It is not captured difficulty.
例えば、道路を定点カメラで撮影した映像を考えると、道路等の背景はほとんど変化せず、車や人等の動きが各フレームの違いとなる。動き補償では、背景部分に対しては、前後のフレームのその箇所の画素を参照して差分画像を生成し、それを圧縮する。車や人等のオブジェクトに対しては、その動きの方向・速さ(動きベクトル)を探索し、移動元(又は移動先)の画素を参照して差分画像を生成し、それを圧縮する。SIは、背景が複雑かどうか(多数の葉を持つ木々が映っているか等)を表すが、動き補償による圧縮では前後のフレームを参照するため、背景の複雑さは大きな影響を与えない。TIは、オブジェクトの大きさ、数、移動速度等を表すが、この値が大きくても動きベクトルが正しく発見可能な場合には、動き補償による圧縮によって効率的に圧縮できる。このように、既存の映像特徴量では、現在の符号化方式の符号化困難性を十分に捉えられていない。 For example, when an image obtained by shooting a road with a fixed point camera is considered, the background of the road or the like hardly changes, and the movement of a car or a person becomes a difference between the frames. In motion compensation, a difference image is generated for a background portion with reference to the pixels in that portion of the previous and subsequent frames and compressed. For an object such as a car or a person, the direction and speed (motion vector) of the motion are searched, a difference image is generated with reference to the pixel of the movement source (or movement destination), and the difference image is compressed. SI indicates whether the background is complicated (such as whether trees with many leaves are reflected), but the compression by motion compensation refers to the previous and subsequent frames, so the background complexity does not have a significant effect. The TI represents the size, number, moving speed, etc. of the object. If the motion vector can be found correctly even if this value is large, it can be efficiently compressed by compression by motion compensation. As described above, the existing video feature quantity does not sufficiently capture the difficulty of encoding of the current encoding method.
本発明は、上記の点に鑑みてなされたものであって、動き補償を考慮した映像特徴量を利用して高精度にトランスコード前後の映像品質の差を推定することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to estimate a difference in video quality before and after transcoding with high accuracy by using a video feature amount considering motion compensation.
そこで上記課題を解決するため、映像品質差推定装置は、トランスコード前の映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成部と、前記差分画素情報の特徴量を算出するフレーム特徴量算出部と、前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、1つの特徴量を算出する動き補償特徴量算出部と、前記映像コンテンツのトランスコード前後の品質差を示す指標を算出する指標算出部と、前記動き補償特徴量算出部によって算出された特徴量と、前記指標算出部によって算出された指標とに基づいて、前記トランスコード前後の品質差の推定値を算出する品質差推定部と、を有する。 Therefore, in order to solve the above-described problem, the video quality difference estimation apparatus, for the frames before and after the video content before transcoding, sets the pixels of one frame as the motion of the video as much as the video has moved between the previous and next frames. Is a difference generation unit that generates difference pixel information indicating a difference between pixel information of each pixel in the preceding and following frames in a state shifted in the reverse direction, and a frame feature amount calculation unit that calculates a feature amount of the difference pixel information; A motion compensation feature amount calculation unit that calculates one feature amount based on the feature amount calculated for each frame of the video content, and an index that calculates an index indicating a quality difference before and after transcoding of the video content Based on the calculation unit, the feature amount calculated by the motion compensation feature amount calculation unit, and the index calculated by the index calculation unit, Serial having a quality difference estimator that calculates an estimate of the quality difference between before and after transcoding.
動き補償を考慮した映像特徴量を利用して高精度にトランスコード前後の映像品質の差を推定することができる。 It is possible to estimate the difference in video quality before and after transcoding with high accuracy using the video feature amount considering the motion compensation.
以下、図面に基づいて本発明の実施の形態を説明する。図1は、本発明の実施の形態における映像品質差推定装置のハードウェア構成例を示す図である。図1の映像品質差推定装置10は、それぞれバスBで相互に接続されているドライブ装置100、補助記憶装置102、メモリ装置103、CPU104、及びインタフェース装置105等を有する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating a hardware configuration example of a video quality difference estimation apparatus according to an embodiment of the present invention. The video quality
映像品質差推定装置10での処理を実現するプログラムは、CD−ROM等の記録媒体101によって提供される。プログラムを記憶した記録媒体101がドライブ装置100にセットされると、プログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。但し、プログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置102は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
A program for realizing processing in the video quality
メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従って映像品質差推定装置10に係る機能を実行する。インタフェース装置105は、ネットワークに接続するためのインタフェースとして用いられる。
The
図2は、本発明の実施の形態における映像品質差推定装置の機能構成例を示す図である。図2において、映像品質差推定装置10は、動き補償特徴量算出部1、空間的特徴量算出部2、時間的特徴量算出部3、品質差指標算出部4、及び映像品質差推定部5を有する。
FIG. 2 is a diagram illustrating a functional configuration example of the video quality difference estimation apparatus according to the embodiment of the present invention. In FIG. 2, the video quality
動き補償特徴量算出部1には、トランスコード前の映像コンテンツの各フレームが、その順番にしたがって連続的に入力される。当該映像コンテンツのデータ形式は、所定の形式に限定されない。動き補償特徴量算出部1は、当該映像コンテンツについて、符号化の困難性を表す指標として用いられる動き補償特徴量σを算出する。 Each frame of the video content before transcoding is continuously input to the motion compensation feature amount calculation unit 1 according to the order. The data format of the video content is not limited to a predetermined format. The motion compensation feature amount calculation unit 1 calculates a motion compensation feature amount σ that is used as an index representing the difficulty of encoding for the video content.
図3は、動き補償特徴量算出部の構成例を示す図である。図3において、動き補償特徴量算出部1は、ブロック分割部12、差分画像生成部13、ブロック統合部15、フレーム特徴量算出部16、及び特徴量算出部17等を有する。動き補償特徴量算出部1は、また、画素情報記憶部11及びフレーム特徴量記憶部18を有する。画素情報記憶部11及びフレーム特徴量記憶部18は、例えば、メモリ装置103又は補助記憶装置102等を用いて実現可能である。
FIG. 3 is a diagram illustrating a configuration example of the motion compensation feature amount calculation unit. In FIG. 3, the motion compensation feature amount calculation unit 1 includes a
画素情報記憶部11は、入力されるトランスコード前のフレームの画素情報(以下、「トランスコード前フレーム画素情報Fn」という。)を記憶し、一つ前のトランスコード前フレーム画素情報(過去画素情報)Fn−1を、差分画像生成部13へ入力する。フレームの画素情報とは、例えば、当該フレームの画素ごとの輝度信号Y、色差信号U、V等である。人間は、色差信号の変化よりも輝度信号の変化に敏感であるため、映像品質の分野では主に輝度信号が用いられる。
The pixel
ブロック分割部12は、入力されるトランスコード前フレーム画素情報Fnをブロックに分割し、ブロック画素情報Bn,iとして差分画像生成部13へ入力する。ブロックとは、フレームを一定区画ごとに分割することで形成される単位をいう。ブロックのサイズは、通常16×16であるが、8×8、4×4、32×32、又は64×64が用いられることもある。以下、ブロックのサイズは16×16を想定して記載するが、他のサイズが用いられてもよい。なお、フレームの縦及び横の少なくともいずれか一方の画素数が、16の倍数でない場合、一部のブロックのサイズは、16×16でなくてもよい。
The
差分画像生成部13は、映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す情報を生成する。ここで、フレーム内の映像の動きは、1方向に限られない。フレーム内において複数の部分に動きがある場合、それぞれの部分の移動方向が同じであるとは限らないからである。そこで、差分画像生成部13は、入力される過去画素情報Fn−1とブロック画素情報Bn,iとに基づいて、ブロックごとにブロック差分画素情報DBn,iを算出し、各ブロック差分画素情報DBn,iをブロック統合部15へ入力する。具体的には、フレーム内の位置x、yの画素値をFn−1(x,y)とし、ブロック内の位置x、yの画素値をBn,i(x,y)で表すとすると、差分画像生成部13に含まれる動きベクトル探索部14は、以下の式(1)が最小となるx、yを、ブロックごとに求める。
The difference
差分画像生成部13は、動きベクトル探索部14によって探索されたx、yを用いて、以下の代入演算を実行して、ブロックごとにブロック差分画素情報DBn,iを生成する。
DBn,i(j,k)=Fn−1(x+j,y+k)−Bn,i(j,k)
ここで、j=1、2、…、16、k=1、2、…、16
すなわち、ここでの「=」は、代入を意味する。つまり、Fn−1(x+j,y+k)−Bn,i(j,k)の算出結果が、DBn,i(j,k)に代入されることで、ブロック差分画素情報DBn,iが生成される。また、x、yの値は、当該ブロックに関して探索された値が用いられる。生成された各ブロック差分画素情報DBn,iは、ブロック統合部15に入力される。
The difference
DB n, i (j, k) = F n-1 (x + j, y + k) −B n, i (j, k)
Here, j = 1, 2,..., 16, k = 1, 2,.
That is, “=” here means substitution. That is, the block difference pixel information DB n, i is obtained by substituting the calculation result of F n-1 (x + j, y + k) −B n, i (j, k) into DB n, i (j, k). Is generated. Further, as the values of x and y, values searched for the block are used. Each block difference pixel information DB n, i generated is input to the
なお、(x+j,y+k)が、フレームの領域外とならないようにするために、0≦x≦フレームの横幅(画素数)−16、0≦y≦フレームの横幅(画素数)−16という制限が設けられてもよい。または、x、yの範囲をもう少し大きな値(−16しないなど)にしたり、(フレームサイズが16の倍数でなく)端数などで、フレームの領域外にアクセスする必要が有る場合には、例えば、領域外の画素値が0にされてもよいし、領域内においてアクセス先に最も近い画素(例えば、隣など)の画素値が参照されて、Fn−1(x+j,y+k)の値が決定されてもよい。 In order to prevent (x + j, y + k) from being outside the frame region, 0 ≦ x ≦ frame width (number of pixels) −16, 0 ≦ y ≦ frame width (number of pixels) −16 May be provided. Alternatively, if the range of x and y is set to a slightly larger value (such as not -16), or the frame area needs to be accessed outside the frame area by a fraction (not a multiple of 16), for example, The pixel value outside the area may be set to 0, or the value of F n−1 (x + j, y + k) is determined by referring to the pixel value of the pixel closest to the access destination (for example, the neighbor) in the area. May be.
ブロック統合部15は、入力された各ブロック差分画素情報DBn,iを統合し、フレーム差分画素情報DFnを生成する。各ブロック差分画素情報DBn,iの統合とは、各ブロック差分画素情報DBn,iに係る各ブロックの相対的な位置関係が維持されるように各ブロック差分画素情報DBn,iを配列して、1つのフレーム差分画素情報DFnを生成することをいう。生成されたフレーム差分画素情報DFnは、フレーム特徴量算出部16に入力される。
The
フレーム特徴量算出部16は、入力されたフレーム差分画素情報DFnからフレーム特徴量(DFnの各画素値の標準偏差)σnを算出する。フレーム特徴量としては、フレーム差分画素情報DFnの標準偏差の他に、各画素値の分散や各画素値の二乗平均などが用いられてもよい。算出されたフレーム特徴量σnは、特徴量算出部17に入力される。
The frame feature
特徴量算出部17は、入力されたフレーム特徴量σnをフレーム特徴量記憶部18に記憶する。特徴量算出部17は、トランスコード前後の品質差の推定対象とされた映像コンテンツの全てのフレームのフレーム特徴量σnがフレーム特徴量記憶部18に記憶されると、全てのフレーム特徴量σnに基づいて、1つの動き補償特徴量σを算出する。例えば、全てのフレーム特徴量σnの平均値が、動き補償特徴量σとして算出される。
The feature
なお、動き補償特徴量σの算出に用いる画素情報としては、通常、輝度の情報が用いられるが、色差の信号やRGBのいずれかの信号が用いられてもよく、また、それぞれnお画素情報に基づいて計算された各動き補償特徴量を重みづけして合計した結果が、動き補償特徴量σとして算出されてもよい。 As the pixel information used to calculate the motion compensation feature quantity σ, luminance information is usually used, but either a color difference signal or RGB signal may be used, and each pixel information A result obtained by weighting and summing each motion compensation feature amount calculated based on the above may be calculated as a motion compensation feature amount σ.
図2に戻る。空間的特徴量算出部2には、トランスコード前の映像コンテンツの各フレームが、その順番にしたがって連続的に入力される。空間的特徴量算出部2は、入力される各フレームのトランスコード前フレーム画素情報Fnに基づいて、空間的な特徴量を算出する。例えば、非特許文献2に記載のSIが、空間的特徴量SIとして算出されてもよい。非特許文献2では、フレーム毎の特徴量の最大値をSIとしているが、フレーム毎の特徴量の平均値が、空間的特徴量SIとされてもよい。 Returning to FIG. Each frame of video content before transcoding is continuously input to the spatial feature amount calculation unit 2 in accordance with the order. Spatial feature amount calculation unit 2, based on the transcoding previous frame pixel information F n of each frame input to calculate the spatial feature amount. For example, the SI described in Non-Patent Document 2 may be calculated as the spatial feature amount SI. In Non-Patent Document 2, the maximum feature value for each frame is set as SI, but the average value of the feature values for each frame may be set as the spatial feature value SI.
時間的特徴量算出部3には、トランスコード前の映像コンテンツの各フレームが、その順番にしたがって連続的に入力される。時間的特徴量算出部3は、入力される各フレームのトランスコード前フレーム画素情報Fnに基づいて、時間的な特徴量を算出する。例えば、非特許文献2に記載のTIが、時間的特徴量TIとして算出されてもよい。非特許文献2では、フレーム毎の特徴量の最大値をTIとしているが、フレーム毎の特徴量の平均値が、時間的特徴量TIとされてもよい。 The temporal feature amount calculation unit 3 is continuously input with each frame of video content before transcoding in the order. The temporal feature amount calculation unit 3 calculates a temporal feature amount based on the pre-transcoded frame pixel information F n of each input frame. For example, the TI described in Non-Patent Document 2 may be calculated as the temporal feature amount TI. In Non-Patent Document 2, the maximum value of the feature value for each frame is TI, but the average value of the feature values for each frame may be the temporal feature value TI.
品質差指標算出部4には、トランスコード前の映像コンテンツの各フレームと、トランスコード後の映像コンテンツの各フレームとが、その順番にしたがって連続的に入力される。品質差指標算出部4は、入力される各フレームのトランスコード前フレーム画素情報Fnと、入力される各フレームのトランスコード後フレーム画素情報F'nとに基づいて、品質差指標を算出する。例えばSSIMが品質差指標として算出されてもよい。又は、PSNRが、品質差指標とされてもよく、SSIMとPSNRとの組み合わせが、品質差指標として算出されてもよい。 Each frame of video content before transcoding and each frame of video content after transcoding are continuously input to the quality difference index calculation unit 4 in the order. The quality difference index calculation unit 4 calculates a quality difference index based on the pre-transcoded frame pixel information F n of each input frame and the post-transcoded frame pixel information F ′ n of each input frame. . For example, SSIM may be calculated as a quality difference index. Alternatively, PSNR may be used as a quality difference index, and a combination of SSIM and PSNR may be calculated as a quality difference index.
映像品質差推定部5は、入力された動き補償特徴量σと、空間的特徴量SIと、時間的特徴量TIと、品質差指標SSIMとに基づいて、映像コンテンツのトランスコード前後の品質差の推定値である映像品質差DMOSpを算出する。例えば、以下の式(2)によって、映像品質差DMOSpが算出されてもよい。
DMOSp=(c1・σ+c2・SI+c3・TI+c4)・(1−SSIM) ・・・(2)
ここで、c1〜c4は定数であり、映像品質差推定装置10の設計者が、主観品質評価実験により得られたデータ等に基づいて自由に決めることができる。
The video quality
DMOSp = (c 1 · σ + c 2 · SI + c 3 · TI + c 4 ) · (1-SSIM) (2)
Here, c 1 to c 4 are constants, and can be freely determined by the designer of the video quality
以下、映像品質差推定装置10が実行する処理手順について説明する。図4は、映像品質差推定処理の処理手順の一例を説明するためのフローチャートである。
Hereinafter, a processing procedure executed by the video quality
ステップS1−1において、動き補償特徴量算出部1は、映像品質差の推定対象の映像コンテンツ(以下、「対象コンテンツ」という。)について、動き補償特徴量σを算出する。 In step S <b> 1-1, the motion compensation feature quantity calculation unit 1 calculates a motion compensation feature quantity σ for video content for which a video quality difference is to be estimated (hereinafter referred to as “target content”).
また、空間的特徴量算出部2は、トランスコード前フレーム画素情報Fnの入力に応じて空間的特量SIの算出のための処理手順を開始し、算出された空間的特徴量SIを出力する(ステップS1−2)。 In addition, the spatial feature amount calculation unit 2 starts a processing procedure for calculating the spatial feature amount SI in response to the input of the pre-transcoding frame pixel information F n and outputs the calculated spatial feature amount SI. (Step S1-2).
また、時間的特徴量算出部3は、トランスコード前フレーム画素情報Fnの入力に応じて時間的特徴量TIの算出のための処理手順を開始し、算出された時間的特徴量TIを出力する(ステップS1−3)。 Further, the temporal feature amount calculation unit 3 starts the processing procedure for calculating the temporal feature amount TI in accordance with the input of the transcoding previous frame pixel information F n, it outputs the temporal feature amount TI calculated (Step S1-3).
また、品質差指標算出部4は、トランスコード前フレーム画素情報Fnとトランスコード後フレーム画素情報F'nとの入力に応じて、映像品質差指標SSIMを出力する(ステップS1−4)。 Further, the quality difference index calculation unit 4 outputs the video quality difference index SSIM in response to the input of the pre-transcoding frame pixel information F n and the post-transcoding frame pixel information F ′ n (step S1-4).
続いて、映像品質差推定部5は、動き補償特徴量算出部1によって算出された動き補償特徴量σと、空間的特徴量算出部2によって算出された空間的特徴量SIと、時間的特徴量算出部3によって算出された時間的特徴量TIと、品質差指標算出部4によって算出された映像品質差指標SSIMとに基づいて、映像品質差DMOSpを推定する(ステップS2)。
Subsequently, the video quality
なお、空間的特徴量SI及び時間的特徴量TIを用いずに、映像品質差DMOSpが推定されてもよい。 Note that the video quality difference DMOSp may be estimated without using the spatial feature quantity SI and the temporal feature quantity TI.
続いて、ステップS1−1の詳細について説明する。図5は、動き補償特徴量算出処理の処理手順の一例を説明するためのフローチャートである。動き補償特徴量算出部1は、対象コンテンツの最初のトランスコード前フレーム画素情報の入力に応じて、図5の処理手順を開始する。 Next, details of step S1-1 will be described. FIG. 5 is a flowchart for explaining an example of the processing procedure of the motion compensation feature amount calculation processing. The motion compensation feature amount calculation unit 1 starts the processing procedure of FIG. 5 in response to the input of the first pre-transcoded frame pixel information of the target content.
最初のトランスコード前フレーム画素情報F1が入力されると、動き補償特徴量算出部1は、フレーム数をカウントするための変数nを初期化する(ステップS10)。具体的には、変数nに0が代入される。続いて、動き補償特徴量算出部1は、変数nをインクリメント(変数nに1を加算)し、フレーム数をカウントする(ステップS11)。また、画素情報記憶部11は、入力されたトランスコード前フレーム画素情報F1を記憶する(ステップS12)。
When the first transcoding previous frame pixel information F 1 is input, the motion compensation feature amount calculating unit 1 initializes the variable n for counting the number of frames (step S10). Specifically, 0 is assigned to the variable n. Subsequently, the motion compensation feature amount calculation unit 1 increments the variable n (adds 1 to the variable n), and counts the number of frames (step S11). The pixel
続いて、ブロック分割部12は、変数nの値が1であるか否かを判定する(ステップS13)。変数nが1であれば(ステップS13でYes)、S11に戻る。この場合、次のトランスコード前フレーム画素情報F2が入力されると、ステップS11以降が実行される。
Subsequently, the
変数nが1でない場合(ステップS13でNo)、ブロック分割部12は、トランスコード前フレーム画素情報Fnをブロックに分割し、ブロック画素情報Bn,iを生成する(ステップS14)。
When the variable n is not 1 (No in Step S13), the
続いて、動きベクトル探索部14は、トランスコード前フレーム画素情報Fnを参照して、ブロック画素情報Bn,iの動きベクトルをブロックごとに探索する。差分画像生成部13は、動きベクトルの探索結果に基づいて、ブロック差分画像情報DBn,iをブロックごとに生成する(ステップS15)。
Subsequently, the motion
続いて、ブロック統合部15は、ブロックごとのブロック差分画素情報DBn,iを統合し、フレーム差分画素情報DFnを生成する(ステップS16)。
Subsequently, the
続いて、フレーム特徴量算出部16は、フレーム差分画素情報DFnからフレーム特徴量σnを算出する(ステップS17)。算出されたフレーム特徴量σnは、フレーム特徴量記憶部18に記憶される(ステップS18)。
Subsequently, the frame feature
対象コンテンツの全てのフレームが処理された場合にはステップS20に進み、そうでない場合にはステップS11以降が繰り返される(ステップS19)。 If all the frames of the target content have been processed, the process proceeds to step S20. If not, step S11 and subsequent steps are repeated (step S19).
ステップS20において、特徴量算出部17は、フレーム特徴量記憶部18に記憶された各フレームのフレーム特徴量σnに基づいて動き補償特徴量σを算出する(ステップS20)。
In step S20, the feature
次に、本実施の形態の効果を説明する。トランスコード前後の或る映像群に対して主観品質評価試験によって得られたQoEの差(DMOS)と、本実施の形態による推定結果(DMOSp)との相関係数(PCC)は、0.86であり、最小二乗平均誤差平方根(RMSE)は、0.19であった。本実施の形態の特徴の一部である動き補償特徴量σを用いない場合(式(2)において、c1が0の場合)のPCCは、0.79、RMSEは、0.26であり、動き補償特徴量σを用いた場合の方が精度よく品質差を推定できることを確認できた。 Next, the effect of this embodiment will be described. The correlation coefficient (PCC) between the QoE difference (DMOS) obtained by the subjective quality evaluation test for a certain video group before and after transcoding and the estimation result (DMOSp) according to the present embodiment is 0.86. And the root mean square error (RMSE) was 0.19. When the motion compensation feature quantity σ which is a part of the feature of the present embodiment is not used (when c 1 is 0 in the equation (2)), the PCC is 0.79, and the RMSE is 0.26. It was confirmed that the quality difference can be estimated more accurately when the motion compensation feature quantity σ is used.
上述したように、本実施の形態によれば、映像符号化で利用されている動き補償を考慮することにより、QoEの観点に基づく映像符号化の困難性を表す特徴量を算出することができ、トランスコード前後の映像品質の差を高精度に推定可能となる。 As described above, according to the present embodiment, it is possible to calculate the feature amount representing the difficulty of video coding based on the viewpoint of QoE by considering the motion compensation used in video coding. The difference in video quality before and after transcoding can be estimated with high accuracy.
なお、本実施の形態において、差分画像生成部13は、差分生成部の一例である。品質差指標算出部4は、指標算出部の一例である。映像品質差推定部5は、品質差推定部の一例である。
In the present embodiment, the difference
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to such specific embodiment, In the range of the summary of this invention described in the claim, various deformation | transformation・ Change is possible.
1 動き補償特徴量算出部
2 空間的特徴量算出部
3 時間的特徴量算出部
4 品質差指標算出部
5 映像品質差推定部
10 映像品質差推定装置
11 画素情報記憶部
12 ブロック分割部
13 差分画像生成部
14 動きベクトル探索部
15 ブロック統合部
16 フレーム特徴量算出部
17 特徴量算出部
18 フレーム特徴量記憶部
100 ドライブ装置
101 記録媒体
102 補助記憶装置
103 メモリ装置
104 CPU
105 インタフェース装置
B バス
DESCRIPTION OF SYMBOLS 1 Motion compensation feature-value calculation part 2 Spatial feature-value calculation part 3 Temporal feature-value calculation part 4 Quality difference
105 Interface device B bus
Claims (8)
前記差分画素情報の特徴量を算出するフレーム特徴量算出部と、
前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、1つの特徴量を算出する動き補償特徴量算出部と、
前記映像コンテンツのトランスコード前後の品質差を示す指標を算出する指標算出部と、
前記動き補償特徴量算出部によって算出された特徴量と、前記指標算出部によって算出された指標とに基づいて、前記トランスコード前後の品質差の推定値を算出する品質差推定部と、
を有することを特徴とする映像品質差推定装置。 For the frames before and after the video content before transcoding, each of the previous and next frames in a state where the pixels of one frame are shifted in the direction opposite to the movement of the video by the amount of movement of the video between the previous and next frames. A difference generation unit that generates difference pixel information indicating a difference in pixel information of pixels;
A frame feature value calculation unit for calculating a feature value of the difference pixel information;
A motion compensation feature amount calculation unit that calculates one feature amount based on the feature amount calculated for each frame of the video content;
An index calculation unit for calculating an index indicating a quality difference before and after transcoding of the video content;
A quality difference estimation unit that calculates an estimated value of the quality difference before and after the transcoding based on the feature amount calculated by the motion compensation feature amount calculation unit and the index calculated by the index calculation unit;
A video quality difference estimation device characterized by comprising:
前記フレーム特徴量算出部は、前記ブロックごとの差分画素情報を統合した結果について特徴量を算出する、
ことを特徴とする請求項1記載の映像品質差推定装置。 The difference generation unit includes a motion vector search unit that searches for a motion vector between the preceding and succeeding frames for each block formed by dividing the frame into predetermined sections. Generating difference pixel information indicating a difference in pixel information of each pixel of the preceding and succeeding frames in a state in which the pixel is shifted by a motion vector related to the block,
The frame feature amount calculation unit calculates a feature amount for a result of integrating the difference pixel information for each block;
The video quality difference estimation apparatus according to claim 1, wherein:
トランスコード前の前記映像コンテンツのフレームの画素情報に基づいて、時間的な特徴量を算出する時間的特徴量算出部とを有し、
前記品質差推定部は、記動き補償特徴量算出部によって算出された特徴量と、前記指標算出部によって算出された指標と、前記空間的な特徴量と、前記時間的な特徴量とに基づいて、前記トランスコード前後の品質差の推定値を算出する、
ことを特徴とする請求項1又は2記載の映像品質差推定装置。 A spatial feature amount calculation unit that calculates a spatial feature amount based on pixel information of a frame of the video content before transcoding;
A temporal feature amount calculation unit that calculates a temporal feature amount based on pixel information of the frame of the video content before transcoding,
The quality difference estimation unit is based on the feature amount calculated by the motion compensation feature amount calculation unit, the index calculated by the index calculation unit, the spatial feature amount, and the temporal feature amount. Calculating an estimated value of the quality difference before and after the transcoding,
The video quality difference estimation apparatus according to claim 1 or 2, wherein
ことを特徴とする請求項1乃至3いずれか一項記載の映像品質差推定装置。 The index calculation unit calculates an index indicating a quality difference based on frame pixel information before and after transcoding.
The video quality difference estimation apparatus according to any one of claims 1 to 3, wherein
トランスコード前の映像コンテンツの前後のフレームについて、当該前後のフレーム間において映像が動いた分だけ一方のフレームの画素を前記映像の動きとは逆方向にずらした状態における、当該前後のフレームの各画素の画素情報の差分を示す差分画素情報を生成する差分生成手順と、
前記差分画素情報の特徴量を算出するフレーム特徴量算出手順と、
前記映像コンテンツの各フレームに関して算出された前記特徴量に基づいて、1つの特徴量を算出する動き補償特徴量算出手順と、
前記映像コンテンツのトランスコード前後の品質差を示す指標を算出する指標算出手順と、
前記動き補償特徴量算出手順において算出された特徴量と、前記指標算出手順において算出された指標とに基づいて、前記トランスコード前後の品質差の推定値を算出する品質差推定手順と、
を実行することを特徴とする映像品質差推定方法。 Computer
For the frames before and after the video content before transcoding, each of the previous and next frames in a state where the pixels of one frame are shifted in the direction opposite to the movement of the video by the amount of movement of the video between the previous and next frames. A difference generation procedure for generating difference pixel information indicating a difference in pixel information of pixels;
A frame feature amount calculation procedure for calculating a feature amount of the difference pixel information;
A motion compensation feature amount calculation procedure for calculating one feature amount based on the feature amount calculated for each frame of the video content;
An index calculation procedure for calculating an index indicating a quality difference before and after transcoding of the video content;
A quality difference estimation procedure for calculating an estimated value of the quality difference before and after the transcoding based on the feature amount calculated in the motion compensation feature amount calculation procedure and the index calculated in the index calculation procedure;
A video quality difference estimation method characterized by executing:
前記フレーム特徴量算出手順は、前記ブロックごとの差分画素情報を統合した結果について特徴量を算出する、
ことを特徴とする請求項5記載の映像品質差推定方法。 The difference generation procedure includes a motion vector search unit that searches for a motion vector between the preceding and succeeding frames for each block formed by dividing the frame into predetermined sections. Generating difference pixel information indicating a difference in pixel information of each pixel of the preceding and succeeding frames in a state in which the pixel is shifted by a motion vector related to the block,
The frame feature amount calculation procedure calculates a feature amount for a result of integrating the difference pixel information for each block,
6. The video quality difference estimation method according to claim 5, wherein:
トランスコード前の前記映像コンテンツのフレームの画素情報に基づいて、空間的な特徴量を算出する空間的特徴量算出手順と、
トランスコード前の前記映像コンテンツのフレームの画素情報に基づいて、時間的な特徴量を算出する時間的特徴量算出手順とを実行し、
前記品質差推定手順は、記動き補償特徴量算出手順において算出された特徴量と、前記指標算出手順において算出された指標と、前記空間的な特徴量と、前記時間的な特徴量とに基づいて、前記トランスコード前後の品質差の推定値を算出する、
ことを特徴とする請求項5又は6記載の映像品質差推定方法。 The computer is
A spatial feature amount calculating procedure for calculating a spatial feature amount based on pixel information of the frame of the video content before transcoding;
Performing a temporal feature amount calculation procedure for calculating a temporal feature amount based on pixel information of the frame of the video content before transcoding,
The quality difference estimation procedure is based on the feature amount calculated in the motion compensation feature amount calculation procedure, the index calculated in the indicator calculation procedure, the spatial feature amount, and the temporal feature amount. Calculating an estimated value of the quality difference before and after the transcoding,
7. The video quality difference estimation method according to claim 5, wherein the video quality difference is estimated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015114651A JP2017005344A (en) | 2015-06-05 | 2015-06-05 | Video quality estimation device, video quality estimation method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015114651A JP2017005344A (en) | 2015-06-05 | 2015-06-05 | Video quality estimation device, video quality estimation method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017005344A true JP2017005344A (en) | 2017-01-05 |
Family
ID=57752906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015114651A Pending JP2017005344A (en) | 2015-06-05 | 2015-06-05 | Video quality estimation device, video quality estimation method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017005344A (en) |
-
2015
- 2015-06-05 JP JP2015114651A patent/JP2017005344A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2958720C (en) | Method and system for objective perceptual video quality assessment | |
Vu et al. | ViS 3: An algorithm for video quality assessment via analysis of spatial and spatiotemporal slices | |
CN104365095B (en) | Method and apparatus for being encoded to the selected space segment of video flowing | |
US8804815B2 (en) | Support vector regression based video quality prediction | |
US10582211B2 (en) | Neural network to optimize video stabilization parameters | |
US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
US11259029B2 (en) | Method, device, apparatus for predicting video coding complexity and storage medium | |
KR20160045404A (en) | Video thumbnail extraction method and server and video provision system | |
Ghadiyaram et al. | A no-reference video quality predictor for compression and scaling artifacts | |
JPWO2014045479A1 (en) | Object information extraction apparatus, object information extraction program, and object information extraction method | |
JP2018533273A5 (en) | ||
WO2018153161A1 (en) | Video quality evaluation method, apparatus and device, and storage medium | |
CN110913221A (en) | Video code rate prediction method and device | |
JP2007201975A (en) | Code amount estimating method, frame rate estimating method, code amount estimating apparatus, frame rate estimating apparatus, code amount estimating program, frame rate estimating program, and computer readable storage medium for storing program | |
JP2017005343A (en) | Video quality estimation device, video quality estimation method and program | |
WO2018192518A1 (en) | Data processing method and device and storage medium | |
JP2017098604A (en) | Video quality estimation device, video quality estimation method and program | |
JP5956316B2 (en) | Subjective image quality estimation apparatus, subjective image quality estimation method, and program | |
JP2017005344A (en) | Video quality estimation device, video quality estimation method and program | |
KR20190027435A (en) | Method and Device of Motion Estimation for Depth Video Coding by Plane Modeling, and NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM | |
JP6373681B2 (en) | Objective image quality evaluation apparatus, objective image quality evaluation method, and program | |
CN102036074A (en) | Embedded equipment-based code rate control method and device | |
WO2011102867A1 (en) | A universal blurriness measurement approach for digital imagery | |
JP2017005342A (en) | Video feature amount calculation device, video feature amount calculation method and program | |
KR20220003087A (en) | VR image quality evaluation method and device |