JP5142316B2 - VIDEO QUALITY OBJECTIVE EVALUATION METHOD, VIDEO QUALITY OBJECTIVE EVALUATION DEVICE, AND PROGRAM - Google Patents
VIDEO QUALITY OBJECTIVE EVALUATION METHOD, VIDEO QUALITY OBJECTIVE EVALUATION DEVICE, AND PROGRAM Download PDFInfo
- Publication number
- JP5142316B2 JP5142316B2 JP2007188219A JP2007188219A JP5142316B2 JP 5142316 B2 JP5142316 B2 JP 5142316B2 JP 2007188219 A JP2007188219 A JP 2007188219A JP 2007188219 A JP2007188219 A JP 2007188219A JP 5142316 B2 JP5142316 B2 JP 5142316B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- video
- quality
- subjective quality
- degradation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、人間が映像を見てその品質を評価する主観品質評価実験を行うことなく、映像信号の特徴量の測定からその映像の主観品質を推定する技術に係り、特にブロック歪やぼけ等の空間的な劣化が主観品質に及ぼす影響と、フレームレートの低下やフリーズ等の時間的な劣化が主観品質に及ぼす影響を考慮して、総合的な主観品質を推定する技術に関するものである。 The present invention relates to a technique for estimating the subjective quality of a video from the measurement of the feature quantity of the video signal without performing a subjective quality evaluation experiment in which a human views the video and evaluates the quality thereof, and particularly, block distortion, blur, etc. The present invention relates to a technique for estimating overall subjective quality in consideration of the influence of spatial degradation on subjective quality and the influence of temporal degradation on frame quality, freeze, and the like on subjective quality.
従来より、映像信号から主観品質を推定する技術は存在するが、空間的な劣化もしくは時間的な劣化のどちらかのみを対象としていることがほとんどである。例えば、ブロック歪やぼけ等の空間的な劣化を効果的に考慮して主観品質を推定する技術(非特許文献1参照)や、フレームレートの低下やフリーズ等の時間的な劣化を効果的に考慮して主観品質を推定する技術(非特許文献2参照)などが存在する。 Conventionally, there is a technique for estimating subjective quality from a video signal, but most of the techniques are intended only for spatial degradation or temporal degradation. For example, a technique for estimating subjective quality by effectively considering spatial degradation such as block distortion and blur (see Non-Patent Document 1), and temporal degradation such as a decrease in frame rate and freeze are effectively performed. There is a technique (see Non-Patent Document 2) that estimates the subjective quality in consideration.
空間的な劣化と時間的な劣化が同時に発生した場合、非特許文献1に開示された技術と非特許文献2に開示された技術の単純和により主観品質の推定は可能である。しかしながら、空間的な劣化と時間的な劣化が同時に発生した場合、人間の劣化に対する知覚特性の影響により、主観品質は空間的な劣化の影響と時間的な劣化の影響の単純な和にはならないため、非特許文献1に開示された技術と非特許文献2に開示された技術を単純に組み合わせたとしても、総合的な主観品質を精度良く推定することができないという問題点があった。
When spatial degradation and temporal degradation occur simultaneously, the subjective quality can be estimated by the simple sum of the technique disclosed in Non-Patent Document 1 and the technique disclosed in
本発明は、上記課題を解決するためになされたもので、空間的な劣化と時間的な劣化の相互作用を加味し、総合的な主観品質を適切に推定することができる映像品質客観評価方法、映像品質客観評価装置およびプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problem, and an objective video quality evaluation method capable of appropriately estimating the overall subjective quality by taking into account the interaction between spatial degradation and temporal degradation. An object is to provide an objective video quality evaluation apparatus and program.
本発明の映像品質客観評価方法は、評価映像の空間的な劣化を考慮した主観品質評価値や前記評価映像の空間的な劣化の特徴量を導出する第1の品質パラメータ導出手順と、前記評価映像の時間的な劣化を考慮した主観品質評価値や前記評価映像の時間的な劣化の特徴量を導出する第2の品質パラメータ導出手順と、前記第1、第2の品質パラメータ導出手順の結果から、前記空間的な劣化と時間的な劣化の相互作用を考慮した前記評価映像の総合的な主観品質を推定する統合手順とを備え、前記統合手順は、前記第1の品質パラメータ導出手順の結果から、前記空間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Sを求める第1の影響評価値導出手順と、前記第2の品質パラメータ導出手順の結果から、前記時間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Tを求める第2の影響評価値導出手順と、前記影響評価値S,Tから前記評価映像の総合的な主観品質の推定値EVを求める主観品質推定手順とを含み、前記主観品質推定手順は、前記影響評価値S,Tと予め定められた係数α,β,γ,δとから、前記評価映像の主観品質の推定値EVをEV=δ−(α×S+β×T)+γ×S×Tにより求めることを特徴とするものである。 The video quality objective evaluation method of the present invention includes a first quality parameter derivation procedure for deriving a subjective quality evaluation value in consideration of spatial degradation of the evaluation video and a feature quantity of the spatial degradation of the evaluation video, and the evaluation Results of a second quality parameter derivation procedure for deriving a subjective quality evaluation value in consideration of temporal degradation of the video and a feature quantity of temporal degradation of the evaluation video, and results of the first and second quality parameter derivation procedures And an integrated procedure for estimating a total subjective quality of the evaluation video in consideration of the interaction between the spatial degradation and the temporal degradation, and the integration procedure includes the first quality parameter derivation procedure. From the result, the temporal influence is obtained from the result of the first influence evaluation value derivation procedure for obtaining the evaluation value S of the influence of the spatial degradation on the subjective quality of the evaluation video and the second quality parameter derivation procedure. Deterioration is said A second influence evaluation value derivation procedure for obtaining an evaluation value T of the influence on the subjective quality of the valence video, and a subjective quality estimation for obtaining an estimated value EV of the overall subjective quality of the evaluation video from the influence evaluation values S and T In the subjective quality estimation procedure, the estimated quality value EV of the evaluation video is expressed as EV = δ− from the influence evaluation values S, T and predetermined coefficients α, β, γ, δ. It is obtained by (α × S + β × T) + γ × S × T.
また、本発明の映像品質客観評価方法の1構成例において、前記係数α,β,γ,δは、主観評価実験により予め定められるものである。 In one configuration example of the video quality objective evaluation method of the present invention, the coefficients α, β, γ, and δ are predetermined by subjective evaluation experiments .
また、本発明の映像品質客観評価装置は、評価映像の空間的な劣化を考慮した主観品質評価値や前記評価映像の空間的な劣化の特徴量を導出する第1の品質パラメータ導出手段と、前記評価映像の時間的な劣化を考慮した主観品質評価値や前記評価映像の時間的な劣化の特徴量を導出する第2の品質パラメータ導出手段と、前記第1、第2の品質パラメータ導出手段の結果から、前記空間的な劣化と時間的な劣化の相互作用を考慮した前記評価映像の総合的な主観品質を推定する統合手段とを備え、前記統合手段は、前記第1の品質パラメータ導出手段の結果から、前記空間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Sを求める第1の影響評価値導出手段と、前記第2の品質パラメータ導出手段の結果から、前記時間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Tを求める第2の影響評価値導出手段と、前記影響評価値S,Tから前記評価映像の総合的な主観品質の推定値EVを求める主観品質推定手段とからなり、前記主観品質推定手段は、前記影響評価値S,Tと予め定められた係数α,β,γ,δとから、前記評価映像の主観品質の推定値EVをEV=δ−(α×S+β×T)+γ×S×Tにより求めることを特徴とするものである。 Further, the video quality objective evaluation device of the present invention includes a first quality parameter deriving unit for deriving a subjective quality evaluation value considering spatial degradation of the evaluation video and a feature amount of the spatial degradation of the evaluation video, Second quality parameter deriving means for deriving a subjective quality evaluation value in consideration of temporal degradation of the evaluation video and a characteristic amount of temporal degradation of the evaluation video; and the first and second quality parameter deriving means. And integrating means for estimating a total subjective quality of the evaluation video in consideration of the interaction between the spatial degradation and the temporal degradation, and the integrating means derives the first quality parameter. From the result of the first influence evaluation value deriving means for obtaining the evaluation value S of the influence of the spatial degradation on the subjective quality of the evaluation video from the result of the means and the result of the second quality parameter deriving means, the time Degradation A second influence evaluation value deriving unit for obtaining an evaluation value T of the influence on the subjective quality of the evaluation video; and a subjective quality for obtaining an estimated value EV of the overall subjective quality of the evaluation video from the influence evaluation values S and T The subjective quality estimation means calculates the subjective quality estimation value EV of the evaluation video from the influence evaluation values S, T and predetermined coefficients α, β, γ, δ, EV = δ. It is obtained by-(α × S + β × T) + γ × S × T.
また、本発明の映像品質客観評価プログラムは、評価映像の空間的な劣化を考慮した主観品質評価値や前記評価映像の空間的な劣化の特徴量を導出する第1の品質パラメータ導出手順と、前記評価映像の時間的な劣化を考慮した主観品質評価値や前記評価映像の時間的な劣化の特徴量を導出する第2の品質パラメータ導出手順と、前記第1、第2の品質パラメータ導出手順の結果から、前記空間的な劣化と時間的な劣化の相互作用を考慮した前記評価映像の総合的な主観品質を推定する統合手順とを、CPUに実行させ、前記統合手順は、前記第1の品質パラメータ導出手順の結果から、前記空間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Sを求める第1の影響評価値導出手順と、前記第2の品質パラメータ導出手順の結果から、前記時間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Tを求める第2の影響評価値導出手順と、前記影響評価値S,Tから前記評価映像の総合的な主観品質の推定値EVを求める主観品質推定手順とを含み、前記主観品質推定手順は、前記影響評価値S,Tと予め定められた係数α,β,γ,δとから、前記評価映像の主観品質の推定値EVをEV=δ−(α×S+β×T)+γ×S×Tにより求めることを特徴とするものである。 The video quality objective evaluation program of the present invention includes a first quality parameter derivation procedure for deriving a subjective quality evaluation value considering spatial degradation of the evaluation video and a feature amount of the spatial degradation of the evaluation video, A second quality parameter derivation procedure for deriving a subjective quality evaluation value considering temporal degradation of the evaluation video and a temporal deterioration feature quantity of the evaluation video; and the first and second quality parameter derivation procedures From the result of the above, the CPU is caused to execute an integration procedure for estimating the overall subjective quality of the evaluation video in consideration of the interaction between the spatial degradation and the temporal degradation . From the result of the quality parameter derivation procedure, the first influence evaluation value derivation procedure for obtaining the evaluation value S of the influence of the spatial degradation on the subjective quality of the evaluation video, and the result of the second quality parameter derivation procedure Or , A second influence evaluation value derivation procedure for obtaining an evaluation value T of the influence of the temporal deterioration on the subjective quality of the evaluation video, and the overall subjective quality of the evaluation video from the influence evaluation values S and T. A subjective quality estimation procedure for obtaining an estimated value EV. The subjective quality estimation procedure uses the influence evaluation values S and T and predetermined coefficients α, β, γ, and δ to determine the subjective quality of the evaluation video. The estimated value EV is obtained by EV = δ− (α × S + β × T) + γ × S × T.
本発明によれば、統合手順を設けることにより、空間的な劣化や時間的な劣化に対する人間の知覚特性を考慮することができ、評価映像に空間的な劣化と時間的な劣化が同時に発生した場合に空間的な劣化と時間的な劣化の相互作用を加味し、総合的な主観品質を適切に推定することができるので、人間による主観評価法を本発明に置き換えることにより主観評価を行うのに多大な労力と時間を必要としなくなる。 According to the present invention, by providing an integration procedure, it is possible to consider human perceptual characteristics with respect to spatial degradation and temporal degradation, and spatial degradation and temporal degradation occur simultaneously in the evaluation video. In this case, it is possible to appropriately estimate the overall subjective quality by taking into account the interaction between spatial degradation and temporal degradation, so that subjective assessment is performed by replacing the human subjective assessment method with the present invention. Requires a great deal of labor and time.
以下、本発明の実施の形態について図面を参照して説明する。図1は本発明の実施の形態に係る映像品質客観評価装置の構成を示すブロック図である。
図1の映像品質客観評価装置は、第1の品質パラメータ導出部11と、第2の品質パラメータ導出部12と、統合部14とを有する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a video quality objective evaluation apparatus according to an embodiment of the present invention.
The video quality objective evaluation apparatus of FIG. 1 includes a first quality
第1の品質パラメータ導出部11は、評価対象の劣化映像(以下、評価映像と呼ぶ)で発生した空間的な劣化の特徴量や空間的な劣化を考慮した主観品質の評価値SD1を統合部14に出力する機能を持つ。なお、第1の品質パラメータ導出部11の機能は、非特許文献1に開示された技術で実現できるが、それ以外にも、他の公知の技術で代替することが可能である。
The first quality
第2の品質パラメータ導出部12は、評価映像で発生した時間的な劣化の特徴量や時間的な劣化を考慮した主観品質の評価値TD1を統合部14に出力する機能を持つ。なお、第2の品質パラメータ導出部12の機能は、非特許文献2に開示された技術で実現できるが、それ以外にも、他の公知の技術で代替することが可能である。
The second quality
統合部14は、入力された特徴量や主観品質の評価値SD1とTD1を統合して、空間的な劣化と時間的な劣化を考慮した客観評価値EVを導出する機能を持つ。なお、上記の動作のために各部においては、必要となる計算能力やメモリを保有するものとする。
The
以下に、各部の詳細を説明する。図2は本実施の形態の映像品質客観評価装置の動作を示すフローチャートである。
第1の品質パラメータ導出部11は、評価映像で発生した空間的な劣化の特徴量や空間的な劣化を考慮した主観品質の評価値SD1を導出して統合部14に出力する(図2ステップS1)。図3は第1の品質パラメータ導出部11の構成例を示すブロック図である。第1の品質パラメータ導出部11は、3つの導出部11−1,11−2,11−3を有する。
Details of each unit will be described below. FIG. 2 is a flowchart showing the operation of the video quality objective evaluation device of this embodiment.
The first quality
導出部11−1は、所謂Full reference法を用いるものであり、評価映像とこの評価映像の劣化前の映像である原映像の全ての情報が利用できる場合に、これらの情報から特徴量や主観品質評価値SD1を導出する。
導出部11−2は、所謂Reduced reference法を用いるものであり、原映像の一部と評価映像の情報もしくは評価映像の一部と原映像の情報が利用できる場合に、これらの情報から特徴量や主観品質評価値SD1を導出する。
導出部11−3は、所謂No reference法を用いるものであり、評価映像の情報のみが利用できる場合に、この情報から特徴量や主観品質評価値SD1を導出する。
The derivation unit 11-1 uses a so-called full reference method, and when all information of the evaluation video and the original video that is the video before deterioration of the evaluation video can be used, the feature amount and subjective A quality evaluation value SD1 is derived.
The derivation unit 11-2 uses a so-called reduced reference method, and when a part of the original video and information of the evaluation video or a part of the evaluation video and the information of the original video can be used, the feature amount is obtained from the information. And the subjective quality evaluation value SD1 is derived.
The deriving unit 11-3 uses a so-called No reference method. When only the information of the evaluation video can be used, the deriving unit 11-3 derives the feature amount and the subjective quality evaluation value SD1 from this information.
例えば、原映像と評価映像の全ての情報、もしくは原映像の一部と評価映像の情報もしくは評価映像の一部と原映像の情報を利用して導出可能な空間的な劣化の特徴量SD1としては、参考文献1「ANSI T1.801.03-1996,“Digital Transport of One-Way Video signals-Parameters for Objective Performance Assessment”」で定義されている最大消失エッジ電力(Maximum lost edge energy)、最大付加エッジ電力(Maximum added edge energy)等が存在する。また、評価映像の情報のみを利用して導出可能な空間的な劣化の特徴量SD1としては、参考文献1や、参考文献2「ITU-T Recommendation P.910,“Subjective Video quality assessment methods for multimedia applications”,Aug.1996」で定義されているSI(Spatial Information)等が存在する。また、主観品質評価値SD1としては、評価映像の主観品質の評価値を絶対値として表す方法、または評価映像の主観品質の評価値を原映像からの差分値で表す方法を用いて求めた主観品質評価値がある。例えば、主観品質を絶対値として表す方法としてはACR法、主観品質を劣化前の原映像からの差分値として表す方法としてはDSIS法やDSCQS法等が存在する。また、SD1の導出には上記の方法の他に、他の公知の方法が利用可能である。
For example, the feature amount SD1 of spatial degradation that can be derived using all information of the original video and the evaluation video, or part of the original video and information of the evaluation video, or part of the evaluation video and the information of the original video Is the maximum lost edge energy and the maximum additional edge power defined in Reference 1 “ANSI T1.801.03-1996,“ Digital Transport of One-Way Video signals-Parameters for Objective Performance Assessment ””. (Maximum added edge energy) exists. Further, as the spatial degradation feature quantity SD1 that can be derived using only the information of the evaluation video, Reference Document 1 and
本実施の形態では、特に原映像と評価映像の全ての情報を用いる空間的な劣化の特徴量SD1として、Ave_EE(Average Edge Energy Difference)、Min_HV(Minimum HV-(horizontal or vertical) to non-HV-edge energy difference)、Ave_MEB(Average moving energy of blocks)を利用した。すなわち、第1の品質パラメータ導出部11の導出部11−1は、特徴量SD1として、Ave_EE,Min_HV,Ave_MEBを導出する。
In the present embodiment, in particular, as the spatial degradation feature amount SD1 using all information of the original video and the evaluation video, Ave_EE (Average Edge Energy Difference), Min_HV (Minimum HV- (horizontal or vertical) to non-HV -edge energy difference) and Ave_MEB (Average moving energy of blocks). That is, the deriving unit 11-1 of the first quality
Ave_EEは、評価映像のエッジ部分に発生する劣化を考慮して定量化した特徴量である。Min_HVは、評価映像のブロック歪を考慮して定量化した特徴量である。Ave_MEBは、評価映像の動きの大きさと劣化の局所性の関係を考慮して定量化した特徴量である。これらの特徴量の具体的な導出式は、非特許文献1に記載されている。これらの特徴量は10秒単位で出力されるが、単位時間は10秒以外の値を取ることも可能である。 Ave_EE is a feature quantity that is quantified in consideration of degradation that occurs in the edge portion of the evaluation video. Min_HV is a feature value quantified in consideration of block distortion of the evaluation video. Ave_MEB is a feature amount quantified in consideration of the relationship between the magnitude of the motion of the evaluation video and the locality of degradation. A specific derivation formula for these feature amounts is described in Non-Patent Document 1. These feature quantities are output in units of 10 seconds, but the unit time can take a value other than 10 seconds.
第2の品質パラメータ導出部12は、評価映像で発生した時間的な劣化の特徴量や時間的な劣化を考慮した主観品質の評価値TD1を導出して統合部14に出力する(図2ステップS2)。図4は第2の品質パラメータ導出部12の構成例を示すブロック図である。第2の品質パラメータ導出部12は、3つの導出部12−1,12−2,12−3を有する。
The second quality
導出部12−1は、所謂Full reference法を用いるものであり、原映像と評価映像の全ての情報が利用できる場合に、これらの情報から特徴量や主観品質評価値TD1を導出する。
導出部12−2は、所謂Reduced reference法を用いるものであり、原映像の一部と評価映像の情報もしくは評価映像の一部と原映像の情報が利用できる場合に、これらの情報から特徴量や主観品質評価値TD1を導出する。
導出部12−3は、所謂No reference法を用いるものであり、評価映像の情報のみが利用できる場合に、この情報から特徴量や主観品質評価値TD1を導出する。
The derivation unit 12-1 uses a so-called full reference method, and derives a feature amount and a subjective quality evaluation value TD1 from these information when all information of the original video and the evaluation video can be used.
The derivation unit 12-2 uses a so-called reduced reference method, and when a part of the original video and information of the evaluation video or a part of the evaluation video and the information of the original video can be used, the feature amount is obtained from these information. And the subjective quality evaluation value TD1 is derived.
The derivation unit 12-3 uses a so-called No reference method. When only the information of the evaluation video can be used, the derivation unit 12-3 derives the feature amount and the subjective quality evaluation value TD1.
例えば、原映像と評価映像の全ての情報、もしくは原映像の一部と評価映像の情報もしくは評価映像の一部と原映像の情報を利用して導出可能な時間的な劣化の特徴量TD1としては、参考文献1で定義されている最大付加動き電力(Maximum added motion energy)等が存在する。また、評価映像の情報のみを利用して導出可能な時間的な劣化の特徴量TD1としては、参考文献1や参考文献2で定義されているTI(Temporal Information)等が存在する。また、主観品質評価値TD1としては、評価映像の主観品質の評価値を絶対値として表す方法、または評価映像の主観品質の評価値を原映像からの差分値で表す方法を用いて求めた主観品質評価値がある。
For example, as information TD1 of temporal degradation that can be derived using all information of the original video and the evaluation video, or part of the original video and information of the evaluation video, or part of the evaluation video and the information of the original video Is the maximum added motion energy defined in Reference Document 1. Further, as the temporal deterioration feature amount TD1 that can be derived using only the information of the evaluation video, there is TI (Temporal Information) defined in Reference Document 1 or
本実施の形態では、特に評価映像の情報のみを用いる時間的な劣化の特徴量TD1として、評価映像に発生したフリーズ劣化の影響を統合した等価フリーズ長FLを利用した。すなわち、第2の品質パラメータ導出部12の導出部12−3は、特徴量TD1として等価フリーズ長FLを導出する。等価フリーズ長FLは、評価映像の動きを考慮して定量化した特徴量である。この等価フリーズ長FLの導出方法については、非特許文献2に記載されている。本特徴量は10秒単位で出力されるが、単位時間は10秒以外の値を取ることも可能である。
In the present embodiment, an equivalent freeze length FL that integrates the effects of freeze degradation that has occurred in the evaluation video is used as the temporal deterioration feature amount TD1 that uses only the information of the evaluation video. That is, the deriving unit 12-3 of the second quality
次に、統合部14は、第1の品質パラメータ導出部11から入力された特徴量や主観品質評価値SD1と第2の品質パラメータ導出部12から入力された特徴量や主観品質評価値TD1を用いて、空間的な劣化の影響と時間的な劣化の影響の相互作用を考慮した総合的な主観品質を推定する(図2ステップS3)。図5は統合部14の構成例を示すブロック図である。統合部14は、第1の影響評価値導出部14−1と、第2の影響評価値導出部14−2と、主観品質推定部14−3とを有する。
Next, the
まず、総合的な主観品質の推定値である客観評価値EVは、次式のように算出される。
EV=δ−(α×S+β×T)+γ×S×T ・・・(1)
式(1)において、Sは空間的な劣化が主観品質へ及ぼす影響の評価値、Tは時間的な劣化が主観品質へ及ぼす影響の評価値、α,β,γ,δは係数である。
First, an objective evaluation value EV, which is an estimated value of overall subjective quality, is calculated as follows.
EV = δ− (α × S + β × T) + γ × S × T (1)
In Equation (1), S is an evaluation value of the influence of spatial degradation on subjective quality, T is an evaluation value of the influence of temporal degradation on subjective quality, and α, β, γ, and δ are coefficients.
空間的な劣化が主観品質へ及ぼす影響の評価値Sは、第1の品質パラメータ導出部11から入力された特徴量や主観品質評価値SD1から次式のように求めることができる。
S=a1×S1+a2×S2+・・・+an×Sn+an+1 ・・・(2)
式(2)において、S1,S2,・・・,SnはSD1に属する特徴量や主観品質評価値、nはSD1を構成する特徴量や主観品質評価値の数、a1,a2,・・・,an,an+1は係数である。
The evaluation value S of the influence of the spatial deterioration on the subjective quality can be obtained from the feature quantity input from the first quality
S = a 1 × S 1 + a 2 × S 2 +... + An × S n + a n + 1 (2)
In the
時間的な劣化が主観品質へ及ぼす影響の評価値Tは、第2の品質パラメータ導出部12から入力された特徴量や主観品質評価値TD1から次式のように求めることができる。
T=b1×T1+b2×T2+・・・+bm×Tm+bm+1 ・・・(3)
式(3)において、T1,T2,・・・,TmはTD1に属する特徴量や主観品質評価値、mはTD1を構成する特徴量や主観品質評価値の数、b1,b2,・・・,bm,bm+1は係数である。
The evaluation value T of the influence of temporal deterioration on the subjective quality can be obtained from the feature amount input from the second quality
T = b 1 × T 1 + b 2 × T 2 +... + B m × T m + b m + 1 (3)
In Equation (3), T 1 , T 2 ,..., T m are feature quantities and subjective quality evaluation values belonging to TD1, m is the number of feature quantities and subjective quality evaluation values constituting TD1, b 1 , b 2 ,..., B m , b m + 1 are coefficients.
本実施の形態では、n=3、m=1とし、評価値S1=Ave_EE、S2=Min_HV、S3=Ave_MEB、T1=FLとして、式(2)を式(4)のように設定し、式(3)を式(5)のように設定した。
S=a1×[Ave_EE]+a2×[Min_HV]+a3×[Ave_MEB]
+a4 ・・・(4)
T=b1×[FL]+b2 ・・・(5)
In the present embodiment, n = 3, m = 1, evaluation values S 1 = Ave_EE, S 2 = Min_HV, S 3 = Ave_MEB, T 1 = FL, and Expression (2) is expressed as Expression (4). Then, equation (3) was set as equation (5).
S = a 1 × [Ave_EE] + a 2 × [Min_HV] + a 3 × [Ave_MEB]
+ A 4 (4)
T = b 1 × [FL] + b 2 (5)
式(1)〜式(5)の係数α,β,γ,δ,a1,a2,・・・,an,an+1,b1,b2,・・・,bm,bm+1は、予め主観評価実験により最適になるように定められたものである。その最適化の具体的な手法としては、評価映像から本実施の形態の映像品質客観評価装置が求めた客観評価値EVと人間が評価映像を見て決めた総合的な主観評価値Eとの誤差の二乗を、表1の様々な劣化条件1〜iの評価映像について求め、その総和が最小になるように、回帰分析に基づいて係数α,β,γ,δ,a1,a2,・・・,an,an+1,b1,b2,・・・,bm,bm+1を最適化すればよい。劣化条件1〜iは、評価シーンの違いや劣化の種類やその劣化の強さを定めたものである。
Coefficients of equations (1) to (5) α, β, γ , δ, a 1, a 2, ···, a n, a n + 1, b 1,
例えば表1によれば、ある劣化条件1の評価映像について、映像品質客観評価装置が求めた特徴量S1(=Ave_EE)がS11、特徴量S2(=Min_HV)がS12、特徴量S3(=Ave_MEB)がS13、特徴量T1がT11、人間が決めた総合的な主観評価値がE1、客観評価値がEV1である。主観評価値は予め各劣化条件1〜iの評価映像について主観評価実験を行うことにより求めておく。表1に示した各劣化条件の主観評価値と客観評価値の誤差(F1〜Fi)の二乗の総和が最小となるように式(1)、式(2)、式(3)、式(4)、式(5)で回帰分析を行って各式の係数を決定した。表1は、n=3、m=1の場合、つまり評価値S,Tを式(4)、式(5)で求める場合を表している。 For example, according to Table 1, for an evaluation video under a certain degradation condition 1, the feature quantity S 1 (= Ave_EE) obtained by the video quality objective evaluation apparatus is S 11 , the feature quantity S 2 (= Min_HV) is S 12 , and the feature quantity. S 3 (= Ave_MEB) is S 13 , the characteristic amount T 1 is T 11 , the comprehensive subjective evaluation value determined by humans is E 1 , and the objective evaluation value is EV 1 . The subjective evaluation value is obtained in advance by performing a subjective evaluation experiment on the evaluation video of each deterioration condition 1 to i. Equations (1), (2), (3), and (3) so that the sum of the squares of the errors (F 1 to F i ) between the subjective evaluation value and the objective evaluation value of each deterioration condition shown in Table 1 is minimized. Regression analysis was performed using equations (4) and (5) to determine the coefficients of each equation. Table 1 shows the case where n = 3 and m = 1, that is, the case where the evaluation values S and T are obtained by the equations (4) and (5).
前記のとおり、各特徴量や空間・時間的な劣化を表す主観品質から総合的な主観品質を精度良く推定できるように回帰分析を行い、式(1)の係数α,β,γ,δに加えて、式(2)と式(3)の係数a1,a2,・・・,an,an+1,b1,b2,・・・,bm,bm+1(式(4)と式(5)を用いる場合は係数a1,a2,a3,a4,b1,b2)を決定する。本実施の形態では、回帰分析のアルゴリズムとしては、Frontline Systems,Inc.が開発したExcelのソルバープログラムを用いた。ただし、その他の回帰分析アルゴリズムを利用しても良い。 As described above, regression analysis is performed so that the overall subjective quality can be accurately estimated from the subjective quality representing each feature amount and spatial / temporal degradation, and the coefficients α, β, γ, and δ in Equation (1) are calculated. In addition, the coefficients a 1 , a 2 ,..., A n , a n + 1 , b 1 , b 2 ,..., B m , b m + 1 ( When equations (4) and (5) are used, the coefficients a 1 , a 2 , a 3 , a 4 , b 1 , b 2 ) are determined. In this embodiment, an Excel solver program developed by Frontline Systems, Inc. was used as an algorithm for regression analysis. However, other regression analysis algorithms may be used.
このようにして求めた係数α,β,γ,δ,a1,a2,・・・,an,an+1,b1,b2,・・・,bm,bm+1を式(1)、式(2)、式(3)に代入するか、あるいは同様にして求めた係数α,β,γ,δ,a1,a2,a3,a4,b1,b2を式(1)、式(4)、式(5)に代入することにより、総合的な主観品質の推定式が完成する。
Coefficient thus determined α, β, γ, δ, a 1, a 2, ···, a n, a n + 1, b 1,
統合部14の第1の影響評価値導出部14−1は、式(2)又は式(4)を用いて影響評価値Sを導出し、第2の影響評価値導出部14−2は、式(3)又は式(5)を用いて影響評価値Tを導出し、主観品質推定部14−3は、式(1)を用いて客観評価値EVを導出する。
The first impact evaluation value deriving unit 14-1 of the
なお、式(1)〜式(5)は空間的な劣化と時間的な劣化の相互作用を考慮した式となっている。具体的には、式(1)式の評価値Sが空間的な劣化を考慮した値、評価値Tが時間的な劣化を考慮した値、S×Tが空間的な劣化と時間的な劣化を考慮した値となる。また、表1に示した評価映像の劣化条件1〜iは、アプリケーションに応じた適切な係数の最適化が行われるように、シーンの種類や空間的な劣化と時間的な劣化について十分に劣化の種類やその強さの範囲をカバーするように決められる。各係数のレンジは係数毎に大きく異なるため、各係数について実用的な範囲で主観的にレンジを決める必要がある。主観評価値Eは、予め各劣化条件1〜iの評価映像について主観評価実験を行うことにより求めておく。 Expressions (1) to (5) are expressions that take into account the interaction between spatial degradation and temporal degradation. Specifically, the evaluation value S in the equation (1) is a value considering spatial degradation, the evaluation value T is a value considering temporal degradation, and S × T is spatial degradation and temporal degradation. Is a value that takes into account. In addition, the degradation conditions 1 to i of the evaluation video shown in Table 1 are sufficiently degraded with respect to the scene type, spatial degradation, and temporal degradation so that an appropriate coefficient is optimized according to the application. To cover the range of types and their strengths. Since the range of each coefficient is greatly different for each coefficient, it is necessary to subjectively determine the range for each coefficient within a practical range. The subjective evaluation value E is obtained in advance by performing a subjective evaluation experiment on the evaluation video of each deterioration condition 1 to i.
以上説明したように、本実施の形態では、統合部14を設けることにより、空間的な劣化や時間的な劣化に対する人間の知覚特性を考慮することができ、空間的な劣化と時間的な劣化の相互作用を加味し、総合的な主観品質を適切に推定することができる。その結果、本実施の形態では、空間的な劣化と時間的な劣化が同時に発生している状況において、主観品質を適切に推定することが可能となる。本実施の形態では、例えばビットレートが低く、符号化による劣化が発生している状況で、映像伝送路に損失が発生し、それによりフリーズ劣化が発生した場合の主観品質の推定を効果的に行うことが可能となる。
As described above, in the present embodiment, by providing the
なお、本実施の形態の映像品質客観評価装置は、CPU、記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明の映像品質客観評価方法を実現させるための映像品質客観評価プログラムは、フレキシブルディスク、CD−ROM、DVD−ROM、メモリカードなどの記録媒体に記録された状態で提供される。CPUは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って前述のような処理を実行する。 Note that the video quality objective evaluation device of the present embodiment can be realized by a computer having a CPU, a storage device, and an external interface, and a program for controlling these hardware resources. In such a computer, the video quality objective evaluation program for realizing the video quality objective evaluation method of the present invention is provided in a state of being recorded on a recording medium such as a flexible disk, a CD-ROM, a DVD-ROM, or a memory card. Is done. The CPU writes the program read from the recording medium into the storage device, and executes the above-described processing according to the program.
本発明は、人間が映像を見てその品質を評価する主観品質評価実験を行うことなく、映像信号の特徴量の測定から人間の主観品質を推定する技術に適用することができる。 The present invention can be applied to a technique for estimating human subjective quality from measurement of a feature amount of a video signal without performing a subjective quality evaluation experiment in which a human views a video and evaluates its quality.
11…第1の品質パラメータ導出部、12…第2の品質パラメータ導出部、14…統合部、11−1〜11−3,12−1〜12−3…導出部、14−1…第1の影響評価値導出部、14−2…第2の影響評価値導出部、14−3…主観品質推定部。
DESCRIPTION OF
Claims (4)
評価映像の空間的な劣化を考慮した主観品質評価値や前記評価映像の空間的な劣化の特徴量を導出する第1の品質パラメータ導出手順と、
前記評価映像の時間的な劣化を考慮した主観品質評価値や前記評価映像の時間的な劣化の特徴量を導出する第2の品質パラメータ導出手順と、
前記第1、第2の品質パラメータ導出手順の結果から、前記空間的な劣化と時間的な劣化の相互作用を考慮した前記評価映像の総合的な主観品質を推定する統合手順とを備え、
前記統合手順は、
前記第1の品質パラメータ導出手順の結果から、前記空間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Sを求める第1の影響評価値導出手順と、
前記第2の品質パラメータ導出手順の結果から、前記時間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Tを求める第2の影響評価値導出手順と、
前記影響評価値S,Tから前記評価映像の総合的な主観品質の推定値EVを求める主観品質推定手順とを含み、
前記主観品質推定手順は、前記影響評価値S,Tと予め定められた係数α,β,γ,δとから、前記評価映像の主観品質の推定値EVをEV=δ−(α×S+β×T)+γ×S×Tにより求めることを特徴とする映像品質客観評価方法。 A video quality objective evaluation method for estimating the subjective quality of video,
A first quality parameter derivation procedure for deriving a subjective quality evaluation value in consideration of spatial degradation of the evaluation video and a feature quantity of the spatial degradation of the evaluation video;
A second quality parameter derivation procedure for deriving a subjective quality evaluation value in consideration of temporal degradation of the evaluation video and a characteristic amount of temporal degradation of the evaluation video;
An integrated procedure for estimating a total subjective quality of the evaluation video in consideration of the interaction between the spatial degradation and the temporal degradation from the results of the first and second quality parameter derivation procedures ;
The integration procedure is:
A first influence evaluation value derivation procedure for obtaining an evaluation value S of the influence of the spatial degradation on the subjective quality of the evaluation video from the result of the first quality parameter derivation procedure;
From the result of the second quality parameter derivation procedure, a second influence evaluation value derivation procedure for obtaining an evaluation value T of the influence of the temporal deterioration on the subjective quality of the evaluation video;
A subjective quality estimation procedure for obtaining an estimated value EV of the overall subjective quality of the evaluation video from the influence evaluation values S and T,
In the subjective quality estimation procedure, the estimated value EV of the subjective quality of the evaluation video is expressed as EV = δ− (α × S + β ×) from the influence evaluation values S and T and predetermined coefficients α, β, γ, and δ. T) A video quality objective evaluation method characterized by being obtained by + γ × S × T.
前記係数α,β,γ,δは、主観評価実験により予め定められることを特徴とする映像品質客観評価方法。 The video quality objective evaluation method according to claim 1,
The video quality objective evaluation method , wherein the coefficients α, β, γ, and δ are determined in advance by a subjective evaluation experiment .
評価映像の空間的な劣化を考慮した主観品質評価値や前記評価映像の空間的な劣化の特徴量を導出する第1の品質パラメータ導出手段と、
前記評価映像の時間的な劣化を考慮した主観品質評価値や前記評価映像の時間的な劣化の特徴量を導出する第2の品質パラメータ導出手段と、
前記第1、第2の品質パラメータ導出手段の結果から、前記空間的な劣化と時間的な劣化の相互作用を考慮した前記評価映像の総合的な主観品質を推定する統合手段とを備え、
前記統合手段は、
前記第1の品質パラメータ導出手段の結果から、前記空間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Sを求める第1の影響評価値導出手段と、
前記第2の品質パラメータ導出手段の結果から、前記時間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Tを求める第2の影響評価値導出手段と、
前記影響評価値S,Tから前記評価映像の総合的な主観品質の推定値EVを求める主観品質推定手段とからなり、
前記主観品質推定手段は、前記影響評価値S,Tと予め定められた係数α,β,γ,δとから、前記評価映像の主観品質の推定値EVをEV=δ−(α×S+β×T)+γ×S×Tにより求めることを特徴とする映像品質客観評価装置。 An objective video quality evaluation device that estimates the subjective quality of video,
First quality parameter deriving means for deriving a subjective quality evaluation value considering spatial degradation of the evaluation video and a feature amount of the spatial degradation of the evaluation video;
Second quality parameter derivation means for deriving a subjective quality evaluation value considering temporal degradation of the evaluation video and a characteristic amount of temporal degradation of the evaluation video;
Integrating means for estimating a total subjective quality of the evaluation video in consideration of the interaction between the spatial degradation and the temporal degradation from the results of the first and second quality parameter derivation means;
The integration means includes
First influence evaluation value deriving means for obtaining an evaluation value S of the influence of the spatial degradation on the subjective quality of the evaluation video from the result of the first quality parameter deriving means;
Second influence evaluation value deriving means for obtaining an evaluation value T of the influence of the temporal deterioration on the subjective quality of the evaluation video from the result of the second quality parameter deriving means;
Subjective quality estimation means for obtaining an estimated value EV of the overall subjective quality of the evaluation video from the influence evaluation values S and T,
The subjective quality estimation means calculates the estimated value EV of the subjective quality of the evaluation video from the influence evaluation values S, T and predetermined coefficients α, β, γ, δ, EV = δ− (α × S + β × T) An objective video quality evaluation apparatus characterized by being obtained by + γ × S × T.
評価映像の空間的な劣化を考慮した主観品質評価値や前記評価映像の空間的な劣化の特徴量を導出する第1の品質パラメータ導出手順と、A first quality parameter derivation procedure for deriving a subjective quality evaluation value in consideration of spatial degradation of the evaluation video and a feature quantity of the spatial degradation of the evaluation video;
前記評価映像の時間的な劣化を考慮した主観品質評価値や前記評価映像の時間的な劣化の特徴量を導出する第2の品質パラメータ導出手順と、A second quality parameter derivation procedure for deriving a subjective quality evaluation value in consideration of temporal degradation of the evaluation video and a characteristic amount of temporal degradation of the evaluation video;
前記第1、第2の品質パラメータ導出手順の結果から、前記空間的な劣化と時間的な劣化の相互作用を考慮した前記評価映像の総合的な主観品質を推定する統合手順とを、前記CPUに実行させ、An integrated procedure for estimating an overall subjective quality of the evaluation video in consideration of the interaction between the spatial degradation and the temporal degradation from the results of the first and second quality parameter derivation procedures; To run
前記統合手順は、The integration procedure is:
前記第1の品質パラメータ導出手順の結果から、前記空間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Sを求める第1の影響評価値導出手順と、A first influence evaluation value derivation procedure for obtaining an evaluation value S of the influence of the spatial degradation on the subjective quality of the evaluation video from the result of the first quality parameter derivation procedure;
前記第2の品質パラメータ導出手順の結果から、前記時間的な劣化が前記評価映像の主観品質へ及ぼす影響の評価値Tを求める第2の影響評価値導出手順と、From the result of the second quality parameter derivation procedure, a second influence evaluation value derivation procedure for obtaining an evaluation value T of the influence of the temporal deterioration on the subjective quality of the evaluation video;
前記影響評価値S,Tから前記評価映像の総合的な主観品質の推定値EVを求める主観品質推定手順とを含み、A subjective quality estimation procedure for obtaining an estimated value EV of the overall subjective quality of the evaluation video from the influence evaluation values S and T,
前記主観品質推定手順は、前記影響評価値S,Tと予め定められた係数α,β,γ,δとから、前記評価映像の主観品質の推定値EVをEV=δ−(α×S+β×T)+γ×S×Tにより求めることを特徴とする映像品質客観評価プログラム。In the subjective quality estimation procedure, the estimated value EV of the subjective quality of the evaluation video is expressed as EV = δ− (α × S + β ×) from the influence evaluation values S and T and predetermined coefficients α, β, γ, and δ. T) An image quality objective evaluation program characterized by being obtained by + γ × S × T.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007188219A JP5142316B2 (en) | 2007-07-19 | 2007-07-19 | VIDEO QUALITY OBJECTIVE EVALUATION METHOD, VIDEO QUALITY OBJECTIVE EVALUATION DEVICE, AND PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007188219A JP5142316B2 (en) | 2007-07-19 | 2007-07-19 | VIDEO QUALITY OBJECTIVE EVALUATION METHOD, VIDEO QUALITY OBJECTIVE EVALUATION DEVICE, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009027432A JP2009027432A (en) | 2009-02-05 |
JP5142316B2 true JP5142316B2 (en) | 2013-02-13 |
Family
ID=40398824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007188219A Active JP5142316B2 (en) | 2007-07-19 | 2007-07-19 | VIDEO QUALITY OBJECTIVE EVALUATION METHOD, VIDEO QUALITY OBJECTIVE EVALUATION DEVICE, AND PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5142316B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5234812B2 (en) * | 2009-08-13 | 2013-07-10 | 日本電信電話株式会社 | Video quality estimation apparatus, method, and program |
JP5901175B2 (en) | 2011-08-08 | 2016-04-06 | アイキューブド研究所株式会社 | Content processing apparatus, content processing method, and program |
JP6162596B2 (en) * | 2013-12-24 | 2017-07-12 | 日本電信電話株式会社 | Quality estimation apparatus, method and program |
CN103780895B (en) * | 2014-01-16 | 2015-11-04 | 天津大学 | A kind of three-dimensional video quality evaluation method |
CN104023227B (en) * | 2014-05-28 | 2015-11-04 | 宁波大学 | A kind of objective evaluation method of video quality based on spatial domain and spatial structure similitude |
JP6402088B2 (en) * | 2015-11-18 | 2018-10-10 | 日本電信電話株式会社 | Video quality estimation apparatus, video quality estimation method, and program |
CN111711816B (en) * | 2020-07-08 | 2022-11-11 | 福州大学 | Video objective quality evaluation method based on observable coding effect intensity |
WO2023209800A1 (en) * | 2022-04-26 | 2023-11-02 | 日本電信電話株式会社 | Video quality estimation device, video quality estimation method, and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005020592A1 (en) * | 2003-08-22 | 2005-03-03 | Nippon Telegraph And Telephone Corporation | Video quality evaluation device, video quality evaluation method, video quality evaluation program, video matching device, video matching method, and video matching program |
JP4027330B2 (en) * | 2004-02-24 | 2007-12-26 | 日本電信電話株式会社 | Voice / video communication service quality estimation method and apparatus |
-
2007
- 2007-07-19 JP JP2007188219A patent/JP5142316B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009027432A (en) | 2009-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5142316B2 (en) | VIDEO QUALITY OBJECTIVE EVALUATION METHOD, VIDEO QUALITY OBJECTIVE EVALUATION DEVICE, AND PROGRAM | |
JP5521202B2 (en) | Multi-view image encoding method, multi-view image decoding method, multi-view image encoding device, multi-view image decoding device, multi-view image encoding program, and multi-view image decoding program | |
JP4973031B2 (en) | Noise suppression method, noise suppression method program, recording medium recording noise suppression method program, and noise suppression device | |
US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
US7965203B2 (en) | Video quality estimation apparatus, method, and program | |
EP2018069A1 (en) | Video quality estimating device, method, and program | |
RU2603529C2 (en) | Noise reduction for image sequences | |
US10038898B2 (en) | Estimating quality of a video signal | |
JP4490374B2 (en) | Video quality evaluation apparatus and method | |
JP4763525B2 (en) | Video alignment method | |
JP6678835B2 (en) | Crowd density calculation device, crowd density calculation method, and crowd density calculation program | |
JPWO2011105391A1 (en) | Image processing method, image processing apparatus, and program | |
US20030161399A1 (en) | Multi-layer composite objective image quality metric | |
US20120224636A1 (en) | Video encoding apparatus, video encoding method, and computer program | |
JP4665737B2 (en) | Image processing apparatus and program | |
JP5938049B2 (en) | Video quality evaluation apparatus, method and program | |
JP5050159B2 (en) | Encoder | |
KR101035746B1 (en) | Method of distributed motion estimation for video encoder and video decoder | |
JP6373681B2 (en) | Objective image quality evaluation apparatus, objective image quality evaluation method, and program | |
JP2008066856A (en) | Apparatus, method and program for objectively evaluating video quality | |
WO2011033675A1 (en) | Image processing apparatus and image display apparatus | |
JP6431449B2 (en) | Video matching apparatus, video matching method, and program | |
JP6087747B2 (en) | Video encoding device, video decoding device, video system, video encoding method, video decoding method, and program | |
JP2002152049A (en) | Data processing apparatus and data processing method | |
KR100608048B1 (en) | Apparatus for correcting motion vector error and method therefor, and recording medium for recording programs for realizing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110627 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110726 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121116 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5142316 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |