JP2016207084A - 映像品質評価装置、移動体端末、映像品質評価方法、およびプログラム - Google Patents

Abstract

【課題】映像の主観品質を、的確に推定する。【解決手段】映像の主観品質を推定する映像品質評価部１は、画面変動特徴量計算部３０および主観品質劣化特徴量統合部６０を備える。画面変動特徴量計算部３０は、映像を撮影する際に発生した手ぶれの度合いを、画面変動特徴量ＨＳとして推定する。主観品質劣化特徴量統合部６０は、画面変動特徴量計算部３０により推定された画面変動特徴量ＨＳに基づいて、映像の主観品質を推定する。【選択図】図２

Description

本発明は、映像品質評価装置、移動体端末、映像品質評価方法、およびプログラムに関する。

近年、ビデオチャットといった映像通信サービスが普及している。このような映像通信サービスにおいて、映像の主観品質を自動で推定する客観評価技術が望まれている。

例えば非特許文献１には、テレビ電話の主観品質を推定するために、ネットワークや端末やアプリケーションの品質設計パラメータから客観評価を行う技術が示されている。この技術によれば、送信端末から映像が出力されてから受信端末でこの映像が表示されるまでの時間や、送信端末と受信端末との間でのパケット損失率などを考慮して、主観品質を推定することができる。

ITU勧告 G.1070 : Opinion model for video-telephony applications

上述の送信端末において映像を撮影する際に手ぶれが発生すると、画面が安定しなかったり、画像がぼけたりするおそれがある。しかし、上述の非特許文献１に示されている技術は、手ぶれを考慮していないため、手ぶれに起因する主観品質の低下を検出することができず、主観品質を的確に推定できなかった。

また、激しい手ぶれによって画面が急激に変化した場合、動き予測の精度が低下し、Ｂフレームにおいてもイントラブロックが多用され、その結果、圧縮率が低下して符号量の増加を招く原因となる。そこで、手ぶれによって画面が急激に変化した場合、ＱＰ値を高くするといった処理によりビットレートを抑えることがある。これによれば、符号量の増加を抑制することはできるが、上述の処理が行われたフレームの前後で急激な画質変動が発生してしまい、主観品質が低下するおそれがある。上述の非特許文献１に示されている技術は、上述のように手ぶれを考慮していないため、激しい手ぶれによる主観品質の低下を検出することができず、主観品質を的確に推定できなかった。

また、受信端末の処理リソースには限りがあるため、受信端末において映像をデコードしてレンダリングする際に、フレームレートが安定しないことがある。この場合、映像をスムーズに再生することができず（映像がカクつく）、主観品質が低下するおそれがある。上述の非特許文献１に示されている技術は、処理リソースの不足による主観品質の低下を検出することができず、主観品質を的確に推定できなかった。

そこで、本発明は、上述の課題を鑑みてなされたものであり、映像の主観品質を的確に推定することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、映像の主観品質を推定する映像品質評価装置（例えば、図１の映像品質評価部１に相当）であって、前記映像を撮影する際に発生した手ぶれの度合いを、画面変動特徴量（例えば、図２の画面変動特徴量ＨＳに相当）として推定する画面変動特徴量計算手段（例えば、図２の画面変動特徴量計算部３０に相当）と、前記画面変動特徴量計算手段により推定された画面変動特徴量に基づいて、前記映像の主観品質を推定する主観品質劣化特徴量統合手段（例えば、図２の主観品質劣化特徴量統合部６０に相当）と、を備えることを特徴とする映像品質評価装置を提案している。

ここで、映像を撮影する際に手ぶれが発生すると、画面が安定しなかったり、画像がぼけたりして、主観品質が低下することがある。そこで、この発明によれば、画面変動特徴量計算手段により、映像を撮影する際に発生した手ぶれの度合いを画面変動特徴量として推定することとした。また、主観品質劣化特徴量統合手段により、画面変動特徴量計算手段により推定された画面変動特徴量に基づいて、映像の主観品質を推定することとした。このため、主観品質の推定結果に、手ぶれの度合いを反映させることができるので、映像の主観品質を的確に推定することができる。

（２） 本発明は、（１）の映像品質評価装置について、前記画面変動特徴量計算手段は、適用される画素が最も多い動きベクトル（例えば、後述のＭＶＦ_ｎｍａｘで表される割合を有する動きベクトルＭＶ（Ｂ）に相当）をフレームごとに求め、求めた動きベクトルの大きさを予め定められたフレーム数（例えば、後述の５００ｍｓｅｃ、１０００ｍｓｅｃ、１００００ｍｓｅｃなどの時間幅に相当するフレーム数に相当）だけ積分して、前記画面変動特徴量とすることを特徴とする映像品質評価装置を提案している。

ここで、映像を撮影する際に手ぶれが発生すると、画面内ではオブジェクトが手ぶれの方向と反対の方向に動いているように見え、同一の動きベクトルが適用される画素が多くなる。そこで、この発明によれば、（１）の映像品質評価装置において、画面変動特徴量計算手段により、適用される画素が最も多い動きベクトルをフレームごとに求め、求めた動きベクトルの大きさを予め定められたフレーム数だけ積分して、画面変動特徴量とすることとした。このため、予め定められたフレーム数のフレームにおいて発生した手ぶれの度合いを、画面変動特徴量として推定することができる。

（３） 本発明は、（１）または（２）の映像品質評価装置について、前記映像をレンダリングする際のフレームレートの安定の度合いを、ｆｐｓ特徴量（例えば、図２のｆｐｓ特徴量Ｆに相当）として求めるｆｐｓ特徴量計算手段（例えば、図２のｆｐｓ特徴量計算部５０に相当）を備え、前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする映像品質評価装置を提案している。

ここで、端末の処理リソースには限りがあるため、デコード時やレンダリング時に処理リソースが不足することがある。また、映像通信サービスにおける伝送路が安定しないこともある。このような場合、端末において映像をレンダリングする際にフレームレートが安定せず、主観品質が低下することがある。そこで、この発明によれば、（１）または（２）の映像品質評価装置において、ｆｐｓ特徴量計算手段により、映像をレンダリングする際のフレームレートの安定の度合いをｆｐｓ特徴量として求めることとした。また、主観品質劣化特徴量統合手段により、画面変動特徴量計算手段により推定された画面変動特徴量と、ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、に基づいて、映像の主観品質を推定することとした。このため、主観品質の推定結果に、手ぶれの度合いだけでなく、処理リソースの不足や伝送路の安定性の変動によるレンダリングのフレームレートの安定の度合いも反映させることができるので、映像の主観品質をさらに的確に推定することができる。

（４） 本発明は、（３）の映像品質評価装置について、前記ｆｐｓ特徴量計算手段は、前記映像をレンダリングする際のフレームレート（例えば、図２のレンダリングのフレームレート情報ＳＩＧ２に相当）の分散値を、予め定められた期間ごと（例えば、後述のＧＯＰごとに相当）に求め、前記ｆｐｓ特徴量とすることを特徴とする映像品質評価装置を提案している。

この発明によれば、（３）の映像品質評価装置において、ｆｐｓ特徴量計算手段により、映像をレンダリングする際のフレームレートの分散値を予め定められた期間ごとに求め、ｆｐｓ特徴量とすることとした。このため、映像をレンダリングする際のフレームレートの安定の度合いを予め定められた期間ごとに求めて、ｆｐｓ特徴量とすることができる。

（５） 本発明は、（１）または（２）の映像品質評価装置について、前記映像の量子化パラメータのばらつきの度合いを、符号量変動特徴量（例えば、図２の符号量変動特徴量ＱＶａｒに相当）として求める符号量変動特徴量計算手段（例えば、図２の符号量変動特徴量計算部４０に相当）を備え、前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記符号量変動特徴量計算手段により求められた符号量変動特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする映像品質評価装置を提案している。

ここで、手ぶれによって画面が急激に変化した場合、動き予測の精度が低下し、Ｂフレームにおいてもイントラブロックが多用され、その結果、圧縮率が低下して符号量の増加を招くおそれがある。そこで、手ぶれによって画面が急激に変化した場合に、ＱＰ値を高くする処理によりビットレートを抑えることがあるが、この処理が行われたフレームの前後で急激な画質変動が発生してしまい、主観品質が低下することがある。そこで、この発明によれば、（１）または（２）の映像品質評価装置において、符号量変動特徴量計算手段により、映像の量子化パラメータのばらつきの度合いを符号量変動特徴量として求めることとした。また、主観品質劣化特徴量統合手段により、画面変動特徴量計算手段により推定された画面変動特徴量と、符号量変動特徴量計算手段により求められた符号量変動特徴量と、に基づいて、映像の主観品質を推定することとした。このため、主観品質の推定結果に、手ぶれの度合いをさらに的確に反映させることができるので、映像の主観品質をさらに的確に推定することができる。

（６） 本発明は、（３）または（４）の映像品質評価装置について、前記映像の量子化パラメータのばらつきの度合いを、符号量変動特徴量（例えば、図２の符号量変動特徴量ＱＶａｒに相当）として求める符号量変動特徴量計算手段（例えば、図２の符号量変動特徴量計算部４０に相当）を備え、前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、前記符号量変動特徴量計算手段により求められた符号量変動特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする映像品質評価装置を提案している。

この発明によれば、（３）または（４）の映像品質評価装置において、符号量変動特徴量計算手段により、映像の量子化パラメータのばらつきの度合いを符号量変動特徴量として求めることとした。また、主観品質劣化特徴量統合手段により、画面変動特徴量計算手段により推定された画面変動特徴量と、ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、符号量変動特徴量計算手段により求められた符号量変動特徴量と、に基づいて、映像の主観品質を推定することとした。このため、主観品質の推定結果に、処理リソースの不足や伝送路の安定性の変動によるレンダリングのフレームレートの安定の度合いを反映させるとともに、手ぶれの度合いをさらに的確に反映させることができるので、映像の主観品質をさらに的確に推定することができる。

（７） 本発明は、（５）または（６）の映像品質評価装置について、前記符号量変動特徴量計算手段は、前記映像の量子化パラメータのフレームごとの平均値（例えば、図２の平均ＱＰ情報ＳＩＧ３に相当）の分散値を、予め定められた期間ごと（例えば、後述のＧＯＰごとに相当）に求めて、前記符号量変動特徴量とすることを特徴とする映像品質評価装置を提案している。

この発明によれば、（５）または（６）の映像品質評価装置において、符号量変動特徴量計算手段により、映像の量子化パラメータのフレームごとの平均値の分散値を、予め定められた期間ごとに求めて、符号量変動特徴量とすることとした。このため、ＱＰ値の変動の度合いを予め定められた期間ごとに求めて、符号量変動特徴量とすることができる。

（８） 本発明は、（１）または（２）の映像品質評価装置について、前記映像の量子化パラメータに基づいて、当該映像に対する圧縮符号化による圧縮の度合いを量子化誤差特徴量（例えば、図２の量子化誤差特徴量Ｑに相当）として推定する量子化誤差特徴量計算手段（例えば、図２の量子化誤差特徴量計算部２０に相当）を備え、前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記量子化誤差特徴量計算手段により推定された量子化誤差特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする映像品質評価装置を提案している。

ビデオチャットといった映像通信サービスでは、大量のビットレートを消費するため、映像に対して圧縮符号化が施される。この圧縮符号化において、圧縮の強度が高くなるに従って、圧縮前の映像に対する画質の劣化が顕著になり、主観品質が低下することがある。そこで、この発明によれば、（１）または（２）の映像品質評価装置において、量子化誤差特徴量計算手段により、映像の量子化パラメータに基づいて、この映像に対する圧縮符号化による圧縮の度合いを量子化誤差特徴量として推定することとした。また、主観品質劣化特徴量統合手段により、画面変動特徴量計算手段により推定された画面変動特徴量と、量子化誤差特徴量計算手段により推定された量子化誤差特徴量と、に基づいて、映像の主観品質を推定することとした。このため、主観品質の推定結果に、手ぶれの度合いだけでなく、圧縮の強度の変動の度合いも反映させることができるので、映像の主観品質をさらに的確に推定することができる。

（９） 本発明は、（３）または（４）の映像品質評価装置について、前記映像の量子化パラメータに基づいて、当該映像に対する圧縮符号化による圧縮の度合いを量子化誤差特徴量（例えば、図２の量子化誤差特徴量Ｑに相当）として推定する量子化誤差特徴量計算手段（例えば、図２の量子化誤差特徴量計算部２０に相当）を備え、前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、前記量子化誤差特徴量計算手段により推定された量子化誤差特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする映像品質評価装置を提案している。

この発明によれば、（３）または（４）の映像品質評価装置において、量子化誤差特徴量計算手段により、映像の量子化パラメータに基づいて、この映像に対する圧縮符号化による圧縮の度合いを量子化誤差特徴量として推定することとした。また、主観品質劣化特徴量統合手段により、画面変動特徴量計算手段により推定された画面変動特徴量と、ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、量子化誤差特徴量計算手段により推定された量子化誤差特徴量と、に基づいて、映像の主観品質を推定することとした。このため、主観品質の推定結果に、手ぶれの度合いと、処理リソースの不足や伝送路の安定性の変動によるレンダリングのフレームレートの安定の度合いと、だけでなく、圧縮の強度の変動の度合いも反映させることができるので、映像の主観品質をさらに的確に推定することができる。

（１０） 本発明は、（５）から（７）のいずれかの映像品質評価装置について、前記映像の量子化パラメータに基づいて、当該映像に対する圧縮符号化による圧縮の度合いを量子化誤差特徴量（例えば、図２の量子化誤差特徴量Ｑに相当）として推定する量子化誤差特徴量計算手段（例えば、図２の量子化誤差特徴量計算部２０に相当）を備え、前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、前記符号量変動特徴量計算手段により求められた符号量変動特徴量と、前記量子化誤差特徴量計算手段により推定された量子化誤差特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする映像品質評価装置を提案している。

この発明によれば、（５）から（７）のいずれかの映像品質評価装置において、量子化誤差特徴量計算手段により、映像の量子化パラメータに基づいて、この映像に対する圧縮符号化による圧縮の度合いを量子化誤差特徴量として推定することとした。また、主観品質劣化特徴量統合手段により、画面変動特徴量計算手段により推定された画面変動特徴量と、ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、符号量変動特徴量計算手段により求められた符号量変動特徴量と、量子化誤差特徴量計算手段により推定された量子化誤差特徴量と、に基づいて、映像の主観品質を推定することとした。このため、主観品質の推定結果に、処理リソースの不足や伝送路の安定性の変動によるレンダリングのフレームレートの安定の度合いと、圧縮の強度の変動の度合いと、を反映させるとともに、手ぶれの度合いをさらに的確に反映させることができるので、映像の主観品質をさらに的確に推定することができる。

（１１） 本発明は、（８）から（１０）のいずれかの映像品質評価装置について、前記量子化誤差特徴量計算手段は、前記量子化誤差特徴量を、Ｑとし、フレーム番号を、ｆとし、前記映像のｆ番目のフレームの量子化パラメータの平均値を、ＱＰ_ｆとし、予め定められたフレームの数を、Ｆとし、以下の数式（１）により、前記量子化誤差特徴量Ｑを推定することを特徴とする映像品質評価装置を提案している。

この発明によれば、（８）から（１０）のいずれかの映像品質評価装置において、量子化誤差特徴量計算手段により、数式（１）を用いて量子化誤差特徴量を推定することとした。このため、圧縮の強度の変動の度合いを数式（１）を用いて推定して、量子化誤差特徴量とすることができる。

（１２） 本発明は、（１）から（１１）のいずれかの映像品質評価装置を備える移動体端末であって、前記主観品質劣化特徴量統合手段により推定された前記映像の主観品質が、予め定められた閾値以下であれば、主観品質が低いことを報知する報知手段（例えば、図１の報知部５に相当）を備えることを特徴とする移動体端末を提案している。

この発明によれば、移動体端末に、（１）から（１１）のいずれかの映像品質評価装置と、報知手段と、を設け、報知手段により、主観品質劣化特徴量統合手段により推定された映像の主観品質が閾値以下であれば、主観品質が低いことを報知することとした。このため、映像品質評価装置による推定結果に基づいて、映像の主観品質が閾値以下であることを報知することができる。

（１３） 本発明は、画面変動特徴量計算手段（例えば、図２の画面変動特徴量計算部３０に相当）および主観品質劣化特徴量統合手段（例えば、図２の主観品質劣化特徴量統合部６０に相当）を備え、映像の主観品質を推定する映像品質評価装置（例えば、図１の映像品質評価部１に相当）における映像品質評価方法であって、前記画面変動特徴量計算手段が、前記映像を撮影する際に発生した手ぶれの度合いを、画面変動特徴量（例えば、図２の画面変動特徴量ＨＳに相当）として推定する第１のステップと、前記主観品質劣化特徴量統合手段が、前記第１のステップにより推定された画面変動特徴量に基づいて、前記映像の主観品質を推定する第２のステップと、を備えることを特徴とする映像品質評価方法を提案している。

この発明によれば、上述した効果と同様の効果を奏することができる。

（１４） 本発明は、画面変動特徴量計算手段（例えば、図２の画面変動特徴量計算部３０に相当）および主観品質劣化特徴量統合手段（例えば、図２の主観品質劣化特徴量統合部６０に相当）を備え、映像の主観品質を推定する映像品質評価装置（例えば、図１の映像品質評価部１に相当）における映像品質評価方法を、コンピュータに実行させるためのプログラムであって、前記画面変動特徴量計算手段が、前記映像を撮影する際に発生した手ぶれの度合いを、画面変動特徴量（例えば、図２の画面変動特徴量ＨＳに相当）として推定する第１のステップと、前記主観品質劣化特徴量統合手段が、前記第１のステップにより推定された画面変動特徴量に基づいて、前記映像の主観品質を推定する第２のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、上述した効果と同様の効果を奏することができる。

本発明によれば、映像通信サービスにおける主観品質を的確に推定することができる。

本発明の一実施形態に係る端末のブロック図である。 本発明の一実施形態に係る端末が備える映像品質評価部のブロック図である。 回帰分析について説明するための図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

図１は、本発明の一実施形態に係る端末ＡＡのブロック図である。端末ＡＡは、携帯電話といった移動体通信を行う移動体端末や、デスクトップＰＣといった固定通信を行う固定端末のことであり、映像品質評価部１、受信部２、デコード部３、レンダリング部４、および報知部５を備える。

受信部２は、他の移動体端末や他の固定端末などから送信されたビットストリームを、ネットワークを介して受信する。

デコード部３は、受信部２により受信されたビットストリームをデコードし、映像を取得する。

レンダリング部４は、デコード部３により取得された映像をレンダリングするとともに、レンダリングのフレームレートを、レンダリングのフレームレート情報ＳＩＧ２（後述の図２参照）として映像品質評価部１に送信する。

映像品質評価部１は、レンダリング部４によりレンダリングされた映像の主観品質を推定する。なお、映像品質評価部１の詳細については、図２、３を用いて後述する。

報知部５は、映像品質評価部１により推定された主観品質が予め定められた閾値以下であれば、主観品質が低いことを報知する。報知の方法については、例えばスピーカといった出音手段により音を出力する方法や、例えば液晶ディスプレイやＬＥＤといった表示手段により映像や光を出力する方法などを、適用することができる。

図２は、映像品質評価部１のブロック図である。映像品質評価部１は、レンダリング部４でレンダリングされた映像の主観品質を推定する。この映像品質評価部１は、パラメータ構文解析部１０、量子化誤差特徴量計算部２０、画面変動特徴量計算部３０、符号量変動特徴量計算部４０、ｆｐｓ特徴量計算部５０、および主観品質劣化特徴量統合部６０を備える。

［パラメータ構文解析部１０の動作］
パラメータ構文解析部１０は、ビットストリームＳＩＧ１を入力とする。このパラメータ構文解析部１０は、パラメータ情報として、平均ＱＰ情報ＳＩＧ３と、動きベクトル情報ＳＩＧ４と、ブロックサイズ情報ＳＩＧ５と、をビットストリームＳＩＧ１から取得して出力する。

平均ＱＰ情報ＳＩＧ３は、量子化パラメータ（ＱＰ：Quantized Parameter）のフレームごとの平均値を示す情報を含んでいる。

動きベクトル情報ＳＩＧ４は、ブロックごとの動きベクトルのｘ成分およびｙ成分を示す情報を含んでいる。

ブロックサイズ情報ＳＩＧ５は、ブロックごとのブロックサイズを示す情報を含んでいる。

［量子化誤差特徴量計算部２０の動作］
ビデオチャットといった映像通信サービスでは、大量のビットレートを消費するため、映像に対して圧縮符号化が施される。この圧縮符号化において、圧縮の強度が高くなるに従って、圧縮前の映像に対する画質の劣化が顕著になり、主観品質が低下することがある。また、量子化ステップのフレームごとの平均値が大きくなるに従って、圧縮の強度が高くなる。さらに、量子化ステップとＱＰとの間には、ＱＰが「６」増加すると量子化ステップが２倍になるという関係があるため、量子化ステップのフレームごとの平均値は、ＱＰのフレームごとの平均値により求めることができる。そこで、量子化誤差特徴量計算部２０は、平均ＱＰ情報ＳＩＧ３を入力とし、フレームごとのＱＰの平均値から、映像に対する圧縮符号化による圧縮の度合いを推定して、量子化誤差特徴量Ｑとして出力する。

具体的には、量子化誤差特徴量計算部２０は、以下の数式（２）により、量子化誤差特徴量Ｑを算出する。

なお、数式（２）において、ｆは、フレーム番号を示し、ＱＰ_ｆは、ｆ番目のフレームのＱＰの平均値を示し、Ｆは、予め定められたフレームの数を示す。また、数式（２）における「６」の値は、ＱＰが「６」増加すると量子化ステップが２倍になることに基づくものである。

［画面変動特徴量計算部３０の動作］
映像を撮影する際に手ぶれが発生すると、画面が安定しなかったり、画像がぼけたりして、主観品質が低下することがある。そこで、画面変動特徴量計算部３０は、動きベクトル情報ＳＩＧ４と、ブロックサイズ情報ＳＩＧ５と、を入力とし、レンダリング部４でレンダリングされる映像の撮影時に発生した手ぶれの度合いを、ブロックごとの動きベクトルおよびブロックサイズを用いて推定して、画面変動特徴量ＨＳとして出力する。

具体的には、映像を撮影する際に手ぶれが発生すると、画面内ではオブジェクトが手ぶれの方向と反対の方向に動いているように見え、同一の動きベクトルが適用される画素が多くなる。そこで、画面変動特徴量計算部３０は、まず、動きベクトル情報ＳＩＧ４およびブロックサイズ情報ＳＩＧ５を用いて、以下の数式（３）（４）により、処理フレーム内の全画素に占める、同一の動きベクトルが適用される画素の割合を、動きベクトルの種類ごとに求める。

なお、数式（３）において、ＭＶｆ_ｎは、同一の動きベクトルを有する各ブロックの画素数を積分する関数を示し、Ｂ_ｓは、ブロックの画素数を示す。また、ＭＶ（Ｂ）は、処理フレーム内における動きベクトルのうちの任意の１つを示し、ＭＶ（Ｂ＋ｉ）は、動きベクトルＭＶ（Ｂ）を有するブロックとは異なるブロックの動きベクトルを示す。

また、数式（４）において、ＭＶＦ_ｎは、動きベクトルＭＶ（Ｂ）が適用される画素が処理フレーム内の全画素に占める割合（処理フレーム内の全画素に対する、動きベクトルＭＶ（Ｂ）が適用される画素の割合）を求める関数を示す。

なお、同一の動きベクトルを有するブロックを求める際には、ＳＫＩＰフラグやＭｅｒｇｅフラグを参照してもよい。

画面変動特徴量計算部３０は、次に、フレームごとに、求めた全てのＭＶＦ_ｎのうち最も大きいものを、ＭＶＦ_ｎｍａｘとする。これによれば、ＭＶＦ_ｎｍａｘで表される割合を有する動きベクトルＭＶ（Ｂ）が、適用される画素が最も多い動きベクトルになる。

画面変動特徴量計算部３０は、次に、フレームごとに、ＭＶＦ_ｎｍａｘが閾値（例えば、処理フレームの解像度の７０％や８０％の値）以上であるか否かを判別する。

画面変動特徴量計算部３０は、次に、ＭＶＦ_ｎｍａｘが閾値以上であると判別したフレームについては、動きベクトル情報ＳＩＧ４を用いて、以下の数式（５）により、ＭＶＦ_ｎｍａｘで表される割合を有する動きベクトルＭＶ（Ｂ）の大きさを手ぶれ量ＭＶＦとして求める。一方、ＭＶＦ_ｎｍａｘが上述の閾値未満であると判別したフレームについては、手ぶれ量ＭＶＦを「０」とする。

なお、数式（５）において、ＭＶ（Ｂ）_ｘは、動きベクトルＭＶ（Ｂ）のｘ成分を示し、ＭＶ（Ｂ）_ｙは、動きベクトルＭＶ（Ｂ）のｙ成分を示す。

画面変動特徴量計算部３０は、次に、以下の数式（６）により、手ぶれ量ＭＶＦを、予め定められたフレーム数ｆだけ積分して、画面変動特徴量ＨＳとする。なお、フレーム数ｆには、例えば、予め定められた時間幅（例えば、５００ｍｓｅｃ、１０００ｍｓｅｃ、１００００ｍｓｅｃなど）に相当するフレーム数を設定することができる。

なお、数式（６）において、ＭＶＦ（）は、任意のフレームにおける手ぶれ量ＭＶＦを示す。

［符号量変動特徴量計算部４０の動作］
手ぶれによって画面が急激に変化した場合、動き予測の精度が低下し、Ｂフレームにおいてもイントラブロックが多用され、その結果、圧縮率が低下して符号量の増加を招くおそれがある。そこで、手ぶれによって画面が急激に変化した場合に、ＱＰ値を高くする処理によりビットレートを抑えることがあるが、この処理が行われたフレームの前後で急激な画質変動が発生してしまい、主観品質が低下することがある。そこで、符号量変動特徴量計算部４０は、平均ＱＰ情報ＳＩＧ３を入力とし、ＱＰのフレームごとの平均値の分散値を、予め定められた期間ごと（例えば、ＧＯＰ（Group of Picture）ごと）に求め、符号量変動特徴量ＱＶａｒとして出力する。

［ｆｐｓ特徴量計算部５０の動作］
端末ＡＡの処理リソースには限りがあるため、デコード部３によるデコード時や、レンダリング部４によるレンダリング時に、処理リソースが不足することがある。また、端末ＡＡと、端末ＡＡにビットストリームを送信する送信端末と、の間の伝送路が安定しないこともある。このような場合、端末ＡＡにおいてレンダリング部４により映像をレンダリングする際にフレームレートが安定せず、主観品質が低下することがある。そこで、ｆｐｓ特徴量計算部５０は、レンダリングのフレームレート情報ＳＩＧ２を入力とし、レンダリング部４においてレンダリングが行われた際のフレームレートの分散値を予め定められた期間ごと（例えば、ＧＯＰごと）に求め、ｆｐｓ特徴量Ｆとして出力する。

［主観品質劣化特徴量統合部６０の動作］
主観品質劣化特徴量統合部６０は、量子化誤差特徴量Ｑと、画面変動特徴量ＨＳと、符号量変動特徴量ＱＶａｒと、ｆｐｓ特徴量Ｆと、を入力とし、これら特徴量を統合して客観評価値ＭＯＳ_ｅを求め、客観評価値ＭＯＳ_ｅから主観評価値を推定して統合品質情報ＳＩＧ６として出力する。客観評価値ＭＯＳ_ｅは、以下の数式（７）により求めることができる。

数式（７）において、ｆ（）は、予め定められた関数を示す。

なお、主観評価値と客観評価値ＭＯＳ_ｅとの相関については図３を用いて後に詳述するが、これらの相関を示す最適な近似式は、評価対象の画像フォーマットや圧縮符号化方式や符号化ビットレートなどの条件によって異なってくる。そこで、数式（７）のｆ（）として、これら条件のもとで主観評価値と客観評価値ＭＯＳ_ｅとの相関が最大となる関数形が定められる。ｆ（）の一例として、ｗ_ｉ（ｉ＝０、１、２、３）を重み係数として定義し、以下の数式（８）のように重み付き和で表す方法がある。

なお、上述の主観評価値と客観評価値ＭＯＳ_ｅとの相関は、複数の評価映像を用いて得られた客観評価値ＭＯＳ_ｅの系列および主観評価値の系列を、回帰分析することによって求めることができる。この回帰分析について、図３を用いて以下に説明する。

図３において、縦軸は、主観評価値を示し、横軸は、客観評価値ＭＯＳ_ｅを示す。複数の評価映像のそれぞれについて、評価映像を用いることで得られた主観評価値と客観評価値ＭＯＳ_ｅとを図３に示すようにプロットすると、これら主観評価値と客観評価値ＭＯＳ_ｅとの関係は、回帰曲線で近似することができる。回帰曲線には、一次関数だけでなく、高次多項式やロジスティック関数などの非線形関数も適用できる。客観画質評価の目的は、主観画質の推定であり、回帰曲線による近似の精度が高くなるに従って、すなわち図３のグラフ上の各プロット点と回帰曲線との距離が近くなるに従って、主観画質の推定精度が高くなる。

以上の映像品質評価部１によれば、以下の効果を奏することができる。

映像品質評価部１は、画面変動特徴量計算部３０により、映像を撮影する際に発生した手ぶれの度合いを画面変動特徴量ＨＳとして推定し、主観品質劣化特徴量統合部６０により、画面変動特徴量ＨＳを用いて、映像の主観品質を推定する。このため、主観品質の推定結果に、手ぶれの度合いを反映させることができるので、映像の主観品質を的確に推定することができる。

また、映像品質評価部１は、画面変動特徴量計算部３０により、適用される画素が最も多い動きベクトルをフレームごとに求め、求めた動きベクトルの大きさを予め定められたフレーム数だけ積分して、画面変動特徴量ＨＳとする。このため、予め定められたフレーム数のフレームにおいて発生した手ぶれの度合いを、画面変動特徴量ＨＳとして推定することができる。

また、映像品質評価部１は、ｆｐｓ特徴量計算部５０により、映像をレンダリングする際のフレームレートの安定の度合いをｆｐｓ特徴量Ｆとして求め、主観品質劣化特徴量統合部６０により、ｆｐｓ特徴量Ｆも用いて、映像の主観品質を推定する。このため、主観品質の推定結果に、処理リソースの不足や伝送路の安定性の変動によるレンダリングのフレームレートの安定の度合いも反映させることができるので、映像の主観品質をさらに的確に推定することができる。

また、映像品質評価部１は、ｆｐｓ特徴量計算部５０により、映像をレンダリングする際のフレームレートの分散値を予め定められた期間ごとに求め、ｆｐｓ特徴量Ｆとする。このため、映像をレンダリングする際のフレームレートの安定の度合いを予め定められた期間ごとに求めて、ｆｐｓ特徴量Ｆとすることができる。

また、映像品質評価部１は、符号量変動特徴量計算部４０により、映像の量子化パラメータのばらつきの度合いを符号量変動特徴量ＱＶａｒとして求め、主観品質劣化特徴量統合部６０により、符号量変動特徴量ＱＶａｒも用いて、映像の主観品質を推定する。このため、主観品質の推定結果に、手ぶれの度合いをさらに的確に反映させることができるので、映像の主観品質をさらに的確に推定することができる。

また、映像品質評価部１は、量子化誤差特徴量計算部２０により、映像の量子化パラメータに基づいて、この映像に対する圧縮符号化による圧縮の度合いを量子化誤差特徴量Ｑとして推定し、主観品質劣化特徴量統合部６０により、量子化誤差特徴量Ｑも用いて、映像の主観品質を推定する。このため、主観品質の推定結果に、圧縮の強度の変動の度合いも反映させることができるので、映像の主観品質をさらに的確に推定することができる。

また、映像品質評価部１は、量子化誤差特徴量計算部２０により、圧縮の強度の変動の度合いを数式（２）を用いて推定して、量子化誤差特徴量Ｑとすることができる。

また、映像品質評価部１を備える端末ＡＡは、報知部５により、主観品質劣化特徴量統合部６０により推定された映像の主観品質が閾値以下であれば、主観品質が低いことを報知する。このため、映像品質評価部１による推定結果に基づいて、映像の主観品質が閾値以下であることを報知することができる。

なお、本発明の端末ＡＡの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを端末ＡＡに読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、端末ＡＡに設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した端末ＡＡから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を端末ＡＡにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の実施形態では、画面変動特徴量計算部３０は、数式（３）（４）により、画面内における動きベクトルのそれぞれについて、同一の動きベクトル同士を同じグループに分類し、同じグループに分類した動きベクトルごとに、画面内に存在する全ての動きベクトルに占める割合を求めることとした。しかし、これに限らず、数式（４）および以下の数式（９）により、画面内における動きベクトルのそれぞれについて、同一または類似する動きベクトル同士を同じグループに分類し、同じグループに分類した動きベクトルごとに、画面内に存在する全ての動きベクトルに占める割合を求めることとしてもよい。

なお、数式（９）において、ＭＶ（ｆ、Ｂ）は、処理フレーム内における動きベクトルのうちの任意の１つを示し、ＭＶ（ｆ、Ｂ＋ｉ）は、動きベクトルＭＶ（ｆ、Ｂ）を有するブロックとは異なるブロックの動きベクトルを示す。また、Ｔｈは、動きベクトルＭＶ（ｆ、Ｂ）と動きベクトルＭＶ（ｆ、Ｂ＋ｉ）とが類似しているか否かを判別するための閾値を示す。なお、処理フレームの解像度に応じてＴｈを設定してもよく、例えば、処理フレームの解像度がフルＨＤ解像度である場合にはＴｈ＝１０に設定し、処理フレームの解像度がＳＤ解像度である場合にはＴｈ＝５に設定してもよい。

また、上述の実施形態では、画面変動特徴量計算部３０が用いる動きベクトル情報ＳＩＧ４を、パラメータ構文解析部１０がビットストリームＳＩＧ１から取得することとした。しかし、これに限らず、例えば、画面変動特徴量計算部３０が、ベースバンド情報に基づいて動きベクトル情報ＳＩＧ４を求めることとしてもよい。

ベースバンド情報に基づいて動きベクトル情報ＳＩＧ４を算出する場合には、画面変動特徴量計算部３０は、２フレーム間の輝度情報からオプティカルフローを推定し、２フレーム間のグローバルな移動量を動きベクトルとみなす。オプティカルフローの推定としては、勾配法およびブロックマッチング法が一般的であるが、ブロックマッチング法を用いることが好ましい。これは、ブロックマッチング法が、勾配法と比べて計算量は多くなるものの、誤差が少なくノイズに強いためである。

ブロックマッチング法では、画面変動特徴量計算部３０は、ｔフレームにおける処理ブロックの左上の画素の座標を（ｘ_０、ｙ_０）とすると、以下の数式（１０）により、ｔフレームにおける座標（ｘ_０＋ｉ、ｙ_０＋ｊ）の画素の輝度と、（ｔ−１）フレームにおける座標（ｘ_０＋ｉ＋ｐ、ｙ_０＋ｊ＋ｑ）の画素の輝度と、の差分絶対和（ＳＡＤ：Sum of Absolute Difference）を求める。

なお、数式（１０）において、Ｉ_ｔ（ｘ_０＋ｉ、ｙ_０＋ｊ）は、ｔフレームにおける座標（ｘ_０＋ｉ、ｙ_０＋ｊ）の画素の輝度を示し、Ｉ_ｔ−１（ｘ_０＋ｉ＋ｐ、ｙ_０＋ｊ＋ｑ）は、（ｔ−１）フレームにおける座標（ｘ_０＋ｉ＋ｐ、ｙ_０＋ｊ＋ｑ）の画素の輝度を示す。

画面変動特徴量計算部３０は、数式（１０）のＳＡＤ（ｐ、ｑ）を、予め定められた探索範囲（Ｒ_ｓ）だけ求め、ＳＡＤ（ｐ、ｑ）が最小となる（ｐ、ｑ）を処理ブロックの動きベクトルとする。これによれば、処理フレームにおける全てのブロックについてＳＡＤ（ｐ、ｑ）が最小となる（ｐ、ｑ）を求めることで、上述の動きベクトル情報ＳＩＧ４を求めることができる。

また、上述の実施形態では、報知部５は、映像品質評価部１により推定された主観品質が予め定められた閾値以下であれば、主観品質が低いことを報知することとした。しかし、これに限らず、報知部５は、量子化誤差特徴量Ｑが予め定められた第１の閾値以下であることと、画面変動特徴量ＨＳが予め定められた第２の閾値以下であることと、符号量変動特徴量ＱＶａｒが予め定められた第３の閾値以下であることと、ｆｐｓ特徴量Ｆが予め定められた第４の閾値以下であることと、のうち少なくともいずれかを満たす場合に、主観品質が低いことを報知することとしてもよい。

また、上述の実施形態では、映像品質評価部１により推定された主観品質が予め定められた閾値以下であれば、報知部５により、主観品質が低いことを報知することとした。しかし、これに限らず、例えば、映像品質評価部１により推定された主観品質が予め定められた閾値以下であれば、映像を送信している端末に対して、主観品質が低いことを報知することとしてもよい。これによれば、主観品質が低い場合には、例えば、映像を送信している端末に、映像の送信を停止させることができる。

また、上述の実施形態では、映像品質評価部１は、特徴量を求める構成として、量子化誤差特徴量計算部２０、画面変動特徴量計算部３０、符号量変動特徴量計算部４０、およびｆｐｓ特徴量計算部５０を備えることとした。しかし、これに限らず、映像品質評価部１は、特徴量を求める構成として、量子化誤差特徴量計算部２０、画面変動特徴量計算部３０、符号量変動特徴量計算部４０、およびｆｐｓ特徴量計算部５０のうち少なくともいずれかを備えていることとしてもよい。

ＡＡ・・・端末
１・・・映像品質評価部
２・・・受信部
３・・・デコード部
４・・・レンダリング部

Claims (14)

1. 映像の主観品質を推定する映像品質評価装置であって、
   前記映像を撮影する際に発生した手ぶれの度合いを、画面変動特徴量として推定する画面変動特徴量計算手段と、
   前記画面変動特徴量計算手段により推定された画面変動特徴量に基づいて、前記映像の主観品質を推定する主観品質劣化特徴量統合手段と、を備えることを特徴とする映像品質評価装置。
2. 前記画面変動特徴量計算手段は、適用される画素が最も多い動きベクトルをフレームごとに求め、求めた動きベクトルの大きさを予め定められたフレーム数だけ積分して、前記画面変動特徴量とすることを特徴とする請求項１に記載の映像品質評価装置。
3. 前記映像をレンダリングする際のフレームレートの安定の度合いを、ｆｐｓ特徴量として求めるｆｐｓ特徴量計算手段を備え、
   前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする請求項１または２に記載の映像品質評価装置。
4. 前記ｆｐｓ特徴量計算手段は、前記映像をレンダリングする際のフレームレートの分散値を、予め定められた期間ごとに求め、前記ｆｐｓ特徴量とすることを特徴とする請求項３に記載の映像品質評価装置。
5. 前記映像の量子化パラメータのばらつきの度合いを、符号量変動特徴量として求める符号量変動特徴量計算手段を備え、
   前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記符号量変動特徴量計算手段により求められた符号量変動特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする請求項１または２に記載の映像品質評価装置。
6. 前記映像の量子化パラメータのばらつきの度合いを、符号量変動特徴量として求める符号量変動特徴量計算手段を備え、
   前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、前記符号量変動特徴量計算手段により求められた符号量変動特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする請求項３または４に記載の映像品質評価装置。
7. 前記符号量変動特徴量計算手段は、前記映像の量子化パラメータのフレームごとの平均値の分散値を、予め定められた期間ごとに求めて、前記符号量変動特徴量とすることを特徴とする請求項５または６に記載の映像品質評価装置。
8. 前記映像の量子化パラメータに基づいて、当該映像に対する圧縮符号化による圧縮の度合いを量子化誤差特徴量として推定する量子化誤差特徴量計算手段を備え、
   前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記量子化誤差特徴量計算手段により推定された量子化誤差特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする請求項１または２に記載の映像品質評価装置。
9. 前記映像の量子化パラメータに基づいて、当該映像に対する圧縮符号化による圧縮の度合いを量子化誤差特徴量として推定する量子化誤差特徴量計算手段を備え、
   前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、前記量子化誤差特徴量計算手段により推定された量子化誤差特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする請求項３または４に記載の映像品質評価装置。
10. 前記映像の量子化パラメータに基づいて、当該映像に対する圧縮符号化による圧縮の度合いを量子化誤差特徴量として推定する量子化誤差特徴量計算手段を備え、
    前記主観品質劣化特徴量統合手段は、前記画面変動特徴量計算手段により推定された画面変動特徴量と、前記ｆｐｓ特徴量計算手段により求められたｆｐｓ特徴量と、前記符号量変動特徴量計算手段により求められた符号量変動特徴量と、前記量子化誤差特徴量計算手段により推定された量子化誤差特徴量と、に基づいて、前記映像の主観品質を推定することを特徴とする請求項５から７のいずれかに記載の映像品質評価装置。
11. 前記量子化誤差特徴量計算手段は、
    前記量子化誤差特徴量を、Ｑとし、
    フレーム番号を、ｆとし、
    前記映像のｆ番目のフレームの量子化パラメータの平均値を、ＱＰ_ｆとし、
    予め定められたフレームの数を、Ｆとし、
    以下の数式（１）により、前記量子化誤差特徴量Ｑを推定することを特徴とする請求項８から１０のいずれかに記載の映像品質評価装置。
    

    
12. 請求項１から１１のいずれかに記載の映像品質評価装置を備える移動体端末であって、
    前記主観品質劣化特徴量統合手段により推定された前記映像の主観品質が、予め定められた閾値以下であれば、主観品質が低いことを報知する報知手段を備えることを特徴とする移動体端末。
13. 画面変動特徴量計算手段および主観品質劣化特徴量統合手段を備え、映像の主観品質を推定する映像品質評価装置における映像品質評価方法であって、
    前記画面変動特徴量計算手段が、前記映像を撮影する際に発生した手ぶれの度合いを、画面変動特徴量として推定する第１のステップと、
    前記主観品質劣化特徴量統合手段が、前記第１のステップにより推定された画面変動特徴量に基づいて、前記映像の主観品質を推定する第２のステップと、を備えることを特徴とする映像品質評価方法。
14. 画面変動特徴量計算手段および主観品質劣化特徴量統合手段を備え、映像の主観品質を推定する映像品質評価装置における映像品質評価方法を、コンピュータに実行させるためのプログラムであって、
    前記画面変動特徴量計算手段が、前記映像を撮影する際に発生した手ぶれの度合いを、画面変動特徴量として推定する第１のステップと、
    前記主観品質劣化特徴量統合手段が、前記第１のステップにより推定された画面変動特徴量に基づいて、前記映像の主観品質を推定する第２のステップと、をコンピュータに実行させるためのプログラム。

Images