JP2015106193A - 動揺知覚量推定装置、不快度推定装置及び動揺知覚量推定プログラム - Google Patents

Abstract

【課題】被写体の境界近傍において生じた輝度変化を視聴者が動揺として感じる動揺知覚量を推定することが可能な動揺知覚量推定装置を提供する。【解決手段】動揺知覚量推定装置８００は、複数段階の解像度において１画素となる領域の輝度である解像度別領域輝度を算出する解像度別領域輝度算出部８１０と、解像度別領域輝度に基づいて、複数段階の解像度のそれぞれに関して、所定領域ごとに見かけ上の動揺として知覚される移動量である解像度別動揺知覚量を推定する解像度別動揺知覚量推定部８２０Ａ〜８２０Ｅと、所定領域ごとに全ての前記解像度の中から単位時間中に左右方向の動揺エネルギーが最大となる解像度別動揺知覚量を選択する左右移動量最大値検出部８３０と、所定領域ごとに全ての前記解像度の中から単位時間中に上下方向の動揺エネルギーが最大となる解像度別動揺知覚量を選択する上下移動量最大値検出部８４０と、を備える。【選択図】図３

Description

本発明は、映像の被写体の境界近傍において生じた輝度変化を視聴者が動揺として感じる動揺知覚量を推定する技術に関する。

家庭において放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、点滅等の頻繁な輝度変化が広い面積で発生している映像によって誘発される不快感が増大する傾向があり、場合によっては、視聴者が光感受性発作等を起こして健康被害に至る例もある。

公共放送及び民間放送連盟加盟放送局から放送される映像では、このような健康被害を予防するために、ITU-RのBT.1702で勧告化された「Guidance for the reduction of photosensitive epileptic seizures caused by television」に準拠した「アニメーション等の映像手法に関するガイドライン」に則って、生放送及び速報性の高いニュース番組を除き、最大輝度の１０％を超える輝度差を伴う輝度反転が１秒間に７回以上生じている面積が全画面の２５％を超えることが無いように制限をかけている。

映像がこの規準を満たしているかどうかを判定する装置は、国内外から多数発表及び販売されているが、それらはいずれも、前記した条件を超えることで光感受性発作に至る可能性の高い危険な映像を検出するだけである。そのため、たとえば「全画面で輝度差が９．９９％の輝度反転が１秒間に３０回生じている映像」は「安全」であると判定されるが、「危険」であると判定される「全画面の２５．０１％の部分で輝度差が１０．０１％の輝度反転が１秒間に７回生じている映像」よりも遥かに視聴者の不快感の大きさ（不快度）は高いということが起きる。

このような事象を緩和するために、英国CRS社製「Harding FPA」が、光点滅映像解析装置として全世界の放送局等で最も使用されていて、実質的に国際標準装置となっている。英国CRS社製「Harding FPA」では、映像の「危険度」をフレーム単位で表示し、「危険」と判定されなくても「注意」を発する機能が実装されているが、前記２例の映像の「危険度」に関しては、後者が「危険」、前者が「危険」に達しない「注意」と判定されることに変わりない。

そこで、本出願人は、映像の良否を判定する基準として視聴者の不快感を数値化した「不快度」を用いることとし、この不快度を推定する不快度推定装置を発明した（特許文献１参照）。

また、家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、動揺映像（画面動揺のある映像）によって誘発される不快感が増大する傾向があり、場合によっては視聴者が映像酔いを起こして健康被害に至る例もある。動揺映像の多くは、撮影時のビデオカメラの動き、すなわちグローバルモーションに起因する。かかる事態を予防するため、手持ち撮影用ビデオカメラ等には「手ぶれ補正」機能の搭載がほぼ必須となっている。また、撮影された映像に含まれるグローバルモーションを軽減する「映像スタビライズ」ソフトウェアも数多く開発されている。さらに、グローバルモーションと脈拍・血圧等との生理的な指標との関係を探ることによって、不快な状態を推定しようとする試みも行われている（非特許文献１参照）。

特開２０１１−２３８１２１号公報

「映像酔いガイドライン検証システムの実用化に関するフィージビリティスタディ報告書」、財団法人機械システム振興協会、平成２０年３月

しかし、映像内で隣接する平均輝度の異なる２つの領域においてそれぞれ縞模様が異なる向き（最も顕著な場合は１８０度逆方向）に動く場合や、隣接する平均輝度の異なる２つの領域の境界近傍のある幅の画素群がまとまって輝度変化する場合、境界近傍の輝度が上昇した時は輝度の高い領域が拡大して見え、境界近傍の輝度が低下した時は輝度の低い領域が拡大して見えるため、領域境界が震動、すなわち領域自体が動揺しているように知覚されることが評価実験で確認されている。このように、被写体の境界近傍において生じた輝度変化を視聴者が動揺として感じる動揺知覚量を客観的に推定する技術は、未だ存在していない。

本発明は、前記の事情を鑑みて創案されたものであり、被写体の境界近傍において生じた輝度変化を視聴者が動揺として感じる動揺知覚量を映像信号の情報に基づいて客観的に推定することが可能な動揺知覚量推定装置、不快度推定装置及び動揺知覚量推定プログラムを提供することを課題とする。

前記課題を解決するため、本発明の動揺知覚量推定装置は、映像に含まれる被写体の境界近傍において生じた輝度変化を、視聴者が動揺として感じる動揺知覚量を前記映像の輝度に基づいて推定する装置であって、解像度別領域輝度算出部と、解像度別動揺知覚量推定部と、左右移動量最大値検出部と、上下移動量最大値検出部と、を備えることを特徴とする。

前記動揺知覚量推定装置は、前記解像度別領域輝度算出部により、前記映像の輝度に基づいて、複数段階の解像度において１画素となる領域の輝度である解像度別領域輝度を算出し、前記解像度別動揺知覚量推定部により、前記解像度別領域輝度に基づいて、前記複数段階の解像度のそれぞれに関して、所定領域ごとに見かけ上の動揺として知覚される移動量である解像度別動揺知覚量を推定する。

また、前記動揺知覚量推定装置は、前記左右移動量最大値検出部により、前記所定領域ごとに全ての前記解像度の中から単位時間中に左右方向の動揺エネルギーが最大となる解像度別動揺知覚量を左右移動量最大値として選択し、前記上下移動量最大値検出部により、前記所定領域ごとに全ての前記解像度の中から単位時間中に上下方向の動揺エネルギーが最大となる解像度別動揺知覚量を上下移動量最大値として選択する。

また、本発明は、コンピュータを前記した動揺知覚量推定装置として機能させる動揺知覚量推定プログラムとしても具現化可能である。

本発明によれば、被写体の境界近傍において生じた輝度変化を視聴者が動揺として感じる動揺知覚量を映像信号の情報に基づいて客観的に推定することができる。

（ａ）（ｂ）は、本発明の動揺知覚量を説明するための模式図である。 本発明の実施形態に係る不快度推定装置を示すブロック図である。 本発明の実施形態に係る動揺知覚量推定部を示すブロック図である。 見かけ上の左右移動量及び見かけ上の上下移動量の算出手法を説明するための模式図である。 ある領域の輝度値を見かけ上の左右移動量及び見かけ上の上下移動量に換算する手法を説明するためのグラフである。 隣接する左右（上下）領域間での平均輝度差による移動量の補正係数を示すグラフである。 動きベクトルごとの不快度の感度の周波数特性の一例を示すグラフである。 径方向動きベクトルの不快度に対する周方向動きベクトルの不快度の相対感度の周波数特性の一例を示すグラフである。 （ａ）は各領域の補正済み動きベクトルの一例を示す図、（ｂ）は動きありと判定された領域の差ベクトルの一例を示す図である。 動きありと判定された領域の周方向動きベクトル及び径方向動きベクトルの一例を示す図である。 動きありと判定された領域の周方向動きベクトルから周方向同相動きベクトルと周方向差分動きベクトルを算出する一例を示す図であり、（ａ）は、動きありと判定された領域の周方向動きベクトルの一例を示す図、（ｂ）は、算出された周方向同相動きベクトルと周方向差分動きベクトルの一例を示す図である。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。本発明は、映像内で隣接する平均輝度の異なる２つの領域においてそれぞれ縞模様が異なる向き（最も顕著な場合は１８０度逆方向）に動く場合や、隣接する平均輝度の異なる２つの領域の境界近傍のある幅の画素群がまとまって輝度変化する場合、境界近傍の輝度が上昇した時は輝度の高い領域が拡大して見え、境界近傍の輝度が低下した時は輝度の低い領域が拡大して見えるため、領域境界が震動、すなわち領域自体が動揺しているように知覚されるという動揺知覚量を客観的に推定するためのものである。本発明は、例えば、図１（ａ）（ｂ）に示すように、映像の被写体である移動体（例えば、ヒト）Ａが映像の被写体である固定物Ｂを背景として移動する際等において、移動体Ａと固定物Ｂとが縞模様である場合に、移動体Ａと固定物Ｂとの重なり具合によって、移動体Ａの境界が膨らんだり縮んだりと動揺しているように視聴者が感じる動揺知覚量を推定し、かかる動揺知覚量を不快度推定に用いるものである。

図２に示すように、本発明の実施形態に係る不快度推定装置３００は、映像における動きベクトルに基づいて動揺映像に起因する動揺映像不快度を推定するものであり、機能部として、動揺知覚量推定部（動揺知覚量推定装置）８００と、第一のフィルタ部３２０と、動き領域判定部３３０と、動き領域重心算出部３４０と、平均補正済み動きベクトル算出部３５０と、差ベクトル算出部３６０と、周径方向動きベクトル算出部３７０と、周方向同相動きベクトル算出部３８０と、第二のフィルタ部３９０と、総動揺エネルギー算出部４００と、総動揺エネルギー補正部４１０と、対数変換部４２０と、を備える。

かかる機能部のうち、第一のフィルタ部３２０、動き領域判定部３３０、差ベクトル算出部３６０、周径方向動きベクトル算出部３７０、周方向同相動きベクトル算出部３８０及び第二のフィルタ部３９０に関しては、画面を分割した複数（１〜Ｎ）の領域に対応して複数（Ｎ）セットが設けられている。例えば、縦３×横３に分割した場合の領域数（Ｎ）は９個になるが、領域数はこれに限定されない。

＜動揺知覚量推定部＞
図３に示すように、動揺知覚量推定部８００は、機能部として、解像度別領域輝度算出部８１０と、解像度別動揺知覚量推定部８２０Ａ〜８２０Ｅと、左右移動量最大値検出部８３０と、上下移動量最大値検出部８４０と、を備える。

＜解像度別領域輝度算出部＞
解像度別領域輝度算出部８１０は、映像信号を取得し、取得された映像信号に基づいて、複数段階の解像度において１画素となる領域の輝度である解像度別領域輝度を算出する。本実施形態では、解像度別領域輝度算出部８１０は、第一解像度領域輝度算出部８１１と、第二解像度領域輝度算出部８１２と、第三解像度領域輝度算出部８１３と、第四解像度領域輝度算出部８１４と、第五解像度領域輝度算出部８１５と、を並列に備える。

第一解像度領域輝度算出部８１１は、ハイビジョンの１画素の幅が視角１′となるハイビジョンの標準観視条件下で、１画素の幅が視角３．７５′となる第一段階の解像度において、１画素となる領域ごとの平均輝度を第一解像度領域輝度として算出し、解像度別（第一解像度）動揺知覚量推定部８２０Ａへ出力する。

第二解像度領域輝度算出部８１２は、ハイビジョンの１画素の幅が視角１′となるハイビジョンの標準観視条件下で、１画素の幅が第一段階の解像度の２倍である視角７．５′となる第二段階の解像度において、１画素となる領域ごとの平均輝度を第二解像度領域輝度として算出し、解像度別（第二解像度）動揺知覚量推定部８２０Ｂへ出力する。

第三解像度領域輝度算出部８１３は、ハイビジョンの１画素の幅が視角１′となるハイビジョンの標準観視条件下で、１画素の幅が第二段階の解像度の２倍である視角１５′となる第三段階の解像度において、１画素となる領域ごとの平均輝度を第三解像度領域輝度として算出し、解像度別（第三解像度）動揺知覚量推定部８２０Ｃへ出力する。

第四解像度領域輝度算出部８１４は、ハイビジョンの１画素の幅が視角１′となるハイビジョンの標準観視条件下で、１画素の幅が第三段階の解像度の２倍である視角３０′となる第三段階の解像度において、１画素となる領域ごとの平均輝度を第三解像度領域輝度として算出し、解像度別（第四解像度）動揺知覚量推定部８２０Ｄへ出力する。

第五解像度領域輝度算出部８１５は、ハイビジョンの１画素の幅が視角１′となるハイビジョンの標準観視条件下で、１画素の幅が第四段階の解像度の２倍である視角６０′となる第五段階の解像度において、１画素となる領域ごとの平均輝度を第五解像度領域輝度として算出し、解像度別（第五解像度）動揺知覚量推定部８２０Ｅへ出力する。

ここで、各領域輝度算出部８１１〜８１５における多重解像度を２倍刻みとしたのは、人間の視覚系が２倍刻みの多重解像度構造となっていることが生理機構的に明らかにされていることに基づいている。また、前記視角の範囲は、縞の１周期に算出すると０．５〜８［ｃｙｃｌｅ／ｄｅｇ］に相当し、光感受性刺激の感度が高いとされる０．５〜６［ｃｙｃｌｅ／ｄｅｇ］を含むとともに、動揺映像に起因する動揺映像不快度を推定する際に動きベクトルを検出するのに適している領域の幅である３０′に対して２のべき乗倍（１／８倍〜２倍）となっているため、後段プロセスを簡略化するのに適している。

＜解像度別動揺知覚量推定部＞
解像度別動揺知覚量推定部８２０Ａ〜８２０Ｅは、それぞれ、各解像度領域輝度算出部８１１〜８１５で得られた各解像度の１画素となる領域ごとの解像度別領域輝度（平均輝度）を用いて、動揺映像不快度を推定する際に動きベクトルを検出するのに適している領域の幅である３０′の幅となる所定領域ごとに、見かけ上動揺として知覚される左右方向（水平方向）の移動量及び上下方向（鉛直方向）の移動量を推定し、所定領域内平均左右移動量及び所定領域内平均上下移動量として左右移動量最大値検出部８３０及び上下移動量最大値検出部８４０へそれぞれ出力する。この機能を実現するために、解像度別動揺知覚量推定部８２０（８２０Ａ〜８２０Ｅ）は、左右領域平均輝度算出部８２１と、上下領域平均輝度算出部８２２と、左右移動量算出部８２３と、上下移動量算出部８２４と、所定領域内左右移動量平均部８２５と、所定領域内上下移動量平均部８２６と、を備える。かかる構成は、解像度別動揺知覚量推定部８２０Ａ〜８２０Ｅにおいて同様であるため、以下では、第一解像度における各機能部を代表として説明する。

＜左右領域平均輝度算出部＞
左右領域平均輝度算出部８２１は、第一解像度領域輝度算出部８１１で得られた当該解像度の１画素となる領域ごとの平均輝度すなわち第一解像度領域輝度を用いて、当該画素Ｃと隣接する１画素左の画素Ｌ１及びさらに１画素左の画素Ｌ２の２画素の平均輝度と、当該画素Ｃと隣接する１画素右の画素Ｒ１及びさらに１画素右の画素Ｒ２の２画素の平均輝度と、を算出し、左側領域平均輝度及び右側領域平均輝度として左右移動量算出部８２３へ出力する（図４参照）。ここで、境界の左右の領域とも２画素幅で輝度の平均を算出したのは、画素数が少ないほど局所的性質を高く表すことができるが、当該解像度で表される最も細い縞の平均輝度を求めるには最低２画素が必要であるためである。

＜上下領域平均輝度算出部＞
上下領域平均輝度算出部８２２は、第一解像度領域輝度算出部８１１で得られた当該解像度の１画素となる領域ごとの平均輝度すなわち第一解像度領域輝度を用いて、当該画素Ｃと隣接する１画素上の画素Ｕ１及びさらに１画素上の画素Ｕ２の２画素の平均輝度と、当該画素と隣接する１画素下の画素Ｄ１及びさらに１画素下の画素Ｄ２の２画素の平均輝度と、を算出し、上側領域平均輝度及び下側領域平均輝度として上下移動量算出部８２４へ出力する（図４参照）。ここで、２画素幅で輝度の平均を算出したのは、左右領域平均輝度算出部８２１と同様の理由である。

＜左右移動量算出部＞
左右移動量算出部８２３は、第一解像度領域輝度算出部８１１で得られた当該解像度の１画素となる領域ごとの平均輝度と、左右領域平均輝度算出部８２１で得られた当該画素の左側領域平均輝度及び右側領域平均輝度と、を用いて、図５に示す対応関係から換算移動量を算出し、さらに左右領域間の平均輝度差から図６の対応関係によって導かれる補正係数を前記換算移動量に乗じ、算出結果を当該画素の見かけ上の左右移動量として所定領域内左右移動量平均部８２５へ出力する。図５及び図６の各対応関係は、評価実験の解析結果に基づいて得られたものである。なお、本実施形態では、見かけ上の左右移動量は、右への移動であれば正の値をとり、左への移動であれば負の値をとる。

詳細には、図５に示すように、左右移動量算出部８２３は、左側領域平均輝度ＬＡ及び右側領域平均輝度ＲＡを横軸上にプロットする。続いて、左右移動量算出部８２３は、左側領域平均輝度ＬＡ及び右側領域平均輝度ＲＡの平均において縦軸の領域幅が０となる曲線Ｌを描画する。続いて、左右移動量算出部８２３は、曲線Ｌから領域Ｃの平均輝度ＣＡの換算移動量を読み取る。続いて、左右移動量算出部８２３は、読み取られた換算移動量に図６の補正係数を乗じ、画素Ｃの見かけ上の左右移動量を算出する。

＜上下移動量算出部＞
上下移動量算出部８２４は、第一解像度領域輝度算出部８１１で得られた当該解像度の１画素となる領域ごとの平均輝度と、上下領域平均輝度算出部８２２で得られた当該画素の上側領域平均輝度及び下側領域平均輝度とを用いて、図５に示す対応関係から換算移動量を算出し、さらに上下領域間の平均輝度差から図６の対応関係によって導かれる補正係数を前記換算移動量に乗じ、算出結果を当該画素の見かけ上の上下移動量として所定領域内上下移動量平均部８２６へ出力する。なお、本実施形態では、見かけ上の上下移動量は、上への移動であれば正の値をとり、下への移動であれば負の値をとる。

＜所定領域内左右移動量平均部＞
所定領域内左右移動量平均部８２５は、左右移動量算出部８２３で得られた当該画素の見かけ上の左右移動量を、動揺映像不快度を推定する際に動きベクトルを検出するのに適している所定領域（３０′×３０′）の範囲で平均し、所定領域内平均左右移動量として出力する。ただし、当該解像度が３０′である場合は、画素自体が前記所定領域と等しくなるので、平均を取らずにそのまま出力することができる。また、当該解像度が６０′である場合は、画素自体が前記所定領域を４（＝２×２）箇所含んでいるので、平均を取らずにそのまま該当する４箇所の領域に出力することができる。ここで、平均を算出する計算手法であるが、動揺映像不快度を誘発する動揺エネルギーは、振幅ではなく振幅の２乗の総和となっていることが判明しているので、前記移動量の線形和ではなく、移動量の２乗値に元の正負符号をつけて加算平均し、その平均値の絶対値の平方根に前記平均値の正負符号をつけたものとすることが望ましい。

＜所定領域内上下移動量平均部＞
所定領域内上下移動量平均部８２６は、上下移動量算出部８２４で得られた当該画素の見かけ上の上下移動量を、所定領域内左右移動量平均部８２５と同様に、３０′×３０′の所定領域の範囲で平均し、所定領域内平均上下移動量として出力する。当該解像度が３０′及び６０′である場合の扱いは、所定領域内上下移動量平均部８２５と同様である。また、平均を算出する計算手法についても、所定領域内左右移動量平均部８２５と同様である。

＜左右移動量最大値検出部＞
左右移動量最大値検出部８３０は、各解像度別動揺知覚量推定部８２０Ａ〜８２０Ｅの所定領域内左右移動量平均部８２５から出力された各解像度における所定領域内平均左右移動量の中から、単位時間内（例えば１秒間）の移動量から直流分を除いた交流エネルギーが最大となるものを選択し、選択された所定領域内平均左右移動量を、左右動揺推定知覚量として各領域の第一のフィルタ部３２０へ出力する。本実施形態に係る不快度推定装置３００は、左右動揺推定知覚量を、対応する領域における左右方向の動きベクトルとして用いることによって、動揺映像不快度を推定することができる。

ここで、ある解像度における所定領域内平均左右移動量をｘ_ｎとし、１秒間の映像にｎ＝３０の画像が含まれている場合、交流エネルギーＥは、
Ｅ＝Σ（ｘ_ｎ ^２）−（Σｘ_ｎ）^２／３０
によって算出される。

＜上下移動量最大値検出部＞
上下移動量最大値検出部８４０は、各解像度別動揺知覚量推定部８２０Ａ〜８２０Ｅの所定領域内上下移動量平均部８２６から出力された各解像度における所定領域内平均上下移動量の中から、単位時間内（例えば１秒間）の移動量から直流分を除いた交流エネルギーが最大となるものを選択し、選択された所定領域内平均上下移動量を、上下動揺推定知覚量として各領域の第一のフィルタ部３２０へ出力する。本実施形態に係る不快度推定装置３００は、上下動揺推定知覚量を、対応する領域における上下方向の動きベクトルとして用いることによって、動揺映像不快度を推定することができる。

＜第一のフィルタ部＞
図２に示すように、第一のフィルタ部３２０は、動揺知覚量推定部８００によって推定された左右動揺推定知覚量及び上下動揺推定知覚量を動きベクトルとして取得し、取得された動きベクトルに上下方向及び左右方向で異なる周波数感度補正を施すことによって補正済み動きベクトルを得るものであって、第一のデジタルフィルタ３２１と、第二のデジタルフィルタ３２２と、を並列に備える。

第一のデジタルフィルタ３２１は、上下方向動きベクトルに周波数感度補正を施すものであって、上下方向動きベクトルである上下動揺推定知覚量に対して図７に示す上下方向の不快感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み上下方向動きベクトルを得て動き領域判定部３３０、平均補正済み動きベクトル算出部３５０及び差ベクトル算出部３６０へ出力する。

第二のデジタルフィルタ３２２は、左右方向動きベクトルに周波数感度補正を施すものであって、左右方向動きベクトルである左右動揺推定知覚量に対して図７に示す左右方向の不快感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み左右方向動きベクトルを得て動き領域判定部３３０、平均補正済み動きベクトル算出部３５０及び差ベクトル算出部３６０へ出力する。

なお、第一のデジタルフィルタ３２１、第二のデジタルフィルタ３２２及び後記する第三のデジタルフィルタ３９１において、グローバルモーションを用いた従来の不快度推定装置と同様に、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本実施形態における動揺映像不快度推定装置３００は、１画面で多数の領域ごとに周波数補正を行うものであるため、演算量の少ない畳み込み積分を用いる方が望ましい。

＜動き領域判定部＞
動き領域判定部３３０は、第一のフィルタ部３２０から出力された補正済み上下方向動きベクトル及び補正済み左右方向動きベクトルを取得し、補正済み動きベクトルの大きさが予め定められた閾値以上である場合に該当する領域において動きありと判定する。

本実施形態において、計算の簡略化のため、動き領域判定部３３０は、補正済み上下方向動きベクトルの二乗と補正済み左右方向動きベクトルの二乗との和が閾値（前記した閾値の二乗）以上である場合に動きありと判定することができる。
動きありと判定した場合には、動き領域判定部３３０は、判定結果を動き領域重心算出部４０、平均補正済み動きベクトル算出部３５０、差ベクトル算出部３６０及び総動揺エネルギー算出部４００へ出力する。

＜動き領域重心算出部＞
動き領域重心算出部３４０は、動き領域判定部３３０から出力された判定結果を取得し、取得された判定結果に基づいて、動きありと判定された全ての領域の中心座標の重心である動き領域重心を算出し、周径方向動きベクトル算出部３７０及び周方向同相動きベクトル算出部３８０へ出力する。

本実施形態において、動き領域重心算出部３４０には、各領域の中心座標が予め記憶されている。動き領域重心算出部３４０は、判定結果を用いて動きありと判定された全ての領域の中心座標を読み出し、読み出した中心座標に基づいて動き領域重心を算出する。

＜平均補正済み動きベクトル算出部＞
平均補正済み動きベクトル算出部３５０は、動き領域判定部３３０から出力された判定結果と、第一のデジタルフィルタ３２１から出力された補正済み上下方向動きベクトルと、第二のデジタルフィルタ３２２から出力された左右方向動きベクトルと、を取得する。かかる平均補正済み動きベクトル算出部３５０は、動き領域判定部３３０から出力された判定結果に基づいて、動きありと判定された全ての領域について、第一のデジタルフィルタ３２１から出力された補正済み上下方向動きベクトルの平均である平均補正済み上下方向動きベクトルと、第二のデジタルフィルタ３２２から出力された補正済み左右方向動きベクトルの平均である平均補正済み左右方向動きベクトルと、を算出し、算出結果を差ベクトル算出部３６０及び総動揺エネルギー算出部４００へ出力する。

＜差ベクトル算出部＞
差ベクトル算出部３６０は、動き領域判定部３３０から出力された判定結果と、第一のデジタルフィルタ３２１から出力された補正済み上下方向動きベクトルと、第二のデジタルフィルタ３２２から出力された補正済み左右方向動きベクトルと、平均補正済み動きベクトル算出部３５０から出力された平均補正済み上下方向動きベクトル及び平均補正済み左右方向動きベクトルと、を取得する。かかる差ベクトル算出部３６０は、動き領域判定部３３０から出力された判定結果に基づいて、動きありと判定された全ての領域の前記補正済み上下方向動きベクトルと前記平均補正済み上下方向動きベクトルとの上下方向差ベクトルと、当該領域の前記補正済み左右方向動きベクトルと前記平均補正済み左右方向動きベクトルとの左右方向差ベクトルと、を算出し、周径方向動きベクトル算出部３７０へ出力する。

＜周径方向動きベクトル算出部＞
周径方向動きベクトル算出部３７０は、動き領域重心算出部３４０から出力された動き領域重心と、差ベクトル算出部３６０から出力された上下方向差ベクトル及び左右方向差ベクトルとを取得する。かかる周径方向動きベクトル算出部３７０は、差ベクトルの成分として、上下方向差ベクトル及び左右方向差ベクトルを動き領域重心を中心とした円の周方向及び径方向に分解することによって、動き領域重心を中心とした円の周方向のベクトルである周方向動きベクトル及び径方向のベクトルである径方向動きベクトルを算出し、周方向動きベクトルを周方向同相動きベクトル算出部３８０に出力するとともに径方向動きベクトルを総動揺エネルギー算出部４００へ出力する。すなわち、径方向は、動き領域重心を中心とする円の径方向、すなわち、動き領域重心と各動き領域の中心（動きベクトルの始点）とを通る直線が延びる方向であり、周方向は、動き領域重心を中心とする円の周方向、すなわち、動き領域重心を中心として動き領域重心から各動き領域の中心までの距離を半径とする円の周方向であって前記径方向と直交する方向である。

＜周方向同相動きベクトル算出部＞
周方向同相動きベクトル算出部３８０は、動き領域重心算出部３４０から出力された動き領域重心と、周径方向動きベクトル算出部３７０から出力された周方向動きベクトルを取得する。かかる周方向同相動きベクトル算出部３８０は、動き領域重心を中心とした回転角が等しくかつ、後記の周方向差分動きベクトルの二乗の総和（当該成分の動揺エネルギーに相当）が最小になるような周方向同相動きベクトルと、元の周方向動きベクトルと周方向同相動きベクトルとの差分である周方向差分動きベクトルと、を算出し、周方向同相動きベクトルを第二のフィルタ部３９０に出力するとともに周方向差分動きベクトルを総動揺エネルギー算出部４００へ出力する。

＜第二のフィルタ部＞
第二のフィルタ部３９０は、周径方向同相動きベクトル算出部３８０から出力された周方向同相動きベクトルを取得し、周方向同相動きベクトルに周波数感度補正を施すことによって補正済み周方向同相動きベクトルを得るものであって、第三のデジタルフィルタ３９１を備える。

第三のデジタルフィルタ３９１は、周方向同相動きベクトルに周波数感度補正を施すものであって、周方向同相動きベクトルに対して図８に示す径方向動きベクトルに対する周方向動きベクトルの不快度の相対感度の周波数特性に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み周方向同相動きベクトルを得て総動揺エネルギー算出部４００へ出力する。

ここで、径方向動きベクトル及び周方向差分動きベクトルの周波数感度補正に関して、径方向動きベクトル及び周方向差分動きベクトルのインパルスレスポンスは、当該動きベクトルの上下方向と左右方向の成分に対してそれぞれ上下方向動きベクトルのインパルスレスポンスと左右方向動きベクトルのインパルスレスポンスとを与えたものと等しいことが評価実験によって明らかになっており、径方向動きベクトルおよび周方向差分動きベクトルは、前記した第一のフィルタ部３２０によって既に補正されているため、改めて補正を施す必要はない。

＜総動揺エネルギー算出部＞
総動揺エネルギー算出部４００は、動き領域判定部３３０から出力された判定結果と、平均補正済み動きベクトル算出部３５０から出力された平均補正済み上下方向動きベクトル及び平均補正済み左右方向動きベクトルと、周径方向動きベクトル算出部３７０から出力された径方向動きベクトルと、周方向同相動きベクトル算出部３８０から出力された周方向差分動きベクトルと、第二のフィルタ部３９０から出力された補正済み周方向同相動きベクトルと、を取得する。かかる総動揺エネルギー算出部４００は、動き領域判定部３３０から出力された判定結果に基づいて、動きありと判定された全ての領域の平均補正済み上下方向動きベクトルの二乗（上下方向の動揺エネルギーに相当）と、平均補正済み左右方向動きベクトルの二乗（左右方向の動揺エネルギーに相当）と、径方向動きベクトルの二乗（径方向の動揺エネルギーに相当）と、周方向差分動きベクトルの二乗（同相との差分の周方向の動揺エネルギーに相当）と、補正済み周方向動きベクトルの二乗（同相の周方向の動揺エネルギーに相当）との和を算出することによって、画面動揺の全体の動揺エネルギーに相当する総動揺エネルギーを算出し、総動揺エネルギー補正部４１０へ出力する。

本実施形態において、総動揺エネルギー算出部４００は、動きありと判定された全ての領域の平均補正済み上下方向動きベクトルの二乗と、平均補正済み左右方向動きベクトルの二乗と、径方向動きベクトルの二乗と、周方向差分動きベクトルの二乗と、補正済み周方向同相動きベクトルの二乗との和を直前の所定時間分加算する（例えば、前々回の各動きベクトルによる総動揺エネルギー、前回の各動きベクトルによる総動揺エネルギー、今回の各動きベクトルによる総動揺エネルギーの和を算出する）ことによって、総動揺エネルギーを算出する。

＜総動揺エネルギー補正部＞
総動揺エネルギー補正部４１０は、総動揺エネルギーを補正するものであって、総動揺エネルギー補正部４１０の出力（今回の補正後の総動揺エネルギー）に比例した量を、次回の総動揺エネルギーに加算することによって、次回の総動揺エネルギーを補正する。このようにして得られた補正後の総動揺エネルギーは、動揺映像不快度として用いることも可能である。かかる総動揺エネルギー補正部４１０は、総動揺エネルギーの補正を繰り返すものであって、以下、便宜上、今回の総動揺エネルギーを前回の補正後の総動揺エネルギーを用いて補正する場合について説明する。総動揺エネルギー補正部４１０は、前回の（例えば、１秒前の）補正後の総動揺エネルギーｄ（以下、前回の補正後の総動揺エネルギーｄ_ｍとする）が大きいほど今回の補正後の総動揺エネルギーｄ（以下、今回の補正後の総動揺エネルギーｄ_ｍ＋１とする）が大きくなるように、総動揺エネルギー算出部４００から取得した今回の総動揺エネルギーｃ（以下、今回の総動揺エネルギーｃ_ｍ＋１とする）を補正することによって、今回の補正後の総動揺エネルギーｄ_ｍ＋１を算出する。本実施形態において、総動揺エネルギー補正部４１０は、加算部４１１と、記憶部４１２と、乗算部４１３と、を備える。

加算部４１１は、総動揺エネルギー算出部４００から出力された今回の総動揺エネルギーｃ_ｍ＋１を取得し、後記する乗算部４１３から取得した前回の補正後の総動揺エネルギーｄ_ｍに定数ｐを乗じたｐ・ｄ_ｍを加算して、今回の補正後の総動揺エネルギーｄ_ｍ＋１として対数変換部４２０及び記憶部４１２へ出力する（ｄ_ｍ＋１＝ｃ_ｍ＋１＋ｐ・ｄ_ｍ）。

記憶部４１２は、加算部４１１から出力された前回の補正後の総動揺エネルギーｄ_ｍを１個だけ記憶し、記憶された前回の補正後の総動揺エネルギーｄ_ｍを乗算部４１３へ出力するシフトレジスタである。

乗算部４１３は、記憶部４１２から出力された前回の補正後の総動揺エネルギーｄ_ｍを取得し、これに定数ｐ（０＜ｐ＜１）を乗じて算出したｐ・ｄ_ｍを加算部４１１へ出力する。この定数ｐは、画面動揺が長時間継続する場合における不快度の蓄積効果を表すものであり、時間間隔が１秒である場合には、長期間持続する一定の画面動揺に対する補正済み総動揺エネルギーが１秒間の総動揺エネルギーの７．５倍になること、長時間持続した一定の画面動揺が停まった後５秒間で補正済み総動揺エネルギーがほぼ半減すること等から、ｐ＝０．８３程度とした場合に補正済み総動揺エネルギーが動揺映像不快度の評定結果に最も近くなることがわかっている。なお、総動揺エネルギー補正部４１０は、１回目の補正時には、前回の出力が記憶部４１２に記憶されていないため、無補正の総動揺エネルギーを出力する。

＜対数変換部＞
対数変換部４２０は、総動揺エネルギー補正部４１０から出力された補正後の総動揺エネルギーｄを取得し、取得した補正後の総動揺エネルギーを対数変換することによって不快度を算出し、指数変換部５００へ出力する。算出された不快度、すなわち対数変換された動揺映像不快度は、実際に知覚された動揺映像不快度の量との対応が線形に近い。

なお、短時間の動揺映像不快度のみに注目する場合には、総動揺エネルギー補正部１１０を省略することも可能である。この場合、対数変換部４２０は、総動揺エネルギー算出部４００によって算出された（未補正の）総動揺エネルギーを対数変換することによって、対数変換された動揺映像不快度を算出する。

本実施形態において、対数変換部４２０は、対数の底を１６とした場合に、検知限と許容限との差、及び、許容限と我慢限との差がそれぞれほぼ１となり、不快度の評定結果の標準偏差が約０．５となることがわかっており、許容限を動き領域判定部３３０における閾値に設定した場合に、我慢限に達するヒトの割合を２．５％未満に抑えることができる。

続いて、本発明の実施形態に係る不快度推定装置３００の動作例について、図２及び図
３並びに図７ないし図１１を参照して説明する。図９（ａ）は、動き領域判定部、動き領域重心算出部及び平均補正済み動きベクトル算出部の動作例を説明するための図、図９（ｂ）は、差ベクトル算出部の動作例を説明するための図、図１０は、周径方向動きベクトル算出部の動作例を説明するための図、図１１（ａ）（ｂ）は、周方向同相動きベクトル算出部の動作例を説明するための図である。

まず、動揺知覚量推定部８００が、入力された映像信号を用いて、左右動揺推定知覚量及び上下動揺推定知覚量を動きベクトルとして検出し、各領域の第一のフィルタ部３２０へ出力する。続いて、第一のフィルタ部３２０が、動きベクトルに周波数感度補正を施し、補正済み動きベクトルを動き領域判定部３３０等へ出力する。

続いて、動き領域判定部３３０が、補正済み動きベクトルの大きさが閾値以上である場合に動きありと判定し、動きありの判定結果を動き領域重心算出部３４０等へ出力する。図９（ａ）に示す例では、領域１，２，４における補正済み動きベクトルｖ_１１，ｖ_１２，ｖ_１４の大きさが閾値以上であると判定され、他の領域３，５〜９における補正済み動きベクトルｖ_１３，ｖ_１５，ｖ_１６，ｖ_１７，ｖ_１８，ｖ_１９の大きさが閾値未満であると判定される。なお、各領域１〜９における補正前の動きベクトルは、各領域１〜９の中心を始点とするベクトルであり、補正済み動きベクトルｖ_１１〜ｖ_１９も、補正前の動きベクトルと同様に各領域１〜９の中心を始点とするベクトルである。

続いて、動き領域重心算出部３４０が、動きありと判定された領域の重心である動き領域重心を算出し、周径方向動きベクトル算出部３７０へ出力する。図９（ａ）に示す例では、領域１，領域２，領域４の各中心座標の平均座標が動き領域重心Ｘとして算出される。

続いて、平均補正済み動きベクトル算出部３５０が、動きありと判定された領域の補正済み動きベクトルに基づいて、平均補正済み動きベクトルを算出し、差ベクトル算出部３６０及び総動揺エネルギー算出部４００へ出力する。図９（ａ）に示す例では、領域１の補正済み動きベクトルｖ_１１の一成分である補正済み上下方向動きベクトルと、領域４の補正済み動きベクトルの一成分である補正済み上下方向動きベクトルとは、大きさが同じで向きが反対である。また、領域１の補正済み動きベクトルｖ_１１の他成分である補正済み左右方向動きベクトルと、領域２の補正済み動きベクトルｖ_１２と、領域４の補正済み動きベクトルｖ_１４の他成分である補正済み左右方向動きベクトルとは、大きさが同じで向きも同じである。したがって、図９（ａ）に示す例では、平均補正済み動きベクトルの一成分である平均補正済み上下方向動きベクトルは０であり、平均補正済み動きベクトルの他成分である平均補正済み左右方向動きベクトルはベクトルｖ_１２と同一である。

続いて、差ベクトル算出部３６０が、動きありと判定された領域の補正済み動きベクトルと平均補正済み動きベクトルとの差である差ベクトルを算出し、周径方向動きベクトル算出部３７０へ出力する。図９（ｂ）に示す例では、領域１の差ベクトルｖ_２１、領域４の差ベクトルｖ_２４が算出されるとともに、領域２の差ベクトルｖ_２２（ゼロベクトル）が算出される。ここで、平均補正済み上下方向ベクトルは０であり、平均補正済み左右方向動きベクトルは補正済み動きベクトルｖ_１１の左右方向成分と同一であるため、領域１の差ベクトルｖ_２１は、補正済み動きベクトルｖ_１１の上下方向成分（補正済み上下方向動きベクトル）と同一となる。また、平均補正済み左右方向動きベクトルは補正済み動きベクトルｖ_１４の左右方向成分と同一であるため、領域４の差ベクトルｖ_２４は、補正済み動きベクトルｖ_１４の上下方向成分（補正済み上下方向動きベクトル）と同一となる。また、左右方向成分領域２の差ベクトルｖ_２２は、平均補正済み動きベクトル（平均補正済み上下方向動きベクトルと平均補正済み左右方向動きベクトルとの和）と補正済み動きベクトルｖ_１２とが等しいため、０である。

続いて、周径方向動きベクトル算出部３７０が、動き領域重心及び差ベクトルに基づいて、周方向動きベクトル及び径方向動きベクトルを算出し、周方向動きベクトルを周方向同相動きベクトル算出部３８０へ出力するとともに径方向動きベクトルを総動揺エネルギー算出部４００へ出力する。図１０に示す例では、領域１の差ベクトルｖ_２１が、周方向動きベクトルｖ_３１と径方向動きベクトルｖ_４１とに分解され、領域４の差ベクトルｖ_２４が、周方向動きベクトルｖ_３４と径方向動きベクトルｖ_４４とに分解されるとともに、領域２の差ベクトルｖ２２が、周方向動きベクトルｖ_３２（ゼロベクトル）と径方向動きベクトルｖ_４２（ゼロベクトル）とに分解される。

続いて、周方向同相動きベクトル算出部３８０が、前記の動き領域重心及び動きのある領域の各周方向動きベクトルに基づいて、動き領域重心を中心とした回転角が等しく、かつ、周方向差分動きベクトルの二乗の総和（当該成分の動揺エネルギーに相当）が最小になるような周方向同相動きベクトルと、元の周方向動きベクトルと周方向同相動きベクトルとの差分である周方向差分動きベクトルと、を算出し、周方向同相動きベクトルを第二のフィルタ部３９０に出力するとともに周方向差分動きベクトルを総動揺エネルギー算出部１００へ出力する。図１１に示す例では、（ａ）に示す周方向動きベクトルｖ_３１，ｖ_３２，ｖ_３４が、（ｂ）に示す周方向同相動きベクトルｖ_５１，ｖ_５２，ｖ_５４と周方向差分動きベクトルｖ_６１，ｖ_６２，ｖ_６４とにそれぞれ分解される。

ここで、周方向差分動きベクトルの二乗の総和が最小になるような回転角θは、回転方向が反時計回りの場合を正の値、時計回りの場合を負の値であると定義した場合、動きのあると判定された各領域の中心と動き領域重心位置Ｘとの距離ｒ_ｎ、周方向動きベクトルｖ_３０＋ｎの大きさに前記の回転方向による正負の符号を付けた値ｗ_ｎを用いた１次近似の微分方程式の解として、
θ＝Σ（ｒ_ｎ・ｗ_ｎ）／Σｒ_ｎ ^２
（図９〜図１１の場合、ｎ＝１〜９であり、ｎ＝３，５〜９のとき、ｗ_ｎ＝０）
のように求められる。

このθを用いて、周方向同相動きベクトルｖ_５０＋ｎの値は、前記の回転方向による正負の符号が付いた、ｒ_ｎ・θとして算出される。また、周方向差分動きベクトルｖ_６０＋ｎの値は、前記の回転方向による正負の符号が付いた、ｗ_ｎ−ｒ_ｎ・θとして算出される。

続いて、第二のフィルタ部３９０が、周方向同相動きベクトルに周波数感度補正を施し、補正済み周方向同相動きベクトルを総動揺エネルギー算出部４００へ出力する。

続いて、総動揺エネルギー算出部４００が、入力された各動きベクトル（平均補正済み上下方向動きベクトル、平均補正済み左右方向動きベクトル、補正済み周方向同相動きベクトル、及び、径方向動きベクトル）に基づいて総動揺エネルギーを算出し、総動揺エネルギー補正部４１０へ出力する。続いて、総動揺エネルギー補正部４１０が、総動揺エネルギーを補正し、対数変換部４２０へ出力する。続いて、対数変換部４２０が、総動揺エネルギーを対数変換することによって、対数変換された動揺映像不快度を算出する。

本発明の実施形態に係る不快度推定装置３００は、画面を分割した各領域のうち、動きがあると判定された領域の各種動きベクトルを用いて動揺映像不快度を推定するので、グローバルモーションに基づいて動揺映像不快度を推定した場合には正しい動揺映像不快度の推定が困難な「画面の左右で反対向きに回転する動揺画像」についても、その揺れの周波数によらず、主観評価実験における平均値との誤差が小さい動揺映像不快度を推定することができる。

また、不快度推定装置３００に新たに加えられた周方向同相動きベクトル算出部３８０による処理は、前記の近似計算式で済ませることができるので、装置全体の計算量は数％しか増加しないため、処理時間はほとんど変わらず、高速に動揺映像不快度を推定することができる。推定された動揺映像不快度は、映像コンテンツ制作者が画面動揺を低減するような映像修正を施す際に、映像修正の度合いの指標として使用可能である。

また、本発明の実施形態に係る不快度推定装置３００は、被写体の境界近傍において生じた輝度変化を視聴者が動揺として感じる動揺知覚量を映像信号の情報に基づいて客観的に推定することができ、推定された動揺知覚量を動揺映像不快度の推定に用いることによって、動揺映像不快度の推定精度を向上させることができる。
また、不快度推定装置３００は、多重解像度を２倍刻みとしたのは、人間の視覚系と同様の２倍刻みの多重解像度構造で動揺知覚量を推定するので、視聴者が感じる動揺知覚量を好適に推定することができる。
また、不快度推定装置３００は、上下左右にそれぞれ隣接する２個ずつの画素を用いて見かけ上の移動量を算出するので、データ処理量を抑えつつ動揺知覚量を好適に推定することができる。

以上、本発明の実施形態について説明したが、本説明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記した動揺知覚量推定装置として機能させる動揺知覚量推定プログラムとしても具現化可能である。また、５段階の解像度の内で最高解像度の場合については、全所定領域において推定された動揺知覚量が理論上の最大値をとったとしても、これによって生じる動揺映像不快度は「やや不快＝評定値１」にしか達せず、「不快＝評定値２」を判断規準とした場合の誤差は評定値にして０．０２２に収まる。ここで、評定値自体のバラツキの標準偏差０．７の１／１０以下なので無視することも可能となるため、最高解像度に関するプロセス（例えば、第一解像度領域輝度算出部８１１及び解像度別動揺知覚量推定部８２０Ａ）を省略することもできる。

３００ 不快度推定装置
８００ 動揺知覚量推定部（動揺知覚量推定装置）
８１０ 解像度別領域輝度算出部
８２０Ａ〜８２０Ｅ 解像度別動揺知覚量推定部
８３０ 左右移動量最大値検出部
８４０ 上下移動量最大値検出部

Claims (5)

1. 映像に含まれる被写体の境界近傍において生じた輝度変化を、視聴者が動揺として感じる動揺知覚量を前記映像の輝度に基づいて推定する動揺知覚量推定装置であって、
   前記映像の輝度に基づいて、複数段階の解像度において１画素となる領域の輝度である解像度別領域輝度を算出する解像度別領域輝度算出部と、
   前記解像度別領域輝度に基づいて、前記複数段階の解像度のそれぞれに関して、所定領域ごとに見かけ上の動揺として知覚される移動量である解像度別動揺知覚量を推定する解像度別動揺知覚量推定部と、
   前記所定領域ごとに全ての前記解像度の中から単位時間中に左右方向の動揺エネルギーが最大となる解像度別動揺知覚量を左右移動量最大値として選択する左右移動量最大値検出部と、
   前記所定領域ごとに全ての前記解像度の中から単位時間中に上下方向の動揺エネルギーが最大となる解像度別動揺知覚量を上下移動量最大値として選択する上下移動量最大値検出部と、
   を備えることを特徴とする動揺知覚量推定装置。
2. 前記解像度別領域輝度算出部は、２倍刻みで４段階又は５段階の解像度についてそれぞれ１画素となる領域ごとの平均輝度を前記解像度別領域輝度として算出する
   ことを特徴とする請求項１に記載の動揺知覚量推定装置。
3. 前記解像度別動揺知覚量推定部は、
   前記の各解像度における各画素について、当該画素と隣接する左側の領域の平均輝度及び右側の領域の平均輝度を算出する左右領域平均輝度算出部と、
   前記の各解像度における各画素について、当該画素と隣接する上側の領域の平均輝度及び下側の領域の平均輝度を算出する上下領域平均輝度算出部と、
   前記の各解像度における各画素の輝度値と前記当該画素と隣接する左側の領域の平均輝度及び右側の領域の平均輝度とを用いて、当該画素の見かけ上の左右移動量を算出する左右移動量算出部と、
   前記の各解像度における各画素の輝度値と前記当該画素と隣接する上側の領域の平均輝度及び下側の領域の平均輝度とを用いて、当該画素の見かけ上の上下移動量を算出する上下移動量算出部と、
   前記当該画素の見かけ上の左右移動量を、所定領域の範囲で平均した値を所定領域内平均左右移動量として出力する所定領域内左右移動量平均部と、
   前記当該画素の見かけ上の上下移動量を、前記所定領域の範囲で平均した値を所定領域内平均上下移動量として出力する所定領域内上下移動量平均部と、
   を備えることを特徴とする請求項１又は請求項２に記載する動揺知覚量推定装置。
4. 請求項１から請求項３のいずれか一項に記載の動揺知覚量推定装置と、
   前記左右移動量最大値及び前記上下移動量最大値である動きベクトルに周波数感度補正を施すことによって補正済み動きベクトルを得る第一のフィルタ部と、
   前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する動き領域判定部と、
   動きありと判定された全ての前記領域の中心座標の重心である動き領域重心を算出する動き領域重心算出部と、
   動きありと判定された全ての前記領域の前記補正済み動きベクトルの平均である平均補正済み動きベクトルを算出する平均補正済み動きベクトル算出部と、
   動きありと判定された前記領域ごとに、当該領域の前記補正済み動きベクトルと前記平均補正済み動きベクトルとの差ベクトルを算出する差ベクトル算出部と、
   動きありと判定された前記領域ごとに、前記差ベクトルの成分として、前記動き領域重心を中心とした周方向動きベクトル及び径方向動きベクトルを算出する周径方向動きベクトル算出部と、
   動きありと判定された前記領域ごとに、前記周方向動きベクトルから、前記動き領域重心を中心とした周方向同相動きベクトル及び周方向差分動きベクトルを算出する周方向同相動きベクトル算出部と、
   動きありと判定された前記領域ごとに、前記周方向同相動きベクトルに周波数感度補正を施すことによって補正済み周方向同相動きベクトルを得る第二のフィルタ部と、
   動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、前記周方向差分動きベクトルの二乗、及び、前記補正済み周方向同相動きベクトルの二乗の和を算出することによって、前記動揺映像不快度として総動揺エネルギーを算出する総動揺エネルギー算出部と、
   を備え、
   前記周方向同相動きベクトルは、前記動き領域重心を中心とした回転角が等しく、かつ、前期周方向差分動きベクトルの二乗の総和が最小になるベクトルであり、
   前記周方向差分動きベクトルは、前記周方向動きベクトルと前記周方向同相動きベクトルとの差分である
   ことを特徴とする不快度推定装置。
5. 映像に含まれる被写体の境界近傍において生じた輝度変化を、視聴者が動揺として感じる動揺知覚量を前記映像の輝度に基づいて推定するためのコンピュータを、
   前記映像の輝度に基づいて、複数段階の解像度において１画素となる領域の輝度である解像度別領域輝度を算出する解像度別領域輝度算出部、
   前記解像度別領域輝度に基づいて、前記複数段階の解像度のそれぞれに関して、所定領域ごとに見かけ上の動揺として知覚される移動量である解像度別動揺知覚量を推定する解像度別動揺知覚量推定部、
   前記所定領域ごとに全ての前記解像度の中から単位時間中に左右方向の動揺エネルギーが最大となる解像度別動揺知覚量を左右移動量最大値として選択する左右移動量最大値検出部、及び、
   前記所定領域ごとに全ての前記解像度の中から単位時間中に上下方向の動揺エネルギーが最大となる解像度別動揺知覚量を上下移動量最大値として選択する上下移動量最大値検出部、
   として機能させることを特徴とする動揺知覚量推定プログラム。

Images