JP2018128982A - 動揺認知量推定装置及び動揺認知量推定プログラム - Google Patents

Abstract

【課題】動揺映像を観視した視聴者が認知する動揺量、すなわち動揺認知量を高精度に推定する。【解決手段】動揺認知量推定装置１は、動きベクトルを検出する領域別動きベクトル検出部１０と、動き領域番号を付与する動き領域番号付与部４０と、動き領域の水平・垂直比を得る水平・垂直比算出部５０と、水平・垂直比で動きベクトルの水平・垂直成分を補正する水平・垂直成分補正部６０と、補正済み空間周波数エネルギーを得る空間周波数エネルギー算出部８０と、動き領域間相関値を得る動き領域間相関値算出部９０と、動き領域内部境界間相関値を得る動き領域内部境界間相関値算出部１００と、動き領域ごとに短時間動揺エネルギーを得る動き領域別短時間動揺エネルギー算出部１１０と、時間窓内の総動揺エネルギーを得る時間窓内総動揺エネルギー算出部１２０と、を備える。【選択図】図２

Description

本発明は、揺れのある映像に対する動揺の認知量を推定する動揺認知量推定装置及び動揺認知量推定プログラムに関する。

家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、画面動揺（映像の揺れ）によって誘発される不快感が増大する傾向があり、場合によっては視聴者が映像酔いを起こして健康被害に至る例もある。画面動揺の多くは、撮影時のビデオカメラの動き、すなわちグローバルモーションに起因する。かかる事態を予防するため、手持ち撮影用ビデオカメラ等には「手ぶれ補正」機能の搭載がほぼ必須となっている。また、撮影された映像に含まれるグローバルモーションを軽減する「映像スタビライズ」ソフトウェアも数多く開発されている。さらに、グローバルモーションと脈拍・血圧等との生理的な指標との関係を探ることによって、不快な状態を推定しようとする試みも行われている（非特許文献１参照）。

しかし、前記した「手ぶれ補正」では、長周期の揺れは補正ができない、又は、不十分である。また、「映像スタビライズ」では、短い期間内の映像の揺れを無くすか低減したり、滑らかな画面移動に変換したりするだけである。すなわち、「映像スタビライズ」は、どのような性質でどの程度の大きさの揺れならば残っていても良いといった客観的な基準に則っているものではない。また、この客観的な基準として脈拍・血圧等の生理的な指標を用いることができたとしても、明示できるのは健康被害に達する条件及び、その条件に対する現在の生理的状態の程度のみである。

これに対し、放送、映画等の映像コンテンツの供給者は、映像制作段階において、映像の安全性のみならず、視聴者の大半にグローバルモーション（画面全体の動き）あるいは画面のある程度まとまった領域の動きに伴う不快感を催させないように留意する必要がある。しかしながら、前記した従来の技術は、画面の全体あるいはある程度まとまった領域の動きに対する視聴者の心理的な「不快度」を具体的に把握するものではないため、「不快度」を基準とした映像の良否を判定するには不向きであった。

「映像酔いガイドライン検証システムの実用化に関するフィージビリティスタディ報告書」、財団法人機械システム振興協会、平成２０年３月

特開２０１６−１６２２１９号公報

かかる問題を解消するため、本願出願人は、生理的指標を用いることなく、画面の全体あるいはある程度まとまった領域の動きと主観評価実験で得られた不快度との関係を用いて、映像を解析して得られた物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置（特許文献１参照）を開発した。さらに、本願出願人は、「同じ大きさの揺れであっても映像の内容によって不快度が異なる」という事象に対応するため、認知される動揺量（動揺認知量）をまず高精度に推定した上で、推定された動揺認知量と映像内容とによって不快度を推定するシステムにおける動揺認知量推定装置（特願２０１６−０３７０７０、本願出願時未公開）を開発した。

しかし、その後の調査で、不快度は揺れが長時間続くほど増加するのに対して、動揺認知量は３秒以上の揺れで飽和することが明らかになるとともに、６秒周期前後の回転方向の揺れだけが他の水平・垂直・同心方向の揺れと異なって不快度が高まるのに対して、動揺認知量は、当該周期の回転方向の揺れであっても前記他の方向の揺れに対するものと同等であることが明らかになった。また、揺れている領域の縦横比が１ではなく縦長あるいは横長である場合には、縦横比が１の場合と比べ、長辺方向の動揺認知量は小さく、短辺方向の動揺認知量は大きくなることも明らかになった。

特許文献１に記載の動揺認知量推定装置では、これらの事象を反映する構成とはなっていないため、動揺認知量の推定値ひいては不快度には看過しえない誤差が生じていた。

本発明は、前記した事情に鑑みて創案されたものであり、視聴者が画面動揺のある映像（動揺映像）を観視した際に最初に認知する動揺量を高精度に推定することが可能な動揺認知量推定装置及び動揺認知量推定プログラムを提供することを課題とする。

前記課題を解決するため、本発明の動揺認知量推定装置は、映像における動きベクトル及び映像の部分的な空間周波数に基づいて、動揺映像を観視した視聴者が始めに認知する動揺量、すなわち動揺認知量を推定する動揺認知量推定装置であって、領域別動きベクトル検出部と、デジタルフィルタ部と、動き領域判定部と、動き領域番号付与部と、水平・垂直比算出部と、水平・垂直成分補正部と、領域別空間周波数感度補正部と、空間周波数エネルギー算出部と、動き領域間相関値算出部と、動き領域内部境界間相関値算出部と、動き領域別短時間動揺エネルギー算出部と、時間窓内総動揺エネルギー算出部と、を備える。

動揺認知量推定装置は、領域別動きベクトル検出部によって、画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間（フレーム間）における動きベクトルを検出し、デジタルフィルタ部によって、前記動きベクトルに周波数感度補正を施して周波数感度補正済み動きベクトルを得て、動き領域判定部によって、前記周波数感度補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定し、動き領域番号付与部によって、隣接する領域との前記周波数感度補正済み動きベクトルの差に基づいて、同じ動き領域に属する領域ごとに異なりかつ領域間の前後関係を反映した動き領域番号を付与する。

なお、前記デジタルフィルタ部は、水平方向のデジタルフィルタと、垂直方向のデジタルフィルタと、を備える構成であってもよい。かかる構成によると、動揺認知量推定装置は、水平方向のデジタルフィルタによって、前記動きベクトルの水平方向成分に周波数感度補正を施し、垂直方向のデジタルフィルタによって、前記動きベクトルの垂直方向成分に周波数感度補正を施す。前記した既出願の動揺認知量推定装置においては、水平方向のデジタルフィルタと垂直方向のデジタルフィルタとでは異なる特性であったが、本発明では、後に動揺領域の水平・垂直比によって水平・垂直各方向の動揺成分を補正する構成となっているため、同じ周波数感度補正特性としてもよい。

また、動揺認知量推定装置は、動き領域判定部によって、直前の所定時間内に前記閾値以上の前記周波数感度補正済み動きベクトルがある場合に動きありと判定する構成であってもよい。

また、動揺認知量推定装置は、水平・垂直比算出部によって、同じ前記動き領域番号が付与された前記領域の形状の水平・垂直比を算出した後、水平・垂直成分補正部によって、前記領域の前記周波数感度補正済み動きベクトルと前記水平・垂直比とを用いて、前記周波数感度補正済み動きベクトルの水平・垂直成分の大きさを前記水平・垂直比に応じて補正することによって水平・垂直比補正済み動きベクトルを得る。

また、動揺認知量推定装置は、領域別空間周波数感度補正部によって、前記映像に対して空間周波数感度補正を施すことによって空間周波数感度補正済み映像信号を得た後、空間周波数エネルギー算出部によって、前記空間周波数感度補正済み映像信号のエネルギーを算出することによって補正済み空間周波数エネルギーを得る。

また、動揺認知量推定装置は、動き領域間相関値算出部によって、前記動き領域番号が付与された前記領域と前記水平・垂直比補正済み動きベクトルとに基づいて、動き領域境界における前景領域と背景領域との間の前記水平・垂直比補正済み動きベクトルの相関値を算出することによって動き領域間相関値を得る。

また、動揺認知量推定装置は、動き領域内部境界間相関値算出部によって、前記動き領域番号が付与された前記領域と前記水平・垂直比補正済み動きベクトルとに基づいて、動き領域境界自体の動きベクトルと動き領域内部との間の前記水平・垂直比補正済み動きベクトルの相関値を算出することによって動き領域内部境界間相関値を得る。

また、動揺認知量推定装置は、動き領域別短時間動揺エネルギー算出部によって、同じ前記動き領域番号が付与された前記領域ごとに、当該領域内の前記水平・垂直比補正済み動きベクトルの大きさの二乗を、前記動きベクトルが検出された前記画像間の時間である短時間ごとにそれぞれ求めた個別短時間動揺エネルギーに対し、前記補正済み空間周波数エネルギー、前記動き領域間相関値及び前記動き領域内部境界間相関値に応じて補正を施した後、当該動き領域内で補正が施された前記個別短時間動揺エネルギーの総和を求め、求められた前記総和を動き領域番号ごとの動き領域別短時間動揺エネルギーとして算出する。

最後に、動揺認知量推定装置は、前記短時間ごとの全ての前記動き領域の前記動き領域別短時間動揺エネルギーの総和に前記時間窓の伝達率を乗じたものを、前記時間窓分だけ非線形加算することによって前記動揺認知量に相当する前記時間窓内の総動揺エネルギーを得る。

ここで、例えば６秒周期前後の低周波の回転方向の動揺に対する不快度の上昇が動揺認知量においては生じていないことから、前記の処理は、動揺認知量推定装置ではなく、当該動揺認知量推定装置とは別体の不快度推定装置において映像特徴量による補正として処理することが可能である。したがって、本発明の動揺認知量推定装置では、既出願の動揺認知量推定装置の構成要素であった、回転中心・回転角算出部、回転ベクトル算出部、回転残差ベクトル算出部、及び回転ベクトル成分のデジタルフィルタ部は、いずれも省略可能となっている。

かかる構成により、一般映像のように画面各所で様々に異なる空間周波数成分を有し、かつその形状が縦長であったり横長であったりする撮影対象が、背景を遮蔽しつつ背景とは異なる動きをし、さらには、その動きが時には定常的、時には断続的であるような場合においても、視聴者が認知する動揺量、すなわち動揺認知量を高精度に推定することが可能になる。

また、本発明は、コンピュータを前記した動揺認知量推定装置として機能させる動揺認知量推定プログラムとしても具現化可能である。

本発明によると、一般映像のように画面各所で様々に異なる空間周波数成分を有し、かつその形状が縦長であったり横長であったりする撮影対象が、背景を遮蔽しつつ背景とは異なる動きをし、さらには、その動きが時には定常的、時には断続的であるような場合においても、視聴者が認知する動揺量、すなわち動揺認知量を高精度に推定することが可能になる。

本発明の実施形態に係る動揺認知量推定装置を備える不快度推定システムの構成例を示すブロック図である。 本発明の実施形態に係る動揺認知量推定装置を示すブロック図である。 動きベクトルに対する動揺認知感度の周波数特性の一例を示すグラフである。 映像の輝度信号に対し空間周波数成分に応じて感度補正する特性の一例を示す図である。 動き領域間相関値に応じて領域別動揺エネルギーを補正する特性の一例を示す図である。 動き領域内部境界間相関値に応じて領域別動揺エネルギーを補正する特性の一例を示す図である。 動揺エネルギーを時間加算する際に乗じる時間窓の一例を示す図である。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。
図１に示すように、本発明の実施形態に係る不快度推定システムＡは、動揺認知量推定装置１と、不快度推定装置２と、を備える。不快度推定装置２は、動揺認知量推定装置１を用いることで、不快度推定誤差を抑制することを可能にしたものであり、機能部として、特徴量抽出部３と、不快度推定部４と、を備える。ただし、不快度推定装置２の構成は、本発明の実施形態に係る動揺認知量推定装置１の利用例を示したものであり、本発明の実施形態に不可欠な要素ではない。

＜動揺認知量推定装置＞
本発明の実施形態に係る動揺認知量推定装置１は、図２に示すように、映像における動きベクトルに基づいて画面動揺に対する動揺認知量を推定するものであり、機能部として、領域別動きベクトル検出部１０と、デジタルフィルタ部２０と、動き領域判定部３０と、動き領域番号付与部４０と、水平・垂直比算出部５０と、水平・垂直成分補正部６０と、領域別空間周波数感度補正部７０と、空間周波数エネルギー算出部８０と、動き領域間相関値算出部９０と、動き領域内部境界間相関値算出部１００と、動き領域別短時間動揺エネルギー算出部１１０と、時間窓内総動揺エネルギー算出部１２０と、を備える。ここで、動揺認知量推定装置１によって推定される動揺認知量は、動揺映像を観視した視聴者が始めに認知する動揺量である。ここで、「始めに認知する」とは、視聴者が映像内容によって不快であるか否かというように感じ方に違いが生じる前に、視聴者が「揺れが大きいか否か」を純然と感じる、揺れの大きさの認知過程を意味している。

かかる機能部のうち、領域別動きベクトル検出部１０、デジタルフィルタ部２０、動き領域判定部３０、水平・垂直成分補正部６０、領域別空間周波数感度補正部７０及び空間周波数エネルギー算出部８０の組み合わせに関しては、画面を分割した複数（１〜Ｎ）の領域に対応して複数（Ｎ）セットが設けられている。

＜領域別動きベクトル検出部＞
領域別動きベクトル検出部１０は、当該検出部１０に対応する領域の映像信号を取得し、取得された映像信号に基づいて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトル（フレーム間の差分）を時系列に検出する。また、領域別動きベクトル検出部１０は、検出結果をデジタルフィルタ部２０へ出力する。本実施形態において、領域別動きベクトル検出部１０は、動きベクトルとして、動き量の水平方向成分、及び、垂直方向成分をそれぞれ検出する。

＜デジタルフィルタ部＞
デジタルフィルタ部２０は、領域別動きベクトル検出部１０によって検出された動きベクトルを取得し、取得された動きベクトルの水平方向及び垂直方向の各成分に周波数感度補正を施すことによって周波数感度補正済み動きベクトルを得る。また、デジタルフィルタ部２０は、得られた周波数感度補正済み動きベクトルを動き領域判定部３０、動き領域番号付与部４０及び水平・垂直成分補正部６０へ出力する。本実施形態において、デジタルフィルタ部２０は、水平方向のデジタルフィルタ２１と、垂直方向のデジタルフィルタ２２と、を並列に備える。

水平方向のデジタルフィルタ２１は、動きベクトルの水平方向成分に周波数感度補正を施す。垂直方向のデジタルフィルタ２２は、動きベクトルの垂直方向成分に周波数感度補正を施す。水平方向のデジタルフィルタ２１及び垂直方向のデジタルフィルタ２２は、それぞれ、水平・垂直各方向成分に対して図３に示す動揺認知量の周波数感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、周波数感度補正済み動きベクトル（の水平方向成分及び垂直方向成分）を得る。既出願（特願２０１６−０３７０７０、本願出願時未公開）の動揺認知量推定装置においては、水平方向成分と垂直方向成分とでは異なる周波数感度補正特性を用いていたが、本発明の実施形態では、後に動揺領域の水平・垂直比によって水平・垂直各方向の動揺成分を補正する構成となっているため、水平方向のデジタルフィルタ２１及び垂直方向のデジタルフィルタ２２において同じ周波数感度補正特性を用いることができる。また、水平方向のデジタルフィルタ２１及び垂直方向のデジタルフィルタ２２は、それぞれ、得られた周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分を動き領域判定部３０、動き領域番号付与部４０及び水平・垂直成分補正部６０へ出力する。

なお、水平方向のデジタルフィルタ２１及び垂直方向のデジタルフィルタ２２においては、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本発明の実施形態に係る動揺認知量推定装置１は、１画面で多数の領域ごとに周波数補正を行うものであるため、演算量の少ない畳み込み積分を用いる方が望ましい。

＜動き領域判定部＞
動き領域判定部３０は、デジタルフィルタ部２０から出力された周波数感度補正済み動きベクトルを取得し、周波数感度補正済み動きベクトルの大きさが予め定められた閾値以上である場合に、該当する領域において「動きあり」と判定する。本実施形態において、動き領域判定部３０は、計算の簡略化のため、水平方向動き量（すなわち、周波数感度補正済み動きベクトルの水平方向成分の大きさ）の二乗と垂直方向動き量（すなわち、周波数感度補正済み動きベクトルの垂直方向成分の大きさ）の二乗との和が閾値（前記した閾値の二乗）以上である場合に、「動きあり」と判定することができる。動き領域判定部３０は、「動きあり」の場合と「動きなし」の場合とで異なる値、例えば、「動きあり」の場合は「０」、「動きなし」の場合は「−１」に設定し、設定結果を動きの有無の判定結果として動き領域番号付与部４０へ出力する。

＜動き領域番号付与部＞
動き領域番号付与部４０は、デジタルフィルタ部２０から出力された周波数感度補正済み動きベクトルと、動き領域判定部３０の判定結果と、を取得し、取得された周波数感度補正済み動きベクトル及び判定結果に基づいて、動きありと判定された領域に対して同じ動き領域に属する領域ごとに動き領域番号を付与する。動き領域番号付与部４０は、一の領域の補正済み動きベクトルと、隣接する領域の補正済み動きベクトルと、の差分ベクトルの大きさが所定値以下である場合に、一の領域と隣接する領域とが「同じ動き領域」であるとし、これらに同じ「動き領域仮番号」を付与する。かかる所定値は、画面の全体又はある程度まとまった領域の動きと主観評価実験で得られた動揺認知量との関係を用いて設定することができる。

さらに、動き領域番号付与部４０は、隣接する「異なる動き領域」の境界において、フレーム間でいずれの領域がもう一方の領域を遮蔽しているかを調べることにより、領域の前後関係を判定する。動き領域番号付与部４０は、領域の前後関係を全ての動き領域について調べた結果に基づいて、一番背後にある動き領域から順に「動き領域仮番号」を並べ直した後、それぞれの動き領域に並べ直した順番に沿い、「１」から順に正式な「動き領域番号」を付与する。ここで、動き領域番号付与部４０は、隣接していない複数の動き領域がいずれも同じ動き領域と隣接している場合には、複数の動き領域の前後関係を特定することができないが、全ての隣接する動き領域間で前後関係に破綻を来たさない限り、順序を入れ替えてもかまわない。ただし、隣接していない２つの動き領域ＡとＢがともに同じ動き領域Ｃと隣接するとともに同じ前後関係である場合であっても、動き領域Ｃと隣接する別の動き領域Ｄがやはり動き領域ＡとＢの両方と隣接するとともに異なる前後関係である場合には、動き領域Ａ，Ｂ，Ｃ，Ｄの前後関係の順序は一意に定まる。なお、動き領域の前後関係の順序の判定手法としては、映像における被写体のオクルージョンの検出手法等と同様の公知の手法を採用することができる。

ここで、動き領域番号付与部４０は、一番背後にある動き領域から順に動き領域番号を付与することとしたが、動き領域番号の大小関係が前後関係を表していさえすればよいので、一番手前にある動き領域から順に動き領域番号を付与してもかまわない。

また、動き領域番号付与部４０は、動きなしと判定された領域に関しては、動き領域判定部３０と同様に「−１」を付与する。この値は「−１」に限定する必要はなく、動きありと判定された領域に付与された動き領域番号のいずれとも異なる特定の値でありさえすれば良いが、動き領域番号が正の値であるので、最も大きい負の値である「−１」とするのが望ましい。

また、動き領域番号付与部４０は、動きありと判定された領域であっても、隣接するいずれの領域とも異なる動きとなっている領域については、動き領域判定部３０と同様に「０」を付与する。この値も「０」に限定する必要はなく、正の値である動き領域番号とも、動きなしと判定された領域番号である「−１」とも容易に区別できる「０」とするのが望ましい。

動き領域番号付与部４０は、前記の手順で各領域に付与された動き領域番号を水平・垂直比算出部５０、動き領域間相関値算出部９０、動き領域内部境界間相関値算出部１００及び動き領域別短時間動揺エネルギー算出部１１０へ出力する。

＜水平・垂直比算出部＞
水平・垂直比算出部５０は、動き領域番号付与部４０から出力された動き領域番号を取得し、初めに、同じ領域番号が付与された動き領域の形状の１次モーメント（重心位置）を算出する。続いて、水平・垂直比算出部５０は、同じ領域番号が付与された動き領域内の各領域と重心位置と各領域の位置との差の水平成分及び垂直成分のそれぞれの二乗の総和を、２次モーメントの水平成分と垂直成分として算出する。最後に、２次モーメントの水平成分と垂直成分の比の平方根を計算することで、各動き領域の水平・垂直比を得て、各領域の水平・垂直成分補正部６０へ出力する。

ここで、後記する水平・垂直成分補正部６０において動揺エネルギーの補正を行う際には、水平・垂直比の値を指数乗して用いるため、水平・垂直比算出部５０から動き領域ごとに出力される水平・垂直比は、２次モーメントの水平成分と垂直成分の比の平方根ではなく、２次モーメントの水平成分と垂直成分の比、すなわち水平・垂直比の二乗値としてもよい。

＜水平・垂直成分補正部＞
水平・垂直成分補正部６０は、水平・垂直比算出部５０から出力された各領域における水平・垂直比と、デジタルフィルタ部２０から出力された周波数感度補正済み動きベクトル、とを取得し、領域の前記周波数感度補正済み動きベクトルと前記水平・垂直比とを用いて、前記周波数感度補正済み動きベクトルの水平・垂直成分の大きさを前記水平・垂直比に応じて補正することによって水平・垂直比補正済み動きベクトルを得る。本実施形態において、水平・垂直成分補正部６０は、水平・垂直比の値をα乗（水平・垂直成分補正部６０からの出力が水平・垂直比ではなく水平・垂直比の二乗値である場合には０．５α乗）した後、周波数感度補正済み動きベクトルの水平成分及び垂直成分にそれぞれ乗じることにより水平・垂直比補正済み動きベクトルを得る。また、水平・垂直成分補正部６０は、得られた水平・垂直比補正済み動きベクトルを、動き領域間相関値算出部９０、動き領域内部境界間相関値算出部１００及び動き領域別短時間動揺エネルギー算出部１１０へ出力する。ここで、αの値については、α≒０．１８で誤差が最小となる。

＜領域別空間周波数感度補正部＞
領域別空間周波数感度補正部７０は、領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する前処理として、領域別動きベクトル検出部１０で画面を分割した領域ごとに、映像の輝度信号に対して図４に示す空間周波数感度補正を施す。また、領域別空間周波数感度補正部７０は、局所的な明暗コントラストの影響度を反映するために、空間周波数感度補正が施された映像の輝度信号（明暗コントラストの影響度の反映前）を、当該領域内の映像信号の直流成分の平方根で除すことにより、空間周波数感度補正済み映像信号を得る。また、領域別空間周波数感度補正部７０は、得られた空間周波数感度補正済み映像信号（明暗コントラストの影響度の反映後）を空間周波数エネルギー算出部８０へ出力する。

図４の特性は、水平・垂直・斜めのいずれ方向に対しても同等であるとしても大きな誤差を生じない（正確には斜め方向の高周波域の感度は水平・垂直方向での感度の８０％に低減するが、これによる動揺認知量の推定誤差の増加分は０．１ランク未満である）。したがって、領域別空間周波数感度補正部７０は、グラフの原点を通る縦軸を中心軸として図４の特性を３６０°回転させた２次元空間周波数感度特性となる２次元インパルスレスポンスを、映像の輝度信号に対して畳み込み積分することによって空間周波数感度補正を施すことができる。

＜空間周波数エネルギー算出部＞
空間周波数エネルギー算出部８０は、当該領域において領域別空間周波数感度補正部７０から出力された空間周波数感度補正済み映像信号を取得し、取得された空間周波数感度補正済み映像信号を二乗した値の総和を求めることで、前記した領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する。また、空間周波数エネルギー算出部８０は、算出された空間周波数感度補正済みエネルギーを動き領域別短時間動揺エネルギー算出部１１０へ出力する。

＜動き領域間相関値算出部＞
動き領域間相関値算出部９０は、動き領域番号付与部４０から出力された動き領域番号と、水平・垂直成分補正部６０から出力された水平・垂直比補正済み動きベクトルと、を取得し、取得された動き領域番号及び水平・垂直比補正済み動きベクトルに基づいて動き領域間相関値を算出する。詳細には、動き領域間相関値算出部９０は、動き領域境界における前景領域と背景領域との間の水平・垂直比補正済み動きベクトルの相関値を求めることで、前景と背景との動揺の相関の影響度に対する補正を行うのに必要となる動き領域間相関値を算出する。また、動き領域間相関値算出部９０は、算出された動き領域間相関値を動き領域別短時間動揺エネルギー算出部１１０へ出力する。

本実施形態において、動き領域間相関値算出部９０は、領域Ａと領域Ｂとの境界に隣接する領域Ａの画素群の動きベクトルの平均すなわち平均動きベクトルをＶ_Ａ、領域Ａと領域Ｂとの境界に隣接する領域Ｂの画素群の動きベクトルの平均すなわち平均動きベクトルをＶ_Ｂとしたとき、単位時間（例えば、２〜３秒）における動き領域間相関値Ｃ_１を、次式によって算出する。
Ｃ_１＝Σ（Ｖ_Ａ・Ｖ_Ｂ）／Σ（‖Ｖ_Ａ‖×‖Ｖ_Ｂ‖）
ここで、「・」は内積を表す。

＜動き領域内部境界間相関値算出部＞
動揺映像においては、同じ面積でかつ同じ動揺の大きさであっても、領域全体が動揺している場合の方が、領域の境界は動かず内部のみが動揺している場合よりも動揺認知量が大きくなる性質がある。動き領域内部境界間相関値算出部１００は、動き領域番号付与部４０から出力された動き領域番号と、水平・垂直成分補正部６０から出力された水平・垂直比補正済み動きベクトルと、を取得し、これらに基づいて動き領域内部境界間相関値を算出する。詳細には、動き領域内部境界間相関値算出部１００は、動き領域境界自体の動きベクトルと動き領域内部の水平・垂直比補正済み動きベクトルとの相関値を求めることで、前記した性質を反映する補正を施すのに必要になる動き領域内部境界間相関値を得て、動き領域別短時間動揺エネルギー算出部１１０へ出力する。

本実施形態において、動き領域内部境界間相関値算出部１００は、領域Ａの最外周（他領域との境界）の画素群の動きベクトルの平均すなわち平均動きベクトルをＶ_Ａ１、領域Ａの最外周以外（すなわち内部）の画素群の動きベクトルの平均すなわち平均動きベクトルをＶ_Ａ２としたとき、単位時間（例えば、２〜３秒）における動き領域内部境界間相関値Ｃ_２を、次式によって算出する。
Ｃ_２＝Σ（Ｖ_Ａ１・Ｖ_Ａ２）／Σ（‖Ｖ_Ａ１‖×‖Ｖ_Ａ２‖）
ここで、「・」は内積を表す。

＜動き領域別短時間動揺エネルギー算出部＞
動き領域別短時間動揺エネルギー算出部１１０は、動き領域番号付与部４０から出力された各領域の動き領域番号と、水平・垂直成分補正部６０から出力された水平・垂直比補正済み動きベクトルと、空間周波数エネルギー算出部８０から出力された空間周波数感度補正済みエネルギーと、動き領域間相関値算出部９０から出力された動き領域間相関値と、動き領域内部境界間相関値算出部１００から出力された動き領域内部境界間相関値と、を取得し、同じ動き領域番号が付与された領域ごとに、当該領域内の水平・垂直比補正済み動きベクトルの大きさの二乗を、動きベクトルが検出された画像間の時間である短時間ごとにそれぞれ求めた個別短時間動揺エネルギーに対し、補正済み空間周波数エネルギー、動き領域間相関値及び動き領域内部境界間相関値に応じて補正を施した後、当該動き領域内で補正が施された個別短時間動揺エネルギーの総和を求め、求められた総和を動き領域番号ごとの動き領域別短時間動揺エネルギーとして算出する。なお、補正済み空間周波数エネルギー、動き領域間相関値及び動き領域内部境界間相関値に応じた補正は、前記した順番に行われてもよく、適宜順番を入れ替えて行われてもよい。本実施形態において、動き領域別短時間動揺エネルギー算出部１１０は、初めに、同じ動き領域番号が付与された領域ごとに、各フレーム間において当該領域内の水平・垂直比補正済みベクトルの水平成分及び垂直成分の二乗和をそれぞれ求め、個別動揺エネルギーを得る。

次に、動き領域別短時間動揺エネルギー算出部１１０は、領域の見えやすさの影響度に対する補正として、補正済み空間周波数エネルギーをβ乗した値を個別動揺エネルギーに乗じる処理を施し、空間周波数補正済み個別動揺エネルギーを得る。ここで、β≒０．３のときに誤差が最小になる。
次に、動き領域別短時間動揺エネルギー算出部１１０は、前景と背景との動揺の相関の影響度に対する補正として、図５の特性で示される動き領域間相関値に応じた補正値を空間周波数補正済み個別動揺エネルギーに乗じる処理を施し、動き領域間相関値補正済み個別動揺エネルギーを得る。
さらに、動き領域別短時間動揺エネルギー算出部１１０は、動き領域の境界自体がどの程度領域内部と同期して動揺しているのかによる補正として、図６の特性で示される動き領域内部境界間相関値に応じた補正値を動き領域間相関値補正済み個別動揺エネルギーに乗じる処理を施し、動き領域内部境界間相関値補正済み個別動揺エネルギーを得る。
最後に、動き領域別短時間動揺エネルギー算出部１１０は、同じ動き領域番号の動き領域内で動き領域内部境界間相関値補正済み個別動揺エネルギーの総和を算出することで、動き領域番号ごとの動き領域別短時間動揺エネルギーを得て、得られた動き領域番号ごとの動き領域別短時間動揺エネルギーを時間窓内総動揺エネルギー算出部１２０へ出力する。

＜時間窓内総動揺エネルギー算出部＞
時間窓内総動揺エネルギー算出部１２０は、動き領域別短時間動揺エネルギー算出部１１０から出力された動き領域番号ごとの動き領域別短時間動揺エネルギーを取得し、前記短時間ごとの全ての動き領域の前記動き領域別短時間動揺エネルギーに時間窓の伝達率を乗じたものを、時間窓分だけ非線形加算することによって前記動揺認知量に相当する前記時間窓内の総動揺エネルギーを得る。本実施形態において、時間窓内総動揺エネルギー算出部１２０は、初めに、全ての動き領域で動き領域別短時間動揺エネルギーの総和を求め、全画面短時間動揺エネルギーを得る。ここで、既出願の動揺認知量推定装置では、動き領域番号の数が多いほど不快度が小さくなる事象を反映させるため、動きベクトルの大きさの二乗値に相当する動き領域別短時間動揺エネルギーをγ乗（γ＞１）した値の総和を求めてから１／γ乗していたが、動揺認知量自体は動き領域番号の数に依存していないことから、この補正は動揺認知量推定装置１ではなく、図１の不快度推定装置２において映像特徴量による補正として行うこととして省略する。なお、時間窓は、動きベクトルが検出された画像間の時間である短時間よりも長い時間（例えば、後記する図７の例では、伝達率半減区間が３秒、ロールオフ区間を含めると５．５秒）に設定される。

次に、時間窓内総動揺エネルギー算出部１２０は、時刻ｔがｔ＝Ｔからｔ＝Ｔ−Ｎまで遡る時区間の全フレームにおいて、全画面短時間動揺エネルギーＰ_（ｔ）に図７の総合特性で示された時間窓の伝達率Ｗ_{（Ｔ−ｔ−ｄ）}を乗じた上でε乗して非線形加算するために、下記の計算を行い、時間窓内において動揺認知量推定値に相当する総動揺エネルギーＥ_（Ｔ）を得る。
Ｅ_（Ｔ）＝Σ（Ｗ_{（Ｔ−ｔ−ｄ）}・Ｐ_（ｔ））^ε
図７において、時間窓の伝達特性に相当する総合特性は、動きベクトルの大きさに対する不快度の減衰特性と、伝達率半減時刻０秒及び３秒のそれぞれ±ｄの時区間を遷移域とするコサインロールオフ特性、との積である合成特性の伝達率を二乗したものである。ここで、合成特性の伝達率を二乗するのは、エネルギーが動きベクトルの二乗に相当するからである。
ここで、−ｄは現時点より未来の時刻となり、動揺エネルギーは得られないため、前記の時間窓の伝達率は、Ｗ_{（Ｔ−ｔ−ｄ）}のように設定されている。これにより、動揺認知量は動揺が始まってから時間ｄだけ遅れて有効な値が得られることになるが、実際の動揺も１秒程度遅れて認知されていることから問題とはならない。また、Ｎは、Ｎ＝３＋２ｄとなる。また、εの値の誤差は、ε≒０．６７のときに最小となる。
そして、時間窓内総動揺エネルギー算出部１２０は、算出された総動揺エネルギーを動揺認知量推定値として不快度推定装置２（図１参照）へ出力する。

＜不快度推定装置＞
続いて、図１に戻り、不快度推定装置２の特徴抽出部３及び不快度推定部４について説明する。

＜特徴量抽出部＞
特徴量抽出部３は、映像信号を取得し、取得された映像信号に基づいて、動揺認知量以外に不快度の要因となる映像の物理的特徴量に抽出し、抽出した物理的特徴量を不快度推定部４へ出力する。動揺認知量以外の不快度の要因となる映像の物理的特徴量としては、空間周波数、時間周波数、色分布、局在率、誘目度等が挙げられる。特に６秒周期前後の低周波の回転方向の揺れは、同じ動揺認知量であっても不快度が大きく上昇することが明らかになっている。

＜不快度推定部＞
不快度推定部４は、動揺認知量推定装置１で推定された動揺認知量と、特徴量抽出部３によって抽出された物理的特徴量とを取得し、取得された動揺認知量及び物理的特徴量に対して非線形な加算・減算・積算等を行うことによって不快度を算出し、算出された不快度をディスプレイ、スピーカ等の外部装置（不快度を利用者へ通知する通知部）へ出力する。

＜動作例＞
続いて、本発明の実施形態に係る動揺認知量推定装置１の動作例について、図２を参照して説明する。図１の不快度推定装置２の動作例は、本発明の実施形態に係る動揺認知量推定装置１の利用例を示すものなので、ここでは説明の対象外とする。

まず、領域別動きベクトル検出部１０が、当該検出部１０に対応する領域の映像信号を用いて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトルを検出し、検出された領域別動きベクトルをデジタルフィルタ部２０へ出力する。続いて、デジタルフィルタ部２０が、動きベクトルに周波数感度補正を施し、得られた周波数感度補正済み動きベクトルを動き領域判定部３０等へ出力する。

続いて、動き領域判定部３０が、周波数感度補正済み動きベクトルの大きさが閾値以上である場合に動きありと判定し、動きの有無の判定結果として動き領域番号付与部４０へ出力する。続いて、動き領域番号付与部４０が、同じ動き領域に属する領域ごとに、動き領域間の前後関係を反映した動き領域番号を付与し、付与された動き領域番号を水平・垂直比算出部５０等へ出力する。

続いて、水平・垂直比算出部５０が、同じ動き領域番号を付与された動き領域の形状の水平・垂直比を算出し、算出された水平・垂直比を水平・垂直成分補正部６０へ出力する。続いて、水平・垂直成分補正部６０が、周波数感度補正済み動きベクトルの水平成分及び垂直成分に対して動き領域形状の水平・垂直比に応じた補正を施し、得られた水平・垂直比補正済み動きベクトルを動き領域別短時間動揺エネルギー算出部１１０等へ出力する。

その一方、領域別空間周波数感度補正部７０が、領域別動きベクトル検出部１０と同じ領域の映像信号に対し空間周波数感度補正を施し、得られた空間周波数感度補正済み映像信号を空間周波数エネルギー算出部８０へ出力する。さらに、空間周波数エネルギー算出部８０が、空間周波数感度補正済み映像信号のエネルギーを補正済み空間周波数エネルギーとして算出し、算出された補正済み空間周波数エネルギーを動き領域別短時間動揺エネルギー算出部１１０へ出力する。

その一方で、動き領域間相関値算出部９０が、動き領域境界における前景領域と背景領域との間の水平・垂直比補正済み動きベクトルの相関値を動き領域間相関値として算出し、算出された動き領域間相関値を動き領域別短時間動揺エネルギー算出部１１０へ出力する。さらにその一方で、動き領域内部境界間相関値算出部１００が、動き領域境界自体の動きベクトルと動き領域内部の水平・垂直比補正済み動きベクトルとの相関値を動き領域内部境界間相関値として算出し、算出された動き領域内部境界間相関値を動き領域別短時間動揺エネルギー算出部１１０へ出力する。

続いて、動き領域別短時間動揺エネルギー算出部１１０が、短時間（フレーム間）での動き領域番号ごとに動き領域内の各水平・垂直比補正済み動きベクトルの大きさの二乗を求めた短時間個別動揺エネルギーに対し、補正済み空間周波数エネルギー、動き領域間相関値及び動き領域内部境界間相関値に応じて補正を施した後、動き領域内で総和を動き領域別動揺エネルギーとして求め、得られた動き領域別動揺エネルギーを時間窓内総動揺エネルギー算出部１２０へ出力する。最後に、時間窓内総動揺エネルギー算出部１２０が、例えば現時点から約５秒前までの各フレーム間で、全ての動き領域の動き領域別動揺エネルギーの総和を求めた値に対し、時間窓の伝達率を乗じた上で当該時区間内で非線形加算することで総動揺エネルギーを求め、得られた総動揺エネルギーを動揺認知量推定値として出力する。

本発明の実施形態に係る不快度推定システムＡは、前記したように、動揺映像に対する不快度とは１対１に対応するものではないが、動揺認知量推定装置１によって得られた動揺認知量推定値と、映像の物理的特徴量とを用いることで、従来の動揺映像に対する不快度推定装置では達しえなかった水準まで、不快度推定精度を高めることができる。
また、動揺認知量推定装置１によって得られた動揺認知量推定値は、映像コンテンツ製作者が画面動揺を低減するような映像修正を施す際に、不快度の代用指標として使用することも可能である。すなわち、動揺認知量推定装置１は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる画面動揺をどの程度まで低減すべきかの設定目標として、動揺認知量推定値を映像コンテンツ製作者に提示することができるので、制作に要する時間、労力及びコストの削減を図ることができるのに加え、供給される映像コンテンツの安全性を向上することができる。
また、動揺認知量推定装置１が視聴者側で用いられる場合には、画面動揺に関して安全であることを保証せずに制作、流通された映像に対し、視聴前又は視聴中の表示直前に動揺認知量を推定してディスプレイ又はスピーカへ出力することで警告を発することができるので、映像酔いによる健康被害を防止することが可能になる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記動揺認知量推定装置１として機能させる動揺認知量推定プログラムとして具現化することも可能である。あるいは、動揺認知量推定値を心理評価値と線形的に対応するようにするために、前記総動揺エネルギーの対数値を動揺認知量推定値として出力することとしてもよい。また、動揺認知量推定装置１は、不快度推定装置２と一体化された装置としても具現化可能である。また、動揺認知量推定装置１によって推定された動揺認知量は、不快度の推定のみに用いられるものではなく、単独での心理指標又は他の心理指標の元となるものとして利用可能である。

Ａ 不快度推定システム
１ 動揺認知量推定装置
２ 不快度推定装置
３ 特徴量抽出部
４ 不快度推定部
１０ 領域別動きベクトル検出部
２０ デジタルフィルタ部
２１ 水平方向のデジタルフィルタ
２２ 垂直方向のデジタルフィルタ
３０ 動き領域判定部
４０ 動き領域番号付与部
５０ 水平・垂直比算出部
６０ 水平・垂直成分補正部
７０ 領域別空間周波数感度補正部
８０ 空間周波数エネルギー算出部
９０ 動き領域間相関値算出部
１００ 動き領域内部境界間相関値算出部
１１０ 動き領域別短時間動揺エネルギー算出部
１２０ 時間窓内総動揺エネルギー算出部

Claims (3)

1. 映像における動きベクトルに基づいて画面動揺に対する動揺認知量を推定する動揺認知量推定装置であって、
   画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出する領域別動きベクトル検出部と、
   検出された前記動きベクトルに周波数感度補正を施すことによって周波数感度補正済み動きベクトルを得るデジタルフィルタ部と、
   前記周波数感度補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する動き領域判定部と、
   動きありと判定された前記領域に対して同じ動き領域に属する領域ごとに領域間の前後関係を反映した動き領域番号を付与する動き領域番号付与部と、
   同じ前記動き領域番号が付与された前記領域の形状の水平・垂直比を算出する水平・垂直比算出部と、
   前記領域の前記周波数感度補正済み動きベクトルと前記水平・垂直比とを用いて、前記周波数感度補正済み動きベクトルの水平・垂直成分の大きさを前記水平・垂直比に応じて補正することによって水平・垂直比補正済み動きベクトルを得る水平・垂直成分補正部と、
   前記映像に対して空間周波数感度補正を施すことによって空間周波数感度補正済み映像信号を得る領域別空間周波数感度補正部と、
   前記空間周波数感度補正済み映像信号のエネルギーを算出することによって補正済み空間周波数エネルギーを得る空間周波数エネルギー算出部と、
   前記動き領域番号が付与された前記領域と前記水平・垂直比補正済み動きベクトルとに基づいて、前記動き領域の境界における前景領域と背景領域との間の前記水平・垂直比補正済み動きベクトルの相関値を算出することによって動き領域間相関値を得る動き領域間相関値算出部と、
   前記動き領域番号が付与された前記領域と前記水平・垂直比補正済み動きベクトルとに基づいて、前記動き領域の境界自体の動きベクトルと同じ動き領域内部における前記水平・垂直比補正済み動きベクトルとの相関値を算出することによって動き領域内部境界間相関値を得る動き領域内部境界間相関値算出部と、
   同じ前記動き領域番号が付与された前記領域ごとに、当該領域内の前記水平・垂直比補正済み動きベクトルの大きさの二乗を、前記動きベクトルが検出された前記画像間の時間である短時間ごとにそれぞれ求めた個別短時間動揺エネルギーに対し、前記補正済み空間周波数エネルギー、前記動き領域間相関値及び前記動き領域内部境界間相関値に応じて補正を施した後、当該動き領域内で補正が施された前記個別短時間動揺エネルギーの総和を求め、求められた前記総和を動き領域番号ごとの動き領域別短時間動揺エネルギーとして算出する動き領域別短時間動揺エネルギー算出部と、
   前記短時間ごとの全ての前記動き領域の前記動き領域別短時間動揺エネルギーの総和に前記時間窓の伝達率を乗じたものを、前記時間窓分だけ非線形加算することによって前記動揺認知量に相当する前記時間窓内の総動揺エネルギーを得る時間窓内総動揺エネルギー算出部と、
   を備えることを特徴とする動揺認知量推定装置。
2. 前記デジタルフィルタ部は、
   前記動きベクトルの水平方向成分に周波数感度補正を施す水平方向のデジタルフィルタと、
   前記動きベクトルの垂直方向成分に前記水平方向のデジタルフィルタと同じ周波数感度補正を施す垂直方向のデジタルフィルタと、
   を備えることを特徴とする請求項１に記載の動揺認知量推定装置。
3. コンピュータを請求項１に記載の動揺認知量推定装置として機能させることを特徴とする動揺認知量推定プログラム。

Images