JP2018129002A - 不快度推定装置及び不快度推定プログラム - Google Patents
不快度推定装置及び不快度推定プログラム Download PDFInfo
- Publication number
- JP2018129002A JP2018129002A JP2017023603A JP2017023603A JP2018129002A JP 2018129002 A JP2018129002 A JP 2018129002A JP 2017023603 A JP2017023603 A JP 2017023603A JP 2017023603 A JP2017023603 A JP 2017023603A JP 2018129002 A JP2018129002 A JP 2018129002A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- discomfort
- region
- unit
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
また、不快度推定装置は、低周波回転動揺補正量算出部によって、前記「低周波回転動揺に対する感度増加分」を画面全体での総和を取った上で動揺認知量推定用と同じ時間内加算をすることで低周波回転動揺補正量を算出し、低周波回転動揺補正部によって、前記低周波回転動揺補正量を用いて動揺認知量の大きさを補正することで低周波回転動揺補正済み動揺認知量を得る。
また、不快度推定装置は、領域別誘目度算出部によって、領域ごとの目立ちやすさの指標である領域別誘目度を算出し、誘目度補正量算出部によって、前記領域別誘目度と領域番号および動き領域別短時間動揺エネルギーを用い、誘目度の偏りによる不快度の低下分を補正するための誘目度補正量を算出する。
また、不快度推定装置は、誘目度補正部によって、前記誘目度補正量に基づいて前記低周波回転動揺補正済み動揺認知量をさらに補正して誘目度補正済み動揺認知量を得て、総動揺エネルギー補正部によって、所定時間以上継続する動揺に対する不快度の蓄積効果分の補正を前記誘目度補正済み動揺認知量に施すことで補正済み総動揺エネルギーを得て、前記補正済み総動揺エネルギーを推定不快度として出力する。
図1に示すように、本発明の実施形態に係る不快度推定システムAは、動揺認知量推定装置1と、不快度推定装置2と、を備える。不快度推定装置2は、動揺認知量推定装置1と映像の特徴量とを用いることで、不快度推定誤差を抑制することを可能にしたものであり、機能部として、特徴量抽出部3と、不快度推定部4と、を備える。ただし、動揺認知量推定装置1の構成は、本発明の実施形態に係る不快度推定装置2の前処理を行う装置であるので、本発明の実施形態に供する上で、必ずしも下記構成例の形態を採るものではない。
本発明の実施形態に供する前処理部に相当する動揺認知量推定装置1の一例は、図2に示すような、映像における動きベクトルに基づいて画面動揺に対する動揺認知量推定値を出力するものであり、機能部として、領域別動きベクトル検出部110と、デジタルフィルタ部120と、動き領域判定部130と、動き領域番号付与部140と、水平・垂直比算出部150と、水平・垂直成分補正部160と、領域別空間周波数感度補正部170と、空間周波数エネルギー算出部180と、動き領域間相関値算出部190と、動き領域内部境界間相関値算出部200と、動き領域別短時間動揺エネルギー算出部210と、時間窓内総動揺エネルギー算出部220と、を備える。ここで、動揺認知量推定装置1によって推定される動揺認知量は、動揺映像を観視した視聴者が始めに認知する動揺量である。ここで、「始めに認知する」とは、視聴者が映像内容によって不快であるか否かというように感じ方に違いが生じる前に、視聴者が「揺れが大きいか否か」を純然と感じる、揺れの大きさの認知過程を意味している。
領域別動きベクトル検出部110は、当該検出部110に対応する領域の映像信号を取得し、取得された映像信号に基づいて、映像の時間的に隣接する画像(連続するフレーム)間における動きベクトル(フレーム間の差分)を時系列に検出する。また、領域別動きベクトル検出部110は、検出結果をデジタルフィルタ部120へ出力する。本実施形態において、領域別動きベクトル検出部110は、動きベクトルとして、動き量の水平方向成分、及び、垂直方向成分をそれぞれ検出する。
デジタルフィルタ部120は、領域別動きベクトル検出部110によって検出された動きベクトルを取得し、取得された動きベクトルの水平方向及び垂直方向の各成分に周波数感度補正を施すことによって周波数感度補正済み動きベクトルを得る。また、デジタルフィルタ部120は、得られた周波数感度補正済み動きベクトルを動き領域判定部130、動き領域番号付与部140及び水平・垂直成分補正部160へ出力する。本実施形態において、デジタルフィルタ部120は、水平方向のデジタルフィルタ121と、垂直方向のデジタルフィルタ122と、を並列に備える。
動き領域判定部130は、デジタルフィルタ部120から出力された周波数感度補正済み動きベクトルを取得し、周波数感度補正済み動きベクトルの大きさが予め定められた閾値以上である場合に、該当する領域において「動きあり」と判定する。本実施形態において、動き領域判定部130は、計算の簡略化のため、水平方向動き量(すなわち、周波数感度補正済み動きベクトルの水平方向成分の大きさ)の二乗と垂直方向動き量(すなわち、周波数感度補正済み動きベクトルの垂直方向成分の大きさ)の二乗との和が閾値(前記した閾値の二乗)以上である場合に、「動きあり」と判定することができる。動き領域判定部130は、「動きあり」の場合と「動きなし」の場合とで異なる値、例えば、「動きあり」の場合は「0」、「動きなし」の場合は「−1」に設定し、設定結果を動きの有無の判定結果として動き領域番号付与部140へ出力する。
動き領域番号付与部140は、デジタルフィルタ部120から出力された周波数感度補正済み動きベクトルと、動き領域判定部130の判定結果と、を取得し、取得された周波数感度補正済み動きベクトル及び判定結果に基づいて、動きありと判定された領域に対して同じ動き領域に属する領域ごとに動き領域番号を付与する。動き領域番号付与部140は、一の領域の補正済み動きベクトルと、隣接する領域の補正済み動きベクトルと、の差分ベクトルの大きさが所定値以下である場合に、一の領域と隣接する領域とが「同じ動き領域」であるとし、これらに同じ「動き領域仮番号」を付与する。かかる所定値は、画面の全体又はある程度まとまった領域の動きと主観評価実験で得られた動揺認知量との関係を用いて設定することができる。
水平・垂直比算出部150は、動き領域番号付与部140から出力された動き領域番号を取得し、初めに、同じ領域番号が付与された動き領域の形状の1次モーメント(重心位置)を算出する。続いて、水平・垂直比算出部150は、同じ領域番号が付与された動き領域内の各領域と重心位置と各領域の位置との差の水平成分及び垂直成分のそれぞれの二乗の総和を、2次モーメントの水平成分と垂直成分として算出する。最後に、2次モーメントの水平成分と垂直成分の比の平方根を計算することで、各動き領域の水平・垂直比を得て、各領域の水平・垂直成分補正部160へ出力する。
水平・垂直成分補正部160は、水平・垂直比算出部150から出力された各領域における水平・垂直比と、デジタルフィルタ部120から出力された周波数感度補正済み動きベクトル、とを取得し、領域の前記周波数感度補正済み動きベクトルと前記水平・垂直比とを用いて、前記周波数感度補正済み動きベクトルの水平・垂直成分の大きさを前記水平・垂直比に応じて補正することによって水平・垂直比補正済み動きベクトルを得る。本実施形態において、水平・垂直成分補正部160は、水平・垂直比の値をα乗(水平・垂直成分補正部160からの出力が水平・垂直比ではなく水平・垂直比の二乗値である場合には0.5α乗)した後、周波数感度補正済み動きベクトルの水平成分及び垂直成分にそれぞれ乗じることにより水平・垂直比補正済み動きベクトルを得る。また、水平・垂直成分補正部160は、得られた水平・垂直比補正済み動きベクトルを、動き領域間相関値算出部190、動き領域内部境界間相関値算出部200及び動き領域別短時間動揺エネルギー算出部210へ出力する。ここで、αの値については、α≒0.18で誤差が最小となる。
領域別空間周波数感度補正部170は、領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する前処理として、領域別動きベクトル検出部110で画面を分割した領域ごとに、映像の輝度信号に対して図4に示す空間周波数感度補正を施す。また、領域別空間周波数感度補正部170は、局所的な明暗コントラストの影響度を反映するために、空間周波数感度補正が施された映像の輝度信号(明暗コントラストの影響度の反映前)を、当該領域内の映像信号の直流成分の平方根で除すことにより、空間周波数感度補正済み映像信号を得る。また、領域別空間周波数感度補正部170は、得られた空間周波数感度補正済み映像信号(明暗コントラストの影響度の反映後)を空間周波数エネルギー算出部180へ出力する。
空間周波数エネルギー算出部180は、当該領域において領域別空間周波数感度補正部170から出力された空間周波数感度補正済み映像信号を取得し、取得された空間周波数感度補正済み映像信号を二乗した値の総和を求めることで、前記した領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する。また、空間周波数エネルギー算出部180は、算出された空間周波数感度補正済みエネルギーを動き領域別短時間動揺エネルギー算出部210へ出力する。
動き領域間相関値算出部190は、動き領域番号付与部140から出力された動き領域番号と、水平・垂直成分補正部160から出力された水平・垂直比補正済み動きベクトルと、を取得し、取得された動き領域番号及び水平・垂直比補正済み動きベクトルに基づいて動き領域間相関値を算出する。詳細には、動き領域間相関値算出部190は、動き領域境界における前景領域と背景領域との間の水平・垂直比補正済み動きベクトルの相関値を求めることで、前景と背景との動揺の相関の影響度に対する補正を行うのに必要となる動き領域間相関値を算出する。また、動き領域間相関値算出部190は、算出された動き領域間相関値を動き領域別短時間動揺エネルギー算出部210へ出力する。
C1=Σ(VA・VB)/Σ(‖VA‖×‖VB‖)
ここで、「・」は内積を表す。
動揺映像においては、同じ面積でかつ同じ動揺の大きさであっても、領域全体が動揺している場合の方が、領域の境界は動かず内部のみが動揺している場合よりも動揺認知量が大きくなる性質がある。動き領域内部境界間相関値算出部200は、動き領域番号付与部140から出力された動き領域番号と、水平・垂直成分補正部160から出力された水平・垂直比補正済み動きベクトルと、を取得し、これらに基づいて動き領域内部境界間相関値を算出する。詳細には、動き領域内部境界間相関値算出部200は、動き領域境界自体の動きベクトルと動き領域内部の水平・垂直比補正済み動きベクトルとの相関値を求めることで、前記した性質を反映する補正を施すのに必要になる動き領域内部境界間相関値を得て、動き領域別短時間動揺エネルギー算出部210へ出力する。
C2=Σ(VA1・VA2)/Σ(‖VA1‖×‖VA2‖)
ここで、「・」は内積を表す。
動き領域別短時間動揺エネルギー算出部210は、動き領域番号付与部140から出力された各領域の動き領域番号と、水平・垂直成分補正部160から出力された水平・垂直比補正済み動きベクトルと、空間周波数エネルギー算出部180から出力された空間周波数感度補正済みエネルギーと、動き領域間相関値算出部190から出力された動き領域間相関値と、動き領域内部境界間相関値算出部200から出力された動き領域内部境界間相関値と、を取得し、同じ動き領域番号が付与された領域ごとに、当該領域内の水平・垂直比補正済み動きベクトルの大きさの二乗を、動きベクトルが検出された画像間の時間である短時間ごとにそれぞれ求めた個別短時間動揺エネルギーに対し、補正済み空間周波数エネルギー、動き領域間相関値及び動き領域内部境界間相関値に応じて補正を施した後、当該動き領域内で補正が施された個別短時間動揺エネルギーの総和を求め、求められた総和を動き領域番号ごとの動き領域別短時間動揺エネルギーとして算出する。なお、補正済み空間周波数エネルギー、動き領域間相関値及び動き領域内部境界間相関値に応じた補正は、前記した順番に行われてもよく、適宜順番を入れ替えて行われてもよい。本実施形態において、動き領域別短時間動揺エネルギー算出部210は、初めに、同じ動き領域番号が付与された領域ごとに、各フレーム間において当該領域内の水平・垂直比補正済みベクトルの水平成分及び垂直成分の二乗和をそれぞれ求め、個別動揺エネルギーを得る。
次に、動き領域別短時間動揺エネルギー算出部210は、前景と背景との動揺の相関の影響度に対する補正として、図5の特性で示される動き領域間相関値に応じた補正値を空間周波数補正済み個別動揺エネルギーに乗じる処理を施し、動き領域間相関値補正済み個別動揺エネルギーを得る。
さらに、動き領域別短時間動揺エネルギー算出部210は、動き領域の境界自体がどの程度領域内部と同期して動揺しているのかによる補正として、図6の特性で示される動き領域内部境界間相関値に応じた補正値を動き領域間相関値補正済み個別動揺エネルギーに乗じる処理を施し、動き領域内部境界間相関値補正済み個別動揺エネルギーを得る。
最後に、動き領域別短時間動揺エネルギー算出部210は、同じ動き領域番号の動き領域内で動き領域内部境界間相関値補正済み個別動揺エネルギーの総和を算出することで、動き領域番号ごとの動き領域別短時間動揺エネルギーを得て、得られた動き領域番号ごとの動き領域別短時間動揺エネルギーを時間窓内総動揺エネルギー算出部220へ出力する。
時間窓内総動揺エネルギー算出部220は、動き領域別短時間動揺エネルギー算出部210から出力された動き領域番号ごとの動き領域別短時間動揺エネルギーを取得し、前記短時間ごとの全ての動き領域の前記動き領域別短時間動揺エネルギーに時間窓の伝達率を乗じたものを、時間窓分だけ非線形加算することによって前記動揺認知量に相当する前記時間窓内の総動揺エネルギーを得る。本実施形態において、時間窓内総動揺エネルギー算出部220は、初めに、全ての動き領域で動き領域別短時間動揺エネルギーの総和を求め、全画面短時間動揺エネルギーを得る。ここで、既出願の動揺認知量推定装置では、動き領域番号の数が多いほど不快度が小さくなる事象を反映させるため、動きベクトルの大きさの二乗値に相当する動き領域別短時間動揺エネルギーをγ乗(γ>1)した値の総和を求めてから1/γ乗していたが、動揺認知量自体は動き領域番号の数に依存していないことから、この補正は動揺認知量推定装置1ではなく、図1の不快度推定装置2において映像特徴量による補正として行うこととして省略する。なお、時間窓は、動きベクトルが検出された画像間の時間である短時間よりも長い時間(例えば、後記する図7の例では、伝達率半減区間が3秒、ロールオフ区間を含めると5.5秒)に設定される。
E(T)=Σ(W(T−t−d)・P(t))ε
図7において、時間窓の伝達特性に相当する総合特性は、動きベクトルの大きさに対する不快度の減衰特性と、伝達率半減時刻0秒及び3秒のそれぞれ±dの時区間を遷移域とするコサインロールオフ特性、との積である合成特性の伝達率を二乗したものである。ここで、合成特性の伝達率を二乗するのは、エネルギーが動きベクトルの二乗に相当するからである。
ここで、−dは現時点より未来の時刻となり、動揺エネルギーは得られないため、前記の時間窓の伝達率は、W(T−t−d)のように設定されている。これにより、動揺認知量は動揺が始まってから時間dだけ遅れて有効な値が得られることになるが、実際の動揺も1秒程度遅れて認知されていることから問題とはならない。また、Nは、N=3+2dとなる。また、εの値の誤差は、ε≒0.67のときに最小となる。
そして、時間窓内総動揺エネルギー算出部220は、算出された総動揺エネルギーを動揺認知量推定値として不快度推定装置2(図1参照)へ出力する。
本発明の実施形態に係る不快度推定装置2は、図8に示すように、動揺認知量推定装置1から得られる動揺認知量と、動揺認知量推定装置1の算出途上特徴量であるところの、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分、動き領域番号、及び動き領域別短時間動揺エネルギーと、映像内の部分領域において視線誘導につながる目の引きやすさの指標となる誘目度と、に基づいて画面動揺に対する不快度を推定するものである。不快度推定装置2は、機能部として、回転動揺成分抽出部10と、デジタルフィルタ部20と、低周波回転動揺補正量算出部30と、低周波回転動揺補正部40と、領域別誘目度算出部50と、誘目度補正量算出部60と、誘目度補正部70と、総動揺エネルギー補正部80と、を備える。
かかる機能部のうち、回転動揺成分抽出部10、デジタルフィルタ部20、低周波回転動揺補正量算出部30、領域別誘目度算出部50及び誘目度補正量算出部60の組み合わせが、図1における特徴量抽出部3に相当する。また、低周波回転動揺補正部40、誘目度補正部70及び総動揺エネルギー補正部80の組み合わせが、図1における不快度推定部4に相当する。
また、デジタルフィルタ部20及び領域別誘目度算出部50の組み合わせは、画面を分割した複数(1〜N)の領域に対応して複数(N)セットが設けられている。
回転動揺成分抽出部10は、動揺認知量推定装置と同じように画面を複数に分割した領域中で動揺のある領域において、周方向ベクトルを抽出する。本実施形態において、回転動揺成分抽出部10は、動揺認知量推定装置1から出力される算出途上特徴量のうち、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分と、動き領域番号と、を取得し、全画面中で有効な動きがある領域(前記の番号付与の例では動き領域番号が0と−1ではない領域)における動きベクトルを用いて、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと実際の前記補正済み動きベクトルとの二乗誤差の総和が最小となるときの回転中心と回転角とを算出する。さらに、回転動揺成分抽出部10は、算出された回転中心及び回転角に基づいて、各領域の中心における周方向(回転中心への同心方向と直交する方向)のベクトルを算出し、当該ベクトルの水平方向成分と垂直方向成分との組を周方向ベクトルとしてデジタルフィルタ部20へ出力する。
図8に示すように、デジタルフィルタ部20は、回転動揺成分抽出部10によって検出された周方向ベクトルを取得し、取得された周方向ベクトルをデジタルフィルタリングすることによって、低周波回転動揺に対する感度増加分ベクトルを検出する。本実施形態において、デジタルフィルタ部20は、取得された動きベクトルすなわち周方向ベクトルの水平方向及び垂直方向の各成分に、低周波回転動揺に対する不快度の感度上昇分(周方向以外の方向の動揺に対する感度の比から1を引いた差分値)に相当する周波数感度補正を施すことによって「低周波回転動揺に対する感度増加分ベクトル」を得て、低周波回転動揺補正量算出部30へ出力する。本実施形態において、デジタルフィルタ部20は、水平方向のデジタルフィルタ21と、垂直方向のデジタルフィルタ22と、を並列に備える。これは、1つのデジタルフィルタではベクトルの2成分を同時に処理できないからであり、両方とも特性は全く同じものであり、その特性は図10に示すものとなっている。
低周波回転動揺補正量算出部30は、デジタルフィルタ部20から出力された「低周波回転動揺に対する感度増加分ベクトル」を取得し、低周波回転動揺に対する感度増加分ベクトルの自乗値の画面全体での総和を取った上で時間内加算することによって低周波回転動揺補正量を算出する。本実施形態において、低周波回転動揺補正量算出部30は、画面全体でのベクトルの自乗和の総和を取った上で、図7に示す動揺認知量推定用と同じ時間窓関数を乗じ、さらには、時間的に線形加算可能となるようなオーダー(次元)とするために、β乗(ここでは0.67乗)した上で時間加算をすることで、低周波回転動揺補正量を算出し、低周波回転動揺補正部40へ出力する。図7の特性のうち、実際に時間窓関数として用いられるのは「総合特性」であり、これは、「減衰特性」に「ロールオフ特性」を乗じた「合成特性」を自乗したものである。
低周波回転動揺補正部40は、動揺認知量推定装置1から出力された動揺認知量推定値と、低周波回転動揺補正量算出部30から出力された低周波回転動揺補正量と、を取得し、不快度の上昇分に相当する前記低周波回転動揺補正量を前記動揺認知量に加えることで不快度の上昇分を補正し、低周波回転動揺補正済み動揺認知量を得る。本実施形態において、低周波回転動揺補正部40は、動揺認知量推定値及び低周波回転動揺補正量のそれぞれを振幅の二乗のオーダーの値(動揺認知量が時間的に線形加算可能な値のオーダーである場合は1.5乗した値)に変換した上で合算(線形和を算出)することで、低周波回転動揺補正済み動揺認知量を得て、誘目度補正部70へ出力する。ここで、出力する値は元の動揺認知量のオーダーへの変換は施していないが、これは、次段の誘目度補正部70での補正も振幅の二乗のオーダーで補正されるからである。
領域別誘目度算出部50は、映像信号を取得し、動揺認知量推定装置1と同じように分割された領域ごとに、視線誘導につながる目立ちやすさの指標である誘目度を算出して、誘目度補正量算出部60へ出力する。ここで、誘目度はその妥当性の評価方法自体、視線の滞留率や、移動発生頻度など多数あって一意には定まっておらず、その算出法も、実際の視線誘導との相関係数が0.6以上あれば優良であるとされるものだけで数十種類にも及ぶ。本実施形態では、非営利目的で自由に利用でき、空間周波数・色分布・コントラスト・偏在率などに基づいて誘目度を算出する代表的なオープンソース・ソフトウェアである「Saliency Map Alogorithm」(Itti, Koch, Niebur Saliency Map, http://www.vision.caltec.edu/~harel/share/gbvs.zip)を用いて、動き領域ごとの平均誘目度を算出し、その大きさを1〜16の16段階に分類する。これは、動揺エネルギーが16倍になると不快度の評定値が1ランク上がるので、同じ大きさの揺れにであっても、誘目度によって不快度には最大1ランクの差が生じるように設定したからである。これは最善の設定であるわけではなく、あくまで実施形態の1つである。
誘目度補正量算出部60は、動揺認知量推定装置1から算出途上特徴量として得られる、動き領域番号及び動き領域別短時間動揺エネルギーと、領域別誘目度算出部50から出力された領域ごとの誘目度と、を取得し、領域別誘目度に基づいて、誘目度の偏りによる不快度の低下分に相当する誘目度補正量を算出する。本実施形態において、誘目度補正量算出部60は、最初に、動き領域ごとの平均誘目度を求める。次に、誘目度補正量算出部60は、平均誘目度が最大だった動き領域の値で各動き領域の平均誘目度を除し、その値を1から差し引いた値を、各動き領域において動揺エネルギーから減じられる不快度の重み係数とする。この係数は、平均誘目度が最大だった動き領域では0、最大で15/16となる。続いて、誘目度補正量算出部60は、この重み係数を動き領域別短時間動揺エネルギーに乗じた後に画面全体で総和を取った上で、図7に示す動揺認知量推定用と同じ時間窓関数を乗じる。さらに、誘目度補正量算出部60は、時間的に線形減算可能となるようなオーダー(次元)とするために、時間窓関数が乗じられたものをβ乗(ここでは0.67乗)した上で時間加算をすることで、誘目度補正量を算出し、算出された誘目度補正量を誘目度補正部70へ出力する。
誘目度補正部70は、低周波回転動揺補正部40から出力された低周波回転動揺補正済み動揺認知量と、誘目度補正量算出部60から出力された誘目度補正量と、を取得し、誘目度補正量を低周波回転動揺補正済み動揺認知量から減ずることで不快度の低下分を補正し、誘目度補正済み動揺認知量を得る。本実施形態において、誘目度補正部70は、それぞれを振幅の二乗のオーダーの値(動揺認知量が時間的に線形加算可能な値のオーダーである場合は1.5乗した値)に変換(低周波回転動揺補正済み動揺認知量は低周波回転動揺補正部40で既に変換済みなので、誘目度補正量のみ変換)した上で、低周波回転動揺補正済み動揺認知量から誘目度補正量を減算することで、誘目度による不快度低下の影響分を補正した誘目度補正済み動揺認知量を得て、総動揺エネルギー補正部80へ出力する。ここで、出力する値は元の不快度の時間蓄積効果を線形加算で表せる動揺認知量のオーダー(振幅の二乗値の0.5乗)に変換するため、0.75(=0.5×1.5)乗しておく。
総動揺エネルギー補正部80は、所定時間(ここでは、3秒)以上継続する動揺に対する不快度の蓄積効果分の補正を前記誘目度補正済み動揺認知量に施すことで、推定不快度に相当する補正済み総動揺エネルギーを得る。本実施形態において、総動揺エネルギー補正部80は、所定時間(ここでは、3秒)以上の長時間動揺が継続する場合の時間蓄積効果を反映した不快度を得るためのものであって、3秒前までの総動揺エネルギー、すなわち時間蓄積効果補正後不快度が大きいほど計測時点での時間蓄積効果補正後不快度が大きくなるように、誘目度補正部70から出力された計測時点の直前3秒間の不快度に相当する誘目度補正済み動揺認知量を補正して時間蓄積効果補正後不快度を算出し、算出された時間蓄積効果補正後不快度を推定不快度として出力する。本発明の実施形態において、総動揺エネルギー補正部80は、加算部81、記憶部82及び乗算部83を備えており、3秒前までの総動揺エネルギー、すなわち時間蓄積効果補正後不快度を記憶部82で記憶しておき、計測時点において、3秒前までの総動揺エネルギーに乗算部83で定数α(0<α<1)を乗じたものを、加算部81で誘目度補正部70から出力された計測時点の直前3秒間の不快度に相当する誘目度補正済み動揺認知量に加算することで、計測時点での時間蓄積効果補正後不快度を得る構成になっている。ここで、定数αの値は動揺が長時間継続する場合の不快度の蓄積効果と同様が止まった後の減衰効果とを同時に具現化するものであり、α=0.305程度とした場合に不快度の推定誤差が最小となる。なお、総動揺エネルギー補正部80は、1回目の補正時には、前フレームの出力が記憶部82に記憶されていないため、無補正の不快度を出力する。
続いて、図1に戻り、不快度推定装置2の特徴量抽出部3及び不快度推定部4について説明する。
特徴量抽出部3は、映像信号と、動揺認知量推定装置1が動揺認知量を推定する際に求めた算出途上特徴量であるところの、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分、動き領域番号、及び動き領域別短時間動揺エネルギーと、を取得し、取得された情報に基づいて、動揺認知量以外に不快度の要因となる映像の物理的特徴量を抽出し、抽出した物理的特徴量を不快度推定部4へ出力する。動揺認知量以外の不快度の要因となる映像の物理的特徴量として前記の説明例で取り上げたのは、特定の動揺成分(低周波回転動揺)や、時間変動、そして、空間周波数・色分布・コントラスト・偏在率等によって求まる「目立ちやすさ」の指標である誘目度となっている。図8の例では、回転動揺成分抽出部10、デジタルフィルタ部20、低周波回転動揺補正量算出部30、領域別誘目度算出部50及び誘目度補正量算出部60の組み合わせが特徴量抽出部3に相当する。
不快度推定部4は、前記の説明例では、動揺認知量推定装置1で推定された動揺認知量と、特徴量抽出部3によって抽出された物理的特徴量(実際には補正量として出力されたもの)とを取得し、動揺認知量に補正を加えた後に、時間蓄積効果と時間減衰効果とを反映した非線形時間加算を行うことによって推定不快度を算出して、ディスプレイ、スピーカ等の外部装置(不快度を利用者へ通知する通知部)へ出力する。図8の例では、低周波回転動揺補正部40、誘目度補正部70及び総動揺エネルギー補正部80の組み合わせが不快度推定部4に相当する。
続いて、本発明の実施形態に係る不快度推定装置2の動作例について、図8を参照して説明する。図1に示した動揺認知量推定装置1の構成は、本発明の実施形態に係る不快度推定装置2へ動揺認知量を出力する例を示したものなので、ここでは説明の対象外とする。
続いて、デジタルフィルタ部20が、周方向ベクトルの水平及び垂直の各方向成分に、周波数感度補正を施して「低周波回転動揺に対する感度増加分ベクトル」を得て、得られた「低周波回転動揺に対する感度増加分ベクトル」を低周波回転動揺補正量算出部30へ出力する。
続いて、低周波回転動揺補正部40が、動揺認知量推定値と低周波回転動揺補正量をそれぞれ振幅の二乗のオーダーの値に変換した上で合算して低周波回転動揺補正済み動揺認知量を得て、得られた低周波回転動揺補正済み動揺認知量を誘目度補正部70へ出力する。
続いて、誘目度補正量算出部60が、領域ごとの誘目度を用いて算出した動き領域ごとの平均誘目度の大きさの順に従って、各動き領域で動揺エネルギーから減じられる不快度の重み係数を算出した上で、この重み係数を動き領域別短時間動揺エネルギーに乗じてから、さらに時間窓関数を乗じた値を0.67乗したものを時間加算をすることで、誘目度補正量を算出し、算出された誘目度補正量を誘目度補正部70へ出力する。
最後に、総動揺エネルギー補正部80が、3秒前までの時間蓄積効果補正後不快度が大きいほど計測時点での時間蓄積効果補正後不快度が大きくなるように、直前3秒間の不快度に相当する誘目度補正済み動揺認知量を補正して時間蓄積効果補正後不快度を算出し、算出された時間蓄積効果補正後不快度を推定不快度として出力する。
また、不快度推定装置2によって得られた推定不快度は、映像コンテンツ制作者が画面動揺を低減するような映像修正を施す際に、判断基準として使用することも可能である。すなわち、不快度推定装置2は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる画面動揺をどの程度まで低減すべきかの設定目標として、推定不快度を映像コンテンツ制作者に提示することができるので、制作に要する時間、労力及びコストの削減が図られるだけでなく、供給される映像コンテンツの安全性も高められる。
また、不快度推定装置2が視聴者側で用いられる場合には、画面動揺に関して安全であることを保証せずに制作、流通された映像に対し、視聴前又は視聴中の表示直前に動揺認知量を推定してディスプレイ又はスピーカへ出力することで警告を発することができるので、映像酔いによる健康被害を防止することが可能になる。
1 動揺認知量推定装置
2 不快度推定装置
3 特徴量抽出部
4 不快度推定部
10 回転動揺成分抽出部
20 デジタルフィルタ部
21 水平方向のデジタルフィルタ
22 垂直方向のデジタルフィルタ
30 低周波回転動揺補正量算出部
40 低周波回転動揺補正部
50 領域別誘目度算出部
60 誘目度補正量算出部
70 誘目度補正部
80 総動揺エネルギー補正部
81 加算部
82 記憶部
83 乗算部
Claims (2)
- 映像における動揺認知量と物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置であって、
画面を複数に分割した領域中で動揺のある領域において、周方向ベクトルを抽出する回転動揺成分抽出部と、
前記周方向ベクトルをデジタルフィルタリングすることによって、低周波回転動揺に対する感度増加分ベクトルを検出するデジタルフィルタ部と、
前記低周波回転動揺に対する感度増加分ベクトルの自乗値の前記画面全体での総和を取った上で時間内加算することによって低周波回転動揺補正量を算出する低周波回転動揺補正量算出部と、
不快度の上昇分に相当する前記低周波回転動揺補正量を前記動揺認知量に加えることで不快度の上昇分を補正し、低周波回転動揺補正済み動揺認知量を得る低周波回転動揺補正部と、
各前記領域の目立ちやすさの指標である領域別誘目度を算出する領域別誘目度算出部と、
前記領域別誘目度に基づいて、誘目度の偏りによる不快度の低下分に相当する誘目度補正量を算出する誘目度補正量算出部と、
前記誘目度補正量を前記低周波回転動揺補正済み動揺認知量から減ずることで不快度の低下分を補正し、誘目度補正済み動揺認知量を得る誘目度補正部と、
所定時間以上継続する動揺に対する不快度の蓄積効果分の補正を前記誘目度補正済み動揺認知量に施すことで、推定不快度に相当する補正済み総動揺エネルギーを得る総動揺エネルギー補正部と、
を備えることを特徴とする不快度推定装置。 - コンピュータを請求項1に記載の不快度推定装置として機能させることを特徴とする不快度推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017023603A JP6867822B2 (ja) | 2017-02-10 | 2017-02-10 | 不快度推定装置及び不快度推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017023603A JP6867822B2 (ja) | 2017-02-10 | 2017-02-10 | 不快度推定装置及び不快度推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018129002A true JP2018129002A (ja) | 2018-08-16 |
JP6867822B2 JP6867822B2 (ja) | 2021-05-12 |
Family
ID=63173048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017023603A Active JP6867822B2 (ja) | 2017-02-10 | 2017-02-10 | 不快度推定装置及び不快度推定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6867822B2 (ja) |
-
2017
- 2017-02-10 JP JP2017023603A patent/JP6867822B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6867822B2 (ja) | 2021-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101362651B1 (ko) | 화상 처리 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 기록 매체 | |
JP2013172190A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN102693067B (zh) | 字体大小的调整系统及方法 | |
RU2015155004A (ru) | Способ отображения изображений, устройство отображения изображений и носитель записи | |
JP2010286488A (ja) | 映像処理装置および方法 | |
JP2007310454A (ja) | 画像評価装置および被験者集中度算出装置、並びに、画像評価プログラムおよび被験者集中度算出プログラム | |
JP2014072595A (ja) | 映像処理装置 | |
US20170013389A1 (en) | Control apparatus, measurement system, control method, and storage medium | |
JP5911292B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
US20150130914A1 (en) | Image processing device, image processing method, and electronic apparatus | |
KR20110080074A (ko) | 이미지 처리 장치 및 방법 | |
JP5391145B2 (ja) | 不快度推定装置及び不快度推定プログラム | |
JP2018129002A (ja) | 不快度推定装置及び不快度推定プログラム | |
JP2013021455A (ja) | 不快度推定装置及び不快度推定プログラム | |
JP5997575B2 (ja) | 不快度推定装置及び不快度推定プログラム | |
JP6076110B2 (ja) | 不快度推定装置及び不快度推定プログラム | |
JP2013219643A (ja) | 画像処理装置および方法、並びに、プログラム | |
JP2018128982A (ja) | 動揺認知量推定装置及び動揺認知量推定プログラム | |
JP2019096226A (ja) | 不快度推定装置及び不快度推定プログラム | |
JP2015106192A (ja) | 不快度推定装置及び不快度推定プログラム | |
JP2017156821A (ja) | 動揺認知量推定装置及び動揺認知量推定プログラム | |
KR101643724B1 (ko) | 안구 위치 식별 방법 및 그 장치, 안구 위치 추적 방법 및 그 장치 | |
JP2020021168A (ja) | 不快度推定装置及び不快度推定プログラム | |
JP2019055161A (ja) | 瞳孔径変化の呼吸及び脈拍の影響を排除する手法と刺激による瞳孔径変化に基づく視認者情感判定装置、視認者情感判定システム及びプログラム。 | |
JP2019133300A (ja) | 動揺認知量推定装置及び動揺認知量推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210316 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6867822 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |