JP2018129002A - 不快度推定装置及び不快度推定プログラム - Google Patents

不快度推定装置及び不快度推定プログラム Download PDF

Info

Publication number
JP2018129002A
JP2018129002A JP2017023603A JP2017023603A JP2018129002A JP 2018129002 A JP2018129002 A JP 2018129002A JP 2017023603 A JP2017023603 A JP 2017023603A JP 2017023603 A JP2017023603 A JP 2017023603A JP 2018129002 A JP2018129002 A JP 2018129002A
Authority
JP
Japan
Prior art keywords
motion
discomfort
region
unit
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017023603A
Other languages
English (en)
Other versions
JP6867822B2 (ja
Inventor
眞 蓼沼
Makoto Tadenuma
眞 蓼沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2017023603A priority Critical patent/JP6867822B2/ja
Publication of JP2018129002A publication Critical patent/JP2018129002A/ja
Application granted granted Critical
Publication of JP6867822B2 publication Critical patent/JP6867822B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】低周波の周(回転)方向の揺れ成分が多かったり、映像内で目立つ対象の揺れがそれ以外の領域の揺れと比して顕著ではなかったり、揺れが長時間続いたりするような、動揺の大きさの知覚量と不快度とが乖離する条件でも、視聴者が画面動揺によって感じる不快度を高精度に推定できるようにする。【解決手段】不快度推定装置2は、周方向ベクトルを抽出する回転動揺成分抽出部10と、低周波回転動揺補正量を検出するデジタルフィルタ部20と、低周波回転動揺補正量によって動揺認知量を補正する低周波回転動揺補正部40と、領域別誘目度を算出する領域別誘目度算出部50と、領域別誘目度によって動揺認知量と不快度の差を補正する誘目度補正部70と、長時間継続する動揺に対する不快度の蓄積効果分を補正する総動揺エネルギー補正部80と、を備える。【選択図】図8

Description

本発明は、揺れのある映像に対する動揺の不快度を推定する不快度推定装置及び不快度推定プログラムに関する。
家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、画面動揺(映像の揺れ)によって誘発される不快感が増大する傾向があり、場合によっては視聴者が映像酔いを起こして健康被害に至る例もある。画面動揺の多くは、撮影時のビデオカメラの動き、すなわちグローバルモーションに起因する。かかる事態を予防するため、手持ち撮影用ビデオカメラ等には「手ぶれ補正」機能の搭載がほぼ必須となっている。また、撮影された映像に含まれるグローバルモーションを軽減する「映像スタビライズ」ソフトウェアも数多く開発されている。さらに、グローバルモーションと脈拍・血圧等との生理的な指標との関係を探ることによって、不快な状態を推定しようとする試みも行われている(非特許文献1参照)。
しかし、前記した「手ぶれ補正」では、長周期の揺れは補正ができない、又は、不十分である。また、「映像スタビライズ」では、短い期間内の映像の揺れを無くすか低減したり、滑らかな画面移動に変換したりするだけある。すなわち、「映像スタビライズ」は、どのような性質でどの程度の大きさの揺れならば残っていても良いといった客観的な基準に則っているものではない。また、この客観的な基準として脈拍・血圧等の生理的な指標を用いることができたとしても、明示できるのは健康被害に達する条件及び、その条件に対する現在の生理的状態の程度のみである。
これに対し、放送、映画等の映像コンテンツの供給者は、映像制作段階において、映像の安全性のみならず、視聴者の大半にグローバルモーション(画面全体の動き)あるいは画面のある程度まとまった領域の動きに伴う不快感を催させないように留意する必要がある。しかしながら、前記した従来の技術は、画面の全体あるいはある程度まとまった領域の動きに対する視聴者の心理的な「不快度」を具体的に把握するものではないため、「不快度」を基準とした映像の良否を判定するには不向きであった。
「映像酔いガイドライン検証システムの実用化に関するフィージビリティスタディ報告書」、財団法人機械システム振興協会、平成20年3月
特開2016−162219号公報
かかる問題を解消するため、本願出願人は、生理的指標を用いることなく、画面の全体あるいはある程度まとまった領域の動きと主観評価実験で得られた不快度との関係を用いて、映像を解析して得られた物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置(特許文献1参照)を開発した。さらに、本願出願人は、「同じ大きさの揺れであっても映像の内容によって不快度が異なる」と言う事象に対応するため、認知される動揺量(動揺認知量)をまず高精度に推定した上で、推定された動揺認知量と映像内容とによって不快度を推定するシステムにおける動揺認知量推定装置(特願2016−037070、本願出願時未公開)を開発した。
しかし、不快度とは異なり動揺継続時間が所定時間(例えば、3秒)を境に飽和する事象と、水平・垂直・同心方向の揺れとは異なり、所定時間以上の周期(例えば、6秒周期前後)の低周波の周(回転)方向の揺れにだけ感度が高まるのは不快度だけで、動揺認知量に関しては、当該周期の周方向の揺れに対する感度も前記他の方向の揺れに対するものと同等である事象、及び、揺れている領域の縦横比が1ではない場合、長辺に直交する方向の揺れの動揺認知量が大きく、短辺に直交する方向の揺れの動揺認知量が小さくなる事象、が確認された。そのため、本願出願人は、これに対応するように改良を施した動揺認知量推定装置(特願2017−023378、本願出願時未公開)を開発した。
「同じ大きさの揺れであっても映像の内容によって不快度が異なる」と言う事象に対応するために考案した、「動揺認知量をまず高精度に推定した上で、推定された動揺認知量と映像内容(特徴量)とによって不快度を推定するシステム」については、前記した改良版の動揺認知量推定装置によって、動揺認知量を高精度に推定することができる。すなわち、改良版の動揺認知量推定装置は、不快度とは異なり動揺継続時間は3秒を境に飽和する事象と、水平・垂直・同心方向の揺れとは異なり、不快度とは異なり動揺認知量は6秒周期前後の低周波の周(回転)方向の揺れに対する感度も前記他の方向の揺れに対するものと同等である事象、及び、揺れている領域の縦横比が1ではない場合、長辺に直交する方向の揺れの動揺認知量が大きく、短辺に直交する方向の揺れの動揺認知量が小さくなる事象、を的確に反映することによって、動揺認知量を高精度に推定する。
しかし、肝心な最終的に不快度推定精度を向上する具体的手段、すなわち、高精度に推定された動揺認知量を用い、不快度と動揺認知量とが不変な線形対応を示すものではなくなる映像の物理的特徴量の影響を反映した不快度の推定手法については未だ示されていない。つまり、揺れている領域の縦横比が1ではない場合の揺れの向きによって動揺認知量が異なる事象については、不快度も同じ性質を示しているので、不変な線形対応があるものとして構わないが、所定時間(例えば3秒)の動揺継続時間を境として動揺認知量と不快度とが乖離する事象と、所定時間よりも長い周期(例えば6秒周期前後)の低周波の周方向の揺れに対してだけ不快度の感度が高まるのは事象については、動揺認知量と不快度との対応関係を改変する必要が残されている。さらには、映像内で目立つ対象の揺れがそれ以外の領域の揺れと比して顕著ではない場合には不快度が低下する事象も確認されており、これに対する補正も行う必要がある。
本発明は、前記した事情に鑑みて創案されたものであり、視聴者が画面動揺のある映像(動揺映像)を観視した際に最初に認知する動揺量である動揺認知量の高精度な推定値と、映像の物理的特徴量(動揺認知量を推定するために動揺認知量推定装置で既に抽出済みの特徴量に新たな特徴量を加えたもの)とを用いて、動揺認知量と乖離する不快度を高精度に推定することが可能な不快度推定装置及び不快度推定プログラムを提供することを課題とする。
前記課題を解決するため、本発明の不快度推定装置は、映像における動揺認知量と物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置であって、回転動揺成分抽出部と、デジタルフィルタ部と、低周波回転動揺補正量算出部と、低周波回転動揺補正部と、領域別誘目度算出部と、誘目度補正量算出部と、誘目度補正部と、総動揺エネルギー補正部と、を備える。
不快度推定装置は、回転動揺成分抽出部によって、画面を複数に分割した領域に基づき、動揺のある領域において優先的に周方向ベクトルを抽出し、デジタルフィルタ部によって、前記周方向ベクトルをデジタルフィルタリングして「低周波回転動揺に対する感度増加分」を検出する。
また、不快度推定装置は、低周波回転動揺補正量算出部によって、前記「低周波回転動揺に対する感度増加分」を画面全体での総和を取った上で動揺認知量推定用と同じ時間内加算をすることで低周波回転動揺補正量を算出し、低周波回転動揺補正部によって、前記低周波回転動揺補正量を用いて動揺認知量の大きさを補正することで低周波回転動揺補正済み動揺認知量を得る。
また、不快度推定装置は、領域別誘目度算出部によって、領域ごとの目立ちやすさの指標である領域別誘目度を算出し、誘目度補正量算出部によって、前記領域別誘目度と領域番号および動き領域別短時間動揺エネルギーを用い、誘目度の偏りによる不快度の低下分を補正するための誘目度補正量を算出する。
また、不快度推定装置は、誘目度補正部によって、前記誘目度補正量に基づいて前記低周波回転動揺補正済み動揺認知量をさらに補正して誘目度補正済み動揺認知量を得て、総動揺エネルギー補正部によって、所定時間以上継続する動揺に対する不快度の蓄積効果分の補正を前記誘目度補正済み動揺認知量に施すことで補正済み総動揺エネルギーを得て、前記補正済み総動揺エネルギーを推定不快度として出力する。
かかる構成により、揺れの大きさとしては同じように感じる映像であっても、所定時間以上の周期(例えば、6秒周期前後)の低周波の周方向の揺れを多く含んでいる場合の不快度上昇と、映像内で目立つ対象の揺れがそれ以外の領域の揺れと比して顕著ではない場合の不快度低下、さらには、揺れが所定時間(例えば、3秒)以上継続する場合の不快度上昇、これら全てに対応して、高精度に不快度を推定することが可能になる。
また、本発明は、コンピュータを前記した不快度推定装置として機能させる不快度推定プログラムとしても具現化可能である。
本発明によると、画面動揺を含む一般映像において、揺れの大きさとしては同じように感じる映像であっても、所定時間よりも大きい周期(例えば6秒周期前後)の低周波の周(回転)方向の揺れを多く含んでいる場合の不快度上昇や、映像内で目立つ対象の揺れがそれ以外の領域の揺れと比して顕著ではない場合の不快度低下、さらには、揺れが所定時間(例えば3秒)以上継続する場合の不快度上昇、これら全てに対応して、高精度に不快度を推定することができる。
本発明の実施形態に係る不快度推定装置と前処理部としての動揺認知量推定装置を備える不快度推定システムの構成例を示すブロック図である。 前処理部としての動揺認知量推定装置を示すブロック図である。 動きベクトルに対する動揺認知感度の周波数特性の一例を示すグラフである。 映像の輝度信号に対し空間周波数成分に応じて感度補正する特性の一例を示す図である。 動き領域間相関値に応じて領域別動揺エネルギーを補正する特性の一例を示す図である。 動き領域内部境界間相関値に応じて領域別動揺エネルギーを補正する特性の一例を示す図である。 動揺エネルギーを時間加算する際に乗じる時間窓の一例を示す図であり、低周波回転動揺補正量及び誘目度補正量を動揺認知量と同じ窓関数を掛けて時間積分する際の窓関数の一例を示す図である。 本発明の実施形態に係る不快度推定装置を示すブロック図である。 (a)は周(回転)方向の揺れを他の方向の揺れより優先して抽出する場合の周方向ベクトル算出の一例を示す図、(b)は動揺のある領域の中心を回転中心とした周方向の揺れを抽出する通常の周方向ベクトル算出の一例を示す図である。 低周波回転動揺に対する感度増加分を検出するデジタルフィルタの伝達特性の一例を示す図である。
以下、本発明の実施形態について、適宜図面を参照しながら説明する。
図1に示すように、本発明の実施形態に係る不快度推定システムAは、動揺認知量推定装置1と、不快度推定装置2と、を備える。不快度推定装置2は、動揺認知量推定装置1と映像の特徴量とを用いることで、不快度推定誤差を抑制することを可能にしたものであり、機能部として、特徴量抽出部3と、不快度推定部4と、を備える。ただし、動揺認知量推定装置1の構成は、本発明の実施形態に係る不快度推定装置2の前処理を行う装置であるので、本発明の実施形態に供する上で、必ずしも下記構成例の形態を採るものではない。
<動揺認知量推定装置>
本発明の実施形態に供する前処理部に相当する動揺認知量推定装置1の一例は、図2に示すような、映像における動きベクトルに基づいて画面動揺に対する動揺認知量推定値を出力するものであり、機能部として、領域別動きベクトル検出部110と、デジタルフィルタ部120と、動き領域判定部130と、動き領域番号付与部140と、水平・垂直比算出部150と、水平・垂直成分補正部160と、領域別空間周波数感度補正部170と、空間周波数エネルギー算出部180と、動き領域間相関値算出部190と、動き領域内部境界間相関値算出部200と、動き領域別短時間動揺エネルギー算出部210と、時間窓内総動揺エネルギー算出部220と、を備える。ここで、動揺認知量推定装置1によって推定される動揺認知量は、動揺映像を観視した視聴者が始めに認知する動揺量である。ここで、「始めに認知する」とは、視聴者が映像内容によって不快であるか否かというように感じ方に違いが生じる前に、視聴者が「揺れが大きいか否か」を純然と感じる、揺れの大きさの認知過程を意味している。
かかる機能部のうち、領域別動きベクトル検出部110、デジタルフィルタ部120、動き領域判定部130、水平・垂直成分補正部160、領域別空間周波数感度補正部170及び空間周波数エネルギー算出部180の組み合わせに関しては、画面を分割した複数(1〜N)の領域に対応して複数(N)セットが設けられている。
<領域別動きベクトル検出部>
領域別動きベクトル検出部110は、当該検出部110に対応する領域の映像信号を取得し、取得された映像信号に基づいて、映像の時間的に隣接する画像(連続するフレーム)間における動きベクトル(フレーム間の差分)を時系列に検出する。また、領域別動きベクトル検出部110は、検出結果をデジタルフィルタ部120へ出力する。本実施形態において、領域別動きベクトル検出部110は、動きベクトルとして、動き量の水平方向成分、及び、垂直方向成分をそれぞれ検出する。
<デジタルフィルタ部>
デジタルフィルタ部120は、領域別動きベクトル検出部110によって検出された動きベクトルを取得し、取得された動きベクトルの水平方向及び垂直方向の各成分に周波数感度補正を施すことによって周波数感度補正済み動きベクトルを得る。また、デジタルフィルタ部120は、得られた周波数感度補正済み動きベクトルを動き領域判定部130、動き領域番号付与部140及び水平・垂直成分補正部160へ出力する。本実施形態において、デジタルフィルタ部120は、水平方向のデジタルフィルタ121と、垂直方向のデジタルフィルタ122と、を並列に備える。
水平方向のデジタルフィルタ121は、動きベクトルの水平方向成分に周波数感度補正を施す。垂直方向のデジタルフィルタ122は、動きベクトルの垂直方向成分に周波数感度補正を施す。水平方向のデジタルフィルタ121及び垂直方向のデジタルフィルタ122は、それぞれ、水平・垂直各方向成分に対して図3に示す動揺認知量の周波数感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、周波数感度補正済み動きベクトル(の水平方向成分及び垂直方向成分)を得る。既出願(特願2016−037070、本願出願時未公開)の動揺認知量推定装置においては、水平方向成分と垂直方向成分とでは異なる周波数感度補正特性を用いていたが、本発明の実施形態では、後に動揺領域の水平・垂直比によって水平・垂直各方向の動揺成分を補正する構成となっているため、水平方向のデジタルフィルタ121及び垂直方向のデジタルフィルタ122において同じ周波数感度補正特性を用いることができる。また、水平方向のデジタルフィルタ121及び垂直方向のデジタルフィルタ122は、それぞれ、得られた周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分を動き領域判定部130、動き領域番号付与部140及び水平・垂直成分補正部160へ出力する。
なお、水平方向のデジタルフィルタ121及び垂直方向のデジタルフィルタ122においては、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本発明の実施形態に係る動揺認知量推定装置1は、1画面で多数の領域ごとに周波数補正を行うものであるため、演算量の少ない畳み込み積分を用いる方が望ましい。
<動き領域判定部>
動き領域判定部130は、デジタルフィルタ部120から出力された周波数感度補正済み動きベクトルを取得し、周波数感度補正済み動きベクトルの大きさが予め定められた閾値以上である場合に、該当する領域において「動きあり」と判定する。本実施形態において、動き領域判定部130は、計算の簡略化のため、水平方向動き量(すなわち、周波数感度補正済み動きベクトルの水平方向成分の大きさ)の二乗と垂直方向動き量(すなわち、周波数感度補正済み動きベクトルの垂直方向成分の大きさ)の二乗との和が閾値(前記した閾値の二乗)以上である場合に、「動きあり」と判定することができる。動き領域判定部130は、「動きあり」の場合と「動きなし」の場合とで異なる値、例えば、「動きあり」の場合は「0」、「動きなし」の場合は「−1」に設定し、設定結果を動きの有無の判定結果として動き領域番号付与部140へ出力する。
<動き領域番号付与部>
動き領域番号付与部140は、デジタルフィルタ部120から出力された周波数感度補正済み動きベクトルと、動き領域判定部130の判定結果と、を取得し、取得された周波数感度補正済み動きベクトル及び判定結果に基づいて、動きありと判定された領域に対して同じ動き領域に属する領域ごとに動き領域番号を付与する。動き領域番号付与部140は、一の領域の補正済み動きベクトルと、隣接する領域の補正済み動きベクトルと、の差分ベクトルの大きさが所定値以下である場合に、一の領域と隣接する領域とが「同じ動き領域」であるとし、これらに同じ「動き領域仮番号」を付与する。かかる所定値は、画面の全体又はある程度まとまった領域の動きと主観評価実験で得られた動揺認知量との関係を用いて設定することができる。
さらに、動き領域番号付与部140は、隣接する「異なる動き領域」の境界において、フレーム間でいずれの領域がもう一方の領域を遮蔽しているかを調べることにより、領域の前後関係を判定する。動き領域番号付与部140は、領域の前後関係を全ての動き領域について調べた結果に基づいて、一番背後にある動き領域から順に「動き領域仮番号」を並べ直した後、それぞれの動き領域に並べ直した順番に沿い、「1」から順に正式な「動き領域番号」を付与する。ここで、動き領域番号付与部140は、隣接していない複数の動き領域がいずれも同じ動き領域と隣接している場合には、複数の動き領域の前後関係を特定することができないが、全ての隣接する動き領域間で前後関係に破綻を来たさない限り、順序を入れ替えてもかまわない。ただし、隣接していない2つの動き領域AとBがともに同じ動き領域Cと隣接するとともに同じ前後関係である場合であっても、動き領域Cと隣接する別の動き領域Dがやはり動き領域AとBの両方と隣接するとともに異なる前後関係である場合には、動き領域A,B,C,Dの前後関係の順序は一意に定まる。なお、動き領域の前後関係の順序の判定手法としては、映像における被写体のオクルージョンの検出手法等と同様の公知の手法を採用することができる。
ここで、動き領域番号付与部140は、一番背後にある動き領域から順に動き領域番号を付与することとしたが、動き領域番号の大小関係が前後関係を表していさえすればよいので、一番手前にある動き領域から順に動き領域番号を付与してもかまわない。
また、動き領域番号付与部140は、動きなしと判定された領域に関しては、動き領域判定部130と同様に「−1」を付与する。この値は「−1」に限定する必要はなく、動きありと判定された領域に付与された動き領域番号のいずれとも異なる特定の値でありさえすれば良いが、動き領域番号が正の値であるので、最も大きい負の値である「−1」とするのが望ましい。
また、動き領域番号付与部140は、動きありと判定された領域であっても、隣接するいずれの領域とも異なる動きとなっている領域については、動き領域判定部130と同様に「0」を付与する。この値も「0」に限定する必要はなく、正の値である動き領域番号とも、動きなしと判定された領域番号である「−1」とも容易に区別できる「0」とするのが望ましい。
動き領域番号付与部140は、前記の手順で各領域に付与された動き領域番号を水平・垂直比算出部150、動き領域間相関値算出部190、動き領域内部境界間相関値算出部200及び動き領域別短時間動揺エネルギー算出部210へ出力する。
<水平・垂直比算出部>
水平・垂直比算出部150は、動き領域番号付与部140から出力された動き領域番号を取得し、初めに、同じ領域番号が付与された動き領域の形状の1次モーメント(重心位置)を算出する。続いて、水平・垂直比算出部150は、同じ領域番号が付与された動き領域内の各領域と重心位置と各領域の位置との差の水平成分及び垂直成分のそれぞれの二乗の総和を、2次モーメントの水平成分と垂直成分として算出する。最後に、2次モーメントの水平成分と垂直成分の比の平方根を計算することで、各動き領域の水平・垂直比を得て、各領域の水平・垂直成分補正部160へ出力する。
ここで、後記する水平・垂直成分補正部160において動揺エネルギーの補正を行う際には、水平・垂直比の値を指数乗して用いるため、水平・垂直比算出部150から動き領域ごとに出力される水平・垂直比は、2次モーメントの水平成分と垂直成分の比の平方根ではなく、2次モーメントの水平成分と垂直成分の比、すなわち水平・垂直比の二乗値としてもよい。
<水平・垂直成分補正部>
水平・垂直成分補正部160は、水平・垂直比算出部150から出力された各領域における水平・垂直比と、デジタルフィルタ部120から出力された周波数感度補正済み動きベクトル、とを取得し、領域の前記周波数感度補正済み動きベクトルと前記水平・垂直比とを用いて、前記周波数感度補正済み動きベクトルの水平・垂直成分の大きさを前記水平・垂直比に応じて補正することによって水平・垂直比補正済み動きベクトルを得る。本実施形態において、水平・垂直成分補正部160は、水平・垂直比の値をα乗(水平・垂直成分補正部160からの出力が水平・垂直比ではなく水平・垂直比の二乗値である場合には0.5α乗)した後、周波数感度補正済み動きベクトルの水平成分及び垂直成分にそれぞれ乗じることにより水平・垂直比補正済み動きベクトルを得る。また、水平・垂直成分補正部160は、得られた水平・垂直比補正済み動きベクトルを、動き領域間相関値算出部190、動き領域内部境界間相関値算出部200及び動き領域別短時間動揺エネルギー算出部210へ出力する。ここで、αの値については、α≒0.18で誤差が最小となる。
<領域別空間周波数感度補正部>
領域別空間周波数感度補正部170は、領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する前処理として、領域別動きベクトル検出部110で画面を分割した領域ごとに、映像の輝度信号に対して図4に示す空間周波数感度補正を施す。また、領域別空間周波数感度補正部170は、局所的な明暗コントラストの影響度を反映するために、空間周波数感度補正が施された映像の輝度信号(明暗コントラストの影響度の反映前)を、当該領域内の映像信号の直流成分の平方根で除すことにより、空間周波数感度補正済み映像信号を得る。また、領域別空間周波数感度補正部170は、得られた空間周波数感度補正済み映像信号(明暗コントラストの影響度の反映後)を空間周波数エネルギー算出部180へ出力する。
図4の特性は、水平・垂直・斜めのいずれ方向に対しても同等であるとしても大きな誤差を生じない(正確には斜め方向の高周波域の感度は水平・垂直方向での感度の80%に低減するが、これによる動揺認知量の推定誤差の増加分は0.1ランク未満である)。したがって、領域別空間周波数感度補正部170は、グラフの原点を通る縦軸を中心軸として図4の特性を360°回転させた2次元空間周波数感度特性となる2次元インパルスレスポンスを、映像の輝度信号に対して畳み込み積分することによって空間周波数感度補正を施すことができる。
<空間周波数エネルギー算出部>
空間周波数エネルギー算出部180は、当該領域において領域別空間周波数感度補正部170から出力された空間周波数感度補正済み映像信号を取得し、取得された空間周波数感度補正済み映像信号を二乗した値の総和を求めることで、前記した領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する。また、空間周波数エネルギー算出部180は、算出された空間周波数感度補正済みエネルギーを動き領域別短時間動揺エネルギー算出部210へ出力する。
<動き領域間相関値算出部>
動き領域間相関値算出部190は、動き領域番号付与部140から出力された動き領域番号と、水平・垂直成分補正部160から出力された水平・垂直比補正済み動きベクトルと、を取得し、取得された動き領域番号及び水平・垂直比補正済み動きベクトルに基づいて動き領域間相関値を算出する。詳細には、動き領域間相関値算出部190は、動き領域境界における前景領域と背景領域との間の水平・垂直比補正済み動きベクトルの相関値を求めることで、前景と背景との動揺の相関の影響度に対する補正を行うのに必要となる動き領域間相関値を算出する。また、動き領域間相関値算出部190は、算出された動き領域間相関値を動き領域別短時間動揺エネルギー算出部210へ出力する。
本実施形態において、動き領域間相関値算出部190は、領域Aと領域Bとの境界に隣接する領域Aの画素群の動きベクトルの平均すなわち平均動きベクトルをV、領域Aと領域Bとの境界に隣接する領域Bの画素群の動きベクトルの平均すなわち平均動きベクトルをVとしたとき、単位時間(例えば、2〜3秒)における動き領域間相関値Cを、次式によって算出する。
=Σ(V・V)/Σ(‖V‖×‖V‖)
ここで、「・」は内積を表す。
<動き領域内部境界間相関値算出部>
動揺映像においては、同じ面積でかつ同じ動揺の大きさであっても、領域全体が動揺している場合の方が、領域の境界は動かず内部のみが動揺している場合よりも動揺認知量が大きくなる性質がある。動き領域内部境界間相関値算出部200は、動き領域番号付与部140から出力された動き領域番号と、水平・垂直成分補正部160から出力された水平・垂直比補正済み動きベクトルと、を取得し、これらに基づいて動き領域内部境界間相関値を算出する。詳細には、動き領域内部境界間相関値算出部200は、動き領域境界自体の動きベクトルと動き領域内部の水平・垂直比補正済み動きベクトルとの相関値を求めることで、前記した性質を反映する補正を施すのに必要になる動き領域内部境界間相関値を得て、動き領域別短時間動揺エネルギー算出部210へ出力する。
本実施形態において、動き領域内部境界間相関値算出部200は、領域Aの最外周(他領域との境界)の画素群の動きベクトルの平均すなわち平均動きベクトルをVA1、領域Aの最外周以外(すなわち内部)の画素群の動きベクトルの平均すなわち平均動きベクトルをVA2としたとき、単位時間(例えば、2〜3秒)における動き領域内部境界間相関値Cを、次式によって算出する。
=Σ(VA1・VA2)/Σ(‖VA1‖×‖VA2‖)
ここで、「・」は内積を表す。
<動き領域別短時間動揺エネルギー算出部>
動き領域別短時間動揺エネルギー算出部210は、動き領域番号付与部140から出力された各領域の動き領域番号と、水平・垂直成分補正部160から出力された水平・垂直比補正済み動きベクトルと、空間周波数エネルギー算出部180から出力された空間周波数感度補正済みエネルギーと、動き領域間相関値算出部190から出力された動き領域間相関値と、動き領域内部境界間相関値算出部200から出力された動き領域内部境界間相関値と、を取得し、同じ動き領域番号が付与された領域ごとに、当該領域内の水平・垂直比補正済み動きベクトルの大きさの二乗を、動きベクトルが検出された画像間の時間である短時間ごとにそれぞれ求めた個別短時間動揺エネルギーに対し、補正済み空間周波数エネルギー、動き領域間相関値及び動き領域内部境界間相関値に応じて補正を施した後、当該動き領域内で補正が施された個別短時間動揺エネルギーの総和を求め、求められた総和を動き領域番号ごとの動き領域別短時間動揺エネルギーとして算出する。なお、補正済み空間周波数エネルギー、動き領域間相関値及び動き領域内部境界間相関値に応じた補正は、前記した順番に行われてもよく、適宜順番を入れ替えて行われてもよい。本実施形態において、動き領域別短時間動揺エネルギー算出部210は、初めに、同じ動き領域番号が付与された領域ごとに、各フレーム間において当該領域内の水平・垂直比補正済みベクトルの水平成分及び垂直成分の二乗和をそれぞれ求め、個別動揺エネルギーを得る。
次に、動き領域別短時間動揺エネルギー算出部210は、領域の見えやすさの影響度に対する補正として、補正済み空間周波数エネルギーをβ乗した値を個別動揺エネルギーに乗じる処理を施し、空間周波数補正済み個別動揺エネルギーを得る。ここで、β≒0.3のときに誤差が最小になる。
次に、動き領域別短時間動揺エネルギー算出部210は、前景と背景との動揺の相関の影響度に対する補正として、図5の特性で示される動き領域間相関値に応じた補正値を空間周波数補正済み個別動揺エネルギーに乗じる処理を施し、動き領域間相関値補正済み個別動揺エネルギーを得る。
さらに、動き領域別短時間動揺エネルギー算出部210は、動き領域の境界自体がどの程度領域内部と同期して動揺しているのかによる補正として、図6の特性で示される動き領域内部境界間相関値に応じた補正値を動き領域間相関値補正済み個別動揺エネルギーに乗じる処理を施し、動き領域内部境界間相関値補正済み個別動揺エネルギーを得る。
最後に、動き領域別短時間動揺エネルギー算出部210は、同じ動き領域番号の動き領域内で動き領域内部境界間相関値補正済み個別動揺エネルギーの総和を算出することで、動き領域番号ごとの動き領域別短時間動揺エネルギーを得て、得られた動き領域番号ごとの動き領域別短時間動揺エネルギーを時間窓内総動揺エネルギー算出部220へ出力する。
<時間窓内総動揺エネルギー算出部>
時間窓内総動揺エネルギー算出部220は、動き領域別短時間動揺エネルギー算出部210から出力された動き領域番号ごとの動き領域別短時間動揺エネルギーを取得し、前記短時間ごとの全ての動き領域の前記動き領域別短時間動揺エネルギーに時間窓の伝達率を乗じたものを、時間窓分だけ非線形加算することによって前記動揺認知量に相当する前記時間窓内の総動揺エネルギーを得る。本実施形態において、時間窓内総動揺エネルギー算出部220は、初めに、全ての動き領域で動き領域別短時間動揺エネルギーの総和を求め、全画面短時間動揺エネルギーを得る。ここで、既出願の動揺認知量推定装置では、動き領域番号の数が多いほど不快度が小さくなる事象を反映させるため、動きベクトルの大きさの二乗値に相当する動き領域別短時間動揺エネルギーをγ乗(γ>1)した値の総和を求めてから1/γ乗していたが、動揺認知量自体は動き領域番号の数に依存していないことから、この補正は動揺認知量推定装置1ではなく、図1の不快度推定装置2において映像特徴量による補正として行うこととして省略する。なお、時間窓は、動きベクトルが検出された画像間の時間である短時間よりも長い時間(例えば、後記する図7の例では、伝達率半減区間が3秒、ロールオフ区間を含めると5.5秒)に設定される。
次に、時間窓内総動揺エネルギー算出部220は、時刻tがt=Tからt=T−Nまで遡る時区間の全フレームにおいて、全画面短時間動揺エネルギーP(t)に図7の総合特性で示された時間窓の伝達率W(T−t−d)を乗じた上でε乗して非線形加算するために、下記の計算を行い、時間窓内において動揺認知量推定値に相当する総動揺エネルギーE(T)を得る。
(T)=Σ(W(T−t−d)・P(t)ε
図7において、時間窓の伝達特性に相当する総合特性は、動きベクトルの大きさに対する不快度の減衰特性と、伝達率半減時刻0秒及び3秒のそれぞれ±dの時区間を遷移域とするコサインロールオフ特性、との積である合成特性の伝達率を二乗したものである。ここで、合成特性の伝達率を二乗するのは、エネルギーが動きベクトルの二乗に相当するからである。
ここで、−dは現時点より未来の時刻となり、動揺エネルギーは得られないため、前記の時間窓の伝達率は、W(T−t−d)のように設定されている。これにより、動揺認知量は動揺が始まってから時間dだけ遅れて有効な値が得られることになるが、実際の動揺も1秒程度遅れて認知されていることから問題とはならない。また、Nは、N=3+2dとなる。また、εの値の誤差は、ε≒0.67のときに最小となる。
そして、時間窓内総動揺エネルギー算出部220は、算出された総動揺エネルギーを動揺認知量推定値として不快度推定装置2(図1参照)へ出力する。
前記したように、動揺認知量推定装置1は、本発明の実施形態に係る不快度推定装置2の前処理を行う装置であるので、本発明の実施形態に供する上で、動揺認知量推定装置1は、前記した機能部による構成例以外の構成であってもよい。しかし、本発明の実施形態に係る不快度推定装置2では、不快度を推定するのに用いる映像の特徴量の一部として、図2に示す動揺認知量推定装置1の構成例でも用いられる、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分、動き領域番号及び動き領域別短時間動揺エネルギーといった算出途上特徴量を流用しているので、動揺認知量推定装置1からこれらの特徴量が得られない構成である場合には、不快度推定装置2は、当該特徴量を算出するための機能部を備えることになる。
<不快度推定装置>
本発明の実施形態に係る不快度推定装置2は、図8に示すように、動揺認知量推定装置1から得られる動揺認知量と、動揺認知量推定装置1の算出途上特徴量であるところの、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分、動き領域番号、及び動き領域別短時間動揺エネルギーと、映像内の部分領域において視線誘導につながる目の引きやすさの指標となる誘目度と、に基づいて画面動揺に対する不快度を推定するものである。不快度推定装置2は、機能部として、回転動揺成分抽出部10と、デジタルフィルタ部20と、低周波回転動揺補正量算出部30と、低周波回転動揺補正部40と、領域別誘目度算出部50と、誘目度補正量算出部60と、誘目度補正部70と、総動揺エネルギー補正部80と、を備える。
かかる機能部のうち、回転動揺成分抽出部10、デジタルフィルタ部20、低周波回転動揺補正量算出部30、領域別誘目度算出部50及び誘目度補正量算出部60の組み合わせが、図1における特徴量抽出部3に相当する。また、低周波回転動揺補正部40、誘目度補正部70及び総動揺エネルギー補正部80の組み合わせが、図1における不快度推定部4に相当する。
また、デジタルフィルタ部20及び領域別誘目度算出部50の組み合わせは、画面を分割した複数(1〜N)の領域に対応して複数(N)セットが設けられている。
<回転動揺成分抽出部>
回転動揺成分抽出部10は、動揺認知量推定装置と同じように画面を複数に分割した領域中で動揺のある領域において、周方向ベクトルを抽出する。本実施形態において、回転動揺成分抽出部10は、動揺認知量推定装置1から出力される算出途上特徴量のうち、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分と、動き領域番号と、を取得し、全画面中で有効な動きがある領域(前記の番号付与の例では動き領域番号が0と−1ではない領域)における動きベクトルを用いて、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと実際の前記補正済み動きベクトルとの二乗誤差の総和が最小となるときの回転中心と回転角とを算出する。さらに、回転動揺成分抽出部10は、算出された回転中心及び回転角に基づいて、各領域の中心における周方向(回転中心への同心方向と直交する方向)のベクトルを算出し、当該ベクトルの水平方向成分と垂直方向成分との組を周方向ベクトルとしてデジタルフィルタ部20へ出力する。
ここで、回転中心を定めるに際し、通常のカメラパラメータ計測時のように、並進運動(上下・左右の方向の動き)を取り除いた後の映像の中心(部分動揺映像では動きのある領域の中心)ではなく、回転エネルギーが最大かつ全ベクトルとの二乗誤差が最小となる回転中心と回転角とが用いられる。これは、手持ちカメラで傾き角が変動して撮影される場合、その回転中心は、画面中心から大きくズレている。そして、このような映像を見た人の大半は、「撮影対象の中心を移動した後に傾いた」とは感じずに、「撮影対象の中心から離れたある点を中心に傾いた」と感じることに基づいている。
ここで、図9を参照してその違いについて説明する。領域1〜9が縦3×横3に配置された映像に関して、図9(a)に示すように、アミの掛かっていない左上の4つの領域1,2,4,5のみに各動きベクトルがある場合において、回転中心は、×印のついた右下(領域5,6,8,9の境界)にあり、4つの動きベクトルは、すべて周方向ベクトルとなっている。それに対し、図9(b)に示す通常のカメラパラメータ計測では、×印のついた動きのある領域を中心にして並進運動ベクトル(×印をつけた中心位置(領域1,2,4,5の境界)に表記)と周方向ベクトルに分かれている。周方向ベクトルのエネルギーの総和である回転エネルギーは、図9(a)の例では40であるのに対し、図9(b)の例では8である。このローテートすなわち周方向(回転方向)の動揺の周期がもし6秒前後だったとしたら、これらの不快度は、0.3ランクも違ってしまうことになる。
<デジタルフィルタ部>
図8に示すように、デジタルフィルタ部20は、回転動揺成分抽出部10によって検出された周方向ベクトルを取得し、取得された周方向ベクトルをデジタルフィルタリングすることによって、低周波回転動揺に対する感度増加分ベクトルを検出する。本実施形態において、デジタルフィルタ部20は、取得された動きベクトルすなわち周方向ベクトルの水平方向及び垂直方向の各成分に、低周波回転動揺に対する不快度の感度上昇分(周方向以外の方向の動揺に対する感度の比から1を引いた差分値)に相当する周波数感度補正を施すことによって「低周波回転動揺に対する感度増加分ベクトル」を得て、低周波回転動揺補正量算出部30へ出力する。本実施形態において、デジタルフィルタ部20は、水平方向のデジタルフィルタ21と、垂直方向のデジタルフィルタ22と、を並列に備える。これは、1つのデジタルフィルタではベクトルの2成分を同時に処理できないからであり、両方とも特性は全く同じものであり、その特性は図10に示すものとなっている。
なお、水平方向のデジタルフィルタ21及び垂直方向のデジタルフィルタ22では、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本発明の実施形態に係る不快度推定装置2では1画面で多数の領域ごとに周波数補正を行うため、演算量の少ない畳み込み積分を用いる方が望ましい。
<低周波回転動揺補正量算出部>
低周波回転動揺補正量算出部30は、デジタルフィルタ部20から出力された「低周波回転動揺に対する感度増加分ベクトル」を取得し、低周波回転動揺に対する感度増加分ベクトルの自乗値の画面全体での総和を取った上で時間内加算することによって低周波回転動揺補正量を算出する。本実施形態において、低周波回転動揺補正量算出部30は、画面全体でのベクトルの自乗和の総和を取った上で、図7に示す動揺認知量推定用と同じ時間窓関数を乗じ、さらには、時間的に線形加算可能となるようなオーダー(次元)とするために、β乗(ここでは0.67乗)した上で時間加算をすることで、低周波回転動揺補正量を算出し、低周波回転動揺補正部40へ出力する。図7の特性のうち、実際に時間窓関数として用いられるのは「総合特性」であり、これは、「減衰特性」に「ロールオフ特性」を乗じた「合成特性」を自乗したものである。
<低周波回転動揺補正部>
低周波回転動揺補正部40は、動揺認知量推定装置1から出力された動揺認知量推定値と、低周波回転動揺補正量算出部30から出力された低周波回転動揺補正量と、を取得し、不快度の上昇分に相当する前記低周波回転動揺補正量を前記動揺認知量に加えることで不快度の上昇分を補正し、低周波回転動揺補正済み動揺認知量を得る。本実施形態において、低周波回転動揺補正部40は、動揺認知量推定値及び低周波回転動揺補正量のそれぞれを振幅の二乗のオーダーの値(動揺認知量が時間的に線形加算可能な値のオーダーである場合は1.5乗した値)に変換した上で合算(線形和を算出)することで、低周波回転動揺補正済み動揺認知量を得て、誘目度補正部70へ出力する。ここで、出力する値は元の動揺認知量のオーダーへの変換は施していないが、これは、次段の誘目度補正部70での補正も振幅の二乗のオーダーで補正されるからである。
<領域別誘目度算出部>
領域別誘目度算出部50は、映像信号を取得し、動揺認知量推定装置1と同じように分割された領域ごとに、視線誘導につながる目立ちやすさの指標である誘目度を算出して、誘目度補正量算出部60へ出力する。ここで、誘目度はその妥当性の評価方法自体、視線の滞留率や、移動発生頻度など多数あって一意には定まっておらず、その算出法も、実際の視線誘導との相関係数が0.6以上あれば優良であるとされるものだけで数十種類にも及ぶ。本実施形態では、非営利目的で自由に利用でき、空間周波数・色分布・コントラスト・偏在率などに基づいて誘目度を算出する代表的なオープンソース・ソフトウェアである「Saliency Map Alogorithm」(Itti, Koch, Niebur Saliency Map, http://www.vision.caltec.edu/~harel/share/gbvs.zip)を用いて、動き領域ごとの平均誘目度を算出し、その大きさを1〜16の16段階に分類する。これは、動揺エネルギーが16倍になると不快度の評定値が1ランク上がるので、同じ大きさの揺れにであっても、誘目度によって不快度には最大1ランクの差が生じるように設定したからである。これは最善の設定であるわけではなく、あくまで実施形態の1つである。
<誘目度補正量算出部>
誘目度補正量算出部60は、動揺認知量推定装置1から算出途上特徴量として得られる、動き領域番号及び動き領域別短時間動揺エネルギーと、領域別誘目度算出部50から出力された領域ごとの誘目度と、を取得し、領域別誘目度に基づいて、誘目度の偏りによる不快度の低下分に相当する誘目度補正量を算出する。本実施形態において、誘目度補正量算出部60は、最初に、動き領域ごとの平均誘目度を求める。次に、誘目度補正量算出部60は、平均誘目度が最大だった動き領域の値で各動き領域の平均誘目度を除し、その値を1から差し引いた値を、各動き領域において動揺エネルギーから減じられる不快度の重み係数とする。この係数は、平均誘目度が最大だった動き領域では0、最大で15/16となる。続いて、誘目度補正量算出部60は、この重み係数を動き領域別短時間動揺エネルギーに乗じた後に画面全体で総和を取った上で、図7に示す動揺認知量推定用と同じ時間窓関数を乗じる。さらに、誘目度補正量算出部60は、時間的に線形減算可能となるようなオーダー(次元)とするために、時間窓関数が乗じられたものをβ乗(ここでは0.67乗)した上で時間加算をすることで、誘目度補正量を算出し、算出された誘目度補正量を誘目度補正部70へ出力する。
<誘目度補正部>
誘目度補正部70は、低周波回転動揺補正部40から出力された低周波回転動揺補正済み動揺認知量と、誘目度補正量算出部60から出力された誘目度補正量と、を取得し、誘目度補正量を低周波回転動揺補正済み動揺認知量から減ずることで不快度の低下分を補正し、誘目度補正済み動揺認知量を得る。本実施形態において、誘目度補正部70は、それぞれを振幅の二乗のオーダーの値(動揺認知量が時間的に線形加算可能な値のオーダーである場合は1.5乗した値)に変換(低周波回転動揺補正済み動揺認知量は低周波回転動揺補正部40で既に変換済みなので、誘目度補正量のみ変換)した上で、低周波回転動揺補正済み動揺認知量から誘目度補正量を減算することで、誘目度による不快度低下の影響分を補正した誘目度補正済み動揺認知量を得て、総動揺エネルギー補正部80へ出力する。ここで、出力する値は元の不快度の時間蓄積効果を線形加算で表せる動揺認知量のオーダー(振幅の二乗値の0.5乗)に変換するため、0.75(=0.5×1.5)乗しておく。
本実施形態では、不快度へ適合するように動揺認知量に補正を加える処理の順番を、低周波回転動揺補正部40、誘目度補正部70、の順にしているが、これらの処理は互いに完全に独立しているので、順序を入れ替えても何ら問題がない。
<総動揺エネルギー補正部>
総動揺エネルギー補正部80は、所定時間(ここでは、3秒)以上継続する動揺に対する不快度の蓄積効果分の補正を前記誘目度補正済み動揺認知量に施すことで、推定不快度に相当する補正済み総動揺エネルギーを得る。本実施形態において、総動揺エネルギー補正部80は、所定時間(ここでは、3秒)以上の長時間動揺が継続する場合の時間蓄積効果を反映した不快度を得るためのものであって、3秒前までの総動揺エネルギー、すなわち時間蓄積効果補正後不快度が大きいほど計測時点での時間蓄積効果補正後不快度が大きくなるように、誘目度補正部70から出力された計測時点の直前3秒間の不快度に相当する誘目度補正済み動揺認知量を補正して時間蓄積効果補正後不快度を算出し、算出された時間蓄積効果補正後不快度を推定不快度として出力する。本発明の実施形態において、総動揺エネルギー補正部80は、加算部81、記憶部82及び乗算部83を備えており、3秒前までの総動揺エネルギー、すなわち時間蓄積効果補正後不快度を記憶部82で記憶しておき、計測時点において、3秒前までの総動揺エネルギーに乗算部83で定数α(0<α<1)を乗じたものを、加算部81で誘目度補正部70から出力された計測時点の直前3秒間の不快度に相当する誘目度補正済み動揺認知量に加算することで、計測時点での時間蓄積効果補正後不快度を得る構成になっている。ここで、定数αの値は動揺が長時間継続する場合の不快度の蓄積効果と同様が止まった後の減衰効果とを同時に具現化するものであり、α=0.305程度とした場合に不快度の推定誤差が最小となる。なお、総動揺エネルギー補正部80は、1回目の補正時には、前フレームの出力が記憶部82に記憶されていないため、無補正の不快度を出力する。
ここで出力される推定不快度は、対数を取ると心理評価のカテゴリー値と線形な対応関係となるので、推定不快度の対数を取って心理評価のカテゴリー値を出力しても良い。また、推定不快度は、ディスプレイへの数字表示やグラフ表示をすることで、利用者への視覚的通知を行うだけではなく、推定不快度の大きさに準じて異なる音をスピーカ等の音響装置で出力することにより、聴覚的通知を行うこともできる。。
<不快度推定装置>
続いて、図1に戻り、不快度推定装置2の特徴量抽出部3及び不快度推定部4について説明する。
<特徴量抽出部>
特徴量抽出部3は、映像信号と、動揺認知量推定装置1が動揺認知量を推定する際に求めた算出途上特徴量であるところの、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分、動き領域番号、及び動き領域別短時間動揺エネルギーと、を取得し、取得された情報に基づいて、動揺認知量以外に不快度の要因となる映像の物理的特徴量を抽出し、抽出した物理的特徴量を不快度推定部4へ出力する。動揺認知量以外の不快度の要因となる映像の物理的特徴量として前記の説明例で取り上げたのは、特定の動揺成分(低周波回転動揺)や、時間変動、そして、空間周波数・色分布・コントラスト・偏在率等によって求まる「目立ちやすさ」の指標である誘目度となっている。図8の例では、回転動揺成分抽出部10、デジタルフィルタ部20、低周波回転動揺補正量算出部30、領域別誘目度算出部50及び誘目度補正量算出部60の組み合わせが特徴量抽出部3に相当する。
<不快度推定部>
不快度推定部4は、前記の説明例では、動揺認知量推定装置1で推定された動揺認知量と、特徴量抽出部3によって抽出された物理的特徴量(実際には補正量として出力されたもの)とを取得し、動揺認知量に補正を加えた後に、時間蓄積効果と時間減衰効果とを反映した非線形時間加算を行うことによって推定不快度を算出して、ディスプレイ、スピーカ等の外部装置(不快度を利用者へ通知する通知部)へ出力する。図8の例では、低周波回転動揺補正部40、誘目度補正部70及び総動揺エネルギー補正部80の組み合わせが不快度推定部4に相当する。
<動作例>
続いて、本発明の実施形態に係る不快度推定装置2の動作例について、図8を参照して説明する。図1に示した動揺認知量推定装置1の構成は、本発明の実施形態に係る不快度推定装置2へ動揺認知量を出力する例を示したものなので、ここでは説明の対象外とする。
まず、回転動揺成分抽出部10が、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分を用いて、各領域の中心における周方向ベクトルを算出し、算出された周方向ベクトルをデジタルフィルタ部20へ出力する。
続いて、デジタルフィルタ部20が、周方向ベクトルの水平及び垂直の各方向成分に、周波数感度補正を施して「低周波回転動揺に対する感度増加分ベクトル」を得て、得られた「低周波回転動揺に対する感度増加分ベクトル」を低周波回転動揺補正量算出部30へ出力する。
続いて、低周波回転動揺補正量算出部30が、画面全体で「低周波回転動揺に対する感度増加分ベクトル」の自乗和の総和を取った値に時間窓関数を乗じ、0.67乗した上で時間加算して低周波回転動揺補正量を算出し、算出された低周波回転動揺補正量を低周波回転動揺補正部40へ出力する。
続いて、低周波回転動揺補正部40が、動揺認知量推定値と低周波回転動揺補正量をそれぞれ振幅の二乗のオーダーの値に変換した上で合算して低周波回転動揺補正済み動揺認知量を得て、得られた低周波回転動揺補正済み動揺認知量を誘目度補正部70へ出力する。
その一方、領域別誘目度算出部50が、映像信号を用いて、領域ごとに誘目度を算出して、算出された誘目度を誘目度補正量算出部60へ出力する。
続いて、誘目度補正量算出部60が、領域ごとの誘目度を用いて算出した動き領域ごとの平均誘目度の大きさの順に従って、各動き領域で動揺エネルギーから減じられる不快度の重み係数を算出した上で、この重み係数を動き領域別短時間動揺エネルギーに乗じてから、さらに時間窓関数を乗じた値を0.67乗したものを時間加算をすることで、誘目度補正量を算出し、算出された誘目度補正量を誘目度補正部70へ出力する。
続いて、誘目度補正部70が、誘目度補正量をそれぞれ振幅の二乗のオーダーの値に変換した上で低周波回転動揺補正済み動揺認知量から減算して誘目度補正済み動揺認知量を得て、得られた誘目度補正済み動揺認知量を総動揺エネルギー補正部80へ出力する。
最後に、総動揺エネルギー補正部80が、3秒前までの時間蓄積効果補正後不快度が大きいほど計測時点での時間蓄積効果補正後不快度が大きくなるように、直前3秒間の不快度に相当する誘目度補正済み動揺認知量を補正して時間蓄積効果補正後不快度を算出し、算出された時間蓄積効果補正後不快度を推定不快度として出力する。
本発明の実施形態に係る不快度推定装置2は、動揺認知量推定装置1によって得られた動揺認知量推定値と、映像の物理的特徴量とを用いることで、従来の動揺映像に対する不快度推定装置では達しえなかった水準まで、不快度推定精度を高めることができる。
また、不快度推定装置2によって得られた推定不快度は、映像コンテンツ制作者が画面動揺を低減するような映像修正を施す際に、判断基準として使用することも可能である。すなわち、不快度推定装置2は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる画面動揺をどの程度まで低減すべきかの設定目標として、推定不快度を映像コンテンツ制作者に提示することができるので、制作に要する時間、労力及びコストの削減が図られるだけでなく、供給される映像コンテンツの安全性も高められる。
また、不快度推定装置2が視聴者側で用いられる場合には、画面動揺に関して安全であることを保証せずに制作、流通された映像に対し、視聴前又は視聴中の表示直前に動揺認知量を推定してディスプレイ又はスピーカへ出力することで警告を発することができるので、映像酔いによる健康被害を防止することが可能になる。
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記不快度推定装置2として機能させる不快度推定プログラムとして具現化することも可能である。あるいは、推定不快度を心理評価値と線形的に対応するようにするために、前記総動揺エネルギーの対数値を推定不快度として出力することとしてもよい。また、不快度推定装置2は、動揺認知量推定装置1と一体化された装置としても具現化可能である。
A 不快度推定システム
1 動揺認知量推定装置
2 不快度推定装置
3 特徴量抽出部
4 不快度推定部
10 回転動揺成分抽出部
20 デジタルフィルタ部
21 水平方向のデジタルフィルタ
22 垂直方向のデジタルフィルタ
30 低周波回転動揺補正量算出部
40 低周波回転動揺補正部
50 領域別誘目度算出部
60 誘目度補正量算出部
70 誘目度補正部
80 総動揺エネルギー補正部
81 加算部
82 記憶部
83 乗算部

Claims (2)

  1. 映像における動揺認知量と物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置であって、
    画面を複数に分割した領域中で動揺のある領域において、周方向ベクトルを抽出する回転動揺成分抽出部と、
    前記周方向ベクトルをデジタルフィルタリングすることによって、低周波回転動揺に対する感度増加分ベクトルを検出するデジタルフィルタ部と、
    前記低周波回転動揺に対する感度増加分ベクトルの自乗値の前記画面全体での総和を取った上で時間内加算することによって低周波回転動揺補正量を算出する低周波回転動揺補正量算出部と、
    不快度の上昇分に相当する前記低周波回転動揺補正量を前記動揺認知量に加えることで不快度の上昇分を補正し、低周波回転動揺補正済み動揺認知量を得る低周波回転動揺補正部と、
    各前記領域の目立ちやすさの指標である領域別誘目度を算出する領域別誘目度算出部と、
    前記領域別誘目度に基づいて、誘目度の偏りによる不快度の低下分に相当する誘目度補正量を算出する誘目度補正量算出部と、
    前記誘目度補正量を前記低周波回転動揺補正済み動揺認知量から減ずることで不快度の低下分を補正し、誘目度補正済み動揺認知量を得る誘目度補正部と、
    所定時間以上継続する動揺に対する不快度の蓄積効果分の補正を前記誘目度補正済み動揺認知量に施すことで、推定不快度に相当する補正済み総動揺エネルギーを得る総動揺エネルギー補正部と、
    を備えることを特徴とする不快度推定装置。
  2. コンピュータを請求項1に記載の不快度推定装置として機能させることを特徴とする不快度推定プログラム。
JP2017023603A 2017-02-10 2017-02-10 不快度推定装置及び不快度推定プログラム Active JP6867822B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017023603A JP6867822B2 (ja) 2017-02-10 2017-02-10 不快度推定装置及び不快度推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017023603A JP6867822B2 (ja) 2017-02-10 2017-02-10 不快度推定装置及び不快度推定プログラム

Publications (2)

Publication Number Publication Date
JP2018129002A true JP2018129002A (ja) 2018-08-16
JP6867822B2 JP6867822B2 (ja) 2021-05-12

Family

ID=63173048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017023603A Active JP6867822B2 (ja) 2017-02-10 2017-02-10 不快度推定装置及び不快度推定プログラム

Country Status (1)

Country Link
JP (1) JP6867822B2 (ja)

Also Published As

Publication number Publication date
JP6867822B2 (ja) 2021-05-12

Similar Documents

Publication Publication Date Title
KR101362651B1 (ko) 화상 처리 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 기록 매체
JP2013172190A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102693067B (zh) 字体大小的调整系统及方法
RU2015155004A (ru) Способ отображения изображений, устройство отображения изображений и носитель записи
JP2010286488A (ja) 映像処理装置および方法
JP2007310454A (ja) 画像評価装置および被験者集中度算出装置、並びに、画像評価プログラムおよび被験者集中度算出プログラム
JP2014072595A (ja) 映像処理装置
US20170013389A1 (en) Control apparatus, measurement system, control method, and storage medium
JP5911292B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US20150130914A1 (en) Image processing device, image processing method, and electronic apparatus
KR20110080074A (ko) 이미지 처리 장치 및 방법
JP5391145B2 (ja) 不快度推定装置及び不快度推定プログラム
JP2018129002A (ja) 不快度推定装置及び不快度推定プログラム
JP2013021455A (ja) 不快度推定装置及び不快度推定プログラム
JP5997575B2 (ja) 不快度推定装置及び不快度推定プログラム
JP6076110B2 (ja) 不快度推定装置及び不快度推定プログラム
JP2013219643A (ja) 画像処理装置および方法、並びに、プログラム
JP2018128982A (ja) 動揺認知量推定装置及び動揺認知量推定プログラム
JP2019096226A (ja) 不快度推定装置及び不快度推定プログラム
JP2015106192A (ja) 不快度推定装置及び不快度推定プログラム
JP2017156821A (ja) 動揺認知量推定装置及び動揺認知量推定プログラム
KR101643724B1 (ko) 안구 위치 식별 방법 및 그 장치, 안구 위치 추적 방법 및 그 장치
JP2020021168A (ja) 不快度推定装置及び不快度推定プログラム
JP2019055161A (ja) 瞳孔径変化の呼吸及び脈拍の影響を排除する手法と刺激による瞳孔径変化に基づく視認者情感判定装置、視認者情感判定システム及びプログラム。
JP2019133300A (ja) 動揺認知量推定装置及び動揺認知量推定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210409

R150 Certificate of patent or registration of utility model

Ref document number: 6867822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150