JP2017156821A - Trembling recognition amount estimation device and trembling recognition amount estimation program - Google Patents

Trembling recognition amount estimation device and trembling recognition amount estimation program Download PDF

Info

Publication number
JP2017156821A
JP2017156821A JP2016037070A JP2016037070A JP2017156821A JP 2017156821 A JP2017156821 A JP 2017156821A JP 2016037070 A JP2016037070 A JP 2016037070A JP 2016037070 A JP2016037070 A JP 2016037070A JP 2017156821 A JP2017156821 A JP 2017156821A
Authority
JP
Japan
Prior art keywords
motion
region
vector
rotation
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016037070A
Other languages
Japanese (ja)
Other versions
JP6647079B2 (en
Inventor
眞 蓼沼
Makoto Tadenuma
眞 蓼沼
小峯 一晃
Kazuaki Komine
一晃 小峯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
NHK Engineering System Inc
Original Assignee
Nippon Hoso Kyokai NHK
NHK Engineering System Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, NHK Engineering System Inc filed Critical Nippon Hoso Kyokai NHK
Priority to JP2016037070A priority Critical patent/JP6647079B2/en
Publication of JP2017156821A publication Critical patent/JP2017156821A/en
Application granted granted Critical
Publication of JP6647079B2 publication Critical patent/JP6647079B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To accurately estimate a trembling amount which a viewer who views a trembling video recognizes, namely a trembling recognition amount.SOLUTION: A trembling recognition amount estimation device 1 comprises: a movement vector for every area detection part 10 for detecting a movement vector; a movement area determination part 30 for determining presence/absence of movement; a movement area number application part 40 for applying a movement area number; a rotation center rotation angle calculation part 50 for acquiring a rotation center and a rotation angle in whole screen; a rotation vector calculation part 60 for acquiring a rotation vector; a rotation residual vector calculation part 70 for acquiring a rotation residual vector; a space frequency energy calculation part 100 for acquiring a corrected space frequency energy; a correlation value between movement areas calculation part 110 for acquiring a correlation value between movement areas; a correlation value between a boundary and an inner part of a movement area calculation part 120 for acquiring a correlation value between a boundary and an inner part of a movement area; and a total trembling energy calculation part 130 for calculating a total trembling energy.SELECTED DRAWING: Figure 2

Description

本発明は、揺れのある映像に対する動揺の認知量を推定する動揺認知量推定装置及び動揺認知量推定プログラムに関する。   The present invention relates to a motion recognition amount estimation device and a motion recognition amount estimation program for estimating a motion recognition amount for a video with shaking.

家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、画面動揺(映像の揺れ)によって誘発される不快感が増大する傾向があり、場合によっては視聴者が映像酔いを起こして健康被害に至る例もある。画面動揺の多くは、撮影時のビデオカメラの動き、すなわちグローバルモーションに起因する。かかる事態を予防するため、手持ち撮影用ビデオカメラ等には「手ぶれ補正」機能の搭載がほぼ必須となっている。また、撮影された映像に含まれるグローバルモーションを軽減する「映像スタビライズ」ソフトウェアも数多く開発されている。さらに、グローバルモーションと脈拍・血圧等との生理的な指標との関係を探ることによって、不快な状態を推定しようとする試みも行われている(非特許文献1参照)。   Discomfort induced by screen shaking (video shaking) tends to increase with the increase in the display size when viewing broadcasts, recorded videos, personal computer videos, etc. at home. There are also cases in which people suffer from health problems due to motion sickness. Most of the screen shaking is caused by the motion of the video camera at the time of shooting, that is, global motion. In order to prevent such a situation, it is almost essential to install a “camera shake correction” function in a hand-held video camera or the like. In addition, a lot of “Video Stabilization” software has been developed to reduce the global motion contained in the captured video. Furthermore, an attempt has been made to estimate an unpleasant state by searching for a relationship between global motion and physiological indices such as pulse and blood pressure (see Non-Patent Document 1).

しかし、前記した「手ぶれ補正」では、長周期の揺れは補正ができない、あるいは不十分であり、「映像スタビライズ」では、短い期間内の映像の揺れを無くすか低減したり、滑らかな画面移動に変換したりするだけで、どのような性質でどの程度の大きさの揺れならば残っていても良いといった客観的な基準に則っているものではない。また、この客観的な基準として脈拍・血圧等の生理的な指標を用いることができたとしても、明示できるのは健康被害に達する条件及び、その条件に対する現在の生理的状態の程度のみである。   However, with the above-mentioned “camera shake correction”, long-period shaking cannot be corrected or is insufficient, and “video stabilization” eliminates or reduces the shaking of the video within a short period of time, or smooth screen movement. It is not based on an objective standard that it can be left only if it is shaken by what kind of property and how big by simply converting it. Moreover, even if physiological indices such as pulse and blood pressure can be used as this objective standard, it is possible to specify only the conditions for reaching health hazard and the current physiological state for those conditions. .

これに対し、放送、映画等の映像コンテンツの供給者は、映像制作段階において、映像の安全性のみならず、視聴者の大半にグローバルモーション(画面全体の動き)あるいは画面のある程度まとまった領域の動きに伴う不快感を催させないように留意する必要がある。しかしながら、前記した従来の技術は、画面の全体あるいはある程度まとまった領域の動きに対する視聴者の心理的な「不快度」を具体的に把握するものではないため、「不快度」を基準とした映像の良否を判定するには不向きであった。   On the other hand, suppliers of video content such as broadcasts and movies have not only video safety but also global motion (total screen movement) or a certain area of the screen in the video production stage. Care must be taken not to cause discomfort associated with movement. However, since the above-described conventional technology does not specifically grasp the psychological “discomfort level” of the viewer with respect to the movement of the entire screen or a certain area, the video based on the “discomfort level”. It was unsuitable for judging the quality of.

「映像酔いガイドライン検証システムの実用化に関するフィージビリティスタディ報告書」、財団法人機械システム振興協会、平成20年3月“Feasibility Study Report on Practical Use of Visual Sickness Guidelines Verification System”, Mechanical Systems Promotion Association, March 2008

かかる問題を解消するため、本願出願人は、生理的指標を用いることなく、画面の全体あるいはある程度まとまった領域の動きと主観評価実験で得られた不快度との関係を用いて、映像を解析して得られた物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置を開発した(特願2015−040609、本願出願時未公開)。   In order to solve this problem, the applicant of this application analyzes the video using the relationship between the movement of the entire screen or a certain area of the screen and the discomfort obtained in the subjective evaluation experiment without using a physiological index. An unpleasantness estimation device that estimates an uncomfortable degree with respect to screen shaking based on the physical feature values obtained in this way was developed (Japanese Patent Application No. 2015-040609, unpublished at the time of filing this application).

しかし、不快度推定誤差を低減するために様々な技術を導入した前記不快度推定装置をもってしても、一般的な撮影映像に対して5段階のランクで推定した不快度の自乗誤差平均の平方根(r.m.s.e(root mean square error))は0.5ランク程度残っており、同じランクの不快度と推定された映像の20シーンに1シーンは±1ランク以上の誤差が生じていた。実用性を求めるならば、±1ランク以上の誤差が生じるのを100シーンに1シーン程度に収めることが望ましい。これは前記r.m.s.eを0.4ランク以下に抑えること、すなわち誤差をさらに20%低減することに相当する。   However, even with the above-described discomfort level estimation apparatus that introduces various techniques for reducing the discomfort level estimation error, the square root of the square error average of the discomfort level estimated in five ranks for a general captured image. (R.m.s.e (root mean square error)) remains about 0.5 rank, and an error of ± 1 rank or more occurs in one scene in 20 scenes of an image estimated to have the same rank of discomfort. It was. If practicality is required, it is desirable that errors of ± 1 rank or more occur within 1 scene in 100 scenes. This is because the r. m. s. This corresponds to suppressing e to 0.4 rank or less, that is, further reducing the error by 20%.

だが、不快度の評価実験の被験者に対する聞き取りで、「揺れは感じるけれども不快には感じない映像がある」とか、「同じ大きさの揺れでも映像によって不快度が異なる」と言った感想が多く寄せられており、映像の物理的特徴量から不快度を直接推定する前記不快度推定装置の手法では、不快度推定誤差を目標とする値まで低減することは困難であることがわかった。   However, in interviews with subjects in the evaluation experiment of discomfort, there were many comments such as “There are images that feel shaking but not uncomfortable,” or “discomfort varies depending on the image even with shaking of the same magnitude.” It has been found that it is difficult to reduce the discomfort degree estimation error to a target value with the method of the discomfort degree estimation device that directly estimates the discomfort degree from the physical feature quantity of the video.

つまり、画面動揺の不快度を高精度に推定するには、認知される動揺量をまず高精度に推定した上で、推定された動揺認知量と映像の物理的特徴量とを用いて不快度を推定する必要がある。   In other words, in order to estimate the degree of discomfort of screen shaking with high accuracy, first, the amount of perceived shaking is estimated with high accuracy, and then the degree of discomfort is estimated using the estimated amount of perception of shaking and the physical features of the video. Need to be estimated.

本発明は、前記した事情に鑑みて創案されたものであり、視聴者が画面動揺のある映像(動揺映像)を観視した際に最初に認知する動揺量を高精度に推定することが可能な動揺認知量推定装置及び動揺認知量推定プログラムを提供することを課題とする。   The present invention has been created in view of the above-described circumstances, and it is possible to estimate with high accuracy the amount of shaking initially recognized when a viewer views a video with shaking (smoothing video). It is an object of the present invention to provide a motion recognition amount estimation device and a motion recognition amount estimation program.

前記課題を解決するため、本発明の動揺認知量推定装置は、映像における動きベクトル及び映像の部分的な空間周波数に基づいて、動揺映像を観視した視聴者が始めに認知する動揺量、すなわち動揺認知量を推定する動揺認知量推定装置であって、領域別動きベクトル検出部と、第一のフィルタ部と、動き領域判定部と、動き領域番号付与部と、回転中心・回転角算出部と、回転ベクトル算出部と、回転残差ベクトル算出部と、第二のフィルタ部と、領域別空間周波数感度補正部と、空間周波数エネルギー算出部と、動き領域間相関値算出部と、動き領域内部境界間相関値算出部と、動揺エネルギー補正部と、を備える。   In order to solve the above-described problem, the motion recognition amount estimation device according to the present invention is based on the motion vector in the video and the partial spatial frequency of the video, that is, the motion amount initially recognized by the viewer who viewed the video. A motion recognition amount estimation device for estimating motion recognition amount, a motion vector detection unit for each region, a first filter unit, a motion region determination unit, a motion region number assigning unit, a rotation center / rotation angle calculation unit A rotation vector calculation unit, a rotation residual vector calculation unit, a second filter unit, a spatial frequency sensitivity correction unit for each region, a spatial frequency energy calculation unit, a correlation value calculation unit between motion regions, and a motion region An internal boundary correlation value calculation unit and a fluctuation energy correction unit are provided.

動揺認知量推定装置は、領域別動きベクトル検出部によって、画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出し、第一のフィルタ部によって、前記動きベクトルに周波数感度補正を施して補正済み動きベクトルを得て、動き領域判定部によって、前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定し、動き領域番号付与部によって、隣接する領域との前記補正済み動きベクトルの差に基づいて、同じ動き領域に属する領域ごとに異なりかつ領域間の前後関係を反映した動き領域番号を付与する。   The motion recognition amount estimation device detects a motion vector between temporally adjacent images of the video for each region obtained by dividing the screen into a plurality of regions by a region-specific motion vector detection unit, and a first filter unit detects the motion vector. A motion vector is subjected to frequency sensitivity correction to obtain a corrected motion vector, and a motion region determination unit determines that there is motion in the corresponding region when the size of the corrected motion vector is equal to or greater than a threshold, A region number assigning unit assigns a motion region number that is different for each region belonging to the same motion region and reflects the context between the regions based on the difference of the corrected motion vector from the adjacent region.

なお、前記第一のフィルタ部は、第一のデジタルフィルタと、第二のデジタルフィルタと、を備える構成であってもよい。かかる構成によると、動揺認知量推定装置は、第一のデジタルフィルタによって、前記動きベクトルの上下方向成分に周波数感度補正を施し、第二のデジタルフィルタによって、前記動きベクトルの左右方向成分に前記第一のデジタルフィルタとは異なる周波数感度補正を施す。   Note that the first filter unit may include a first digital filter and a second digital filter. With this configuration, the motion recognition amount estimation device performs frequency sensitivity correction on the vertical component of the motion vector using the first digital filter, and applies the second digital filter to the horizontal component of the motion vector. Frequency sensitivity correction different from that of one digital filter is performed.

また、動揺認知量推定装置は、動き領域判定部によって、直前の所定時間内に前記閾値以上の前記補正済み動きベクトルがある場合に動きありと判定する構成であってもよい。   Further, the motion recognition amount estimation device may be configured to determine that there is motion when the motion region determination unit includes the corrected motion vector that is equal to or greater than the threshold value within a predetermined time immediately before.

また、動揺認知量推定装置は、回転中心・回転角算出部によって、前記動き領域番号が付与された全領域を統合した領域において、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと前記補正済み動きベクトルとの二乗誤差の総和が最小となるときの回転中心及び回転角を算出し、回転ベクトル算出部によって、各領域における前記回転角による動きベクトルを回転ベクトルとして算出し、回転残差ベクトル算出部によって、各領域における前記回転ベクトルと前記補正済み動きベクトルとの残分を回転残差ベクトルとして算出する。   Further, in the motion recognition amount estimation device, the sum of the squares of the magnitudes of the motion vectors based on the rotation angle is maximized in the region obtained by integrating all the regions to which the motion region numbers are assigned by the rotation center / rotation angle calculation unit. And calculating a rotation center and a rotation angle when a sum of square errors between the motion vector based on the rotation angle and the corrected motion vector is minimized, and the rotation vector calculation unit calculates the motion vector based on the rotation angle in each region. The rotation vector is calculated as a rotation vector, and the residual of the rotation vector and the corrected motion vector in each region is calculated as a rotation residual vector by the rotation residual vector calculation unit.

また、動揺認知量推定装置は、第二のフィルタ部によって、前記回転ベクトルに周波数感度補正を施して補正済み回転ベクトルを得る。   In addition, the fluctuation recognition amount estimation device obtains a corrected rotation vector by performing frequency sensitivity correction on the rotation vector by the second filter unit.

なお、前記第二のフィルタ部は、第三のデジタルフィルタを備える構成であってもよい。かかる構成によると、動揺認知量推定装置は、第三のデジタルフィルタによって、前記回転ベクトルに対して、前記第一のフィルタ部によって周波数感度補正が施された他成分との相対感度の周波数特性に対応する周波数相対感度補正、すなわち、前記第一のデジタルフィルタと第二のデジタルフィルタのいずれとも異なる周波数相対感度補正を施す。   The second filter unit may include a third digital filter. According to such a configuration, the motion recognition amount estimation device uses the third digital filter to change the frequency characteristic of the relative sensitivity with respect to the rotation vector to the other component subjected to frequency sensitivity correction by the first filter unit. Corresponding frequency relative sensitivity correction, that is, frequency relative sensitivity correction different from both the first digital filter and the second digital filter is performed.

また、動揺認知量推定装置は、領域別空間周波数感度補正部によって、領域別動きベクトル検出部で画面を分割した領域ごとに、前記映像の輝度信号に対し空間周波数成分に応じた感度補正を施して空間周波数感度補正済み映像信号を得た上で、空間周波数エネルギー算出部によって、前記空間周波数感度補正済み映像信号のエネルギーを補正済み空間周波数エネルギーとして算出する。   In addition, the motion recognition amount estimation device performs sensitivity correction according to the spatial frequency component on the luminance signal of the video for each region obtained by dividing the screen by the region-specific motion vector detection unit by the region-specific spatial frequency sensitivity correction unit. Then, after obtaining the spatial frequency sensitivity corrected video signal, the spatial frequency energy calculation unit calculates the energy of the spatial frequency sensitivity corrected video signal as the corrected spatial frequency energy.

また、動揺認知量推定装置は、動き領域間相関値算出部によって、前記動き領域番号が付与された前記領域と前記回転残差ベクトルとに基づいて、動き領域境界における前景領域と背景領域との間の回転残差ベクトルの相関値を動き領域間相関値として算出する。   In addition, the motion recognition amount estimation device determines whether the foreground region and the background region at the motion region boundary are based on the region to which the motion region number is assigned and the rotation residual vector by the motion region correlation value calculation unit. The correlation value of the rotation residual vector is calculated as the correlation value between motion regions.

また、動揺認知量推定装置は、動き領域内部境界間相関値算出部によって、前記動き領域番号が付与された前記領域と前記回転残差ベクトルとに基づいて、動き領域境界自体の動きベクトルと動き領域内部との間の回転残差ベクトルの相関値を動き領域内部境界間相関値として算出する。   In addition, the motion recognition amount estimation device may include a motion vector and a motion of the motion region boundary itself based on the region to which the motion region number is assigned and the rotation residual vector by the motion region inner boundary correlation value calculation unit. The correlation value of the rotation residual vector with the inside of the region is calculated as the correlation value between the motion region inner boundaries.

最後に、動揺認知量推定装置は、総動揺エネルギー算出部によって、同じ前記動き領域番号が付与された前記領域ごとに、当該領域内の前記補正済み回転ベクトルの大きさの二乗と前記回転残差ベクトルの二乗の和をそれぞれ求めた個別動揺エネルギーに対し、前記補正済み空間周波数エネルギー、前記動き領域間相関値、前記動き領域内部境界間相関値、に応じて順に補正を施した後、当該動き領域内で補正が施された前記個別動揺エネルギーの総和を求め、求められた前記総和の平方根を動き領域番号ごとの動き領域別動揺エネルギーとした上で、全ての前記動き領域の前記動き領域別動揺エネルギーを非線形加算することによって動揺認知量推定値に相当する総動揺エネルギーを得る。   Finally, the perturbation recognition amount estimation device uses a total motion energy calculation unit to calculate the square of the magnitude of the corrected rotation vector in the region and the rotation residual for each region to which the same motion region number is assigned. The individual motion energy obtained by calculating the sum of the squares of the vectors is sequentially corrected according to the corrected spatial frequency energy, the correlation value between the motion regions, and the correlation value between the motion region inner boundaries, and then the motion. A total sum of the individual shaking energy corrected in the region is obtained, and the square root of the obtained sum is used as the shaking energy for each motion region for each motion region number, and then the motion region of all the motion regions is classified by the motion region. The total shaking energy corresponding to the estimated value of shaking perception is obtained by nonlinearly adding shaking energy.

かかる構成により、一般映像のような画面各所で様々に異なる空間周波数成分を有する撮影対象が、背景を遮蔽しつつ背景とは異なる動きをしているような場合においても、視聴者が認知する動揺量、すなわち動揺認知量を高精度に推定することが可能になる。   With such a configuration, even when a subject to be photographed having different spatial frequency components in various places on the screen such as a general video moves differently from the background while blocking the background, the viewer perceives the fluctuation. The amount, that is, the amount of motion recognition can be estimated with high accuracy.

また、本発明は、コンピュータを前記した動揺認知量推定装置として機能させる動揺認知量推定プログラムとしても具現化可能である。   The present invention can also be embodied as a motion recognition amount estimation program that causes a computer to function as the motion recognition amount estimation device described above.

本発明によれば、一般映像のような画面各所で様々に異なる空間周波数成分を有する撮影対象が、背景を遮蔽しつつ背景とは異なる動きをしているような場合においても、視聴者が認知する動揺量、すなわち動揺認知量を高精度に推定することが可能になる。   According to the present invention, even when a subject to be photographed having various spatial frequency components at various points on the screen such as a general image moves differently from the background while blocking the background, the viewer recognizes it. It is possible to estimate the amount of motion to be performed, that is, the amount of motion recognition with high accuracy.

本発明の実施形態に係る動揺認知量推定装置を備える不快度推定システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of a discomfort degree estimation system provided with the fluctuation recognition amount estimation apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る動揺認知量推定装置を示すブロック図である。It is a block diagram which shows the fluctuation recognition amount estimation apparatus which concerns on embodiment of this invention. 動きベクトルの成分ごとの動揺認知感度の周波数特性の一例を示すグラフである。It is a graph which shows an example of the frequency characteristic of the motion recognition sensitivity for every component of a motion vector. 動きベクトルの径方向成分の動揺認知感度に対する回転方向成分の動揺認知感度の比に相当する回転方向成分の動揺認知相対感度の周波数特性の一例を示す図である。It is a figure which shows an example of the frequency characteristic of the shake recognition relative sensitivity of the rotation direction component equivalent to the ratio of the shake recognition sensitivity of the rotation direction component with respect to the shake recognition sensitivity of the radial direction component of a motion vector. 映像の輝度信号に対し空間周波数成分に応じて感度補正する特性の一例を示す図である。It is a figure which shows an example of the characteristic which carries out a sensitivity correction | amendment with respect to the luminance signal of an image | video according to a spatial frequency component. 動き領域間相関値に応じて領域別動揺エネルギーを補正する特性の一例を示す図である。It is a figure which shows an example of the characteristic which correct | amends the vibration energy according to area | region according to the correlation value between motion areas. 動き領域内部境界間相関値に応じて領域別動揺エネルギーを補正する特性の一例を示す図である。It is a figure which shows an example of the characteristic which correct | amends the vibration energy according to area | region according to the correlation value between motion area | region inner boundaries.

以下、本発明の実施形態について、適宜図面を参照しながら説明する。
図1に示すように、本発明の実施形態に係る不快度推定システムAは、動揺認知量推定装置1と、不快度推定装置2と、を備える。不快度推定装置2は、動揺認知量推定装置1を用いることで、不快度推定誤差を抑制することを可能にしたものであり、機能部として、特徴量抽出部3と、不快度推定部4と、を備える。ただし、不快度推定装置2の構成は、本発明の実施形態に係る動揺認知量推定装置1の利用例を示したものなので、本発明の実施形態に不可欠な要素ではない。
Hereinafter, embodiments of the present invention will be described with reference to the drawings as appropriate.
As shown in FIG. 1, a discomfort degree estimation system A according to an embodiment of the present invention includes a motion recognition amount estimation device 1 and a discomfort degree estimation device 2. The discomfort degree estimation device 2 is capable of suppressing the discomfort degree estimation error by using the motion recognition amount estimation device 1, and includes a feature amount extraction unit 3 and a discomfort degree estimation unit 4 as functional units. And comprising. However, since the configuration of the discomfort degree estimation device 2 shows an example of use of the motion recognition amount estimation device 1 according to the embodiment of the present invention, it is not an essential element in the embodiment of the present invention.

<動揺認知量推定装置>
本発明の実施形態に係る動揺認知量推定装置1は、図2に示すように、映像における動きベクトルに基づいて画面動揺に対する動揺認知量を推定するものであり、機能部として、領域別動きベクトル検出部10と、第一のフィルタ部20と、動き領域判定部30と、動き領域番号付与部40と、回転中心・回転角算出部50と、回転ベクトル算出部60と、回転残差ベクトル算出部70と、第二のフィルタ部80と、領域別空間周波数感度補正部90と、空間周波数エネルギー算出部100と、動き領域間相関値算出部110と、動き領域内部境界間相関値算出部120と、総動揺エネルギー算出部130と、を備える。かかる機能部のうち、領域別動きベクトル検出部10、第一のフィルタ部20、動き領域判定部30、回転ベクトル算出部60、回転残差ベクトル算出部70、第二のフィルタ部80及び領域別空間周波数感度補正部90の組み合わせに関しては、画面を分割した複数(1〜N)の領域に対応して複数(N)セットが設けられている。
<Moving recognition amount estimation device>
As shown in FIG. 2, the motion perception amount estimation apparatus 1 according to the embodiment of the present invention estimates motion perception amount with respect to screen motion based on a motion vector in a video. Detection unit 10, first filter unit 20, motion region determination unit 30, motion region number assigning unit 40, rotation center / rotation angle calculation unit 50, rotation vector calculation unit 60, and rotation residual vector calculation Unit 70, second filter unit 80, region-specific spatial frequency sensitivity correction unit 90, spatial frequency energy calculation unit 100, motion region correlation value calculation unit 110, and motion region inner boundary correlation value calculation unit 120. And a total shaking energy calculation unit 130. Among such functional units, the motion vector detection unit 10 for each region, the first filter unit 20, the motion region determination unit 30, the rotation vector calculation unit 60, the rotation residual vector calculation unit 70, the second filter unit 80, and each region Regarding the combination of the spatial frequency sensitivity correction units 90, a plurality (N) sets are provided corresponding to a plurality (1 to N) regions obtained by dividing the screen.

<領域別動きベクトル検出部>
領域別動きベクトル検出部10は、当該検出部10に対応する領域の映像信号を取得し、取得された映像信号に基づいて、映像の時間的に隣接する画像(連続するフレーム)間における動きベクトル(フレーム間の差分)を時系列に検出する。また、領域別動きベクトル検出部10は、検出結果を第一のフィルタ部20へ出力する。本実施形態において、領域別動きベクトル検出部10は、動きベクトルとして、動き量の上下方向成分、及び、左右方向成分をそれぞれ検出する。
<Motion vector detection unit by region>
The region-specific motion vector detection unit 10 acquires a video signal of a region corresponding to the detection unit 10, and based on the acquired video signal, a motion vector between temporally adjacent images (continuous frames) of the video (Difference between frames) is detected in time series. The region-specific motion vector detection unit 10 outputs the detection result to the first filter unit 20. In this embodiment, the area-specific motion vector detection unit 10 detects the vertical component and the horizontal component of the motion amount as the motion vector.

<第一のフィルタ部>
第一のフィルタ部20は、領域別動きベクトル検出部10によって検出された動きベクトルを取得し、取得された動きベクトルに上下方向及び左右方向で異なる周波数感度補正を施すことによって補正済み動きベクトルを得る。また、第一のフィルタ部20は、得られた補正済み動きベクトルを動き領域判定部30、動き領域番号付与部40、回転中心・回転角算出部50及び回転残差ベクトル算出部70へ出力する。本実施形態において、第一のフィルタ部20は、第一のデジタルフィルタ21と、第二のデジタルフィルタ22と、を並列に備える。
<First filter part>
The first filter unit 20 acquires the motion vector detected by the region-specific motion vector detection unit 10, and applies the corrected motion vector by performing different frequency sensitivity corrections in the vertical direction and the horizontal direction on the acquired motion vector. obtain. The first filter unit 20 outputs the obtained corrected motion vector to the motion region determination unit 30, the motion region number assigning unit 40, the rotation center / rotation angle calculation unit 50, and the rotation residual vector calculation unit 70. . In the present embodiment, the first filter unit 20 includes a first digital filter 21 and a second digital filter 22 in parallel.

第一のデジタルフィルタ21は、動きベクトルの上下方向成分に周波数感度補正を施すものであって、動きベクトルの上下方向成分に対して図3に示す上下方向の動揺認知量の感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み動きベクトルの上下方向成分を得る。また、第一のデジタルフィルタ21は、得られた補正済み動きベクトルの上下方向成分を動き領域判定部30、動き領域番号付与部40、回転中心・回転角算出部50及び回転残差ベクトル算出部70へ出力する。   The first digital filter 21 performs frequency sensitivity correction on the vertical component of the motion vector, and the impulse corresponding to the sensitivity of the vertical motion perception shown in FIG. 3 with respect to the vertical component of the motion vector. By applying digital filter processing that convolves and integrates the response, the vertical component of the corrected motion vector is obtained. The first digital filter 21 uses the vertical direction component of the obtained corrected motion vector as a motion region determination unit 30, a motion region number assigning unit 40, a rotation center / rotation angle calculation unit 50, and a rotation residual vector calculation unit. Output to 70.

第二のデジタルフィルタ22は、動きベクトルの左右方向成分に周波数感度補正を施すものであって、動きベクトルの左右方向成分に対して図3に示す左右方向の動揺認知量の感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み動きベクトルの左右方向成分を得る。また、第二のデジタルフィルタ22は、得られた補正済み動きベクトルの左右方向成分を動き領域判定部30、動き領域番号付与部40、回転中心・回転角算出部50及び回転残差ベクトル算出部70へ出力する。   The second digital filter 22 performs frequency sensitivity correction on the left-right direction component of the motion vector, and an impulse corresponding to the sensitivity of the motion perception amount in the left-right direction shown in FIG. 3 with respect to the left-right direction component of the motion vector. By applying digital filter processing that convolves and integrates the response, the left-right direction component of the corrected motion vector is obtained. In addition, the second digital filter 22 uses the motion direction determination unit 30, the motion region number assigning unit 40, the rotation center / rotation angle calculation unit 50, and the rotation residual vector calculation unit as the left and right direction components of the obtained corrected motion vector. Output to 70.

なお、第一のデジタルフィルタ21、第二のデジタルフィルタ22及び後記する第三のデジタルフィルタ81においては、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本発明の動揺認知量推定装置1は、1画面で多数の領域ごとに周波数補正を行うものであるため、演算量の少ない畳み込み積分を用いる方が望ましい。   In the first digital filter 21, the second digital filter 22, and the third digital filter 81 to be described later, discrete Fourier transform can be used instead of convolution integration. Since the estimation apparatus 1 performs frequency correction for each of a large number of areas on one screen, it is desirable to use a convolution integral with a small amount of calculation.

<動き領域判定部>
動き領域判定部30は、第一のフィルタ部20から出力された補正済み動きベクトルを取得し、動きベクトルの大きさが予め定められた閾値以上である場合に該当する領域において「動きあり」と判定する。本実施形態において、動き領域判定部20は、計算の簡略化のため、上下方向動き量(すなわち、補正済み動きベクトルの上下方向成分の大きさ)の二乗と左右方向動き量(すなわち、補正済み動きベクトルの左右方向成分の大きさ)の二乗との和が閾値(前記した閾値の二乗)以上である場合に「動きあり」と判定することができる。動き領域判定部30は、「動きあり」の場合と「動きなし」の場合とで異なる値、例えば、「動きあり」の場合は「0」、「動きなし」の場合は「−1」に設定し、設定結果を動きの有無の判定結果として動き領域番号付与部40へ出力する。
<Motion region determination unit>
The motion region determination unit 30 acquires the corrected motion vector output from the first filter unit 20, and indicates that “there is motion” in the corresponding region when the magnitude of the motion vector is equal to or greater than a predetermined threshold. judge. In the present embodiment, the motion region determination unit 20 squares the vertical motion amount (that is, the magnitude of the vertical component of the corrected motion vector) and the horizontal motion amount (that is, corrected) for simplification of calculation. It can be determined that “there is motion” when the sum of the square of the left and right direction component of the motion vector is equal to or greater than a threshold value (the square of the threshold value). The motion area determination unit 30 sets different values for “with motion” and “without motion”, for example, “0” for “with motion” and “−1” for “no motion”. The setting result is output to the motion region number assigning unit 40 as the determination result of the presence or absence of motion.

<動き領域番号付与部>
動き領域番号付与部40は、動きありと判定された領域に対して同じ動き領域に属する領域ごとに動き領域番号を付与する。動き領域番号付与部40は、一の領域の補正済み動きベクトルと、隣接する領域の補正済み動きベクトルと、の差分ベクトルの大きさが所定値以下である場合に、一の領域と隣接する領域とが「同じ動き領域」であるとし、これらに同じ「動き領域仮番号」を付与する。かかる所定値は、画面の全体あるいはある程度まとまった領域の動きと主観評価実験で得られた動揺認知量との関係を用いて設定することができる。
<Motion area number assigning unit>
The motion region number assigning unit 40 assigns a motion region number to each region belonging to the same motion region with respect to the region determined to have motion. The motion region number assigning unit 40 is a region adjacent to one region when the magnitude of a difference vector between the corrected motion vector of the one region and the corrected motion vector of the adjacent region is equal to or less than a predetermined value. Are the “same motion region”, and the same “motion region temporary number” is assigned to them. Such a predetermined value can be set by using the relationship between the movement of the entire screen or a certain area of the screen and the amount of motion perception obtained in the subjective evaluation experiment.

さらに、動き領域番号付与部40は、隣接する「異なる動き領域」の境界において、フレーム間でいずれの領域がもう一方の領域を遮蔽しているかを調べることにより、領域の前後関係を判定する。これを全ての動き領域について調べた結果に基づいて、一番背後にある動き領域から順に「動き領域仮番号」を並べ直した後、それぞれの動き領域に並べ直した順番に沿い、「1」から順に正式な「動き領域番号」を付与する。隣接していない複数の動き領域がいずれも同じ動き領域と隣接している場合、複数の動き領域の前後関係を特定することができないが、全ての隣接する動き領域間で前後関係に破綻を来たさない限り、順序を入れ替えてもかまわない。ただし、隣接していない2つの動き領域AとBがともに同じ動き領域Cと隣接するとともに同じ前後関係である場合であっても、動き領域Cと隣接する別の動き領域Dがやはり動き領域AとBの両方と隣接するとともに異なる前後関係である場合には、動き領域A,B,C,Dの前後関係の順序は一意に定まる。なお、動き領域の前後関係の順序の判定手法としては、映像における被写体のオクルージョンの検出手法等と同様の公知の手法を採用することができる。   Further, the motion region number assigning unit 40 determines the front-rear relationship of the regions by examining which region shields the other region between frames at the boundary between adjacent “different motion regions”. Based on the result of examining all the motion areas, after rearranging the “motion area temporary numbers” in order from the motion area at the back, “1” along the order of rearrangement in each motion area. A formal “motion area number” is assigned in order. When multiple non-adjacent motion regions are adjacent to the same motion region, the context of the multiple motion regions cannot be specified, but the context is broken between all adjacent motion regions. As long as you do not, you can change the order. However, even when two non-adjacent motion areas A and B are adjacent to the same motion area C and have the same context, another motion area D adjacent to the motion area C is still in motion area A. And B are adjacent to each other and have different contexts, the order of the contexts of the motion regions A, B, C, and D is uniquely determined. It should be noted that a known method similar to a method for detecting occlusion of a subject in a video can be employed as a method for determining the order of the order of movement regions.

ここでは、一番背後にある動き領域から順に動き領域番号を付与することとしたが、動き領域番号の大小関係が前後関係を表していさえすればよいので、一番手前にある動き領域から順に動き領域番号を付与してもかまわない。   Here, the motion region numbers are assigned in order from the motion region at the back, but it is only necessary that the size relationship of the motion region numbers represents the context, so that the motion region number from the foremost motion region is in order. A motion area number may be assigned.

また、動きなしと判定された領域に関しては、動き領域判定部30と同様に「−1」を付与する。この値は「−1」に限定する必要はなく、動きありと判定された領域に付与された動き領域番号のいずれとも異なる特定の値でありさえすれば良いが、動き領域番号が正の値であるので、最も大きい負の値である「−1」とするのが望ましい。   Further, “−1” is assigned to the area determined not to move, as in the case of the movement area determination unit 30. This value does not need to be limited to “−1” and may be a specific value different from any of the motion region numbers assigned to the regions determined to have motion, but the motion region number is a positive value. Therefore, it is desirable to set “−1” which is the largest negative value.

また、動きありと判定された領域であっても、隣接するいずれの領域とも異なる動きとなっている領域については、動き領域判定部30と同様に「0」を付与する。この値も「0」に限定する必要はなく、正の値である動き領域番号とも、動きなしと判定された領域番号である「−1」とも容易に区別できる「0」とするのが望ましい。   In addition, even if the region is determined to have motion, “0” is assigned to a region that has a different motion from any of the adjacent regions, similar to the motion region determination unit 30. This value need not be limited to “0”, and is preferably set to “0” that can be easily distinguished from a positive motion region number and a region number “−1” determined to have no motion. .

動き領域番号付与部40は、前記の手順で各領域に付与された動き領域番号を回転中心・回転角算出部50、動き領域間相関値算出部110、動き領域内部境界間相関値算出部120、及び、総動揺エネルギー算出部130へ出力する。   The motion region number assigning unit 40 uses the motion region number assigned to each region in the above procedure as the rotation center / rotation angle calculation unit 50, the motion region correlation value calculation unit 110, and the motion region internal boundary correlation value calculation unit 120. , And the total sway energy calculation unit 130.

<回転中心・回転角算出部>
回転中心・回転角算出部50は、第一のフィルタ部20から出力された補正済み動きベクトルと、動き領域番号付与部40から出力された動き領域番号とを取得し、動き領域番号が前記の「0」と「−1」のいずれでもない画面内の全ての領域において、補正済み動きベクトルを用い、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと実際の補正済み動きベクトルとの二乗誤差(平均二乗誤差)の総和が最小となるときの回転中心及び回転角を算出する。また、回転中心・回転角算出部50は、算出された回転中心及び回転角を回転残差ベクトル算出部60へ出力する。
<Rotation center / rotation angle calculation unit>
The rotation center / rotation angle calculation unit 50 acquires the corrected motion vector output from the first filter unit 20 and the motion region number output from the motion region number assigning unit 40, and the motion region number is the above-described motion region number. In all areas in the screen that are neither “0” nor “−1”, the corrected motion vector is used, the sum of the squares of the magnitude of the motion vector due to the rotation angle is maximized, and the motion vector due to the rotation angle The rotation center and the rotation angle when the sum of the square error (mean square error) between the actual corrected motion vector and the actual corrected motion vector is minimized are calculated. Further, the rotation center / rotation angle calculation unit 50 outputs the calculated rotation center and rotation angle to the rotation residual vector calculation unit 60.

画面の回転中心と動きのある領域の重心とがずれている場合、視聴者は水平方向の線や鉛直方向の線の傾きに注目するため、動きのある全ての領域での回転が同相である場合、視聴者は同相動きの平均を差し引いた後の回転量(回転角に重心までの距離を乗じた値)ではなく、回転量の大きさの二乗の総和がより大きくなる、回転中心を中心とした回転量(回転角に回転中心までの距離を乗じた値)を知覚する。   When the center of rotation of the screen is not aligned with the center of gravity of the moving area, the viewer pays attention to the inclination of the horizontal and vertical lines, so the rotation in all moving areas is in phase. In this case, the viewer is centered on the center of rotation where the sum of the squares of the amount of rotation is greater, not the amount of rotation after subtracting the average of the in-phase motion (the value of the rotation angle multiplied by the distance to the center of gravity) The rotation amount (value obtained by multiplying the rotation angle by the distance to the rotation center) is perceived.

同相回転方向に対する動揺認知量の感度とそれ以外の方向に対する動揺認知量の感度が同一であれば、動きの平均を差し引いた後の回転量と、回転中心を中心とした回転量のどちらを用いたとしても、全ての動き成分の動揺エネルギーの総和である総動揺エネルギーは同じになる。   If the sensitivity of the motion perception amount in the in-phase rotation direction is the same as that of the motion perception amount in other directions, either the rotation amount after subtracting the average of the motion or the rotation amount centered on the rotation center is used. Even if there is, the total shaking energy, which is the sum of the shaking energy of all the movement components, becomes the same.

しかし、実際には図3に示すとおり、同相回転方向に対する動揺認知量の感度は、2Hz以下でそれ以外の方向に対する動揺認知量の感度よりも高くなっているため、動揺として認知される総動揺エネルギーは、動きの平均を差し引いた後の回転量を用いる場合よりも、回転中心を中心とした回転量を用いる場合の方が大きくなる。   However, as shown in FIG. 3, the sensitivity of the perceived amount of motion in the in-phase rotation direction is 2 Hz or less and higher than the sensitivity of the perceived amount of motion in the other directions. The energy is larger when the rotation amount around the rotation center is used than when the rotation amount after subtracting the average of movement is used.

本発明の動揺認知量推定装置1は、前記したとおり、動きの平均を差し引かずに回転中心及び回転角を算出することにより、画面の回転中心と動きのある領域の重心とがずれている場合における動揺認知量の推定精度を高めている。   As described above, the motion recognition amount estimation device 1 according to the present invention calculates the rotation center and the rotation angle without subtracting the average of the motion, so that the center of rotation of the screen is shifted from the center of gravity of the region in which the motion exists. The accuracy of estimating the amount of motion perception is improved.

<回転ベクトル算出部>
回転ベクトル算出部60は、回転中心・回転角算出部50から出力された回転中心及び回転角を取得し、この回転中心及び回転角に基づいて、当該領域の中心における回転方向(回転中心への方向と直交する方向)のベクトルを算出し、当該ベクトルの上下方向成分と左右方向成分との組を回転ベクトルとして回転残差ベクトル算出部70及び第二のフィルタ部80へ出力する。
<Rotation vector calculation unit>
The rotation vector calculation unit 60 acquires the rotation center and rotation angle output from the rotation center / rotation angle calculation unit 50, and based on the rotation center and rotation angle, the rotation direction at the center of the region (to the rotation center). Vector in the direction orthogonal to the direction), and a set of the vertical and horizontal components of the vector is output as a rotation vector to the rotation residual vector calculation unit 70 and the second filter unit 80.

<回転残差ベクトル算出部>
回転残差ベクトル算出部70は、第一のフィルタ部20から出力された補正済み動きベクトルと、回転ベクトル算出部60から出力された回転ベクトルとを取得し、補正済み動きベクトルと回転ベクトルとの差ベクトルを算出し、算出された差ベクトルの上下方向成分と左右方向成分との組を回転残差ベクトルとして、動き領域間相関値算出部110、動き領域内部境界間相関値算出部120、及び、総動揺エネルギー算出部130へ出力する。
<Rotation residual vector calculation unit>
The rotation residual vector calculation unit 70 acquires the corrected motion vector output from the first filter unit 20 and the rotation vector output from the rotation vector calculation unit 60, and calculates the corrected motion vector and the rotation vector. A difference vector is calculated, and a set of a vertical component and a horizontal component of the calculated difference vector is used as a rotation residual vector, and a correlation value calculation unit 110 between motion regions, a correlation value calculation unit 120 between motion region internal boundaries, and And output to the total shaking energy calculation unit 130.

回転残差ベクトルは、径方向(回転中心への方向)成分と、回転ベクトルとは非同相の回転方向成分と、に分解することができる。しかし、図3における径方向成分及び非同相の回転方向成分に対する周波数感度補正は、それぞれの上下方向成分に対して図3の上下方向成分の周波数感度補正を施し、それぞれの左右方向成分に対して図3の左右方向成分の周波数感度補正を施したものと等しいこと明らかになっており、当該周波数感度補正は前記した第一のフィルタ部20によって既に行われているため、改めて補正を施す必要はない。   The rotation residual vector can be decomposed into a radial direction (direction toward the rotation center) component and a rotation direction component that is out of phase with the rotation vector. However, the frequency sensitivity correction for the radial direction component and the non-in-phase rotational direction component in FIG. 3 performs the frequency sensitivity correction of the vertical direction component of FIG. It is clear that the frequency sensitivity correction of the left-right component in FIG. 3 is the same, and the frequency sensitivity correction has already been performed by the first filter unit 20 described above. Absent.

<第二のフィルタ部>
第二のフィルタ部80は、回転ベクトル算出部60から出力された回転ベクトルを取得し、回転ベクトルに周波数相対感度補正を施すことによって補正済み回転ベクトルを得て、得られた補正済み回転ベクトルを総動揺エネルギー算出部130へ出力する。本実施形態において、第二のフィルタ部80は、第三のデジタルフィルタ81を備える。
<Second filter section>
The second filter unit 80 acquires the rotation vector output from the rotation vector calculation unit 60, obtains a corrected rotation vector by performing frequency relative sensitivity correction on the rotation vector, and obtains the corrected rotation vector thus obtained. It outputs to the total shaking energy calculation part 130. In the present embodiment, the second filter unit 80 includes a third digital filter 81.

第三のデジタルフィルタ81は、回転ベクトルの上下方向成分及び左右方向成分のそれぞれに対し、図4に示す動揺認知量の相対感度の周波数特性に相当する同じインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み回転ベクトルの上下方向成分と左右方向成分とを得て、総動揺エネルギー算出部130へ出力する。   The third digital filter 81 performs a digital filter process that convolves and integrates the same impulse response corresponding to the frequency characteristic of the relative sensitivity of the motion perception amount shown in FIG. 4 for each of the vertical and horizontal components of the rotation vector. As a result, an up-down direction component and a left-right direction component of the corrected rotation vector are obtained and output to the total shaking energy calculation unit 130.

ここで、回転ベクトルの周波数感度補正に関して、上下方向成分の感度に対する回転方向成分の相対感度と、左右方向成分の感度に対する回転方向成分の相対感度と、に基づいて、上下方向成分及び左右方向成分に異なる周波数感度補正をするのではなく、径方向成分の感度に対する回転方向成分の相対感度に基づいて、上下方向成分及び左右方向成分に同じ周波数相対感度補正をしている。   Here, regarding the frequency sensitivity correction of the rotation vector, the vertical component and the horizontal component based on the relative sensitivity of the rotational component with respect to the sensitivity of the vertical component and the relative sensitivity of the rotational component with respect to the sensitivity of the horizontal component. However, the same frequency relative sensitivity correction is performed for the vertical component and the horizontal component based on the relative sensitivity of the rotational component to the sensitivity of the radial component.

これは、元のベクトル(すなわち、補正済み動きベクトル)を径方向成分と回転方向成分とに分解し直した場合、元のベクトルの上下方向成分の一部が回転方向ベクトルの左右方向成分となり、元のベクトルの左右方向成分の一部が回転方向ベクトルの上下方向成分になるからである。   This is because when the original vector (that is, the corrected motion vector) is decomposed again into the radial component and the rotational component, a part of the vertical component of the original vector becomes the horizontal component of the rotational vector, This is because part of the horizontal direction component of the original vector becomes the vertical direction component of the rotation direction vector.

回転残差ベクトル算出部70の説明で記したとおり、第一のフィルタ部20による上下方向成分の周波数感度補正と左右方向成分の周波数感度補正によって施された径方向成分の周波数感度補正と同じ周波数感度補正が回転方向成分にも既に施されているため、第三のデジタルフィルタ81によって新たに施すべき補正は、径方向成分の感度に対する回転方向成分の相対感度に基づいた周波数相対感度補正となっている。   As described in the description of the rotation residual vector calculation unit 70, the same frequency as the frequency sensitivity correction of the radial component performed by the frequency sensitivity correction of the vertical component and the frequency sensitivity correction of the horizontal component by the first filter unit 20 Since the sensitivity correction has already been applied to the rotational direction component, the correction to be newly performed by the third digital filter 81 is a frequency relative sensitivity correction based on the relative sensitivity of the rotational direction component to the sensitivity of the radial direction component. ing.

<領域別空間周波数感度補正部>
領域別空間周波数感度補正部90は、領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する前処理として、領域別動きベクトル検出部で画面を分割した領域ごとに、映像の輝度信号に対して図5に示す空間周波数感度補正を施す。また、領域別空間周波数感度補正部90は、局所的な明暗コントラストの影響度を反映するために、空間周波数感度補正が施された映像の輝度信号(明暗コントラストの影響度の反映前)を、当該領域内の映像信号の直流成分の平方根で除すことにより、空間周波数感度補正済み映像信号を得る。また、領域別空間周波数感度補正部90は、得られた空間周波数感度補正済み映像信号(明暗コントラストの影響度の反映後)を空間周波数エネルギー算出部100へ出力する。
<Spatial frequency sensitivity correction unit by region>
The area-specific spatial frequency sensitivity correction unit 90 performs a screen display by the area-specific motion vector detection unit as pre-processing for calculating the energy after the spatial frequency sensitivity correction necessary for correcting the influence of the visibility of the area. For each divided region, the spatial frequency sensitivity correction shown in FIG. Further, the spatial frequency sensitivity correction unit 90 for each region reflects the luminance signal of the image subjected to the spatial frequency sensitivity correction (before reflection of the influence level of the light and dark contrast) in order to reflect the influence level of the local light and dark contrast. By dividing by the square root of the direct current component of the video signal in the region, a spatial frequency sensitivity corrected video signal is obtained. In addition, the spatial frequency sensitivity correction unit 90 for each region outputs the obtained spatial frequency sensitivity corrected video signal (after reflecting the influence level of light and dark contrast) to the spatial frequency energy calculation unit 100.

図5の特性は、水平・垂直・斜めのいずれ方向に対しても同等であるとしても大きな誤差を生じない(正確には斜め方向の高周波域の感度は水平・垂直方向での感度の80%に低減するが、これによる動揺認知量の推定誤差の増加分は0.1ランク未満である)ので、グラフの原点を通る縦軸を中心軸として図5の特性を360°回転させた2次元空間周波数感度特性となる2次元インパルスレスポンスを、映像の輝度信号に対して畳み込み積分することによって空間周波数感度補正を施すことができる。   The characteristics shown in FIG. 5 do not cause a large error even if the characteristics in the horizontal, vertical, and diagonal directions are the same (more precisely, the sensitivity in the high frequency region in the diagonal direction is 80% of the sensitivity in the horizontal and vertical directions). However, the increase in the estimation error of the motion perception amount is less than 0.1 rank), so that the two-dimensional shape obtained by rotating the characteristic of FIG. 5 by 360 ° with the vertical axis passing through the origin of the graph as the central axis Spatial frequency sensitivity correction can be performed by convolving and integrating a two-dimensional impulse response, which is a spatial frequency sensitivity characteristic, with a luminance signal of an image.

<空間周波数エネルギー算出部>
空間周波数エネルギー算出部100は、当該領域において領域別空間周波数感度補正部90から出力された空間周波数感度補正済み映像信号を自乗した値の総和を求めることで、前記した領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する。また、空間周波数エネルギー算出部100は、算出された空間周波数感度補正済みのエネルギーを総動揺エネルギー算出部130へ出力する。
<Spatial frequency energy calculator>
The spatial frequency energy calculation unit 100 obtains the sum of the squared values of the spatial frequency sensitivity corrected video signals output from the regional spatial frequency sensitivity correction unit 90 in the region, thereby affecting the visibility of the region. The energy after the spatial frequency sensitivity correction necessary for correcting the degree is calculated. In addition, the spatial frequency energy calculation unit 100 outputs the calculated energy after the spatial frequency sensitivity correction to the total vibration energy calculation unit 130.

<動き領域間相関値算出部>
動き領域間相関値算出部110は、動き領域番号付与部40及び回転残差ベクトル算出部70からの出力を取得し、これらに基づいて動き領域間相関値を算出する。詳細には、動き領域間相関値算出部110は、動き領域境界における前景領域と背景領域との間の回転残差ベクトルの相関値を求めることで、前景と背景との動揺の相関の影響度に対する補正を行うのに必要となる動き領域間相関値を算出する。また、動き領域間相関値算出部110は、算出された動き領域間相関値を総動揺エネルギー算出部130へ出力する。
<Motion region correlation value calculation unit>
The inter-motion area correlation value calculation unit 110 acquires outputs from the motion area number assigning unit 40 and the rotation residual vector calculation unit 70, and calculates the inter-motion area correlation value based on these outputs. Specifically, the correlation value calculation unit 110 between the motion regions calculates the correlation value of the rotation residual vector between the foreground region and the background region at the boundary of the motion region, thereby determining the degree of influence of the shake correlation between the foreground and the background. A correlation value between motion areas necessary to correct for is calculated. Further, the inter-motion region correlation value calculation unit 110 outputs the calculated inter-motion region correlation value to the total shaking energy calculation unit 130.

本実施形態において、動き領域間相関値算出部110は、領域Aと領域Bとの境界に隣接する領域Aの画素群の動きベクトルの平均すなわち平均動きベクトルをV、領域Aと領域Bとの境界に隣接する領域Bの画素群の動きベクトルの平均すなわち平均動きベクトルをVとしたとき、単位時間(例えば、2〜3秒)における動き領域間相関値Cを、次式によって算出する。
=Σ(V・V)/Σ(‖V‖×‖V‖)
ここで、「・」は内積を表す。
In the present embodiment, the inter-motion area correlation value calculation unit 110 calculates the average motion vector of the pixel group in the area A adjacent to the boundary between the area A and the area B, that is, the average motion vector as V A , and the area A and the area B as When the average motion vector of the pixel group in the region B adjacent to the boundary of the region, that is, the average motion vector is V B , the inter-motion region correlation value C 1 in a unit time (for example, 2 to 3 seconds) is calculated by the following equation: To do.
C 1 = Σ (V A · V B ) / Σ (‖V A ‖ × ‖V B ‖)
Here, “·” represents an inner product.

<動き領域内部境界間相関値算出部>
動揺映像においては、同じ面積でかつ同じ動揺の大きさであっても、領域全体が動揺している場合の方が、領域の境界は動かず内部のみが動揺している場合よりも動揺認知量が大きくなる性質がある。動き領域内部境界間相関値算出部120は、動き領域番号付与部40及び回転残差ベクトル算出部70からの出力を取得し、これらに基づいて動き領域内部境界間相関値を算出する。詳細には、動き領域内部境界間相関値算出部120は、動き領域境界自体の動きベクトルと動き領域内部との間の回転残差ベクトルの相関値を求めることで、前記した性質を反映する補正を施すのに必要になる動き領域内部境界間相関値を得て、総動揺エネルギー算出部130へ出力する。
<Motion region inner boundary correlation value calculation unit>
In a swaying image, even if the area is the same and the size of the swaying, the amount of perception of motion is greater when the entire region is swaying than when only the interior is swaying without moving the boundary of the region. Has the property of becoming larger. The motion region inner boundary correlation value calculation unit 120 acquires outputs from the motion region number assigning unit 40 and the rotation residual vector calculation unit 70, and calculates a correlation value between the motion region inner boundaries based on these. Specifically, the correlation value calculation unit 120 between the motion region inner boundaries calculates the correlation value of the rotation residual vector between the motion vector of the motion region boundary itself and the motion region, thereby correcting the above-described property. The correlation value between the motion region inner boundaries necessary for performing the above is obtained and output to the total shaking energy calculation unit 130.

本実施形態において、動き領域内部境界間相関値算出部120は、領域Aの最外周(他領域との境界)の画素群の動きベクトルの平均すなわち平均動きベクトルをVA1、領域Aの最外周以外(すなわち内部)の画素群の動きベクトルの平均すなわち平均動きベクトルをVA2としたとき、単位時間(例えば、2〜3秒)における動き領域内部境界間相関値Cを、次式によって算出する。
=Σ(VA1・VA2)/Σ(‖VA1‖×‖VA2‖)
ここで、「・」は内積を表す。
In the present embodiment, the correlation value calculation unit 120 between the motion region inner boundaries is V A1 , which is the average motion vector of the pixel group on the outermost periphery (boundary with another region) of the region A, that is, the outermost periphery of the region A. When the average of the motion vectors of the other pixel groups (that is, inside), that is, the average motion vector is V A2 , the correlation value C 2 between the motion region inner boundaries in a unit time (for example, 2 to 3 seconds) is calculated by the following equation To do.
C 2 = Σ (V A1 · V A2 ) / Σ (‖V A1 ‖ × ‖V A2 ‖)
Here, “·” represents an inner product.

<総動揺エネルギー算出部>
総動揺エネルギー算出部130は、動き領域番号付与部40から出力された各領域の動き領域番号と、回転残差ベクトル算出部70から出力された回転残差ベクトルと、第二のフィルタ部80から出力された補正済み回転ベクトルと、空間周波数エネルギー算出部100から出力された補正済み空間周波数エネルギーと、動き領域間相関値算出部110から出力された動き領域間相関値と、動き領域内部境界間相関値算出部120から出力された動き領域間相関値と、を取得し、動き領域番号付与部40から出力された各領域の動き領域番号に基づいて、正の値を付与された同じ動き領域番号の領域について回転ベクトルの大きさの二乗と、回転残差ベクトルの大きさの二乗の和をそれぞれ算出する。また、総動揺エネルギー算出部130は、算出結果に対して、まず領域の見えやすさの影響度に対する補正として、補正済み空間周波数エネルギーをα乗した値を乗じる処理を施し(α≒0.3のときに誤差が最小になる)、次に前景と背景との動揺の相関の影響度に対する補正として、図6の特性で示される動き領域間相関値に応じた補正値を乗じる処理を施す。また、総動揺エネルギー算出部130は、動き領域間相関値に応じた補正値を乗じたものに対して、さらに、動き領域の境界自体がどの程度領域内部と同期して動揺しているのかによる補正として、図7の特性で示される動き領域内部境界間相関値に応じた補正値を乗じる処理を施すことで個別動揺エネルギーを得た上で、動き領域番号ごとに個別動揺エネルギーの総和を算出した後に、全ての動き領域番号について非線形加算することで、動揺認知量推定値に相当する総動揺エネルギーを算出する。また、総動揺エネルギー算出部130は、算出された総動揺エネルギーを動揺認知量の推定値として不快度推定装置2(図1参照)へ出力する。
<Total shaking energy calculation part>
The total shaking energy calculation unit 130 includes the motion region number output from the motion region number assigning unit 40, the rotation residual vector output from the rotation residual vector calculation unit 70, and the second filter unit 80. Between the corrected rotation vector output, the corrected spatial frequency energy output from the spatial frequency energy calculation unit 100, the correlation value between motion regions output from the correlation value calculation unit 110 between motion regions, and the inner boundary between motion regions The motion area correlation value output from the correlation value calculation unit 120 and the same motion area to which a positive value is assigned based on the motion area number of each area output from the motion area number assignment unit 40 For each number region, the sum of the square of the magnitude of the rotation vector and the square of the magnitude of the rotation residual vector is calculated. In addition, the total shaking energy calculation unit 130 performs a process of multiplying the calculated result by a value obtained by multiplying the corrected spatial frequency energy by α as a correction for the influence of the visibility of the region (α≈0.3). Then, as a correction for the degree of influence of the correlation between the foreground and the background, a process of multiplying a correction value corresponding to the correlation value between the motion areas shown by the characteristics of FIG. 6 is performed. In addition, the total shaking energy calculation unit 130 is multiplied by the correction value corresponding to the correlation value between the motion areas, and further depends on how much the boundary of the motion area itself is shaking in synchronization with the inside of the area. As correction, the individual shake energy is obtained by applying the correction value corresponding to the correlation value between the motion area internal boundaries shown in the characteristics of FIG. 7, and then the sum of the individual shake energy is calculated for each motion area number. After that, the total motion energy corresponding to the motion perception amount estimation value is calculated by performing nonlinear addition on all motion region numbers. The total shaking energy calculation unit 130 outputs the calculated total shaking energy to the discomfort degree estimation device 2 (see FIG. 1) as an estimated value of the shaking recognition amount.

ここで、動き領域番号別動揺エネルギーは、各動き領域番号における個別動揺エネルギーの総和の平方根を用いることとする。その理由は、図1に示す例のように、本発明の動揺認知量推定装置1を用いて不快度を推定する際に不快度推定精度が最も高くなるのは、通常のエネルギーのように振幅の二乗に面積を乗じたものに相当する値を総動揺エネルギーとした場合ではなく、その値の平方根を総動揺エネルギーとした場合であることが明らかになっていることによる。   Here, for the motion region number-specific swing energy, the square root of the sum of the individual swing energy in each motion region number is used. The reason is that, as in the example shown in FIG. 1, when the degree of discomfort is estimated using the motion recognition amount estimation device 1 according to the present invention, the degree of discomfort degree estimation accuracy is the highest as with normal energy. This is because it is clear that the value obtained by multiplying the square of the area by the area is not the total vibration energy, but the square root of the value is the total vibration energy.

総動揺エネルギー算出部130は、全ての動き領域番号について動き領域別動揺エネルギーを非線形加算することによって、動揺認知量推定値に相当する総動揺エネルギーを算出し、出力する。非線形加算の方法は、全ての動き領域番号nの動き領域番号別動揺エネルギーaについて、
(Σa γ1/γ
を計算して行う。
The total shaking energy calculation unit 130 calculates and outputs the total shaking energy corresponding to the shaking recognition amount estimation value by nonlinearly adding the shaking energy for each moving region for all the motion region numbers. The method of nonlinear addition, for another motion area number upset all motion area number n energy a n,
(Σa n γ ) 1 / γ
Calculate and do.

ここで、本発明の動揺エネルギーは通常のエネルギーの平方根となっているので、γ=2とした場合、通常のエネルギーを用いて総動揺エネルギーを算出したことに相当する。
また、γ>1 の場合、γの値が大きいほど、当該非線形加算により得られる総動揺エネルギーは小さくなり、動き領域番号の数が多いほど総動揺エネルギーは小さくなる。
特に、γ≒6 としたときに、複数領域が個別に異なる動揺を示す場合の動揺認知量の推定誤差が最小となることが明らかになっている。
Here, since the vibration energy of the present invention is the square root of normal energy, when γ = 2, it corresponds to the calculation of the total vibration energy using normal energy.
When γ> 1, the larger the value of γ, the smaller the total shaking energy obtained by the nonlinear addition, and the larger the number of motion region numbers, the smaller the total shaking energy.
In particular, when γ≈6, it has been clarified that the estimation error of the perceived amount of motion when the plurality of regions individually show different motion is minimized.

<推定不快度推定装置>
続いて、図1に戻り、不快度推定装置2の特徴抽出部3及び不快度推定部4について説明する。
<Estimated discomfort estimation device>
Next, returning to FIG. 1, the feature extraction unit 3 and the discomfort level estimation unit 4 of the discomfort level estimation device 2 will be described.

<特徴量抽出部>
特徴量抽出部3は、映像信号を取得し、取得された映像信号に基づいて、動揺認知量以外に不快度の要因となる映像の物理的特徴量に抽出し、抽出した物理的特徴量を不快度推定部4へ出力する。動揺認知量以外の不快度の要因となる映像の物理的特徴量としては、空間周波数、時間周波数、色分布、局在率、誘目度等が挙げられる。
<Feature extraction unit>
The feature amount extraction unit 3 acquires a video signal, and extracts the extracted physical feature amount based on the acquired video signal into a physical feature amount of the video that causes discomfort other than the motion recognition amount. Output to the discomfort degree estimation unit 4. Examples of the physical feature amount of the video that causes the discomfort other than the motion recognition amount include a spatial frequency, a temporal frequency, a color distribution, a localization rate, an attractiveness degree, and the like.

<不快度推定部>
不快度推定部4は、動揺認知量推定装置1で推定された動揺認知量と、特徴量抽出部3によって抽出された物理的特徴量とを取得し、非線形な加算・減算・積算等を行うことによって不快度を算出し、ディスプレイ、スピーカ等の外部装置(不快度を利用者へ通知する通知部)へ出力する。
<Discomfort level estimation unit>
The discomfort degree estimation unit 4 acquires the motion recognition amount estimated by the motion recognition amount estimation device 1 and the physical feature amount extracted by the feature amount extraction unit 3, and performs nonlinear addition, subtraction, integration, and the like. Thus, the discomfort level is calculated and output to an external device (notification unit that notifies the user of the discomfort level) such as a display and a speaker.

<動作例>
続いて、本発明の実施形態に係る動揺認知量推定装置1の動作例について、図2ないし図7を参照して説明する。図1の不快度推定装置2の動作例は、本発明の実施形態に係る動揺認知量推定装置1の利用例を示したものなので、ここでは説明の対象外とする。
<Operation example>
Subsequently, an operation example of the motion recognition amount estimation device 1 according to the embodiment of the present invention will be described with reference to FIGS. 2 to 7. Since the operation example of the discomfort degree estimation apparatus 2 in FIG. 1 shows a use example of the motion recognition amount estimation apparatus 1 according to the embodiment of the present invention, it is excluded from the description here.

まず、領域別動きベクトル検出部10が、当該検出部10に対応する領域の映像信号を用いて、映像の時間的に隣接する画像(連続するフレーム)間における動きベクトルを検出し、第一のフィルタ部20へ出力する。続いて、第一のフィルタ部20が、動きベクトルに周波数感度補正を施し、補正済み動きベクトルを動き領域判定部30等へ出力する。   First, the region-specific motion vector detection unit 10 detects a motion vector between temporally adjacent images (continuous frames) of a video using a video signal in a region corresponding to the detection unit 10, Output to the filter unit 20. Subsequently, the first filter unit 20 performs frequency sensitivity correction on the motion vector, and outputs the corrected motion vector to the motion region determination unit 30 or the like.

続いて、動き領域判定部30が、補正済み動きベクトルの大きさが閾値以上である場合に動きありと判定し、動きの有無の判定結果として動き領域番号付与部40へ出力する。続いて、回転ベクトル算出部40が、同じ動き領域に属する領域ごとに、動き領域間の前後関係を反映した動き領域番号を付与し、回転中心・回転角算出部50等へ出力する。   Subsequently, the motion region determination unit 30 determines that there is motion when the magnitude of the corrected motion vector is equal to or greater than the threshold value, and outputs the result to the motion region number assigning unit 40 as a determination result of the presence or absence of motion. Subsequently, the rotation vector calculation unit 40 assigns a motion region number reflecting the front-rear relationship between the motion regions to each region belonging to the same motion region, and outputs the motion region number to the rotation center / rotation angle calculation unit 50 or the like.

続いて、回転中心・回転角算出部50が、全画面における回転中心及び回転角を算出し、回転残差ベクトル算出部60へ出力する。続いて、回転ベクトル算出部60が、回転中心と回転角を用いて各領域における前記回転角による動きベクトルを回転ベクトルとして算出し、回転残差ベクトル算出部70と第二のフィルタ部80へ出力する。   Subsequently, the rotation center / rotation angle calculation unit 50 calculates the rotation center and rotation angle in the entire screen and outputs them to the rotation residual vector calculation unit 60. Subsequently, the rotation vector calculation unit 60 calculates a motion vector based on the rotation angle in each region as a rotation vector using the rotation center and the rotation angle, and outputs the rotation vector to the rotation residual vector calculation unit 70 and the second filter unit 80. To do.

続いて、回転残差ベクトル算出部70が、各領域における前記補正済み動きベクトルと前記回転ベクトルとの残分を回転残差ベクトルとして算出し、動き領域間相関値算出部110、動き領域内部境界間相関値算出部120、及び、総動揺エネルギー算出部130へ出力する。続いて、第二のフィルタ部80が、回転残差ベクトルに対する回転ベクトルの相対感度に相当する周波数感度補正を回転ベクトルに施し、補正済み回転ベクトルを総動揺エネルギー算出部130へ出力する。   Subsequently, the rotation residual vector calculation unit 70 calculates a residual between the corrected motion vector and the rotation vector in each region as a rotation residual vector, and the inter-motion region correlation value calculation unit 110, the motion region internal boundary It outputs to the correlation value calculation part 120 and the total sway energy calculation part 130. Subsequently, the second filter unit 80 performs frequency sensitivity correction corresponding to the relative sensitivity of the rotation vector with respect to the rotation residual vector, and outputs the corrected rotation vector to the total sway energy calculation unit 130.

その一方、領域別空間周波数感度補正部90が、領域別動きベクトル検出部10と同じ領域の映像信号に対して空間周波数感度補正を施し、空間周波数感度補正済み映像信号を空間周波数エネルギー算出部100へ出力する。続いて、空間周波数エネルギー算出部100が、空間周波数感度補正済み映像信号のエネルギーを補正済み空間周波数エネルギーとして算出し、総動揺エネルギー算出部130へ出力する。   Meanwhile, the spatial frequency sensitivity correction unit 90 for each region performs spatial frequency sensitivity correction on the video signal in the same region as the motion vector detection unit 10 for each region, and the spatial frequency sensitivity corrected video signal is converted to the spatial frequency energy calculation unit 100. Output to. Subsequently, the spatial frequency energy calculation unit 100 calculates the energy of the spatial frequency sensitivity corrected video signal as the corrected spatial frequency energy, and outputs it to the total shaking energy calculation unit 130.

その一方で、動き領域間相関値算出部110が、動き領域境界における前景領域と背景領域との間の回転残差ベクトルの相関値を動き領域間相関値として算出し、総動揺エネルギー算出部130へ出力する。さらにその一方で、動き領域内部境界間相関値算出部120が、動き領域境界自体の動きベクトルと動き領域内部との間の回転残差ベクトルの相関値を動き領域内部境界間相関値として算出し、総動揺エネルギー算出部130へ出力する。   On the other hand, the correlation value calculation unit 110 between motion regions calculates the correlation value of the rotation residual vector between the foreground region and the background region at the boundary of the motion region as the correlation value between motion regions, and the total shaking energy calculation unit 130 Output to. On the other hand, the correlation value calculation unit 120 between the motion region inner boundaries calculates the correlation value of the rotation residual vector between the motion vector of the motion region boundary itself and the inside of the motion region as the correlation value between the motion region inner boundaries. And output to the total shaking energy calculation unit 130.

続いて、総動揺エネルギー算出部130が、動き領域番号ごとに動き領域内の各回転残差ベクトルの大きさの二乗と各補正済み回転ベクトルの大きさの二乗の和を求めた個別動揺エネルギーに対し、補正済み空間周波数エネルギー、動き領域間相関値、動き領域内部境界間相関値、に応じて順に補正を施した後、動き領域内で総和を求め、その平方根を動き領域番号ごとの動き領域別動揺エネルギーとした上で、全ての動き領域の動き領域別動揺エネルギーを非線形加算し、動揺認知量推定値に相当する総動揺エネルギーとして出力する。   Subsequently, the total shaking energy calculation unit 130 calculates the individual shaking energy obtained by calculating the sum of the square of the magnitude of each rotation residual vector and the square of the magnitude of each corrected rotation vector for each movement area number. On the other hand, after performing correction in order according to the corrected spatial frequency energy, the correlation value between motion regions, and the correlation value between motion region inner boundaries, the sum is obtained within the motion region, and the square root is calculated for each motion region number. Based on the separate vibration energy, the movement energy of all the movement areas is nonlinearly added and output as the total vibration energy corresponding to the estimated fluctuation perception value.

本発明の実施形態に係る動揺認知量推定装置1は、前記説明中に記したとおり、動揺映像に対する不快度とは1対1に対応するものではないが、動揺認知量推定装置1によって得られた動揺認知量推定値と、映像の物理的特徴量とを用いることで、従来の動揺映像に対する不快度推定装置では達しえなかった水準まで、不快度推定精度を高めうることが期待される。
また、動揺認知量推定装置1によって得られた動揺認知量推定値は、映像コンテンツ製作者が画面動揺を低減するような映像修正を施す際に、不快度の代用指標として使用することも可能である。すなわち、動揺認知量推定装置1は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる画面動揺をどの程度まで低減すべきかの設定目標として、動揺認知量推定値を映像コンテンツ製作者に提示することができるので、制作に要する時間、労力及びコストの削減が図られるだけでなく、供給される映像コンテンツの安全性も高められる。
また、動揺認知量推定装置1が視聴者側で用いられる場合には、画面動揺に関して安全であることを保証せずに制作、流通された映像に対し、視聴前又は視聴中の表示直前に動揺認知量を推定してディスプレイ又はスピーカへ出力することで警告を発することができるので、映像酔いによる健康被害を防止することが可能になる。
As described in the above description, the motion recognition amount estimation device 1 according to the embodiment of the present invention does not have a one-to-one correspondence with the degree of discomfort with the motion video, but is obtained by the motion recognition amount estimation device 1. By using the estimated motion recognition amount and the physical feature amount of the video, it is expected that the accuracy of estimation of discomfort can be improved to a level that cannot be achieved by the conventional device for estimating the discomfort of motion video.
In addition, the estimated motion recognition amount obtained by the motion recognition amount estimation device 1 can also be used as a substitute index for discomfort when the video content producer performs video correction to reduce screen motion. is there. That is, when the motion recognition amount estimation device 1 is used by the video content creator at the production stage, the motion recognition is set as a determination target for determining the quality of the video and to what extent the screen shake included in the video should be reduced. Since the amount estimation value can be presented to the video content producer, not only can the time, labor, and cost required for production be reduced, but also the safety of the supplied video content can be improved.
In addition, when the shake recognition amount estimation device 1 is used on the viewer side, it is shaken before viewing or immediately before display during viewing with respect to a video produced and distributed without guaranteeing that screen shake is safe. Since it is possible to issue a warning by estimating the amount of recognition and outputting it to a display or speaker, it is possible to prevent health damage due to video sickness.

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記動揺認知量推定装置1として機能させる動揺認知量推定プログラムとして具現化することも可能である。あるいは、動揺認知量推定値を心理評価値と線形的に対応するようにするために、前記総動揺エネルギーの対数値を動揺認知量推定値として出力することとしてもよい。また、動揺認知量推定装置1は、不快度推定装置2と一体化された装置としても具現化可能である。また、動揺認知量推定装置1によって推定された動揺認知量は、不快度の推定のみに用いられるものではなく、単独での心理指標又は他の心理指標の元となるものとして利用可能である。   As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, A design change is possible suitably in the range which does not deviate from the summary of this invention. For example, the present invention can be embodied as a motion recognition amount estimation program that causes a computer to function as the motion recognition amount estimation device 1. Alternatively, the logarithmic value of the total motion energy may be output as the motion perception amount estimation value so that the motion perception amount estimation value linearly corresponds to the psychological evaluation value. Further, the motion recognition amount estimation device 1 can be embodied as a device integrated with the discomfort degree estimation device 2. In addition, the motion perception amount estimated by the motion perception amount estimation device 1 is not used only for estimating the degree of discomfort, but can be used as a basis for a single psychological index or another psychological index.

A 不快度推定システム
1 動揺認知量推定装置
2 不快度推定装置
3 特徴量抽出部
4 不快度推定部
10 領域別動きベクトル検出部
20 第一のフィルタ部
21 第一のデジタルフィルタ
22 第二のデジタルフィルタ
30 動き領域判定部
40 動き領域番号付与部
50 回転中心・回転角算出部
60 回転ベクトル算出部
70 回転残差ベクトル算出部
80 第二のフィルタ部
81 第三のデジタルフィルタ
90 領域別空間周波数感度補正部
100 空間周波数エネルギー算出部
110 動き領域間相関値算出部
120 動き領域内部境界間相関値算出部
130 総動揺エネルギー算出部
A discomfort level estimation system 1 motion recognition amount estimation device 2 discomfort level estimation device 3 feature amount extraction unit 4 discomfort level estimation unit 10 region-specific motion vector detection unit 20 first filter unit 21 first digital filter 22 second digital Filter 30 Motion region determination unit 40 Motion region number assigning unit 50 Center of rotation / rotation angle calculation unit 60 Rotation vector calculation unit 70 Rotation residual vector calculation unit 80 Second filter unit 81 Third digital filter 90 Spatial frequency sensitivity by region Correction unit 100 Spatial frequency energy calculation unit 110 Correlation value calculation unit between motion regions 120 Correlation value calculation unit between motion region internal boundaries 130 Total shake energy calculation unit

Claims (5)

映像における動きベクトルに基づいて画面動揺に対する動揺認知量を推定する動揺認知量推定装置であって、
画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出する領域別動きベクトル検出部と、
検出された前記動きベクトルに周波数感度補正を施すことによって補正済み動きベクトルを得る第一のフィルタ部と、
前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する動き領域判定部と、
動きありと判定された前記領域に対して同じ動き領域に属する領域ごとに領域間の前後関係を反映した動き領域番号を付与する動き領域番号付与部と、
前記動き領域番号が付与された全ての前記領域の前記補正済み動きベクトルを用いて、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと前記補正済み動きベクトルとの二乗誤差の総和が最小となるときの回転中心及び回転角を算出する回転中心・回転角算出部と、
前記領域の前記補正済み動きベクトルと前記回転中心及び前記回転角とを用いて、当該領域の回転ベクトルを算出する回転ベクトル算出部と、
前記領域の前記補正済み動きベクトルと前記回転ベクトルとの差分を回転残差ベクトルとして算出する回転残差ベクトル算出部と、
前記回転ベクトルに周波数相対感度補正を施すことによって補正済み回転ベクトルを得る第二のフィルタ部と、
前記映像に対して空間周波数感度補正を施すことによって空間周波数感度補正済み映像信号を得る領域別空間周波数感度補正部と、
前記空間周波数感度補正済み映像信号のエネルギーを算出することで補正済み空間周波数エネルギーを得る空間周波数エネルギー算出部と、
前記動き領域番号が付与された前記領域と前記回転残差ベクトルとに基づいて、前記動き領域の境界における前景領域と背景領域との間の前記回転残差ベクトルの相関値を算出することによって動き領域間相関値を得る動き領域間相関値算出部と、
前記動き領域番号が付与された前記領域と前記回転残差ベクトルとに基づいて、前記動き領域の境界自体の動きベクトルと同じ動き領域内部との間の前記回転残差ベクトルの相関値を算出することによって動き領域内部境界間相関値を得る動き領域内部境界間相関値算出部と、
同じ前記動き領域番号が付与された前記領域ごとに、当該領域内の前記補正済み回転ベクトルの大きさの二乗と前記回転残差ベクトルの二乗の和をそれぞれ求めた個別動揺エネルギーに対し、前記補正済み空間周波数エネルギー、前記動き領域間相関値、前記動き領域内部境界間相関値、に応じて順に補正を施した後、当該動き領域内で補正が施された前記個別動揺エネルギーの総和を求め、求められた前記総和の平方根を動き領域番号ごとの動き領域別動揺エネルギーとした上で、全ての前記動き領域の前記動き領域別動揺エネルギーを非線形加算することによって動揺認知量推定値に相当する総動揺エネルギーを得る総動揺エネルギー算出部と、
を備えることを特徴とする動揺認知量推定装置。
A motion perception amount estimation device that estimates motion perception amount for screen motion based on motion vectors in a video,
For each region obtained by dividing the screen into a plurality of regions, a motion vector detection unit for each region that detects a motion vector between temporally adjacent images of the video,
A first filter unit that obtains a corrected motion vector by performing frequency sensitivity correction on the detected motion vector;
A motion region determination unit that determines that there is motion in the region corresponding to a case where the size of the corrected motion vector is equal to or greater than a threshold;
A motion region number assigning unit that assigns a motion region number reflecting the front-rear relationship between regions for each region belonging to the same motion region with respect to the region determined to have motion;
Using the corrected motion vectors of all the regions to which the motion region numbers are assigned, the sum of the squares of the magnitudes of the motion vectors according to the rotation angle is maximized, and the motion vector according to the rotation angle and the corrected motion are A rotation center / rotation angle calculation unit for calculating the rotation center and rotation angle when the sum of square errors with the vector is minimum;
A rotation vector calculation unit that calculates a rotation vector of the area using the corrected motion vector of the area, the rotation center, and the rotation angle;
A rotation residual vector calculation unit that calculates a difference between the corrected motion vector of the region and the rotation vector as a rotation residual vector;
A second filter unit that obtains a corrected rotation vector by performing frequency relative sensitivity correction on the rotation vector;
A spatial frequency sensitivity correction unit for each region that obtains a spatial frequency sensitivity corrected video signal by performing spatial frequency sensitivity correction on the video,
A spatial frequency energy calculating unit that obtains corrected spatial frequency energy by calculating energy of the spatial frequency sensitivity corrected video signal;
Based on the region to which the motion region number is assigned and the rotation residual vector, motion is calculated by calculating a correlation value of the rotation residual vector between the foreground region and the background region at the boundary of the motion region. A correlation value calculation unit between motion regions for obtaining a correlation value between regions;
Based on the region to which the motion region number is assigned and the rotation residual vector, the correlation value of the rotation residual vector between the motion vector of the boundary of the motion region itself and the same motion region is calculated. A motion region inner boundary correlation value calculating unit that obtains a correlation value between motion region inner boundaries,
For each of the regions to which the same motion region number is assigned, the correction is performed on the individual vibration energy obtained by calculating the sum of the square of the size of the corrected rotation vector and the square of the rotation residual vector in the region. After performing correction in order according to the completed spatial frequency energy, the correlation value between the motion regions, the correlation value between the motion region inner boundaries, and determining the sum of the individual shaking energy corrected within the motion region, The calculated root sum of the sum is used as the motion energy per motion region for each motion region number, and then the motion energy per motion region for all motion regions is nonlinearly added to obtain a total corresponding to the motion perception amount estimation value. A total sway energy calculator to obtain sway energy;
An apparatus for estimating the amount of perception of shaking characterized by comprising:
前記第一のフィルタ部は、
前記動きベクトルの上下方向成分に周波数感度補正を施す第一のデジタルフィルタと、
前記動きベクトルの左右方向成分に前記第一のデジタルフィルタとは異なる周波数感度補正を施す第二のデジタルフィルタと、
を備えることを特徴とする請求項1に記載の動揺認知量推定装置。
The first filter unit is
A first digital filter that performs frequency sensitivity correction on the vertical component of the motion vector;
A second digital filter that performs a frequency sensitivity correction different from that of the first digital filter on the horizontal component of the motion vector;
The motion recognition amount estimation device according to claim 1, comprising:
前記動き領域判定部は、直前の所定時間内に前記閾値以上の前記補正済み動きベクトルがある場合に動きありと判定する
ことを特徴とする請求項1又は請求項2に記載の動揺認知量推定装置。
The motion recognition amount estimation according to claim 1 or 2, wherein the motion region determination unit determines that there is motion when there is the corrected motion vector equal to or greater than the threshold value within a predetermined time immediately before. apparatus.
前記第二のフィルタ部は、前記回転ベクトルに対して、前記第一のフィルタ部によって周波数感度補正が施された他成分との相対感度の周波数特性に対応する周波数相対感度補正を施す第三のデジタルフィルタを備える
ことを特徴とする請求項1から請求項3のいずれか一項に記載の動揺認知量推定装置。
The second filter unit performs a third frequency relative sensitivity correction corresponding to a frequency characteristic of a relative sensitivity with respect to the rotation vector and another component subjected to the frequency sensitivity correction by the first filter unit. The motion recognition amount estimation device according to any one of claims 1 to 3, further comprising a digital filter.
コンピュータを請求項1に記載の動揺認知量推定装置として機能させることを特徴とする動揺認知量推定プログラム。   A motion recognition amount estimation program for causing a computer to function as the motion recognition amount estimation device according to claim 1.
JP2016037070A 2016-02-29 2016-02-29 Sway perception amount estimation device and movement perception amount estimation program Expired - Fee Related JP6647079B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016037070A JP6647079B2 (en) 2016-02-29 2016-02-29 Sway perception amount estimation device and movement perception amount estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016037070A JP6647079B2 (en) 2016-02-29 2016-02-29 Sway perception amount estimation device and movement perception amount estimation program

Publications (2)

Publication Number Publication Date
JP2017156821A true JP2017156821A (en) 2017-09-07
JP6647079B2 JP6647079B2 (en) 2020-02-14

Family

ID=59809709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016037070A Expired - Fee Related JP6647079B2 (en) 2016-02-29 2016-02-29 Sway perception amount estimation device and movement perception amount estimation program

Country Status (1)

Country Link
JP (1) JP6647079B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005084A (en) * 2006-06-21 2008-01-10 Sony Corp Image processor, image processing method, imaging apparatus, and imaging method
JP2014081843A (en) * 2012-10-17 2014-05-08 Nippon Hoso Kyokai <Nhk> Discomfort degree estimation device and discomfort degree estimation program
JP2015106193A (en) * 2013-11-28 2015-06-08 日本放送協会 Fluctuation perception amount estimation device, discomfort degree estimation device and fluctuation perception amount estimation program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005084A (en) * 2006-06-21 2008-01-10 Sony Corp Image processor, image processing method, imaging apparatus, and imaging method
JP2014081843A (en) * 2012-10-17 2014-05-08 Nippon Hoso Kyokai <Nhk> Discomfort degree estimation device and discomfort degree estimation program
JP2015106193A (en) * 2013-11-28 2015-06-08 日本放送協会 Fluctuation perception amount estimation device, discomfort degree estimation device and fluctuation perception amount estimation program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
蓼沼 眞 ほか1名: "一般映像の不快度の推定誤差の低減手法", 映像情報メディア学会技術報告, vol. 39, no. 11, JPN6019048273, 3 March 2015 (2015-03-03), pages 41 - 44, ISSN: 0004172916 *
蓼沼 眞: "動揺映像に対する不快度推定装置の開発", 映像情報メディア学会 2011年年次大会講演予稿集, JPN6019002348, 1 August 2011 (2011-08-01), ISSN: 0004172917 *

Also Published As

Publication number Publication date
JP6647079B2 (en) 2020-02-14

Similar Documents

Publication Publication Date Title
US11501535B2 (en) Image processing apparatus, image processing method, and storage medium for reducing a visibility of a specific image region
US10762649B2 (en) Methods and systems for providing selective disparity refinement
US9875408B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP5370542B1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
WO2016006027A1 (en) Pulse wave detection method, pulse wave detection program, and pulse wave detection device
JP2015035658A (en) Image processing apparatus, image processing method, and imaging apparatus
JP2007310454A (en) Image evaluation device, subject concentration ratio calculation device, image evaluation program, and subject concentration ratio calculation program
JP2013172190A (en) Image processing device and image processing method and program
US20120300115A1 (en) Image sensing device
KR20160050671A (en) Apparatus and method detecting motion mask
US20150227806A1 (en) Object information extraction apparatus, object information extraction program, and object information extraction method
JP6560137B2 (en) Concentration estimation device
JP5325800B2 (en) Image processing device, image photographing device, image display device, and program
JP5911292B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
Mackin et al. The visibility of motion artifacts and their effect on motion quality
JP2013101524A5 (en)
JP5727886B2 (en) Discomfort degree estimation apparatus and discomfort degree estimation program
JP5391145B2 (en) Discomfort degree estimation apparatus and discomfort degree estimation program
JP2017156821A (en) Trembling recognition amount estimation device and trembling recognition amount estimation program
JP5997575B2 (en) Discomfort degree estimation apparatus and discomfort degree estimation program
US20190038129A1 (en) Eye fatigue prediction based on calculated blood vessel density score
JP6867822B2 (en) Discomfort estimation device and discomfort estimation program
JP2018128982A (en) Shaking perception quantity estimation device and shaking perception quantity estimation program
JP2015106192A (en) Discomfort degree estimation device and discomfort degree estimation program
JP6487718B2 (en) Discomfort degree estimation apparatus and discomfort degree estimation program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200114

R150 Certificate of patent or registration of utility model

Ref document number: 6647079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees