JP2014050649A - Feebleness evaluation device, feebleness evaluation method, and program - Google Patents

Feebleness evaluation device, feebleness evaluation method, and program Download PDF

Info

Publication number
JP2014050649A
JP2014050649A JP2012198951A JP2012198951A JP2014050649A JP 2014050649 A JP2014050649 A JP 2014050649A JP 2012198951 A JP2012198951 A JP 2012198951A JP 2012198951 A JP2012198951 A JP 2012198951A JP 2014050649 A JP2014050649 A JP 2014050649A
Authority
JP
Japan
Prior art keywords
fatigue
evaluation
user
video
reference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012198951A
Other languages
Japanese (ja)
Other versions
JP5829590B2 (en
Inventor
Kimiko Kawashima
喜美子 川嶋
Atsushi Okamoto
淳 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012198951A priority Critical patent/JP5829590B2/en
Publication of JP2014050649A publication Critical patent/JP2014050649A/en
Application granted granted Critical
Publication of JP5829590B2 publication Critical patent/JP5829590B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a feebleness evaluation device for evaluating the feebleness of a user viewing a projected image.SOLUTION: A feebleness evaluation device for performing the feebleness evaluation of a user for viewing a projected image, comprises: reference value storage means for storing the value, which is obtained on the basis of organic data acquired from the user having viewed a predetermined image before the user views an object image to be subjected to the feebleness evaluation of the user, as a reference value for the feebleness evaluation; and feebleness evaluation means for comparing the measured value, which is obtained on the basis of organism data acquired from the user viewing the object image, and the reference value stored in the reference value storing means, thereby to evaluate the feebleness of the user viewing the object image and to output the evaluation result.

Description

本発明は、映像サービス提供時の疲労感評価技術に関するものである。   The present invention relates to a technique for evaluating fatigue when providing a video service.

TV、ゲーム端末、携帯端末等で立体映像を観視できる環境が整いつつあり、家庭環境でも容易に観視可能となっている(非特許文献1)。しかしながら、立体映像サービスでは、裸眼モニタや専用メガネ方式のモニタ、あるいは、ヘッドマウントディスプレイ(HMD)を利用して観視可能であるが、立体映像視聴時に体調不良を起こすケースが国民生活センター等に報告され、問題視されている(非特許文献2)。そのため、政府や業界としては適正な観視状況での視聴を推奨している(非特許文献3)。
一方で、生体計測手法を用いて、日々のユーザの健康を経時的に管理する取り組みが進んでいる(非特許文献4)。生体計測手法を用いることで、3D映像視聴中のユーザが感じる疲労感を、リアルタイムに評価することが可能となっている。
An environment in which stereoscopic video can be viewed on a TV, a game terminal, a mobile terminal, or the like is being prepared, and it can be easily viewed in a home environment (Non-Patent Document 1). However, stereoscopic video services can be viewed using a naked eye monitor, a dedicated glasses-type monitor, or a head-mounted display (HMD). It has been reported and regarded as a problem (Non-Patent Document 2). Therefore, the government and the industry recommend viewing in an appropriate viewing situation (Non-patent Document 3).
On the other hand, efforts are being made to manage daily user health over time using biological measurement techniques (Non-Patent Document 4). By using the biological measurement technique, it is possible to evaluate in real time the feeling of fatigue felt by the user viewing the 3D video.

3Dディスプレイ3度目の正直、NIKKEI ELECTRONICS 2008.9.223D display 3rd honesty, NIKKEI ELECTRONICS 2008.9.22 3D映画による体調不良 (http://www.kokusen.go.jp/pdf/n-20100804_2.pdf)Poor physical condition due to 3D movie (http://www.kokusen.go.jp/pdf/n-20100804_2.pdf) 3Dコンソーシアムガイドライン(http://www.3dc.gr.jp/jp/scmt_wg_rep/guide_index.html)3D Consortium Guidelines (http://www.3dc.gr.jp/jp/scmt_wg_rep/guide_index.html) LifeMinder : ウェアラブル健康管理システム(http://ci.nii.ac.jp/naid/110003272519)LifeMinder: Wearable health management system (http://ci.nii.ac.jp/naid/110003272519) Eye-Sensing Displayを用いた眼疲労測定システムの構築と実験的評価(http://hydro.energy.kyoto-u.ac.jp/Lab/ronbun/P_2004/nishimura.pdf)Construction and experimental evaluation of eye fatigue measurement system using Eye-Sensing Display (http://hydro.energy.kyoto-u.ac.jp/Lab/ronbun/P_2004/nishimura.pdf) 三橋 哲雄, "CFF の測定・解析法とテレビ観視者の疲労に関する一検討," 信学論(A), vol. J77-A, no. 12, pp.1768-1776, Dec. 1994.Tetsuo Mitsuhashi, "A Study on Measurement and Analysis of CFF and Fatigue of Television Viewers," IEICE (A), vol. J77-A, no. 12, pp.1768-1776, Dec. 1994. 不二門 尚, "視覚情報処理機構からみた眼精疲労 : 3D映像視聴の影響を中心に," あたらしい眼科, vol.14 no. 9, pp.1295-1299, Sept. 1997.Nao Fujimon, "Eye fatigue from the viewpoint of visual information processing mechanism: focusing on the effects of viewing 3D images," New Ophthalmology, vol.14 no. 9, pp.1295-1299, Sept. 1997. ニコン 分析的画質評価ツールVQ-1200、http://www.nikon-sys.co.jp/products/index_1_0.htmNikon Analytical Image Quality Evaluation Tool VQ-1200, http://www.nikon-sys.co.jp/products/index_1_0.htm NTTエレクトロニクス 映像品質客観評価ソフトウェアQE1000、http://www.ntt-electronics.com/digital_video/products/qe1000/index.htmlNTT Electronics Video Quality Objective Evaluation Software QE1000, http://www.ntt-electronics.com/digital_video/products/qe1000/index.html ソニー 3Dクオリティコントロールソフトウェア MPES-3DQC1 http://www.sony.jp/pro/products/MPES-3DQC1/feature_1.html#L2_10Sony 3D Quality Control Software MPES-3DQC1 http://www.sony.jp/pro/products/MPES-3DQC1/feature_1.html#L2_10 VDT作業による疲労の主観評価値と客観的測定値との相関 http://ci.nii.ac.jp/els/110003676032.pdf?id=ART0004547832&type=pdf&lang=jp&host=cinii&order_no=&ppv_type=0&lang_sw=&no=1333951089&cp=Correlation between subjective evaluation value and objective measurement value of fatigue due to VDT work http://ci.nii.ac.jp/els/110003676032.pdf?id=ART0004547832&type=pdf&lang=jp&host=cinii&order_no=&ppv_type=0&lang_sw=&no= 1333951089 & cp =

映像配信事業者にとって、ユーザに疲労感を感じさせることなく、快適に映像配信サービスを提供することは、ユーザ満足度の高いサービスを提供するために重要なことである。そのため、事前に、映像コンテンツや映像提示モニタ等の品質検査を行い、映像視聴中のユーザの疲労感を評価することが望まれている。しかし、高い精度で疲労感を評価するには、以下のような課題がある。   It is important for a video distribution company to provide a video distribution service comfortably without causing the user to feel tired in order to provide a service with high user satisfaction. For this reason, it is desired to perform quality inspections of video content, a video presentation monitor, and the like in advance to evaluate the user's feeling of fatigue during video viewing. However, in order to evaluate fatigue feeling with high accuracy, there are the following problems.

1つは、リアルタイムに客観的にユーザの疲労感を評価するために、生体計測手法を用いて疲労感を評価する場合、安定して高精度な生体計測は難しく、生体データにノイズがのりやすいという課題である。また、生体データは、映像視聴日のユーザの体調の影響や環境の影響を受けやすいという課題もある。さらに、ユーザが感じている疲労の原因が映像視聴にあるか、そうでないかを切り分けることが困難であるという課題もある。
本発明は上記の点に鑑みてなされたものであり、映像を視聴するユーザの疲労感を高い精度で評価することを可能とする疲労感評価技術を提供することを目的とする。
First, in order to evaluate the user's fatigue feeling objectively in real time, when assessing the fatigue feeling using a biological measurement technique, stable and highly accurate biological measurement is difficult and noise tends to be added to the biological data. It is a problem. Another problem is that biometric data is easily affected by the physical condition of the user on the video viewing date and the environment. In addition, there is a problem that it is difficult to determine whether the cause of fatigue felt by the user is in video viewing or not.
The present invention has been made in view of the above points, and an object of the present invention is to provide a fatigue evaluation technique that enables a user who views a video to evaluate the fatigue of the user with high accuracy.

上記の課題を解決するために、本発明は、映像を視聴するユーザの疲労感評価を行う疲労感評価装置であって、
疲労感評価の対象となる対象映像を前記ユーザが視聴する前に、所定の映像を視聴した前記ユーザから取得した生体データに基づき得られた値を、疲労感評価のための基準値として記憶する基準値記憶手段と、
前記対象映像を視聴する前記ユーザから取得した生体データに基づき得られた計測値と、前記基準値記憶手段に記憶された基準値とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価し、評価結果を出力する疲労感評価手段とを備えたことを特徴とする疲労感評価装置として構成される。
また、本発明は、疲労感評価装置が実行する疲労感評価方法、及びコンピュータを疲労感評価装置として機能させるためのプログラムとして構成することもできる。
In order to solve the above-described problem, the present invention is a fatigue evaluation device that performs fatigue evaluation of a user who views a video,
Before the user views the target video for fatigue evaluation, a value obtained based on the biometric data acquired from the user who viewed the predetermined video is stored as a reference value for fatigue evaluation. Reference value storage means;
Fatigue of the user viewing the target video by comparing the measured value obtained based on the biometric data acquired from the user viewing the target video with the reference value stored in the reference value storage means It is configured as a fatigue evaluation device including fatigue evaluation means for evaluating feeling and outputting an evaluation result.
The present invention can also be configured as a fatigue evaluation method executed by the fatigue evaluation apparatus and a program for causing a computer to function as the fatigue evaluation apparatus.

本発明によれば、映像を視聴するユーザの疲労感を高い精度で評価することを可能とする疲労感評価技術を提供することが可能となる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the fatigue feeling evaluation technique which makes it possible to evaluate the fatigue feeling of the user who views an image | video with high precision.

本発明の実施の形態に係る疲労感評価装置の構成を示す図である。It is a figure which shows the structure of the fatigue feeling evaluation apparatus which concerns on embodiment of this invention. 入力映像制御部1の構成を示す図である。2 is a diagram illustrating a configuration of an input video control unit 1. FIG. 計算部2の構成を示す図である。3 is a diagram illustrating a configuration of a calculation unit 2. FIG. 評価部400の動作例を示すフローチャートである。5 is a flowchart illustrating an operation example of an evaluation unit 400. 生体データ処理部200における瞳孔径データのノイズ除去の一例を示す図である。It is a figure which shows an example of the noise removal of the pupil diameter data in the biometric data processing part. 生体データ処理部200における瞬目の解析精度向上の一例を示す図である。It is a figure which shows an example of the analysis precision improvement of the blink in the biometric data process part. 生体データ処理部200における解析結果例を示す図である。It is a figure which shows the example of an analysis result in the biometric data process part. 映像信号処理部300における解析結果例を示す図である。6 is a diagram illustrating an example of an analysis result in the video signal processing unit 300. FIG. 評価部400の基準値導出処理における動作例を示す図である。It is a figure which shows the operation example in the reference value derivation process of the evaluation part. 評価部400の疲労感評価処理における動作例1を示す図である。It is a figure which shows the operation example 1 in the fatigue feeling evaluation process of the evaluation part. 評価部400の疲労感評価処理における動作例2を示す図である。It is a figure which shows the operation example 2 in the fatigue evaluation process of the evaluation part. 評価部400の疲労感評価処理における動作例3を示す図である。It is a figure which shows the operation example 3 in the fatigue feeling evaluation process of the evaluation part.

以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。   Embodiments of the present invention will be described below with reference to the drawings. The embodiment described below is only an example, and the embodiment to which the present invention is applied is not limited to the following embodiment.

(装置構成、動作概要)
図1は、本発明の実施の形態の係る疲労感評価装置の構成図である。図1に示すように、本実施の形態に係る疲労感評価装置は、入力映像制御部1と計算部2を有する。また、図1には記載されていないが、疲労感評価装置には映像を再生する再生装置と、ユーザの生体データを取得するための生体センサが接続されている。
(Outline of device configuration and operation)
FIG. 1 is a configuration diagram of a fatigue evaluation apparatus according to an embodiment of the present invention. As shown in FIG. 1, the fatigue evaluation apparatus according to the present embodiment includes an input video control unit 1 and a calculation unit 2. Although not shown in FIG. 1, the fatigue evaluation apparatus is connected with a playback apparatus that plays back video and a biosensor for acquiring user biometric data.

図2に、入力映像制御部1の構成図を示す。図2に示すように、入力映像制御部1は、テスト映像記憶部20とスイッチ10を有する。図3に、計算部2の構成図を示す。図3に示すように、計算部2は、生体データ取得部100、生体データ処理部200、映像信号処理部300、評価部400、及び基準値記憶部500を有する。   FIG. 2 shows a configuration diagram of the input video control unit 1. As shown in FIG. 2, the input video control unit 1 includes a test video storage unit 20 and a switch 10. In FIG. 3, the block diagram of the calculation part 2 is shown. As illustrated in FIG. 3, the calculation unit 2 includes a biological data acquisition unit 100, a biological data processing unit 200, a video signal processing unit 300, an evaluation unit 400, and a reference value storage unit 500.

以下、上記の構成を有する疲労感評価装置の動作の概要を説明する。   Hereinafter, an outline of the operation of the fatigue evaluation apparatus having the above configuration will be described.

ユーザは疲労感評価装置に対し、リモコンなどを用いて要求を入力する。この要求は、基準値導出の要求と疲労感評価実施の要求のうちのいずれかである。ユーザからの要求が疲労感評価装置に入力されると、入力映像制御部1(図2)では、要求に応じてテスト映像か外部入力映像のどちらかを選択し、計算部2と再生装置に映像信号を出力する。   The user inputs a request to the fatigue evaluation apparatus using a remote controller or the like. This request is one of a request for deriving a reference value and a request for performing fatigue evaluation. When a request from the user is input to the fatigue evaluation device, the input video control unit 1 (FIG. 2) selects either a test video or an external input video according to the request, and sends it to the calculation unit 2 and the playback device. Output video signal.

図3に示すように、計算部2は、ユーザからの要求、入力映像制御部1からの映像信号の入力、及び外部の生体センサからの入力を受ける。計算部2に入力された映像信号は、映像信号処理部300において解析され、解析結果は評価部400に入力される。   As shown in FIG. 3, the calculation unit 2 receives a request from a user, an input of a video signal from the input video control unit 1, and an input from an external biosensor. The video signal input to the calculation unit 2 is analyzed by the video signal processing unit 300, and the analysis result is input to the evaluation unit 400.

生体データ取得部100は、生体センサからの信号を入力とし、生体データを計測する。生体データ取得部100における計測結果は、生体データ処理部200において解析され、解析結果が評価部400に入力される。   The biometric data acquisition unit 100 receives a signal from a biometric sensor as input and measures biometric data. The measurement result in the biometric data acquisition unit 100 is analyzed in the biometric data processing unit 200, and the analysis result is input to the evaluation unit 400.

評価部400では、ユーザからの要求に応じて、基準値導出処理、もしくは疲労感評価処理を行う。疲労感評価処理では、生体データ処理部200の解析結果、映像信号処理部300の解析結果、及び、基準値導出処理で導出された基準値記憶部500の基準値を基に、映像視聴中のユーザの疲労感評価を実行し、評価結果を要求者に回答する。これにより、映像視聴中のユーザの疲労感評価が実現できる。   The evaluation unit 400 performs a reference value derivation process or a fatigue feeling evaluation process in response to a request from the user. In the fatigue evaluation process, the user is viewing a video based on the analysis result of the biological data processing unit 200, the analysis result of the video signal processing unit 300, and the reference value of the reference value storage unit 500 derived by the reference value deriving process. The user's fatigue evaluation is executed, and the evaluation result is returned to the requester. As a result, fatigue evaluation of the user who is viewing the video can be realized.

一例として、本実施の形態に係る疲労感評価装置における計算部2は、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、計算部2の各部が有する機能は、当該計算部2を構成するコンピュータに内蔵されるCPUやメモリ、ハードディスクなどのハードウェア資源を用いて、各部で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。   As an example, the calculation unit 2 in the fatigue evaluation apparatus according to the present embodiment can be realized by causing a computer to execute a program describing the processing contents described in the present embodiment. In other words, the functions of each unit of the calculation unit 2 execute programs corresponding to the processes performed by the respective units using hardware resources such as a CPU, memory, and hard disk built in the computer constituting the calculation unit 2. This can be realized by doing so. The above-mentioned program can be recorded on a computer-readable recording medium (portable memory or the like), stored, or distributed. It is also possible to provide the program through a network such as the Internet or electronic mail.

なお、上記コンピュータ内に入力映像制御部1を備えることで、上記コンピュータにより本実施の形態に係る疲労感評価装置を実現してもよいし、計算部2となるコンピュータと、入力映像制御部1となる装置(コンピュータ等)を組み合わせることで疲労感評価装置を実現してもよい。また、計算部2自体を疲労感評価装置とし、基準値を別の装置で求め、計算部2における基準値記憶部500に基準値を予め格納しておくという構成も可能である。   In addition, by providing the input video control unit 1 in the computer, the fatigue evaluation apparatus according to the present embodiment may be realized by the computer, or the computer serving as the calculation unit 2 and the input video control unit 1 A fatigue evaluation device may be realized by combining the following devices (computer or the like). Further, it is possible to employ a configuration in which the calculation unit 2 itself is a fatigue evaluation device, the reference value is obtained by another device, and the reference value is stored in the reference value storage unit 500 in the calculation unit 2 in advance.

(動作詳細)
以下、本実施の形態に係る疲労感評価装置における各部の動作を詳細に説明する。
(Operation details)
Hereinafter, the operation of each part in the fatigue evaluation apparatus according to the present embodiment will be described in detail.

<入力映像制御部1>
図2に示す入力映像制御部1では、入力された要求に応じて、スイッチ10で映像信号の切り替えを行う。入力された要求が基準値導出の要求の場合には、スイッチ10はテスト映像記憶部20と接続し、再生装置及び計算部2に対し、テスト映像信号を出力する。この場合、再生装置からテスト映像が出力され、ユーザはテスト映像を視聴する。一方、入力された要求が疲労感評価実施の要求の場合には、スイッチ10は、疲労感評価の対象となる映像を再生する再生装置と接続し、計算部2に対し、再生装置の映像信号を出力する。この場合、ユーザは疲労感評価の対象となる映像を視聴する。
<Input video control unit 1>
In the input video control unit 1 shown in FIG. 2, the video signal is switched by the switch 10 in response to the input request. When the input request is a reference value derivation request, the switch 10 is connected to the test video storage unit 20 and outputs a test video signal to the playback device and the calculation unit 2. In this case, a test video is output from the playback device, and the user views the test video. On the other hand, if the input request is a request for performing fatigue feeling evaluation, the switch 10 is connected to a playback apparatus that plays back an image that is subject to fatigue evaluation, and the video signal of the playback apparatus is transmitted to the calculation unit 2. Is output. In this case, the user views a video that is subject to fatigue evaluation.

テスト映像記憶部20にはテスト映像が保存されている。テスト映像は、例えば「画面全体が白い映像と画面全体が黒い映像を切り替えた映像」、「動きの速いシーンを含んだ映像」などである。   A test video is stored in the test video storage unit 20. The test video is, for example, “video in which the entire screen is switched between white video and video in which the entire screen is black”, “video including a fast-moving scene”, or the like.

<計算部2:評価部400>
評価部400の動作フローを図4に示す。図4に示すように、評価部400では、入力された要求に応じて、基準値導出処理、疲労感評価処理の処理を行う。すなわち、入力された要求が基準値導出の要求の場合(ステップ1のYes)には、基準値導出処理を実行する(ステップ2)。ステップ2の基準値導出処理ではユーザの瞬目や瞳孔反応などの基準値を導出し、導出結果を基準値記憶部500に保存する。
<Calculation unit 2: Evaluation unit 400>
The operation flow of the evaluation unit 400 is shown in FIG. As shown in FIG. 4, the evaluation unit 400 performs a reference value deriving process and a fatigue feeling evaluation process in accordance with the input request. That is, when the input request is a reference value derivation request (Yes in step 1), a reference value derivation process is executed (step 2). In the reference value derivation process in step 2, a reference value such as the user's blink or pupil reaction is derived, and the derivation result is stored in the reference value storage unit 500.

入力された要求が疲労感評価実施の要求の場合(ステップ1のNo)で、かつ、すでに基準値導出の要求を実施している場合(基準値記憶部500にデータが保存されている場合)(ステップ3のYes)には、疲労感評価処理を実行する(ステップ4)。ステップ4の疲労感評価処理では、生体データ処理部200の解析結果と映像信号処理部300の解析結果、及び基準値記憶部500の基準値を基に、映像視聴中のユーザの疲労感を評価する。疲労感評価実施の要求の場合(ステップ1のNo)で、かつ、基準値導出の要求を実施していない場合(基準値記憶部500にデータが保存されていない場合)(ステップ3のNo)には、評価部400において、基準値導出処理と疲労感評価処理の順に実行し、疲労感を評価する(ステップ5)。   When the input request is a request for fatigue evaluation (No in Step 1) and when a request for deriving a reference value has already been performed (when data is stored in the reference value storage unit 500) For (Yes in Step 3), fatigue evaluation processing is executed (Step 4). In the fatigue feeling evaluation process in step 4, the fatigue feeling of the user who is viewing the video is evaluated based on the analysis result of the biological data processing unit 200, the analysis result of the video signal processing unit 300, and the reference value of the reference value storage unit 500. To do. In the case of a request for fatigue evaluation (No in Step 1) and in the case where a request for derivation of a reference value is not performed (when data is not stored in the reference value storage unit 500) (No in Step 3) The evaluation unit 400 executes the reference value deriving process and the fatigue feeling evaluation process in this order to evaluate the fatigue feeling (step 5).

<計算部2:生体データ取得部100>
生体データ取得部100は、疲労により変化する生体情報を取得するために、映像視聴中のユーザの生体情報を各種生体センサを用いて計測する。つまり、生体データ取得部100には各種生成センサが接続されており、生体データ取得部100は各種生成センサにより得られた生体データを取得する。
<Calculation unit 2: Biometric data acquisition unit 100>
The biometric data acquisition unit 100 measures biometric information of a user who is viewing a video using various biometric sensors in order to acquire biometric information that changes due to fatigue. That is, various generation sensors are connected to the biometric data acquisition unit 100, and the biometric data acquisition unit 100 acquires biometric data obtained by the various generation sensors.

例えば、非特許文献5に記されているように、疲労すると瞬目や瞳孔径の挙動が変化することが知られている。そのため、瞬目や瞳孔径の挙動を捉えるために、眼球運動計測装置や眼電図(眼電信号の波形)で計測を行う。眼球運動計測装置や眼電図で瞬目や瞳孔径の挙動を捉えること自体は従来技術である。なお、脳波計測データから瞬目を抽出したり、カメラでユーザの眼球を撮影して瞬目や瞳孔径を捉えることもでき、これらの手法で瞬目や瞳孔径データを生体データとして取得することも可能である。さらに、疲労すると臨界融合周波数が低下すること(非特許文献6)や調節応答が変化すること(非特許文献7)等も知られており、疲労により変化する生体情報として、これらを計測することとしてもよい。なお、生体データ取得部100が取得可能な疲労により変化する生体情報はこれらに限られるわけではない。   For example, as described in Non-Patent Document 5, it is known that the behavior of blinking and pupil diameter changes when fatigued. Therefore, in order to capture the behavior of blinks and pupil diameter, measurement is performed with an eye movement measurement device or an electrooculogram (waveform of an electrooculogram signal). It is conventional technology to capture the behavior of blinks and pupil diameters with an eye movement measuring device or an electrooculogram. In addition, blinks can be extracted from EEG measurement data, or the user's eyeballs can be captured with a camera to capture blinks and pupil diameter, and blink and pupil diameter data can be acquired as biometric data using these techniques. Is also possible. Furthermore, it is also known that the critical fusion frequency decreases when fatigued (Non-Patent Document 6), the regulatory response changes (Non-Patent Document 7), and the like, and these are measured as biological information that changes due to fatigue. It is good. The biometric information that changes due to fatigue that can be acquired by the biometric data acquisition unit 100 is not limited thereto.

<計算部2:生体データ処理部200>
生体データ処理部200は、生体データ取得部100の計測結果を受けてデータ処理を行う。生体データには大きなノイズがのることが知られている。例えば、瞳孔径変動に関して、図5上段に示したように、大きなノイズがのってしまうことがある。精度のよいデータとするためにはノイズ除去が必要である。具体的には、映像視聴中のユーザの視線位置は、左右眼で大きくずれることはないことから、左右眼の視線位置データのうち、片眼の視線がモニタよりも外側を向いている場合には、その時刻のデータを除去するといった方法がある。
<Calculation unit 2: Biometric data processing unit 200>
The biological data processing unit 200 receives the measurement result of the biological data acquisition unit 100 and performs data processing. It is known that a large amount of noise is present in biometric data. For example, as shown in the upper part of FIG. Noise removal is necessary to obtain highly accurate data. Specifically, the user's line-of-sight position during video viewing does not deviate significantly between the left and right eyes, so when one-eye line of sight position data of the left and right eyes is pointing outward from the monitor. There is a method of removing data at that time.

また、映像視聴中の左右眼は同じ輝度の映像を見ていること、湿度などの外界の影響も同一であることから、両眼の瞳孔径の大きさが極端に異なることはないため、左右眼の瞳孔径のサイズ(2つの生体データの例である)を比較し、極端に大きさに差異がある場合にはその時刻のデータを除去するという方法でノイズを除去することが可能である(図5下段)。なお、この場合の生体データ処理部200での処理にあたっては、例えば、左右眼の瞳孔径のサイズの差異が予め定めた閾値よりも大きい場合に、その時刻のデータを除去するという処理を行う。   In addition, since the left and right eyes watching the video are watching the same brightness and the influence of the external environment such as humidity is the same, the pupil diameters of both eyes are not extremely different. It is possible to remove noise by comparing the size of the pupil diameter of the eye (which is an example of two biological data) and removing the data at that time if there is an extreme difference in size. (Bottom of FIG. 5). In this case, when the biometric data processing unit 200 performs the process, for example, when the difference in the size of the pupil diameter between the left and right eyes is larger than a predetermined threshold value, the process of removing the data at that time is performed.

瞬目に関して、瞳孔径サイズや眼電図から検出することが考えられるが、本実施の形態では、両者(2つの生体データの例である)を利用することで精度向上を狙う。例えば、眼電図はまぶたに直接電極を貼付して眼筋の動きを直接計測するため精度よく計測できるが、長い瞬目(1回)の場合、眼を閉じたときと開いたときに筋活動が発生するため、2回と誤検出することがあるというデメリットがある(図6上段)。そのため、眼電図のデータと瞳孔径のサイズを比較して解析することで、瞬目の検出精度を上げることができる(図6下段)。図6に示す例では、眼電図において瞬目と判定し得る2回の波形の山が発生しているが、2回の波形の山の区間において、瞳孔径のデータはほぼ0であり、これは目を閉じていることを示すため、眼電図における2回の波形の山は、1回の瞬目における眼を閉じたときと開いたときに対応すると判断できる。生体データ処理部200は、例えば、眼電図において所定時間間隔内に2回の山が発生したことを検知した場合に、2回の山の時間区間の瞳孔径のデータを参照し、図6下段に示すように瞳孔径がほぼ0であれば、眼電図における2回の山は1回の瞬目であると判定する処理を行う。   Although it is conceivable to detect blinks from the pupil diameter size or electrooculogram, in this embodiment, the accuracy is improved by using both (an example of two biological data). For example, an electrooculogram can be measured with high accuracy because it directly measures the movement of the eye muscles by attaching electrodes directly to the eyelids, but in the case of a long blink (once), the muscles when the eyes are closed and opened Since the activity occurs, there is a demerit that there is a possibility of false detection twice (the upper part of FIG. 6). Therefore, by comparing the electrooculogram data with the size of the pupil diameter, it is possible to improve the detection accuracy of the blink (lower part of FIG. 6). In the example shown in FIG. 6, there are two waveform peaks that can be determined as blinks in the electrocardiogram. In the two waveform peak sections, the pupil diameter data is almost zero. Since this indicates that the eyes are closed, it can be determined that the two waveform peaks in the electrooculogram correspond to when the eyes are closed and opened in one blink. For example, when the biometric data processing unit 200 detects that two peaks have occurred within a predetermined time interval in the electrooculogram, the biological data processing unit 200 refers to the pupil diameter data of the time interval of the two peaks, as shown in FIG. As shown in the lower part, if the pupil diameter is approximately 0, a process of determining that two peaks in the electrocardiogram are one blink.

一方、眼球運動計測装置には、完全に目を閉じていない瞬目を捉えられないというデメリットがある。この場合にも、眼電図のデータと瞳孔径のデータを比較して解析することで、瞬目の検出精度を上げることができる。このように、ノイズ除去手法を施した生体データを利用し、図7に示すように、瞬目の時間間隔や、瞳孔径のサイズ、瞳孔径収縮スピード等を解析し、ノイズが除去された解析結果(計測値)として出力する。   On the other hand, the eye movement measurement device has a demerit that it cannot capture blinks that are not completely closed. Also in this case, by comparing and analyzing the electrooculogram data and the pupil diameter data, the blink detection accuracy can be increased. In this way, using the biological data subjected to the noise removal technique, as shown in FIG. 7, the time interval of the blink, the size of the pupil diameter, the speed of contraction of the pupil diameter, and the like are analyzed, and the analysis from which the noise is removed Output as a result (measured value).

<計算部2:映像信号処理部300>
映像信号処理部300は、入力された映像信号の映像フレーム間の動きベクトル量や、平均輝度変化、3D映像の左右映像の縦方向の画素ずれなどの映像劣化の有無やフリッカの有無を解析する(非特許文献8、9、10)。図8には、映像解析結果の例として、輝度、及び動き量の変化の様子が示されている。
<Calculation unit 2: Video signal processing unit 300>
The video signal processing unit 300 analyzes the motion vector amount between video frames of the input video signal, the average luminance change, the presence or absence of video degradation such as vertical pixel shift of the left and right video of 3D video, and the presence or absence of flicker. (Non-Patent Documents 8, 9, and 10). FIG. 8 shows changes in luminance and motion amount as examples of video analysis results.

<計算部2:評価部400の基準値導出処理>
評価部400の基準値導出処理時は、ユーザの瞬目や瞳孔反応などの基準値を導出する。具体的には、生体データ処理部200における解析結果(図7に例示)と映像信号処理部300における解析結果(図8に例示)とを比較、対応付けし、図9に示すように基準値を導出し、基準値記憶部500に保存する。基準値の種類(項目)は、予め決定しておく。図9に示す例では、基準値として、動き変化のないときの瞬目率、平均瞳孔径サイズ、最大瞳孔径収縮スピード、提示映像の輝度と瞳孔径との関係、提示映像の動き量と瞳孔径変動との関係が示されているが、これらは例であり、基準値はこれらに限られるわけではない。
<Calculation unit 2: Reference value derivation process of evaluation unit 400>
During the reference value derivation process of the evaluation unit 400, reference values such as the user's blink and pupil reaction are derived. Specifically, the analysis result (illustrated in FIG. 7) in the biometric data processing unit 200 and the analysis result (illustrated in FIG. 8) in the video signal processing unit 300 are compared and associated, and the reference value as shown in FIG. Is stored in the reference value storage unit 500. The type (item) of the reference value is determined in advance. In the example illustrated in FIG. 9, as reference values, the blink rate when there is no movement change, the average pupil diameter size, the maximum pupil diameter contraction speed, the relationship between the brightness of the presented video and the pupil diameter, the amount of motion of the presented video and the pupil Although the relationship with the diameter variation is shown, these are examples, and the reference value is not limited to these.

なお、基準値導出処理は、疲労感評価の対象となる映像を視聴する視聴日の体調の影響や視聴環境の影響が基準値に加味されるように、疲労感評価の対象となる映像を視聴する直前に、疲労感評価の対象となる映像を視聴する環境と同じ環境で実行することが望ましい。   Note that the reference value derivation process allows users to watch videos that are subject to fatigue evaluation so that the effects of the physical condition of the viewing date when viewing the images subject to fatigue evaluation and the effects of the viewing environment are added to the reference values. Immediately before, it is desirable to execute in the same environment as the environment for viewing the video for fatigue evaluation.

入力された要求が基準値導出の要求の場合には、テスト映像提示時の映像信号、生体データの解析結果を基に基準値を導出する。入力された要求が疲労感評価実施の要求の場合で、事前に基準値導出の要求を実施していない場合には、外部入力映像視聴時の最初10分間の映像信号及び生体データの解析結果を基に基準値を導出する。この場合、外部入力映像視聴時の最初10分間の映像を「テスト映像」と呼んでもよい。   If the input request is a reference value derivation request, the reference value is derived based on the analysis result of the video signal and the biological data when the test video is presented. If the input request is a request for fatigue assessment execution and the reference value derivation request has not been executed in advance, the analysis results of the video signal and biological data for the first 10 minutes when viewing the external input video are displayed. A reference value is derived on the basis of this. In this case, the first 10 minutes of video when viewing the external input video may be referred to as “test video”.

<計算部2:評価部400の疲労感評価処理>
評価部400の疲労感評価処理時は、映像視聴中のユーザの疲労感評価を実施する。疲労感評価としては、例えば、ユーザが疲労感を感じているか否かを0と1の二値でレベル分けすることや、「疲労感レベル5」のように複数段階で出力することなどが考えられる。本実施の形態では、疲労感を複数段階でレベル分けする。具体的には、最初のレベルを0とし、レベル値が大きくなるほど疲労感が強い状況とする。疲労感レベル導出のための具体的な動作を以下に示す。
<Calculation unit 2: Fatigue evaluation process of evaluation unit 400>
During the fatigue evaluation process of the evaluation unit 400, fatigue evaluation of the user who is viewing the video is performed. As fatigue evaluation, for example, whether the user feels fatigue or not is classified into two levels of 0 and 1, or output in multiple stages such as “fatigue level 5”. It is done. In this embodiment, the feeling of fatigue is divided into a plurality of levels. Specifically, the initial level is set to 0, and the fatigue level increases as the level value increases. Specific operations for deriving the fatigue level are shown below.

疲労感は、映像信号処理部300の解析結果と生体データ処理部200の解析結果、及び基準値記憶部500の基準値を基に評価される。ここでは、瞬目の解析結果に基づき疲労感を検出した場合をa1t = 1 とし、検出しない場合はa1t= 0 とする(t は計測時刻)。瞳孔径の解析結果に基づき疲労感を検出した場合をa2t = 1 とし、検出しない場合は a2t = 0 とする。図9の基準値と比較した結果に基づき疲労感を検出した場合をa3t = 1とし、検出しない場合はa3t = 0とする。また、映像信号処理部300による解析結果に基づいて、提示映像に劣化があることを検出した場合には、bt = 1とし、検出しない場合はbt = 0 とする。疲労感レベルLtは、本実施の形態では、以下のように定義し、この定義に従って評価部400は疲労感レベルLtを算出し、出力する。 The feeling of fatigue is evaluated based on the analysis result of the video signal processing unit 300, the analysis result of the biological data processing unit 200, and the reference value of the reference value storage unit 500. Here, a 1t = 1 is set when fatigue is detected based on the blink analysis result, and a 1t = 0 is set when it is not detected (t is the measurement time). If fatigue is detected based on the pupil diameter analysis result, a 2t = 1; otherwise, a 2t = 0. When a feeling of fatigue is detected based on the result of comparison with the reference value in FIG. 9, a 3t = 1 is set, and when not detected, a 3t = 0 is set. Further, based on the analysis result by the video signal processing unit 300, b t = 1 when it is detected that the presented video is degraded, and b t = 0 when it is not detected. In the present embodiment, the fatigue level L t is defined as follows, and the evaluation unit 400 calculates and outputs the fatigue level L t according to this definition.

Figure 2014050649
なお、上記のようにして疲労感レベルを算出することは一例にすぎない。例えば、基準値記憶部500の基準値を用いた評価のみで疲労感レベルを算出するようにしてもよい。
Figure 2014050649
Note that calculating the fatigue level as described above is merely an example. For example, the fatigue level may be calculated only by using the reference value stored in the reference value storage unit 500.

また、評価部400が、映像信号処理部300の解析結果から提示映像に劣化があると判定した場合には、提示映像を修正する必要がある。そのため、bt = 1の場合には、評価部400がアラームを出力する制御を行うこととする。「アラーム」としては、例えば、疲労感評価装置についているランプを点滅させることや、疲労感評価装置についているスピーカから音を提示することなどが考えられるが、これらに限られるわけではない。なお、評価部400において映像劣化を判定する手段を劣化判定手段と呼び、アラーム出力を制御する手段及びアラームを出す手段(ランプやスピーカなど)をまとめてアラーム出力手段と呼ぶことができる。 Further, when the evaluation unit 400 determines that the presented video is deteriorated from the analysis result of the video signal processing unit 300, it is necessary to correct the presented video. Therefore, when b t = 1, the evaluation unit 400 performs control to output an alarm. Examples of the “alarm” include, but are not limited to, blinking a lamp attached to the fatigue evaluation device and presenting sound from a speaker attached to the fatigue evaluation device. It should be noted that the means for judging video degradation in the evaluation unit 400 is called deterioration judging means, and the means for controlling alarm output and the means for issuing an alarm (lamp, speaker, etc.) can be collectively called alarm output means.

以下、a1t, a2t, a3t, btの算出方法例についてより具体的に説明する。まず、図10、図11を参照して瞬目の解析結果と映像信号処理部300の解析結果の比較について説明する。図10に示すように、瞬目間隔が1秒を下回る状況が1分間続いている(疲労感を検出している)けれども、映像信号処理部300の結果が、映像に異常がないことを示している場合には、映像劣化が原因ではなく、長時間映像視聴、ユーザの視聴環境が原因で、疲労感が生じている可能性がある。そのため、a1t = 1、bt = 0 とし、疲労感レベルLtを1段階上昇させる。 Hereinafter, a calculation method example of a 1t , a 2t , a 3t , and b t will be described in more detail. First, the comparison between the blink analysis result and the analysis result of the video signal processing unit 300 will be described with reference to FIGS. As shown in FIG. 10, although the state where the blink interval is less than 1 second continues for 1 minute (detection of fatigue), the result of the video signal processing unit 300 indicates that there is no abnormality in the video. In such a case, there is a possibility that a feeling of fatigue is caused not by the video deterioration but by the long-time video viewing and user viewing environment. Therefore, a 1t = 1 and b t = 0, and the fatigue level L t is increased by one step.

ここでは、疲労感の検出基準の一例として、「瞬目間隔が1秒を下回る状況が1分間続いた」としているが、これは一例である。本実施の形態の例においては、あらかじめ実験を実施して疲労感検出の閾値、条件等を決定することとしており、「瞬目間隔が1秒を下回る状況が1分間続いた」ことは、このようにして決定した疲労感の検出基準の一例である。   Here, as an example of a criterion for detecting fatigue, “a state where the blink interval is less than 1 second continues for 1 minute” is an example. In the example of the present embodiment, it is assumed that a threshold value, conditions, etc. for fatigue detection are determined by conducting an experiment in advance, and that `` the situation where the blink interval is less than 1 second continued for 1 minute '' It is an example of the detection standard of the fatigue feeling determined in this way.

また、このように疲労感が検出されているときに、図11に示すように、さらに映像信号処理部300の結果が、映像に劣化があったり、動きの速いシーンであったり、映像にフリッカが発生していることを示している場合には、提示している映像が原因でユーザが疲労感を感じている可能性が考えられる。そのため、a1t = 1、bt = 1 とし、この場合においても疲労感レベルLtを上昇させ、アラームを出力する。 In addition, when fatigue is detected in this way, as shown in FIG. 11, the result of the video signal processing unit 300 further indicates that the video is degraded, the scene is fast moving, or the video flickers. In the case where it is indicated that the occurrence of the error has occurred, there is a possibility that the user feels tired due to the presented video. Therefore, a 1t = 1 and b t = 1, and even in this case, the fatigue level L t is increased and an alarm is output.

また、ユーザが3D映像を視聴している場合において、映像信号処理部300の結果が、左右眼映像が水平方向や上下方向にずれている、輝度がずれている、サイズがずれている等の映像劣化があることを示している場合には、これらの提示映像に生じた劣化が原因で瞬目間隔が短くなった(ユーザが疲労感を感じている)という可能性が考えられる。そのため、a1t = 1、bt = 1 とし、疲労感レベルLtを1上昇させ、アラームを上げる。 In addition, when the user is viewing 3D video, the result of the video signal processing unit 300 is that the left and right eye images are shifted in the horizontal direction and the vertical direction, the luminance is shifted, the size is shifted, etc. When it is shown that there is video degradation, there is a possibility that the blink interval has become shorter (the user feels tired) due to the degradation that has occurred in these presentation videos. Therefore, a 1t = 1 and b t = 1 are set, the fatigue level Lt is increased by 1, and the alarm is raised.

さらに、例えば瞬目間隔が10秒を上回る状況が続いた場合には、ユーザが映像を注視しており、疲労しやすい状況にあるため、a1t = 1、bt = 0 とする。ここで、瞬目間隔は10秒と記載したが、これは一例である。前述したとおり、本実施の形態の例においては、あらかじめ実験を実施して決定することとしており、「瞬目間隔10秒」はこのようにして決定された検出基準の一例である。 Further, for example, when the situation where the blink interval exceeds 10 seconds continues, it is assumed that a 1t = 1 and b t = 0 because the user is watching the video and is easily fatigued. Here, the blink interval is described as 10 seconds, but this is an example. As described above, in the example of the present embodiment, it is determined by performing an experiment in advance, and “blink interval 10 seconds” is an example of the detection criterion determined in this way.

一方、瞳孔径に関しては、図12に示すように、瞳孔径サイズ変化と提示映像の輝度変化を比較して、瞳孔径のサイズが輝度変化に応じて変化していない場合には、ユーザが疲労感を感じていることが考えられるため、a2t = 1、bt = 0とし、疲労感レベルLtを1上昇させる。このとき、提示する輝度が高すぎるために、輝度変化に応じて瞳孔径が変化しない場合には、a2t = 1、bt = 1 とし、疲労感レベルLtを1上昇させ、アラームを出力する。瞳孔径サイズの変化スピードが映像の輝度変化スピードに比べて遅い場合には、ユーザが疲労感を感じていることが考えられる。そのためa2t = 1、bt = 0とし、疲労感レベルLtを1上昇させる。また、提示映像の変化に関係がなく、瞳孔径サイズが変動している場合には、ユーザが正しく映像を視聴できていなかったり、ユーザの視聴環境に原因があり疲労感が生じている可能性があるので、a2t = 1、bt = 0とし、疲労感レベルLtを上昇させる。 On the other hand, with regard to the pupil diameter, as shown in FIG. 12, when the pupil diameter size change is compared with the luminance change of the presented video, if the pupil diameter size does not change according to the luminance change, the user is fatigued. Since it is considered that a feeling is felt, a 2 t = 1 and b t = 0, and the fatigue feeling level L t is increased by 1. At this time, if the pupil diameter does not change according to the brightness change because the brightness to be presented is too high, a 2t = 1, b t = 1, and the fatigue level L t is increased by 1 and an alarm is output To do. If the change speed of the pupil diameter size is slower than the brightness change speed of the video, it is possible that the user feels tired. Therefore, a 2t = 1 and b t = 0, and the fatigue level L t is increased by 1. In addition, if the pupil size is fluctuating regardless of the change in the presentation video, the user may not be able to watch the video correctly or the user's viewing environment may cause fatigue. Therefore, a 2t = 1 and b t = 0, and the fatigue level L t is increased.

次に、基準値を用いた評価について説明する。生体データは計測日の体調の影響や視聴環境の影響を受けて大きく変動する。例えば、湿度が低く乾燥している日に視聴している場合には、湿度の高い日に視聴した場合よりも瞬目が多くなる。そのため、本実施の形態では、視聴日の体調の影響や視聴環境の影響が加味された値である基準値記憶部500に記憶された基準値(図9、右図)と、疲労感評価の際の生体データの解析結果(計測値)とを比較することで、視聴日の体調の影響や視聴環境の影響を排除した評価値を得ることとしている。例えば、基準値記憶部500に記憶された瞬目率と、疲労感評価の際の瞬目率とを比較し、後者が前者に対して2割以上増加、もしくは減少している場合には、ユーザの体調が視聴前に比べて悪化していることが考えられる。そのため、a3t = 1、bt = 0とし、疲労感レベルLtを上昇させる。提示映像の輝度変化と瞳孔径変動の関係等に関しても、図9より、提示映像の輝度に対応する瞳孔径サイズを読み取り、計測した瞳孔径サイズと比較し、2割以上増加、もしくは減少している場合には、ユーザの体調が視聴前に比べて悪化していることが考えられる。そのため、a3t = 1、bt = 0とし、疲労感レベルLtを上昇させる。ここでは、疲労感の検出基準の一例として疲労感検出の閾値、条件等を、一例として「2割以上」としているが、前述したとおり、本実施の形態の例においては、あらかじめ実験を実施して決定することとしており、「2割以上」はこのようにして決定された疲労感の検出基準の一例である。 Next, evaluation using a reference value will be described. Biometric data fluctuates greatly under the influence of the physical condition of the measurement date and the viewing environment. For example, when viewing on a dry day with low humidity, there are more blinks than when viewing on a humid day. Therefore, in this embodiment, the reference value (FIG. 9, right figure) stored in the reference value storage unit 500, which is a value that takes into account the influence of the physical condition of the viewing date and the influence of the viewing environment, and the fatigue evaluation By comparing the analysis result (measurement value) of the biological data at the time, an evaluation value that excludes the influence of the physical condition of the viewing date and the influence of the viewing environment is obtained. For example, the blink rate stored in the reference value storage unit 500 is compared with the blink rate at the time of fatigue evaluation, and when the latter is increased or decreased by 20% or more with respect to the former, It is conceivable that the user's physical condition is worse than before viewing. Therefore, a 3t = 1 and b t = 0 are set, and the fatigue feeling level L t is increased. Regarding the relationship between the luminance change of the presented video and the pupil diameter fluctuation, etc., the pupil diameter size corresponding to the brightness of the presented video is read from FIG. 9 and compared with the measured pupil diameter size, it is increased or decreased by 20% or more. If so, it is possible that the user's physical condition is worse than before viewing. Therefore, a 3t = 1 and b t = 0 are set, and the fatigue feeling level L t is increased. Here, as an example of fatigue detection criteria, the fatigue detection threshold, conditions, etc. are set to `` 20% or more '' as an example, but as described above, in the example of this embodiment, an experiment was performed in advance. “20% or more” is an example of the fatigue detection criterion determined in this way.

なお、要求を受け取った後、継続的に疲労感評価を実施するのではなく、映像信号処理部300の解析結果を基に、定常的なシーンでは疲労感評価は実施せず、輝度変化の大きいシーンなどの特徴的なシーンでのみ疲労感評価を実施することとしてもよい。   In addition, after receiving the request, the fatigue feeling evaluation is not performed continuously, but based on the analysis result of the video signal processing unit 300, the fatigue feeling evaluation is not performed in a steady scene, and the luminance change is large. The fatigue evaluation may be performed only in a characteristic scene such as a scene.

(実施の形態のまとめ、効果)
以上説明したように、本実施の形態では、映像視聴中のユーザの生体情報をカメラや各種センサにより計測し、生体データのノイズ除去等の解析を行う。そして、映像視聴前にテスト映像を流し、映像視聴前の生体データを取得しておき、この値を基準として評価することで、映像視聴日の体調の影響や視聴環境の影響を除外する。さらに、視聴映像に原因がある疲労感を評価するために、視聴中の映像信号の解析を行い、映像劣化が検出されればアラームを出力する。このアラームの有無と疲労感評価結果とを比較することで、視聴している映像が疲労感の原因になっていないかどうかを判断できる。
(Summary of the embodiment, effects)
As described above, in the present embodiment, biometric information of a user who is viewing a video is measured by a camera or various sensors, and analysis such as noise removal of biometric data is performed. Then, a test video is played before viewing the video, biometric data before viewing the video is acquired, and this value is evaluated as a reference to exclude the influence of the physical condition of the video viewing date and the influence of the viewing environment. Further, in order to evaluate the fatigue caused by the viewing video, the video signal being viewed is analyzed, and an alarm is output if video degradation is detected. By comparing the presence / absence of the alarm with the fatigue evaluation result, it can be determined whether or not the video being viewed is causing the fatigue.

本実施の形態に係る技術を用いることにより、映像の事前の品質チェックを効率よく実施できるようになる。また、本技術を映像配信システムに組み込めば、映像視聴中のユーザが感じている疲労感の評価結果をリアルタイムに取得できるようになる。この評価結果を利用すれば、視聴映像が原因でユーザが疲労感を感じている場合にはすぐに視聴を中止する、視聴映像が原因ではなく、長時間視聴やユーザの視聴環境が原因でユーザが疲労感を感じている場合には、ユーザに休憩をとるよう促す等の対応をリアルタイムにとることができるようになる。これにより、より安心・安全な3D映像サービスの提供が可能となるので、3D映像サービスの普及が進むことが期待できる。   By using the technique according to the present embodiment, it is possible to efficiently perform a quality check in advance of a video. In addition, if this technology is incorporated into a video distribution system, it is possible to acquire in real time the evaluation results of the feeling of fatigue felt by the user viewing the video. If this evaluation result is used, if the user feels tired due to the viewing video, the user immediately stops viewing. The viewing video is not the cause, but the long viewing time or the user viewing environment When the user feels tired, it is possible to take real-time measures such as prompting the user to take a break. As a result, safer and more secure 3D video services can be provided, and the spread of 3D video services can be expected.

本発明に係る技術は、映像配信サービスに限らず、VDT作業中のユーザの疲労感を評価したい場合に利用することができる。近年、VDT作業者が増え、VDT作業による眼精疲労が増えている(非特許文献11)。そのため、VDT作業中のユーザの生体情報や表示モニタ内容から、ユーザの疲労感を評価し、休憩を促すことが考えられる。
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
The technology according to the present invention is not limited to the video distribution service, but can be used when it is desired to evaluate the user's fatigue during VDT work. In recent years, the number of VDT workers has increased, and eye strain due to VDT work has increased (Non-Patent Document 11). Therefore, it is conceivable that the user's fatigue is evaluated from the user's biological information and display monitor contents during the VDT work, and a break is encouraged.
The present invention is not limited to the above-described embodiments, and various modifications and applications are possible within the scope of the claims.

1…入力映像制御部
2…計算部
10…スイッチ
20…テスト映像記憶部
100…生体データ取得部
200…生体データ処理部
300…映像信号処理部
400…評価部
500…基準値記憶部
t …計測時刻
a1t …瞬目変動から疲労感を検出した結果
a2t …瞳孔径変動から疲労感を検出した結果
a3t …基準値との比較により疲労感を検出した結果
bt …映像信号処理部の解析結果から異常を検出した結果
Lt …疲労感レベル
DESCRIPTION OF SYMBOLS 1 ... Input video control part 2 ... Calculation part 10 ... Switch 20 ... Test video storage part 100 ... Biometric data acquisition part 200 ... Biometric data processing part 300 ... Video signal processing part 400 ... Evaluation part 500 ... Reference value storage part
t… Measurement time
a 1t ... Result of detecting fatigue from blink fluctuation
a 2t ... Result of detecting fatigue from pupil diameter variation
a 3t ... Result of detection of fatigue by comparison with the reference value
b t ... The result of detecting an abnormality from the analysis result of the video signal processor
L t … fatigue level

Claims (7)

映像を視聴するユーザの疲労感評価を行う疲労感評価装置であって、
疲労感評価の対象となる対象映像を前記ユーザが視聴する前に、所定の映像を視聴した前記ユーザから取得した生体データに基づき得られた値を、疲労感評価のための基準値として記憶する基準値記憶手段と、
前記対象映像を視聴する前記ユーザから取得した生体データに基づき得られた計測値と、前記基準値記憶手段に記憶された基準値とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価し、評価結果を出力する疲労感評価手段と
を備えたことを特徴とする疲労感評価装置。
A fatigue evaluation device for evaluating fatigue feeling of a user who views a video,
Before the user views the target video for fatigue evaluation, a value obtained based on the biometric data acquired from the user who viewed the predetermined video is stored as a reference value for fatigue evaluation. Reference value storage means;
Fatigue of the user viewing the target video by comparing the measured value obtained based on the biometric data acquired from the user viewing the target video with the reference value stored in the reference value storage means A fatigue evaluation apparatus comprising: a fatigue evaluation means for evaluating feeling and outputting an evaluation result.
前記疲労感評価手段は、
前記ユーザから生体データを取得する生体データ取得手段と、
前記生体データを比較することにより、前記計測値として、ノイズを除去した計測値を算出する生体データ処理手段と、
前記ノイズを除去した計測値に基づいて、前記ユーザの疲労感を評価する評価手段と
を備えたことを特徴とする請求項1に記載の疲労感評価装置。
The fatigue evaluation means
Biometric data acquisition means for acquiring biometric data from the user;
Biometric data processing means for calculating a measurement value from which noise has been removed as the measurement value by comparing the biometric data;
Evaluation means for evaluating the user's fatigue based on the measurement value from which the noise has been removed;
The fatigue evaluation apparatus according to claim 1, further comprising:
前記ユーザが視聴している前記対象映像の映像信号を解析する映像信号処理手段と、
前記解析された映像信号に基づいて、前記対象映像が劣化しているか否かを判定する劣化判定手段と、
前記劣化判定手段により前記対象映像が劣化していると判定された場合に、アラームを出力するアラーム出力手段と
を更に備えることを特徴とする請求項1又は2に記載の疲労感評価装置。
Video signal processing means for analyzing the video signal of the target video that the user is viewing;
Deterioration determining means for determining whether or not the target video is deteriorated based on the analyzed video signal;
The fatigue evaluation apparatus according to claim 1, further comprising: an alarm output unit that outputs an alarm when the deterioration determination unit determines that the target video is deteriorated.
映像を視聴するユーザの疲労感評価を行う疲労感評価装置が実行する疲労感評価方法であって、
疲労感評価の対象となる対象映像を前記ユーザが視聴する前に、所定の映像を視聴する前記ユーザから生体データを取得し、当該生体データに基づき得られた値を、疲労感評価のための基準値として基準値記憶手段に記憶する基準値取得ステップと、
前記対象映像を視聴する前記ユーザから取得した生体データに基づき得られた計測値と、前記基準値記憶手段に記憶された基準値とを比較することにより、前記対象映像を視聴する前記ユーザの疲労感を評価し、評価結果を出力する疲労感評価ステップと
を備えたことを特徴とする疲労感評価方法。
A fatigue feeling evaluation method executed by a fatigue evaluation apparatus that evaluates fatigue feeling of a user who views a video,
Before the user views the target video subject to fatigue evaluation, biometric data is acquired from the user viewing the predetermined video, and the value obtained based on the biometric data is used for fatigue evaluation. A reference value acquisition step for storing the reference value in the reference value storage means;
Fatigue of the user viewing the target video by comparing the measured value obtained based on the biometric data acquired from the user viewing the target video with the reference value stored in the reference value storage means A fatigue feeling evaluation method comprising: a fatigue feeling evaluation step for evaluating feeling and outputting an evaluation result.
前記疲労感評価ステップは、
前記ユーザから生体データを取得する生体データ取得ステップと、
前記生体データを比較することにより、前記計測値として、ノイズを除去した計測値を算出する生体データ処理ステップと、
前記ノイズを除去した計測値に基づいて、前記ユーザの疲労感を評価する評価ステップと
を備えたことを特徴とする請求項4に記載の疲労感評価方法。
The fatigue evaluation step includes
A biometric data acquisition step of acquiring biometric data from the user;
A biometric data processing step of calculating a measurement value from which noise has been removed as the measurement value by comparing the biometric data;
An evaluation step for evaluating the user's fatigue based on the measurement value from which the noise has been removed;
The fatigue evaluation method according to claim 4, further comprising:
前記ユーザが視聴している前記対象映像の映像信号を解析する映像信号処理ステップと、
前記解析された映像信号に基づいて、前記対象映像が劣化しているか否かを判定する劣化判定ステップと、
前記劣化判定ステップにより前記対象映像が劣化していると判定された場合に、アラームを出力するアラーム出力ステップと
を更に備えることを特徴とする請求項4又は5に記載の疲労感評価方法。
A video signal processing step of analyzing a video signal of the target video that the user is viewing;
A deterioration determination step for determining whether or not the target video is deteriorated based on the analyzed video signal;
The fatigue evaluation method according to claim 4, further comprising: an alarm output step of outputting an alarm when it is determined in the deterioration determination step that the target video is deteriorated.
コンピュータを、請求項1ないし3のうちいずれか1項に記載の疲労感評価装置における各手段として機能させるためのプログラム。   The program for functioning a computer as each means in the fatigue evaluation apparatus of any one of Claims 1 thru | or 3.
JP2012198951A 2012-09-10 2012-09-10 Fatigue evaluation device, fatigue evaluation method, and program Expired - Fee Related JP5829590B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012198951A JP5829590B2 (en) 2012-09-10 2012-09-10 Fatigue evaluation device, fatigue evaluation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012198951A JP5829590B2 (en) 2012-09-10 2012-09-10 Fatigue evaluation device, fatigue evaluation method, and program

Publications (2)

Publication Number Publication Date
JP2014050649A true JP2014050649A (en) 2014-03-20
JP5829590B2 JP5829590B2 (en) 2015-12-09

Family

ID=50609711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012198951A Expired - Fee Related JP5829590B2 (en) 2012-09-10 2012-09-10 Fatigue evaluation device, fatigue evaluation method, and program

Country Status (1)

Country Link
JP (1) JP5829590B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017184996A (en) * 2016-04-05 2017-10-12 渡 倉島 Device and program for determining brain activity amount by enlargement of pupil diameter
JP2018027267A (en) * 2016-08-19 2018-02-22 Kddi株式会社 Image viewer state estimation apparatus, method, and program
KR20180090717A (en) * 2017-02-03 2018-08-13 재단법인 실감교류인체감응솔루션연구단 Noncontact vision-based 3D cognitive fatigue measuring method by using task evoked pupillary response and System using the method
WO2021044249A1 (en) * 2019-09-06 2021-03-11 株式会社半導体エネルギー研究所 Information processing device
WO2022107288A1 (en) * 2020-11-19 2022-05-27 日本電信電話株式会社 Estimation device, estimation method, and estimation program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07255669A (en) * 1994-03-24 1995-10-09 Sony Corp Eye condition detector and indicator
JP2001178679A (en) * 1999-12-22 2001-07-03 Matsushita Electric Works Ltd Pupillometer
WO2009110238A1 (en) * 2008-03-07 2009-09-11 日本電気株式会社 Content delivery system, feature quantity delivery server, client, and content delivery method
JP2011239891A (en) * 2010-05-17 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> Emotional intensity measuring device, emotional intensity measuring method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07255669A (en) * 1994-03-24 1995-10-09 Sony Corp Eye condition detector and indicator
JP2001178679A (en) * 1999-12-22 2001-07-03 Matsushita Electric Works Ltd Pupillometer
WO2009110238A1 (en) * 2008-03-07 2009-09-11 日本電気株式会社 Content delivery system, feature quantity delivery server, client, and content delivery method
JP2011239891A (en) * 2010-05-17 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> Emotional intensity measuring device, emotional intensity measuring method, and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN7015000634; 不二門 尚: '視覚情報処理機構からみた眼精疲労-3D映像視聴の影響を中心に-' あたらしい眼科 Vol.14, No.9, 1997, 第1295-1299頁 *
JPN7015000635; 三橋 哲雄: 'CFF の測定・解析法とテレビ観視者の疲労に関する一検討' 電子情報通信学会論文誌 A Vol. J77-A, No.12, 1994, 第1768-1776頁 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017184996A (en) * 2016-04-05 2017-10-12 渡 倉島 Device and program for determining brain activity amount by enlargement of pupil diameter
JP2018027267A (en) * 2016-08-19 2018-02-22 Kddi株式会社 Image viewer state estimation apparatus, method, and program
KR20180090717A (en) * 2017-02-03 2018-08-13 재단법인 실감교류인체감응솔루션연구단 Noncontact vision-based 3D cognitive fatigue measuring method by using task evoked pupillary response and System using the method
KR101972573B1 (en) 2017-02-03 2019-04-29 상명대학교 산학협력단 Noncontact vision-based 3D cognitive fatigue measuring method by using task evoked pupillary response and System using the method
WO2021044249A1 (en) * 2019-09-06 2021-03-11 株式会社半導体エネルギー研究所 Information processing device
WO2022107288A1 (en) * 2020-11-19 2022-05-27 日本電信電話株式会社 Estimation device, estimation method, and estimation program

Also Published As

Publication number Publication date
JP5829590B2 (en) 2015-12-09

Similar Documents

Publication Publication Date Title
JP4874332B2 (en) Control device for evaluating user response to content
US7556377B2 (en) System and method of detecting eye fixations using adaptive thresholds
JP6282769B2 (en) Engagement value processing system and engagement value processing device
JP5829590B2 (en) Fatigue evaluation device, fatigue evaluation method, and program
KR101766347B1 (en) Concentrativeness evaluating system
US10725534B2 (en) Apparatus and method of generating machine learning-based cyber sickness prediction model for virtual reality content
KR101850101B1 (en) Method for providing advertising using eye-gaze
US20160232561A1 (en) Visual object efficacy measuring device
US10832483B2 (en) Apparatus and method of monitoring VR sickness prediction model for virtual reality content
US11006834B2 (en) Information processing device and information processing method
US20150339539A1 (en) Method and system for determining concentration level of a viewer of displayed content
US20140340531A1 (en) Method and system of determing user engagement and sentiment with learned models and user-facing camera images
KR101835578B1 (en) Concentrativeness evaluating system
WO2018088187A1 (en) Information processing device, information processing method, and program
US20220036427A1 (en) Method for managing immersion level and electronic device supporting same
JP6509712B2 (en) Impression estimation device and program
US10755088B2 (en) Augmented reality predictions using machine learning
US20210233317A1 (en) Apparatus and method of clinical trial for vr sickness prediction based on cloud
WO2022064621A1 (en) Video meeting evaluation system and video meeting evaluation server
KR101869713B1 (en) Method and apparatus for usability test based on brain wave
KR102468345B1 (en) Analysis apparatus and method for cyber sickness of virtual reality contents
JP4970349B2 (en) Visual characteristic analysis method and visual characteristic analysis apparatus
US20220312069A1 (en) Online video distribution support method and online video distribution support apparatus
US20220309937A1 (en) Online video distribution support method and online video distribution support apparatus
KR20190066429A (en) Monitoring apparatus and method for cyber sickness prediction model of virtual reality contents

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151022

R150 Certificate of patent or registration of utility model

Ref document number: 5829590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees