JP2011083379A - 映像酔い耐性評価装置及びプログラム - Google Patents

映像酔い耐性評価装置及びプログラム Download PDF

Info

Publication number
JP2011083379A
JP2011083379A JP2009237608A JP2009237608A JP2011083379A JP 2011083379 A JP2011083379 A JP 2011083379A JP 2009237608 A JP2009237608 A JP 2009237608A JP 2009237608 A JP2009237608 A JP 2009237608A JP 2011083379 A JP2011083379 A JP 2011083379A
Authority
JP
Japan
Prior art keywords
observer
sickness
video
still image
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009237608A
Other languages
English (en)
Other versions
JP5351704B2 (ja
Inventor
Hisaya Morita
寿哉 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2009237608A priority Critical patent/JP5351704B2/ja
Publication of JP2011083379A publication Critical patent/JP2011083379A/ja
Application granted granted Critical
Publication of JP5351704B2 publication Critical patent/JP5351704B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】運動予測がしにくい映像に対する追従性を示す観察者の眼球運動を、映像酔いしやすい人か否かを判定する指標として計測し、観察者の映像酔いしにくさ(映像酔い耐性)を評価するための数値を算出する映像酔い耐性評価装置を提供する。
【解決手段】画面サイズより大きいサイズで所定のパターンの静止画像上で、画面サイズと同じサイズの可視領域を、可視領域移動情報に基づいてランダムに移動させながら、可視領域内の画像を順次取得して、動揺映像を生成し画面に表示する。その動揺映像を見ている観察者の眼球が回転する角度を所定の装置で計測したその計測視角度値と、可視領域の移動量を眼球回転角度で表した期待視角度値との不一致度を観察者の映像酔い耐性を評価するための数値として算出する。
【選択図】図1

Description

本発明は、映像酔い耐性評価装置に関し、特にテレビやコンピュータのモニタで視聴する映像において、映像酔いを引き起こしやすい動揺映像を見ている観察者の、映像酔いしにくさ(映像酔い耐性)を評価する映像酔い耐性評価装置及びプログラムに関するものである。
動揺する映像を観察した時に生じる動揺病のような症状を映像酔いという。動揺病とは、車酔いや船酔いなどの乗物酔いが相当し、主に観察者自身の受動的な運動による前庭系への刺激によって生じることが知られている。一方、映像酔いとは、視覚系への刺激によって酔いが生じるものである。映像酔いは、VR(Virtual Reality)酔いやシミュレータ酔いなどを含む場合もあるが、座っている椅子が動くなどして前庭系への刺激が生じる場合は、映像酔いには含まれず、区別して扱われている。
近年、家庭用のテレビ画面の大型化に伴い、映像酔いの危険性が増加していると言われており、その危険性の防止・低減を図り、どのような映像や視聴環境が映像酔いを引き起こしやすいかについて盛んに研究されている。
映像酔いの程度を評価する手法としては、例えば、SSQ(Simulator Sickness Questionnaire)(非特許文献1)などのような酔いの症状に関連した16の質問項目による主観評価手法や、酔いによる自律神経系の変化を心拍変動の周波数帯域における血圧と心拍数の最大相互相関係数を求めて(非特許文献2)評価する客観評価手法が提案されている。これらの評価手法により、カメラの揺れ、回転、急速なパン、急速なズーム、高速なカメラ移動などの定性的な特徴のあるカメラモーションを多く含む映像は、映像酔いが生じやすいということがわかっている。
また、映像酔いしやすい定性的な特徴量として、ランダムなタイミングで画面全体の運動方向がランダムに変化する映像を見せると、映像酔いする人が増加するといった報告(非特許文献3)や、画面全体の運動方向が予測できない場合は、予測できる場合よりも映像酔いする人が増加するといった報告(非特許文献4)がある。
そして、動揺映像を見ているときの、映像酔いしやすい人と映像酔いしにくい人との眼球運動を計測すると、映像酔いしやすい人の「画面全体の運動成分と眼球運動の運動成分の相互相関」が、映像酔いしにくい人の相互相関と比較して低くなるときがあり、その区間の動揺映像の物理的特徴が映像酔いしやすい特徴であったという報告(非特許文献5)もある。
R.S.Kennedy, N.E.Lane, K.S.Berbaum:"Simulator Sickness Questionnaire: An Enhanced Method for Quantifying Simulator Sickness", The International Journal of Aviation Psychology, 3, 3, pp.203-220(1993) 杉田典大,吉澤誠,田中明,阿部健一,山家智之,仁田新一,"血圧−心拍数間の最大相互相関係数を用いた映像刺激の生体影響評価",ヒューマンインタフェース学会論文誌,vol.4,no.4,pp.227-234(2002) 原澤賢充,松嵜直幸,繁桝博昭,椿郁子,森田寿哉,伊藤崇之,齋藤隆弘,佐藤隆夫,相澤清晴,"映像の運動方向の変化が酔いに与える影響",映像情報メディア学会2005年年次大会,21-3(2005-8) 松嵜直幸,椿郁子,原澤賢充,繁桝博昭,川島尊之,森田寿哉,伊藤崇之,齋藤隆弘,佐藤隆夫,相澤清晴,"映像の動きの視覚的手がかりが映像酔いに及ぼす効果",映像情報メディア学会2004年冬季大会11-3(2004-12) "基準認証研究開発事業 映像の生体安全性評価法の標準化 平成17年度成果報告書",産業技術研究所
しかしながら、従来の方法では、被験者が見た定性的な特徴のある動揺映像は、映像酔いが生じやすい映像であるか否かがわかるに過ぎない。また、同じ動揺映像でも見る人によって映像酔いの程度が異なり、個人差があった。
そして、従来の方法(非特許文献2)では、まず、自己申告により、映像酔いしやすい人と映像酔いしにくい人の2群に分け、映像酔いしやすい人の評価結果に基づいて特徴量の定量化を行っていた。そのため、この特徴量の範囲も個人差によるばらつきが大きいという問題点があった。
この問題は、映像酔いしやすいか否かの判断基準が自己申告によるものである。よって、自己申告ではなく、動揺映像を見た観察者それぞれの映像酔いしやすさを数値で表し、その数値を映像酔いしやすいか否かの判断基準とする必要がある。
また、非特許文献4の報告から、映像酔いしやすい人は、動揺映像中における画面全体の運動を予測することが苦手であるため、運動予測がしにくい動揺映像において、視線が画面全体の運動に追従できない。それゆえに、映像酔いしやすい人は、網膜に動揺映像を安定的に静止して映し出すことができないため、映像酔いを引き起こしやすい(引き起こしている)と考えられる。しかし、運動予測がしにくい動揺映像に対する視線の追従運動(追従特性)を指標として計測し、被験者が映像酔いしやすい人か否かを判定する方法は開示されていない。
本発明は、以上のような問題を解決するためになされたものであり、運動予測がしにくい映像に対する追従性を示す観察者の眼球運動を、映像酔いしやすい人か否かを判定する指標として計測し、観察者の映像酔いしにくさ(映像酔い耐性)を評価するための数値を算出する映像酔い耐性評価装置を提供することを課題とする。
前記課題を解決するために、本発明の請求項1に記載の映像酔い耐性評価装置は、表示装置の画面に表示させた動揺映像を見ている観察者の眼球が回転する角度を計測し、前記観察者の映像酔い耐性を評価するための数値を算出する映像酔い耐性評価装置であって、静止画像記憶手段と、移動情報生成手段と、動揺映像生成手段と、映像表示手段と、視線計測手段と、不一致度算出手段とを備える構成とした。
かかる構成によれば、映像酔い耐性評価装置は、可視領域をランダムに移動させるための可視領域移動情報を生成することで、ランダムに移動する可視領域内の画像を順次取得して、運動予測がしにくい動揺映像を生成する。
また、映像酔い耐性評価装置は、表示装置に表示させた動揺映像を見ている観察者の眼球運動(視線の追従運動)を計測して取得した、前記観察者の眼球が回転した角度を示す計測視角度値と、前記可視領域の移動量を眼球回転角度で表した期待視角度値とから、前記観察者の映像酔い耐性を評価するための数値(不一致度)を算出する。この不一致度は、ある時間区間において、観察者がその時間区間の最初に注視した画面上の位置(注視開始位置)と、観察者が前記時間区間の最後に注視した画面上の位置(注視終了位置)とを算出し、さらに、実際に動揺映像が前記注視開始位置から前記時間区間内に移動した移動先の位置(移動先位置)を算出したときの、前記注視終了位置までの距離と、前記移動先位置までの距離とのずれ量に該当するものである。
当該構成により、運動予測がしにくい映像に対する観察者の眼球が回転した角度を計測することで、観察者の眼球運動のデータを取得し、その眼球の回転角度を映像酔いしやすい人か否かを判定する指標として、観察者の映像酔い耐性を評価するための数値(不一致度)を算出することができる。
また、請求項2に記載の映像酔い耐性評価装置は、請求項1に記載の映像酔い耐性評価装置において、前記静止画像記憶手段に記憶された前記静止画像を生成する前記静止画像生成手段と、前記観察者の観察位置から前記表示装置の画面までの視距離と、前記表示装置の画面サイズとを記憶する実施環境記憶手段とをさらに備え、前記静止画像生成手段は、所定のパターンの静止画像を前記視距離と前記表示装置の画面サイズとに応じて粗細し、前記観察者の観察位置にかかわらず一定の空間周波数成分を有する、前記表示装置の画面サイズより大きいサイズの前記静止画像を生成することを特徴とする。
かかる構成において、映像酔い耐性評価装置は、静止画像生成手段により、表示装置の画面サイズや視距離が異なっても、空間周波数が同じ静止画像を生成する。
請求項3に記載の映像酔い耐性評価装置は、請求項2に記載された映像酔い耐性評価装置において、前記移動情報生成手段が、ランダムなタイミングで前記可視領域の移動方向がランダムに変化する可視領域移動方向情報と、前記視距離と、予め設定された基準眼球回転速度を所定の範囲内でランダムに変位させた規定眼球回転相対速度とから算出した、前記表示装置の画面上を移動する前記可視領域の可視領域移動速度とを含む前記可視領域移動情報を生成することを特徴とする。
かかる構成において、映像酔い耐性評価装置は、ランダムなタイミングで前記可視領域の移動方向がランダムに変化し、さらに、移動速度もランダムに変化する、運動予測がしにくい動揺映像を提供する。
請求項4に記載の映像酔い耐性評価装置は、請求項1ないし請求項3のいずれか1項に記載された映像酔い耐性評価装置において、前記不一致度算出手段が、前記期待視角度値を、単位時間毎に、前記可視領域の移動量と前記視距離とから算出し、前記計測視角度値と前記期待視角度値との差分から単位時間不一致度を算出し、前記動揺映像が表示された時間内の前記単位時間不一致度の総和から前記不一致度を算出することを特徴とする。
かかる構成において、映像酔い耐性評価装置は、可視領域の移動量と視距離とから可視領域の移動先に達するために必要な眼球回転角度を示す期待視角度値を算出し、観察者の眼球運動から算出した実際の眼球の回転角度である計測視角度値と、期待視角度値とを差分して、不一致度を算出する。
請求項4に記載の映像酔い耐性評価装置は、さらに、前記不一致度が大きいほどその観察者の映像酔い耐性は低いとする評価値を算出する映像酔い耐性評価手段と、前記評価値を記憶する評価結果記憶手段とを備えることを特徴とする。
かかる構成において、映像酔い耐性評価装置は、不一致度から観察者の映像酔い耐性を示す評価値を算出し、評価結果記憶手段に多数の観察者の評価値を記憶する。
請求項5に記載の映像酔い耐性評価装置は、請求項4に記載の映像酔い耐性評価装置において、前記視線計測手段により計測された前記計測視角度値が、予め設定された基準眼球回転角度値を越えたときに、跳躍眼球運動が生じたと判定する跳躍運動判定手段を備え、前記不一致度算出手段は、前記跳躍運動判定手段により跳躍眼球運動が生じたと判定されてから、予め設定された所定の時間までの前記単位時間不一致度は算出しないことを特徴とする。
かかる構成において、映像酔い耐性評価装置は、跳躍眼球運動(サッケード)が生じたときの単位時間不一致度を算出しない。
本発明に係る映像酔い耐性評価装置は、以下に示す優れた効果を奏するものである。
請求項1に記載の発明によれば、ある時点での視線計測手段により計測された観察者が画面上を見ている注視位置と、観察者が決めた画像上の注視目標点の位置とのずれ量に該当する不一致度を算出することができる。
このずれ量(不一致度)は、視線の追従運動に係る数値であり、不一致度が小さい観察者は動揺映像を追従できているということになり、逆に、不一致度が大きい観察者は動揺映像を追従できていないこととなる。
よって、映像酔い耐性評価装置により、不一致度が大きい観察者は、映像酔いを引き起こしやすいと判定することができる。
請求項2に記載の発明によれば、部屋の広さや表示装置の画面サイズなどが異なるため、視距離が異なる実施環境であっても、空間周波数が同じ静止画像を生成するため、観察する位置からの見た目が同じ動揺映像を提示することができる。また、観察者の視力を考慮した観察位置に応じて、粗細した動揺映像を画面に表示することができる。そのため、実施環境の影響によるばらつきを抑えることができる。
請求項3に記載の発明によれば、運動予測がしにくい動揺映像を、観察者は観ることになるため、運動予測がしにくい動揺映像に対する視線の追従運動を測定することができる。
請求項4に記載の発明によれば、観察者の眼球運動から算出した実際の眼球の回転角度(計測視角度値)と、可視領域の移動量と視距離とから可視領域の移動先に達するために必要な眼球回転角度(期待視角度値)とから、不一致度を算出することができるため、表示装置の画面上の観察者の実際の視点位置を計算する必要がない。そのため、従来と比べて、観察者の映像酔い耐性を評価するための数値を算出するまでの処理時間を短縮することができる。
請求項4に記載の発明によれば、不一致度から観察者の映像酔い耐性を示す評価値を算出することができる。
また、請求項4に記載の発明を用いて、観察者の評価値と、評価結果記憶手段に記憶された多数の評価値(過去のデータ)とを比較することもできる。
請求項5に記載の発明によれば、映像に対して追従するのではなく主に見るべき対象を変えるときに生じる跳躍眼球運動は、映像酔い耐性評価装置で指標としている動揺映像に対する視線の追従運動と異なる運動であるため、跳躍眼球運動を除いた観察者の眼球運動を計測することができる。
本発明に係る映像酔い耐性評価装置のブロック図である。 (a)短い視距離L1の場合に作成される静止画像を示す図である。(b)長い視距離L2の場合に作成される静止画像を示す図である。 (a)可視領域の移動距離(Ds)と、実際の観察者の視点の移動距離(de)とを示す図である。(b)移動先に達するために必要な眼球回転角度(期待視角度値θs)と、実際の眼球回転角度(計測視角度値θe)とを示す図である。 本発明に係る映像酔い耐性評価装置の処理動作のフローチャートである。
(第1の実施形態)
次に、本発明の第1の実施形態について、適宜、図面を参照しながら詳細に説明する。
[映像酔い耐性評価装置1の構成]
図1は、映像酔い耐性評価装置のブロック図である。この図1に示すように、映像酔い耐性評価装置1は、静止画像生成手段11と、移動情報生成手段12と、動揺映像生成手段13と、映像表示手段14と、視線計測手段15と、不一致度算出手段16と、映像酔い耐性評価手段17と、評価結果記憶手段18と、静止画像記憶手段19と、実施環境記憶手段20とを備える。そして、映像酔い耐性評価装置1は、表示装置2と映像表示可能なように接続され、映像酔い耐性評価装置1は、眼球撮影装置3とデータ取得可能なように接続されている。
観察者Vは、表示装置2の画面の正面で、表示装置2に表示される映像を見ており、観察者Vの観察位置と表示装置2の画面とは、視距離Lだけ離間している。
[表示装置2]
表示装置2は、後記する映像表示手段14から送信される映像を画面に表示する装置であって、例えば、LCD(Liquid Crystal Display)などである。なお、表示装置2は映像酔い耐性評価装置1に内蔵されていてもよい。
[眼球撮影装置3]
眼球撮影装置3は、一般的な眼球運動計測に用いられる強膜反射法や角膜・瞳孔反射法を使い、観察者Vの眼球を撮影する装置であって、観察者Vの眼球を撮影しやすい位置に設置され(例えば、観察者Vの正面に設置する、または、観察者Vがかけたゴーグルに設置するなど)、赤外線を目に照射して赤外線カメラで眼球を撮影する。そして、眼球撮影装置3は、眼球を撮影した眼球画像データを、後記する視線計測手段15に送出する。
[実施環境記憶手段20]
実施環境記憶手段20は、表示装置2に映像を表示するための情報(表示装置2の画面サイズや映像信号変換データなど)や、予め測定された観察者Vの観察位置から表示装置2の画面までの視距離Lなど、実施環境に係る情報(実施環境情報)を記憶する手段である。
この実施環境情報は、予め画面サイズや視距離Lが異なる複数の組み合わせを実施環境記憶手段20に記憶させてもよいし、本発明の利用者が、映像酔い耐性評価装置1と接続された図示しない入力手段(マウスやキーボードなど)を操作して実施環境記憶手段20に記憶させてもよい。この入力手段を操作することで、利用者は視距離Lを自由に変更することが可能となる。
[静止画像生成手段11]
静止画像生成手段11は、実施環境記憶手段20から、表示装置2の画面サイズや、観察者Vの観察位置から表示装置2の画面までの視距離Lなどの実施環境に係る情報を取得し、静止画像を生成し、後記する静止画像記憶手段19に静止画像を記憶させる手段である。
静止画像生成手段11は、視距離Lに基づいて図2に示す静止画像Iを生成する。この静止画像Iのサイズは、表示装置2の画面サイズより十分大きいサイズである。例えば、表示装置2の画面サイズは、図2に示す可視領域Wで示すサイズであり、静止画像Iのサイズは、この可視領域Wが静止画像I上を移動した時に画像のない領域が可視領域Wの領域内にできないように十分広いサイズで生成される。
ここで、静止画像生成手段11は、予め初期パターンの静止画像I(I0)を記憶しておき、そして予め設定された空間周波数となるように視距離Lに基づいて、初期パターンの静止画像I0を拡大または縮小して(粗細して)、静止画像I(I1)を生成する。
<空間周波数>
ここで、空間周波数とは、単位長に含まれる繰り返しパターンの多さを示すものである。そして、視覚の研究において、空間周波数とは、眼球中心からの角度1°に対応する画面(静止画像I)上の長さを単位長として、その単位長に含まれる繰り返しパターン数で示すことができ、単位はcycle/degである。
例えば、図2(a)では、チェッカーボードパターンの黒模様(暗)と白模様(明)との組み合わせを1パターンとして、角度θに対応する静止画像I上の長さに、T個のパターンが含まれる場合の空間周波数はT/θ(cycle/deg)となる。ここで、θ=1°としたとき、つまり、眼球が1°回転したときに、表示装置2の画面上で視点はd1移動する。このとき、図2(a)において、画面上の視点が1周期(cycle)分移動することから、表示装置2に表示された静止画像I1(チェッカーボードパターン)の空間周波数は1cycle/degである。つまり、1cycle/degに設定された空間周波数に基づいて、図2(a)の静止画像I1および図2(b)の静止画像I2は作成されたチェッカーボードパターンである。
ここで、図2を用いて、静止画像生成手段11がチェッカーボードパターンの静止画像Iを生成する例を説明する。
静止画像生成手段11は、d1/T=L1・tan(θ/T)の式を用いて、図2(a)に示すように、θ=1°の時の距離d1に、T=1周期(cycle)分の黒模様と白模様とが配置されるチェッカーボードパターン(静止画像I1)を生成する。
このとき、静止画像生成手段11は、距離d1の値に応じて、初期パターンのチェッカーボードパターン(静止画像I0)を縮小(チェッカーパターンの目を細かく)したり、拡大(チェッカーパターンの目を粗く)したりして、静止画像I1(I2)を生成してもよい。
この静止画像I1(I2)は、この可視領域Wが静止画像I1(I2)上を移動した時に画像のない領域が可視領域Wの領域内にできないような十分広いサイズである。
以上により、図2(a)のように観察者Vの観察位置が表示装置2の画面まで近いとき(視距離Lが短い)は、チェッカーボードの格子を細かくし(静止画像I0を縮小)、また、図2(b)のように画面まで遠いとき(視距離Lが長い)は、チェッカーボードの格子は粗くする(静止画像I0を拡大)ことで、静止画像生成手段11は、視距離Lが異なっても、空間周波数が同じ静止画像I(I1、I2)を生成することができる。
なお、静止画像Iは、図2(a)や(b)に限定されず、視距離Lと空間周波数との関係により任意で生成される。
なお、静止画像生成手段11が生成する静止画像Iは、図2に示すチェッカーボードパターンであってもよいし、ランダムドットパターンであってもよく、予め設定された空間周波数を垂直方向と水平方向とで満たす静止画像であればよい。
また、静止画像Iには観察者Vに注視してもらうための固視点(マーク)を含んでもよい。これにより、固視点を注視目標点とすることができる。また、観察者Vに固視点を見ることを伝達しておくことで、動揺映像提示中に観察者Vが注視するポイントを自由に変えることがなくなるため、注視するポイントを変えたときの眼球の回転運動の測定をなくすことができる。
<ランダムドットパターン>
なお、ランダムドットパターンの静止画像における黒模様と白模様との組み合わせは、観察者の眼球が垂直方向または水平方向に1°回転したときの表示装置2の画面上の視点移動線分上に、空間周波数の数だけ配置され、並びに、視点移動線分が黒模様を通る総距離と、視点移動線分が白模様を通る総距離とが一致するように配置される。このランダムドットパターンの初期パターンの静止画像I0を、静止画像生成手段11は拡大または縮小して、静止画像I(I1)を生成する。
[静止画像記憶手段19]
再び図1に戻る。静止画像記憶手段19は、静止画像生成手段11により生成された静止画像を記憶する手段である。
[移動情報生成手段12]
移動情報生成手段12は、実施環境記憶手段20から、表示装置2の画面サイズや、観察者Vの観察位置から表示装置2の画面までの視距離Lなどの実施環境に係る情報を取得し、可視領域Wと可視領域移動情報とを生成する手段である。
<可視領域Wの生成>
移動情報生成手段12は、表示装置2の画面サイズと同じサイズの可視領域Wを生成する。この可視領域Wの領域内の画像が、後記する映像表示手段14により、表示装置2の画面に表示される。
<可視領域移動速度の生成>
移動情報生成手段12は、予め決められた基準眼球回転角速度ωxを、ランダムなタイミングに、予め決められた範囲の回転角速度ωrで増減させた規定眼球回転相対角速度Δωxを生成する(規定眼球回転相対角速度Δωx=基準眼球回転角速度ωx+予め決められた範囲内の回転角速度ωr)。
ここで、基準眼球回転角速度ωxとは、動揺映像を見ている観察者が映像酔いしやすい眼球回転速度(単位時間当たりの眼球回転角度)であり、角速度(deg/sec)で示される。そして、規定眼球回転相対角速度Δωxとは、基準眼球回転角速度ωxを基準として、移動情報生成手段12が取り得る規定眼球回転相対角速度Δωxの範囲を示すものである。
例えば、予め決められた範囲の回転角速度ωr=-1.0〜+1.0(deg/sec)であり、基準眼球回転角速度ωx=5.0(deg/sec)である場合に、移動情報生成手段12は、あるランダムなタイミングに、予め決められた範囲内の回転角速度ωrで、例えば0.5(deg/sec)だけ変速させた(速度を下げた)規定眼球回転相対角速度Δωx=4.5(deg/sec)を生成する。同様にして、次のランダムなタイミング時に、移動情報生成手段12は、基準眼球回転角速度ωxから予め決められた範囲内の回転角速度ωrで、例えば0.8(deg/sec)だけ変速させた(速度を上げた)規定眼球回転相対角速度Δωx=5.8(deg/sec)を生成する。
そして、移動情報生成手段12は、このランダムなタイミングで速度が変化する規定眼球回転相対角速度Δωxと、観察者Vの観察位置から表示装置2の画面までの視距離L(実施環境記憶手段20に記憶された値)とから、例えば、三角関数を用いて、表示装置2の画面上を移動する可視領域Wの可視領域移動速度Δvを生成する。
<可視領域移動方向情報の生成>
また、移動情報生成手段12は、ランダムなタイミングで可視領域Wの移動方向を、ランダムに変えるための可視領域移動方向情報Rを生成する。この可視領域移動方向情報Rは、0〜360度の任意の角度で示すものである。
なお、可視領域移動方向情報Rは、xy座標平面上でランダムに生成されたx軸方向およびy軸方向の移動速度成分を合成したベクトルで示してもよい。
そして、移動情報生成手段12は、可視領域移動速度Δvと、可視領域移動方向情報Rとを含めた可視領域移動情報を生成する。この可視領域移動情報に基づいて、可視領域Wは、ランダムなタイミングで移動方向を変え、さらにランダムなタイミングで速度を変えて移動する。
ここで、ランダムなタイミングとは、移動速度や移動方向を変えた可視領域Wが、次に移動速度や移動方向を変える時を観察者Vが予測しづらいタイミングであり、例えば、不図示の擬似乱数生成手段が生成した擬似乱数によるものである。
[動揺映像生成手段13]
動揺映像生成手段13は、静止画像記憶手段19から静止画像Iを取得し、さらに、移動情報生成手段12から可視領域Wと、その可視領域Wの移動方向(可視領域移動方向情報R)と移動速度変位(可視領域移動速度Δv)とを含む可視領域移動情報とを取得する。そして、可視領域Wを可視領域移動情報に基づいて、静止画像I上を移動させ、移動中の可視領域Wの領域内(静止画像Iの一部)の画像を順次取得して、映像化した動揺映像を生成する手段である。
ここで、図2(a)を用いて、動揺映像生成手段13が生成する動揺映像について説明する。
動揺映像生成手段13は、まず、可視領域Wを静止画像上の任意の位置に配置する。そして、配置後の可視領域W(W1)の領域内の画像を取得する。次に、動揺映像生成手段13は、可視領域移動情報(移動方向と移動速度)に基づいて、可視領域Wを移動させる。例えば、可視領域WをD1で示す矢印の方向に移動させる。そして、この移動中の可視領域Wの領域内の画像も任意のタイミングで取得する(画像取得処理)。つまり、動揺映像生成手段13は、この画像取得処理を繰り返し、取得した可視領域Wの領域内の画像の連続を映像化して動揺映像を生成する。
[映像表示手段14]
映像表示手段14は、実施環境記憶手段20から表示装置2に映像を表示するための情報(表示装置2の画面サイズや映像信号変換データなど)を取得し、動揺映像生成手段13から取得した動揺映像を表示装置2に表示させる手段である。
[視線計測手段15]
視線計測手段15は、眼球撮影装置3から眼球画像データを取得して、瞳孔の位置を抽出し、さらに、それら眼球画像データの連続から瞳孔の動きを導出し、動揺映像を見ている観察者Vの眼球の回転角度(計測視角度値θe(図3(b)))を計測する手段である。視線計測手段15は、眼球撮影装置3から取得した眼球画像データから眼球自体の位置を抽出し、所定の時間区間tにおける、観察者Vがその時間区間の最初に注視した画面上の位置(注視開始位置)と、観察者Vが前記時間区間の最後に注視した画面上の位置(注視終了位置)とを算出する。これら算出した位置から、眼球画像データの連続から眼球自体の動きを導出し、動揺映像を見ている観察者Vの頭の動き(頭部運動)も含めた、観察者Vが注視している場所の変化量(注視開始位置〜注視終了位置)を計測する。この変化量が、計測視角度値θeである。
[不一致度算出手段16]
不一致度算出手段16は、視線計測手段15から動揺映像のビデオフレーム毎の計測視角度値θeを取得し、さらに、動揺映像生成手段13から動揺映像のビデオフレーム毎の可視領域移動情報を取得する。そして、可視領域移動情報(移動方向と移動速度)から算出できる所定の時間区間tにおける動揺映像の移動量と、観察者Vと表示装置2の画面との離間距離(視距離L)とから、動揺映像の移動量を眼球の回転角度で表した(つまり、移動先位置に達するために必要な眼球回転角度である)期待視角度値θs(図3(b))を算出し、計測視角度値θeと期待視角度値θsとから不一致度を算出する手段である。
ここで、図3(a)および(b)を用いて、不一致度算出手段16が算出する不一致度εについて説明する。
不一致度算出手段16は、動揺映像生成手段13から可視領域移動情報(移動方向と移動速度)を取得して、可視領域の移動距離Dsを算出する。そして、可視領域の移動距離Dsと、観察者Vの観察位置から表示装置2の画面までの視距離Lとに基づいて、移動先に達するために必要な眼球回転角度である期待視角度値θsを、例えば三角関数tan θs=Ds/Lにより算出する。さらに、不一致度算出手段16は、視線計測手段15から計測視角度値θe(実際の眼球回転角度)を取得する。そして、計測視角度値θeと期待視角度値θsとの単位時間当たりの不一致度Δε(=|θe−θs|)を算出する。
そして、不一致度算出手段16は、予め設定された動揺映像表示時間内のビデオフレーム毎に単位時間当たりの不一致度Δεを算出し、それらを総和した不一致度εを算出する。
また、不一致度算出手段16は、瞬き等により眼球回転角度が計測できなかったときの不一致度εを算出しない。
[映像酔い耐性評価手段17]
映像酔い耐性評価手段17は、不一致度算出手段16から不一致度εを取得し、所定の算出方法で、観察者Vの映像酔い耐性を示す評価値を算出する。そして、評価値を後記する評価結果記憶手段18に記憶させる手段である。この評価値は、不一致度εが大きいほど、映像酔いしやすいと評価された値である。
この評価値は、例えば、単位時間あたりの不一致度εの平均値を算出して評価値としてもよいし、また、不一致度εを量子化して、映像酔い耐性をクラス分けし、そのクラスを数値化したものを評価値としてもよいし、評価結果記憶手段18に記憶されたデータ(過去に測定した多数の観察者の評価値)と比較して評価値を算出してもよい。
そして、このとき算出した評価値を、観察者Vが見た動揺映像の元となった初期パターンの静止画像I0を識別する識別情報と紐付けて、評価結果記憶手段18に記憶させてもよい。
[評価結果記憶手段18]
評価結果記憶手段18は、観察者Vの映像酔い耐性を示す評価値を記憶する手段であって、例えば、観察者Vが見た動揺映像の元となった初期パターンの静止画像I0の識別情報と共に、評価値を記憶する。
なお、映像酔い耐性評価装置1は、不図示のCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等を備えた一般的なコンピュータで構成することができ、コンピュータを前記した各手段として機能させるプログラムにより動作させることができる。
<静止画像生成手段11を備えなくてもよい場合>
静止画像記憶手段19は、記憶媒体(光ディスクやUSBメモリなど)に記憶させた静止画像Iを、映像酔い耐性評価装置1が備える図示しないデータ入力手段(光ディスク読取装置やUSBポートなど)を介して記憶させてもよい。そして、図示しないデータ入力手段から静止画像Iを記憶させる場合、映像酔い耐性評価装置1は静止画像生成手段11を備えなくてもよい。
[映像酔い耐性評価装置の動作]
次に、図4を参照して、映像酔い耐性評価装置1の動作について説明する(適宜、図1を参照)。
まず、映像酔い耐性評価装置1の静止画像生成手段11は、実施環境記憶手段20から、静止画像を作成するために必要な、観察者Vの観察位置から表示装置2の画面までの視距離Lや、表示装置2の画面サイズなど、実施環境情報を取得する(ステップS101)。
そして、静止画像生成手段11は、実施環境情報に基づいて、予め決められた空間周波数成分をもつ静止画像Iを生成し、静止画像Iを静止画像記憶手段19に記憶させる(ステップS102)。
移動情報生成手段12は、実施環境記憶手段20から可視領域とその移動情報とを生成するために必要な、観察者Vの観察位置から表示装置2の画面までの視距離Lや、表示装置2の画面サイズなど、実施環境情報を取得する(ステップS103)。
そして、移動情報生成手段12は、可視領域Wと、可視領域移動速度Δvおよび可視領域移動方向情報Rを含む可視領域移動情報とを生成する(ステップS104)。
動揺映像生成手段13は、静止画像記憶手段19から静止画像Iを取得し、移動情報生成手段12から可視領域Wと可視領域移動情報とを取得する(ステップS105)。
そして、動揺映像生成手段13は、可視領域Wを可視領域移動情報に基づいて、静止画像I上を移動させ、移動中の可視領域Wの領域内(静止画像Iの一部)を映像化した動揺映像を生成する(ステップS106)。
映像表示手段14は、動揺映像生成手段13から動揺映像を取得し、動揺映像を表示装置2に表示させる(ステップS107)。
視線計測手段15は、眼球撮影装置3から観察者Vの眼球画像データを取得し、動揺映像を見ている観察者Vの眼球の回転角度(計測視角度値θe)を計測する(ステップS108)。
不一致度算出手段16は、映像表示手段14から可視領域移動情報を取得し、可視領域の移動距離Dsを算出する(ステップS109)。次に、不一致度算出手段16は、可視領域の移動距離Dsと、観察者Vの観察位置から表示装置2の画面までの視距離Lとに基づいて、移動先に達するために必要な眼球回転角度である期待視角度値θsを算出する(ステップS110)。
そして、不一致度算出手段16は、視線計測手段15から実際の眼球回転角度である計測視角度値θeを取得し、計測視角度値θeと期待視角度値θsとの不一致度εを算出する。(ステップS111)。
映像酔い耐性評価手段17は、不一致度算出手段16から不一致度εを取得し、観察者の映像酔い耐性を示す評価値を算出し(ステップS112)、評価結果記憶手段18に評価値を記憶させる(ステップS113)。
これにより、映像酔い耐性評価装置1は、動揺映像の移動量と、観察者Vと表示装置2の画面との離間距離(視距離L)とから、動揺映像の移動量を眼球の回転角度で表した、移動先に達するために必要な眼球回転角度(期待視角度値θs)と、観察者Vの眼球の回転運動から算出した実際の眼球の回転角度(計測視角度値θe)とから、不一致度εを算出することができる。
また、これにより、映像酔い耐性評価装置1は、観察者Vの観察位置から表示装置2の画面までの視距離Lに応じて一定の空間周波数をもつ静止画像Iを生成し、視距離Lに応じて画面(可視領域W)の移動速度を変更し、視距離Lが異なっても観察者Vの観察位置からは同じ速度で動揺しているように見える動揺映像を生成することができる。そのため、映像酔い耐性評価装置1を用いることで、表示装置2の画面の大きさや、視距離Lが異なる環境であっても、実施環境に左右されることなく、観察者Vに同じ動揺映像を呈示することが可能になる。
映像酔い耐性評価装置1は、視線計測手段15が計測した観察者Vの眼球の回転角度と、観察者Vの観察位置から表示装置2の画面までの視距離Lとから算出した視点の移動距離dを用いて、観察者Vの映像酔い耐性を評価するための数値(不一致度)を算出することができる。したがって、従来のように、眼球の回転角度に基づいて観察者Vの視線を計測し、さらに表示装置2の画面上の視点の座標を計算する必要がない。
また、不一致度の算出は、期待視角度値θsと計測視角度値θeとを減算するだけの簡易な演算なので、従来と比べて、観察者Vの映像酔い耐性を評価するための数値を算出するまでの処理時間を短縮することができる。
また、映像酔い耐性評価装置1は、映像酔い耐性評価手段17が算出した評価値を、観察者Vが見た動揺映像の元となった初期パターンの静止画像I0の識別情報と紐付けて、評価結果記憶手段18に記憶させることで、不図示の統計手段による所定の統計方法で、映像毎にすべての観察者の評価値から統計を出すことが可能となり、ある特定の観察者の“映像酔いしやすさ”をより総合的に評価することが可能となる。
例えば、初期パターンの静止画像I0それぞれについて、すべての観察者の評価値の分布をグラフ化する。これにより、ある観察者の評価値は全体(すべての観察者の評価値)からかんがみて、どの程度の“映像酔いしやすさ”であるのかを評価することができる。また、初期パターンの静止画像I0による影響を含んだ、その観察者の“映像酔いしやすさ”も評価することもできる。
また、映像酔い耐性評価装置1により、表示装置2に表示させた動揺映像における映像酔いの引き起こしやすさを、観察者の評価値から評価することもできる。
(第2の実施形態)
また、上記第1の実施形態において、観察者Vが視線を、映像に対して追従させるのではなく、見るべき対象を変えるときに、跳躍眼球運動(サッケード)が発生することがある。そのため、視線計測手段15にて予め設定された眼球回転角度を越える眼球運動が計測されたとき、跳躍眼球運動が生じたと判定する跳躍運動期間判定手段(不図示)を備え、不一致度算出手段16が不一致度εを算出する際に、跳躍眼球運動が生じたと判定されてから予め設定された所定の時間までの不一致度は算出しないこととし、跳躍眼球運動による不一致度εを算入させないようにしてもよい。
1 映像酔い耐性評価装置
2 表示装置
3 眼球撮影装置
11 静止画像生成手段
12 移動情報生成手段
13 動揺映像生成手段
14 映像表示手段
15 視線計測手段
16 不一致度算出手段
17 映像酔い耐性評価手段
18 評価結果記憶手段
19 静止画像記憶手段
20 実施環境記憶手段

Claims (6)

  1. 表示装置の画面に表示させた動揺映像を見ている観察者の眼球が回転する角度を計測し、前記観察者の映像酔い耐性を評価するための数値を算出する映像酔い耐性評価装置であって、
    前記表示装置の画面サイズより大きいサイズで所定のパターンの静止画像を記憶する静止画像記憶手段と、
    前記表示装置の画面サイズと同じサイズの可視領域を前記静止画像上でランダムに移動させるための可視領域移動情報を生成する移動情報生成手段と、
    前記可視領域移動情報に基づいて前記静止画像上で前記可視領域をランダムに移動させながら、前記可視領域内の画像を順次取得して、前記動揺映像を生成する動揺映像生成手段と、
    前記動揺映像を前記表示装置に表示させる映像表示手段と、
    前記観察者が前記動揺映像を観ているときの眼球が回転した角度を示す計測視角度値を計測する視線計測手段と、
    前記計測視角度値と、前記可視領域の移動量を眼球回転角度で表した期待視角度値との不一致度を前記数値として算出する不一致度算出手段と、
    を備えることを特徴とする映像酔い耐性評価装置。
  2. 前記静止画像記憶手段に記憶させる前記静止画像を生成する静止画像生成手段と、
    前記観察者の観察位置から前記表示装置の画面までの視距離と、前記表示装置の画面サイズとを記憶する実施環境記憶手段とをさらに備え、
    前記静止画像生成手段は、前記所定のパターンの静止画像を前記視距離に応じて粗細し、前記観察者の観察位置にかかわらず一定の空間周波数成分を有する、前記表示装置の画面サイズより大きいサイズの前記静止画像を生成することを特徴とする請求項1に記載された映像酔い耐性評価装置。
  3. 前記移動情報生成手段は、
    予め設定された範囲内のランダムなタイミングで前記可視領域の移動方向がランダムに変化する可視領域移動方向情報と、
    前記視距離と、予め設定された基準眼球回転速度を所定の範囲内でランダムに変位させた規定眼球回転相対速度とから算出した、前記可視領域を移動させる速度を示す可視領域移動速度と、
    を含む前記可視領域移動情報を生成することを特徴とする請求項2に記載された映像酔い耐性評価装置。
  4. 前記不一致度算出手段は、
    前記期待視角度値を、単位時間毎に、前記可視領域の移動量と前記視距離とから算出し、
    前記計測視角度値と前記期待視角度値との差分から単位時間不一致度を算出し、
    前記動揺映像が表示された時間内の前記単位時間不一致度の総和から前記不一致度を算出し、
    さらに、
    前記不一致度が大きいほどその観察者の映像酔い耐性は低いとする評価値を算出する映像酔い耐性評価手段と、
    前記評価値を記憶する評価結果記憶手段と、
    を備えることを特徴とする請求項1ないし請求項3のいずれか1項に記載された映像酔い耐性評価装置。
  5. 前記視線計測手段により計測された前記計測視角度値が、予め設定された基準眼球回転角度値を越えたときに、跳躍眼球運動が生じたと判定する跳躍運動判定手段を備え、
    前記不一致度算出手段は、前記跳躍運動判定手段により跳躍眼球運動が生じたと判定されてから、予め設定された所定の時間までの前記単位時間不一致度は算出しないことを特徴とする請求項4に記載された映像酔い耐性評価装置。
  6. 表示装置の画面サイズより大きいサイズで所定のパターンの静止画像と、前記観察者の観察位置から前記表示装置の画面までの視距離と、前記表示装置の画面サイズとを記憶する記憶手段を備え、前記表示装置の画面に表示させた動揺映像を見ている観察者の眼球が回転する角度を所定の装置で計測し、前記観察者の映像酔い耐性を評価するための数値を算出するために、映像酔い耐性評価装置のコンピュータを、
    前記表示装置の画面サイズと同じサイズの可視領域を前記静止画像上でランダムに移動させるための可視領域移動情報を生成する移動情報生成手段、
    前記可視領域移動情報に基づいて前記静止画像上で前記可視領域をランダムに移動させながら、前記可視領域内の画像を順次取得して、前記動揺映像を生成する動揺映像生成手段、
    前記動揺映像を前記表示装置に表示させる映像表示手段、
    前記所定の装置を用いて、前記観察者が前記動揺映像を観ているときの眼球が回転した角度を示す計測視角度値を計測する視線計測手段、
    前記計測視角度値と、前記可視領域の移動量を眼球回転角度で表した期待視角度値との不一致度を前記数値として算出する不一致度算出手段、
    として機能させることを特徴とする映像酔い耐性評価プログラム。
JP2009237608A 2009-10-14 2009-10-14 映像酔い耐性評価装置及びプログラム Expired - Fee Related JP5351704B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009237608A JP5351704B2 (ja) 2009-10-14 2009-10-14 映像酔い耐性評価装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009237608A JP5351704B2 (ja) 2009-10-14 2009-10-14 映像酔い耐性評価装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2011083379A true JP2011083379A (ja) 2011-04-28
JP5351704B2 JP5351704B2 (ja) 2013-11-27

Family

ID=44076814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009237608A Expired - Fee Related JP5351704B2 (ja) 2009-10-14 2009-10-14 映像酔い耐性評価装置及びプログラム

Country Status (1)

Country Link
JP (1) JP5351704B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021455A (ja) * 2011-07-08 2013-01-31 Nippon Hoso Kyokai <Nhk> 不快度推定装置及び不快度推定プログラム
JP2013248177A (ja) * 2012-05-31 2013-12-12 Jvc Kenwood Corp 視線検出装置および視線検出方法
JP2017510922A (ja) * 2014-03-20 2017-04-13 ソニー株式会社 ビデオデータのための軌道データの生成
US10849496B2 (en) 2016-10-11 2020-12-01 Mitsubishi Electric Corporation Motion sickness estimation device, motion sickness prevention device, and motion sickness estimation method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04193255A (ja) * 1990-11-27 1992-07-13 A T R Shichiyoukaku Kiko Kenkyusho:Kk 眼球制御系の解析装置
JPH0549627A (ja) * 1991-08-29 1993-03-02 Shimadzu Corp 平衡機能評価装置
JP2003319907A (ja) * 2002-05-07 2003-11-11 New Opto Corp 眼球運動解析システム及び眼球撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04193255A (ja) * 1990-11-27 1992-07-13 A T R Shichiyoukaku Kiko Kenkyusho:Kk 眼球制御系の解析装置
JPH0549627A (ja) * 1991-08-29 1993-03-02 Shimadzu Corp 平衡機能評価装置
JP2003319907A (ja) * 2002-05-07 2003-11-11 New Opto Corp 眼球運動解析システム及び眼球撮像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6013036697; 氏家弘裕 他4名: '視覚運動刺激による映像酔いと回旋眼球運動' BPES2003 第18回生体・生理工学シンポジウム論文集 Vol.18, 20031006, 211〜214 *
JPN6013036699; 原澤賢充 他8名: '映像の運動方向の変化が酔いに与える影響' 2005年映像情報メディア学会年次大会 , 20050801, "21-3-1"-"21-3-2", 映像情報メディア学会年次大会講演予稿集 (2005) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021455A (ja) * 2011-07-08 2013-01-31 Nippon Hoso Kyokai <Nhk> 不快度推定装置及び不快度推定プログラム
JP2013248177A (ja) * 2012-05-31 2013-12-12 Jvc Kenwood Corp 視線検出装置および視線検出方法
JP2017510922A (ja) * 2014-03-20 2017-04-13 ソニー株式会社 ビデオデータのための軌道データの生成
US10849496B2 (en) 2016-10-11 2020-12-01 Mitsubishi Electric Corporation Motion sickness estimation device, motion sickness prevention device, and motion sickness estimation method

Also Published As

Publication number Publication date
JP5351704B2 (ja) 2013-11-27

Similar Documents

Publication Publication Date Title
Arabadzhiyska et al. Saccade landing position prediction for gaze-contingent rendering
CN107929007B (zh) 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法
Loschky et al. The limits of visual resolution in natural scene viewing
JP6774136B2 (ja) 自動視力診断の方法およびシステム
US8337019B2 (en) Testing vision
Chandra et al. Eye tracking based human computer interaction: Applications and their uses
US11426107B2 (en) Roadside impairment sensor
US10281980B2 (en) System and method for eye-reactive display
US20150289761A1 (en) Affective Bandwidth Measurement and Affective Disorder Determination
US20200121195A1 (en) Medical condition sensor
JP2020500640A (ja) 刺激及び視標追跡システム
JP2017522104A (ja) 目状態決定システム
JP5351704B2 (ja) 映像酔い耐性評価装置及びプログラム
CN114007488B (zh) 用于确定对比敏感度阈值的方法和装置
EP2979635B1 (en) Diagnosis supporting device, diagnosis supporting method, and computer-readable recording medium
CN111067474B (zh) 使用动态速度阈值滤波器的客观视敏度测量的装置和方法
EP3900638A1 (en) Device for diagnosing brain disease
US9760772B2 (en) Eye image stimuli for eyegaze calibration procedures
Atabaki et al. Assessing the precision of gaze following using a stereoscopic 3D virtual reality setting
CN108495584B (zh) 用于通过触觉界面确定眼球运动的装置和方法
Lee et al. Implementation of a subjective visual vertical and horizontal testing system using virtual reality
RU2522968C1 (ru) Способ исследования и оценки усталости глаз пользователя персонального компьютера
US20240164636A1 (en) System for assessing target visibility and trackability from eye movements
JP2022100015A (ja) 眼疲労評価装置、眼疲労評価方法およびプログラム
Parit et al. Eye tracking based human computer interaction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130823

R150 Certificate of patent or registration of utility model

Ref document number: 5351704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees