JP2008054996A - 等輝度測定装置、等輝度測定方法、ディスプレイ装置およびコンピュータグラフィックス処理装置 - Google Patents

等輝度測定装置、等輝度測定方法、ディスプレイ装置およびコンピュータグラフィックス処理装置 Download PDF

Info

Publication number
JP2008054996A
JP2008054996A JP2006236920A JP2006236920A JP2008054996A JP 2008054996 A JP2008054996 A JP 2008054996A JP 2006236920 A JP2006236920 A JP 2006236920A JP 2006236920 A JP2006236920 A JP 2006236920A JP 2008054996 A JP2008054996 A JP 2008054996A
Authority
JP
Japan
Prior art keywords
luminance
color
subject
striped pattern
unknown
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006236920A
Other languages
English (en)
Other versions
JP4859043B2 (ja
Inventor
Yoshihide Tamori
佳秀 田森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanazawa Institute of Technology (KIT)
Original Assignee
Kanazawa Institute of Technology (KIT)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanazawa Institute of Technology (KIT) filed Critical Kanazawa Institute of Technology (KIT)
Priority to JP2006236920A priority Critical patent/JP4859043B2/ja
Publication of JP2008054996A publication Critical patent/JP2008054996A/ja
Application granted granted Critical
Publication of JP4859043B2 publication Critical patent/JP4859043B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】被験者にとって等輝度と感じられる二つの色の輝度値(色座標)を測定するには手間と時間がかかっていた。
【解決手段】動く縞模様パターンを画面に表示して被験者に見せる。この動く縞模様パターンは、第一の色のライン50a〜50gと第二の色のライン52a〜52gとが交互に配置されてなる横縞のパターンであり、第一の色の輝度は右方向に徐々に明るくなり、第二の色の輝度は左方向に徐々に明るくなる。縞模様は上方向または下方向に一定の速度で動く。被験者は、縞模様の動きがはっきりしない水平方向の位置x0を指定する。被験者の指定した位置における第一の色の輝度Y1と第二の色の輝度Y2を、被験者にとって等輝度となる輝度値の組合せとして取得する。
【選択図】図1

Description

この発明は、被験者にとって等輝度と感じられる色の輝度値(色座標)を測定するための等輝度測定装置と方法、ならびにその等輝度測定装置を利用したディスプレイ装置およびコンピュータグラフィックス処理装置に関する。
人間の視覚神経系は輝度情報と色情報が分離されて伝達され、輝度情報よりも色情報が遅れて伝達されて知覚されることが知られている。人間の視覚神経系の研究において、色に対する神経系の反応活動を詳しく研究するためには、神経系に伝達される輝度情報を一定に保ち、色彩のみを変化させることが必要となる。輝度に反応する神経系と色に反応する神経系が同時に活動すると、色に反応する神経系の反応活動の部位だけを検出することが難しくなるからである。
また、医療の分野において、患者の視覚神経系の内、色に反応する神経系に問題があり、輝度に反応する神経系には問題がない場合、輝度に反応する神経系と色に反応する神経系の神経活動を分離した上で、検査を行わないと、色に反応する神経系の問題を正確に把握することができない。視覚神経活動から輝度に依存する活動を分離して、色に依存する活動のみを取り出すためには、患者に見せる色の輝度を一定にしておくことが必要となる。
このように視覚神経系の研究や治療においては、輝度を一定にして色彩のみを変えることが必要になるが、人間は、物理的に同じ輝度の二つの色を見ても、主観的に同じ輝度であるとは感じないことが古くから知られている。たとえば、物理的に同じ輝度でも、青より緑をより明るく感じることがある。すなわち、光のエネルギーで決まる物理量としての輝度(「客観的輝度」あるいは「物理的輝度」と呼ぶことができる)と、人間が感じる色の明るさを示す主観的な輝度とは一般には一致せず、人間の輝度感覚(人間の主観的輝度)にはかなりの個人差もあることが知られている。そのため、視覚神経系の活動を正確に分析するために、被験者にとって主観的に同じ輝度として感じる二つの色の物理的な輝度を測定することが必要となり、数多くの測定結果が報告されている(たとえば、非特許文献1や非特許文献2参照)。
被験者の主観的輝度を測定する従来の方法として、被験者に二つの色を交互に点滅させながら提示し、被験者にとって点滅していないように見えるまで、被験者に二つの色の輝度の比を手動で調整させる方法がある。人間の視覚神経系では、色情報は輝度情報よりも伝わるのが遅い。二つの色の点滅速度が、色情報が視覚神経系に伝達され知覚される速度よりも速ければ、人間は二つの色の点滅を色情報からは知覚することができなくなり、輝度情報を頼りにして、色の点滅を知覚するようになる。被験者は、二つの色の輝度が異なる限り、色情報が知覚されない点滅速度であっても、二つの色の点滅を知覚することができる。
このように、被験者が点滅感をもつのは二色の輝度の違いのゆえであって、色彩の違いからではない。点滅がゆっくりならば色彩にもとづいて点滅していることがわかるが、点滅が速くなると、色の変化を知覚できなくなり、輝度の変化で点滅を知覚するようになる。被験者が二つの色の輝度の比を調整していき、主観的に等輝度に感じられるところまで二つの色の輝度の比が調整されると、二つの色の輝度の違いが知覚されなくなり、被験者にとって点滅感がなくなる。
また、別の測定方法として、二つの色のラインを交互に配置した縞模様を一定速度で動かしながら提示し、被験者にとって縞の動きが見えなくなるまで、被験者に二つの色の輝度の比を手動で調整させる方法がある。二色の点滅の場合と同様、被験者は縞模様の動きを色情報からは知覚することができず、輝度情報から知覚している。そのため、二つの色の輝度の比を調整した結果、被験者にとって二つの色のラインが主観的に同じ輝度に見える縞模様パターンになると、縞模様の動きを知覚することができなくなる。これらの従来の測定方法によって、被験者毎に主観的に同じ輝度として感じる二つの色の物理的な輝度を求めることができる。
D. H. Kelly and D. van Norren, "Two-band model of heterochromatic flicker", J. Opt. Soc. Am., Vol. 67, No. 8, August 1977. Cavanagh et al., "Perceived velocity of moving chromatic gratings", J. Opt. Soc. Am., A/Vol. 1, No. 8, August 1984.
上述の従来の測定方法では、点滅感が失われたり、縞模様の動きがはっきりしなくなるまで、二色の輝度比を被験者に調整させる。点滅感がなくなった状態や、縞模様の動きが見えなくなった状態を被験者に判定させることは難しく、被験者にかなりの練習を積ませる必要がある。また、縞模様の動きに目が追随してしまうなど、目の動きの相対速度も実験に絡んでくるため、測定結果に誤差が含まれることを避けることができず、測定結果のばらつきも大きくなる。そのため、正確な測定データの取得には測定を何度も繰り返す必要があり、一般には2時間くらいかかるので、被験者にかなりの負担となる。また、被験者を相当時間、拘束することになるため、測定の費用もかかる。
本発明はこうした課題に鑑みてなされたものであり、その目的は、人が主観的に同じ輝度であると感じる二つの色の輝度の補正値(色座標)を効率的に求めることのできる主観的等輝度測定装置、ならびにその装置を利用したディスプレイ装置およびコンピュータグラフィックス処理装置を提供することにある。
上記課題を解決するために、本発明のある態様の等輝度測定装置は、第一の色のラインと第二の色のラインとが交互に配置されてなる縦縞もしくは横縞のパターンであって、前記第一の色と前記第二の色の輝度の比をライン方向の位置によって異ならせた縞模様パターンがラインに垂直な方向に所定の速度で動く動画を生成する動画生成部と、前記動画を画面に表示する表示制御部と、前記画面に表示された前記縞模様パターンにおいて、被験者にライン方向の位置を指定させるユーザインタフェースを提供するインタフェース部と、前記ユーザインタフェースを介して、前記画面に表示された縞模様が所定の速度で動く前記縞模様パターンにおいて、前記被験者にとってその縞模様の動きが不明なライン方向の位置座標を取得する動き不明位置取得部と、前記動き不明位置取得部により取得されたライン方向の動き不明位置座標における前記第一の色の輝度と前記第二の色の輝度を算出する輝度算出部と、前記動き不明位置座標における前記第一の色の輝度と前記第二の色の輝度を、前記被験者にとって等輝度となる輝度値の組合せとして記憶する等輝度情報記憶部とを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、主観的に同じ輝度であると感じる二つの色の輝度の補正値(色座標)を短時間で正確に測定することができる。
図1(a)〜(c)を参照して、主観的等輝度の測定原理を説明する。実施の形態では、ディスプレイの画面に「動く縞模様パターン」を表示する。縞模様パターンは、図1(a)に示すように、第一の色(たとえば、赤)のライン50a〜50gと、第二の色(たとえば、青)のライン52a〜52gとが交互に配置された縦縞模様であり、ラインとは垂直な方向に縦縞模様が一定の速度で動く。脳内の色チャンネルの情報処理に要する時間が、輝度チャンネルの情報処理に要する時間よりも遅いため、縞模様の動く速度が十分に速い場合、被験者は、二つのラインの輝度の違いを頼りにして縞模様の動きを知覚する。
図1(b)は、縞模様パターンの各ラインの輝度を示す。第一の色のライン50a〜50gにおいて、第一の色は右方向に徐々に明るくなり、第二の色のライン52a〜52gにおいて、第二の色は左方向に徐々に明るくなる。横軸を水平位置x、縦軸を輝度Lとすると、図1(b)に示すように、第一の色のライン50a〜50gの輝度を表す変数Lは、符号50Lに示すように、x軸の正方向に最小輝度Yminを表す変数Lminから最大輝度Ymaxを表す変数Lmaxまで線形に増加する。一方、第二の色のライン52a〜52gの輝度を表す変数Lは、符号52Lに示すように、x軸の正方向に最大輝度Ymaxを表す変数Lmaxから最小輝度Yminを表す変数Lminまで線形に減少する。輝度を表す変数L、Lmin、Lmaxが輝度そのものの値を表すか、その対数値を表すかは、システムのデザインに依存する。ダイナミックレンジを広くしたいときには、対数で表す方がよい。
言い換えれば、図1(a)の動く縞パターンは、水平方向に見ると二つの色の輝度の比が異なるように構成されている。被験者は、水平方向には異なる輝度比の二つの色の縞模様の動きを見ていることになり、二つの色の輝度比のいろいろなバリエーションを空間的に一度に見ることができる。
被験者がこの動く縞模様パターンを見た場合、主観的に等輝度となる水平位置においては、もはや輝度情報を頼りにしても動きを認識することができなくなり、縞模様がぼやけて見えなくなる。図1(c)に示すように、ある被験者にとって、符号60で示す点線の水平位置において、縞模様の動きが見えなくなり、縞模様がぼやけて見える。
図1(b)を参照すると、図1(c)の縞模様が見えなくなる水平位置x0において、第一の色のライン50a〜50gの輝度(の対数値)はL1であり、第二の色のライン52a〜52gの輝度(の対数値)はL2である。この実験から、被験者にとって、第一の色の輝度(の対数値)L1と、第二の色の輝度(の対数値)L2は、被験者にとっては同じ輝度に見える、すなわち主観的には等輝度であることがわかる。物理的には、画面の中央において二つの色の輝度は等しいが、被験者にとって等輝度に感じる場所は、中央からはずれるのが一般的である。また、主観的等輝度の位置が中央からずれる量は、被験者によって個人差がある。
被験者は、縞模様を構成する二つの色の輝度比を水平方向に異ならせた「動く縞模様パターン」をディスプレイの画面で一目見るだけで、縞模様の動きがはっきりしない領域を特定することができる。この測定方法を用いれば、被験者が主観的に同じ輝度として感じる二つの色の輝度を瞬時に正確に求めることができる。
従来の測定方法では、動く縞模様パターンを構成する各ラインにおいて、二つの色の輝度は水平方向に同じ値である。従来の測定方法では、横方向に二つの色の輝度比を異ならせるのではなく、時間軸上で、縞模様の二色の輝度比を徐々に異ならせながら、動く縞模様パターンを表示する。すなわち、被験者は、ある時刻ではある輝度比の二色からなる縞模様パターンを見せられ、時間が経つと、別の輝度比の二色からなる縞模様パターンをみせられることになる。被験者は、時間的に輝度比が変化していく縞模様パターンを見ながら、縞模様パターンの動きが見えなくなるタイミングを教える。
このような従来の方法では、縞模様の動きに被験者の目の動きが追随することもあって、被験者が縞模様の動きの有無を判定するのは難しく、被験者の曖昧な感覚を頼りに測定するため、測定誤差が大きくなる。そのため、被験者に繰り返し測定を行ってもらい、たくさんの測定結果を収集する必要が生じ、たいへんな時間がかかる。
本実施の形態では、時間方向ではなく、空間方向に輝度比の違いを展開しているため、動く縞模様パターンを一目見るだけで、縞模様の動きが見えなくなる位置を特定でき、測定を瞬時に終わらせることができる。また、空間的に輝度比の違いが展開されているため、被験者は、縞模様の動きが見えなくなる位置を高い精度で特定でき、測定の誤差を大幅に減らすことができる。
実施の形態1
図2を参照して、図1で説明した測定原理を利用する主観的等輝度測定装置100の構成を説明する。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
色設定部10は、主観的等輝度を測定する対象となる二つの異なる色a、bを設定し、動画生成部12に与える。動画生成部12は、色設定部10により設定された二色a、bの各ラインが交互に配置された縦縞もしくは横縞のパターンであって、二色の輝度の比がライン方向の位置によって異なる縞模様パターンを生成し、縞模様がラインとは垂直な方向に所定の速度で動く動画を生成する。
二色の輝度比をライン方向の位置によって異ならせる方法の一例として、図1(b)のように、第一の色の輝度をラインの正方向に徐々に大きくし、第二の色の輝度をラインの負方向に徐々に小さくしてもよい。これにより、ラインの正方向に行くほど、第一の色の輝度が第二の色の輝度に比べて大きくなり、ラインの負方向に行くほど、第二の色の輝度が第一の色の輝度に比べて大きくなる。
表示制御部14は、動画生成部12により生成された動画をディスプレイ110の画面に表示する。これにより、被験者には、図1(a)〜(c)で一例を説明した、縞模様を構成する二色の輝度比が水平方向の位置によって異なる「動く縞模様パターン」が提示される。
インタフェース部16は、マウスやキーボードなどの入力手段を用いて被験者が画面上の動く縞模様パターンにおいてライン方向の位置を指定することのできるユーザインタフェースを提供する。たとえば、縞模様パターン上にラインとは垂直な線を表示し、被験者がこの線をマウスやキーボードなどで移動させ、ライン方向の位置を指定することができるユーザインタフェースを提供する。被験者は、このユーザインタフェースを介して、動く縞模様パターンにおいて被験者にとって縞模様の動きが見えないと感じる位置(「動き不明位置」と呼ぶ)を指定する。
動き不明位置取得部18は、被験者が指定した動き不明位置をインタフェース部16から取得し、動き不明位置の座標pxを輝度算出部20に与える。
輝度算出部20は、動き不明位置の座標pxにおける二色a、bの輝度Ya、Ybをそれぞれ求め、二色a、bの輝度Ya、Ybを等輝度情報記憶部24に記憶する。第一のaの輝度Yaと第二の色bの輝度Ybは、一般的には物理的に異なる輝度であるが、被験者にとっては同じ輝度に感じられる。
このようにして、二色a、bについて主観的に等輝度に感じられる輝度値Ya、Ybが得られると、次に、色設定部10は、別の二つの色g、hの組合せを設定する。動画生成部12は、第二の二色の組合せ(g,h)について、同様の縞模様パターンの動画を生成し、表示制御部14がディスプレイ110の画面に表示し、動き不明位置取得部18が、この動く縞模様パターンにおいて被験者にとって動きが見えなくなる位置を取得する。輝度算出部20は、動き不明位置座標にもとづいて第二の二色の組合せ(g,h)について、主観的に等輝度に感じられる輝度値(Yg,Yh)を求めて等輝度情報記憶部24に記憶する。
等輝度面算出部22は、こうして得られた第一の二色の組合せ(a,b)について主観的に同じ輝度に感じる輝度値(Ya,Yb)と、第二の二色の組合せ(g,h)について主観的に同じ輝度に感じる輝度値(Yg,Yh)をもとに、被験者が主観的に等輝度であると感じる色を集めた「心理物理学的等輝度面」(「主観的等輝度面」ともいう)を求める。具体的には、第一の二色a、bについて、主観的に等輝度になっている輝度値Ya,Ybを含めた色空間の三次元座標A、Bを定め、第二の二色g、hについても主観的に等輝度になっている輝度値Ya,Ybを含めた色空間の三次元座標G、Hを定める。等輝度面算出部22は、これら四点A、B、G、Hの座標値をもとに心理物理学的等輝度面を求める。
心理物理学的等輝度面は、主観的な輝度が明るい方から暗くなる方まで、輝度のレベルに応じて形成されるが、輝度のレベル毎の心理物理学的等輝度面は、近似的な意味で互いに平行であると仮定してよい。よって、ある主観的な輝度について求めた心理物理学的等輝度面の法線ベクトルkだけを記憶しておけば、それ以外の主観的な輝度についても法線ベクトルkをもち、ある一つの色を通る平面として心理物理学的等輝度面を定めることができる。そこで、等輝度面算出部22は、二点A、Bを通る心理物理学的等輝度面と、二点G、Hを通る心理物理学的等輝度面とが平行であるという仮定のもと、心理物理学的等輝度面の法線ベクトルを求め、その情報を等輝度情報記憶部24に保存する。
なお、上記の説明において、主観的に等輝度である第一の二色(a,b)と、主観的に等輝度である第二の二色(g,h)の内、少なくとも三色が互いに異なる色であれば、心理物理学的等輝度面を求めることができる。たとえば、第一の二色(a,b)が赤と青の組合せであり、第二の二色(g,h)が赤と緑の組合せであってもよい。
以下、図3〜図6を参照して、心理物理学的等輝度面の算出手順を数式を用いながらより詳しく説明する。
図3は、色度図における二つの色を示す図である。同図は国際照明委員会(CIE)の定めたCIE1931表色系(XYZ表色系)のxy色度図を示したものである。色度座標上の第一の色a、第二の色bは、それぞれこの色度座標におけるベクトルa,bにより表現される。2点a,bを結ぶ線分をr:(1−r)に内分する点cの色度座標をベクトルcにより表現する。
Figure 2008054996
図4は、動画生成部12により生成される縞模様パターンを説明する図である。画面に表示される縞模様の中央を原点とする座標系PX−PYを図のように定義し、縞模様の点を座標(p,p)とおく。ここで、−0.5≦p,p≦0.5とする。
縞模様パターンの点p=(p,p)における色を二色a、bをr:(1−r)の比で内分する点cの色、すなわちベクトルc=(c,c)で表される色とする。ただし、内分比を定める変数rを次式で定める。
Figure 2008054996
上記の式において、vは縞模様がラインとは垂直な方向に動く速度、tは時間変数である。内分比を定める変数rは、縞模様の点Pのy座標pと、縞模様が動く速度v、時間変数tに依存することに留意する。
上記の式にしたがって、縞模様パターンの点P(p,p)における色cを決めると、二色a、bを結ぶ線分上を正弦(sin)関数で変化しながら、二色a、bを交互に繰り返す水平方向の縞模様が垂直方向に一定速度vで流れる動画が生成される。なお、このように正弦関数で変化する縞模様にしたのは、以下の理由による。矩形で変化する縞模様にした場合、色の変化(微分)が強くなり、色の変化を微分で捉える視覚神経系のフィルタの作用により、色情報によらずに縞模様を知覚することが顕著になり、測定の外乱となってしまう。正弦関数で変化する縞模様にすれば、色の変化が滑らかになり、微分値が小さいため、視覚神経系の微分フィルタの作用による外乱を抑えることができる。
次に、縞模様パターンの点p=(p,p)における輝度を定める。第一の色aについては右方向に明るくなり、第二の色bについては左方向に明るくなるようにするべく、前述の変数sを用いて、縞模様パターンの点pの輝度Yを表す変数Lを次式(数3)で決める。但し、次式(数3)内の変数L、Lmin、Lmaxは、それぞれ、pの輝度Yそのものや、その最小値Ymin、最大値Ymaxであってもよいし、Weberの法則を考慮して、これらの対数値であってもよい。
Figure 2008054996
ここで、輝度を表す変数Lが輝度Yの対数値である、すなわちL=log(Y)であった場合は、
Figure 2008054996
であることより、輝度Yは、
Figure 2008054996
になる。
以上より、縞模様パターンの点p=(p,p)に表示される色をXYZ座標系で表すと、次のようになる。
Figure 2008054996
ここで、CIE1931XYZ表色系は、CIE1931RGB表色系を図5に示すように座標変換したものであり、CIE1931XYZ表色系では、スペクトル3刺激値が負になることがなく、また、Y値が輝度を表すという特徴がある。
次に、縞模様パターンにおいて、被験者にとって縞模様の動きがはっきりしない領域の二色a,bの輝度を求める。
図6(a)に示すように、インタフェース部16は、符号60に示すような垂直方向の点線を表示し、被験者がマウスやキーボードなどでこの点線を水平方向に動かすことのできるユーザインタフェースを提供する。被験者は、図6(b)に示すように、縞模様の動きがはっきり見えなくなる箇所にこの垂直線60を動かすことで、動き不明位置座標pを指定する。
第一の色aは、二色a,bを内分したcの内分比の変数rを1とおいたものであるから、点p=(p,p)の輝度を求める数式において変数sに1を代入することにより、動き不明位置pにおける第一の色aの輝度Yを表す変数Lは、次式のように求めることができる。
Figure 2008054996
同様に、第二の色bは、二色a,bを内分したcの内分比の変数rを0とおいたものであるから、点p=(p,p)の輝度を求める数式において変数sに−1を代入することにより、動き不明位置pにおける第二の色bの輝度Yを表す変数Lは、次式のように求めることができる。
Figure 2008054996
同様にして、CIE1931色度図上の別の二色の組合せg,hについても、縞模様の動きが見えなくなる水平方向の位置座標qを被験者に指定させることで、主観的に等輝度になるような二色の輝度Y、Yを表す変数L、Lは、次式のように求めることができる。
Figure 2008054996
Figure 2008054996
以上求めた四色a,b,g,hについて、各色の輝度を含めた座標を次のように定義する。
Figure 2008054996
Figure 2008054996
2つの、座標の組(A,B)と(G,H)は、それぞれ、2枚の平行な心理物理学的等輝度面に含まれる。これらの心理物理学的等輝度面は、近似的に互いに平行とみなしてもよいので、その法線ベクトルkは、一致しており、更に、第一の二色a,bを結ぶベクトルABと第二の二色g,hを結ぶベクトルGHの両方に垂直である。従って、これらの心理物理学的等輝度面群の全ての面に垂直な法線ベクトルk=(k,k,k)は次式により求めることができる。
Figure 2008054996
主観的に同じ輝度として感じる色の心理物理学的等輝度面は、主観的な輝度のレベル毎に存在するが、主観的な輝度のレベルが異なっても、心理物理学的等輝度面は、近似的な意味で互いに平行であると仮定してよい。よって、点の組(A,B),又は(G,H)が含まれるような心理物理学的等輝度面の法線ベクトルkは他の心理物理学的等輝度面の法線ベクトルとしても用いることができる。
法線ベクトルkにより心理物理学的等輝度面が定まると、主観的に同じ輝度として感じる心理学的等輝度面内の任意の色度座標(c,c)の色の輝度の補正値Lを求めることができるようになる。輝度Lの白色光W=(1/3,1/3,L)が心理物理学的等輝度面内にあるとすると、この心理物理学的等輝度面内の色C=(c,c,L)は、次式を満たす。
Figure 2008054996
これを色Cの輝度Lについて解くと、次式のようになる。
Figure 2008054996
ここでk,k,kは、法線ベクトルkの座標値であり、次式を満たす。
Figure 2008054996
上記の式により、心理物理学的等輝度面内の任意の色について、被験者にとって同じと感じられる輝度を求めることができる。
以上述べたように、実施の形態1の主観的等輝度測定装置100によれば、任意の二色について、被験者にとって同じと感じられるような輝度の補正値を短時間に高い精度で測定することができる。主観的等輝度測定装置100による主観的等輝度の測定結果を用いれば、被験者にとって輝度は同じだが、色彩だけが違う色をディスプレイに表示することができ、視覚神経系の実験や検査に役立てることができる。
また、コンピュータのディスプレイに画像を表示するとき、ユーザにとってどの色も同じ輝度に感じられるように画像の各色の輝度を求めて表示できる。ユーザ毎にできるだけ現実の色に近い画像をディスプレイ上に表示できるため、リアリティを高めることができる。
色弱や色盲の人にとっては、同じ輝度に感じられるように画面の色の輝度を調整してしまうと、色の違いを知覚できなくなる。そこで、色弱や色盲のユーザに対しては、画面に表示される色が主観的に等輝度にならないように物理的な輝度を調整することが有効である。
実施の形態2
図7は、実施の形態2に係るディスプレイ装置200の構成図である。ディスプレイ装置200は、主観的等輝度測定装置100、輝度調整部30、等輝度面情報テーブル32、およびディスプレイ110を含む。主観的等輝度測定装置100は、図2で説明した各構成を含む。主観的等輝度測定装置100、輝度調整部30、および等輝度面情報テーブル32の機能の一部または全部は、ディスプレイ110に付属する輝度調整機能として提供されてもよく、ディスプレイ110に接続されるコンピュータのディスプレイ用ドライバの形で提供されてもよい。また、これらの機能は、コンピュータに搭載されるグラフィックスカードの輝度調整回路として実装されてもよい。
輝度調整部30は、赤、緑、青の三原色の内、第一の二色の組合せと第二の二色の組合せについて、主観的等輝度測定装置100の動画生成部12、表示制御部14、インタフェース部16、動き不明位置取得部18、輝度算出部20を動作させ、第一の二色の組合せについて被験者にとって等輝度となる輝度値(色座標)の組合せと、第二の二色の組合せについて被験者にとって等輝度となる輝度値(色座標)の組合せとを基にして決定された主観的等輝度面の法線ベクトル情報を等輝度面情報テーブル32の形で等輝度情報記憶部24に記憶させる。
たとえば、第一の二色の組合せとして、赤と青について主観的に同じ輝度として感じる輝度値の組合せが算出され、第二の二色の組合せとして、赤と緑について主観的に同じ輝度として感じる輝度値の組合せが算出され、これらを基にして求められた主観的等輝度面の法線ベクトル情報が等輝度面情報テーブル32に格納される。
輝度調整部30は、等輝度情報記憶部24に記憶された等輝度面情報テーブル32を参照して、色座標を算出し、被験者が主観的に同じ輝度として感じる輝度の組合せを表示できるように、パラメーターを設定する。具体的には、主観的等輝度面の法線ベクトルkの情報を等輝度面情報テーブル32から読み込んで、前述の数式15と数式16にもとづいて、色Cの輝度Lcを算出することにより、表示すべき色の輝度を調整する。このような輝度変換を行う回路をグラフィックスカードに組み込んでもよい。ディスプレイ110は輝度調整部30により調整された輝度情報を含む色座標を基に表示を行う。
従来のディスプレイ装置の輝度調整機能は、赤、緑、青の三色の発光体について独立に輝度を調整するだけであるが、本実施の形態のディスプレイ装置200は、主観的等輝度面内の任意の二色が被験者にとって等輝度と感じられるように輝度を調整することができる。この輝度調整機能を用いれば、ユーザにとってより現実に近いと感じる色でディスプレイの表示色を決めることができる。また、等輝度面情報テーブル32をユーザ毎に求めて記憶しておけば、ユーザ毎に等輝度と感じられる輝度に調整することができ、輝度知覚の個人差にも対応することができる。
従来は、被験者の心理物理学的等輝度面を測定するには数時間かかっていたため、ディスプレイ装置やカラーテレビ受信機のカラーバランスに測定結果を応用することは現実的ではなかった。しかし、主観的等輝度測定装置100によれば、ユーザの主観的等輝度を瞬時に測定できるため、主観的等輝度測定をカラーバランスに応用することは難しいことではなくなる。
実施の形態3
図8は、実施の形態3に係るコンピュータグラフィックス処理装置300の構成図である。コンピュータグラフィックス処理装置300は、オブジェクト入力部40、レンダリング部42、動き速度判定部44、輝度変更部46、主観的等輝度測定装置100を含み、ディスプレイ110が外部接続される。主観的等輝度測定装置100は、図2で説明した各構成を含む。
オブジェクト入力部40は、描画対象の三次元オブジェクトのポリゴンデータを入力する。レンダリング部42は、オブジェクトのポリゴンデータをもとにオブジェクトの描画処理を行い、フレームバッファにレンダリングデータを書き込む。フレームバッファに書き込まれたレンダリングデータはディスプレイ110に出力されて表示される。
動き速度判定部44は、オブジェクト入力部40に入力される三次元オブジェクトの動き速度が所定の閾値を超えるかどうかを判定する。人間の脳の色チャンネルの情報処理の速度を超える速度で動く三次元オブジェクトについては、人間は、動きを色彩情報ではなく、輝度情報で認識することになる。動き速度判定部44が判定するオブジェクトの動き速度の閾値は、脳の色チャンネルの情報処理の速度を目安に実験的に決められる。
輝度変更部46は、動き速度が所定の閾値を超えるオブジェクトについては、オブジェクトの描画色がユーザにとっての主観的輝度が十分に異なって感じられるように、描画色の物理的な輝度を変更する。このために、実施の形態1の主観的等輝度測定装置100の各構成が用いられる。
主観的等輝度測定装置100では、ユーザの主観的な等輝度面が求められ、等輝度情報記憶部24に主観的な等輝度面の法線ベクトルが記憶されている。輝度変更部46は、等輝度情報記憶部24に記憶された主観的な等輝度面の法線ベクトルを取得し、動き速度が閾値を超えたオブジェクトの二つ以上の異なる描画色について、それらの描画色の輝度が主観的な等輝度面に位置しないように輝度を変更する。
動き速度が閾値を超えたオブジェクトのすべての描画色の輝度が主観的な等輝度面にあると、ユーザは輝度の違いによってもオブジェクトの動きを捉えることができなくなり、オブジェクトがはっきりと見えなくなる。描画色の輝度が主観的な等輝度面に存在していなくても、描画色の主観的な輝度の大きさが近接していると、オブジェクトの動きが見えにくくなる。そこで、輝度変更部46は、オブジェクトの少なくとも二つの描画色について主観的な輝度が十分なだけ離れるように、描画色の物理的な輝度を変更する。具体的には、二つの描画色の輝度が、輝度レベルの異なる心理物理学的等輝度面上に位置するように調整する。
レンダリング部42は、動き速度が閾値を超えたオブジェクトについては、輝度変更部46により変更された輝度で描画色を決めて、レンダリングデータを生成する。
本実施の形態のコンピュータグラフィックス処理装置300によれば、オブジェクトが色彩情報で動きを知覚できないくらい速く運動する場合でも、オブジェクトの描画色の輝度を十分に異ならせることで、主観的な輝度の違いからオブジェクトの動きを知覚できるようになる。このような主観的等輝度を利用したリアルタイムのコンピュータグラフィックスの処理も、主観的等輝度測定装置100においてユーザの主観的等輝度を瞬時に測定できることから可能となる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施の形態では、縦縞もしくは横縞の縞模様パターンを例に説明したが、円形の縞模様パターンであっても同様に主観的等輝度の測定が可能である。円形の縞模様パターンは、半径の異なる同心円の集まりであり、円の半径方向、すなわち中心から円周に向かう方向あるいはその逆の方向に縞模様が動く。輝度については、中心角が0度から360度に変化するにつれて、第一の色の輝度は徐々に大きくなるようにし、第二の色の輝度は徐々に小さくなるようにする。円形の動く縞模様パターンにおいても、被験者は、ある中心角の箇所で縞模様の動きがはっきり見えなくなる。その位置を被験者に指定させることで、等輝度と感じられる二色の輝度値(色座標)を測定することができる。
実施の形態の原理を説明する図である。 実施の形態1に係る主観的等輝度測定装置の構成を説明する図である。 色度図における二つの色を示す図である。 図1の動画生成部により生成される縞模様パターンを説明する図である。 XYZ表色系とRGB表色系の関係を示す図である。 被験者に縞模様の動きがはっきり見えなくなる箇所を指定させるためのユーザインタフェースを説明する図である。 実施の形態2に係るディスプレイ装置の構成図である。 実施の形態3に係るコンピュータグラフィックス処理装置の構成図である。
符号の説明
10 色設定部、 12 動画生成部、 14 表示制御部、 16 インタフェース部、 18 動き不明位置取得部、 20 輝度算出部、 22 等輝度面算出部、 24 等輝度情報記憶部、 30 輝度調整部、 32 等輝度面情報テーブル、 40 オブジェクト入力部、 42 レンダリング部、 44 動き速度判定部、 46 輝度変更部、 100 主観的等輝度測定装置、 110 ディスプレイ、 200 ディスプレイ装置、 300 コンピュータグラフィックス処理装置。

Claims (7)

  1. 第一の色のラインと第二の色のラインとが交互に配置されてなる縦縞もしくは横縞のパターンであって、前記第一の色と前記第二の色の輝度の比をライン方向の位置によって異ならせた縞模様パターンがラインに垂直な方向に所定の速度で動く動画を生成する動画生成部と、
    前記動画を画面に表示する表示制御部と、
    前記画面に表示された前記縞模様パターンにおいて、被験者にライン方向の位置を指定させるユーザインタフェースを提供するインタフェース部と、
    前記ユーザインタフェースを介して、前記画面に表示された縞模様が所定の速度で動く前記縞模様パターンにおいて、前記被験者にとってその縞模様の動きが不明なライン方向の位置座標を取得する動き不明位置取得部と、
    前記動き不明位置取得部により取得されたライン方向の動き不明位置座標における前記第一の色の輝度と前記第二の色の輝度を算出する輝度算出部と、
    前記動き不明位置座標における前記第一の色の輝度と前記第二の色の輝度を、前記被験者にとって等輝度となる輝度値の組合せとして記憶する等輝度情報記憶部とを含むことを特徴とする等輝度測定装置。
  2. 前記縞模様パターンは、前記第一の色の輝度はラインの正方向に徐々に明るくなり、前記第二の色の輝度はラインの負方向に徐々に明るくなるように二色の輝度を異ならせたパターンであることを特徴とする請求項1に記載の等輝度測定装置。
  3. ある二つの色の組合せについて前記被験者にとって等輝度となる輝度値の組合せと、別の二つの色の組合せについて前記被験者にとって等輝度となる輝度値の組合せとを前記等輝度情報記憶部から取得して、前記被験者にとって等輝度に感じられる色を定めた心理物理学的等輝度面を算出する等輝度面算出部をさらに含むことを特徴とする請求項1または2に記載の等輝度測定装置。
  4. 第一の色のラインと第二の色のラインとが交互に配置されてなる縦縞もしくは横縞のパターンであって、前記第一の色と前記第二の色の輝度の比をライン方向の位置によって異ならせた縞模様パターンがラインに垂直な方向に所定の速度で動く動画を生成する動画生成部と、
    前記動画を画面に表示する表示制御部と、
    前記画面に表示された前記縞模様パターンにおいて、被験者にライン方向の位置を指定させるユーザインタフェースを提供するインタフェース部と、
    前記ユーザインタフェースを介して、前記画面に表示された縞模様が所定の速度で動く前記縞模様パターンにおいて、前記被験者にとってその縞模様の動きが不明なライン方向の位置座標を取得する動き不明位置取得部と、
    前記動き不明位置取得部により取得されたライン方向の動き不明位置座標における前記第一の色の輝度と前記第二の色の輝度を算出する輝度算出部と、
    前記動き不明位置座標における前記第一の色の輝度と前記第二の色の輝度を、前記被験者にとって等輝度となる輝度値の組合せとして記憶する等輝度情報記憶部と、
    表示すべき色の輝度を調整する輝度調整部を含み、
    前記輝度調整部は、第一の二色の組合せと、第一の二色の組合せとは異なる第二の二色の組合せについて、前記動画生成部、前記表示制御部、前記インタフェース部、前記動き不明位置取得部、前記輝度算出部を動作させることにより、前記第一の二色の組合せについて前記被験者にとって等輝度となる輝度値の組合せと、前記第二の二色の組合せについて前記被験者にとって等輝度となる輝度値の組合せとを前記三原色の主観的な等輝度情報として取得し、その主観的な等輝度情報にもとづいて、表示すべき色を前記被験者にとって等輝度となる輝度値で出力することを特徴とするディスプレイ装置。
  5. 三次元オブジェクトをレンダリングするコンピュータグラフィックス処理装置であって、
    第一の色のラインと第二の色のラインとが交互に配置されてなる縦縞もしくは横縞のパターンであって、前記第一の色と前記第二の色の輝度の比をライン方向の位置によって異ならせた縞模様パターンがラインに垂直な方向に所定の速度で動く動画を生成する動画生成部と、
    前記動画を画面に表示する表示制御部と、
    前記画面に表示された前記縞模様パターンにおいて、被験者にライン方向の位置を指定させるユーザインタフェースを提供するインタフェース部と、
    前記ユーザインタフェースを介して、前記画面に表示された縞模様が所定の速度で動く前記縞模様パターンにおいて、前記被験者にとってその縞模様の動きが不明なライン方向の位置座標を取得する動き不明位置取得部と、
    前記動き不明位置取得部により取得されたライン方向の動き不明位置座標における前記第一の色の輝度と前記第二の色の輝度を算出する輝度算出部と、
    前記動き不明位置座標における前記第一の色の輝度と前記第二の色の輝度を、前記被験者にとって等輝度となる輝度値の組合せとして記憶する等輝度情報記憶部と、
    ある二つの色の組合せについて前記被験者にとって等輝度となる輝度値の組合せと、別の二つの色の組合せについて前記被験者にとって等輝度となる輝度値の組合せとを前記等輝度情報記憶部から取得して、前記被験者にとって等輝度に感じられる色を定めた心理物理学的等輝度面を算出する等輝度面算出部と、
    所定の速度よりも速く動く三次元オブジェクトについては、前記等輝度面算出部により算出された前記被験者の主観的な等輝度面を参照して、描画色の輝度が主観的な等輝度面上に位置しないように、描画色の輝度を変更する輝度変更部とを含むことを特徴とするコンピュータグラフィックス処理装置。
  6. 第一の色のラインと第二の色のラインとが交互に配置されてなる縦縞もしくは横縞のパターンであって、前記第一の色と前記第二の色の輝度の比をライン方向の位置によって異ならせた縞模様パターンがラインに垂直な方向に所定の速度で動く映像を画面に表示し、前記画面に表示された縞模様が所定の速度で動く前記縞模様パターンにおいて、被験者にとってその縞模様の動きが不明なライン方向の位置を被験者に特定させ、被験者によって特定されたライン方向の動き不明位置座標における前記第一の色の輝度と前記第二の色の輝度を前記被験者にとって等輝度となる輝度値の組合せとして取得することを特徴とする等輝度測定方法。
  7. 第一の色のラインと第二の色のラインとが交互に配置されてなる縦縞もしくは横縞のパターンであって、前記第一の色と前記第二の色の輝度の比がライン方向の位置によって異なる縞模様パターンがラインに垂直な方向に所定の速度で動く動画を生成する動画生成機能と、
    前記動画を画面に表示する表示制御機能と、
    前記画面に表示された前記縞模様パターンにおいて、被験者にライン方向の位置を指定させるユーザインタフェースを提供するインタフェース機能と、
    前記ユーザインタフェースを介して、前記画面に表示された縞模様が所定の速度で動く前記縞模様パターンにおいて、前記被験者にとってその縞模様の動きが不明なライン方向の位置座標を取得する動き不明位置取得機能と、
    前記動き不明位置取得部により取得されたライン方向の動き不明位置座標における前記第一の色の輝度と前記第二の色の輝度を算出する輝度算出機能と、
    前記動き不明位置座標における前記第一の色の輝度と前記第二の色の輝度を、前記被験者にとって等輝度となる輝度値の組合せとして記憶する等輝度情報記憶機能とをコンピュータに実現させることを特徴とするプログラム。
JP2006236920A 2006-08-31 2006-08-31 等輝度測定装置、等輝度測定方法、ディスプレイ装置およびコンピュータグラフィックス処理装置 Expired - Fee Related JP4859043B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006236920A JP4859043B2 (ja) 2006-08-31 2006-08-31 等輝度測定装置、等輝度測定方法、ディスプレイ装置およびコンピュータグラフィックス処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006236920A JP4859043B2 (ja) 2006-08-31 2006-08-31 等輝度測定装置、等輝度測定方法、ディスプレイ装置およびコンピュータグラフィックス処理装置

Publications (2)

Publication Number Publication Date
JP2008054996A true JP2008054996A (ja) 2008-03-13
JP4859043B2 JP4859043B2 (ja) 2012-01-18

Family

ID=39238434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006236920A Expired - Fee Related JP4859043B2 (ja) 2006-08-31 2006-08-31 等輝度測定装置、等輝度測定方法、ディスプレイ装置およびコンピュータグラフィックス処理装置

Country Status (1)

Country Link
JP (1) JP4859043B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014229929A (ja) * 2013-05-17 2014-12-08 キヤノン株式会社 撮像装置、撮像装置の制御方法及びシステム
JP2017196119A (ja) * 2016-04-27 2017-11-02 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及びプログラム
JP2018174540A (ja) * 2018-06-06 2018-11-08 キヤノン株式会社 撮像装置、撮像装置の制御方法及びシステム
JP2020516419A (ja) * 2017-03-31 2020-06-11 アンスティチュ ドゥ セルヴォ エ ドゥ ラ モアル エピニエーレ コンピュータプロセスを個人的方法で制御するための色等輝度情報の決定
CN115250345A (zh) * 2021-04-27 2022-10-28 凌巨科技股份有限公司 图像处理装置以及调整白平衡的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4858857A (ja) * 1971-11-20 1973-08-17
JPS50120196A (ja) * 1974-03-12 1975-09-20
JP2002543906A (ja) * 1999-05-14 2002-12-24 ヴィジョンアールエックス.コム.インコーポレーテッド 色周波数ダブリングを利用した視覚テスト
JP2003290142A (ja) * 2002-04-05 2003-10-14 Nippon Telegr & Teleph Corp <Ntt> 視覚負荷度測定方法、装置、プログラム、および同プログラムを記録した記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4858857A (ja) * 1971-11-20 1973-08-17
JPS50120196A (ja) * 1974-03-12 1975-09-20
JP2002543906A (ja) * 1999-05-14 2002-12-24 ヴィジョンアールエックス.コム.インコーポレーテッド 色周波数ダブリングを利用した視覚テスト
JP2003290142A (ja) * 2002-04-05 2003-10-14 Nippon Telegr & Teleph Corp <Ntt> 視覚負荷度測定方法、装置、プログラム、および同プログラムを記録した記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014229929A (ja) * 2013-05-17 2014-12-08 キヤノン株式会社 撮像装置、撮像装置の制御方法及びシステム
JP2017196119A (ja) * 2016-04-27 2017-11-02 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及びプログラム
JP2020516419A (ja) * 2017-03-31 2020-06-11 アンスティチュ ドゥ セルヴォ エ ドゥ ラ モアル エピニエーレ コンピュータプロセスを個人的方法で制御するための色等輝度情報の決定
JP7085612B2 (ja) 2017-03-31 2022-06-16 アンスティチュ ドゥ セルヴォ エ ドゥ ラ モアル エピニエーレ コンピュータプロセスを個人的方法で制御するための色等輝度情報の決定
JP2018174540A (ja) * 2018-06-06 2018-11-08 キヤノン株式会社 撮像装置、撮像装置の制御方法及びシステム
CN115250345A (zh) * 2021-04-27 2022-10-28 凌巨科技股份有限公司 图像处理装置以及调整白平衡的方法
CN115250345B (zh) * 2021-04-27 2023-06-13 凌巨科技股份有限公司 图像处理装置以及调整白平衡的方法

Also Published As

Publication number Publication date
JP4859043B2 (ja) 2012-01-18

Similar Documents

Publication Publication Date Title
CN103815866B (zh) 视觉功能检查用方法和视觉功能检查用控制装置
CN102629379B (zh) 一种基于视觉特性的图像质量评价方法
WO2016158151A1 (ja) 視線検出システム、ヘッドマウントディスプレイ、視線検出方法
CN102447945B (zh) 一种图像亮度的jnd值测定方法
JP4651647B2 (ja) 新しい色温度点を見付ける方法及びその装置
CN109640786B (zh) 视觉功能检查及光学特性计算系统
CN109966130B (zh) 一种视觉功能训练中的双眼对比平衡度测量的方法及其系统
JP4859043B2 (ja) 等輝度測定装置、等輝度測定方法、ディスプレイ装置およびコンピュータグラフィックス処理装置
JP5417417B2 (ja) 視機能検査装置
JP2023178350A (ja) 脳波インタフェース装置、表示装置、ヘッドアップディスプレイシステム、及びプロジェクタシステム
Livingston et al. Quantification of contrast sensitivity and color perception using head-worn augmented reality displays
US20240037721A1 (en) Systems and methods for emulating far-range lighting for an operational scene illuminated by close-range light
May et al. Vision and virtual environments
Erickson et al. Analysis of the saliency of color-based dichoptic cues in optical see-through augmented reality
Wolski et al. Dark stereo: improving depth perception under low luminance
JP4202817B2 (ja) 視覚負荷度測定装置および方法、視覚負荷度測定プログラムならびにそのプログラムを記録した記録媒体
US20230320582A1 (en) Visual function examination device, spectacle lens presentation system, printed matter, visual function examination method, spectacle lens presentation method, and computer-readable medium
CN105427334A (zh) 一种度量自然图像主要属性的方法
Teunissen et al. Modeling motion‐induced color artifacts from the temporal step response
Li et al. 3‐4: Human Perception as a Measure: Evaluating Waveguide Non‐Uniformity in Augmented Reality Technology
JP2003290142A (ja) 視覚負荷度測定方法、装置、プログラム、および同プログラムを記録した記録媒体
CN108618746A (zh) 视觉形变侦测记录方法
JP2011240190A (ja) 視機能検査用プログラム及び視機能検査用制御装置
JP2014147036A (ja) 色処理装置および色処理方法
JP2015005846A (ja) 投射型表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111027

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees