JP2003223635A - Video display device and photographing device - Google Patents

Video display device and photographing device

Info

Publication number
JP2003223635A
JP2003223635A JP2002020371A JP2002020371A JP2003223635A JP 2003223635 A JP2003223635 A JP 2003223635A JP 2002020371 A JP2002020371 A JP 2002020371A JP 2002020371 A JP2002020371 A JP 2002020371A JP 2003223635 A JP2003223635 A JP 2003223635A
Authority
JP
Japan
Prior art keywords
cone
wavelength sensitivity
color
sensitivity characteristic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002020371A
Other languages
Japanese (ja)
Inventor
Taiichiro Kato
大一郎 加藤
Makoto Yoshida
良 吉田
Tsuneyoshi Suzuki
恒誉 鈴木
Toshiaki Watanabe
敏明 渡辺
Katsuhiko Soma
勝彦 相馬
Takao Sugawa
貴夫 須川
Yutaka Iwai
豊 岩井
Yoshihiko Kawai
吉彦 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2002020371A priority Critical patent/JP2003223635A/en
Publication of JP2003223635A publication Critical patent/JP2003223635A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video display device simulating a view of an audience with color anomaly and providing an image close to the view of the color-sense normal person to the audience of the color anomaly and to provide a video process amplifier, or a photographing device. <P>SOLUTION: This video display device has a constitution provided with means 430 for converting an inputted image signal based on waveform sensitivity characteristics of an L cone, waveform sensitivity characteristics of an M cone, and waveform sensitivity characteristics of an S cone, and RGB color function produced based on prescribed pathological data and producing the image signal of the image allowing the color-sense normal person to see the image as seen by the color anomaly by the conversion. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、テレビジョン、映
画、ゲーム、インターネット等における映像表示装置お
よび撮影装置に関し、特に特定の色波長領域に関して感
度の低い色覚異常の視聴者にも良好に映像視聴できるよ
うにするための映像表示装置および撮影装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display device and an image pickup device in televisions, movies, games, the Internet, etc., and particularly, an image is viewed well even by a viewer with color blindness having low sensitivity in a specific color wavelength region. The present invention relates to a video display device and a photographing device for enabling the above.

【0002】[0002]

【従来の技術】従来、テレビジョン、映画、ゲーム、イ
ンターネット等における映像の制作現場では、画面内に
表示する活字の大きさや表示する速度などに関して見や
すくするための技術の開発がなされている。また、日本
放送協会では、聴覚障害者を対象としたニュースの字幕
放送や、お年寄りが聞き取りやすい音声を実現する話速
変換機などにより、人にやさしい放送を実現する技術を
手がけてきている。
2. Description of the Related Art Conventionally, at the production sites of images on television, movies, games, the Internet, etc., techniques have been developed for making it easier to see the size of characters displayed on the screen and the speed of display. In addition, the Japan Broadcasting Corporation has been working on technology that realizes human-friendly broadcasting by means of news subtitle broadcasting targeted at the hearing impaired and a speech speed converter that realizes audio that is easy for the elderly to hear.

【0003】一方、特定の色波長領域に関して感度の低
い色覚異常の視聴者を対象とした映像制作に関しては、
これまであまり色覚異常の視聴者向けの技術が開発され
てこなかったのが現状である。このため、状況によって
は色覚異常の視聴者にとって見づらい、疲労を伴う映像
が表示されることが少なくなかった。色覚異常の視聴者
は気軽に映像を楽しめず、時として必要な情報さえ入手
できない場合もあったと考えられる。
On the other hand, regarding image production for a viewer with color blindness who has low sensitivity in a specific color wavelength region,
Until now, the technology for viewers with color blindness has not been developed so far. For this reason, it is not uncommon for viewers with color vision deficiencies to display images that are tired and tired depending on the situation. It is probable that viewers with color vision deficiency could not easily enjoy the images, and sometimes they could not even obtain the necessary information.

【0004】色覚異常の視聴者を対象とした画像変換に
関する特許としては、日本放送協会から過去に1件申請
された事例がある。これは、国際照明委員会の規格であ
るCIE(Commision International de l’Eclairag
e)のXYZ色度図上における混同色軌跡を基に、色覚
異常の視聴者の見え方を模擬するものである(特公平6
−82385号広報を参考)。
As a patent relating to image conversion for viewers with color vision deficiency, there is a case where one application was made in the past by the Japan Broadcasting Corporation. This is CIE (Commision International de l'Eclairag) which is a standard of the International Commission on Illumination.
Based on the confusion color locus on the XYZ chromaticity diagram of e), the appearance of a color-blind viewer is simulated (JP-B-6).
-Refer to the No. 82385 public information).

【0005】一般市場には、色弱眼鏡などの光学製品も
存在する。これらは色覚異常の視聴者が仕事上、区別し
にくい色を見分けられるようにするのが目的の製品であ
る。常時着用するものではなく、また、色覚正常者の見
え方を再現するためのものではないため、映像の制作現
場でこれらの物品を適用することは不可能である。
In the general market, optical products such as color-blind glasses are also available. The purpose of these products is to enable viewers with color blindness to distinguish colors that are difficult to distinguish at work. Since it is not worn all the time and is not for reproducing the appearance of a person with normal color vision, it is impossible to apply these articles at the production site of a video.

【0006】[0006]

【発明が解決しようとする課題】しかしながら、上記の
特公平6−82385号広報に開示された発明では、色
覚異常の視聴者が見やすいように色を変換する方法につ
いて、隣り合う色同士がXYZ色度図の混同色軌跡上に
あり、かつ輝度差が小さい場合に、彩度、輝度を変換す
るものであるため、計算処理に要する時間が長くなり、
動画処理には適さないという問題がある。
However, in the invention disclosed in the above Japanese Patent Publication No. 6-82385, there is a method of converting colors so that a viewer with color blindness can easily see them. When it is on the confusion color locus of the chromaticity diagram and the difference in luminance is small, the saturation and luminance are converted, so the time required for the calculation process becomes longer,
There is a problem that it is not suitable for video processing.

【0007】本発明は、かかる問題を解決するためにな
されたものであり、その目的は、色覚異常の視聴者の見
え方を模擬すると共に、色覚異常の視聴者に色覚正常者
の見え方に近い見え方をする画像を提供するための映像
表示装置および撮影装置であるビデオ・プロセス・アン
プを提供することにある。
The present invention has been made in order to solve such a problem, and its purpose is to simulate the appearance of a color-blind viewer and to allow a color-blind viewer to see a normal-color viewer. An object of the present invention is to provide a video process amplifier which is a video display device and a photographing device for providing an image having a close appearance.

【0008】[0008]

【課題を解決するための手段】以上の点を考慮して、請
求項1に係る発明は、所定の病理データに基づいて生成
された、L錐体の波長感度特性、M錐体の波長感度特
性、およびS錐体の波長感度特性とRGB等色関数とに
基づいて入力画像信号を変換し、前記変換によって色覚
正常者が、色覚異常者が見えるように見える画像の画像
信号を生成するための手段を備えた構成を有している。
この構成により、各錐体毎に見える色の強度を変換する
ための色変換手段を設けたため、色覚異常の視聴者の目
の波長感度に応じて色覚異常の視聴者の見え方の模擬が
可能な映像表示装置を実現できる。
In view of the above points, the invention according to claim 1 is the wavelength sensitivity characteristic of the L cone and the wavelength sensitivity of the M cone, which are generated based on predetermined pathological data. In order to convert the input image signal based on the characteristics and the wavelength sensitivity characteristic of the S cone and the RGB color matching function, and by the conversion, a person with normal color vision generates an image signal of an image in which a person with color vision abnormality appears to be visible. It has the structure provided with the means of.
With this configuration, since color conversion means for converting the intensity of the color seen for each cone is provided, it is possible to simulate the appearance of the color-blind viewer depending on the wavelength sensitivity of the eyes of the color-blind viewer. Video display device can be realized.

【0009】また、請求項2に係る発明は、所定の病理
データに基づいて生成された、L錐体の波長感度特性、
M錐体の波長感度特性、およびS錐体の波長感度特性と
RGB等色関数とに基づいて入力画像信号を変換し、前
記変換によって色覚異常者が、色覚正常者が見えるよう
に見える画像の画像信号を生成するための手段を備えた
構成を有している。この構成により、色変換処理と輝度
補正処理を施す手段を設けたため、色覚異常の視聴者の
目の波長感度に応じて、色覚異常の視聴者に色覚正常者
の見え方に近い見え方をする画像の提供が可能な映像表
示装置を実現できる。
The invention according to claim 2 is the wavelength sensitivity characteristic of the L-cone, which is generated based on predetermined pathological data,
The input image signal is converted on the basis of the wavelength sensitivity characteristic of the M cone and the wavelength sensitivity characteristic of the S cone and the RGB color matching function. It has a configuration including means for generating an image signal. With this configuration, means for performing color conversion processing and luminance correction processing is provided, so that a viewer with color blindness can see a color vision-deficient viewer in a manner similar to that of a normal color-blinder, depending on the wavelength sensitivity of the eyes of the color-blind viewer. A video display device capable of providing images can be realized.

【0010】また、請求項3に係る発明は、請求項1ま
たは2において、さらに、前記L錐体の波長感度特性、
前記M錐体の波長感度特性、および前記S錐体の波長感
度特性を切り換えるための切換スイッチと、前記手段に
よってなされる変換の微調整を行うための手段とを備え
た構成を有している。この構成により、操作性が向上で
きると共に、見え方のきめ細かい調整を行うことが可能
な映像表示装置を実現できる。
According to a third aspect of the present invention, in addition to the first or second aspect, the wavelength sensitivity characteristic of the L cone is further added.
It has a configuration including a changeover switch for switching the wavelength sensitivity characteristic of the M cone and the wavelength sensitivity characteristic of the S cone, and means for finely adjusting the conversion performed by the means. . With this configuration, it is possible to improve the operability and realize a video display device capable of finely adjusting the appearance.

【0011】また、請求項4に係る発明は、所定の病理
データに基づいて生成された、L錐体の波長感度特性、
M錐体の波長感度特性、およびS錐体の波長感度特性と
RGB等色関数とに基づいて入力画像信号を変換し、前
記変換によって色覚正常者が、色覚異常者が見えるよう
に見える画像の画像信号を生成するための手段を備えた
構成を有している。この構成により、各錐体毎に見える
色の強度を変換するための色変換手段を設けたため、色
覚異常の視聴者の目の波長感度に応じて色覚異常の視聴
者の見え方の模擬が可能な撮影装置を実現できる。
The invention according to claim 4 is the wavelength sensitivity characteristic of the L cone, which is generated based on predetermined pathological data,
The input image signal is converted on the basis of the wavelength sensitivity characteristic of the M cone and the wavelength sensitivity characteristic of the S cone and the RGB color matching function, and by the conversion, a person with a normal color vision sees a person with a color blindness. It has a configuration including means for generating an image signal. With this configuration, since color conversion means for converting the intensity of the color seen for each cone is provided, it is possible to simulate the appearance of the color-blind viewer depending on the wavelength sensitivity of the eyes of the color-blind viewer. Can be realized.

【0012】また、請求項5に係る発明は、所定の病理
データに基づいて生成された、L錐体の波長感度特性、
M錐体の波長感度特性、およびS錐体の波長感度特性と
RGB等色関数とに基づいて入力画像信号を変換し、前
記変換によって色覚異常者が、色覚正常者が見えるよう
に見える画像の画像信号を生成するための手段を備えた
構成を有している。この構成により、色変換処理と輝度
補正処理を施す手段を設けたため、色覚異常の視聴者の
目の波長感度に応じて、色覚異常の視聴者に色覚正常者
の見え方に近い見え方をする画像の提供が可能な撮影装
置を実現できる。
The invention according to claim 5 is the wavelength sensitivity characteristic of the L cone, which is generated based on predetermined pathological data,
The input image signal is converted on the basis of the wavelength sensitivity characteristic of the M cone and the wavelength sensitivity characteristic of the S cone and the RGB color matching function. It has a configuration including means for generating an image signal. With this configuration, means for performing color conversion processing and luminance correction processing is provided, so that a viewer with color blindness can see a color vision-deficient viewer in a manner similar to that of a normal color-blinder, depending on the wavelength sensitivity of the eyes of the color-blind viewer. It is possible to realize a photographing device capable of providing an image.

【0013】また、請求項6に係る発明は、請求項4ま
たは5において、さらに、前記L錐体の波長感度特性、
前記M錐体の波長感度特性、および前記S錐体の波長感
度特性を切り換えるための切換スイッチと、前記手段に
よってなされる変換の微調整を行うための手段とを備え
た構成を有している。この構成により、操作性が向上で
きると共に、見え方のきめ細かい調整を行うことが可能
な撮影装置を実現できる。
According to a sixth aspect of the present invention, in addition to the fourth or fifth aspect, the wavelength sensitivity characteristic of the L cone is further added.
It has a configuration including a changeover switch for switching the wavelength sensitivity characteristic of the M cone and the wavelength sensitivity characteristic of the S cone, and means for finely adjusting the conversion performed by the means. . With this configuration, it is possible to improve the operability and realize a photographing apparatus capable of finely adjusting the appearance.

【0014】[0014]

【発明の実施の形態】以下、添付図面を参照して、本発
明の第1の実施の形態に係る映像表示装置について説明
する。実施の形態について説明する前に、簡単に予備知
識について説明する。一般に、人間の網膜には約650
万個程度の錐体と呼ばれる色を感じる細胞が存在する。
それらの錐体は、L錐体,M錐体,およびS錐体の3種
類に分けられ、それぞれが所定の波長領域に対して感度
をもっている。
BEST MODE FOR CARRYING OUT THE INVENTION A video display device according to a first embodiment of the present invention will be described below with reference to the accompanying drawings. Before describing the embodiments, a brief background will be briefly described. Generally, the human retina has about 650
There are about a million cells that sense a color called a cone.
Those cones are divided into three types, L cones, M cones, and S cones, and each has sensitivity to a predetermined wavelength region.

【0015】図1に、色覚正常者における錐体の種類別
の波長感度特性を示す。図1において、L錐体,M錐
体、およびS錐体についての波長感度特性を示す曲線
(以下、波長感度特性曲線という。)は、それぞれ約5
80nm、545nm、435nmにピークをもつ曲線(それ
ぞれ、引用記号L、M、およびSで示す。)である。
FIG. 1 shows the wavelength sensitivity characteristics for each type of cone in a person with normal color vision. In FIG. 1, the curves showing the wavelength sensitivity characteristics for the L-cone, the M-cone, and the S-cone (hereinafter referred to as wavelength sensitivity characteristic curves) are about 5 each.
Curves having peaks at 80 nm, 545 nm, and 435 nm (denoted by reference symbols L, M, and S, respectively).

【0016】色弱者は、錐体の波長感度特性が色覚正常
者のものと異なる。第2図は、L錐体の波長感度が下が
っている一例を示す図である。この例では、L錐体の感
度が下がっているため、色弱者は長波長側、すなわち、
赤系の色が暗く見えることになる。第3図は、L錐体が
M錐体側に変異している一例を示す図である。この場合
は、赤系に対する波長感度が大幅に低下している。
A person with color blindness has a wavelength sensitivity characteristic of a cone different from that of a person with normal color vision. FIG. 2 is a diagram showing an example in which the wavelength sensitivity of the L cone is lowered. In this example, the sensitivity of the L cone is lowered, so that the color-blind person is on the long wavelength side, that is,
The reddish color will appear dark. FIG. 3 is a diagram showing an example in which the L cone is mutated to the M cone side. In this case, the wavelength sensitivity to the red system is significantly reduced.

【0017】各錐体についての波長感度は、赤色、緑
色、青色についての等色関数r(λ)、g(λ)、b
(λ)の線形和として以下の式(1)に示すように表す
ことができる。
The wavelength sensitivity for each cone is the color matching function r (λ), g (λ), b for red, green and blue.
It can be expressed as a linear sum of (λ) as shown in the following expression (1).

【数1】 (参考文献:ダブリュー.エス.スティルス、ジェイ.
エム.バーチ著、「NPLカラーマッチングの研究:最
終報告」、オプティカ アクタ、6、1−26頁、19
59、(W.S.Stiles and J.M.Burch: “NPL colou
r−matching investigation:Final report”,Optica
Acta,6,1-26(1959)))
[Equation 1] (Reference: W. S. Stills, Jay.
M. Birch, "Study of NPL Color Matching: Final Report", Optica Actor, 6, 1-26, 19
59, (WS Stiles and JM Burch: “NPL colou
r−matching investigation: Final report ”, Optica
Acta, 6, 1-26 (1959)))

【0018】ここで、各係数の値に関しては諸説あるた
めに値は異なるが、各説での値の差異は小さく、映像を
模擬するという目的においてはその差異はほとんど問題
とならない。以下に説明する実施の形態においては、各
係数を以下のように定める。a1=0.010600、
a2=0.168926、a3=8.265895a4
=2.846201、a5=11.092490なお、
定数k1、k2、およびk3は、規格化定数であり、そ
の値そのものは本発明に関しては問題とならない。
Here, although there are various theories regarding the value of each coefficient, the values are different, but the difference between the values in each theory is small, and the difference hardly poses a problem for the purpose of simulating an image. In the embodiment described below, each coefficient is defined as follows. a1 = 0.010600,
a2 = 0.168926, a3 = 8.265895a4
= 2.846201, a5 = 11.092490
The constants k1, k2, and k3 are normalization constants, and their values themselves are not a problem for the present invention.

【0019】以下の式(2)に示すように、RGB信号
(r、g、b)から各錐体での検出強度l,m,sに対応
するLMS信号(l、m、s)に変換するための行列を
TMr lとする。
As shown in the following equation (2), the RGB signals (r, g, b) are converted into LMS signals (l, m, s) corresponding to the detection intensities 1, m, s in each cone. The matrix for doing is TM r l .

【数2】 ここで、記号Tはベクトルの転置を表す。[Equation 2] Here, the symbol T represents the transposition of the vector.

【0020】図4は、本発明の第1の実施の形態に係る
ビデオ・プロセス・アンプの概略のブロック構成を示す
図である。映像表示装置400は、モード切換スイッチ
410、NTSCデコーダ420、色変換手段430、
NTSCエンコーダ440、赤緑異常切換手段450、
および微調整手段460によって構成される。なお、第
1の実施の形態では、入力信号をNTSC(National T
elevision System Committee)信号として説明を行う。
FIG. 4 is a diagram showing a schematic block configuration of a video process amplifier according to the first embodiment of the present invention. The image display device 400 includes a mode switch 410, an NTSC decoder 420, a color conversion unit 430,
NTSC encoder 440, red / green abnormality switching means 450,
And fine adjustment means 460. In the first embodiment, the input signal is set to NTSC (National T
elevision System Committee) As a signal.

【0021】モード切換スイッチ410は、入力信号に
対して色変換処理を行うか否かに応じて切り替えるため
のスイッチである。図4に示す構成では、スイッチがA
側に接続されている場合は色変換処理を行い、B側に接
続されている場合は色変換処理を行わない。NTSCデ
コーダ420は、NTSC信号を入力とし、NTSC信
号をRGB信号に変換してNTSCデコーダ420に出
力するための手段である。NTSC信号からRBG信号
への変換技術は公知であり、その説明を省略する。
The mode changeover switch 410 is a switch for changing over depending on whether or not color conversion processing is performed on an input signal. In the configuration shown in FIG. 4, the switch is A
When connected to the B side, color conversion processing is performed, and when connected to the B side, color conversion processing is not performed. The NTSC decoder 420 is a means for receiving an NTSC signal, converting the NTSC signal into an RGB signal, and outputting the RGB signal to the NTSC decoder 420. A technique for converting an NTSC signal to an RBG signal is known, and its explanation is omitted.

【0022】色変換手段430は、NTSCデコーダ4
20から出力されたRGB信号を入力とし、病理データ
に基づき、入力RGB信号に対して色変換処理を施し、
NTSCエンコーダ440に出力するための手段であ
り、その処理の詳細については後述する。NTSCエン
コーダ440は、色変換手段430から出力されたRB
G信号を入力とし、色変換手段430によって色変換さ
れたRGB信号をNTSC信号に変換し、映像表示装置
400の出力信号として外部に出力するための手段であ
る。RGB信号からNTSC信号への変換技術は公知で
あり、その説明を省略する。
The color conversion means 430 is the NTSC decoder 4
The RGB signal output from 20 is input, color conversion processing is performed on the input RGB signal based on the pathological data,
It is means for outputting to the NTSC encoder 440, and the details of the processing will be described later. The NTSC encoder 440 outputs the RB output from the color conversion unit 430.
It is a means for inputting the G signal, converting the RGB signal color-converted by the color conversion means 430 into an NTSC signal, and outputting the NTSC signal to the outside as an output signal of the video display device 400. A technique for converting an RGB signal into an NTSC signal is known, and its description is omitted.

【0023】赤緑異常切換手段450は、映像表示装置
400が赤異常の場合についての見え方を模擬するの
か、緑異常の場合についての見え方を模擬するのかを指
定するための手段である。指定された情報は、色変換手
段430に出力される。なお、赤緑異常切換手段450
からは、赤異常、緑異常の各異常についての病理データ
を入力できるとするのでも良い。微調整手段460は、
色変換手段430によって施される色変換処理において
微調整を行うため手段であり、可変抵抗素子等を含む構
成の手段である。
The red-green abnormality switching means 450 is means for designating whether the image display device 400 should simulate the appearance in the case of red abnormality or the appearance in the case of green abnormality. The designated information is output to the color conversion unit 430. The red-green abnormality switching means 450
From the above, it may be possible to input pathological data for each abnormality of red abnormality and green abnormality. The fine adjustment means 460 is
This is a means for performing fine adjustment in the color conversion processing performed by the color conversion means 430, and is a means having a configuration including a variable resistance element and the like.

【0024】図5は、色変換手段430の詳細なブロッ
ク構成を示す図である。色変換手段430は、さらにR
GB−LMS変換手段431、LMSアンプ432、L
MS−RGB変換手段433、およびメモリ434によ
って構成される。RGB−LMS変換手段431は、色
変換手段430に入力されたRBG信号に対して上記の
式(2)に示す変換を施し、RGB信号をLMS信号に
変換するための手段である。
FIG. 5 is a diagram showing a detailed block configuration of the color conversion means 430. The color conversion means 430 further adds R
GB-LMS conversion means 431, LMS amplifier 432, L
It is composed of an MS-RGB conversion means 433 and a memory 434. The RGB-LMS conversion means 431 is means for performing the conversion shown in the above equation (2) on the RBG signal input to the color conversion means 430 and converting the RGB signal into an LMS signal.

【0025】LMSアンプ432は、RGB−LMS変
換手段431から出力されたLMS信号を入力とし、赤
緑異常切換手段450から入力された赤異常か緑異常か
の情報に応じたLMS信号に変換し(以下、LMSアン
プ処理という。)、LMS−RGB変換手段433に出
力するための手段である。具体的には、赤異常の場合
は、L成分の信号を変換し、緑異常の場合は、M成分の
信号を変換する。
The LMS amplifier 432 receives the LMS signal output from the RGB-LMS conversion means 431 as an input and converts the LMS signal into an LMS signal corresponding to the red abnormality or green abnormality information input from the red-green abnormality switching means 450. (Hereinafter referred to as LMS amplifier processing), which is means for outputting to the LMS-RGB conversion means 433. Specifically, in the case of red abnormality, the L component signal is converted, and in the case of green abnormality, the M component signal is converted.

【0026】メモリ434は、病理データ、係数a1
5の値等のデータを記憶するための手段である。LM
Sアンプ432は、赤緑異常切換手段450から赤異常
または緑異常の情報の入力が有ったとき、入力された情
報に基づいてメモリ434に記憶されたデータ等を読み
出し、そのデータに基づいて上記のLMSアンプ処理を
施す。
The memory 434 stores pathological data, coefficients a 1 to
It is a means for storing data such as the value of a 5 . LM
When the red-green abnormality switching means 450 receives information about red abnormality or green abnormality, the S amplifier 432 reads out data or the like stored in the memory 434 based on the input information, and based on the data. The above LMS amplifier processing is performed.

【0027】LMS−RGB変換手段433は、LMS
アンプ432から出力されたLMS信号を入力とし、L
MSアンプ処理後のLMS信号に対して以下の式(3)
に示すように変換を施してRGB信号を生成し、色変換
手段430から出力するための手段である。
The LMS-RGB conversion means 433 is an LMS
The LMS signal output from the amplifier 432 is input and L
The following equation (3) is applied to the LMS signal after the MS amplifier processing.
The color conversion means 430 outputs the RGB signals by performing conversion as shown in FIG.

【数3】 [Equation 3]

【0028】以上説明したように、本発明の第1の実施
の形態に係るビデオ・プロセス・アンプは、各錐体毎に
見える色の強度を変換するための色変換手段を設けたた
め、色覚異常の視聴者の目の波長感度に応じて色覚異常
の視聴者の見え方の模擬が可能なビデオ・プロセス・ア
ンプを実現できる。
As described above, since the video process amplifier according to the first embodiment of the present invention is provided with the color conversion means for converting the intensity of the color visible for each cone, the color blindness is abnormal. It is possible to realize a video process amplifier capable of simulating the appearance of a viewer with color blindness according to the wavelength sensitivity of the viewer's eyes.

【0029】図6は、本発明の第2の実施の形態に係る
撮影装置のブロック構成を示す図である。なお、第2の
実施の形態に係る撮影装置600を構成する構成手段の
うち、上記本発明の第1の実施の形態に係る映像表示装
置400における構成手段と同様の処理を行うものには
同一の引用番号を付し、その説明を省略する。
FIG. 6 is a block diagram showing the arrangement of an image pickup apparatus according to the second embodiment of the present invention. It is to be noted that, out of the constituent means constituting the image capturing apparatus 600 according to the second embodiment, the same constituent means as the constituent means in the image display apparatus 400 according to the first embodiment of the present invention are the same. The reference number is attached and the description is omitted.

【0030】撮影装置600は、RGB−LMS変換手
段431、LMSアンプ432、メモリ434、赤緑異
常切換手段450、微調整手段460、LMS−HSV
変換手段633、輝度補正手段640、HSV−RBG
変換手段650、青成分補正手段660、更新スイッチ
670、混同色判定手段680、および補正用テーブル
保持手段690によって構成される。
The photographing apparatus 600 includes an RGB-LMS conversion means 431, an LMS amplifier 432, a memory 434, a red / green abnormality switching means 450, a fine adjustment means 460, and an LMS-HSV.
Conversion means 633, brightness correction means 640, HSV-RBG
The conversion unit 650, the blue component correction unit 660, the update switch 670, the confusion color determination unit 680, and the correction table holding unit 690 are included.

【0031】LMS−HSV変換手段633は、LMS
アンプ432から出力されたLMS信号を入力とし、L
MSアンプ処理後のLMS信号に対して以下の式(4)
に示すように変換を施してLMS信号を色相H、彩度
S、および明度Vについての信号であるHSV(Hue, S
aturation, Value)信号に変換するための手段である。
The LMS-HSV conversion means 633 is an LMS
The LMS signal output from the amplifier 432 is input and L
The following equation (4) is applied to the LMS signal after the MS amplifier processing.
The LMS signal is subjected to conversion as shown in FIG. 2 to obtain the HSV (Hue, S) which is a signal for the hue H, the saturation S, and the brightness V.
(aturation, Value) is a means for converting into a signal.

【数4】 ここで、TMlhは変換行列である。[Equation 4] Here, TM lh is a conversion matrix.

【0032】輝度補正手段640は、後述する補正用テ
ーブル保持手段690に保持されている補正用テーブル
に基づいてHSV信号の明度M成分の信号を補正し、補
正後のHSV信号をHSV−RBG変換手段650に出
力するための手段である。
The brightness correction means 640 corrects the lightness M component signal of the HSV signal based on the correction table held in the correction table holding means 690 described later, and the corrected HSV signal is converted into HSV-RBG. It is a means for outputting to the means 650.

【0033】HSV−RBG変換手段650は、輝度補
正手段640から出力されたHSV信号に対して以下の
式(5)に示すように変換を施してHSV信号をRGB
信号に変換し、青成分補正手段660に出力するための
手段である。
The HSV-RBG conversion means 650 converts the HSV signal output from the brightness correction means 640 as shown in the following equation (5) to convert the HSV signal into RGB.
It is a means for converting into a signal and outputting it to the blue component correcting means 660.

【数5】 ここで、TMhrは変換行列である。[Equation 5] Here, TM hr is a transformation matrix.

【0034】青成分補正手段660は、HSV−RBG
変換手段650から出力されたRBG信号に対して青
(B)信号についての補正処理(以下、青信号補正処理
という。)を行い、青信号補正処理後の信号を出力信号
として撮影装置600から出力するための手段である。
The blue component correcting means 660 is an HSV-RBG.
In order to perform correction processing for the blue (B) signal (hereinafter referred to as blue signal correction processing) on the RBG signal output from the conversion unit 650, and to output the signal after the blue signal correction processing as an output signal from the imaging device 600. Is a means of.

【0035】更新スイッチ670は、輝度補正手段64
0において行う明度V成分の信号の補正を行うために用
いる補正用テーブルのデータを更新するか否か切り換え
るためのスイッチである。例えば、更新スイッチ670
が閉のときは、新しいデータに更新し、更新スイッチ6
70が開のときは、更新しないとすることができる。
The update switch 670 is used for the brightness correction means 64.
This is a switch for switching whether or not to update the data of the correction table used for correcting the signal of the brightness V component performed at 0. For example, the update switch 670
When is closed, update to new data and update switch 6
When 70 is open, it may not be updated.

【0036】混同色判定手段680は、更新スイッチ6
70経由でLMS−RGB変換手段433から出力され
たHSV信号を入力とし、入力HSV信号に基づいて混
同色を判定し、混同色についての明度の補正係数を生成
し、補正用テーブル保持手段690に出力するための手
段である。補正用テーブル保持手段690は、混同色判
定手段680からの補正係数を入力とし、補正用テーブ
ル中に更新して保持するための手段である。
The confusion color determining means 680 is the update switch 6
The HSV signal output from the LMS-RGB conversion means 433 via 70 is input, a confusion color is determined based on the input HSV signal, a lightness correction coefficient for the confusion color is generated, and the correction table holding means 690 is provided. It is a means for outputting. The correction table holding unit 690 is a unit for receiving the correction coefficient from the confusion color determination unit 680 and updating and holding the correction coefficient in the correction table.

【0037】以上説明したように、本発明の第2の実施
の形態に係るビデオ・プロセス・アンプは、色変換処理
と輝度補正処理を施す手段を設けたため、色覚異常の視
聴者の目の波長感度に応じて、色覚異常の視聴者に色覚
正常者の見え方に近い見え方をする画像の提供が可能な
ビデオ・プロセス・アンプを実現できると共に、見え方
のきめ細かい調整もできる。
As described above, since the video process amplifier according to the second embodiment of the present invention is provided with the means for performing the color conversion processing and the brightness correction processing, the wavelength of the eyes of the viewer with color vision deficiency. According to the sensitivity, it is possible to realize a video process amplifier capable of providing a viewer with color vision abnormality with an image that looks like a normal color vision person, and it is possible to finely adjust the appearance.

【0038】[0038]

【発明の効果】以上説明したように、本発明は、色覚異
常の視聴者の見え方を模擬すると共に、色覚異常の視聴
者に色覚正常者の見え方に近い見え方をする画像を提供
するための映像表示装置および撮影装置であるビデオ・
プロセス・アンプを実現することができる。
As described above, the present invention simulates the appearance of a color-blind viewer and provides an image with a color-blind viewer that looks more like that of a normal color-blind person. A video display device and a video device
A process amplifier can be realized.

【図面の簡単な説明】[Brief description of drawings]

【図1】色覚正常者における錐体種類別の波長感度特性
を示す図である。
FIG. 1 is a diagram showing wavelength sensitivity characteristics for each cone type in a person with normal color vision.

【図2】L錐体の波長感度が下がっている一例を示す波
長感度特性の図である。
FIG. 2 is a diagram of wavelength sensitivity characteristics showing an example in which the wavelength sensitivity of an L cone is lowered.

【図3】L錐体がM錐体側に変異している一例を示す波
長感度特性の図である。
FIG. 3 is a diagram of wavelength sensitivity characteristics showing an example in which the L cone is mutated to the M cone side.

【図4】本発明の第1の実施形態に係るビデオ・プロセ
ス・アンプの概略のブロック構成を示す図である。
FIG. 4 is a diagram showing a schematic block configuration of a video process amplifier according to the first embodiment of the present invention.

【図5】本発明の第1の実施形態に係るビデオ・プロセ
ス・アンプにおける色変換手段の詳細なブロック構成を
示す図である。
FIG. 5 is a diagram showing a detailed block configuration of color conversion means in the video process amplifier according to the first embodiment of the present invention.

【図6】本発明の第2の実施形態に係るビデオ・プロセ
ス・アンプのブロック構成を示す図である。
FIG. 6 is a diagram showing a block configuration of a video process amplifier according to a second embodiment of the present invention.

【符号の説明】[Explanation of symbols]

400 映像表示装置 410 モード切換スイッチ 420 NTSCデコーダ 430 色変換手段 431 RGB−LMS変換手段 432 LMSアンプ 433 LMS−RGB変換手段 434 メモリ 440 NTSCエンコーダ 450 赤緑異常切換手段 460 微調整手段 600 撮影装置 633 LMS−HSV変換手段 640 輝度補正手段 650 HSV−RBG変換手段 660 青成分補正手段 670 更新スイッチ 680 混同色判定手段 690 補正用テーブル保持手段 S S錐体の波長感度特性 M M錐体の波長感度特性 L L錐体の波長感度特性 400 video display device 410 Mode selector switch 420 NTSC decoder 430 color conversion means 431 RGB-LMS conversion means 432 LMS amplifier 433 LMS-RGB conversion means 434 memory 440 NTSC encoder 450 Red-green abnormality switching means 460 Fine adjustment means 600 photography equipment 633 LMS-HSV conversion means 640 Brightness correction means 650 HSV-RBG conversion means 660 blue component correction means 670 update switch 680 Confusion color determination means 690 Correction Table Holding Means Wavelength sensitivity characteristics of S S cone Wavelength sensitivity characteristics of MM cone Wavelength sensitivity characteristics of L L cone

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 恒誉 東京都渋谷区神南二丁目2番1号 日本放 送協会 放送センター内 (72)発明者 渡辺 敏明 東京都渋谷区神南二丁目2番1号 日本放 送協会 放送センター内 (72)発明者 相馬 勝彦 東京都渋谷区神南二丁目2番1号 日本放 送協会 放送センター内 (72)発明者 須川 貴夫 東京都渋谷区神南二丁目2番1号 日本放 送協会 放送センター内 (72)発明者 岩井 豊 東京都渋谷区神南二丁目2番1号 日本放 送協会 放送センター内 (72)発明者 河合 吉彦 東京都渋谷区神南二丁目2番1号 日本放 送協会 放送センター内 Fターム(参考) 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE17 5C066 AA01 AA03 CA17 EE04 GA01 KM01 KM11 5C077 MP08 PP32 PP34 PP37 PQ08 TT10 5C079 HB01 HB04 HB11 LA31 LB11 PA00    ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor Tsunetaka Suzuki             2-2-1 Jinnan 2-chome, Shibuya-ku, Tokyo             Sending Association Broadcast Center (72) Inventor Toshiaki Watanabe             2-2-1 Jinnan 2-chome, Shibuya-ku, Tokyo             Sending Association Broadcast Center (72) Inventor Katsuhiko Soma             2-2-1 Jinnan 2-chome, Shibuya-ku, Tokyo             Sending Association Broadcast Center (72) Inventor Takao Sugawa             2-2-1 Jinnan 2-chome, Shibuya-ku, Tokyo             Sending Association Broadcast Center (72) Inventor Yutaka Iwai             2-2-1 Jinnan 2-chome, Shibuya-ku, Tokyo             Sending Association Broadcast Center (72) Inventor Yoshihiko Kawai             2-2-1 Jinnan 2-chome, Shibuya-ku, Tokyo             Sending Association Broadcast Center F-term (reference) 5B057 AA20 BA02 CA01 CA08 CA12                       CA16 CB01 CB08 CB12 CB16                       CC01 CE17                 5C066 AA01 AA03 CA17 EE04 GA01                       KM01 KM11                 5C077 MP08 PP32 PP34 PP37 PQ08                       TT10                 5C079 HB01 HB04 HB11 LA31 LB11                       PA00

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】所定の病理データに基づいて生成された、
L錐体の波長感度特性、M錐体の波長感度特性、および
S錐体の波長感度特性とRGB等色関数とに基づいて入
力画像信号を変換し、前記変換によって色覚正常者が、
色覚異常者が見えるように見える画像の画像信号を生成
するための手段を備えたことを特徴とする映像表示装
置。
1. A method which is generated based on predetermined pathological data,
The input image signal is converted on the basis of the wavelength sensitivity characteristic of the L cone, the wavelength sensitivity characteristic of the M cone, and the wavelength sensitivity characteristic of the S cone and the RGB color matching function.
An image display device comprising means for generating an image signal of an image that a person with color vision deficiency can see.
【請求項2】所定の病理データに基づいて生成された、
L錐体の波長感度特性、M錐体の波長感度特性、および
S錐体の波長感度特性とRGB等色関数とに基づいて入
力画像信号を変換し、前記変換によって色覚異常者が、
色覚正常者が見えるように見える画像の画像信号を生成
するための手段を備えたことを特徴とする映像表示装
置。
2. Generated based on predetermined pathological data,
The input image signal is converted on the basis of the wavelength sensitivity characteristic of the L cone, the wavelength sensitivity characteristic of the M cone, and the wavelength sensitivity characteristic of the S cone and the RGB color matching function.
An image display device comprising means for generating an image signal of an image that a person with normal color vision can see.
【請求項3】前記映像表示装置は、さらに、前記L錐体
の波長感度特性、前記M錐体の波長感度特性、および前
記S錐体の波長感度特性を切り換えるための切換スイッ
チと、前記手段によってなされる変換の微調整を行うた
めの手段とを備えたことを特徴とする請求項1または2
記載の映像表示装置。
3. The image display device further includes a changeover switch for switching the wavelength sensitivity characteristic of the L cone, the wavelength sensitivity characteristic of the M cone, and the wavelength sensitivity characteristic of the S cone, and the means. Means for making fine adjustments to the conversion made by
The image display device described.
【請求項4】所定の病理データに基づいて生成された、
L錐体の波長感度特性、M錐体の波長感度特性、および
S錐体の波長感度特性とRGB等色関数とに基づいて入
力画像信号を変換し、前記変換によって色覚正常者が、
色覚異常者が見えるように見える画像の画像信号を生成
するための手段を備えたことを特徴とする撮影装置。
4. Generated based on predetermined pathological data,
The input image signal is converted on the basis of the wavelength sensitivity characteristic of the L cone, the wavelength sensitivity characteristic of the M cone, and the wavelength sensitivity characteristic of the S cone and the RGB color matching function.
An image pickup apparatus comprising means for generating an image signal of an image that a person with a color vision deficiency can see.
【請求項5】所定の病理データに基づいて生成された、
L錐体の波長感度特性、M錐体の波長感度特性、および
S錐体の波長感度特性とRGB等色関数とに基づいて入
力画像信号を変換し、前記変換によって色覚異常者が、
色覚正常者が見えるように見える画像の画像信号を生成
するための手段を備えたことを特徴とする撮影装置。
5. Generated based on predetermined pathological data,
The input image signal is converted on the basis of the wavelength sensitivity characteristic of the L cone, the wavelength sensitivity characteristic of the M cone, and the wavelength sensitivity characteristic of the S cone and the RGB color matching function.
An image capturing apparatus comprising means for generating an image signal of an image that a person with normal color vision can see.
【請求項6】前記撮影装置は、さらに、前記L錐体の波
長感度特性、前記M錐体の波長感度特性、および前記S
錐体の波長感度特性を切り換えるための切換スイッチ
と、前記手段によってなされる変換の微調整を行うため
の手段とを備えたことを特徴とする請求項4または5記
載の撮影装置。
6. The image pickup device further includes a wavelength sensitivity characteristic of the L cone, a wavelength sensitivity characteristic of the M cone, and the S sensitivity.
6. The photographing apparatus according to claim 4, further comprising a changeover switch for changing the wavelength sensitivity characteristic of the cone and a means for finely adjusting the conversion performed by the means.
JP2002020371A 2002-01-29 2002-01-29 Video display device and photographing device Pending JP2003223635A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002020371A JP2003223635A (en) 2002-01-29 2002-01-29 Video display device and photographing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002020371A JP2003223635A (en) 2002-01-29 2002-01-29 Video display device and photographing device

Publications (1)

Publication Number Publication Date
JP2003223635A true JP2003223635A (en) 2003-08-08

Family

ID=27743879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002020371A Pending JP2003223635A (en) 2002-01-29 2002-01-29 Video display device and photographing device

Country Status (1)

Country Link
JP (1) JP2003223635A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005524154A (en) * 2002-04-26 2005-08-11 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート Method and system for adaptively converting visual content to suit terminal users' color vision characteristics
WO2006057126A1 (en) * 2004-11-26 2006-06-01 Ryobi System Solutions Pixel processor
JP2006318000A (en) * 2005-05-10 2006-11-24 Pentax Corp Color conversion device and photographing device
JP2008237406A (en) * 2007-03-26 2008-10-09 Samii Kk Image display control device and method, and game machine
WO2011030814A1 (en) * 2009-09-09 2011-03-17 国立大学法人 鹿児島大学 Image processing device, image processing method, and program
WO2012003496A2 (en) * 2010-07-02 2012-01-05 Kedalion Vision Technology, Inc. Systems and methods for assisting visually-impaired users to view visual content
CN102984430A (en) * 2011-09-05 2013-03-20 株式会社理光 Image processing system and method
US8422071B2 (en) 2007-08-07 2013-04-16 Konica Minolta Holdings, Inc. Information conversion method, information conversion apparatus, and information conversion program
JP2013251712A (en) * 2012-05-31 2013-12-12 Kagoshima Univ Image processor, image processing method and program
JP2014078900A (en) * 2012-10-12 2014-05-01 Chukyo Medical Co Inc Color output device, color correction device, and program
CN106504713A (en) * 2016-11-21 2017-03-15 四川长虹电器股份有限公司 Television set dyschromatopsia mode tuning system and method
JP6181278B1 (en) * 2016-12-22 2017-08-16 Jig−Saw株式会社 Head-mounted image presentation device having a visible light wavelength converter
JP2018107790A (en) * 2017-07-19 2018-07-05 Jig−Saw株式会社 Head-mounted type video presentation device with visible light wavelength conversion section

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4723856B2 (en) * 2002-04-26 2011-07-13 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート Method and system for adaptively converting visual content to suit the color vision characteristics of the user
JP2005524154A (en) * 2002-04-26 2005-08-11 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート Method and system for adaptively converting visual content to suit terminal users' color vision characteristics
WO2006057126A1 (en) * 2004-11-26 2006-06-01 Ryobi System Solutions Pixel processor
US7945092B2 (en) 2004-11-26 2011-05-17 Ryobi System Solutions Pixel processor
JP2006318000A (en) * 2005-05-10 2006-11-24 Pentax Corp Color conversion device and photographing device
JP2008237406A (en) * 2007-03-26 2008-10-09 Samii Kk Image display control device and method, and game machine
US8422071B2 (en) 2007-08-07 2013-04-16 Konica Minolta Holdings, Inc. Information conversion method, information conversion apparatus, and information conversion program
WO2011030814A1 (en) * 2009-09-09 2011-03-17 国立大学法人 鹿児島大学 Image processing device, image processing method, and program
WO2012003496A3 (en) * 2010-07-02 2012-04-05 Kedalion Vision Technology, Inc. Systems and methods for assisting visually-impaired users to view visual content
WO2012003496A2 (en) * 2010-07-02 2012-01-05 Kedalion Vision Technology, Inc. Systems and methods for assisting visually-impaired users to view visual content
US8787640B2 (en) 2011-09-05 2014-07-22 Ricoh Company, Ltd. Image processing system, method, program, and storage medium to implement universal color design
CN102984430A (en) * 2011-09-05 2013-03-20 株式会社理光 Image processing system and method
JP2013251712A (en) * 2012-05-31 2013-12-12 Kagoshima Univ Image processor, image processing method and program
JP2014078900A (en) * 2012-10-12 2014-05-01 Chukyo Medical Co Inc Color output device, color correction device, and program
CN106504713A (en) * 2016-11-21 2017-03-15 四川长虹电器股份有限公司 Television set dyschromatopsia mode tuning system and method
JP6181278B1 (en) * 2016-12-22 2017-08-16 Jig−Saw株式会社 Head-mounted image presentation device having a visible light wavelength converter
WO2018117163A1 (en) * 2016-12-22 2018-06-28 Jig-Saw株式会社 Head mounted type video presenting device including visible light wavelength converting unit
JP2018107531A (en) * 2016-12-22 2018-07-05 Jig−Saw株式会社 Head-mounted type video presentation device with visible light wavelength conversion section
US10924719B2 (en) 2016-12-22 2021-02-16 Jig-Saw Inc. Head mounted type video presenting device including visible light wavelength converting unit
JP2018107790A (en) * 2017-07-19 2018-07-05 Jig−Saw株式会社 Head-mounted type video presentation device with visible light wavelength conversion section

Similar Documents

Publication Publication Date Title
KR100703105B1 (en) Enhanced color correction
JP5527448B2 (en) Image input device
JP5179829B2 (en) Gray data correction apparatus and method
KR100211683B1 (en) Color transformation process and a color video system
JP2002232906A (en) White balance controller
JP2003223635A (en) Video display device and photographing device
JPS6361592A (en) Method and device for processing image
WO2015011824A1 (en) Image pickup apparatus
TW200418318A (en) Image processing device, method, and program
US8139079B2 (en) Color gamut component analysis apparatus, method of analyzing color gamut component, and color gamut component analysis program
US5283634A (en) Luminance signal correcting method
US20070076014A1 (en) Universal color decoder an method for decoding input signal for a multiple primary color display system
JP2004080402A (en) Circuit for adjusting dynamic white balance and multi-screen display device
WO2011030814A1 (en) Image processing device, image processing method, and program
KR20050073805A (en) Color reproduction apparatus and method for display
JP2008193645A (en) Lightness correcting device, method thereof, and display device
JP3539883B2 (en) Image processing method and apparatus, recording medium, imaging apparatus, and image reproducing apparatus
CN112335233B (en) Image generation device and imaging device
CN102024443A (en) Image color processing method and system
JP2007110432A (en) Coloring adjustment apparatus, coloring adjustment method, and program
JP3067342B2 (en) Telecine equipment
Luštica Live HDR Workflow
JP2013175960A (en) Image processing device and image processing method and program
JPH07264620A (en) Method and device for image reproduction
KR100481489B1 (en) color control pattern generating device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080408