JP2012099034A - Color vision auxiliary apparatus, color vision auxiliary method, and program - Google Patents

Color vision auxiliary apparatus, color vision auxiliary method, and program Download PDF

Info

Publication number
JP2012099034A
JP2012099034A JP2010248112A JP2010248112A JP2012099034A JP 2012099034 A JP2012099034 A JP 2012099034A JP 2010248112 A JP2010248112 A JP 2010248112A JP 2010248112 A JP2010248112 A JP 2010248112A JP 2012099034 A JP2012099034 A JP 2012099034A
Authority
JP
Japan
Prior art keywords
color
video data
zone
colors
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010248112A
Other languages
Japanese (ja)
Other versions
JP5707099B2 (en
JP2012099034A5 (en
Inventor
Kazunori Asada
一憲 浅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2010248112A priority Critical patent/JP5707099B2/en
Publication of JP2012099034A publication Critical patent/JP2012099034A/en
Publication of JP2012099034A5 publication Critical patent/JP2012099034A5/ja
Application granted granted Critical
Publication of JP5707099B2 publication Critical patent/JP5707099B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a color vision auxiliary apparatus etc., which can convert a wide-range of colors included in an image so that a person who has color blindness can distinguish them, smoothly perform color conversion of the image, or convert the colors in a mode in which features of the original colors are reflected.SOLUTION: A control part 1 selects a number of color zones, obtained by dividing a visible color region in a color space, one by one, in order. The control part 1 also specifies a part, having a color belonging to a currently selected color zone, in an image that video data obtained by imaging by a video input part 4 represents, converts the video data such that the color of the part is converted into a color that the person who has color blindness distinguishes as a color different from the color, and makes a video output part 5 display a color image that the converted image data represents.

Description

本発明は、色覚補助装置、色覚補助方法及びプログラムに関する。   The present invention relates to a color vision assistance device, a color vision assistance method, and a program.

色覚異常のために互いに同一の色として知覚されてしまう色のペア(混同色)を色覚異常者が互いに異なる色として弁別できるようにする手法として、たとえば特許文献1に開示されているような、色覚異常者が視認する対象である画像の色の一部を変換する手法が行われている。また、色を変換する規則については、たとえば非特許文献1に開示されているものなどが考えられている。   As a method for enabling color-blind persons to distinguish color pairs that are perceived as the same color due to color blindness as color different from each other, for example, as disclosed in Patent Document 1, A technique for converting a part of the color of an image to be visually recognized by a person with abnormal color vision has been performed. As a rule for color conversion, for example, the one disclosed in Non-Patent Document 1 is considered.

特開2006−252356号公報JP 2006-252356 A

K. Rasche, R. Geist, and J. Westall, Detail preserving reproduction of color images for monochromats and dichromats, IEEE Computer Graphics and Applications, vol. 25, No. 3, pp. 22-30, May/June 2005.K. Rasche, R. Geist, and J. Westall, Detail preserving reproduction of color images for monochromats and dichromats, IEEE Computer Graphics and Applications, vol. 25, No. 3, pp. 22-30, May / June 2005.

しかし、画像全域について混同色を弁別可能とするために一挙に色の変換を行う場合、画面に含まれるすべての混同色を解消する必要がある上、変換により新たな混同色を生成してしまわないようにする必要もあり、このような条件を満たす変換結果を決定するための演算は膨大な量となる。このため、決定が困難になったり、変換の対象とする色の範囲を制限せざるを得なかったり、さらには、変換結果を決定する処理を行うプロセッサ等として演算能力が極めて高いものが必要となったり、動画を表示するときのように変換対象の画像が刻々変化する場合は演算がこの変化に追随できなくなったりする、といった問題が生じる。また、変換後の色は元の色と大きく異なったものとなり得るので、色覚異常者には、元の色の特徴が十分正しく伝達されにくい。   However, when color conversion is performed all at once in order to make it possible to discriminate confusion colors for the entire image, it is necessary to eliminate all the confusion colors included in the screen and generate new confusion colors by conversion. There is also a need to avoid the calculation, and the calculation for determining the conversion result satisfying such a condition is enormous. For this reason, it becomes difficult to determine, it is necessary to limit the range of colors to be converted, and furthermore, a processor or the like that performs processing for determining the conversion result needs to have a very high computing power. Or when the image to be converted changes every moment, such as when displaying a moving image, the calculation may not be able to follow the change. In addition, since the color after conversion can be very different from the original color, it is difficult for the color-blind person to transmit the characteristics of the original color sufficiently correctly.

本発明は、上述の問題点に鑑みてなされたもので、画像に含まれる広範囲の色を色覚異常者に弁別できるように変換でき、あるいは画像の色の変換を円滑に行え、あるいは元の色の特徴を反映した態様で色の変換ができるようにするための色覚補助装置、色覚補助方法及びプログラムを提供することを目的とする。   The present invention has been made in view of the above-described problems, and can convert a wide range of colors included in an image so that it can be distinguished by a person with color blindness, or can smoothly convert the color of an image, or the original color It is an object of the present invention to provide a color vision assisting device, a color vision assisting method, and a program for enabling color conversion in a manner reflecting the above characteristics.

上記目的を達成するため、本発明の第1の観点に係る色覚補助装置は、
色空間内で可視色が占める領域内で複数個の部分をなす複数の色ゾーンを1個ずつ順次選択する色ゾーン選択手段と、
カラー画像を表す映像データを取得する映像データ取得手段と、
前記映像データ取得手段が取得した映像データが表すカラー画像のうち、前記色ゾーン選択手段が現に選択している色ゾーンに属する色を有する部分を特定して、当該特定された部分の色が、色覚異常者により当該色と異なる色として識別される他の色へと変換されたものとなるように、前記映像データの変換を行う変換手段と、
変換された前記映像データが表すカラー画像を表示する映像表示手段と、
より構成される。
In order to achieve the above object, a color vision assisting apparatus according to the first aspect of the present invention provides:
A color zone selection means for sequentially selecting a plurality of color zones that form a plurality of portions within a region occupied by visible colors in the color space;
Video data acquisition means for acquiring video data representing a color image;
Of the color image represented by the video data acquired by the video data acquisition means, the color zone selection means specifies a part having a color belonging to the color zone that is currently selected, and the color of the specified part is Conversion means for converting the video data so as to be converted into another color that is identified as a color different from the color by the color blind person;
Video display means for displaying a color image represented by the converted video data;
Consists of.

前記映像データ取得手段は、外部の標的物を撮像することにより当該標的物のカラー画像を表す前記映像データを取得する処理を繰り返し行うものであってもよい。
この場合たとえば、前記色ゾーン選択手段は、前記映像データ取得手段が前記映像データを取得する毎に、当該取得に応答して、現に選択していた色ゾーンとは異なる色ゾーンを新たに選択するものであってもよく、前記変換手段は、前記色ゾーン選択手段が新たに色ゾーンを選択する毎に、当該選択に応答して、映像データ取得手段が取得した最新の映像データにつき前記変換を行うものであってもよい。
The video data acquisition unit may repeatedly perform a process of acquiring the video data representing a color image of the target object by imaging an external target object.
In this case, for example, each time the video data acquisition unit acquires the video data, the color zone selection unit newly selects a color zone different from the currently selected color zone in response to the acquisition. Each time the color zone selecting unit newly selects a color zone, the converting unit performs the conversion on the latest video data acquired by the video data acquiring unit in response to the selection. You may do it.

それぞれの前記色ゾーンは、たとえば、前記色空間内で可視色が占める領域内の線であって同一の当該線上にある2点に相当する2色が色覚異常者には互いに同一の色として知覚されるという関係にある複数本の線をそれぞれ当該色ゾーン内外の境界において分割するような位置を、当該色空間内で占めるものであればよい。   Each color zone is, for example, a line in a region occupied by a visible color in the color space, and two colors corresponding to two points on the same line are perceived as the same color by the color blind person. It suffices if it occupies a position in the color space that divides a plurality of lines having the relationship of being performed at the boundary inside and outside the color zone.

前記色ゾーンは、前記色空間内で可視色が占める領域が、色覚異常者が正常色覚者と同様に知覚できる色としてあらかじめ特定された色の集合が前記色空間内でなす面である色知覚面と当該色知覚面に平行な面とからなる面群によって分割されることにより得られる、前記複数個の部分をなすものであってもよい。   The color zone is a color perception in which a region occupied by a visible color in the color space is a surface formed in the color space by a set of colors specified in advance as colors that can be perceived by a color blind person in the same manner as a normal color blind person. The plurality of portions obtained by being divided by a surface group including a surface and a surface parallel to the color perception surface may be used.

前記変換手段は、前記映像データ取得手段が取得した映像データが表すカラー画像の前記特定された部分の色が、当該部分の色と実質的に等しい明度を有する他の色へと変換されたものとなるように、前記映像データの変換を行うものであってもよい。   The conversion means is obtained by converting the color of the specified portion of the color image represented by the video data acquired by the video data acquisition means into another color having lightness substantially equal to the color of the portion. As described above, the video data may be converted.

あるいは、前記変換手段は、前記映像データ取得手段が取得した映像データが表すカラー画像の前記特定された部分の色が、当該部分の色と実質的に等しい色度を有する他の色へと変換されたものとなるように、前記映像データの変換を行うものであってもよい。   Alternatively, the conversion unit converts the color of the specified portion of the color image represented by the video data acquired by the video data acquisition unit into another color having a chromaticity substantially equal to the color of the portion. The video data may be converted so as to be obtained.

また、本発明の第2の観点に係る色覚補助方法は、
色空間内で可視色が占める領域内で複数個の部分をなす複数の色ゾーンを1個ずつ順次選択する色ゾーン選択ステップと、
カラー画像を表す映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップで取得した映像データが表すカラー画像のうち、前記色ゾーン選択手段が現に選択している色ゾーンに属する色を有する部分を特定して、当該特定された部分の色が、色覚異常者により当該色と異なる色として識別される他の色へと変換されたものとなるように、前記映像データの変換を行う変換ステップと、
変換された前記映像データが表すカラー画像を表示する映像表示ステップと、
より構成される。
In addition, the color vision assistance method according to the second aspect of the present invention includes:
A color zone selection step for sequentially selecting a plurality of color zones that form a plurality of portions within a region occupied by visible colors in the color space;
A video data acquisition step of acquiring video data representing a color image;
Of the color image represented by the video data acquired in the video data acquisition step, the color zone selecting means specifies a part having a color belonging to the color zone that is currently selected, and the color of the specified part is A conversion step of converting the video data so as to be converted to another color that is identified as a color different from the color by the color blind person;
A video display step for displaying a color image represented by the converted video data;
Consists of.

また、本発明の第3の観点に係るプログラムは、
カラー画像を表示する表示装置を備えたコンピュータを、
色空間内で可視色が占める領域内で複数個の部分をなす複数の色ゾーンを1個ずつ順次選択する色ゾーン選択手段、
カラー画像を表す映像データを取得する映像データ取得手段、
前記映像データ取得手段が取得した映像データが表すカラー画像のうち、前記色ゾーン選択手段が現に選択している色ゾーンに属する色を有する部分を特定して、当該特定された部分の色が、色覚異常者により当該色と異なる色として識別される他の色へと変換されたものとなるように、前記映像データの変換を行う変換手段、
変換された前記映像データが表すカラー画像を表示する映像表示手段、
として機能させる。
A program according to the third aspect of the present invention is:
A computer equipped with a display device for displaying color images
A color zone selection means for sequentially selecting a plurality of color zones that form a plurality of portions within a region occupied by visible colors in the color space;
Video data acquisition means for acquiring video data representing a color image;
Of the color image represented by the video data acquired by the video data acquisition means, the color zone selection means specifies a part having a color belonging to the color zone that is currently selected, and the color of the specified part is Conversion means for converting the video data so as to be converted into another color that is identified as a color different from the color by the color blind person;
Video display means for displaying a color image represented by the converted video data;
To function as.

本発明によれば、画像に含まれる広範囲の色を色覚異常者に弁別できるように変換でき、あるいは画像の色の変換を円滑に行え、あるいは元の色の特徴を反映した態様で色の変換ができるようにするための色覚補助装置、色覚補助方法及びプログラムが実現される。   According to the present invention, a wide range of colors included in an image can be converted so as to be discriminated by a color blind person, or color conversion of an image can be performed smoothly, or color conversion can be performed in a manner reflecting the characteristics of the original color. A color vision assistance device, a color vision assistance method, and a program for realizing the above are realized.

本発明の実施の形態に係る色覚補助ツールの構成を示す図である。It is a figure which shows the structure of the color vision assistance tool which concerns on embodiment of this invention. 図1の色覚補助ツールが実行する処理を示すフローチャートである。It is a flowchart which shows the process which the color vision assistance tool of FIG. 1 performs. LMS空間内で色ゾーンが占める範囲を示す図である。It is a figure which shows the range which a color zone occupies in LMS space. CIELUV表色系のu’v’色度図上で色ゾーンが占める範囲を示す図である。It is a figure which shows the range which a color zone occupies on the u'v 'chromaticity diagram of a CIELV color system. CIELUV表色系のu’v’色度図上で色ゾーンが占める範囲の他の例を示す図である。It is a figure which shows the other example of the range which a color zone occupies on the u'v 'chromaticity diagram of a CIELV color system.

以下、本発明の実施の形態を、色覚補助ツールを例として、図面を参照しつつ説明する。
この色覚補助ツールは、たとえば図1に示すように、制御部1と、主記憶部2と、外部記憶部3と、映像入力部4と、映像出力部5と、タイマー6とより構成されている。主記憶部2、外部記憶部3、映像入力部4、映像出力部5及びタイマー6は、いずれも制御部1に接続されている。
Embodiments of the present invention will be described below with reference to the drawings, taking a color vision assisting tool as an example.
For example, as shown in FIG. 1, the color vision assist tool includes a control unit 1, a main storage unit 2, an external storage unit 3, a video input unit 4, a video output unit 5, and a timer 6. Yes. The main storage unit 2, the external storage unit 3, the video input unit 4, the video output unit 5 and the timer 6 are all connected to the control unit 1.

制御部1は、たとえばCPU(Central Processing Unit)、GPU(Graphics Processing Unit )等のプロセッサより構成されており、たとえば、外部記憶部3が記憶するプログラムを読み出して実行することにより、後述する処理を行う。   The control unit 1 is composed of a processor such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit), for example. For example, the control unit 1 reads and executes a program stored in the external storage unit 3 to perform processing described later. Do.

主記憶部2は、たとえばRAM(Random Access Memory)等のメモリより構成されており、制御部1のワークエリアとなる記憶領域を提供する。   The main storage unit 2 is configured by a memory such as a RAM (Random Access Memory), for example, and provides a storage area serving as a work area for the control unit 1.

外部記憶部3は、たとえばハードディスク装置等の記憶装置より構成されており、たとえば上述のプログラムを記憶する。外部記憶部3は、制御部1が供給する指示に従って、自己の記憶領域に格納されているこれらのプログラムを読み出して制御部1に供給し、また、制御部1が供給する指示に従って、当該記憶領域に、制御部1より供給されたデータを記憶する。   The external storage unit 3 is configured by a storage device such as a hard disk device, for example, and stores the above-described program, for example. The external storage unit 3 reads these programs stored in its own storage area in accordance with instructions supplied from the control unit 1 and supplies them to the control unit 1, and also stores the programs in accordance with instructions supplied from the control unit 1. The data supplied from the control unit 1 is stored in the area.

映像入力部4は、たとえばCCD(Charge Coupled Device)イメージセンサー等より構成される撮像装置を備えている。映像入力部4は、制御部1より供給される制御信号に応答して自己の視野内の被写体(標的物)のカラー画像を表す映像データを生成し(すなわち、この標的物を撮像し)、生成した映像データを制御部1に供給する。この映像データは、標的物を画素(あるいはその他、標的物の画像を、実質的に同一の色が占める微小な領域の集合へと細分化したもの)の集合として表すデータであるものとする。   The video input unit 4 is provided with an imaging device configured by, for example, a CCD (Charge Coupled Device) image sensor or the like. The video input unit 4 generates video data representing a color image of a subject (target object) in its field of view in response to a control signal supplied from the control unit 1 (that is, images the target object). The generated video data is supplied to the control unit 1. This video data is data representing a target as a set of pixels (or other image obtained by subdividing an image of the target into a set of minute areas occupied by substantially the same color).

映像出力部5は、たとえば液晶ディスプレイ等より構成されており、制御部1が供給する信号により指示される内容を有するカラー画像を自己の表示画面上に表示する。   The video output unit 5 is composed of a liquid crystal display, for example, and displays a color image having contents instructed by a signal supplied from the control unit 1 on its own display screen.

タイマー6は、たとえば水晶発振器等より構成されており、一定時間毎に所定のクロック信号を発生して制御部1に供給する処理を継続的に行う。なお、制御部1を駆動するクロック信号を発生する回路等がタイマー6の機能を行ってもよい。   The timer 6 is composed of, for example, a crystal oscillator or the like, and continuously performs a process of generating a predetermined clock signal at regular time intervals and supplying it to the control unit 1. A circuit that generates a clock signal for driving the control unit 1 may perform the function of the timer 6.

次に、この色覚補助ツールの動作を説明する。図2は、この色覚補助ツールが実行する処理を示すフローチャートである。   Next, the operation of the color vision assist tool will be described. FIG. 2 is a flowchart showing processing executed by the color vision assistance tool.

処理を開始すると、制御部1はまず、映像入力部4に、撮像を指示する制御信号を供給する。映像入力部4は、この制御信号に応答して、が自己の視野内の標的物をカラー撮像し、この標的物のカラー画像を画素の集合として表す映像データを制御部1に供給する。制御部1は、この映像データを取得して、たとえば主記憶部2の記憶領域に格納することによりこれを一時記憶し(図2、ステップS1)、ステップS2へと処理を移す。なお、後述するステップS5の処理をすでに経ていて、その結果として現に映像出力部5により表示されている画像データがある場合は、この画像データも、再びステップS5へと処理を移すまで引き続き一時記憶した状態を保つものとする。   When the process is started, the control unit 1 first supplies a control signal for instructing imaging to the video input unit 4. In response to the control signal, the video input unit 4 performs color imaging on the target in its own field of view, and supplies video data representing the color image of the target as a set of pixels to the control unit 1. The control unit 1 acquires this video data and stores it temporarily, for example, by storing it in the storage area of the main storage unit 2 (FIG. 2, step S1), and moves the process to step S2. Note that if the processing of step S5 described later has already been performed, and there is image data that is currently displayed by the video output unit 5, this image data is also temporarily stored until the processing proceeds to step S5 again. Shall be maintained.

ステップS2で制御部1は、画素の色を変換する後述のステップS4の処理を、どの範囲の色を有する画素を対象として行うかを決定する。色の範囲の決定は、具体的には、たとえば以下説明する複数のブロックすなわち色ゾーンのうち1個を選択することによって行う。色ゾーンは、色を座標値により表すための2次元ないし3次元の空間(色空間)内で、正常色覚者が知覚できる色に相当する点全体が占める領域(以下では、可視色領域と呼ぶ)を、複数個に分割することによって(ないしは、複数個の部分を切り出すことによって)形成される各領域をいう。   In step S <b> 2, the control unit 1 determines which range of colors is to be subjected to the processing in step S <b> 4 described below for converting the color of the pixels. Specifically, the color range is determined by, for example, selecting one of a plurality of blocks, that is, color zones described below. The color zone is an area occupied by the entire point corresponding to a color that can be perceived by a normal color senser in a two-dimensional or three-dimensional space (color space) for representing colors by coordinate values (hereinafter referred to as a visible color area). ) Is divided into a plurality of regions (or by cutting out a plurality of portions).

この点、この色覚補助ツールでは、図3に示すように、LMS空間内で可視色領域に相当する立体を、後述する色知覚面及びこれと平行で所定の間隔をおいて並ぶ十分多数の面からなる面群により切り分けることで形成される複数の区間のそれぞれが1個の色ゾーンであるものとして処理を行う。図3は、紙面に向かって手前側から順に「#1」〜「#6」まで合計6個の色ゾーンが設定されている場合を例示するものである。なお、LMS空間は、人間の網膜を構成する3種の錐体細胞であるL錐体、M錐体及びS錐体のそれぞれが受ける刺激の強度(それぞれ、L軸方向成分、M軸方向成分及びS軸方向成分とする)により色を表す3次元直交座標系からなる色空間である。   In this regard, in this color vision assisting tool, as shown in FIG. 3, a solid corresponding to the visible color region in the LMS space is arranged in a sufficiently large number of planes arranged at predetermined intervals in parallel with the color perception plane described later. The processing is performed on the assumption that each of a plurality of sections formed by carving out a plane group consisting of a single color zone. FIG. 3 illustrates a case where a total of six color zones from “# 1” to “# 6” are set in order from the near side toward the paper surface. The LMS space is the intensity of stimulation received by each of the L cone, M cone and S cone, which are the three types of cone cells constituting the human retina (the L axis direction component and the M axis direction component, respectively). And a S-axis direction component) is a color space composed of a three-dimensional orthogonal coordinate system representing colors.

色知覚面は、LMS空間上で、「黒」(すなわち、上記3種の錐体細胞がそれぞれ受ける刺激がすべて0である色)、「上記3種の錐体細胞がそれぞれ受ける刺激が互いに等しい色のうち、当該刺激が最大である色」及び「波長475nmの色」の3色に相当する3点を含む第1の平面と、これらの3色のうち「波長475nmの色」を「波長575nmの色」に置き換えた3色に相当する3点を含む第2の平面とからなる折れ平面である。なお、図3では、「黒」「上記3種の錐体細胞が受ける刺激が互いに等しい色のうち当該刺激が最大である色」「波長475nmの色」「波長575nmの色」の各色に相当する点にそれぞれ参照記号「K」「E」「α」「β」が付されている。   In the LMS space, the color perception surface is “black” (that is, a color in which all the stimuli received by the three types of cone cells are all 0), and “the stimuli received by the three types of cone cells are equal to each other. Among the three colors, the first plane including three points corresponding to the three colors of “the color having the maximum stimulus” and “the color having a wavelength of 475 nm”, and among these three colors, the “color having a wavelength of 475 nm” This is a folding plane composed of a second plane including three points corresponding to the three colors replaced with “575 nm color”. In FIG. 3, each color corresponds to “black”, “the color with the maximum stimulation among the colors that the three types of pyramidal cells receive are equal to each other”, “the color with the wavelength 475 nm”, and “the color with the wavelength 575 nm”. The reference symbols “K”, “E”, “α”, and “β” are respectively attached to the points.

一方、LMS空間内の可視色領域は、図示するように、たとえば、上述の「黒」に、「白」「青」「黄」「赤」「マゼンタ」「緑」及び「シアン」を加えた合計8色に相当する8個の点を頂点とする六面体として概ね表すことができる。なお、図3では、「白」「青」「黄」「赤」「マゼンタ」「緑」「シアン」の各色に相当する点にそれぞれ参照記号「W」「B」「Y」「R」「M」「G」「C」が付されている。   On the other hand, the visible color region in the LMS space is, for example, “white”, “blue”, “yellow”, “red”, “magenta”, “green” and “cyan” added to the above “black” as shown in the figure. It can be generally expressed as a hexahedron having apexes of eight points corresponding to a total of eight colors. In FIG. 3, reference symbols “W”, “B”, “Y”, “R”, and “point” corresponding to the colors “white”, “blue”, “yellow”, “red”, “magenta”, “green”, and “cyan”, respectively. “M”, “G”, and “C” are attached.

ここで色ゾーンの望ましい区切られ方について説明すると、色ゾーンは、当該色ゾーンとその外部との境界が、複数のタイプの色覚異常について、可視色領域内にある混同色線(可視色領域内の直線又は曲線であって、この線上にあるいずれの2点に相当する2色も色覚異常者には互いに同一の色すなわち混同色として知覚される、という関係にある線)を分割している(たとえば混同色線が直線であるとすれば、1本の混同色線を2本の半直線と1本の線分とに分割する)ように設定されることが望ましい。また、それぞれのタイプの色覚異常につき混同色線は可視色領域内に多数存在していて1個の混同色線群をなすものであり、色ゾーンは、それぞれの混同色線群につき、当該混同色線群に含まれるなるべく多くの混同色線を分割していることが望ましい。
このような関係をとるように色ゾーンが画定され、そのうえで色ゾーン毎に画素の色を変換する後述の処理が行われれば、上記複数のタイプの色覚異常により生じる混同色は、これらのタイプのうちいずれのタイプの色覚異常者にとっても、互いに異なる色として知覚され得るものとなる。
Here, the desirable division of the color zone will be described. The color zone is a confusion color line (within the visible color region) where the boundary between the color zone and the outside of the color zone is within the visible color region for a plurality of types of color blindness. The two colors corresponding to any two points on this line are divided into lines that are perceived by the color blind person as the same color, that is, a mixed color) (For example, if the confusion color line is a straight line, it is desirable to set one confusion color line into two half lines and one line segment). In addition, for each type of color vision abnormality, many confusion color lines exist in the visible color area and form one confusion color line group, and the color zone corresponds to each confusion color line group. It is desirable to divide as many confusion color lines as possible contained in the color line group.
If color zones are defined so as to have such a relationship, and then the processing described below for converting the color of the pixel for each color zone is performed, the confusion colors caused by the above-mentioned multiple types of color vision abnormalities are Any of these types of color blindness can be perceived as different colors.

一方、この色覚補助ツールが採用する図3の色ゾーンの区切り方について述べると、まず、上記の「波長475nmの色」及び「波長575nmの色」はいずれも、1型の色覚異常者(すなわち、L錐体に異常があるタイプの色覚異常者)、及び2型の色覚異常者(すなわち、M錐体に異常があるタイプの色覚異常者)のいずれでも正常に知覚できる色であることが知られている(この点は、たとえば、H. Brettel, F. Vienot, and J. D. Mollon, Computerized simulation of color appearance for dichromats, J. Opt. Soc. Am. A, vol. 14, no. 10, pp. 2647-2655, Oct. 1997 に開示されている)。そして同様に、色知覚面上の点により表される色は、1型及び2型のいずれの色覚異常者でも正常に知覚できるものとされている。一方、色知覚面上にない点により表される色は、これらの色覚異常者には、この点を色知覚面上に投射した点(1型の色覚異常者であればL軸方向に沿って投射した点、2型の色覚異常者であればM軸方向に沿って投射した点)に相当する色として知覚される。   On the other hand, the method of dividing the color zone of FIG. 3 employed by this color vision assisting tool will be described. First, both the above-mentioned “color of wavelength 475 nm” and “color of wavelength 575 nm” are both type 1 color blind persons (ie , A color blind person who has an abnormality in the L cone) and a type 2 color blind person (that is, a color blind person who has an abnormality in the M cone). (For example, H. Brettel, F. Vienot, and JD Mollon, Computerized simulation of color appearance for dichromats, J. Opt. Soc. Am. A, vol. 14, no. 10, pp. 2647-2655, Oct. 1997). Similarly, a color represented by a point on the color perception surface can be normally perceived by any one of type 1 and type 2 color blind persons. On the other hand, the color represented by a point that is not on the color-perceptive surface is a point projected on the color-perceptive surface to these color-blind people (along the L-axis direction if it is a type 1 color-blind person). The projected point is a color corresponding to the projected type point 2).

LMS空間内における1型、2型の色覚異常者の混同色線群はそれぞれL軸またはM軸に平行な直線の集合であり、一方で色知覚面はL軸またはM軸のいずれにも平行ではないから、色知覚面上または色知覚面に平行な面上の直線はこれらのいずれの混同色線群にも属することがない。従って、図3の色ゾーンはそれぞれ、1型及び2型の色覚異常について、可視色領域内にある混同色線を分割するように設定されているといえる。
また、図3に示す色ゾーンの区切り方を用いた場合、映像入力部4が標的物を昼間の屋外で撮像した場合と室内など暗い環境で撮像した場合とで、標的物の同一部分に対応する画素が互いに異なる色ゾーンに属してしまうという事態が起きにくい。
In LMS space, the confusion color lines of type 1 and type 2 color blind persons are a set of straight lines parallel to the L axis or the M axis, respectively, while the color perception plane is parallel to either the L axis or the M axis. Therefore, a straight line on the color perception plane or a plane parallel to the color perception plane does not belong to any of these confused color line groups. Therefore, it can be said that the color zones in FIG. 3 are set so as to divide the confusion color lines in the visible color region for the type 1 and type 2 color vision abnormalities, respectively.
When the color zone separation method shown in FIG. 3 is used, the video input unit 4 corresponds to the same part of the target object when the target object is imaged outdoors in the daytime or when it is imaged in a dark environment such as indoors. It is difficult for a situation in which the pixels to belong to different color zones.

なお、LMS空間内の色知覚面及びこれと平行な面からなる面群は、CIELUV表色系のu’v’色度図上では、たとえば図4に示すように、ある1点を通り、隣接するもの同士が所定の角度(図4では「Δθ」として表す角度)をとる複数の直線からなる直線群として近似的に表現される(ただしこの場合、波長475nmの色は「青」に、波長575nmの色は「黄」に、「上記3種の錐体細胞がそれぞれ受ける刺激が互いに等しい色のうち、当該刺激が最大である色」は「白」に、それぞれ同視されるものとし、色知覚面はLMS空間上では平面と同視されるものとする)。そして色ゾーンは、可視色領域の色の色度を表すu’v’色度図上のスペクトル軌跡に囲まれた領域(図4において参照記号「V」を付した図形)がこれらの直線のうち隣接する2本により切り取られて形成される楔形の区間として表現される。なお、図4は、可視色領域の赤色側(紙面に向かって右側)から順に「#1」〜「#7」まで合計6個の色ゾーンが設定されている場合を例示するものである。
色を表すパラメーターを用いて制御部1が演算を行う際に、当該パラメーターとしていかなる座標系の座標値を用いるかは任意であり、たとえば演算を効率化、高速化する見地から適宜のものを用い得る。従って、図3に示すようなLMS空間内の3次元直交座標系における座標値をパラメーターとしてもよいし、図4に示すようなCIELUV表色系のu’v’色度図や、CIEXYZ表色系のxy色度図の2次元直交座標系における座標値をパラメーターとしてもよい。
Note that a surface group consisting of a color perception surface in the LMS space and a surface parallel to the color perception surface passes through a certain point on the u'v 'chromaticity diagram of the CIELV color system, for example, as shown in FIG. Adjacent ones are approximately represented as a straight line group consisting of a plurality of straight lines taking a predetermined angle (angle represented as “Δθ” in FIG. 4) (in this case, the color at a wavelength of 475 nm is “blue”, The color at a wavelength of 575 nm is equated to “yellow”, and “the color with the maximum stimulation among the colors that the three types of pyramidal cells receive are equal to each other” is “white”. The color perception surface is assumed to be equated with a plane in the LMS space). In the color zone, a region surrounded by a spectrum locus on the u′v ′ chromaticity diagram representing the chromaticity of the color of the visible color region (a figure with a reference symbol “V” in FIG. 4) It is expressed as a wedge-shaped section formed by cutting two adjacent ones. FIG. 4 illustrates a case where a total of six color zones from “# 1” to “# 7” are set in order from the red side (right side toward the paper surface) of the visible color region.
When the control unit 1 performs a calculation using a color parameter, it is optional to use a coordinate value of any coordinate system as the parameter. For example, an appropriate value is used from the viewpoint of increasing the efficiency and speed of the calculation. obtain. Therefore, the coordinate value in the three-dimensional orthogonal coordinate system in the LMS space as shown in FIG. 3 may be used as a parameter, the u'v 'chromaticity diagram of the CIELV UV color system as shown in FIG. The coordinate value in the two-dimensional orthogonal coordinate system of the xy chromaticity diagram of the system may be used as a parameter.

また、制御部1は、ステップS2の処理を行うのが2回目以降である場合、直近の前回のステップS2の処理で選択した色ゾーンとは異なる色ゾーンを選択するものとする。
より具体的には、色ゾーンの総数がn個(nは自然数)であるとし、さらに、たとえば図3に示すように、各色ゾーンに1番からn番までの順番付けがあらかじめなされているものとして(図3の例ではn=6であり、1番〜6番がそれぞれ色ゾーン#1〜#6である)、たとえば1回目のステップS2の処理では1番の色ゾーンを選択し、直近の前回のステップS2の処理でk番(kは(n−1)以下の自然数)の色ゾーンを選択していた場合は(k+1)番の色ゾーンを選択し、前回にn番を選択していた場合は1番を選択する、というように、n個の色ゾーンをn回で一巡するよう順次に選択するものとすればよい。
In addition, when the process in step S2 is performed for the second time or later, the control unit 1 selects a color zone different from the color zone selected in the most recent previous process in step S2.
More specifically, it is assumed that the total number of color zones is n (n is a natural number), and further, for example, as shown in FIG. (N = 6 in the example of FIG. 3 and numbers 1 to 6 are color zones # 1 to # 6, respectively). For example, in the first processing of step S2, the first color zone is selected and the latest If the kth color zone (k is a natural number less than (n-1)) has been selected in the previous step S2, the (k + 1) th color zone is selected, and the nth color is selected last time. In such a case, the number n may be sequentially selected so as to make a round of n times, such as selecting No. 1.

ここで図2の説明に戻ると、色ゾーンを選択した後、制御部1は、一時記憶されている映像データを書き換える(ステップS3〜S4)。具体的には、当該映像データが表す各画素のうちから、選択された色ゾーンに属する色を有する画素を特定し(ステップS3)、特定された画素の色が、元の色(変換前の色)と実質的に等しい明度を有する他の色へと変換された色となるように、一時記憶されている映像データを書き換える処理を行う(ステップS4)。   Returning to the description of FIG. 2, after selecting the color zone, the control unit 1 rewrites the temporarily stored video data (steps S3 to S4). Specifically, a pixel having a color belonging to the selected color zone is specified from the pixels represented by the video data (step S3), and the color of the specified pixel is changed to the original color (before conversion). A process of rewriting the temporarily stored video data so as to obtain a color converted to another color having a brightness substantially equal to (color) is performed (step S4).

より具体的には、ステップS4で制御部1は、たとえば変換後の画素の色が、「当該画素の元の色に相当するLMS空間内の点を含み、かつ当該点を含んだ混同色線に垂直な面と、当該点を含む、明度が互いに等しい色に相当する点の集合より構成される面(明度一定面)との交線に沿って、LMS空間内で当該点から所定の距離だけ移動した点に相当する色」となるように、映像データの書き換えによる画素の色の変換を行う(この手法を、以下では「明度一定法」と呼ぶ)。
明度一定法で変換を行うことにより、変換の対象となる画素の色は、元の色と等しい明度で、かつ、元の色と共通の混同色線上にない点に相当する色へと変換される。明度一定面はLMS空間上ではS軸にほぼ平行な面となることが知られており、一方で1型の色覚異常についての混同色線はL軸に平行になり、2型の色覚異常についての混同色線はM軸に平行になることが知られている。従って、変換前の色に相当する点からの移動方向はS軸に平行な方向となる。このため、制御部1がLMS空間の座標値をパラメーターとして演算を行う場合、明度一定法によれば、変換対象の色を表すパラメーターはそのS軸方向成分のみが変化することになり、このことをを利用するなどして演算を簡略化することができるという利点がある。
なお、ステップS3〜S4の処理を行う際も、色を表すパラメーターとして制御部1がいかなる座標系の座標値を用いるかは任意であり、たとえば演算を効率化、高速化する見地から適宜のものを用い得る。従って、制御部1は、LMS空間やCIELUV空間における座標値のほか、他の色空間における座標値をパラメーターとしてもよい。
More specifically, in step S4, the control unit 1 determines that the color of the pixel after conversion includes, for example, “a point in the LMS space corresponding to the original color of the pixel and a confusion color line including the point. A predetermined distance from the point in the LMS space along an intersection line between a plane perpendicular to the plane and a plane including a set of points corresponding to colors having the same brightness including the point (constant brightness plane) The color of the pixel is converted by rewriting the video data so that the color corresponding to the point that has been moved only is obtained (this method is hereinafter referred to as the “constant brightness method”).
By performing the conversion using the constant brightness method, the color of the pixel to be converted is converted to a color that has the same brightness as the original color and corresponds to a point that is not on the same confused color line as the original color. The It is known that the surface with constant lightness is a surface substantially parallel to the S axis in the LMS space, while the confusion color line for the type 1 color vision abnormality is parallel to the L axis and the type 2 color vision abnormality. Is known to be parallel to the M axis. Therefore, the moving direction from the point corresponding to the color before conversion is parallel to the S axis. For this reason, when the control unit 1 performs calculation using the coordinate value of the LMS space as a parameter, according to the constant brightness method, only the S-axis direction component of the parameter representing the color to be converted changes. There is an advantage that the calculation can be simplified by using.
In addition, when performing the processing of steps S3 to S4, the coordinate value of which coordinate system the control unit 1 uses as the color parameter is arbitrary. For example, it is appropriate from the viewpoint of improving the efficiency and speed of calculation. Can be used. Therefore, the control unit 1 may use the coordinate value in another color space as a parameter in addition to the coordinate value in the LMS space or the CIEUV space.

一時記憶されている映像データを書き換えると、制御部1は、書き換え後の当該映像データが表す画像を表示するよう指示する信号を、継続して映像出力部5に供給する。映像出力部5は、この信号が供給されている間、この信号を取得してこの信号が表す画像を表示する(ステップS5)。また、前回のステップS5の処理で映像出力部5による表示の対象とされた映像データが一時記憶されている場合、ステップS5で制御部1は、この古い映像データを消去する。   When the temporarily stored video data is rewritten, the control unit 1 continuously supplies the video output unit 5 with a signal instructing to display an image represented by the rewritten video data. While the signal is supplied, the video output unit 5 acquires this signal and displays an image represented by this signal (step S5). If the video data to be displayed by the video output unit 5 in the previous processing in step S5 is temporarily stored, the control unit 1 deletes the old video data in step S5.

一方、制御部1は、ステップS5で映像出力部5に画像を表示させる処理を開始すると、たとえば、タイマー6が供給するクロック信号を繰り返し参照して、ステップS5の処理開始から所定の時間(たとえば、1/15[秒])が経過したか否かを判別する処理を行い(ステップS6)、経過していないと判別するとステップS6の処理を再び行い、経過したと判別すると、処理をステップS1に戻す。   On the other hand, when the control unit 1 starts the process of displaying an image on the video output unit 5 in step S5, for example, the control unit 1 repeatedly refers to the clock signal supplied by the timer 6, for example, for a predetermined time from the start of the process of step S5 (for example, , 1/15 [second]) has elapsed (step S6). If it has not elapsed, the process of step S6 is performed again. If it has been determined that the period has elapsed, the process proceeds to step S1. Return to.

以上説明した処理を行う結果、この色覚補助ツールは、標的物を撮像し、得られた映像データについて、1型または2型の色覚異常者にとって混同色となる色の組み合わせを、これらの色覚異常者が互いに異なる色として識別できるような色の組み合わせへと変換した上で、この映像データが表す画像を表示する。   As a result of performing the processing described above, this color vision assistance tool images a target object, and for the obtained video data, a combination of colors that are confused for a type 1 or type 2 color blind person, An image represented by the video data is displayed after conversion into a combination of colors that can be identified as different colors.

この色覚補助ツールでは、映像データが表す画像内の色の変換は色ゾーン毎に時分割的に行われる。その際、当該色ゾーンに属さない色として画像内にどのような色があるかを特定する処理や、画像内の混同色の特定ないし有無の判別の処理はいずれも要しない。
このため、この色覚補助ツールは、画像内のすべての混同色を一挙に変換する手法による場合に比べて処理を高速に行える。すなわち、画像内のすべての混同色を一挙に変換する場合とは異なり、変換後の色のペアとして決定すべきペアの数が膨大になって決定が困難になったり、変換の対象とする色の範囲を制限せざるを得なかったりする、といった問題は生じにくい。また、この色覚補助ツールが色の変換を行うために必要な演算の能力は、1個の色ゾーンについての演算を視覚上許容できる時間内に完了できる程度のものであればよく、映像データが表す画像内のすべての混同色を当該時間内に一挙に変換できるほどの能力は要しない。
このように高速な色変換処理が実現できるため、この色覚補助ツールでは、映像データを繰り返し撮像してそのたびに色を変換して表示する上述の処理を行うことにより、動画の色を変換して表示する動作をリアルタイムに行うことも容易に可能となる。
In this color vision assistance tool, the conversion of the color in the image represented by the video data is performed in a time division manner for each color zone. At that time, neither processing for specifying what color is present in the image as a color that does not belong to the color zone nor processing for specifying or determining the presence or absence of confusion colors in the image is required.
For this reason, this color vision auxiliary tool can perform processing at a higher speed than the case of using a method of converting all the confusion colors in the image at once. In other words, unlike the case where all the confusion colors in the image are converted at once, the number of pairs to be determined as converted color pairs becomes enormous, making it difficult to determine or the color to be converted Problems such as having to limit the range of the are difficult to occur. In addition, the calculation capability necessary for the color vision assistance tool to perform color conversion is sufficient if the calculation for one color zone can be completed within a visually acceptable time. It does not require the ability to convert all the confusion colors in the represented image all at once in the time.
Since color conversion processing at high speed can be realized in this way, this color vision auxiliary tool converts the color of a moving image by performing the above-described processing of repeatedly capturing video data and converting and displaying the color each time. It is also possible to easily perform the display operation in real time.

また、画素の色の変換は、以上説明した例では明度一定法により(すなわち、変換の前と後とで明度が変化しないような態様で)行われる。従って色覚異常者にも、当該画素の明度の情報は変化を受けることなく伝達される。この結果、変換前の画像が正常色覚者に対して与える印象が大きく損なわれることなく異常色覚者にも共有され、変換後の画像は正常色覚者から見ても自然な画像となる。   In the example described above, the pixel color conversion is performed by the constant brightness method (that is, in a manner in which the brightness does not change before and after the conversion). Therefore, the brightness information of the pixel is transmitted to the color blind person without any change. As a result, the impression given to the normal color sense person by the image before the conversion is not significantly impaired and is also shared by the abnormal color sense person, and the converted image becomes a natural image even when viewed from the normal color sense person.

なお、この色覚補助ツールの構成は上述のものに限られない。
たとえば、色ゾーンの設定の態様は上述のものに限られない。色ゾーンは、可視色領域内で複数の混同色線をそれぞれ分割するような位置を占める部分として設定されているものである限り任意である。色ゾーンの内外の境界は必ずしも折れ平面である必要はなく、たとえば平面、曲面、直線、曲線、折れ直線あるいはこれらの組み合わせからなっていてもよい。
また、複数の色ゾーン同士は色空間内で互いに一部重複していても差し支えない。従って、たとえば図5に示すように、CIELUV表色系のu’v’色度図上で表現された場合の各色ゾーンが、u’v’色度図上のスペクトル軌跡を切り取る直線群の交差点を中心として所定の角度ずつ、隣接するもの同士で互いに重なり合うように設定されていてもよいし、その際に3個以上の色ゾーンが重なり合う結果となっても差し支えない。
In addition, the structure of this color vision assistance tool is not restricted to the above-mentioned thing.
For example, the color zone setting mode is not limited to the above. The color zone is arbitrary as long as it is set as a portion that occupies a position that divides a plurality of confusion color lines in the visible color region. The inner and outer boundaries of the color zone do not necessarily need to be a bent plane, and may be formed of, for example, a plane, a curved surface, a straight line, a curved line, a bent straight line, or a combination thereof.
The plurality of color zones may partially overlap each other in the color space. Therefore, for example, as shown in FIG. 5, each color zone when represented on the u'v 'chromaticity diagram of the CIELV color system is an intersection of straight lines that cut out the spectrum locus on the u'v' chromaticity diagram. May be set so that adjacent ones overlap each other at a predetermined angle with respect to the center of the image, or three or more color zones may overlap.

また、色ゾーンは、必ずしも複数のタイプの色覚異常についての混同色線を分割するように設定されていなくてもよいし、1型及び2型以外の色覚異常(たとえば、S錐体に異常があるタイプの色覚異常である3型の色覚異常や、後天性の色覚異常など)についての混同色線を分割するように設定されていてもよい。   Further, the color zone does not necessarily have to be set so as to divide confusion color lines for a plurality of types of color vision abnormalities, and color vision abnormalities other than type 1 and type 2 (for example, abnormalities in S cones). It may be set to divide confusion color lines for a type 3 color vision abnormality, such as a type 3 color vision abnormality, or an acquired color vision abnormality).

また、画素の色の変換は、必ずしも明度一定法により行われる必要はない。従ってたとえば、ステップS4で制御部1は、変換後の画素の色が、「当該画素の元の色に相当するCIELUV空間またはCIELAB空間内の点を含む明度一定面に垂直な方向に沿って、CIELUV空間またはCIELAB空間内で当該点から所定の距離だけ移動した点に相当する色」となるように画素の色の変換を行ってもよい(この手法を、以下では「色度一定法」と呼ぶ)。   Further, the pixel color conversion does not necessarily have to be performed by the constant brightness method. Therefore, for example, in step S4, the control unit 1 determines that the color of the pixel after conversion is “along a direction perpendicular to a constant brightness plane including a point in the CIELV space or CIELAB space corresponding to the original color of the pixel, The color of the pixel may be converted so that the color corresponds to a point corresponding to a point moved by a predetermined distance from the point in the CIELV space or CIELAB space (this method is referred to as “constant chromaticity method” below). Call).

色度一定法で変換を行うことにより、変換の対象となる画素の色は、元の色と等しい色度で、かつ、元の色と共通の混同色線上にない点に相当する色へと変換される。色度一定法では、変換前後で画素の色度が変化しないから、たとえば赤い花の画像が青い花の画像に変換されるといった現象は起きない。このため、変換前の画像が正常色覚者に対して与える印象が大きく損なわれることなく異常色覚者に共有されるという点や、変換後の画像が正常色覚者から見ても自然な画像となるという点では、明度一定法より優れている面もある。
なお、色度一定法でステップS3〜S4の処理を行う際も、色を表すパラメーターとして制御部1がいかなる座標系の座標値を用いるかが任意である点は、上述した明度一定法の場合と同様である。
By performing the conversion using the constant chromaticity method, the color of the pixel to be converted becomes a color corresponding to a point having the same chromaticity as the original color and not on the same confused color line as the original color. Converted. In the constant chromaticity method, since the chromaticity of the pixel does not change before and after conversion, for example, a phenomenon in which a red flower image is converted into a blue flower image does not occur. For this reason, the impression that the pre-conversion image gives to the normal color perception is shared with the abnormal color perception without being greatly impaired, and the converted image becomes a natural image even when viewed from the normal color perception. In that respect, there is also an advantage over the constant brightness method.
In addition, when the processes of steps S3 to S4 are performed by the constant chromaticity method, it is arbitrary which coordinate system the control unit 1 uses as a parameter representing the color in the case of the above-described constant brightness method. It is the same.

また、制御部1が映像入力部4に撮像をさせる処理(ステップS1)を行うタイミング、色ゾーンの選択を変える処理(ステップS2)を行うタイミング、及び画素の色を変換する処理(ステップS3〜S4)を行うタイミングの設定はいずれも任意である。
従って、制御部1は、必ずしも撮像が行われる毎に色ゾーンの選択を変える必要はなく、たとえば、撮像が行われる毎に画素の色を変換する処理を行うものとする一方、色ゾーンを変える処理の方は、撮像のタイミングや画素の色を変換する処理の開始のタイミングに同期させることなく自動的に行うものとしてもよい。一定時間で可視色領域の全域を色変換の対象としてカバーするように色ゾーンの自動的変更を行うこととすれば、たとえばユーザが、色を弁別すべき標的物をあらかじめ把握していなくても、一定時間内で当該標的物をいわば「浮き上がらせる」(発見できる状態にする)ことができる。
In addition, the timing at which the control unit 1 performs processing for causing the video input unit 4 to perform imaging (step S1), the timing for performing processing for changing the selection of the color zone (step S2), and processing for converting the color of the pixels (steps S3 to S3) The setting of the timing for performing S4) is arbitrary.
Therefore, the control unit 1 does not necessarily need to change the selection of the color zone every time an image is taken. For example, the control unit 1 performs a process of converting the color of a pixel every time an image is taken, while changing the color zone. The processing may be automatically performed without being synchronized with the timing of imaging or the start of processing for converting the color of a pixel. If the color zone is automatically changed so as to cover the entire visible color area as a target of color conversion in a certain time, for example, even if the user does not know in advance the target to distinguish colors In other words, the target can be “lifted” (to be found) in a certain time.

また、制御部1は、1個の色ゾーンについて画素の色を変換する処理を行うたびに映像入力部4に新たな画像の撮像を指示する必要はなく、1回の撮像で得られた映像データに対し、回ごとに異なる色ゾーンを対象としてステップS3〜S4の処理を複数回施してもよい。
この場合、当該映像データの書き換えは、たとえば、選択された色ゾーンに属する色を有する画素として特定された画素の色が変換される一方、直近の前回のステップS4で色を変換された画素については元の色に戻すようにして行えばよい。画素を元の色に戻す処理は、たとえば、書き換えを1回も施されていない映像データ(未変換データ)を、初回のステップS4の処理を開始するまでに主記憶部2あるいは外部記憶部3の記憶領域にあらかじめ格納しておき、この未変換データを参照することにより行えばよい。
In addition, the control unit 1 does not need to instruct the video input unit 4 to capture a new image every time the process of converting the pixel color for one color zone is performed, and the video obtained by one imaging The processing of steps S3 to S4 may be performed a plurality of times on the data for different color zones each time.
In this case, the rewriting of the video data is performed on, for example, the pixel whose color is identified as the pixel having the color belonging to the selected color zone, while the color is converted in the last previous step S4. Can be done by returning to the original color. The process of returning the pixels to the original color is performed, for example, on the main storage unit 2 or the external storage unit 3 before starting the process of the first step S4 on video data (unconverted data) that has not been rewritten once. This can be done by storing in advance in the storage area and referring to this unconverted data.

また、制御部1は、映像出力部5に、現在どの色ゾーンに該当する色の画素が色が変換されて表示されているかを識別する情報(たとえば、当該色ゾーンの順位や、当該色ゾーンが色空間内で占める位置を示す数値など)を表示させるようにしてもよい。
このような表示を行うことにより、画像を視認するだけでは得にくい情報を得ることができる。たとえば、ある色ゾーンについて色の変換中に、色覚異常者であるユーザーがある色を弁別可能になったとして、その色が混同色のうちのどの色であるのか(より具体的にいえば、たとえばある色ゾーンについて色を変換して画像を表示した結果ユーザーがその画像内で花の形を新たに視認できるようになったとして、その花が何色であるか、等)を、上記情報に基づいて把握することも容易になる。
Further, the control unit 1 is information (for example, the order of the color zone, the color zone, and the color zone corresponding to which color pixel corresponding to the current color zone is displayed on the video output unit 5). (A numerical value indicating a position occupied by in the color space) may be displayed.
By performing such display, it is possible to obtain information that is difficult to obtain simply by visually recognizing the image. For example, if a user who is a color blind person is able to discriminate a certain color during color conversion for a certain color zone, which color is the confusion color (more specifically, For example, if you convert the color for a certain color zone and display the image, the user will be able to visually recognize the shape of the flower in that image. It becomes easy to grasp based on.

また、この色覚補助ツールは、ユーザー入力部を備えていてもよい。このユーザー入力部は制御部1に接続されていて、タッチパッド等からなっており、ユーザーの操作に従ったデータを制御部1に供給するものであるとする。
この場合、この色覚補助ツールは、ユーザー入力部がユーザーの操作に従って色ゾーンを指定するデータを制御部1に供給したとき、このデータに応答して、このデータにより指定される色ゾーンに属する色の画素を変換の対象としてステップS3〜S5の処理を行うものとしてもよい。
このように、ユーザーによる色ゾーンの指定を受け付け、指定された色ゾーンについて色の変換を行うようにすれば、たとえば、色覚異常者であるユーザーが色の弁別を特に困難だと感じた色ゾーンについて重点的に色の変換を行ったり、あるいは、ユーザーがいまだ弁別できていない標的物を探索するために、そのような標的物が有していると予想される色が属する色ゾーンをユーザーが指定してこの色覚補助ツールに色の変換を行わせる、といったインターラクティブな使い方も可能になる。
In addition, the color vision assist tool may include a user input unit. The user input unit is connected to the control unit 1 and includes a touch pad or the like, and supplies data in accordance with a user operation to the control unit 1.
In this case, when the user input unit supplies data specifying the color zone to the control unit 1 according to the user's operation, the color vision assistance tool responds to this data and the color belonging to the color zone specified by this data. It is good also as what performs the process of step S3-S5 by making this pixel into the object of conversion.
In this way, by accepting the specification of the color zone by the user and performing the color conversion for the specified color zone, for example, the color zone that the color blind person felt that the color discrimination was particularly difficult In order to perform color conversions intensively or to search for targets that the user has not yet distinguished, the user can select a color zone to which the colors that such targets are expected to belong belong. It is possible to use interactively, such as specifying and letting this color assist tool convert colors.

なお、上述のユーザー入力部及び映像出力部5は、たとえば画像を自己の表示画面上に透過表示し、この表示画面上が押圧されたとき、押圧された部分の位置を示すデータを制御部1に供給するタッチパッド等から構成されていてもよい。この場合、この色覚補助ツールは、画像を表示中のこの表示画面上の一部分をユーザーが押圧し、当該一部分の位置を示すデータが制御部1に供給されたとき、このデータに応答して、ユーザーが押圧した当該一部分に表示されている画素の色を示す情報(たとえば、その色の名前やその色を示すパラメーターなど)をこの表示画面に表示させるようにしてもよい。   The above-described user input unit and video output unit 5 transparently display an image on its own display screen, for example, and when the display screen is pressed, data indicating the position of the pressed portion is displayed on the control unit 1. You may be comprised from the touchpad etc. which are supplied to. In this case, when the user presses a part of the display screen that is displaying an image and data indicating the position of the part is supplied to the control unit 1 in response to the data, Information indicating the color of the pixel displayed in the part pressed by the user (for example, the name of the color or a parameter indicating the color) may be displayed on the display screen.

また、この色覚補助ツールは、上述した各情報を文字として表示する代わりに(あるいは、文字で表示するとともに)、当該情報を音声として読み上げるようにしてもよい。この場合、この色覚補助ツールは、たとえば、制御部1が供給する指示に応答して音声合成を行うための公知の音声合成装置を備えていればよい。   In addition, this color vision assisting tool may read out the information as a voice instead of displaying the information as characters (or displaying the information as characters). In this case, the color vision assist tool may include a known speech synthesizer for performing speech synthesis in response to an instruction supplied from the control unit 1, for example.

また、映像入力部4は必ずしも標的物を撮像することにより映像データを取得するものである必要はなく、たとえば既存の映像データを外部から取得するものであってもよい。この場合、映像入力部4は、たとえば、外部の記録媒体(たとえばフラッシュメモリ、CD−ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)など)から映像データを読み込むための記録媒体ドライブ装置、あるいはUSB(Universal Serial Bus)等のインターフェース回路を備えていればよい。あるいは、テレビジョン信号を受信して復調することにより画像データを取得するテレビジョン受信回路を備えていてもよい(ないしは、テレビジョン受信機に本実施の形態に係る色覚補助ツールが内蔵され、当該テレビジョン受信機が映像入力部4及び映像出力部5の機能を行ってもよい)。また、制御部1を構成するプロセッサが映像入力部4の機能を行うものとしてもよい。また、電子ブックリーダやデジタル教科書など、データを保持しこのデータをカラー映像として表示する任意のデータ閲覧装置にこの色覚補助ツールが内蔵され、当該データ閲覧装置が映像入力部4及び映像出力部5の機能を行ってもよい。   In addition, the video input unit 4 does not necessarily acquire video data by imaging a target, and may acquire existing video data from the outside, for example. In this case, the video input unit 4 is, for example, a recording medium drive for reading video data from an external recording medium (for example, flash memory, CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.). It is only necessary to provide a device or an interface circuit such as a USB (Universal Serial Bus). Alternatively, a television receiving circuit that acquires image data by receiving and demodulating a television signal may be provided (or the color vision auxiliary tool according to the present embodiment is incorporated in the television receiver, and The television receiver may perform the functions of the video input unit 4 and the video output unit 5). Further, the processor constituting the control unit 1 may perform the function of the video input unit 4. Further, the color vision assisting tool is incorporated in an arbitrary data browsing device that holds data and displays this data as a color video, such as an electronic book reader or a digital textbook, and the data browsing device includes the video input unit 4 and the video output unit 5. You may perform the function.

以上、本実施の形態に係る色覚補助ツールを説明したが、この色覚補助ツールは、通常のコンピュータシステムを用いても実現することができる。
例えば、制御部1が行う上述の処理を実行させるためのプログラムを、CD−ROM、DVDあるいはその他のコンピュータ読み取り可能な記録媒体に格納して配布し、このプログラムを、液晶ディスプレイ等の表示装置を備えるコンピュータにインストールすることにより、上述の色覚補助ツールを構成することができる。
The color vision assistance tool according to the present embodiment has been described above, but this color vision assistance tool can also be realized using a normal computer system.
For example, a program for executing the above-described processing performed by the control unit 1 is stored and distributed on a CD-ROM, DVD or other computer-readable recording medium, and the program is distributed to a display device such as a liquid crystal display. The above-described color vision assisting tool can be configured by installing it in a computer provided.

また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしてもよい。更に、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。
また、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等してもよい。
Further, the program may be stored in a disk device or the like included in a predetermined server device on a communication network such as the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example. Furthermore, the above-described processing can also be achieved by starting and executing a program while transferring it via a communication network.
In addition, when the above functions are realized by sharing an OS (Operating System), or when the functions are realized by cooperation between the OS and an application, only the part other than the OS may be stored in a medium and distributed. Alternatively, it may be downloaded to a computer.

1 制御部
2 主記憶部
3 外部記憶部
4 映像入力部
5 映像出力部
6 タイマー
1 Control Unit 2 Main Storage Unit 3 External Storage Unit 4 Video Input Unit 5 Video Output Unit 6 Timer

Claims (8)

色空間内で可視色が占める領域内で複数個の部分をなす複数の色ゾーンを1個ずつ順次選択する色ゾーン選択手段と、
カラー画像を表す映像データを取得する映像データ取得手段と、
前記映像データ取得手段が取得した映像データが表すカラー画像のうち、前記色ゾーン選択手段が現に選択している色ゾーンに属する色を有する部分を特定して、当該特定された部分の色が、色覚異常者により当該色と異なる色として識別される他の色へと変換されたものとなるように、前記映像データの変換を行う変換手段と、
変換された前記映像データが表すカラー画像を表示する映像表示手段と、
より構成される色覚補助装置。
A color zone selection means for sequentially selecting a plurality of color zones that form a plurality of portions within a region occupied by visible colors in the color space;
Video data acquisition means for acquiring video data representing a color image;
Of the color image represented by the video data acquired by the video data acquisition means, the color zone selection means specifies a part having a color belonging to the color zone that is currently selected, and the color of the specified part is Conversion means for converting the video data so as to be converted into another color that is identified as a color different from the color by the color blind person;
Video display means for displaying a color image represented by the converted video data;
A color vision auxiliary device comprising the above.
前記映像データ取得手段は、外部の標的物を撮像することにより当該標的物のカラー画像を表す前記映像データを取得する処理を繰り返し行い、
前記色ゾーン選択手段は、前記映像データ取得手段が前記映像データを取得する毎に、当該取得に応答して、現に選択していた色ゾーンとは異なる色ゾーンを新たに選択し、
前記変換手段は、前記色ゾーン選択手段が新たに色ゾーンを選択する毎に、当該選択に応答して、映像データ取得手段が取得した最新の映像データにつき前記変換を行う、
請求項1に記載の色覚補助装置。
The video data acquisition means repeatedly performs a process of acquiring the video data representing a color image of the target object by imaging an external target object,
Each time the video data acquisition unit acquires the video data, the color zone selection unit newly selects a color zone different from the color zone that is currently selected in response to the acquisition,
The conversion means performs the conversion for the latest video data acquired by the video data acquisition means in response to the selection every time the color zone selection means newly selects a color zone.
The color vision auxiliary device according to claim 1.
それぞれの前記色ゾーンは、前記色空間内で可視色が占める領域内の線であって同一の当該線上にある2点に相当する2色が色覚異常者には互いに同一の色として知覚されるという関係にある複数本の線をそれぞれ当該色ゾーン内外の境界において分割するような位置を、当該色空間内で占めるものである、
請求項1又は2に記載の色覚補助装置。
Each color zone is a line in an area occupied by a visible color in the color space, and two colors corresponding to two points on the same line are perceived by the color blind person as the same color. A position that divides a plurality of lines in the relationship at the boundary inside and outside the color zone respectively occupies a position in the color space.
The color vision auxiliary device according to claim 1 or 2.
前記色ゾーンは、前記色空間内で可視色が占める領域が、色覚異常者が正常色覚者と同様に知覚できる色としてあらかじめ特定された色の集合が前記色空間内でなす面である色知覚面と当該色知覚面に平行な面とからなる面群によって分割されることにより得られる、前記複数個の部分をなすものである、
請求項1、2又は3に記載の色覚補助装置。
The color zone is a color perception in which a region occupied by a visible color in the color space is a surface formed in the color space by a set of colors specified in advance as colors that can be perceived by a color blind person in the same manner as a normal color blind person. Forming the plurality of portions obtained by being divided by a surface group consisting of a surface and a surface parallel to the color perception surface;
The color vision auxiliary device according to claim 1, 2 or 3.
前記変換手段は、前記映像データ取得手段が取得した映像データが表すカラー画像の前記特定された部分の色が、当該部分の色と実質的に等しい明度を有する他の色へと変換されたものとなるように、前記映像データの変換を行う、
請求項4に記載の色覚補助装置。
The conversion means is obtained by converting the color of the specified portion of the color image represented by the video data acquired by the video data acquisition means into another color having lightness substantially equal to the color of the portion. The video data is converted so that
The color vision auxiliary device according to claim 4.
前記変換手段は、前記映像データ取得手段が取得した映像データが表すカラー画像の前記特定された部分の色が、当該部分の色と実質的に等しい色度を有する他の色へと変換されたものとなるように、前記映像データの変換を行う、
請求項1乃至4のいずれか1項に記載の色覚補助装置。
The conversion means converts the color of the specified portion of the color image represented by the video data acquired by the video data acquisition means into another color having a chromaticity substantially equal to the color of the portion. Converting the video data so that it becomes
The color vision auxiliary device according to any one of claims 1 to 4.
色空間内で可視色が占める領域内で複数個の部分をなす複数の色ゾーンを1個ずつ順次選択する色ゾーン選択ステップと、
カラー画像を表す映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップで取得した映像データが表すカラー画像のうち、前記色ゾーン選択手段が現に選択している色ゾーンに属する色を有する部分を特定して、当該特定された部分の色が、色覚異常者により当該色と異なる色として識別される他の色へと変換されたものとなるように、前記映像データの変換を行う変換ステップと、
変換された前記映像データが表すカラー画像を表示する映像表示ステップと、
より構成される色覚補助方法。
A color zone selection step for sequentially selecting a plurality of color zones that form a plurality of portions within a region occupied by visible colors in the color space;
A video data acquisition step of acquiring video data representing a color image;
Of the color image represented by the video data acquired in the video data acquisition step, the color zone selecting means specifies a part having a color belonging to the color zone that is currently selected, and the color of the specified part is A conversion step of converting the video data so as to be converted to another color that is identified as a color different from the color by the color blind person;
A video display step for displaying a color image represented by the converted video data;
A method for assisting color vision, comprising:
カラー画像を表示する表示装置を備えたコンピュータを、
色空間内で可視色が占める領域内で複数個の部分をなす複数の色ゾーンを1個ずつ順次選択する色ゾーン選択手段、
カラー画像を表す映像データを取得する映像データ取得手段、
前記映像データ取得手段が取得した映像データが表すカラー画像のうち、前記色ゾーン選択手段が現に選択している色ゾーンに属する色を有する部分を特定して、当該特定された部分の色が、色覚異常者により当該色と異なる色として識別される他の色へと変換されたものとなるように、前記映像データの変換を行う変換手段、
変換された前記映像データが表すカラー画像を表示する映像表示手段、
として機能させるプログラム。
A computer equipped with a display device for displaying color images
A color zone selection means for sequentially selecting a plurality of color zones that form a plurality of portions within a region occupied by visible colors in the color space;
Video data acquisition means for acquiring video data representing a color image;
Of the color image represented by the video data acquired by the video data acquisition means, the color zone selection means specifies a part having a color belonging to the color zone that is currently selected, and the color of the specified part is Conversion means for converting the video data so as to be converted into another color that is identified as a color different from the color by the color blind person;
Video display means for displaying a color image represented by the converted video data;
Program to function as.
JP2010248112A 2010-11-05 2010-11-05 Color vision assistance device, color vision assistance method, and program Active JP5707099B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010248112A JP5707099B2 (en) 2010-11-05 2010-11-05 Color vision assistance device, color vision assistance method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010248112A JP5707099B2 (en) 2010-11-05 2010-11-05 Color vision assistance device, color vision assistance method, and program

Publications (3)

Publication Number Publication Date
JP2012099034A true JP2012099034A (en) 2012-05-24
JP2012099034A5 JP2012099034A5 (en) 2013-12-12
JP5707099B2 JP5707099B2 (en) 2015-04-22

Family

ID=46390848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010248112A Active JP5707099B2 (en) 2010-11-05 2010-11-05 Color vision assistance device, color vision assistance method, and program

Country Status (1)

Country Link
JP (1) JP5707099B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246737A (en) * 2003-02-14 2004-09-02 Fuji Xerox Co Ltd Document processor
JP2005109583A (en) * 2003-09-26 2005-04-21 Fuji Xerox Co Ltd Image processor, image processing method, image processing program, and storage medium
JP2005167543A (en) * 2003-12-02 2005-06-23 Toyo Ink Mfg Co Ltd Color correction apparatus
JP2005177144A (en) * 2003-12-19 2005-07-07 Fuji Xerox Co Ltd Apparatus, method and program for color vision support
JP2005524154A (en) * 2002-04-26 2005-08-11 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート Method and system for adaptively converting visual content to suit terminal users' color vision characteristics
JP2008042517A (en) * 2006-08-07 2008-02-21 Seiko Epson Corp Projector
WO2009020115A1 (en) * 2007-08-07 2009-02-12 Konica Minolta Holdings, Inc. Information converting method, information converting device, and information converting program
WO2010085505A1 (en) * 2009-01-21 2010-07-29 Dolby Laboratories Licensing Corporation Apparatus and methods for color displays

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005524154A (en) * 2002-04-26 2005-08-11 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート Method and system for adaptively converting visual content to suit terminal users' color vision characteristics
JP2004246737A (en) * 2003-02-14 2004-09-02 Fuji Xerox Co Ltd Document processor
JP2005109583A (en) * 2003-09-26 2005-04-21 Fuji Xerox Co Ltd Image processor, image processing method, image processing program, and storage medium
JP2005167543A (en) * 2003-12-02 2005-06-23 Toyo Ink Mfg Co Ltd Color correction apparatus
JP2005177144A (en) * 2003-12-19 2005-07-07 Fuji Xerox Co Ltd Apparatus, method and program for color vision support
JP2008042517A (en) * 2006-08-07 2008-02-21 Seiko Epson Corp Projector
WO2009020115A1 (en) * 2007-08-07 2009-02-12 Konica Minolta Holdings, Inc. Information converting method, information converting device, and information converting program
WO2010085505A1 (en) * 2009-01-21 2010-07-29 Dolby Laboratories Licensing Corporation Apparatus and methods for color displays

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
目黒 光彦、外2名: ""混同色線理論と色覚モデルに基づくカラー画像からの弁別困難色の検出と弁別しやすい色への変換"", 情報処理学会研究報告, vol. 2004, no. 102, JPN6014028580, 22 October 2004 (2004-10-22), JP, pages 19 - 24, ISSN: 0003012311 *
目黒 光彦、外4名: ""インタラクティブ操作に基づく色覚異常者のためのカラー画像の色変換"", 電子情報通信学会技術研究報告, vol. 105, no. 677, JPN6014028578, 15 March 2006 (2006-03-15), JP, pages 37 - 42, ISSN: 0002850302 *

Also Published As

Publication number Publication date
JP5707099B2 (en) 2015-04-22

Similar Documents

Publication Publication Date Title
EP2573670B1 (en) Character display method and device
ES2690365T3 (en) Image processing apparatus, image processing system and image processing method
JP2008236204A (en) Image processing apparatus
CN110177287A (en) A kind of image procossing and live broadcasting method, device, equipment and storage medium
CN104935784A (en) Image processing apparatus and image processing method
Lausegger et al. OmniColor--A Smart Glasses App to Support Colorblind People.
JP5707099B2 (en) Color vision assistance device, color vision assistance method, and program
CN110288663B (en) Image processing method, image processing device, mobile terminal and storage medium
JP2015126277A (en) Image processing apparatus and image processing method
JP6011092B2 (en) Image processing apparatus, image tone conversion method, and program
WO2013186960A1 (en) Image-data processing device and image-data processing method
JP2014116974A (en) Image reproducing device
JP6806040B2 (en) Image generators, display systems, and programs
CN105979151A (en) Image processing method and terminal
JP2009069451A (en) Color chart display device, color chart generation and display method, and color chart generation and display program
JP2011175309A (en) Image processing apparatus and program
JP6866181B2 (en) An image processing device, a control method thereof, a display device including the image processing device, a program, and a storage medium.
JP5757463B2 (en) 2D color gradation display device
EP3598748A1 (en) Vr drawing method, device and system
JP2009272665A (en) Image processing apparatus, image processing method, and program
CN102654919A (en) Image processing device, image processing method and storage medium
JP2016051405A (en) Color scheme support device, color scheme support method, and program
JP6192174B2 (en) Image processing apparatus, image processing method, and program
CN117372305A (en) Image color enhancement method, device, equipment and storage medium
JP2006330092A (en) Information display device and information providing system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140826

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150121

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150302

R150 Certificate of patent or registration of utility model

Ref document number: 5707099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250