JP2007066198A - Device, method, program for recognizing braille point and computer readable recording medium which records them - Google Patents
Device, method, program for recognizing braille point and computer readable recording medium which records them Download PDFInfo
- Publication number
- JP2007066198A JP2007066198A JP2005253998A JP2005253998A JP2007066198A JP 2007066198 A JP2007066198 A JP 2007066198A JP 2005253998 A JP2005253998 A JP 2005253998A JP 2005253998 A JP2005253998 A JP 2005253998A JP 2007066198 A JP2007066198 A JP 2007066198A
- Authority
- JP
- Japan
- Prior art keywords
- braille
- irradiation
- light
- unit
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Character Input (AREA)
Abstract
Description
本発明は、点字文字が含まれる点字面から点字を認識する点字認識装置、点字認識方法、点字認識プログラム及びこれを記録したコンピュータ読み取り可能な記録媒体に関する。 The present invention relates to a Braille recognition device, a Braille recognition method, a Braille recognition program, and a computer-readable recording medium on which the Braille recognition program is recorded, which recognizes Braille from a Braille surface including Braille characters.
点字は、健常者と視覚障害者をつなぐ上で、非常に重要な文字である。ここで、現在一般的に使用されている点字は、図24に示すように、縦3点、横2点の6つの凸点の組み合わせで構成されている。この単位は「マス」と呼ばれている。各マス内の左列の最上段の凸点は1の点、左列の中段の凸点は2の点、左列の最下段の凸点は3の点、右列の最上段は4の点、右列の中段の凸点は5の点、そして右列の最下段の凸点は6の点とそれぞれ呼ばれている。
Braille is a very important character in connecting a healthy person and a visually impaired person. Here, as shown in FIG. 24, the Braille currently generally used is composed of a combination of six convex points of three vertical points and two horizontal points. This unit is called “mass”. The uppermost convex point in the left column in each square is 1 point, the middle convex point in the left column is 2, the lowermost convex point in the left column is 3, and the uppermost point in the right column is 4. The middle convex point of the right column is called the
点字は、横書きで、左から右方向へ凸面を読んでいく。点字は、6つの点の組み合わせで表現されるため、63通り表現することができる。しかし、63通りの表現では、かな文字、アルファベット、及び数字の全てを表現することができない。そこで、アルファベットや数字を表現するときは、前置点を付けることで、アルファベット体系や数字体系を区別する。 Braille is written horizontally and the convex surface is read from left to right. Since Braille is expressed by a combination of six points, it can be expressed in 63 ways. However, the kana characters, alphabets, and numbers cannot be expressed with 63 different expressions. Therefore, when expressing alphabets and numbers, the alphabet and number systems are distinguished by adding a prefix.
このような点字は、エレベータでの階ボタン、レストランでのメニュー表示、または案内板など、街中のあらゆる所で使用されている。 Such Braille is used everywhere in the city, such as a floor button in an elevator, a menu display in a restaurant, or a signboard.
しかし、点字で表記するための文法は難しく、健常者にとっては理解しがたいものである。そこで、点字で記されたものが正しく表されているのかを検査することができる装置が開発されている。 However, the grammar for writing in braille is difficult and difficult for a healthy person to understand. In view of this, an apparatus has been developed that can inspect whether or not what is written in braille is correctly represented.
例えば、特許文献1には、点字の突起物を照明ランプで照らしてできる影により突起物の有無を検出する画像認識装置が開示されている(以降、従来技術1と称する)。この装置では、点字に対して斜め方向から光を照射して、上方に設置したカメラにより点字の陰影を取り込んだ後、画像処理して点字部分を検出する。
For example,
一方、特許文献2には、エンボスカードのエンボス文字の読取方法が開示されている(以降、従来技術2と称する)。従来技術2では、エンボスカードに対し2方向から光を照射して、2つのイメージをとり、その2つのイメージを差分することで、エンボス文字の陰影だけをとらえるものである。この方法を点字に応用すると、点字の突起物による陰影だけをとらえて、点字を抽出することができる。
しかしながら、従来技術1では、一方向から光を照射し、その反射光を受光して撮影した画像に対して画像処理を行って点字部分を検出しているため、点字と共に黒色で文字が併記されていると、当該文字と点字の凸文字により生じた陰影とを区別することができない。これにより、黒色で記載された文字の部分を点字の凸文字により生じた陰影と判断してしまい、正しく点字を検出することができない。
However, in the
一方、従来技術2を点字に応用したものでは、点字の凹凸がない部分に記載された文字は2つのイメージを差分することで、除去することができる点で、従来技術1と比べて好ましい。
On the other hand, the application of the
しかしながら、従来技術2では、点字の凹凸の部分に重なるように黒色で文字が記載されている場合は、当該点字と点字の陰影とが重なってしまうために、当該文字なのか、または点字の陰影なのかを区別し難い。特に、黒色で記載された文字の太さが点字の直径よりも大きい場合、照射された光で生じる点字の陰影が黒色で記載された文字で完全に隠れてしまい、当該文字と点字の陰影を区別することができない。
However, in the
さらに、従来技術2では、異なる方向から光を照射して撮影したイメージが2つ必要であるため、処理装置の負荷が大きくなる。
Furthermore, in the
したがって、本発明の目的は、点字と文字が重なり合っている場合であっても、処理装置の負荷を抑制しながら点字を容易に認識することができる点字認識装置、点字認識方法、点字認識プログラム及びこれを記録したコンピュータ読み取り可能な記録媒体を提供することにある。 Accordingly, an object of the present invention is to provide a Braille recognition device, a Braille recognition method, a Braille recognition program, and a Braille recognition program capable of easily recognizing Braille while suppressing the load on the processing device even when the Braille and characters overlap. An object of the present invention is to provide a computer-readable recording medium on which this is recorded.
本発明の点字認識装置は、点字が形成されている点字面に対して光を照射する第1照射手段と、点字面に対して第1照射手段とは異なる波長の光を照射する第2照射手段と、第1照射手段及び第2照射手段により照射された点字面を撮像し、点字面の映像信号を出力する撮像手段と、映像信号から、少なくとも点字面における第1照射手段のみによる照射領域および第2照射手段のみによる照射領域を認識することにより点字を認識する点字認識手段とを備えている。 The braille recognition device of the present invention includes a first irradiation unit that irradiates light on a braille surface on which braille is formed, and a second irradiation that irradiates light on the braille surface with light having a wavelength different from that of the first irradiation unit. Means, imaging means for imaging the Braille surface irradiated by the first irradiation means and the second irradiation means, and outputting a video signal of the Braille surface, and an irradiation region by at least the first irradiation means on the Braille surface from the video signal And Braille recognition means for recognizing Braille by recognizing an irradiation area only by the second irradiation means.
本発明の点字認識方法は、点字が形成されている点字面に対して光を照射する第1照射ステップと、点字面に対して第1照射ステップとは異なる波長の光を照射する第2照射ステップと、第1照射ステップ及び第2照射ステップにより照射された点字面を撮像し、点字面の映像信号を出力する撮像ステップと、映像信号から、少なくとも点字面における第1照射ステップのみによる照射領域および第2照射ステップのみによる照射領域を認識することにより点字を認識する点字認識ステップとを備えている。 In the Braille recognition method of the present invention, the first irradiation step of irradiating light on the Braille surface on which the Braille is formed, and the second irradiation of irradiating the Braille surface with light having a wavelength different from that of the first irradiation step. An imaging step of imaging a Braille surface irradiated by the first irradiation step and the second irradiation step and outputting a video signal of the Braille surface; and an irradiation region by only the first irradiation step on the Braille surface from the video signal And a Braille recognition step for recognizing Braille by recognizing an irradiation region only by the second irradiation step.
上記の構成によれば、第1照射手段(第1照射ステップ)及び第2照射手段(第2照射ステップ)は点字面に対して異なる波長の光を照射し、撮像手段(撮像ステップ)は2つの光で照らされた点字面を撮影し、点字認識手段(点字認識ステップ)は撮像手段(撮像ステップ)により撮影された映像信号から点字部分を認識する。 According to said structure, a 1st irradiation means (1st irradiation step) and a 2nd irradiation means (2nd irradiation step) irradiate the light of a different wavelength with respect to a braille surface, and an imaging means (imaging step) is 2 The braille surface illuminated with two lights is photographed, and the braille recognition means (braille recognition step) recognizes the braille portion from the video signal photographed by the imaging means (imaging step).
これにより、点字認識手段は、撮像手段から得られた映像信号に対して例えば画像処理を行うことで、処理装置の負荷を抑制しながら点字部分を容易に認識することができる。例えば、点字面に対して2方向から異なる種類の光を照射した場合、点字面の凹凸の影響で、一方向からの光が遮断されて、もう一方からの光のみで照らされている部分が存在する。そこで、撮像手段(カメラ)から得られた映像信号に対して例えば周知の画像処理を行い、一方の光のみで照らされている部分を抽出することで、その部分が点字文字であると認識することができる。 As a result, the Braille recognition unit can easily recognize the Braille part while suppressing the load on the processing device, for example, by performing image processing on the video signal obtained from the imaging unit. For example, when different types of light are irradiated on the braille surface from two directions, the light from one direction is blocked by the unevenness of the braille surface, and the part illuminated only by the light from the other side Exists. Therefore, for example, a well-known image processing is performed on the video signal obtained from the imaging means (camera), and a portion illuminated only with one light is extracted, so that the portion is recognized as a braille character. be able to.
上記の点字認識装置において、好ましくは、点字認識手段は、映像信号から、点字面における第1照射手段のみによる照射領域および第2照射手段のみによる照射領域を認識することに加えて、第1および第2照射手段の両者による重複した照射領域を認識することにより、点字を認識する。 In the above braille recognition device, preferably, the braille recognition means recognizes the irradiation area only by the first irradiation means and the irradiation area only by the second irradiation means on the braille surface from the video signal. Braille is recognized by recognizing the overlapped irradiation region by both of the second irradiation means.
これにより、点字認識手段は、第1照射手段のみによる照射領域、または第2照射手段のみによる照射領域だけから点字を認識するよりも、第1照射手段及び第2照射手段両者による重複した照射領域も併せて認識することで、点字を認識する精度を高めることができる。 Thus, the Braille recognition means recognizes Braille from only the irradiation area only by the first irradiation means or the irradiation area only by the second irradiation means, and the overlapping irradiation areas by both the first irradiation means and the second irradiation means. In addition, the accuracy of recognizing braille can be improved.
上記の点字認識装置において、好ましくは、第1照射手段と第2照射手段とは点字面に対して互いに異なる色の光を照射するものであり、点字認識手段は、点字面における第1照射手段および第2照射手段による各照射領域をそれら照射領域の色の違いにより認識する。 In the above Braille recognition device, preferably, the first irradiating means and the second irradiating means irradiate light of different colors with respect to the Braille surface, and the Braille recognition means is the first irradiating means on the Braille surface. And each irradiation area by a 2nd irradiation means is recognized by the difference in the color of these irradiation areas.
これにより、第1照射手段と第2照射手段とは互いに異なる色の光を点字面に対して照射するため、点字認識手段は色の違いから点字を認識することができる。なお、点字認識手段としては、例えば、色の違いを検出することができるカラーCCDセンサを備えている。 Thereby, since the 1st irradiation means and the 2nd irradiation means irradiate the light of a mutually different color with respect to a Braille surface, the Braille recognition means can recognize Braille from the difference in a color. Note that the Braille recognition means includes, for example, a color CCD sensor that can detect a color difference.
上記の点字認識装置において、好ましくは、点字認識手段は、点字面における第1照射手段からの照射光の色を有する第1照射手段側の領域と第2照射手段からの照射光の色を有する第2照射手段側の領域とに囲まれる領域を点字の存在位置として認識する。 In the above Braille recognition device, preferably, the Braille recognition means has a region on the first irradiation means side having the color of the irradiation light from the first irradiation means on the Braille surface and a color of the irradiation light from the second irradiation means. A region surrounded by the region on the second irradiation means side is recognized as a Braille presence position.
これにより、点字認識手段は、第1照射手段と第2照射手段とは互いに異なる色の光を点字面に対して照射するため、第1照射手段からの照射光の色と第2照射手段からの照射光の色とで囲まれた領域を点字と認識することができる。 Thereby, since the Braille recognition means irradiates the Braille surface with light of different colors from the first irradiation means and the second irradiation means, the color of the irradiation light from the first irradiation means and the second irradiation means A region surrounded by the color of the irradiated light can be recognized as Braille.
上記の点字認識装置において、好ましくは、点字認識手段は、点字面における第1照射手段および第2照射手段による各照射領域の濃度の違いにより点字を認識する。 In the above Braille recognition device, preferably, the Braille recognition means recognizes Braille based on a difference in density of each irradiation area between the first irradiation means and the second irradiation means on the Braille surface.
これにより、点字認識手段として、カラーCCDセンサのように色を認識することができない、例えば白黒センサであっても、第1照射手段及び第2照射手段による各照射領域の濃度の違いにより点字を認識できる。 As a result, even for a black and white sensor, for example, a black and white sensor that cannot recognize a color as a Braille recognition unit, Braille is recognized due to a difference in density of each irradiation region between the first irradiation unit and the second irradiation unit. Can be recognized.
上記の点字認識装置において、好ましくは、点字認識手段にて認識された点字を翻訳する点字翻訳手段を備えている。 The above Braille recognition device preferably includes Braille translation means for translating Braille recognized by the Braille recognition means.
上記の構成によれば、点字翻訳手段は点字認識手段にて認識された点字を翻訳する。 According to said structure, a Braille translation means translates the Braille recognized by the Braille recognition means.
これにより、点字翻訳手段は点字を翻訳することができるので、点字の文法を知らない人であっても当該点字の内容を把握することができる。この結果、本点字認識装置を使用すると、例えば街中の点字案内板作成業者が街中に存在する点字案内板に示された点字の内容が正しいか否かを容易に検査することができる。 Thereby, since the Braille translation means can translate Braille, even the person who does not know the grammar of Braille can grasp the content of the Braille. As a result, when this braille recognition device is used, for example, a braille guide board manufacturer in the city can easily check whether the content of the braille shown on the braille guide board existing in the city is correct.
上記の点字認識装置において、好ましくは、第1照射手段及び第2照射手段は、平行光を点字面に対して照射する。 In the above braille recognition device, preferably, the first irradiation unit and the second irradiation unit irradiate the braille surface with parallel light.
点字面に照射する光が平行光でない場合には、光を点字面に照らしても光が拡散してしまうため、カメラで撮影した映像信号に対しての画像処理が困難になり、点字を抽出しづらくなる。そこで、第1照射手段及び第2照射手段から照射される光を平行光にすることで、点字面に対して方向性のある光を照射することができ、カメラで撮影した映像信号からの点字の抽出が容易になる。なお、第1照射手段及び第2照射手段から照射する光を平行光にする方法として、例えば、コリメートレンズを用いる。ただし、必ずしもこれに限定されるものではなく、平行光を照射することができる仕組みであれば構わない。 If the light illuminating the braille surface is not parallel light, the light will diffuse even if it illuminates the braille surface, making it difficult to process the video signal captured by the camera and extracting the braille. It becomes difficult. Therefore, by making the light irradiated from the first irradiation means and the second irradiation means parallel light, it is possible to irradiate light having direction to the Braille surface, and Braille from the video signal photographed by the camera. Extraction becomes easier. For example, a collimating lens is used as a method for making the light irradiated from the first irradiation unit and the second irradiation unit into parallel light. However, it is not necessarily limited to this, and any mechanism that can irradiate parallel light may be used.
上記の点字認識装置において、好ましくは、第1照射手段及び第2照射手段における光源から照射される光は互いに補色の関係にある。 In the above Braille recognition device, preferably, the light emitted from the light source in the first irradiation means and the second irradiation means is in a complementary color relationship.
これは、補色の関係にある2つの光を混合すると、混合した光は白色になることを利用している。これにより、カメラで撮影した映像信号から白色で光っている部分を除くと、点字の部分が抽出されるため、撮影信号に対して行う画像処理を容易に行うことができる。 This utilizes the fact that when two lights having a complementary color relationship are mixed, the mixed light becomes white. As a result, the braille portion is extracted from the video signal captured by the camera except for the portion that shines in white, so that image processing performed on the captured signal can be easily performed.
上記の点字認識装置において、好ましくは、点字認識手段は、第1照射手段と同じ方向側の点字部分が第1照射手段により照射された光のみで照らされた領域と、第2照射手段と同じ方向側の点字部分が第2照射手段により照射された光のみで照らされた領域とに囲まれる領域を凸部の点字の存在位置として認識する。 In the above braille recognition device, preferably, the braille recognition means is the same as the second irradiation means, and the area where the braille portion on the same direction side as the first irradiation means is illuminated only by the light emitted by the first irradiation means. A region surrounded by a region where the braille portion on the direction side is illuminated only by the light irradiated by the second irradiating means is recognized as the location where the Braille exists on the convex portion.
上記の点字認識装置において、さらに好ましくは、点字認識手段は、第1照射手段と同じ方向側の点字部分が第2照射手段により照射された光のみで照らされた領域と、第2照射手段と同じ方向側の点字部分が第1照射手段により照射された光のみで照らされた領域とに囲まれる領域を凹部の点字の存在位置として認識する。 In the above braille recognition device, more preferably, the braille recognition means includes a region in which the braille portion on the same direction side as the first irradiation means is illuminated only by the light irradiated by the second irradiation means, and the second irradiation means. A region surrounded by a braille portion on the same direction side and a region illuminated only by the light emitted by the first irradiating means is recognized as the presence position of the braille in the recess.
上記の構成によれば、点字認識手段は、点字部分の光の照らされ方と第1照射手段及び第2照射手段の位置との関係から、凸部による点字(以降、凸文字と称する)なのか、または凹部による点字(以降、凹文字と称する)なのかを認識することができる。 According to the above configuration, the Braille recognizing means is a Braille formed by a convex portion (hereinafter referred to as a convex character) based on the relationship between how the light of the Braille portion is illuminated and the positions of the first irradiation means and the second irradiation means. Or a Braille character (hereinafter referred to as a concave character) due to a concave portion.
上記の点字認識装置において、好ましくは、点字認識手段にて認識された点字を翻訳する点字翻訳手段を備え、点字認識手段により当該点字が凹部であると判別された場合に、点字翻訳手段は、点字認識手段にて認識された点字を左右反転させて翻訳する。 In the above braille recognition device, preferably, braille translation means for translating braille recognized by the braille recognition means, and when the braille recognition means determines that the braille is a recess, the braille translation means The Braille recognized by the Braille recognition means is translated horizontally.
通常、点字は凸部で構成され、左から右の方向に読むことが普通である。しかし、両面点字のように、凹部で構成された点字は、逆面から見ると通常の凸部で構成される点字であるため、凹部で構成された点字を翻訳するためには、左右反転させる必要がある。 Usually, braille is composed of convex parts and is usually read from left to right. However, like double-sided Braille, brailles composed of concave parts are brailles composed of ordinary convex parts when viewed from the opposite side, so in order to translate brailles composed of concave parts, they are reversed left and right. There is a need.
これにより、点字認識手段により凹部で構成された点字であると判別された場合は、当該点字を左右反転させることで、通常の凸部で構成された点字データに変換することができ、点字翻訳手段は点字を正確に翻訳することができる。 As a result, when it is determined by the braille recognition means that the braille is constituted by a concave portion, the braille data can be converted into braille data constituted by a normal convex portion by inverting the left and right of the braille. The means can accurately translate Braille.
本発明の点字認識装置は、点字が形成されている点字面に対して光を照射する第1照射手段と、点字面に対して第1照射手段とは異なる波長の光を照射する第2照射手段と、第1照射手段及び第2照射手段により照射された点字面を撮像し、点字面の映像信号を出力する撮像手段と、映像信号から、少なくとも点字面における第1照射手段のみによる照射領域および第2照射手段のみによる照射領域を認識することにより点字を認識する点字認識手段とを備えている構成である。 The braille recognition device of the present invention includes a first irradiation unit that irradiates light on a braille surface on which braille is formed, and a second irradiation that irradiates light on the braille surface with light having a wavelength different from that of the first irradiation unit. Means, imaging means for imaging the Braille surface irradiated by the first irradiation means and the second irradiation means, and outputting a video signal of the Braille surface, and an irradiation region by at least the first irradiation means on the Braille surface from the video signal And a Braille recognition means for recognizing Braille by recognizing an irradiation area only by the second irradiation means.
これにより、第1照射手段から照射された光と第2照射手段から照射された光により照らされた点字面をカメラにて撮影し、撮影された映像信号に対して画像処理を行うことで、点字部分を抽出することができる。 Thereby, the Braille surface illuminated by the light emitted from the first irradiation means and the light emitted from the second irradiation means is photographed with a camera, and image processing is performed on the photographed video signal, The braille part can be extracted.
さらに、凸部で構成された点字と凹部で構成された点字との光の照らされ方の違いから、凸部で構成された点字と凹部で構成された点字とを判別することができるため、凸部と凹部が混同した点字面であっても、点字部分を抽出することができる。 Furthermore, from the difference in how light is illuminated between the braille formed by the convex portion and the braille formed by the concave portion, it is possible to determine the braille formed by the convex portion and the braille formed by the concave portion, Even when the convex portion and the concave portion are confused with each other, the braille portion can be extracted.
以下、図面を参照しつつ本発明の一実施の形態について説明する。なお、以下の説明に用いる図面では、同一の部品に同一の符号を付してある。それらの名称及び機能も同一である。従って、それらについての詳細な説明は繰り返さない。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In the drawings used for the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
(点字認識装置の機能的構成)
図1には、本実施の形態に係る点字認識装置100の機能的構成のブロック図を示す。図1に示すように、点字認識装置100は、指示入力部101、第1照射部102、第2照射部103、及び撮像部104を備えている。さらに、点字認識装置100は、映像信号読み込み部105、映像信号処理部106、点字認識部107、点字コード記憶部108、点字翻訳部109、及び出力処理部110を備えている。
(Functional configuration of braille recognition device)
FIG. 1 shows a block diagram of a functional configuration of a
点字面10とは、点字による凹凸がある面のことである。点字を読むことができる人であれば、点字面10にある点字を触覚により読むことができる。なお、点字面10は点字書籍のような、自由に移動可能な面であっても構わないし、エレベータの階表示ボタンや階段の手すり等に据えつけられたもののような、固定された面であっても構わない。即ち、点字面10は、点字により表現された種々の面を指すものとする。
The
指示入力部101は、例えば情報を入力するためのインタフェースであり、ユーザから点字認識装置100に与える指示を入力するためのものである。指示入力部101を介してユーザから入力される指示は、例えば第1照射部102及び第2照射部103に対しての光の照射指示、または撮像部104に対しての点字面10の撮影指示などが含まれる。
The
第1照射部102は、例えば点字面10を照らす光源であり、指示入力部101を介して入力された指示に基づいて、点字面10に対して光を照射する。第1照射部102は、点字面10に対して照射する光の種類を調整する機能を備えていても構わない。例えば、照射する光の色を赤色、または青色などに調整する。
The
第2照射部103は、例えば点字面10を照らす光源であり、指示入力部101を介して入力された指示に基づいて、点字面10に対して光を照射する。第2照射部103は、点字面10に対して照射する光の種類を調整する機能を備えていても構わない。例えば、照射する光の色を赤色、または青色などに調整する。
The
なお、第1照射部102及び第2照射部103として、例えば波長可変レーザー光源を用いると、出力するレーザーの波長を変えることで、点字面10に対して照射する光の色を調整することができる。
For example, if a wavelength tunable laser light source is used as the
ここで、第1照射部102と第2照射部103とが照射する光の種類は互いに異なるものとする。すなわち、第1照射部102と第2照射部103とが照射する光の波長は互いに異なる。また、第1照射部102と第2照射部103とは、点字面10に対して互いに異なる方向から、また共に斜め上方向から光を照射する。
Here, the types of light emitted by the
撮像部104は、例えば点字面10を撮影するカメラであり、指示入力部101を介して入力された指示に基づいて、点字面10の撮影を行う。なお、撮像部104が点字面10を撮影して得られたものが映像信号11である。
The
撮像部104は、第1照射部102及び第2照射部103により照らされた点字面10を撮影している。したがって、映像信号11は、点字が第1照射部102及び第2照射部103に照射されている場合の映像を示すものとなる。この映像において、点字の凸文字に対して第1照射部102と同じ側の面は第1照射部102から照射された光のみで照らされており、点字の凸文字に対して第2照射部103と同じ側の面は第2照射部103から照射された光のみで照らされている。逆に、点字面10に凹文字が存在する場合は、点字の凹文字に対して第1照射部102と同じ側の面は第2照射部103から照射された光のみで照らされており、点字の凹文字に対して第2照射部103と同じ側の面は第1照射部102から照射された光のみで照らされている。また、第1照射部102から照射された光と第2照射部103から照射された光の両方の光が重なり合っている部分は、両方の光が混ざった光により照らされている。
The
映像信号読み込み部105は、撮像部104にて撮影された映像信号11を読み込む。映像信号処理部106は、映像信号読み込み部105にて読み込まれた映像信号11に対して画像処理を行う。この画像処理は、フィルタ処理及び2値化処理などである。なお、映像信号処理部106の詳細については後述する。
The video
点字認識部107は、映像信号処理部106にて画像処理された処理画像に基づいて、点字を認識する。
The
点字コード記憶部108には、点字による50音表などの点字コードが記憶されている。
The braille
点字翻訳部109は、点字コード記憶部108にて記憶されている点字コードを用いることで、点字認識部107にて認識された点字の翻訳を行う。
The
出力処理部110は、点字認識部107にて認識された点字を外部機器13に出力する。外部機器13に例えば表示装置が備わっている場合、出力処理部110は認識された点字を当該表示装置に表示する。または、出力処理部110は点字翻訳部109にて翻訳された点字を表示する。
The
図2には、第1光源、第2光源、及びカメラを用いた場合の点字認識装置100の様子を示している。図2では、点字面10に対して右側(一方向)の斜め上方から第1光源により点字面10を照らし、点字面10に対して左側(一方向とは反対の方向)の斜め上方から第2光源により点字面10を照らしており、点字面10の真上方向からカメラにより点字面10を撮影する。
FIG. 2 shows a state of the
図3には、図2に示したカメラで点字面10を撮影したときの映像(画像)を示す。点字面において点字の右部分の第1領域151は、第1光源からの光により照らされており、点字面において点字の左部分の第2領域152は、第2光源からの光により照らされており、第1領域151と第2領域152以外の第3領域153は、第1光源からの光と第2光源からの光が混合した光により照らされている。
FIG. 3 shows a video (image) when the
(映像信号処理部106の機能的構成)
図25には、映像信号処理部106の機能的構成のブロック図を示す。映像信号処理部106は、フィルタ処理部120と2値化処理部121とを備えている。
(Functional configuration of video signal processing unit 106)
FIG. 25 shows a block diagram of a functional configuration of the video
フィルタ処理部120は、入力された映像信号11に対して、フィルタ処理を行う。フィルタ処理部120は、図7(d)に示すように例えば3×3画素のフィルタ400を用いてフィルタ処理を行う。このフィルタ処理は、処理後の注目画素の濃度値をフィルタ処理前の注目画素に隣り合う画素の濃度値を引き算したものにするためのものである。
The
2値化処理部121は、フィルタ処理部120にて処理された処理画像に対して2値化の処理を行う。ここで、2値化処理とは、ある明るさ以上の濃度値の画素を白にし、それ以外の画素を黒くする処理のことである。
The
(点字認識装置100を実現するコンピュータシステムの構成)
本実施の形態に係る点字認識装置100は、実質的には、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図4に、このコンピュータシステム200の内部構成を示す。
(Configuration of a computer system for realizing the Braille recognition device 100)
図4を参照して、このコンピュータシステム200は、光ディスクドライブ201及び磁気ディスクドライブ202を有するコンピュータ220と、モニタ203と、リモートコントローラ(以下、「リモコン」と呼ぶ)204とを含む。
Referring to FIG. 4, this
コンピュータ220は、光ディスクドライブ201及び磁気ディスクドライブ202に加えて、リモコン204からの信号を受信するリモコンインタフェース(I/F)205と、CPU(中央処理装置)206と、リモコンインタフェース205、CPU206、光ディスクドライブ201及び磁気ディスクドライブ202に接続されたバス207と、バス207に接続され、ブートアッププログラム等を記憶する読出専用メモリ(ROM)208と、同じくバス207に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ(RAM)209とを含む。
In addition to the
ここでは示さないが、コンピュータ220はさらにローカルエリアネットワーク(LAN)への接続を提供するネットワークアダプタボードを含んでいてもよい。
Although not shown here, the
コンピュータシステム200に点字認識装置100の機能を実現させるためのプログラム、及び映像信号11(図1参照)はいずれも、光ディスクドライブ201又は磁気ディスクドライブ202に挿入される光ディスク210又は磁気ディスク211に記憶され、さらにハードディスク212に転送される。又は、プログラム、及び映像信号11(図1参照)は図示しないネットワークを通じてコンピュータ220に送信されハードディスク212に記憶されてもよい。プログラムは実行の際にRAM209にロードされる。光ディスク210から、磁気ディスク211から、又はネットワークを介して、直接にRAM209にプログラムをロードしてもよい。
A program for causing the
このプログラムは、コンピュータ220に本実施の形態に係る点字認識装置100の機能を実現させる複数の命令を含む。これら機能を実現させるのに必要な基本的機能のいくつかはコンピュータ220上で動作するオペレーティングシステム(OS)又はサードパーティのプログラム、若しくはコンピュータ220にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態に係る点字認識装置100の機能を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又は「ツール」を呼出すことにより、上記した点字認識装置100の制御を実行する命令のみを含んでいればよい。コンピュータシステム200の動作は周知であるので、ここでは繰り返さない。
This program includes a plurality of instructions for causing the
なお、点字認識装置100の機能を実現するためのプログラム、及び映像信号11(図1参照)が記録される記録媒体は、CD−ROM(コンパクトディスク読取専用メモリ)、MO(Magneto−Optical disc)、MD(Mini Disc)、及びDVD(Digital Versatile Disc)等の光ディスク210、FD(フレキシブルディスク)及びハードディスク等の磁気ディスク211に限らない。磁気テープ及びカセットテープ等のテープ、IC(Integrated Circuit)カード及び光カード等のカード型記録媒体、並びにマスクROM、EPROM(Erasable Programable ROM)、EEPROM(Electrically Erasable Programable ROM)、及びフラッシュROM等の半導体メモリのいずれかでもよい。ただし、コンピュータシステム200は、これら記録媒体からの読出を行なうための読出装置を実装する必要がある。
Note that a program for realizing the functions of the
(主要動作の概要)
図5は、点字認識装置100の主要動作の概要を示すフローチャートである。図5を参照して、点字認識装置100の電源が入れられると、プログラム300が起動し、ステップS301へ進む。
(Outline of main operations)
FIG. 5 is a flowchart showing an outline of main operations of the
ステップS301では、指示入力部101はユーザからの点字面撮影に対する指示が入力されるのを待ち、ユーザからの指示が入力されると、ステップS302へ進む。
In step S301, the
ステップS302では、第1照射部102は光源1から点字面に対して光を照射し、ステップS303へ進む。
In step S302, the
ステップS303では、第2照射部103は光源2から点字面に対して光を照射し、ステップS304へ進む。なお、ステップS302において第1照射部102が照射する光とステップS303において第2照射部103が照射する光の種類は互いに異なるものである。
In step S303, the
ステップS304では、撮像部104、例えばカメラは光源1と光源2から照射された光により照らされた点字面を撮影し、ステップS305へ進む。なお、撮像部104が点字面を撮影するタイミングは、ユーザにより撮影の指示が行われたときに撮影を行うものであっても構わないし、点字認識装置100が自動で撮影を行うものであっても構わない。
In step S304, the
ステップS305では、映像信号処理部106はステップS304にてカメラ出力された映像信号11に対して画像処理を行い、ステップS306へ進む。なお、画像処理の詳細については後述する。
In step S305, the video
ステップS306では、点字認識部107はステップS305にて画像処理された処理画像に基づいて、点字部分を抽出して、ステップS307へ進む。
In step S306, the
ステップS307では、点字認識装置100はステップS306にて抽出した点字を翻訳するか否かを判定する。点字の翻訳を行う場合はステップS309へ進み、点字の翻訳を行わない場合はステップS308へ進む。なお、この判定はユーザ自ら行うものであっても構わないし、点字認識装置100が予め設定された情報に基づいて判定を行うものであっても構わない。
In step S307, the
ステップS308では、出力処理部110はステップS306にて抽出された点字を外部機器13に出力して、処理を終了する。外部機器13は、例えば表示装置を備えている場合は、ステップS306にて抽出された点字を表示装置に表示する。
In step S308, the
ステップS309では、点字翻訳部109はステップS306にて抽出された点字の翻訳を行い、ステップS310へ進む。点字翻訳部109が点字を翻訳する場合は、点字コード記憶部108にて記憶されている点字コードを用いて翻訳を行う。
In step S309, the
ステップS310では、出力処理部110はステップS309にて翻訳された点字の文章を外部機器13に出力して、処理を終了する。外部機器13は、例えば表示装置を備えている場合は、ステップS309にて翻訳された点字の文章を表示装置に表示する。
In step S310, the
(画像処理)
図6は、図5に示すステップS305で実行される画像処理を示すフローチャートである。図6を参照して、画像処理350が開始されると、ステップS351では、映像信号処理部106が映像信号読み込み部105にて読み込まれた映像信号に対してフィルタ処理を行い、ステップS352へ進む。ステップS352では、映像信号処理部106がフィルタ処理された画像に対して、2値化処理を行い、画像処理を終了する。以下に、上記フィルタ処理および2値化処理について説明する。
(Image processing)
FIG. 6 is a flowchart showing the image processing executed in step S305 shown in FIG. Referring to FIG. 6, when
例えば、図7(a)に示すような映像信号を映像信号読み込み部105が読み込んだものとする。なお、図7(a)では、便宜上、映像信号そのものではなく、映像信号によって示される映像を記載している。点字面は、図2に示したように、右側から光源1にて、さらに左側から光源2にて照らされている。したがって、図7(a)の映像信号(映像)では、点字の凸文字の右側の領域1は光源1からの光により照らされており、点字の凸文字の左側の領域2は光源2からの光により照らされており、点字の凸文字の頂点部の領域3と背景部の領域4は光源1からの光と光源2からの光が混合した光により照らされている。また、点字の凸文字により光源2からの光が遮られた領域5は光源1からの光により照らされており、点字の凸文字により光源1からの光が遮られた領域6は光源2からの光により照らされている。なお、点字の凸文字の大きさは3×3画素程度であるものとする。
For example, it is assumed that the video
ステップS351では、図7(a)に示す映像信号に対して、図7(d)に示すように例えば3×3画素のフィルタ400を用いてフィルタ処理を行う。具体的には、処理後の注目画素の濃度値を処理前の注目画素に隣り合う画素の濃度値を引き算したものにする。全ての画素に対してフィルタ処理を行うと、図7(b)に示すようになる。なお、図7(b)の濃度の薄い領域は、図7(a)の領域3に相当する領域である。
In step S351, the video signal shown in FIG. 7A is filtered using, for example, a 3 × 3
そして、図7(b)に対して、2値化の処理を行う。ここでは、光源1からの光と光源2からの光が混合された光の濃度値よりも明るいものを白くする。2値化処理された処理画像の様子を図7(c)に示す。
Then, binarization processing is performed on FIG. Here, the lighter than the density value of the light in which the light from the
このような画像処理を行うことで、白で抽出された箇所を点字の部分であると認識することができる。 By performing such image processing, it is possible to recognize a portion extracted in white as a braille portion.
以下、点字認識装置100の具体的な動作として、実施例1及び実施例2を例示する。
Hereinafter, examples 1 and 2 will be exemplified as specific operations of the
(実施例1)
以下に示す実施例1では、点字の凸文字がある点字面を撮影して点字部分を読み取る点字認識装置100の動作を例示する。
Example 1
In Example 1 described below, the operation of the
図8(a)には、点字面421を撮影する点字認識装置100の様子を示している。図8(a)に示す点字認識装置100は、点字面421に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面421に対して左斜め上方向から光源2にて緑色の光を照射することで点字面421を照らし、点字面421の真上方向からカメラ104にて点字面421を撮影する。
FIG. 8A shows a state of the
図8(b)は点字面421の平面図である。図8(b)では、点字の凸文字である点を黒丸で表しており、飛び出していない点を白丸で表している。 FIG. 8B is a plan view of the Braille surface 421. In FIG. 8B, points that are convex characters of Braille are represented by black circles, and points that do not protrude are represented by white circles.
ここでは、図8(b)に示す点字面に書かれている点字を図8(a)に示す点字認識装置100で読み取る場合について、図5に示すフローチャート300及び図6に示すフローチャート350に従って説明する。
Here, a case where the braille written on the braille surface shown in FIG. 8B is read by the
ステップS301からステップS303では、ユーザが撮影したい点字面421に対して光源1及び光源2から光を照射する。この場合、第1照射部102は光源1から赤色の光を照射し、第2照射部103は光源2から緑色の光を照射する。ここで、赤色の光とは波長が700nmの光であり、緑色の光とは波長が546.1nmの光をさす。
In step S301 to step S303, light is emitted from the
ステップS304では、光源1からの赤色の光と光源2からの緑色の光により照らされた点字面421をカメラにて撮影する。図9に、カメラで撮影された点字面421の映像信号を示す。図9では、点字の凸文字の右側部は光源1から照射された赤色の光のみしか当たっていないので赤色で光っている。また、点字の凸文字の左側部は光源2から照射された緑色の光のみしか当たっていないので緑色で光っている。さらに、点字の凸文字の上部及び背景部は赤色と緑色が混ざった黄色で光っている。また、背景部のうち、点字の凸文字により光源2から照射された緑色の光が遮られた所は光源1から照射された赤色のみしか当たっていないので赤色で光っており、点字の凸文字により光源1から照射された赤色の光が遮られた所は光源2から照射された緑色の光のみしか当たっていないので緑色で光っている。
In step S304, the camera shoots the Braille surface 421 illuminated by the red light from the
このとき、図6に示すステップS351では、映像信号処理部106が図9に示す映像信号に対してフィルタ処理を行う。ここで、映像信号処理部106が行うフィルタ処理は必ずしも限定されないが、例えば図7(d)に示す3×3のフィルタ400を用いてフィルタ処理を行うものであっても構わない。図10に、フィルタ処理された処理画像の様子を示す。図10では、点字の凸文字の上部以外は黒色に近い値(濃度値が0に近い値)になる。
At this time, in step S351 shown in FIG. 6, the video
ステップS352では、映像信号処理部106が図10に示す処理画像に対して、例えば図7(b)及び図7(c)で説明したような2値化処理を行う。図11に、2値化処理された処理画像の様子を示す。図11では、点字の凸文字の頂点の部分は白色(濃度値が255)になり、それ以外の部分は黒色(濃度値が0)になる。
In step S352, the video
ステップS306では、点字認識部107は点字部分を抽出するために、図11に示す処理画像から白色(濃度値が0)の部分を抽出する。
In step S306, the
ステップS307において、点字認識装置100が点字の翻訳を行わないと判定した場合、ステップS308では、出力処理部110はステップS306にて抽出した点字を外部機器に出力する。ここで、外部機器が表示装置を備えている場合、出力処理部110は表示装置に抽出した点字を出力する。表示装置440に出力された様子を図12(a)に示す。
In step S307, if the
一方、ステップS307において、点字認識装置100が点字の翻訳を行うと判定した場合、ステップS309では、点字翻訳部109は、点字コード記憶部108にて記憶されている点字コードを用いて、ステップS306にて抽出した点字の翻訳を行う。そして、ステップS310では、出力処理部110はステップS309にて翻訳した点字を外部機器に出力する。ここで、外部機器が表示装置を備えている場合、出力処理部110は表示装置に翻訳した点字の文章を出力する。表示装置441に出力された様子を図12(b)に示す。また、図12(c)に示すように、出力処理部110は表示装置442にステップS306にて抽出した点字とステップS309にて翻訳した文章の両方を出力するものであっても構わない。
On the other hand, when it is determined in step S307 that the
これにより、2方向から種類の異なる光を点字面に当てて撮影した映像信号から点字を読み取ることができる。また、図12(a)に示すように、認識した点字を表示装置に表示させることで、ユーザが表示装置に表示された点字と実際の点字面を見比べることで、点字認識装置100が正しく点字を読み取ることができたか否かを確認することができる。さらに、図12(b)及び図12(c)に示すように、認識した点字を翻訳した文章を表示装置に表示させることで、ユーザは点字面に凸点で示された点字の内容を認識することができる。さらに、点字面に凸点で示された点字を読み取って翻訳することで、例えば街中の点字案内板作成業者が街中に存在する点字案内板に示された点字の内容が正しいか否かを容易に検査することができる。
Thereby, braille can be read from the video signal image | photographed by having different types of light applied to the braille surface from two directions. Also, as shown in FIG. 12A, by displaying the recognized braille on the display device, the user compares the braille displayed on the display device with the actual braille surface so that the
次に、図13に示すように、文字の上に点字の凸文字が存在するような、文字と点字が重なり合っている点字面460から点字部分を抽出する場合について説明する。
Next, as shown in FIG. 13, a case where a Braille portion is extracted from a
ここでは、図8(a)に示した点字認識装置100を用いて、点字面460に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面460に対して左斜め上方向側から光源2にて緑色の光を照射することで点字面460を照らし、点字面460の真上方向からカメラ104にて点字面460を撮影する。
Here, using the
このとき、ステップS304において、カメラ104で撮影された点字面460の映像信号を図14に示す。図14では、点字の凸文字の右側部、及び背景部のうちで点字の凸文字により光源2から照射された緑色の光が遮られた所は赤色で光っており、また点字の凸文字の左側部、及び背景部のうちで点字の凸文字により光源1から照射された赤色の光が遮られた所は緑色で光っており、それ以外の所は赤色と緑色が混ざった黄色で光っている。ただし、文字が記載された部分は、元の文字の色の影響により、文字がない所よりも暗い色で光っている。
At this time, the video signal of the
ここで、映像信号処理部106は、図14に示す映像信号461に対して画像処理を行う場合、映像信号461の各画素のRGB値を調べ、赤色(R=255、G=0、B=0)と緑色(R=0、G=255、B=0)の画素のみを抽出するような処理を行う。すなわち、画素のRGB値が“R=255、G=0、B=0”である画素は赤色とし、画素のRGB値が“R=0、G=255、B=0”である画素は緑色とし、それ以外のRGB値である画素は白色とするような画像処理を行う。この結果、黄色で光っている部分及び文字の色の影響で黄色より暗い色で光っている部分を除去することができる。
Here, when image processing is performed on the
上記の処理を行った結果を図15に示す。図15に示すように、点字の凸文字の右側部が赤色で、点字の凸文字の左側部が緑色で、それ以外は白色になるように処理される。さらに、図15に示す処理画像462に対して、2値化処理を行った場合の結果を図16に示す。
The result of performing the above processing is shown in FIG. As shown in FIG. 15, processing is performed so that the right side of the Braille convex character is red, the left side of the Braille convex character is green, and the others are white. Further, FIG. 16 shows the result when binarization processing is performed on the processed
点字認識部107は図16に示す処理画像463から点字の部分を抽出し、認識することができる。
The
これにより、文字の上に点字の凸文字が存在するような、文字と点字が重なり合っている場合であっても、点字の部分を抽出し、認識することができる。 As a result, even when the characters and Braille overlap, such as when there are convex Braille characters on the characters, the Braille portions can be extracted and recognized.
図13では、文字の上に点字の凸文字が存在するような場合について説明したが、次に図17に示すように、点字の凸文字の上に文字が存在するような点字面480から点字部分を抽出する場合について説明する。
FIG. 13 illustrates the case where a Braille convex character is present on the character. Next, as illustrated in FIG. 17, the
上述した方法と同様に、点字面480に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面480に対して左斜め上方向から光源2にて緑色の光を照射することで点字面480を照らし、点字面480の真上方向からカメラ104にて点字面480を撮影する。
Similarly to the above-described method, the
映像信号処理部106が、カメラ104で撮影された点字面480の映像信号における各画素のRGB値を調べ、赤色(R=255、G=0、B=0)と緑色(R=0、G=255、B=0)の画素のみを抽出するような処理を行う。そして、映像信号処理部106が2値化処理を行う。2値化処理された処理画像を図18に示す。
The video
図18に示すように、2値化処理された処理画像481において、点字の凸文字の右側部または左側部の一部が白色の画素になっている所がある。これは、点字の凸文字の上に文字が重なり、文字の色の影響で2値化処理されたときに白色に変換されたものである。このとき、映像信号処理部106は、処理画像481に対して黒色画素の膨張処理を行えば、図16に示す処理画像463のように、白色で抜かれた画素を消すことができる。ここで、映像信号処理部106が行う膨張処理とは、例えば注目画素の近傍8画素内に黒色の画素が存在すれば、注目画素を黒色にするものである。
As shown in FIG. 18, in the binarized
これにより、点字の凸文字の上に文字が存在するような、文字と点字が重なり合っている場合であっても、点字の部分を抽出し、認識することができる。 Thereby, even when a character and Braille overlap, such as a character on a Braille convex character, the Braille portion can be extracted and recognized.
次に、図19(a)に示すように、文字の上に点字の凸文字が存在し、かつ点字の直径よりも文字の方が太いために、文字に点字の凸文字が含まれてしまうような点字面500から点字部分を抽出する場合について説明する。
Next, as shown in FIG. 19A, a Braille convex character exists on the character, and the character is thicker than the Braille diameter, so the character includes the Braille convex character. The case where a Braille part is extracted from such a
上述した方法と同様に、点字面500に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面500に対して左斜め上方向から光源2にて緑色の光を照射することで点字面500を照らし、点字面500に真上方向からカメラ104にて点字面500を撮影する。
In the same manner as described above, the
図19(b)に、カメラ104で撮影された点字面500の映像信号の一部を示す。図19(b)に示すように、点字の下にある文字に点字の凸文字が含まれてしまうような場合であっても、当該点字の凸文字の右側部、及び背景部のうちで点字の凸文字により光源2から照射された緑色の光が遮られた所は赤色で光っており、また点字の凸文字の左側部、及び背景部のうちで点字の凸文字により光源1から照射された赤色の光が遮られた所は緑色で光っており、それ以外の所は赤色と緑色が混ざった黄色で光っている。ただし、文字が記載された部分は文字の色の影響により、文字がない所よりも暗い色で光っている。
FIG. 19B shows a part of the video signal of the
そして、上述した方法と同様に、映像信号処理部106が、カメラ104で撮影された点字面501の映像信号の各画素のRGB値を調べ、赤色(R=255、G=0、B=0)と緑色(R=0、G=255、B=0)の画素のみを抽出するような処理を行う。処理された処理画像の様子を図19(c)に示す。そして、図19(c)に示す処理画像502に対して、映像信号処理部106は2値化処理を行うことで、図16に示すような処理画像463を得ることができる。
In the same manner as described above, the video
点字認識部107は、2値化処理された処理画像を使用して、点字の部分を抽出し、認識することができる。
The
これにより、文字の上に点字の凸文字が存在し、かつ点字の直径よりも文字の方が太いために、文字に点字の凸文字が含まれてしまうような場合であっても、点字の部分を抽出し、認識することができる。 As a result, even if there are convex Braille characters on the character and the characters are thicker than the Braille diameter, the Braille convex characters are included in the characters. A part can be extracted and recognized.
次に、図20(a)に示すように、点字の凸文字の上に文字が存在し、かつ点字の直径よりも文字の方が太いために、文字に点字の凸文字が含まれてしまうような点字面520から点字部分を抽出する場合について説明する。
Next, as shown in FIG. 20 (a), a character exists on a Braille convex character, and since the character is thicker than the diameter of the Braille character, the character includes the Braille convex character. The case where a Braille part is extracted from such a
上述した方法と同様に、点字面520に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面520に対して左斜め上方向から光源2にて緑色の光を照射することで点字面520を照らし、点字面520に真上方向からカメラ104にて点字面520を撮影する。
Similarly to the above-described method, the
図20(b)に、カメラで撮影された点字面520の映像信号の一部を示す。図20(b)に示すように、点字の凸文字の右側部、及び背景部のうちで点字の凸文字により光源2から照射された緑色の光が遮られた所は暗い赤色で光っており、また点字の凸文字の左側部、及び背景部のうちで点字の凸文字により光源1から照射された赤色の光が遮られた所は暗い緑色で光っており、それ以外の所は暗い黄色で光っている。これは、点字の上にある文字の色の影響によるためである。
FIG. 20B shows a part of the video signal of the
そして、上述した方法と同様に、映像信号処理部106が、カメラ104で撮影された点字面521の映像信号の各画素のRGB値を調べて処理された処理画像の様子を図20(c)に示す。さらに、図20(c)に示す処理画像522に対して、映像信号処理部106は2値化処理を行うことで、図16に示すような処理画像463を得ることができる。
Similarly to the above-described method, the video
点字認識部107は、2値化処理された処理画像を使用して、点字の部分を抽出し、認識することができる。
The
これにより、文字の上に点字の凸文字が存在し、かつ点字の直径よりも文字の方が太いために、文字に点字の凸文字が含まれてしまうような場合であっても、点字の部分を抽出し、認識することができる。 As a result, even if there are convex Braille characters on the character and the characters are thicker than the Braille diameter, the Braille convex characters are included in the characters. A part can be extracted and recognized.
なお、実施例1では、光源1から赤色の光が照射され、かつ光源2から緑色の光が照射される場合について説明したが、必ずしもこれに限定されるものではない。例えば、光源1からは緑色の光が照射され、かつ光源2から青色の光が照射されるものでも構わない。この場合、光源1からの緑色の光と光源2からの青色の光の両方で照らされる点字面は、シアン色で光っている。すなわち、光源1から照射される光と光源2から照射される光の種類が互いに異なるものであれば構わない。
In the first embodiment, the case where red light is emitted from the
さらに、光源1から照射される光の色と光源2から照射される光の色が互いに補色の関係にあるものであっても構わない。ここで、補色とは色相環で互いに反対の位置にある色のことであり、例えば赤色とシアン色は互いに補色の関係にあり、青色と黄色は互いに補色の関係にある。互いに補色の関係にある2色の光を重ねると、白色の光になる。
Further, the color of light emitted from the
そこで、例えば、光源1から青色の光を照射し、光源2からは青色の補色の関係にある黄色の光を照射した場合、点字の凸文字の光源1側、及び背景部のうちで点字の凸文字により光源2から照射された黄色の光が遮られた所は青色で光っており、また点字の凸文字の光源2側、及び背景部のうちで点字の凸文字により光源1から照射された青色の光が遮られた所は黄色で光っており、それ以外の所は白色で光っている。これにより、この状態を点字面の真上方向に設けられたカメラで撮影した映像信号では、背景部や点字の凸文字の頂点は白色になっているため、例えば図15に示す処理画像462のような映像信号を得ることができる。すなわち、図14に示す映像信号461から図15に示す処理画像462にするために行った画像処理を省くことができる。
Therefore, for example, when the
実施例1では、点字面に対して異なる種類の光を照射して当該点字面の真上方向からカメラにて撮影した映像信号に対して画像処理を加えることで、点字部分を抽出することができる。これは、点字の凸文字のみ存在する点字面だけに限定されず、文字が点字に重なるように記載されたような点字面であっても、点字部分を抽出することができる。また、点字の上に文字が記載されていても、点字の下に文字が記載されていても、点字の直径よりも文字の方が太く、点字の凸文字が文字に含まれるような場合であっても、点字部分を抽出することができる。 In the first embodiment, the Braille portion can be extracted by irradiating different types of light on the Braille surface and applying image processing to the video signal captured by the camera from directly above the Braille surface. it can. This is not limited to a braille surface in which only convex characters in Braille exist, and a Braille portion can be extracted even on a Braille surface in which characters are described so as to overlap with Braille. In addition, even if a character is written above the braille or a character is written below the braille, the character is thicker than the diameter of the braille and the braille convex character is included in the character. Even if it exists, a Braille part can be extracted.
さらに、抽出した点字を翻訳する機能を備えている場合は、当該点字を翻訳し、それを例えば表示装置に表示することで、ユーザは抽出した点字の内容を把握することができる。これを利用すれば、点字面に凸文字で示された点字を読み取って翻訳することで、例えば街中の点字案内板作成業者が街中に存在する点字案内板に示された点字の内容が正しいか否かを容易に検査することができる。 Furthermore, when it has the function to translate the extracted braille, the user can grasp | ascertain the content of the extracted braille by translating the said braille and displaying it on a display apparatus, for example. By using this, by reading and translating Braille indicated by convex characters on the Braille surface, for example, if the Braille guide board manufacturer in the town is correct the contents of the Braille indicated on the Braille guide board existing in the town It is possible to easily check whether or not.
(実施例2)
以下に示す実施例2では、例えば両面に点字が打たれた点字原稿など、凸文字と凹文字がある点字面を撮影して点字部分を読み取る点字認識装置100の動作を例示する。
(Example 2)
In the second embodiment described below, the operation of the
図21(a)に、点字面541を撮影する点字認識装置100の様子を示す。図21(a)に示す点字認識装置100は、点字面541に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面541に対して左斜め上方向から光源2にて緑色の光を照射することで点字面541を照らし、点字面541の真上方向からカメラ104にて点字面541を撮影する。
FIG. 21A shows a state of the
図21(b)は点字面541の平面図である。図21(b)では、点字の凸文字である点を黒丸で、点字の凹文字である点を2重丸で表しており、飛び出していない点を白丸で表している。なお、点字の凹文字とは、点字原稿の表面と裏面の両方に点字が打たれているような場合に存在し得るものである。 FIG. 21B is a plan view of the Braille surface 541. In FIG. 21B, points that are Braille convex characters are represented by black circles, points that are Braille concave characters are represented by double circles, and points that do not protrude are represented by white circles. Note that the Braille indented characters can exist when Braille characters are struck on both the front and back surfaces of the Braille document.
ここでは、図21(a)に示した点字認識装置100を用いて、点字面541に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面541に対して左斜め上方向から光源2にて緑色の光を照射することで点字面541を照らし、点字面541の真上方向からカメラ104にて点字面541を撮影する。
Here, using the
図22に、カメラで撮影された点字面541の映像信号542を示す。実施例1で説明したように、図22に示す映像信号542は、光源1から照射された光のみで照らされている部分は赤色で光っており、光源2から照射された光のみで照らされている部分は緑色で光っており、光源1から照射された光と光源2から照射された光の両方で照らされた部分は黄色で光っている。
FIG. 22 shows a
次に、映像信号処理部106は、図22に示す映像信号542の各画素のRGB値を調べ、赤色(R=255、G=0、B=0)と緑色(R=0、G=255、B=0)の画素のみを抽出するような処理を行う。処理の詳細は実施例1で説明したとおりである。この処理の結果を図23に示す。
Next, the video
点字認識部107は、図23の処理画像543を用いて、点字が凸文字であるか、または凹文字であるかを認識する。点字認識部107は、点字部分の右側部と左側部の色によって、それが点字の凸文字であるか、または凹文字であるかを認識する。すなわち、図23に示すように、処理画像543の上側の4つの点字では、点字の右側部は右側に位置する光源1から照射された光により照らされており、点字の左側部は左側に位置する光源2から照射された光により照らされているため、当該点字は凸文字であると認識する。一方、処理画像543の下側の4つの点字では、点字の右側部は左側に位置する光源2から照射された光により照らされており、点字の左側部は右側に位置する光源1から照射された光により照らされているため、当該点字は凹文字であると認識する。
The
このように、点字の右側部及び左側部の色と、2つの光源の位置との関係から、当該文字が凸文字であるか、または凹文字であるかを認識することができる。 In this way, it is possible to recognize whether the character is a convex character or a concave character from the relationship between the colors of the right and left portions of Braille and the positions of the two light sources.
また、図23に示すように、処理画像543の上側の4つの点字では、処理画像543の下側の4つの点字と比較して、赤色の部分、または緑色の部分の面積が大きい。すなわち、赤色の部分、または緑色の部分の面積が大きい方の点字は凸文字であると認識し、逆に赤色の部分、または緑色の部分の面積が小さい方の点字は凹文字であると認識するものであっても構わない。これは、点字の凸文字により一方からの光を遮られるために、結果として、もう一方からの光により照らされる部分の面積が大きくなるためである。
Further, as shown in FIG. 23, the upper four brailles of the processed
このような方法により、点字認識部107は、点字が凸文字であるか、または凹文字であるかを認識することができる。ただし、点字認識部107が点字の凸文字であるか、または凹文字であるかを認識する方法は必ずしもこれらに限定されない。
By such a method, the
なお、凸文字からなる点字を墨字に翻訳する場合は、左から右方向に読んでいくが、凹文字からなる点字を墨字に翻訳する場合は、右から左方向に読んでいけばよい。この場合、凹文字からなる点字を左右反転すれば、凸文字からなる点字と同じものが得られるため、左右反転させた点字を左から右に読んでいけば、墨字に翻訳することができる。 In addition, when translating Braille characters consisting of convex characters into ink characters, read from left to right, but when translating Braille characters consisting of concave characters into ink characters, it is only necessary to read from right to left. . In this case, if the Braille made of concave characters is reversed left and right, the same thing as the Braille made of convex characters can be obtained, so if the Braille that has been reversed horizontally is read from left to right, it can be translated into ink characters. .
実施例2では、点字の凸文字と凹文字が混同した点字面であっても、当該点字面に対して異なる種類の光を照射して当該点字面の真上方向からカメラにて撮影した映像信号に対して、点字部分の右側部と左側部で光っている色によって、当該点字が凸文字であるか、または凹文字であるかを認識することができる。 In the second embodiment, even when the Braille surface is confused with Braille convex characters and concave characters, images of the Braille surface irradiated with different types of light and captured by the camera from directly above the Braille surface With respect to the signal, it is possible to recognize whether the Braille is a convex character or a concave character by the colors shining on the right side and the left side of the Braille part.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.
本発明は、点字面から点字部分を抽出して点字を認識する点字認識装置、認識した点字を翻訳する点字翻訳装置、または点字の検査を行う点字検査装置などの用途にも適用することができる。 The present invention can also be applied to uses such as a Braille recognition device that extracts a Braille portion from a Braille surface and recognizes Braille, a Braille translation device that translates the recognized Braille, or a Braille inspection device that inspects Braille. .
10 点字面
11 映像信号
13 外部機器
100 点字認識装置
102 第1照射部(第1照射手段)
103 第2照射部(第2照射手段)
104 撮像部(撮像手段)
107 点字認識部(点字認識手段)
109 点字翻訳部(点字翻訳手段)
DESCRIPTION OF
103 2nd irradiation part (2nd irradiation means)
104 Imaging unit (imaging means)
107 Braille recognition unit (braille recognition means)
109 Braille translator (Braille translator)
Claims (14)
前記点字面に対して第1照射手段とは異なる波長の光を照射する第2照射手段と、
第1照射手段及び第2照射手段により照射された前記点字面を撮像し、点字面の映像信号を出力する撮像手段と、
前記映像信号から、少なくとも前記点字面における第1照射手段のみによる照射領域および第2照射手段のみによる照射領域を認識することにより点字を認識する点字認識手段とを備えていることを特徴とする点字認識装置。 First irradiation means for irradiating light to a Braille surface on which Braille is formed;
Second irradiation means for irradiating the Braille surface with light having a wavelength different from that of the first irradiation means;
Imaging means for imaging the Braille surface irradiated by the first irradiation means and the second irradiation means and outputting a video signal of the Braille surface;
Braille recognizing means for recognizing Braille by recognizing at least an irradiation area only by the first irradiation means and an irradiation area only by the second irradiation means on the Braille surface from the video signal. Recognition device.
前記点字認識手段は、前記点字面における第1照射手段および第2照射手段による前記の各照射領域をそれら照射領域の色の違いにより認識することを特徴とする請求項1または2に記載の点字認識装置。 The first irradiation means and the second irradiation means irradiate light of different colors with respect to the Braille surface,
The Braille recognition unit according to claim 1 or 2, wherein the Braille recognition unit recognizes each irradiation region by the first irradiation unit and the second irradiation unit on the Braille surface based on a difference in color of the irradiation regions. Recognition device.
前記点字認識手段により当該点字が凹部であると判別された場合に、前記点字翻訳手段は、前記点字認識手段にて認識された点字を左右反転させて翻訳することを特徴とする請求項10に記載の点字認識装置。 Braille translation means for translating Braille recognized by the Braille recognition means,
11. The Braille translating means translates the Braille recognized by the Braille recognizing means by reversing left and right when the Braille recognizing means determines that the Braille is a recess. The braille recognition device described.
前記点字面に対して第1照射ステップとは異なる波長の光を照射する第2照射ステップと、
第1照射ステップ及び第2照射ステップにより照射された前記点字面を撮像し、点字面の映像信号を出力する撮像ステップと、
前記映像信号から、少なくとも前記点字面における第1照射ステップのみによる照射領域および第2照射ステップのみによる照射領域を認識することにより点字を認識する点字認識ステップとを備えていることを特徴とする点字認識方法。 A first irradiation step of irradiating light on a Braille surface on which Braille is formed;
A second irradiation step of irradiating the Braille surface with light having a wavelength different from that of the first irradiation step;
An imaging step of imaging the Braille surface irradiated by the first irradiation step and the second irradiation step and outputting a video signal of the Braille surface;
A Braille recognition step for recognizing Braille from the video signal by recognizing at least an irradiation region only by the first irradiation step and an irradiation region only by the second irradiation step on the Braille surface. Recognition method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005253998A JP4727352B2 (en) | 2005-09-01 | 2005-09-01 | Braille recognition device, braille recognition method, braille recognition program, and computer-readable recording medium recording the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005253998A JP4727352B2 (en) | 2005-09-01 | 2005-09-01 | Braille recognition device, braille recognition method, braille recognition program, and computer-readable recording medium recording the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007066198A true JP2007066198A (en) | 2007-03-15 |
JP4727352B2 JP4727352B2 (en) | 2011-07-20 |
Family
ID=37928273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005253998A Expired - Fee Related JP4727352B2 (en) | 2005-09-01 | 2005-09-01 | Braille recognition device, braille recognition method, braille recognition program, and computer-readable recording medium recording the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4727352B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017090194A (en) * | 2015-11-09 | 2017-05-25 | 大日本印刷株式会社 | Inspection system and inspection method |
CN114593849A (en) * | 2022-01-17 | 2022-06-07 | 之江实验室 | Multifunctional identification input device |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10024679B2 (en) | 2014-01-14 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US9915545B2 (en) | 2014-01-14 | 2018-03-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US10360907B2 (en) | 2014-01-14 | 2019-07-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US10248856B2 (en) | 2014-01-14 | 2019-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US10024667B2 (en) | 2014-08-01 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable earpiece for providing social and environmental awareness |
US10024678B2 (en) | 2014-09-17 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable clip for providing social and environmental awareness |
US9922236B2 (en) | 2014-09-17 | 2018-03-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable eyeglasses for providing social and environmental awareness |
US10490102B2 (en) * | 2015-02-10 | 2019-11-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for braille assistance |
US9586318B2 (en) | 2015-02-27 | 2017-03-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Modular robot with smart device |
US9972216B2 (en) | 2015-03-20 | 2018-05-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for storing and playback of information for blind users |
US10395555B2 (en) | 2015-03-30 | 2019-08-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing optimal braille output based on spoken and sign language |
US9898039B2 (en) | 2015-08-03 | 2018-02-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Modular smart necklace |
US10024680B2 (en) | 2016-03-11 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Step based guidance system |
US9958275B2 (en) | 2016-05-31 | 2018-05-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for wearable smart device communications |
US10561519B2 (en) | 2016-07-20 | 2020-02-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable computing device having a curved back to reduce pressure on vertebrae |
US10432851B2 (en) | 2016-10-28 | 2019-10-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable computing device for detecting photography |
USD827143S1 (en) | 2016-11-07 | 2018-08-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Blind aid device |
US10012505B2 (en) | 2016-11-11 | 2018-07-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable system for providing walking directions |
US10521669B2 (en) | 2016-11-14 | 2019-12-31 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing guidance or feedback to a user |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0262161A (en) * | 1988-08-29 | 1990-03-02 | Matsushita Electric Ind Co Ltd | Picture reader |
JPH03209587A (en) * | 1990-01-11 | 1991-09-12 | Fujitsu Ltd | Method and device for reading uneven pattern |
JPH08122033A (en) * | 1994-09-02 | 1996-05-17 | Sanyo Electric Co Ltd | Image recognition apparatus |
JPH08227455A (en) * | 1995-02-21 | 1996-09-03 | Ricoh Co Ltd | Braille reader |
JPH09185317A (en) * | 1995-10-30 | 1997-07-15 | Sanyo Electric Co Ltd | Braille recognition system |
JPH11179288A (en) * | 1997-09-16 | 1999-07-06 | Toshiba Corp | Level detector and treating device using the same |
JP2002074260A (en) * | 2000-08-28 | 2002-03-15 | Tamura Electric Works Ltd | Emboss reader |
-
2005
- 2005-09-01 JP JP2005253998A patent/JP4727352B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0262161A (en) * | 1988-08-29 | 1990-03-02 | Matsushita Electric Ind Co Ltd | Picture reader |
JPH03209587A (en) * | 1990-01-11 | 1991-09-12 | Fujitsu Ltd | Method and device for reading uneven pattern |
JPH08122033A (en) * | 1994-09-02 | 1996-05-17 | Sanyo Electric Co Ltd | Image recognition apparatus |
JPH08227455A (en) * | 1995-02-21 | 1996-09-03 | Ricoh Co Ltd | Braille reader |
JPH09185317A (en) * | 1995-10-30 | 1997-07-15 | Sanyo Electric Co Ltd | Braille recognition system |
JPH11179288A (en) * | 1997-09-16 | 1999-07-06 | Toshiba Corp | Level detector and treating device using the same |
JP2002074260A (en) * | 2000-08-28 | 2002-03-15 | Tamura Electric Works Ltd | Emboss reader |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017090194A (en) * | 2015-11-09 | 2017-05-25 | 大日本印刷株式会社 | Inspection system and inspection method |
CN114593849A (en) * | 2022-01-17 | 2022-06-07 | 之江实验室 | Multifunctional identification input device |
Also Published As
Publication number | Publication date |
---|---|
JP4727352B2 (en) | 2011-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4727352B2 (en) | Braille recognition device, braille recognition method, braille recognition program, and computer-readable recording medium recording the same | |
US7490779B2 (en) | Reading apparatus, information processing system and antiforgery method | |
KR20080022228A (en) | Information output device, medium, and information input/output device | |
JP2009042089A (en) | Visual examination device of board | |
CN103491274B (en) | Top loaded type image read-out | |
JP6682809B2 (en) | Inspection system and inspection method | |
JP6627057B1 (en) | Copy detection device, copy detection method, and program | |
JP4956957B2 (en) | Projector device and projection method | |
JP6881884B2 (en) | Photography game device, image generation method, and image generation program | |
TWI527427B (en) | Peripheral with image processing function | |
JP2009042093A (en) | Electronic component inspection device and electronic component inspection method | |
JP4300083B2 (en) | Form reader | |
JP2006295307A (en) | Image reading apparatus | |
US11763445B2 (en) | Inspection of a target object using a comparison with a master image and a strictness of a quality evaluation threshold value | |
JP2007052124A (en) | Projection device and projection method | |
JP4241803B2 (en) | Two-dimensional information code reading method and reading apparatus | |
US20240080403A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
US11055552B2 (en) | Systems and methods for detecting light signatures and performing actions in response thereto | |
RU2752791C1 (en) | Method for determining presence of interventions and modifications in image of text electronic document | |
RU2752751C1 (en) | Method for obtaining digital duplicates of document in form of paper information medium or image of text document | |
JP2007011653A (en) | Method and device for reading embossed character string | |
JP3369880B2 (en) | Mirror surface recognition method for mirror-like inspected object | |
JP2007316836A (en) | Written data processing device and program | |
JP6772598B2 (en) | Image reader, image forming device and program | |
JP2014120929A (en) | Method of inspecting forgery preventing medium and forgery preventing medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070803 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110412 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110413 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |