JP2007066198A - Device, method, program for recognizing braille point and computer readable recording medium which records them - Google Patents

Device, method, program for recognizing braille point and computer readable recording medium which records them Download PDF

Info

Publication number
JP2007066198A
JP2007066198A JP2005253998A JP2005253998A JP2007066198A JP 2007066198 A JP2007066198 A JP 2007066198A JP 2005253998 A JP2005253998 A JP 2005253998A JP 2005253998 A JP2005253998 A JP 2005253998A JP 2007066198 A JP2007066198 A JP 2007066198A
Authority
JP
Japan
Prior art keywords
braille
irradiation
light
unit
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005253998A
Other languages
Japanese (ja)
Other versions
JP4727352B2 (en
Inventor
Takayuki Nagamatsu
孝之 永松
Masahiro Ueda
真裕 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2005253998A priority Critical patent/JP4727352B2/en
Publication of JP2007066198A publication Critical patent/JP2007066198A/en
Application granted granted Critical
Publication of JP4727352B2 publication Critical patent/JP4727352B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Character Input (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily recognize a Braille part while suppressing a load of a processor even from such a Braille point plane in which Braille points and characters are overlapped. <P>SOLUTION: This device for recognizing Braille points has a first irradiation part 102 which irradiates the Braille plane 10 on which the Braille points are formed with light, a second irradiation part 103 which irradiates the Braille plane 10 with light with wavelength different from that of the first irradiation part 102, an imaging part 104 which images the Braille point plane 10 irradiated with light by the first irradiation part 102 and the second irradiation part 103 and outputs a video signal of the Braille point plane 10 and a Braille recognition part 107 which recognizes the Braille points by recognizing irradiated areas only of the first irradiation part 102 and irradiation areas only by the second irradiation part 103 at least on the Braille point plane 10 from the video signal. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、点字文字が含まれる点字面から点字を認識する点字認識装置、点字認識方法、点字認識プログラム及びこれを記録したコンピュータ読み取り可能な記録媒体に関する。   The present invention relates to a Braille recognition device, a Braille recognition method, a Braille recognition program, and a computer-readable recording medium on which the Braille recognition program is recorded, which recognizes Braille from a Braille surface including Braille characters.

点字は、健常者と視覚障害者をつなぐ上で、非常に重要な文字である。ここで、現在一般的に使用されている点字は、図24に示すように、縦3点、横2点の6つの凸点の組み合わせで構成されている。この単位は「マス」と呼ばれている。各マス内の左列の最上段の凸点は1の点、左列の中段の凸点は2の点、左列の最下段の凸点は3の点、右列の最上段は4の点、右列の中段の凸点は5の点、そして右列の最下段の凸点は6の点とそれぞれ呼ばれている。   Braille is a very important character in connecting a healthy person and a visually impaired person. Here, as shown in FIG. 24, the Braille currently generally used is composed of a combination of six convex points of three vertical points and two horizontal points. This unit is called “mass”. The uppermost convex point in the left column in each square is 1 point, the middle convex point in the left column is 2, the lowermost convex point in the left column is 3, and the uppermost point in the right column is 4. The middle convex point of the right column is called the point 5, and the lowest convex point of the right column is called the point 6.

点字は、横書きで、左から右方向へ凸面を読んでいく。点字は、6つの点の組み合わせで表現されるため、63通り表現することができる。しかし、63通りの表現では、かな文字、アルファベット、及び数字の全てを表現することができない。そこで、アルファベットや数字を表現するときは、前置点を付けることで、アルファベット体系や数字体系を区別する。   Braille is written horizontally and the convex surface is read from left to right. Since Braille is expressed by a combination of six points, it can be expressed in 63 ways. However, the kana characters, alphabets, and numbers cannot be expressed with 63 different expressions. Therefore, when expressing alphabets and numbers, the alphabet and number systems are distinguished by adding a prefix.

このような点字は、エレベータでの階ボタン、レストランでのメニュー表示、または案内板など、街中のあらゆる所で使用されている。   Such Braille is used everywhere in the city, such as a floor button in an elevator, a menu display in a restaurant, or a signboard.

しかし、点字で表記するための文法は難しく、健常者にとっては理解しがたいものである。そこで、点字で記されたものが正しく表されているのかを検査することができる装置が開発されている。   However, the grammar for writing in braille is difficult and difficult for a healthy person to understand. In view of this, an apparatus has been developed that can inspect whether or not what is written in braille is correctly represented.

例えば、特許文献1には、点字の突起物を照明ランプで照らしてできる影により突起物の有無を検出する画像認識装置が開示されている(以降、従来技術1と称する)。この装置では、点字に対して斜め方向から光を照射して、上方に設置したカメラにより点字の陰影を取り込んだ後、画像処理して点字部分を検出する。   For example, Patent Document 1 discloses an image recognition device that detects the presence or absence of a protrusion using a shadow formed by illuminating a Braille protrusion with an illumination lamp (hereinafter referred to as Prior Art 1). In this apparatus, light is applied to the Braille from an oblique direction, and after the shade of the Braille is captured by a camera installed above, the Braille portion is detected by image processing.

一方、特許文献2には、エンボスカードのエンボス文字の読取方法が開示されている(以降、従来技術2と称する)。従来技術2では、エンボスカードに対し2方向から光を照射して、2つのイメージをとり、その2つのイメージを差分することで、エンボス文字の陰影だけをとらえるものである。この方法を点字に応用すると、点字の突起物による陰影だけをとらえて、点字を抽出することができる。
特開平8−122033号公報(平成8年5月17日公開) 特開昭63−129486号公報(昭和63年6月1日公開)
On the other hand, Patent Document 2 discloses a method for reading an embossed character of an embossed card (hereinafter referred to as Prior Art 2). In the prior art 2, the embossed card is irradiated with light from two directions, two images are taken, and the two images are differentiated to capture only the shadow of the embossed character. When this method is applied to Braille, it is possible to extract Braille by capturing only the shadow caused by the Braille protrusions.
Japanese Patent Laid-Open No. 8-122033 (published on May 17, 1996) JP 63-129486 A (published June 1, 1988)

しかしながら、従来技術1では、一方向から光を照射し、その反射光を受光して撮影した画像に対して画像処理を行って点字部分を検出しているため、点字と共に黒色で文字が併記されていると、当該文字と点字の凸文字により生じた陰影とを区別することができない。これにより、黒色で記載された文字の部分を点字の凸文字により生じた陰影と判断してしまい、正しく点字を検出することができない。   However, in the prior art 1, since the braille portion is detected by irradiating light from one direction and receiving the reflected light and performing image processing to detect the braille portion, the characters are written in black together with the braille. If this is the case, it is not possible to distinguish the character from the shading caused by Braille convex characters. As a result, the portion of the character written in black is determined to be a shadow generated by the convex character of Braille, and the Braille cannot be detected correctly.

一方、従来技術2を点字に応用したものでは、点字の凹凸がない部分に記載された文字は2つのイメージを差分することで、除去することができる点で、従来技術1と比べて好ましい。   On the other hand, the application of the prior art 2 to Braille is preferable to the prior art 1 in that the characters described in the portion without the unevenness of the Braille can be removed by subtracting the two images.

しかしながら、従来技術2では、点字の凹凸の部分に重なるように黒色で文字が記載されている場合は、当該点字と点字の陰影とが重なってしまうために、当該文字なのか、または点字の陰影なのかを区別し難い。特に、黒色で記載された文字の太さが点字の直径よりも大きい場合、照射された光で生じる点字の陰影が黒色で記載された文字で完全に隠れてしまい、当該文字と点字の陰影を区別することができない。   However, in the prior art 2, when a black character is written so as to overlap the uneven portion of the Braille, the Braille and the Braille shadow overlap, so that the character or the Braille shadow It is difficult to distinguish. In particular, if the thickness of the character written in black is larger than the diameter of Braille, the shadow of Braille generated by the irradiated light will be completely hidden by the character written in black, and the shadow of the character and Braille will be hidden. Cannot be distinguished.

さらに、従来技術2では、異なる方向から光を照射して撮影したイメージが2つ必要であるため、処理装置の負荷が大きくなる。   Furthermore, in the prior art 2, since two images taken by irradiating light from different directions are required, the load on the processing apparatus increases.

したがって、本発明の目的は、点字と文字が重なり合っている場合であっても、処理装置の負荷を抑制しながら点字を容易に認識することができる点字認識装置、点字認識方法、点字認識プログラム及びこれを記録したコンピュータ読み取り可能な記録媒体を提供することにある。   Accordingly, an object of the present invention is to provide a Braille recognition device, a Braille recognition method, a Braille recognition program, and a Braille recognition program capable of easily recognizing Braille while suppressing the load on the processing device even when the Braille and characters overlap. An object of the present invention is to provide a computer-readable recording medium on which this is recorded.

本発明の点字認識装置は、点字が形成されている点字面に対して光を照射する第1照射手段と、点字面に対して第1照射手段とは異なる波長の光を照射する第2照射手段と、第1照射手段及び第2照射手段により照射された点字面を撮像し、点字面の映像信号を出力する撮像手段と、映像信号から、少なくとも点字面における第1照射手段のみによる照射領域および第2照射手段のみによる照射領域を認識することにより点字を認識する点字認識手段とを備えている。   The braille recognition device of the present invention includes a first irradiation unit that irradiates light on a braille surface on which braille is formed, and a second irradiation that irradiates light on the braille surface with light having a wavelength different from that of the first irradiation unit. Means, imaging means for imaging the Braille surface irradiated by the first irradiation means and the second irradiation means, and outputting a video signal of the Braille surface, and an irradiation region by at least the first irradiation means on the Braille surface from the video signal And Braille recognition means for recognizing Braille by recognizing an irradiation area only by the second irradiation means.

本発明の点字認識方法は、点字が形成されている点字面に対して光を照射する第1照射ステップと、点字面に対して第1照射ステップとは異なる波長の光を照射する第2照射ステップと、第1照射ステップ及び第2照射ステップにより照射された点字面を撮像し、点字面の映像信号を出力する撮像ステップと、映像信号から、少なくとも点字面における第1照射ステップのみによる照射領域および第2照射ステップのみによる照射領域を認識することにより点字を認識する点字認識ステップとを備えている。   In the Braille recognition method of the present invention, the first irradiation step of irradiating light on the Braille surface on which the Braille is formed, and the second irradiation of irradiating the Braille surface with light having a wavelength different from that of the first irradiation step. An imaging step of imaging a Braille surface irradiated by the first irradiation step and the second irradiation step and outputting a video signal of the Braille surface; and an irradiation region by only the first irradiation step on the Braille surface from the video signal And a Braille recognition step for recognizing Braille by recognizing an irradiation region only by the second irradiation step.

上記の構成によれば、第1照射手段(第1照射ステップ)及び第2照射手段(第2照射ステップ)は点字面に対して異なる波長の光を照射し、撮像手段(撮像ステップ)は2つの光で照らされた点字面を撮影し、点字認識手段(点字認識ステップ)は撮像手段(撮像ステップ)により撮影された映像信号から点字部分を認識する。   According to said structure, a 1st irradiation means (1st irradiation step) and a 2nd irradiation means (2nd irradiation step) irradiate the light of a different wavelength with respect to a braille surface, and an imaging means (imaging step) is 2 The braille surface illuminated with two lights is photographed, and the braille recognition means (braille recognition step) recognizes the braille portion from the video signal photographed by the imaging means (imaging step).

これにより、点字認識手段は、撮像手段から得られた映像信号に対して例えば画像処理を行うことで、処理装置の負荷を抑制しながら点字部分を容易に認識することができる。例えば、点字面に対して2方向から異なる種類の光を照射した場合、点字面の凹凸の影響で、一方向からの光が遮断されて、もう一方からの光のみで照らされている部分が存在する。そこで、撮像手段(カメラ)から得られた映像信号に対して例えば周知の画像処理を行い、一方の光のみで照らされている部分を抽出することで、その部分が点字文字であると認識することができる。   As a result, the Braille recognition unit can easily recognize the Braille part while suppressing the load on the processing device, for example, by performing image processing on the video signal obtained from the imaging unit. For example, when different types of light are irradiated on the braille surface from two directions, the light from one direction is blocked by the unevenness of the braille surface, and the part illuminated only by the light from the other side Exists. Therefore, for example, a well-known image processing is performed on the video signal obtained from the imaging means (camera), and a portion illuminated only with one light is extracted, so that the portion is recognized as a braille character. be able to.

上記の点字認識装置において、好ましくは、点字認識手段は、映像信号から、点字面における第1照射手段のみによる照射領域および第2照射手段のみによる照射領域を認識することに加えて、第1および第2照射手段の両者による重複した照射領域を認識することにより、点字を認識する。   In the above braille recognition device, preferably, the braille recognition means recognizes the irradiation area only by the first irradiation means and the irradiation area only by the second irradiation means on the braille surface from the video signal. Braille is recognized by recognizing the overlapped irradiation region by both of the second irradiation means.

これにより、点字認識手段は、第1照射手段のみによる照射領域、または第2照射手段のみによる照射領域だけから点字を認識するよりも、第1照射手段及び第2照射手段両者による重複した照射領域も併せて認識することで、点字を認識する精度を高めることができる。   Thus, the Braille recognition means recognizes Braille from only the irradiation area only by the first irradiation means or the irradiation area only by the second irradiation means, and the overlapping irradiation areas by both the first irradiation means and the second irradiation means. In addition, the accuracy of recognizing braille can be improved.

上記の点字認識装置において、好ましくは、第1照射手段と第2照射手段とは点字面に対して互いに異なる色の光を照射するものであり、点字認識手段は、点字面における第1照射手段および第2照射手段による各照射領域をそれら照射領域の色の違いにより認識する。   In the above Braille recognition device, preferably, the first irradiating means and the second irradiating means irradiate light of different colors with respect to the Braille surface, and the Braille recognition means is the first irradiating means on the Braille surface. And each irradiation area by a 2nd irradiation means is recognized by the difference in the color of these irradiation areas.

これにより、第1照射手段と第2照射手段とは互いに異なる色の光を点字面に対して照射するため、点字認識手段は色の違いから点字を認識することができる。なお、点字認識手段としては、例えば、色の違いを検出することができるカラーCCDセンサを備えている。   Thereby, since the 1st irradiation means and the 2nd irradiation means irradiate the light of a mutually different color with respect to a Braille surface, the Braille recognition means can recognize Braille from the difference in a color. Note that the Braille recognition means includes, for example, a color CCD sensor that can detect a color difference.

上記の点字認識装置において、好ましくは、点字認識手段は、点字面における第1照射手段からの照射光の色を有する第1照射手段側の領域と第2照射手段からの照射光の色を有する第2照射手段側の領域とに囲まれる領域を点字の存在位置として認識する。   In the above Braille recognition device, preferably, the Braille recognition means has a region on the first irradiation means side having the color of the irradiation light from the first irradiation means on the Braille surface and a color of the irradiation light from the second irradiation means. A region surrounded by the region on the second irradiation means side is recognized as a Braille presence position.

これにより、点字認識手段は、第1照射手段と第2照射手段とは互いに異なる色の光を点字面に対して照射するため、第1照射手段からの照射光の色と第2照射手段からの照射光の色とで囲まれた領域を点字と認識することができる。   Thereby, since the Braille recognition means irradiates the Braille surface with light of different colors from the first irradiation means and the second irradiation means, the color of the irradiation light from the first irradiation means and the second irradiation means A region surrounded by the color of the irradiated light can be recognized as Braille.

上記の点字認識装置において、好ましくは、点字認識手段は、点字面における第1照射手段および第2照射手段による各照射領域の濃度の違いにより点字を認識する。   In the above Braille recognition device, preferably, the Braille recognition means recognizes Braille based on a difference in density of each irradiation area between the first irradiation means and the second irradiation means on the Braille surface.

これにより、点字認識手段として、カラーCCDセンサのように色を認識することができない、例えば白黒センサであっても、第1照射手段及び第2照射手段による各照射領域の濃度の違いにより点字を認識できる。   As a result, even for a black and white sensor, for example, a black and white sensor that cannot recognize a color as a Braille recognition unit, Braille is recognized due to a difference in density of each irradiation region between the first irradiation unit and the second irradiation unit. Can be recognized.

上記の点字認識装置において、好ましくは、点字認識手段にて認識された点字を翻訳する点字翻訳手段を備えている。   The above Braille recognition device preferably includes Braille translation means for translating Braille recognized by the Braille recognition means.

上記の構成によれば、点字翻訳手段は点字認識手段にて認識された点字を翻訳する。   According to said structure, a Braille translation means translates the Braille recognized by the Braille recognition means.

これにより、点字翻訳手段は点字を翻訳することができるので、点字の文法を知らない人であっても当該点字の内容を把握することができる。この結果、本点字認識装置を使用すると、例えば街中の点字案内板作成業者が街中に存在する点字案内板に示された点字の内容が正しいか否かを容易に検査することができる。   Thereby, since the Braille translation means can translate Braille, even the person who does not know the grammar of Braille can grasp the content of the Braille. As a result, when this braille recognition device is used, for example, a braille guide board manufacturer in the city can easily check whether the content of the braille shown on the braille guide board existing in the city is correct.

上記の点字認識装置において、好ましくは、第1照射手段及び第2照射手段は、平行光を点字面に対して照射する。   In the above braille recognition device, preferably, the first irradiation unit and the second irradiation unit irradiate the braille surface with parallel light.

点字面に照射する光が平行光でない場合には、光を点字面に照らしても光が拡散してしまうため、カメラで撮影した映像信号に対しての画像処理が困難になり、点字を抽出しづらくなる。そこで、第1照射手段及び第2照射手段から照射される光を平行光にすることで、点字面に対して方向性のある光を照射することができ、カメラで撮影した映像信号からの点字の抽出が容易になる。なお、第1照射手段及び第2照射手段から照射する光を平行光にする方法として、例えば、コリメートレンズを用いる。ただし、必ずしもこれに限定されるものではなく、平行光を照射することができる仕組みであれば構わない。   If the light illuminating the braille surface is not parallel light, the light will diffuse even if it illuminates the braille surface, making it difficult to process the video signal captured by the camera and extracting the braille. It becomes difficult. Therefore, by making the light irradiated from the first irradiation means and the second irradiation means parallel light, it is possible to irradiate light having direction to the Braille surface, and Braille from the video signal photographed by the camera. Extraction becomes easier. For example, a collimating lens is used as a method for making the light irradiated from the first irradiation unit and the second irradiation unit into parallel light. However, it is not necessarily limited to this, and any mechanism that can irradiate parallel light may be used.

上記の点字認識装置において、好ましくは、第1照射手段及び第2照射手段における光源から照射される光は互いに補色の関係にある。   In the above Braille recognition device, preferably, the light emitted from the light source in the first irradiation means and the second irradiation means is in a complementary color relationship.

これは、補色の関係にある2つの光を混合すると、混合した光は白色になることを利用している。これにより、カメラで撮影した映像信号から白色で光っている部分を除くと、点字の部分が抽出されるため、撮影信号に対して行う画像処理を容易に行うことができる。   This utilizes the fact that when two lights having a complementary color relationship are mixed, the mixed light becomes white. As a result, the braille portion is extracted from the video signal captured by the camera except for the portion that shines in white, so that image processing performed on the captured signal can be easily performed.

上記の点字認識装置において、好ましくは、点字認識手段は、第1照射手段と同じ方向側の点字部分が第1照射手段により照射された光のみで照らされた領域と、第2照射手段と同じ方向側の点字部分が第2照射手段により照射された光のみで照らされた領域とに囲まれる領域を凸部の点字の存在位置として認識する。   In the above braille recognition device, preferably, the braille recognition means is the same as the second irradiation means, and the area where the braille portion on the same direction side as the first irradiation means is illuminated only by the light emitted by the first irradiation means. A region surrounded by a region where the braille portion on the direction side is illuminated only by the light irradiated by the second irradiating means is recognized as the location where the Braille exists on the convex portion.

上記の点字認識装置において、さらに好ましくは、点字認識手段は、第1照射手段と同じ方向側の点字部分が第2照射手段により照射された光のみで照らされた領域と、第2照射手段と同じ方向側の点字部分が第1照射手段により照射された光のみで照らされた領域とに囲まれる領域を凹部の点字の存在位置として認識する。   In the above braille recognition device, more preferably, the braille recognition means includes a region in which the braille portion on the same direction side as the first irradiation means is illuminated only by the light irradiated by the second irradiation means, and the second irradiation means. A region surrounded by a braille portion on the same direction side and a region illuminated only by the light emitted by the first irradiating means is recognized as the presence position of the braille in the recess.

上記の構成によれば、点字認識手段は、点字部分の光の照らされ方と第1照射手段及び第2照射手段の位置との関係から、凸部による点字(以降、凸文字と称する)なのか、または凹部による点字(以降、凹文字と称する)なのかを認識することができる。   According to the above configuration, the Braille recognizing means is a Braille formed by a convex portion (hereinafter referred to as a convex character) based on the relationship between how the light of the Braille portion is illuminated and the positions of the first irradiation means and the second irradiation means. Or a Braille character (hereinafter referred to as a concave character) due to a concave portion.

上記の点字認識装置において、好ましくは、点字認識手段にて認識された点字を翻訳する点字翻訳手段を備え、点字認識手段により当該点字が凹部であると判別された場合に、点字翻訳手段は、点字認識手段にて認識された点字を左右反転させて翻訳する。   In the above braille recognition device, preferably, braille translation means for translating braille recognized by the braille recognition means, and when the braille recognition means determines that the braille is a recess, the braille translation means The Braille recognized by the Braille recognition means is translated horizontally.

通常、点字は凸部で構成され、左から右の方向に読むことが普通である。しかし、両面点字のように、凹部で構成された点字は、逆面から見ると通常の凸部で構成される点字であるため、凹部で構成された点字を翻訳するためには、左右反転させる必要がある。   Usually, braille is composed of convex parts and is usually read from left to right. However, like double-sided Braille, brailles composed of concave parts are brailles composed of ordinary convex parts when viewed from the opposite side, so in order to translate brailles composed of concave parts, they are reversed left and right. There is a need.

これにより、点字認識手段により凹部で構成された点字であると判別された場合は、当該点字を左右反転させることで、通常の凸部で構成された点字データに変換することができ、点字翻訳手段は点字を正確に翻訳することができる。   As a result, when it is determined by the braille recognition means that the braille is constituted by a concave portion, the braille data can be converted into braille data constituted by a normal convex portion by inverting the left and right of the braille. The means can accurately translate Braille.

本発明の点字認識装置は、点字が形成されている点字面に対して光を照射する第1照射手段と、点字面に対して第1照射手段とは異なる波長の光を照射する第2照射手段と、第1照射手段及び第2照射手段により照射された点字面を撮像し、点字面の映像信号を出力する撮像手段と、映像信号から、少なくとも点字面における第1照射手段のみによる照射領域および第2照射手段のみによる照射領域を認識することにより点字を認識する点字認識手段とを備えている構成である。   The braille recognition device of the present invention includes a first irradiation unit that irradiates light on a braille surface on which braille is formed, and a second irradiation that irradiates light on the braille surface with light having a wavelength different from that of the first irradiation unit. Means, imaging means for imaging the Braille surface irradiated by the first irradiation means and the second irradiation means, and outputting a video signal of the Braille surface, and an irradiation region by at least the first irradiation means on the Braille surface from the video signal And a Braille recognition means for recognizing Braille by recognizing an irradiation area only by the second irradiation means.

これにより、第1照射手段から照射された光と第2照射手段から照射された光により照らされた点字面をカメラにて撮影し、撮影された映像信号に対して画像処理を行うことで、点字部分を抽出することができる。   Thereby, the Braille surface illuminated by the light emitted from the first irradiation means and the light emitted from the second irradiation means is photographed with a camera, and image processing is performed on the photographed video signal, The braille part can be extracted.

さらに、凸部で構成された点字と凹部で構成された点字との光の照らされ方の違いから、凸部で構成された点字と凹部で構成された点字とを判別することができるため、凸部と凹部が混同した点字面であっても、点字部分を抽出することができる。   Furthermore, from the difference in how light is illuminated between the braille formed by the convex portion and the braille formed by the concave portion, it is possible to determine the braille formed by the convex portion and the braille formed by the concave portion, Even when the convex portion and the concave portion are confused with each other, the braille portion can be extracted.

以下、図面を参照しつつ本発明の一実施の形態について説明する。なお、以下の説明に用いる図面では、同一の部品に同一の符号を付してある。それらの名称及び機能も同一である。従って、それらについての詳細な説明は繰り返さない。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In the drawings used for the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.

(点字認識装置の機能的構成)
図1には、本実施の形態に係る点字認識装置100の機能的構成のブロック図を示す。図1に示すように、点字認識装置100は、指示入力部101、第1照射部102、第2照射部103、及び撮像部104を備えている。さらに、点字認識装置100は、映像信号読み込み部105、映像信号処理部106、点字認識部107、点字コード記憶部108、点字翻訳部109、及び出力処理部110を備えている。
(Functional configuration of braille recognition device)
FIG. 1 shows a block diagram of a functional configuration of a braille recognition device 100 according to the present embodiment. As shown in FIG. 1, the braille recognition device 100 includes an instruction input unit 101, a first irradiation unit 102, a second irradiation unit 103, and an imaging unit 104. Further, the braille recognition device 100 includes a video signal reading unit 105, a video signal processing unit 106, a braille recognition unit 107, a braille code storage unit 108, a braille translation unit 109, and an output processing unit 110.

点字面10とは、点字による凹凸がある面のことである。点字を読むことができる人であれば、点字面10にある点字を触覚により読むことができる。なお、点字面10は点字書籍のような、自由に移動可能な面であっても構わないし、エレベータの階表示ボタンや階段の手すり等に据えつけられたもののような、固定された面であっても構わない。即ち、点字面10は、点字により表現された種々の面を指すものとする。   The Braille surface 10 is a surface having irregularities due to Braille. A person who can read Braille can read Braille on the Braille surface 10 by touch. The Braille surface 10 may be a freely movable surface such as a Braille book, or may be a fixed surface such as one installed on an elevator floor display button or a stair railing. It doesn't matter. That is, the Braille surface 10 refers to various surfaces expressed by Braille.

指示入力部101は、例えば情報を入力するためのインタフェースであり、ユーザから点字認識装置100に与える指示を入力するためのものである。指示入力部101を介してユーザから入力される指示は、例えば第1照射部102及び第2照射部103に対しての光の照射指示、または撮像部104に対しての点字面10の撮影指示などが含まれる。   The instruction input unit 101 is an interface for inputting information, for example, and is used for inputting an instruction to be given to the braille recognition device 100 from the user. The instruction input from the user via the instruction input unit 101 is, for example, a light irradiation instruction to the first irradiation unit 102 and the second irradiation unit 103 or a shooting instruction of the braille surface 10 to the imaging unit 104. Etc. are included.

第1照射部102は、例えば点字面10を照らす光源であり、指示入力部101を介して入力された指示に基づいて、点字面10に対して光を照射する。第1照射部102は、点字面10に対して照射する光の種類を調整する機能を備えていても構わない。例えば、照射する光の色を赤色、または青色などに調整する。   The first irradiation unit 102 is a light source that illuminates the Braille surface 10, for example, and irradiates the Braille surface 10 with light based on an instruction input via the instruction input unit 101. The first irradiation unit 102 may have a function of adjusting the type of light irradiated to the Braille surface 10. For example, the color of the irradiated light is adjusted to red or blue.

第2照射部103は、例えば点字面10を照らす光源であり、指示入力部101を介して入力された指示に基づいて、点字面10に対して光を照射する。第2照射部103は、点字面10に対して照射する光の種類を調整する機能を備えていても構わない。例えば、照射する光の色を赤色、または青色などに調整する。   The second irradiation unit 103 is, for example, a light source that illuminates the Braille surface 10, and irradiates the Braille surface 10 with light based on an instruction input via the instruction input unit 101. The second irradiation unit 103 may have a function of adjusting the type of light irradiated to the Braille surface 10. For example, the color of the irradiated light is adjusted to red or blue.

なお、第1照射部102及び第2照射部103として、例えば波長可変レーザー光源を用いると、出力するレーザーの波長を変えることで、点字面10に対して照射する光の色を調整することができる。   For example, if a wavelength tunable laser light source is used as the first irradiation unit 102 and the second irradiation unit 103, the color of the light irradiated on the Braille surface 10 can be adjusted by changing the wavelength of the output laser. it can.

ここで、第1照射部102と第2照射部103とが照射する光の種類は互いに異なるものとする。すなわち、第1照射部102と第2照射部103とが照射する光の波長は互いに異なる。また、第1照射部102と第2照射部103とは、点字面10に対して互いに異なる方向から、また共に斜め上方向から光を照射する。   Here, the types of light emitted by the first irradiation unit 102 and the second irradiation unit 103 are different from each other. That is, the wavelengths of light emitted by the first irradiation unit 102 and the second irradiation unit 103 are different from each other. Moreover, the 1st irradiation part 102 and the 2nd irradiation part 103 irradiate light from a mutually different direction with respect to the braille surface 10, and both from diagonally upward direction.

撮像部104は、例えば点字面10を撮影するカメラであり、指示入力部101を介して入力された指示に基づいて、点字面10の撮影を行う。なお、撮像部104が点字面10を撮影して得られたものが映像信号11である。   The imaging unit 104 is, for example, a camera that captures the Braille surface 10 and captures the Braille surface 10 based on an instruction input via the instruction input unit 101. Note that the image signal 11 is obtained by the imaging unit 104 photographing the Braille surface 10.

撮像部104は、第1照射部102及び第2照射部103により照らされた点字面10を撮影している。したがって、映像信号11は、点字が第1照射部102及び第2照射部103に照射されている場合の映像を示すものとなる。この映像において、点字の凸文字に対して第1照射部102と同じ側の面は第1照射部102から照射された光のみで照らされており、点字の凸文字に対して第2照射部103と同じ側の面は第2照射部103から照射された光のみで照らされている。逆に、点字面10に凹文字が存在する場合は、点字の凹文字に対して第1照射部102と同じ側の面は第2照射部103から照射された光のみで照らされており、点字の凹文字に対して第2照射部103と同じ側の面は第1照射部102から照射された光のみで照らされている。また、第1照射部102から照射された光と第2照射部103から照射された光の両方の光が重なり合っている部分は、両方の光が混ざった光により照らされている。   The imaging unit 104 captures the Braille surface 10 illuminated by the first irradiation unit 102 and the second irradiation unit 103. Therefore, the video signal 11 indicates an image when Braille is irradiated on the first irradiation unit 102 and the second irradiation unit 103. In this image, the surface on the same side as the first irradiation unit 102 with respect to the Braille convex characters is illuminated only by the light emitted from the first irradiation unit 102, and the second irradiation unit against the Braille convex characters. The surface on the same side as 103 is illuminated only with the light emitted from the second irradiation unit 103. On the contrary, when there is a concave character on the Braille surface 10, the surface on the same side as the first irradiation unit 102 with respect to the Braille concave character is illuminated only by the light irradiated from the second irradiation unit 103, The surface on the same side as the second irradiation unit 103 with respect to the Braille concave characters is illuminated only by the light emitted from the first irradiation unit 102. In addition, a portion where both the light emitted from the first irradiation unit 102 and the light emitted from the second irradiation unit 103 overlap is illuminated by the light in which both lights are mixed.

映像信号読み込み部105は、撮像部104にて撮影された映像信号11を読み込む。映像信号処理部106は、映像信号読み込み部105にて読み込まれた映像信号11に対して画像処理を行う。この画像処理は、フィルタ処理及び2値化処理などである。なお、映像信号処理部106の詳細については後述する。   The video signal reading unit 105 reads the video signal 11 captured by the imaging unit 104. The video signal processing unit 106 performs image processing on the video signal 11 read by the video signal reading unit 105. This image processing includes filter processing and binarization processing. Details of the video signal processing unit 106 will be described later.

点字認識部107は、映像信号処理部106にて画像処理された処理画像に基づいて、点字を認識する。   The Braille recognition unit 107 recognizes Braille based on the processed image subjected to image processing by the video signal processing unit 106.

点字コード記憶部108には、点字による50音表などの点字コードが記憶されている。   The braille code storage unit 108 stores braille codes such as a 50-sound table in braille.

点字翻訳部109は、点字コード記憶部108にて記憶されている点字コードを用いることで、点字認識部107にて認識された点字の翻訳を行う。   The Braille translation unit 109 translates the Braille recognized by the Braille recognition unit 107 by using the Braille code stored in the Braille code storage unit 108.

出力処理部110は、点字認識部107にて認識された点字を外部機器13に出力する。外部機器13に例えば表示装置が備わっている場合、出力処理部110は認識された点字を当該表示装置に表示する。または、出力処理部110は点字翻訳部109にて翻訳された点字を表示する。   The output processing unit 110 outputs the braille recognized by the braille recognition unit 107 to the external device 13. For example, when the external device 13 includes a display device, the output processing unit 110 displays the recognized braille on the display device. Alternatively, the output processing unit 110 displays the braille translated by the braille translation unit 109.

図2には、第1光源、第2光源、及びカメラを用いた場合の点字認識装置100の様子を示している。図2では、点字面10に対して右側(一方向)の斜め上方から第1光源により点字面10を照らし、点字面10に対して左側(一方向とは反対の方向)の斜め上方から第2光源により点字面10を照らしており、点字面10の真上方向からカメラにより点字面10を撮影する。   FIG. 2 shows a state of the braille recognition device 100 when the first light source, the second light source, and the camera are used. In FIG. 2, the first light source illuminates the Braille surface 10 from the upper right side (one direction) with respect to the Braille surface 10, and the second light source (from the opposite direction to the one direction) obliquely upward from the left side. The Braille surface 10 is illuminated by two light sources, and the Braille surface 10 is photographed by the camera from directly above the Braille surface 10.

図3には、図2に示したカメラで点字面10を撮影したときの映像(画像)を示す。点字面において点字の右部分の第1領域151は、第1光源からの光により照らされており、点字面において点字の左部分の第2領域152は、第2光源からの光により照らされており、第1領域151と第2領域152以外の第3領域153は、第1光源からの光と第2光源からの光が混合した光により照らされている。   FIG. 3 shows a video (image) when the Braille surface 10 is photographed by the camera shown in FIG. The first area 151 on the right side of the Braille surface is illuminated with light from the first light source, and the second area 152 on the left side of the Braille surface is illuminated with light from the second light source. The third region 153 other than the first region 151 and the second region 152 is illuminated with light obtained by mixing light from the first light source and light from the second light source.

(映像信号処理部106の機能的構成)
図25には、映像信号処理部106の機能的構成のブロック図を示す。映像信号処理部106は、フィルタ処理部120と2値化処理部121とを備えている。
(Functional configuration of video signal processing unit 106)
FIG. 25 shows a block diagram of a functional configuration of the video signal processing unit 106. The video signal processing unit 106 includes a filter processing unit 120 and a binarization processing unit 121.

フィルタ処理部120は、入力された映像信号11に対して、フィルタ処理を行う。フィルタ処理部120は、図7(d)に示すように例えば3×3画素のフィルタ400を用いてフィルタ処理を行う。このフィルタ処理は、処理後の注目画素の濃度値をフィルタ処理前の注目画素に隣り合う画素の濃度値を引き算したものにするためのものである。   The filter processing unit 120 performs filter processing on the input video signal 11. The filter processing unit 120 performs filter processing using, for example, a 3 × 3 pixel filter 400 as shown in FIG. This filtering process is for subtracting the density value of the pixel adjacent to the target pixel before the filter process from the density value of the target pixel after the process.

2値化処理部121は、フィルタ処理部120にて処理された処理画像に対して2値化の処理を行う。ここで、2値化処理とは、ある明るさ以上の濃度値の画素を白にし、それ以外の画素を黒くする処理のことである。   The binarization processing unit 121 performs binarization processing on the processed image processed by the filter processing unit 120. Here, the binarization process is a process in which pixels having a density value equal to or higher than a certain brightness are set to white and other pixels are set to black.

(点字認識装置100を実現するコンピュータシステムの構成)
本実施の形態に係る点字認識装置100は、実質的には、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図4に、このコンピュータシステム200の内部構成を示す。
(Configuration of a computer system for realizing the Braille recognition device 100)
Braille recognition apparatus 100 according to the present embodiment is substantially realized by computer hardware, a program executed by the computer hardware, and data stored in the computer hardware. FIG. 4 shows the internal configuration of the computer system 200.

図4を参照して、このコンピュータシステム200は、光ディスクドライブ201及び磁気ディスクドライブ202を有するコンピュータ220と、モニタ203と、リモートコントローラ(以下、「リモコン」と呼ぶ)204とを含む。   Referring to FIG. 4, this computer system 200 includes a computer 220 having an optical disk drive 201 and a magnetic disk drive 202, a monitor 203, and a remote controller (hereinafter referred to as “remote controller”) 204.

コンピュータ220は、光ディスクドライブ201及び磁気ディスクドライブ202に加えて、リモコン204からの信号を受信するリモコンインタフェース(I/F)205と、CPU(中央処理装置)206と、リモコンインタフェース205、CPU206、光ディスクドライブ201及び磁気ディスクドライブ202に接続されたバス207と、バス207に接続され、ブートアッププログラム等を記憶する読出専用メモリ(ROM)208と、同じくバス207に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ(RAM)209とを含む。   In addition to the optical disk drive 201 and the magnetic disk drive 202, the computer 220 includes a remote control interface (I / F) 205 that receives a signal from the remote control 204, a CPU (central processing unit) 206, a remote control interface 205, a CPU 206, and an optical disk. A bus 207 connected to the drive 201 and the magnetic disk drive 202, a read-only memory (ROM) 208 connected to the bus 207 and storing a boot-up program and the like, and also connected to the bus 207, program instructions, system programs, And a random access memory (RAM) 209 for storing work data and the like.

ここでは示さないが、コンピュータ220はさらにローカルエリアネットワーク(LAN)への接続を提供するネットワークアダプタボードを含んでいてもよい。   Although not shown here, the computer 220 may further include a network adapter board that provides a connection to a local area network (LAN).

コンピュータシステム200に点字認識装置100の機能を実現させるためのプログラム、及び映像信号11(図1参照)はいずれも、光ディスクドライブ201又は磁気ディスクドライブ202に挿入される光ディスク210又は磁気ディスク211に記憶され、さらにハードディスク212に転送される。又は、プログラム、及び映像信号11(図1参照)は図示しないネットワークを通じてコンピュータ220に送信されハードディスク212に記憶されてもよい。プログラムは実行の際にRAM209にロードされる。光ディスク210から、磁気ディスク211から、又はネットワークを介して、直接にRAM209にプログラムをロードしてもよい。   A program for causing the computer system 200 to realize the functions of the braille recognition device 100 and the video signal 11 (see FIG. 1) are both stored in the optical disk 210 or the magnetic disk 211 inserted in the optical disk drive 201 or the magnetic disk drive 202. And further transferred to the hard disk 212. Alternatively, the program and the video signal 11 (see FIG. 1) may be transmitted to the computer 220 through a network (not shown) and stored in the hard disk 212. The program is loaded into the RAM 209 when executed. The program may be loaded directly into the RAM 209 from the optical disk 210, from the magnetic disk 211, or via a network.

このプログラムは、コンピュータ220に本実施の形態に係る点字認識装置100の機能を実現させる複数の命令を含む。これら機能を実現させるのに必要な基本的機能のいくつかはコンピュータ220上で動作するオペレーティングシステム(OS)又はサードパーティのプログラム、若しくはコンピュータ220にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態に係る点字認識装置100の機能を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又は「ツール」を呼出すことにより、上記した点字認識装置100の制御を実行する命令のみを含んでいればよい。コンピュータシステム200の動作は周知であるので、ここでは繰り返さない。   This program includes a plurality of instructions for causing the computer 220 to realize the functions of the braille recognition device 100 according to the present embodiment. Some of the basic functions necessary to realize these functions are provided by an operating system (OS) or a third-party program running on the computer 220 or various toolkit modules installed on the computer 220. Therefore, this program does not necessarily include all the functions necessary for realizing the functions of the braille recognition device 100 according to this embodiment. This program may include only the instructions for executing the control of the braille recognition device 100 described above by calling an appropriate function or “tool” in a controlled manner so as to obtain a desired result. That's fine. The operation of computer system 200 is well known and will not be repeated here.

なお、点字認識装置100の機能を実現するためのプログラム、及び映像信号11(図1参照)が記録される記録媒体は、CD−ROM(コンパクトディスク読取専用メモリ)、MO(Magneto−Optical disc)、MD(Mini Disc)、及びDVD(Digital Versatile Disc)等の光ディスク210、FD(フレキシブルディスク)及びハードディスク等の磁気ディスク211に限らない。磁気テープ及びカセットテープ等のテープ、IC(Integrated Circuit)カード及び光カード等のカード型記録媒体、並びにマスクROM、EPROM(Erasable Programable ROM)、EEPROM(Electrically Erasable Programable ROM)、及びフラッシュROM等の半導体メモリのいずれかでもよい。ただし、コンピュータシステム200は、これら記録媒体からの読出を行なうための読出装置を実装する必要がある。   Note that a program for realizing the functions of the braille recognition device 100 and a recording medium on which the video signal 11 (see FIG. 1) is recorded are a CD-ROM (Compact Disc Read Only Memory), MO (Magneto-Optical disc). , MD (Mini Disc), DVD (Digital Versatile Disc), and other optical disks 210, FD (flexible disk), and magnetic disks 211, such as hard disks. Tapes such as magnetic tapes and cassette tapes, card-type recording media such as IC (Integrated Circuit) cards and optical cards, and semiconductors such as mask ROM, EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), and flash ROM It can be either memory. However, the computer system 200 needs to be equipped with a reading device for reading from these recording media.

(主要動作の概要)
図5は、点字認識装置100の主要動作の概要を示すフローチャートである。図5を参照して、点字認識装置100の電源が入れられると、プログラム300が起動し、ステップS301へ進む。
(Outline of main operations)
FIG. 5 is a flowchart showing an outline of main operations of the braille recognition device 100. Referring to FIG. 5, when the power of braille recognition device 100 is turned on, program 300 is activated and the process proceeds to step S301.

ステップS301では、指示入力部101はユーザからの点字面撮影に対する指示が入力されるのを待ち、ユーザからの指示が入力されると、ステップS302へ進む。   In step S301, the instruction input unit 101 waits for an instruction for Braille face shooting from the user, and when an instruction from the user is input, the process proceeds to step S302.

ステップS302では、第1照射部102は光源1から点字面に対して光を照射し、ステップS303へ進む。   In step S302, the 1st irradiation part 102 irradiates light with respect to a braille surface from the light source 1, and progresses to step S303.

ステップS303では、第2照射部103は光源2から点字面に対して光を照射し、ステップS304へ進む。なお、ステップS302において第1照射部102が照射する光とステップS303において第2照射部103が照射する光の種類は互いに異なるものである。   In step S303, the 2nd irradiation part 103 irradiates light with respect to a braille surface from the light source 2, and progresses to step S304. Note that the type of light emitted by the first irradiation unit 102 in step S302 and the type of light emitted by the second irradiation unit 103 in step S303 are different from each other.

ステップS304では、撮像部104、例えばカメラは光源1と光源2から照射された光により照らされた点字面を撮影し、ステップS305へ進む。なお、撮像部104が点字面を撮影するタイミングは、ユーザにより撮影の指示が行われたときに撮影を行うものであっても構わないし、点字認識装置100が自動で撮影を行うものであっても構わない。   In step S304, the imaging unit 104, for example, the camera, captures the Braille surface illuminated by the light emitted from the light source 1 and the light source 2, and proceeds to step S305. Note that the timing at which the imaging unit 104 captures the Braille surface may be when the user gives an instruction to capture, or the Braille recognition device 100 automatically captures the image. It doesn't matter.

ステップS305では、映像信号処理部106はステップS304にてカメラ出力された映像信号11に対して画像処理を行い、ステップS306へ進む。なお、画像処理の詳細については後述する。   In step S305, the video signal processing unit 106 performs image processing on the video signal 11 output from the camera in step S304, and proceeds to step S306. Details of the image processing will be described later.

ステップS306では、点字認識部107はステップS305にて画像処理された処理画像に基づいて、点字部分を抽出して、ステップS307へ進む。   In step S306, the braille recognition unit 107 extracts a braille portion based on the processed image subjected to the image processing in step S305, and proceeds to step S307.

ステップS307では、点字認識装置100はステップS306にて抽出した点字を翻訳するか否かを判定する。点字の翻訳を行う場合はステップS309へ進み、点字の翻訳を行わない場合はステップS308へ進む。なお、この判定はユーザ自ら行うものであっても構わないし、点字認識装置100が予め設定された情報に基づいて判定を行うものであっても構わない。   In step S307, the braille recognition device 100 determines whether to translate the braille extracted in step S306. If the Braille translation is to be performed, the process proceeds to step S309. If the Braille translation is not to be performed, the process proceeds to step S308. This determination may be performed by the user himself or the braille recognition apparatus 100 may perform determination based on information set in advance.

ステップS308では、出力処理部110はステップS306にて抽出された点字を外部機器13に出力して、処理を終了する。外部機器13は、例えば表示装置を備えている場合は、ステップS306にて抽出された点字を表示装置に表示する。   In step S308, the output processing unit 110 outputs the braille extracted in step S306 to the external device 13, and ends the process. For example, when the external device 13 includes a display device, the braille extracted in step S306 is displayed on the display device.

ステップS309では、点字翻訳部109はステップS306にて抽出された点字の翻訳を行い、ステップS310へ進む。点字翻訳部109が点字を翻訳する場合は、点字コード記憶部108にて記憶されている点字コードを用いて翻訳を行う。   In step S309, the braille translation unit 109 translates the braille extracted in step S306, and the process proceeds to step S310. When the Braille translation unit 109 translates Braille, translation is performed using the Braille code stored in the Braille code storage unit 108.

ステップS310では、出力処理部110はステップS309にて翻訳された点字の文章を外部機器13に出力して、処理を終了する。外部機器13は、例えば表示装置を備えている場合は、ステップS309にて翻訳された点字の文章を表示装置に表示する。   In step S310, the output processing unit 110 outputs the braille text translated in step S309 to the external device 13 and ends the process. For example, when the external device 13 includes a display device, the braille text translated in step S309 is displayed on the display device.

(画像処理)
図6は、図5に示すステップS305で実行される画像処理を示すフローチャートである。図6を参照して、画像処理350が開始されると、ステップS351では、映像信号処理部106が映像信号読み込み部105にて読み込まれた映像信号に対してフィルタ処理を行い、ステップS352へ進む。ステップS352では、映像信号処理部106がフィルタ処理された画像に対して、2値化処理を行い、画像処理を終了する。以下に、上記フィルタ処理および2値化処理について説明する。
(Image processing)
FIG. 6 is a flowchart showing the image processing executed in step S305 shown in FIG. Referring to FIG. 6, when image processing 350 is started, in step S351, video signal processing unit 106 performs filter processing on the video signal read by video signal reading unit 105, and the process proceeds to step S352. . In step S352, the video signal processing unit 106 performs binarization processing on the filtered image, and the image processing ends. Hereinafter, the filtering process and the binarization process will be described.

例えば、図7(a)に示すような映像信号を映像信号読み込み部105が読み込んだものとする。なお、図7(a)では、便宜上、映像信号そのものではなく、映像信号によって示される映像を記載している。点字面は、図2に示したように、右側から光源1にて、さらに左側から光源2にて照らされている。したがって、図7(a)の映像信号(映像)では、点字の凸文字の右側の領域1は光源1からの光により照らされており、点字の凸文字の左側の領域2は光源2からの光により照らされており、点字の凸文字の頂点部の領域3と背景部の領域4は光源1からの光と光源2からの光が混合した光により照らされている。また、点字の凸文字により光源2からの光が遮られた領域5は光源1からの光により照らされており、点字の凸文字により光源1からの光が遮られた領域6は光源2からの光により照らされている。なお、点字の凸文字の大きさは3×3画素程度であるものとする。   For example, it is assumed that the video signal reading unit 105 reads a video signal as shown in FIG. In FIG. 7A, for the sake of convenience, the video indicated by the video signal is described instead of the video signal itself. As shown in FIG. 2, the braille surface is illuminated by the light source 1 from the right side and further by the light source 2 from the left side. Accordingly, in the video signal (video) in FIG. 7A, the area 1 on the right side of the Braille convex character is illuminated by the light from the light source 1, and the area 2 on the left side of the Braille convex character is from the light source 2. The region 3 at the apex portion and the region 4 at the background portion of the Braille convex characters are illuminated by light in which light from the light source 1 and light from the light source 2 are mixed. Further, the region 5 where the light from the light source 2 is blocked by the Braille convex characters is illuminated by the light from the light source 1, and the region 6 where the light from the light source 1 is blocked by the Braille convex characters is from the light source 2. Illuminated by the light of It is assumed that the size of the Braille convex characters is about 3 × 3 pixels.

ステップS351では、図7(a)に示す映像信号に対して、図7(d)に示すように例えば3×3画素のフィルタ400を用いてフィルタ処理を行う。具体的には、処理後の注目画素の濃度値を処理前の注目画素に隣り合う画素の濃度値を引き算したものにする。全ての画素に対してフィルタ処理を行うと、図7(b)に示すようになる。なお、図7(b)の濃度の薄い領域は、図7(a)の領域3に相当する領域である。   In step S351, the video signal shown in FIG. 7A is filtered using, for example, a 3 × 3 pixel filter 400 as shown in FIG. 7D. Specifically, the density value of the target pixel after processing is obtained by subtracting the density value of the pixel adjacent to the target pixel before processing. When the filter processing is performed on all the pixels, the result is as shown in FIG. Note that the low-density region in FIG. 7B is a region corresponding to the region 3 in FIG.

そして、図7(b)に対して、2値化の処理を行う。ここでは、光源1からの光と光源2からの光が混合された光の濃度値よりも明るいものを白くする。2値化処理された処理画像の様子を図7(c)に示す。   Then, binarization processing is performed on FIG. Here, the lighter than the density value of the light in which the light from the light source 1 and the light from the light source 2 are mixed is whitened. FIG. 7C shows the state of the processed image that has been binarized.

このような画像処理を行うことで、白で抽出された箇所を点字の部分であると認識することができる。   By performing such image processing, it is possible to recognize a portion extracted in white as a braille portion.

以下、点字認識装置100の具体的な動作として、実施例1及び実施例2を例示する。   Hereinafter, examples 1 and 2 will be exemplified as specific operations of the braille recognition device 100.

(実施例1)
以下に示す実施例1では、点字の凸文字がある点字面を撮影して点字部分を読み取る点字認識装置100の動作を例示する。
Example 1
In Example 1 described below, the operation of the braille recognition device 100 that reads a braille portion by photographing a braille surface having a braille convex character is illustrated.

図8(a)には、点字面421を撮影する点字認識装置100の様子を示している。図8(a)に示す点字認識装置100は、点字面421に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面421に対して左斜め上方向から光源2にて緑色の光を照射することで点字面421を照らし、点字面421の真上方向からカメラ104にて点字面421を撮影する。   FIG. 8A shows a state of the braille recognition device 100 that photographs the braille surface 421. The braille recognition device 100 shown in FIG. 8A irradiates the braille surface 421 with red light from the diagonally upper right direction with the light source 1, and further irradiates the braille surface 421 with the light source 2 from the diagonally upper left direction. The braille surface 421 is illuminated by irradiating green light, and the camera 104 shoots the braille surface 421 from directly above the braille surface 421.

図8(b)は点字面421の平面図である。図8(b)では、点字の凸文字である点を黒丸で表しており、飛び出していない点を白丸で表している。   FIG. 8B is a plan view of the Braille surface 421. In FIG. 8B, points that are convex characters of Braille are represented by black circles, and points that do not protrude are represented by white circles.

ここでは、図8(b)に示す点字面に書かれている点字を図8(a)に示す点字認識装置100で読み取る場合について、図5に示すフローチャート300及び図6に示すフローチャート350に従って説明する。   Here, a case where the braille written on the braille surface shown in FIG. 8B is read by the braille recognition device 100 shown in FIG. 8A will be described according to the flowchart 300 shown in FIG. 5 and the flowchart 350 shown in FIG. To do.

ステップS301からステップS303では、ユーザが撮影したい点字面421に対して光源1及び光源2から光を照射する。この場合、第1照射部102は光源1から赤色の光を照射し、第2照射部103は光源2から緑色の光を照射する。ここで、赤色の光とは波長が700nmの光であり、緑色の光とは波長が546.1nmの光をさす。   In step S301 to step S303, light is emitted from the light source 1 and the light source 2 to the braille surface 421 that the user wants to photograph. In this case, the first irradiation unit 102 emits red light from the light source 1, and the second irradiation unit 103 emits green light from the light source 2. Here, red light is light having a wavelength of 700 nm, and green light is light having a wavelength of 546.1 nm.

ステップS304では、光源1からの赤色の光と光源2からの緑色の光により照らされた点字面421をカメラにて撮影する。図9に、カメラで撮影された点字面421の映像信号を示す。図9では、点字の凸文字の右側部は光源1から照射された赤色の光のみしか当たっていないので赤色で光っている。また、点字の凸文字の左側部は光源2から照射された緑色の光のみしか当たっていないので緑色で光っている。さらに、点字の凸文字の上部及び背景部は赤色と緑色が混ざった黄色で光っている。また、背景部のうち、点字の凸文字により光源2から照射された緑色の光が遮られた所は光源1から照射された赤色のみしか当たっていないので赤色で光っており、点字の凸文字により光源1から照射された赤色の光が遮られた所は光源2から照射された緑色の光のみしか当たっていないので緑色で光っている。   In step S304, the camera shoots the Braille surface 421 illuminated by the red light from the light source 1 and the green light from the light source 2. FIG. 9 shows a video signal of the Braille surface 421 taken by the camera. In FIG. 9, the right side portion of the Braille convex characters shines in red because only the red light emitted from the light source 1 is applied. Further, the left side portion of the Braille convex character shines in green because only the green light emitted from the light source 2 is applied. Furthermore, the upper part and the background part of the convex characters in Braille are shining yellow with a mixture of red and green. Further, in the background portion, where the green light emitted from the light source 2 is blocked by the Braille convex characters, only the red color emitted from the light source 1 is shining, so it shines in red and the Braille convex characters The portion where the red light emitted from the light source 1 is blocked is only shining on the green light emitted from the light source 2 and thus shines in green.

このとき、図6に示すステップS351では、映像信号処理部106が図9に示す映像信号に対してフィルタ処理を行う。ここで、映像信号処理部106が行うフィルタ処理は必ずしも限定されないが、例えば図7(d)に示す3×3のフィルタ400を用いてフィルタ処理を行うものであっても構わない。図10に、フィルタ処理された処理画像の様子を示す。図10では、点字の凸文字の上部以外は黒色に近い値(濃度値が0に近い値)になる。   At this time, in step S351 shown in FIG. 6, the video signal processing unit 106 performs filter processing on the video signal shown in FIG. Here, the filter processing performed by the video signal processing unit 106 is not necessarily limited. For example, the filter processing may be performed using a 3 × 3 filter 400 illustrated in FIG. FIG. 10 shows the state of the filtered processed image. In FIG. 10, the values other than the upper part of the Braille convex characters are values close to black (the density value is close to 0).

ステップS352では、映像信号処理部106が図10に示す処理画像に対して、例えば図7(b)及び図7(c)で説明したような2値化処理を行う。図11に、2値化処理された処理画像の様子を示す。図11では、点字の凸文字の頂点の部分は白色(濃度値が255)になり、それ以外の部分は黒色(濃度値が0)になる。   In step S352, the video signal processing unit 106 performs binarization processing such as that described in FIGS. 7B and 7C on the processed image shown in FIG. FIG. 11 shows a state of a processed image that has been binarized. In FIG. 11, the portion of the vertex of the Braille convex character is white (density value is 255), and the other portion is black (density value is 0).

ステップS306では、点字認識部107は点字部分を抽出するために、図11に示す処理画像から白色(濃度値が0)の部分を抽出する。   In step S306, the braille recognition unit 107 extracts a white portion (density value 0) from the processed image shown in FIG. 11 in order to extract the braille portion.

ステップS307において、点字認識装置100が点字の翻訳を行わないと判定した場合、ステップS308では、出力処理部110はステップS306にて抽出した点字を外部機器に出力する。ここで、外部機器が表示装置を備えている場合、出力処理部110は表示装置に抽出した点字を出力する。表示装置440に出力された様子を図12(a)に示す。   In step S307, if the braille recognition device 100 determines not to translate the braille, in step S308, the output processing unit 110 outputs the braille extracted in step S306 to the external device. Here, when the external device includes a display device, the output processing unit 110 outputs the extracted braille to the display device. A state output to the display device 440 is shown in FIG.

一方、ステップS307において、点字認識装置100が点字の翻訳を行うと判定した場合、ステップS309では、点字翻訳部109は、点字コード記憶部108にて記憶されている点字コードを用いて、ステップS306にて抽出した点字の翻訳を行う。そして、ステップS310では、出力処理部110はステップS309にて翻訳した点字を外部機器に出力する。ここで、外部機器が表示装置を備えている場合、出力処理部110は表示装置に翻訳した点字の文章を出力する。表示装置441に出力された様子を図12(b)に示す。また、図12(c)に示すように、出力処理部110は表示装置442にステップS306にて抽出した点字とステップS309にて翻訳した文章の両方を出力するものであっても構わない。   On the other hand, when it is determined in step S307 that the braille recognition device 100 translates Braille, in step S309, the braille translation unit 109 uses the braille code stored in the braille code storage unit 108 to perform step S306. Translate the braille extracted in. In step S310, the output processing unit 110 outputs the braille translated in step S309 to an external device. Here, when the external device includes a display device, the output processing unit 110 outputs the translated Braille text on the display device. FIG. 12B shows a state output to the display device 441. As shown in FIG. 12C, the output processing unit 110 may output both the braille extracted in step S306 and the sentence translated in step S309 to the display device 442.

これにより、2方向から種類の異なる光を点字面に当てて撮影した映像信号から点字を読み取ることができる。また、図12(a)に示すように、認識した点字を表示装置に表示させることで、ユーザが表示装置に表示された点字と実際の点字面を見比べることで、点字認識装置100が正しく点字を読み取ることができたか否かを確認することができる。さらに、図12(b)及び図12(c)に示すように、認識した点字を翻訳した文章を表示装置に表示させることで、ユーザは点字面に凸点で示された点字の内容を認識することができる。さらに、点字面に凸点で示された点字を読み取って翻訳することで、例えば街中の点字案内板作成業者が街中に存在する点字案内板に示された点字の内容が正しいか否かを容易に検査することができる。   Thereby, braille can be read from the video signal image | photographed by having different types of light applied to the braille surface from two directions. Also, as shown in FIG. 12A, by displaying the recognized braille on the display device, the user compares the braille displayed on the display device with the actual braille surface so that the braille recognition device 100 correctly operates. It can be confirmed whether or not Furthermore, as shown in FIG. 12B and FIG. 12C, the user recognizes the content of the braille indicated by the convex points on the braille surface by displaying the translated text of the recognized braille on the display device. can do. Furthermore, by reading and translating Braille indicated by convex points on the Braille surface, for example, a Braille guide board manufacturer in the city can easily check whether the Braille content shown on the Braille guide board in the city is correct or not Can be inspected.

次に、図13に示すように、文字の上に点字の凸文字が存在するような、文字と点字が重なり合っている点字面460から点字部分を抽出する場合について説明する。   Next, as shown in FIG. 13, a case where a Braille portion is extracted from a Braille surface 460 where characters and Braille overlap each other, such that convex Braille characters exist on the character, will be described.

ここでは、図8(a)に示した点字認識装置100を用いて、点字面460に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面460に対して左斜め上方向側から光源2にて緑色の光を照射することで点字面460を照らし、点字面460の真上方向からカメラ104にて点字面460を撮影する。   Here, using the braille recognition device 100 shown in FIG. 8A, the light source 1 emits red light from the diagonally upper right direction to the braille surface 460, and further obliquely leftward with respect to the braille surface 460. The braille surface 460 is illuminated by irradiating green light from the light source 2 from above, and the braille surface 460 is photographed by the camera 104 from directly above the braille surface 460.

このとき、ステップS304において、カメラ104で撮影された点字面460の映像信号を図14に示す。図14では、点字の凸文字の右側部、及び背景部のうちで点字の凸文字により光源2から照射された緑色の光が遮られた所は赤色で光っており、また点字の凸文字の左側部、及び背景部のうちで点字の凸文字により光源1から照射された赤色の光が遮られた所は緑色で光っており、それ以外の所は赤色と緑色が混ざった黄色で光っている。ただし、文字が記載された部分は、元の文字の色の影響により、文字がない所よりも暗い色で光っている。   At this time, the video signal of the Braille surface 460 taken by the camera 104 in step S304 is shown in FIG. In FIG. 14, in the right side of the Braille convex character and the background portion, the portion where the green light emitted from the light source 2 is blocked by the Braille convex character is shining in red, and the Braille convex character In the left part and the background part, the part where the red light emitted from the light source 1 is blocked by the Braille convex characters is shining in green, and the other parts are shining in yellow mixed with red and green. Yes. However, due to the influence of the color of the original character, the portion where the character is written shines in a darker color than where there is no character.

ここで、映像信号処理部106は、図14に示す映像信号461に対して画像処理を行う場合、映像信号461の各画素のRGB値を調べ、赤色(R=255、G=0、B=0)と緑色(R=0、G=255、B=0)の画素のみを抽出するような処理を行う。すなわち、画素のRGB値が“R=255、G=0、B=0”である画素は赤色とし、画素のRGB値が“R=0、G=255、B=0”である画素は緑色とし、それ以外のRGB値である画素は白色とするような画像処理を行う。この結果、黄色で光っている部分及び文字の色の影響で黄色より暗い色で光っている部分を除去することができる。   Here, when image processing is performed on the video signal 461 shown in FIG. 14, the video signal processing unit 106 examines the RGB value of each pixel of the video signal 461 and determines red (R = 255, G = 0, B = 0) and green (R = 0, G = 255, B = 0) pixels are extracted. That is, a pixel whose pixel RGB value is “R = 255, G = 0, B = 0” is red, and a pixel whose pixel RGB value is “R = 0, G = 255, B = 0” is green. And image processing is performed so that the other RGB pixels are white. As a result, it is possible to remove a portion shining in yellow and a portion shining in a color darker than yellow due to the influence of the color of characters.

上記の処理を行った結果を図15に示す。図15に示すように、点字の凸文字の右側部が赤色で、点字の凸文字の左側部が緑色で、それ以外は白色になるように処理される。さらに、図15に示す処理画像462に対して、2値化処理を行った場合の結果を図16に示す。   The result of performing the above processing is shown in FIG. As shown in FIG. 15, processing is performed so that the right side of the Braille convex character is red, the left side of the Braille convex character is green, and the others are white. Further, FIG. 16 shows the result when binarization processing is performed on the processed image 462 shown in FIG.

点字認識部107は図16に示す処理画像463から点字の部分を抽出し、認識することができる。   The braille recognition unit 107 can extract and recognize a braille portion from the processed image 463 shown in FIG.

これにより、文字の上に点字の凸文字が存在するような、文字と点字が重なり合っている場合であっても、点字の部分を抽出し、認識することができる。   As a result, even when the characters and Braille overlap, such as when there are convex Braille characters on the characters, the Braille portions can be extracted and recognized.

図13では、文字の上に点字の凸文字が存在するような場合について説明したが、次に図17に示すように、点字の凸文字の上に文字が存在するような点字面480から点字部分を抽出する場合について説明する。   FIG. 13 illustrates the case where a Braille convex character is present on the character. Next, as illustrated in FIG. 17, the Braille surface 480 where the character is present on the Braille convex character is illustrated in FIG. 17. The case where a part is extracted is demonstrated.

上述した方法と同様に、点字面480に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面480に対して左斜め上方向から光源2にて緑色の光を照射することで点字面480を照らし、点字面480の真上方向からカメラ104にて点字面480を撮影する。   Similarly to the above-described method, the light source 1 emits red light from the diagonally upper right direction to the Braille surface 480, and further irradiates green light from the light source 2 from the diagonally upper left direction to the Braille surface 480. By doing so, the Braille surface 480 is illuminated, and the Braille surface 480 is photographed by the camera 104 from directly above the Braille surface 480.

映像信号処理部106が、カメラ104で撮影された点字面480の映像信号における各画素のRGB値を調べ、赤色(R=255、G=0、B=0)と緑色(R=0、G=255、B=0)の画素のみを抽出するような処理を行う。そして、映像信号処理部106が2値化処理を行う。2値化処理された処理画像を図18に示す。   The video signal processing unit 106 examines the RGB value of each pixel in the video signal of the Braille surface 480 taken by the camera 104, and red (R = 255, G = 0, B = 0) and green (R = 0, G = 255, B = 0) is extracted. Then, the video signal processing unit 106 performs binarization processing. FIG. 18 shows a processed image that has been binarized.

図18に示すように、2値化処理された処理画像481において、点字の凸文字の右側部または左側部の一部が白色の画素になっている所がある。これは、点字の凸文字の上に文字が重なり、文字の色の影響で2値化処理されたときに白色に変換されたものである。このとき、映像信号処理部106は、処理画像481に対して黒色画素の膨張処理を行えば、図16に示す処理画像463のように、白色で抜かれた画素を消すことができる。ここで、映像信号処理部106が行う膨張処理とは、例えば注目画素の近傍8画素内に黒色の画素が存在すれば、注目画素を黒色にするものである。   As shown in FIG. 18, in the binarized processed image 481, there is a place where a part of the right side or left side of the Braille convex character is a white pixel. This is a character that is superimposed on a convex character in Braille and converted to white when binarized by the influence of the character color. At this time, if the video signal processing unit 106 performs a black pixel expansion process on the processed image 481, the pixel extracted in white can be erased as in the processed image 463 illustrated in FIG. 16. Here, the expansion processing performed by the video signal processing unit 106 is, for example, when a black pixel is present in 8 pixels in the vicinity of the target pixel, the target pixel is made black.

これにより、点字の凸文字の上に文字が存在するような、文字と点字が重なり合っている場合であっても、点字の部分を抽出し、認識することができる。   Thereby, even when a character and Braille overlap, such as a character on a Braille convex character, the Braille portion can be extracted and recognized.

次に、図19(a)に示すように、文字の上に点字の凸文字が存在し、かつ点字の直径よりも文字の方が太いために、文字に点字の凸文字が含まれてしまうような点字面500から点字部分を抽出する場合について説明する。   Next, as shown in FIG. 19A, a Braille convex character exists on the character, and the character is thicker than the Braille diameter, so the character includes the Braille convex character. The case where a Braille part is extracted from such a Braille surface 500 is demonstrated.

上述した方法と同様に、点字面500に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面500に対して左斜め上方向から光源2にて緑色の光を照射することで点字面500を照らし、点字面500に真上方向からカメラ104にて点字面500を撮影する。   In the same manner as described above, the light source 1 emits red light from the diagonally upper right direction to the Braille surface 500, and further irradiates green light from the light source 2 from the diagonally upper left direction to the Braille surface 500. As a result, the Braille surface 500 is illuminated, and the Braille surface 500 is photographed by the camera 104 from directly above the Braille surface 500.

図19(b)に、カメラ104で撮影された点字面500の映像信号の一部を示す。図19(b)に示すように、点字の下にある文字に点字の凸文字が含まれてしまうような場合であっても、当該点字の凸文字の右側部、及び背景部のうちで点字の凸文字により光源2から照射された緑色の光が遮られた所は赤色で光っており、また点字の凸文字の左側部、及び背景部のうちで点字の凸文字により光源1から照射された赤色の光が遮られた所は緑色で光っており、それ以外の所は赤色と緑色が混ざった黄色で光っている。ただし、文字が記載された部分は文字の色の影響により、文字がない所よりも暗い色で光っている。   FIG. 19B shows a part of the video signal of the braille surface 500 captured by the camera 104. As shown in FIG. 19 (b), even if the character under the Braille includes a Braille convex character, the Braille character in the right side of the Braille convex character and the background portion. The portion where the green light emitted from the light source 2 is blocked by the convex character is illuminated in red, and the left side of the Braille convex character and the Braille convex character in the background portion are irradiated from the light source 1. The place where the red light is blocked is glowing in green, and the other places are glowing in yellow, which is a mixture of red and green. However, due to the influence of the color of the character, the portion where the character is written shines in a darker color than where there is no character.

そして、上述した方法と同様に、映像信号処理部106が、カメラ104で撮影された点字面501の映像信号の各画素のRGB値を調べ、赤色(R=255、G=0、B=0)と緑色(R=0、G=255、B=0)の画素のみを抽出するような処理を行う。処理された処理画像の様子を図19(c)に示す。そして、図19(c)に示す処理画像502に対して、映像信号処理部106は2値化処理を行うことで、図16に示すような処理画像463を得ることができる。   In the same manner as described above, the video signal processing unit 106 checks the RGB value of each pixel of the video signal on the Braille surface 501 captured by the camera 104, and red (R = 255, G = 0, B = 0). ) And green (R = 0, G = 255, B = 0) only. A state of the processed image is shown in FIG. Then, the video signal processing unit 106 can perform a binarization process on the processed image 502 shown in FIG. 19C to obtain a processed image 463 as shown in FIG.

点字認識部107は、2値化処理された処理画像を使用して、点字の部分を抽出し、認識することができる。   The Braille recognition unit 107 can extract and recognize a Braille part using the binarized processed image.

これにより、文字の上に点字の凸文字が存在し、かつ点字の直径よりも文字の方が太いために、文字に点字の凸文字が含まれてしまうような場合であっても、点字の部分を抽出し、認識することができる。   As a result, even if there are convex Braille characters on the character and the characters are thicker than the Braille diameter, the Braille convex characters are included in the characters. A part can be extracted and recognized.

次に、図20(a)に示すように、点字の凸文字の上に文字が存在し、かつ点字の直径よりも文字の方が太いために、文字に点字の凸文字が含まれてしまうような点字面520から点字部分を抽出する場合について説明する。   Next, as shown in FIG. 20 (a), a character exists on a Braille convex character, and since the character is thicker than the diameter of the Braille character, the character includes the Braille convex character. The case where a Braille part is extracted from such a Braille surface 520 is demonstrated.

上述した方法と同様に、点字面520に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面520に対して左斜め上方向から光源2にて緑色の光を照射することで点字面520を照らし、点字面520に真上方向からカメラ104にて点字面520を撮影する。   Similarly to the above-described method, the light source 1 emits red light from the diagonally upper right direction to the Braille surface 520, and further irradiates green light from the light source 2 from the diagonally upper left direction to the Braille surface 520. As a result, the Braille surface 520 is illuminated, and the Braille surface 520 is photographed by the camera 104 from directly above the Braille surface 520.

図20(b)に、カメラで撮影された点字面520の映像信号の一部を示す。図20(b)に示すように、点字の凸文字の右側部、及び背景部のうちで点字の凸文字により光源2から照射された緑色の光が遮られた所は暗い赤色で光っており、また点字の凸文字の左側部、及び背景部のうちで点字の凸文字により光源1から照射された赤色の光が遮られた所は暗い緑色で光っており、それ以外の所は暗い黄色で光っている。これは、点字の上にある文字の色の影響によるためである。   FIG. 20B shows a part of the video signal of the Braille surface 520 taken by the camera. As shown in FIG. 20 (b), the right side of the Braille convex character and the portion of the background portion where the green light emitted from the light source 2 is blocked by the Braille convex character shines in dark red. In the left part of the Braille convex character and the background part, the portion where the red light emitted from the light source 1 is blocked by the Braille convex character shines in dark green, and the rest is dark yellow. It ’s glowing. This is because of the influence of the color of the character on the braille.

そして、上述した方法と同様に、映像信号処理部106が、カメラ104で撮影された点字面521の映像信号の各画素のRGB値を調べて処理された処理画像の様子を図20(c)に示す。さらに、図20(c)に示す処理画像522に対して、映像信号処理部106は2値化処理を行うことで、図16に示すような処理画像463を得ることができる。   Similarly to the above-described method, the video signal processing unit 106 examines the RGB value of each pixel of the video signal on the Braille surface 521 photographed by the camera 104, and shows the state of the processed image shown in FIG. Shown in Further, the video signal processing unit 106 can perform a binarization process on the processed image 522 shown in FIG. 20C to obtain a processed image 463 as shown in FIG.

点字認識部107は、2値化処理された処理画像を使用して、点字の部分を抽出し、認識することができる。   The Braille recognition unit 107 can extract and recognize a Braille part using the binarized processed image.

これにより、文字の上に点字の凸文字が存在し、かつ点字の直径よりも文字の方が太いために、文字に点字の凸文字が含まれてしまうような場合であっても、点字の部分を抽出し、認識することができる。   As a result, even if there are convex Braille characters on the character and the characters are thicker than the Braille diameter, the Braille convex characters are included in the characters. A part can be extracted and recognized.

なお、実施例1では、光源1から赤色の光が照射され、かつ光源2から緑色の光が照射される場合について説明したが、必ずしもこれに限定されるものではない。例えば、光源1からは緑色の光が照射され、かつ光源2から青色の光が照射されるものでも構わない。この場合、光源1からの緑色の光と光源2からの青色の光の両方で照らされる点字面は、シアン色で光っている。すなわち、光源1から照射される光と光源2から照射される光の種類が互いに異なるものであれば構わない。   In the first embodiment, the case where red light is emitted from the light source 1 and green light is emitted from the light source 2 has been described. However, the present invention is not necessarily limited thereto. For example, the light source 1 may emit green light and the light source 2 may emit blue light. In this case, the braille surface illuminated by both the green light from the light source 1 and the blue light from the light source 2 shines in cyan. That is, the light emitted from the light source 1 and the light emitted from the light source 2 may be different from each other.

さらに、光源1から照射される光の色と光源2から照射される光の色が互いに補色の関係にあるものであっても構わない。ここで、補色とは色相環で互いに反対の位置にある色のことであり、例えば赤色とシアン色は互いに補色の関係にあり、青色と黄色は互いに補色の関係にある。互いに補色の関係にある2色の光を重ねると、白色の光になる。   Further, the color of light emitted from the light source 1 and the color of light emitted from the light source 2 may be complementary to each other. Here, the complementary color is a color at a position opposite to each other in the hue circle. For example, red and cyan are complementary to each other, and blue and yellow are complementary to each other. When light of two colors that are complementary to each other is superimposed, white light is obtained.

そこで、例えば、光源1から青色の光を照射し、光源2からは青色の補色の関係にある黄色の光を照射した場合、点字の凸文字の光源1側、及び背景部のうちで点字の凸文字により光源2から照射された黄色の光が遮られた所は青色で光っており、また点字の凸文字の光源2側、及び背景部のうちで点字の凸文字により光源1から照射された青色の光が遮られた所は黄色で光っており、それ以外の所は白色で光っている。これにより、この状態を点字面の真上方向に設けられたカメラで撮影した映像信号では、背景部や点字の凸文字の頂点は白色になっているため、例えば図15に示す処理画像462のような映像信号を得ることができる。すなわち、図14に示す映像信号461から図15に示す処理画像462にするために行った画像処理を省くことができる。   Therefore, for example, when the light source 1 emits blue light and the light source 2 emits yellow light that is in a complementary color relationship of blue, the Braille convex character in the light source 1 side and the Braille in the background portion Where the yellow light emitted from the light source 2 is blocked by the convex character, the light is shining in blue, and the light source 1 is irradiated from the light source 2 side of the Braille convex character and the Braille convex character in the background portion. The place where the blue light is blocked is glowing yellow, and the rest is glowing white. As a result, in the video signal obtained by photographing this state with a camera provided directly above the Braille surface, the vertex of the background portion and the convex character of the Braille character is white. For example, the processing image 462 shown in FIG. Such a video signal can be obtained. That is, it is possible to omit the image processing performed for converting the video signal 461 shown in FIG. 14 into the processed image 462 shown in FIG.

実施例1では、点字面に対して異なる種類の光を照射して当該点字面の真上方向からカメラにて撮影した映像信号に対して画像処理を加えることで、点字部分を抽出することができる。これは、点字の凸文字のみ存在する点字面だけに限定されず、文字が点字に重なるように記載されたような点字面であっても、点字部分を抽出することができる。また、点字の上に文字が記載されていても、点字の下に文字が記載されていても、点字の直径よりも文字の方が太く、点字の凸文字が文字に含まれるような場合であっても、点字部分を抽出することができる。   In the first embodiment, the Braille portion can be extracted by irradiating different types of light on the Braille surface and applying image processing to the video signal captured by the camera from directly above the Braille surface. it can. This is not limited to a braille surface in which only convex characters in Braille exist, and a Braille portion can be extracted even on a Braille surface in which characters are described so as to overlap with Braille. In addition, even if a character is written above the braille or a character is written below the braille, the character is thicker than the diameter of the braille and the braille convex character is included in the character. Even if it exists, a Braille part can be extracted.

さらに、抽出した点字を翻訳する機能を備えている場合は、当該点字を翻訳し、それを例えば表示装置に表示することで、ユーザは抽出した点字の内容を把握することができる。これを利用すれば、点字面に凸文字で示された点字を読み取って翻訳することで、例えば街中の点字案内板作成業者が街中に存在する点字案内板に示された点字の内容が正しいか否かを容易に検査することができる。   Furthermore, when it has the function to translate the extracted braille, the user can grasp | ascertain the content of the extracted braille by translating the said braille and displaying it on a display apparatus, for example. By using this, by reading and translating Braille indicated by convex characters on the Braille surface, for example, if the Braille guide board manufacturer in the town is correct the contents of the Braille indicated on the Braille guide board existing in the town It is possible to easily check whether or not.

(実施例2)
以下に示す実施例2では、例えば両面に点字が打たれた点字原稿など、凸文字と凹文字がある点字面を撮影して点字部分を読み取る点字認識装置100の動作を例示する。
(Example 2)
In the second embodiment described below, the operation of the braille recognition device 100 that reads a braille portion by photographing a braille surface having convex characters and concave characters, such as a braille manuscript with braille on both sides, is exemplified.

図21(a)に、点字面541を撮影する点字認識装置100の様子を示す。図21(a)に示す点字認識装置100は、点字面541に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面541に対して左斜め上方向から光源2にて緑色の光を照射することで点字面541を照らし、点字面541の真上方向からカメラ104にて点字面541を撮影する。   FIG. 21A shows a state of the Braille recognition device 100 that photographs the Braille surface 541. The braille recognition device 100 shown in FIG. 21A irradiates the braille surface 541 with red light from the diagonally upper right direction with the light source 1 and further applies the light source 2 to the braille surface 541 from the diagonally upper left direction. The braille surface 541 is illuminated by irradiating green light, and the camera 104 photographs the braille surface 541 from directly above the braille surface 541.

図21(b)は点字面541の平面図である。図21(b)では、点字の凸文字である点を黒丸で、点字の凹文字である点を2重丸で表しており、飛び出していない点を白丸で表している。なお、点字の凹文字とは、点字原稿の表面と裏面の両方に点字が打たれているような場合に存在し得るものである。   FIG. 21B is a plan view of the Braille surface 541. In FIG. 21B, points that are Braille convex characters are represented by black circles, points that are Braille concave characters are represented by double circles, and points that do not protrude are represented by white circles. Note that the Braille indented characters can exist when Braille characters are struck on both the front and back surfaces of the Braille document.

ここでは、図21(a)に示した点字認識装置100を用いて、点字面541に対して右斜め上方向から光源1にて赤色の光を照射し、さらに点字面541に対して左斜め上方向から光源2にて緑色の光を照射することで点字面541を照らし、点字面541の真上方向からカメラ104にて点字面541を撮影する。   Here, using the braille recognition device 100 shown in FIG. 21A, the light source 1 emits red light from the diagonally upper right direction to the braille surface 541 and further obliquely leftward with respect to the braille surface 541. The Braille surface 541 is illuminated by irradiating green light from the light source 2 from above, and the Braille surface 541 is photographed by the camera 104 from directly above the Braille surface 541.

図22に、カメラで撮影された点字面541の映像信号542を示す。実施例1で説明したように、図22に示す映像信号542は、光源1から照射された光のみで照らされている部分は赤色で光っており、光源2から照射された光のみで照らされている部分は緑色で光っており、光源1から照射された光と光源2から照射された光の両方で照らされた部分は黄色で光っている。   FIG. 22 shows a video signal 542 of the Braille surface 541 taken by the camera. As described in the first embodiment, in the video signal 542 shown in FIG. 22, the portion illuminated only by the light emitted from the light source 1 is illuminated in red, and illuminated only by the light emitted from the light source 2. The portion illuminated is green and the portion illuminated by both the light emitted from the light source 1 and the light emitted from the light source 2 glows yellow.

次に、映像信号処理部106は、図22に示す映像信号542の各画素のRGB値を調べ、赤色(R=255、G=0、B=0)と緑色(R=0、G=255、B=0)の画素のみを抽出するような処理を行う。処理の詳細は実施例1で説明したとおりである。この処理の結果を図23に示す。   Next, the video signal processing unit 106 examines the RGB value of each pixel of the video signal 542 shown in FIG. 22, and red (R = 255, G = 0, B = 0) and green (R = 0, G = 255). , B = 0) is extracted. Details of the processing are as described in the first embodiment. The result of this processing is shown in FIG.

点字認識部107は、図23の処理画像543を用いて、点字が凸文字であるか、または凹文字であるかを認識する。点字認識部107は、点字部分の右側部と左側部の色によって、それが点字の凸文字であるか、または凹文字であるかを認識する。すなわち、図23に示すように、処理画像543の上側の4つの点字では、点字の右側部は右側に位置する光源1から照射された光により照らされており、点字の左側部は左側に位置する光源2から照射された光により照らされているため、当該点字は凸文字であると認識する。一方、処理画像543の下側の4つの点字では、点字の右側部は左側に位置する光源2から照射された光により照らされており、点字の左側部は右側に位置する光源1から照射された光により照らされているため、当該点字は凹文字であると認識する。   The braille recognition unit 107 recognizes whether the braille is a convex character or a concave character by using the processed image 543 in FIG. The Braille recognition unit 107 recognizes whether it is a convex character or a concave character of Braille according to the colors of the right side and the left side of the Braille part. That is, as shown in FIG. 23, in the upper four brailles of the processed image 543, the right side of the braille is illuminated by light emitted from the light source 1 located on the right side, and the left side of the braille is located on the left side. The braille is recognized as a convex character because it is illuminated by light emitted from the light source 2. On the other hand, in the four brailles below the processed image 543, the right side of the braille is illuminated by light emitted from the light source 2 located on the left side, and the left side of the braille is emitted from the light source 1 located on the right side. The braille is recognized as a concave character because it is illuminated by light.

このように、点字の右側部及び左側部の色と、2つの光源の位置との関係から、当該文字が凸文字であるか、または凹文字であるかを認識することができる。   In this way, it is possible to recognize whether the character is a convex character or a concave character from the relationship between the colors of the right and left portions of Braille and the positions of the two light sources.

また、図23に示すように、処理画像543の上側の4つの点字では、処理画像543の下側の4つの点字と比較して、赤色の部分、または緑色の部分の面積が大きい。すなわち、赤色の部分、または緑色の部分の面積が大きい方の点字は凸文字であると認識し、逆に赤色の部分、または緑色の部分の面積が小さい方の点字は凹文字であると認識するものであっても構わない。これは、点字の凸文字により一方からの光を遮られるために、結果として、もう一方からの光により照らされる部分の面積が大きくなるためである。   Further, as shown in FIG. 23, the upper four brailles of the processed image 543 have a larger area of the red portion or the green portion than the lower four brailles of the processed image 543. That is, the Braille with the larger area of the red part or the green part is recognized as a convex character, and conversely, the Braille with the smaller area of the red part or the green part is recognized as a concave character. It doesn't matter if you do it. This is because the light from one side is blocked by the convex characters in Braille, and as a result, the area of the portion illuminated by the light from the other is increased.

このような方法により、点字認識部107は、点字が凸文字であるか、または凹文字であるかを認識することができる。ただし、点字認識部107が点字の凸文字であるか、または凹文字であるかを認識する方法は必ずしもこれらに限定されない。   By such a method, the braille recognition unit 107 can recognize whether the braille is a convex character or a concave character. However, the method of recognizing whether the Braille recognition unit 107 is a Braille convex character or a concave character is not necessarily limited thereto.

なお、凸文字からなる点字を墨字に翻訳する場合は、左から右方向に読んでいくが、凹文字からなる点字を墨字に翻訳する場合は、右から左方向に読んでいけばよい。この場合、凹文字からなる点字を左右反転すれば、凸文字からなる点字と同じものが得られるため、左右反転させた点字を左から右に読んでいけば、墨字に翻訳することができる。   In addition, when translating Braille characters consisting of convex characters into ink characters, read from left to right, but when translating Braille characters consisting of concave characters into ink characters, it is only necessary to read from right to left. . In this case, if the Braille made of concave characters is reversed left and right, the same thing as the Braille made of convex characters can be obtained, so if the Braille that has been reversed horizontally is read from left to right, it can be translated into ink characters. .

実施例2では、点字の凸文字と凹文字が混同した点字面であっても、当該点字面に対して異なる種類の光を照射して当該点字面の真上方向からカメラにて撮影した映像信号に対して、点字部分の右側部と左側部で光っている色によって、当該点字が凸文字であるか、または凹文字であるかを認識することができる。   In the second embodiment, even when the Braille surface is confused with Braille convex characters and concave characters, images of the Braille surface irradiated with different types of light and captured by the camera from directly above the Braille surface With respect to the signal, it is possible to recognize whether the Braille is a convex character or a concave character by the colors shining on the right side and the left side of the Braille part.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。   The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.

本発明は、点字面から点字部分を抽出して点字を認識する点字認識装置、認識した点字を翻訳する点字翻訳装置、または点字の検査を行う点字検査装置などの用途にも適用することができる。   The present invention can also be applied to uses such as a Braille recognition device that extracts a Braille portion from a Braille surface and recognizes Braille, a Braille translation device that translates the recognized Braille, or a Braille inspection device that inspects Braille. .

本発明の一実施の形態に係る点字認識装置の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the braille recognition apparatus which concerns on one embodiment of this invention. 本発明の一実施の形態に係る点字認識装置を示す説明図である。It is explanatory drawing which shows the braille recognition apparatus which concerns on one embodiment of this invention. 図2に示した点字認識装置を用いて点字部分を撮影した場合の点字の様子を示す説明図である。It is explanatory drawing which shows the mode of Braille at the time of image | photographing a Braille part using the Braille recognition apparatus shown in FIG. 本実施の形態に係る点字認識装置の各機能部を実現するコンピュータシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the computer system which implement | achieves each function part of the braille recognition apparatus which concerns on this Embodiment. 図1に示した点字認識装置の主要動作を示すフローチャートである。It is a flowchart which shows the main operation | movement of the braille recognition apparatus shown in FIG. 図5のステップS305で実行される画像処理を示すフローチャートである。6 is a flowchart illustrating image processing executed in step S305 of FIG. 5. 図7(a)は図1で示した点字認識装置の一実施例に関し、ある点字部分を撮影したときの映像信号を示す説明図、図7(b)は同映像信号に対してフィルタ処理を行ったときの処理画像を示す説明図、図7(c)は同処理画像に対して2値化処理を行ったときの処理画像を示す説明図、及び図7(d)は3×3画素のフィルタを示す説明図である。FIG. 7 (a) relates to the embodiment of the braille recognition device shown in FIG. 1, and is an explanatory view showing a video signal when a braille portion is photographed. FIG. 7 (b) is a filter process for the video signal. FIG. 7C is an explanatory diagram showing the processed image when it is performed, FIG. 7C is an explanatory diagram showing the processed image when the binarization processing is performed on the processed image, and FIG. 7D is 3 × 3 pixels It is explanatory drawing which shows this filter. 図8(a)は図1で示した点字認識装置の一実施例に関し、点字面に対する光源1、光源2及びカメラの位置関係を示す説明図、及び図8(b)は同点字面を上方から見た様子を示す説明図である。FIG. 8A relates to the embodiment of the Braille recognition device shown in FIG. 1, and is an explanatory diagram showing the positional relationship of the light source 1, the light source 2 and the camera with respect to the Braille surface, and FIG. 8B shows the Braille surface from above. It is explanatory drawing which shows a mode that it looked. 図1で示した点字認識装置の一実施例に関し、図8(b)で示した点字面をカメラにて撮影した場合の映像信号を示す説明図である。FIG. 9 is an explanatory diagram showing a video signal when the Braille surface shown in FIG. 8B is photographed with a camera in the embodiment of the Braille recognition device shown in FIG. 1. 図1で示した点字認識装置の一実施例に関し、図9で示した映像信号に対してフィルタ処理を行った処理画像を示す説明図である。FIG. 10 is an explanatory diagram illustrating a processed image obtained by performing filter processing on the video signal illustrated in FIG. 9 with respect to the embodiment of the braille recognition device illustrated in FIG. 1. 図1で示した点字認識装置の一実施例に関し、図10で示した処理画像に対して2値化処理を行った処理画像を示す説明図である。It is explanatory drawing which shows the process image which performed the binarization process with respect to the Example of the braille recognition apparatus shown in FIG. 1 with respect to the process image shown in FIG. 図12(a)は図1で示した点字認識装置の一実施例に関し、認識した点字を表示装置に表示した場合の様子を示す説明図、図12(b)は同認識した点字を翻訳した結果を表示装置に表示した場合の様子を示す説明図、及び図12(c)は同認識した点字及び当該点字を翻訳した結果の両方を表示装置に表示した場合の様子を示す説明図である。FIG. 12 (a) relates to the embodiment of the braille recognition device shown in FIG. 1, and is an explanatory diagram showing the situation when the recognized braille is displayed on the display device. FIG. 12 (b) is a translation of the recognized braille. FIG. 12C is an explanatory view showing a state when the result is displayed on the display device, and FIG. 12C is an explanatory view showing a state when both the recognized braille and the result of translating the braille are displayed on the display device. . 図1で示した点字認識装置の一実施例に関し、点字面を上方から見た様子を示す説明図である。It is explanatory drawing which shows a mode that the Braille surface was seen from upper direction regarding one Example of the Braille recognition apparatus shown in FIG. 図1で示した点字認識装置の一実施例に関し、図13で示した点字面をカメラにて撮影した場合の映像信号を示す説明図である。It is explanatory drawing which shows the video signal at the time of image | photographing the Braille surface shown in FIG. 13 with the camera regarding one Example of the Braille recognition apparatus shown in FIG. 図1で示した点字認識装置の一実施例に関し、図14で示した映像信号に対して画像処理を行った処理画像を示す説明図である。FIG. 15 is an explanatory diagram illustrating a processed image obtained by performing image processing on the video signal illustrated in FIG. 14 with respect to the embodiment of the braille recognition device illustrated in FIG. 1. 図1で示した点字認識装置の一実施例に関し、図15で示した処理画像に対して2値化処理を行った処理画像を示す説明図である。FIG. 16 is an explanatory diagram illustrating a processed image obtained by performing binarization processing on the processed image illustrated in FIG. 15 with respect to the embodiment of the braille recognition device illustrated in FIG. 1. 図1で示した点字認識装置の一実施例に関し、点字面を上方から見た様子を示す説明図である。It is explanatory drawing which shows a mode that the Braille surface was seen from upper direction regarding one Example of the Braille recognition apparatus shown in FIG. 図1で示した点字認識装置の一実施例に関し、2値化処理を行った処理画像を示す説明図である。It is explanatory drawing which shows the process image which performed the binarization process regarding one Example of the braille recognition apparatus shown in FIG. 図19(a)は図1で示した点字認識装置の一実施例に関し、点字面の一部を上方から見た様子を示す説明図、図19(b)は同図19(a)で示した点字面をカメラにて撮影した場合の映像信号の一部を示す説明図、及び図19(c)は同図19(b)で示した映像信号に対して画像処理を行った処理画像を示す説明図である。FIG. 19 (a) relates to the embodiment of the braille recognition device shown in FIG. 1, and is an explanatory view showing a part of the braille surface viewed from above, and FIG. 19 (b) is shown in FIG. 19 (a). FIG. 19C is a diagram illustrating a part of the video signal when the Braille surface is captured by the camera, and FIG. 19C is a processed image obtained by performing image processing on the video signal illustrated in FIG. It is explanatory drawing shown. 図20(a)は図1で示した点字認識装置の一実施例に関し、点字面の一部を上方から見た様子を示す説明図、図20(b)は同図20(a)で示した点字面をカメラにて撮影した映像信号の一部を示す説明図、及び図20(c)は同図20(b)で示した映像信号に対して画像処理を行った処理画像を示す説明図である。FIG. 20 (a) relates to the embodiment of the braille recognition device shown in FIG. 1, and FIG. 20 (b) is an explanatory view showing a part of the braille surface as viewed from above. FIG. 20C is a diagram illustrating a part of a video signal obtained by photographing the braille surface with a camera, and FIG. 20C is a diagram illustrating a processed image obtained by performing image processing on the video signal illustrated in FIG. FIG. 図21(a)は図1で示した点字認識装置の他の実施例に関し、点字面に対する光源1、光源2及びカメラの位置関係を示す説明図、及び図21(b)は同点字面を上方から見た様子を示す説明図である。FIG. 21 (a) relates to another embodiment of the braille recognition device shown in FIG. 1, and is an explanatory view showing the positional relationship of the light source 1, the light source 2 and the camera with respect to the braille surface, and FIG. It is explanatory drawing which shows a mode seen from. 図1で示した点字認識装置の他の実施例に関し、図21(b)で示した点字面をカメラにて撮影した場合の映像信号を示す説明図である。It is explanatory drawing which shows the video signal at the time of image | photographing the braille surface shown in FIG.21 (b) with the camera regarding the other Example of the Braille recognition apparatus shown in FIG. 図1で示した点字認識装置の他の実施例に関し、図22で示した映像信号に対して画像処理を行った処理画像を示す説明図である。FIG. 23 is an explanatory diagram showing a processed image obtained by performing image processing on the video signal shown in FIG. 22 for another embodiment of the braille recognition device shown in FIG. 1. 点字を説明するための説明図である。It is explanatory drawing for demonstrating Braille. 本発明の一実施の形態に係る映像信号処理部の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the video signal processing part which concerns on one embodiment of this invention.

符号の説明Explanation of symbols

10 点字面
11 映像信号
13 外部機器
100 点字認識装置
102 第1照射部(第1照射手段)
103 第2照射部(第2照射手段)
104 撮像部(撮像手段)
107 点字認識部(点字認識手段)
109 点字翻訳部(点字翻訳手段)
DESCRIPTION OF SYMBOLS 10 Braille surface 11 Video signal 13 External apparatus 100 Braille recognition apparatus 102 1st irradiation part (1st irradiation means)
103 2nd irradiation part (2nd irradiation means)
104 Imaging unit (imaging means)
107 Braille recognition unit (braille recognition means)
109 Braille translator (Braille translator)

Claims (14)

点字が形成されている点字面に対して光を照射する第1照射手段と、
前記点字面に対して第1照射手段とは異なる波長の光を照射する第2照射手段と、
第1照射手段及び第2照射手段により照射された前記点字面を撮像し、点字面の映像信号を出力する撮像手段と、
前記映像信号から、少なくとも前記点字面における第1照射手段のみによる照射領域および第2照射手段のみによる照射領域を認識することにより点字を認識する点字認識手段とを備えていることを特徴とする点字認識装置。
First irradiation means for irradiating light to a Braille surface on which Braille is formed;
Second irradiation means for irradiating the Braille surface with light having a wavelength different from that of the first irradiation means;
Imaging means for imaging the Braille surface irradiated by the first irradiation means and the second irradiation means and outputting a video signal of the Braille surface;
Braille recognizing means for recognizing Braille by recognizing at least an irradiation area only by the first irradiation means and an irradiation area only by the second irradiation means on the Braille surface from the video signal. Recognition device.
前記点字認識手段は、前記映像信号から、前記点字面における第1照射手段のみによる照射領域および第2照射手段のみによる照射領域を認識することに加えて、第1および第2照射手段の両者による重複した照射領域を認識することにより、点字を認識することを特徴とする請求項1に記載の点字認識装置。   The Braille recognizing means recognizes, from the video signal, an irradiation area only by the first irradiation means and an irradiation area only by the second irradiation means on the Braille surface, and by both the first and second irradiation means. The braille recognition device according to claim 1, wherein the braille is recognized by recognizing an overlapped irradiation region. 第1照射手段と第2照射手段とは点字面に対して互いに異なる色の光を照射するものであり、
前記点字認識手段は、前記点字面における第1照射手段および第2照射手段による前記の各照射領域をそれら照射領域の色の違いにより認識することを特徴とする請求項1または2に記載の点字認識装置。
The first irradiation means and the second irradiation means irradiate light of different colors with respect to the Braille surface,
The Braille recognition unit according to claim 1 or 2, wherein the Braille recognition unit recognizes each irradiation region by the first irradiation unit and the second irradiation unit on the Braille surface based on a difference in color of the irradiation regions. Recognition device.
前記点字認識手段は、前記点字面における第1照射手段からの照射光の色を有する第1照射手段側の領域と第2照射手段からの照射光の色を有する第2照射手段側の領域とに囲まれる領域を点字の存在位置として認識することを特徴とする請求項3に記載の点字認識装置。   The Braille recognizing unit includes a region on the first irradiation unit side having a color of the irradiation light from the first irradiation unit and a region on the second irradiation unit side having a color of the irradiation light from the second irradiation unit on the Braille surface. The braille recognition device according to claim 3, wherein a region surrounded by is recognized as a braille existing position. 前記点字認識手段は、前記点字面における第1照射手段および第2照射手段による前記の各照射領域の濃度の違いにより点字を認識することを特徴とする請求項1または2に記載の点字認識装置。   3. The Braille recognition device according to claim 1, wherein the Braille recognition unit recognizes Braille based on a difference in density between the irradiation regions of the first irradiation unit and the second irradiation unit on the Braille surface. . 前記点字認識手段にて認識された点字を翻訳する点字翻訳手段を備えていることを特徴とする請求項1に記載の点字認識装置。   The Braille recognition device according to claim 1, further comprising Braille translation means for translating Braille recognized by the Braille recognition means. 前記第1照射手段及び前記第2照射手段は、平行光を前記点字面に対して照射することを特徴とする請求項1に記載の点字認識装置。   The braille recognition device according to claim 1, wherein the first irradiation unit and the second irradiation unit irradiate parallel light onto the braille surface. 前記第1照射手段及び前記第2照射手段における光源から照射される光は互いに補色の関係にあることを特徴とする請求項1に記載の点字認識装置。   The braille recognition device according to claim 1, wherein the light emitted from the light source in the first irradiating unit and the second irradiating unit has a complementary color relationship. 前記点字認識手段は、第1照射手段と同じ方向側の点字部分が第1照射手段により照射された光のみで照らされた領域と、第2照射手段と同じ方向側の点字部分が第2照射手段により照射された光のみで照らされた領域とに囲まれる領域を凸部の点字の存在位置として認識することを特徴とする請求項3に記載の点字認識装置。   The braille recognition means includes a region in which a braille portion on the same direction side as the first irradiation means is illuminated only by light irradiated by the first irradiation means and a braille portion on the same direction side as the second irradiation means. The braille recognition device according to claim 3, wherein a region surrounded by only the light irradiated by the means is recognized as an existing position of the braille of the convex portion. 前記点字認識手段は、第1照射手段と同じ方向側の点字部分が第2照射手段により照射された光のみで照らされた領域と、第2照射手段と同じ方向側の点字部分が第1照射手段により照射された光のみで照らされた領域とに囲まれる領域を凹部の点字の存在位置として認識することを特徴とする請求項3に記載の点字認識装置。   The braille recognizing means includes a region in which a braille portion on the same direction side as the first irradiating means is illuminated only by light irradiated by the second irradiating means, and a braille portion on the same direction side as the second irradiating means. 4. The braille recognition device according to claim 3, wherein an area surrounded by only the light irradiated by the means is recognized as an existing position of the Braille in the recess. 前記点字認識手段にて認識された点字を翻訳する点字翻訳手段を備え、
前記点字認識手段により当該点字が凹部であると判別された場合に、前記点字翻訳手段は、前記点字認識手段にて認識された点字を左右反転させて翻訳することを特徴とする請求項10に記載の点字認識装置。
Braille translation means for translating Braille recognized by the Braille recognition means,
11. The Braille translating means translates the Braille recognized by the Braille recognizing means by reversing left and right when the Braille recognizing means determines that the Braille is a recess. The braille recognition device described.
点字が形成されている点字面に対して光を照射する第1照射ステップと、
前記点字面に対して第1照射ステップとは異なる波長の光を照射する第2照射ステップと、
第1照射ステップ及び第2照射ステップにより照射された前記点字面を撮像し、点字面の映像信号を出力する撮像ステップと、
前記映像信号から、少なくとも前記点字面における第1照射ステップのみによる照射領域および第2照射ステップのみによる照射領域を認識することにより点字を認識する点字認識ステップとを備えていることを特徴とする点字認識方法。
A first irradiation step of irradiating light on a Braille surface on which Braille is formed;
A second irradiation step of irradiating the Braille surface with light having a wavelength different from that of the first irradiation step;
An imaging step of imaging the Braille surface irradiated by the first irradiation step and the second irradiation step and outputting a video signal of the Braille surface;
A Braille recognition step for recognizing Braille from the video signal by recognizing at least an irradiation region only by the first irradiation step and an irradiation region only by the second irradiation step on the Braille surface. Recognition method.
請求項1から11の何れか一項に記載の点字認識装置を動作させるためのプログラムであって、コンピュータを上記の点字認識手段として機能させるための点字認識プログラム。   A program for operating the braille recognition device according to any one of claims 1 to 11, which causes a computer to function as the braille recognition means. 請求項13に記載の点字認識プログラムを記録したコンピュータ読み取り可能な記録媒体。   A computer-readable recording medium on which the Braille recognition program according to claim 13 is recorded.
JP2005253998A 2005-09-01 2005-09-01 Braille recognition device, braille recognition method, braille recognition program, and computer-readable recording medium recording the same Expired - Fee Related JP4727352B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005253998A JP4727352B2 (en) 2005-09-01 2005-09-01 Braille recognition device, braille recognition method, braille recognition program, and computer-readable recording medium recording the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005253998A JP4727352B2 (en) 2005-09-01 2005-09-01 Braille recognition device, braille recognition method, braille recognition program, and computer-readable recording medium recording the same

Publications (2)

Publication Number Publication Date
JP2007066198A true JP2007066198A (en) 2007-03-15
JP4727352B2 JP4727352B2 (en) 2011-07-20

Family

ID=37928273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005253998A Expired - Fee Related JP4727352B2 (en) 2005-09-01 2005-09-01 Braille recognition device, braille recognition method, braille recognition program, and computer-readable recording medium recording the same

Country Status (1)

Country Link
JP (1) JP4727352B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017090194A (en) * 2015-11-09 2017-05-25 大日本印刷株式会社 Inspection system and inspection method
CN114593849A (en) * 2022-01-17 2022-06-07 之江实验室 Multifunctional identification input device

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10490102B2 (en) * 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US10395555B2 (en) 2015-03-30 2019-08-27 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing optimal braille output based on spoken and sign language
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
USD827143S1 (en) 2016-11-07 2018-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Blind aid device
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0262161A (en) * 1988-08-29 1990-03-02 Matsushita Electric Ind Co Ltd Picture reader
JPH03209587A (en) * 1990-01-11 1991-09-12 Fujitsu Ltd Method and device for reading uneven pattern
JPH08122033A (en) * 1994-09-02 1996-05-17 Sanyo Electric Co Ltd Image recognition apparatus
JPH08227455A (en) * 1995-02-21 1996-09-03 Ricoh Co Ltd Braille reader
JPH09185317A (en) * 1995-10-30 1997-07-15 Sanyo Electric Co Ltd Braille recognition system
JPH11179288A (en) * 1997-09-16 1999-07-06 Toshiba Corp Level detector and treating device using the same
JP2002074260A (en) * 2000-08-28 2002-03-15 Tamura Electric Works Ltd Emboss reader

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0262161A (en) * 1988-08-29 1990-03-02 Matsushita Electric Ind Co Ltd Picture reader
JPH03209587A (en) * 1990-01-11 1991-09-12 Fujitsu Ltd Method and device for reading uneven pattern
JPH08122033A (en) * 1994-09-02 1996-05-17 Sanyo Electric Co Ltd Image recognition apparatus
JPH08227455A (en) * 1995-02-21 1996-09-03 Ricoh Co Ltd Braille reader
JPH09185317A (en) * 1995-10-30 1997-07-15 Sanyo Electric Co Ltd Braille recognition system
JPH11179288A (en) * 1997-09-16 1999-07-06 Toshiba Corp Level detector and treating device using the same
JP2002074260A (en) * 2000-08-28 2002-03-15 Tamura Electric Works Ltd Emboss reader

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017090194A (en) * 2015-11-09 2017-05-25 大日本印刷株式会社 Inspection system and inspection method
CN114593849A (en) * 2022-01-17 2022-06-07 之江实验室 Multifunctional identification input device

Also Published As

Publication number Publication date
JP4727352B2 (en) 2011-07-20

Similar Documents

Publication Publication Date Title
JP4727352B2 (en) Braille recognition device, braille recognition method, braille recognition program, and computer-readable recording medium recording the same
US7490779B2 (en) Reading apparatus, information processing system and antiforgery method
KR20080022228A (en) Information output device, medium, and information input/output device
JP2009042089A (en) Visual examination device of board
CN103491274B (en) Top loaded type image read-out
JP6682809B2 (en) Inspection system and inspection method
JP6627057B1 (en) Copy detection device, copy detection method, and program
JP4956957B2 (en) Projector device and projection method
JP6881884B2 (en) Photography game device, image generation method, and image generation program
TWI527427B (en) Peripheral with image processing function
JP2009042093A (en) Electronic component inspection device and electronic component inspection method
JP4300083B2 (en) Form reader
JP2006295307A (en) Image reading apparatus
US11763445B2 (en) Inspection of a target object using a comparison with a master image and a strictness of a quality evaluation threshold value
JP2007052124A (en) Projection device and projection method
JP4241803B2 (en) Two-dimensional information code reading method and reading apparatus
US20240080403A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
US11055552B2 (en) Systems and methods for detecting light signatures and performing actions in response thereto
RU2752791C1 (en) Method for determining presence of interventions and modifications in image of text electronic document
RU2752751C1 (en) Method for obtaining digital duplicates of document in form of paper information medium or image of text document
JP2007011653A (en) Method and device for reading embossed character string
JP3369880B2 (en) Mirror surface recognition method for mirror-like inspected object
JP2007316836A (en) Written data processing device and program
JP6772598B2 (en) Image reader, image forming device and program
JP2014120929A (en) Method of inspecting forgery preventing medium and forgery preventing medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110412

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110413

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees