JP2017167275A - Character learning system - Google Patents
Character learning system Download PDFInfo
- Publication number
- JP2017167275A JP2017167275A JP2016051198A JP2016051198A JP2017167275A JP 2017167275 A JP2017167275 A JP 2017167275A JP 2016051198 A JP2016051198 A JP 2016051198A JP 2016051198 A JP2016051198 A JP 2016051198A JP 2017167275 A JP2017167275 A JP 2017167275A
- Authority
- JP
- Japan
- Prior art keywords
- character
- image
- display device
- mounted display
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 claims abstract description 19
- 238000011156 evaluation Methods 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 20
- 230000007423 decrease Effects 0.000 claims 1
- 239000000123 paper Substances 0.000 description 36
- 238000004891 communication Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 14
- 239000004973 liquid crystal related substance Substances 0.000 description 12
- 230000007704 transition Effects 0.000 description 11
- 210000003128 head Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Abstract
Description
本発明は、文字の書き方を学習する学習者の支援を行う文字学習システムに関する。 The present invention relates to a character learning system that supports a learner who learns how to write characters.
従来、文字の書き方を学習する学習者を支援するための文字学習システムが知られている。このような文字学習システムは、たとえば、特許文献１に開示されている。特許文献１の文字学習システム（卓上平置型液晶表示装置付き習字絵画自己学習システム）は、液晶表示装置とパーソナルコンピューターとを備える。なお、液晶表示装置は、卓上に平置き可能に構成される。 Conventionally, a character learning system for assisting a learner who learns how to write characters is known. Such a character learning system is disclosed in Patent Document 1, for example. The character learning system of Patent Literature 1 (a calligraphy painting self-learning system with a desktop flat-panel liquid crystal display device) includes a liquid crystal display device and a personal computer. Note that the liquid crystal display device is configured to be laid flat on a table.
特許文献１では、液晶表示装置の表示面に手本文字が表示される。ここで、手本文字を表示する液晶表示装置は卓上に平置きされる。このため、液晶表示装置の表示面上に学習用紙（学習対象の文字を手書きするための用紙）を載置することができる。そして、液晶表示装置の表示面上に学習用紙を載置すると、液晶表示装置の表示面に表示された手本文字が学習用紙に写り込む（手本文字が透けて見える）。これにより、手本文字をなぞる（手本文字に沿った文字を学習用紙に手書きする）ことができる。 In Patent Document 1, a model character is displayed on a display surface of a liquid crystal display device. Here, the liquid crystal display device that displays the model characters is placed flat on a table. For this reason, a learning paper (paper for handwriting a learning target character) can be placed on the display surface of the liquid crystal display device. Then, when the learning sheet is placed on the display surface of the liquid crystal display device, the model characters displayed on the display surface of the liquid crystal display device are reflected on the learning sheet (the model characters can be seen through). Thereby, the model character can be traced (the character along the model character is handwritten on the learning paper).
特許文献１では、文字の書き方を学習する（手本文字をなぞる）とき、液晶表示装置の表示面上に載置された学習用紙に対して、学習対象の文字を手書きしなければならない。したがって、手本文字に沿って文字を手書きする（手本文字をなぞる）ときに文字が書き難いという不都合がある。 In Patent Document 1, when learning how to write a character (tracing a model character), the learning target character must be handwritten on a learning sheet placed on the display surface of the liquid crystal display device. Therefore, there is an inconvenience that it is difficult to write a character when handwriting the character along the model character (tracing the model character).
また、特許文献１では、液晶表示装置の表示面に表示される手本文字が透けて見える用紙を学習用紙として別途準備しなければならず、学習者が白紙用紙を持っていても、その用紙を学習用紙として使用できない場合がある。このため、学習者にとっては利便性が悪い。 Further, in Patent Document 1, a paper on which a model character displayed on the display surface of the liquid crystal display device can be seen must be separately prepared as a learning paper, and even if the learner has a blank paper, the paper May not be used as a learning form. For this reason, it is not convenient for the learner.
本発明は、上記課題を解決するためになされたものであり、学習対象の文字を手書きする（手本文字をなぞる）ときの文字の書き易さを向上させつつ、学習者の利便性を向上させることが可能な文字学習システムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and improves the convenience of learners while improving the ease of writing characters when handwriting the characters to be learned (tracing model characters). An object of the present invention is to provide a character learning system that can be used.
上記目的を達成するために、本発明の文字学習システムは、学習者により装着される透過型のヘッドマウントディスプレイ装置と、ヘッドマウントディスプレイ装置に通信可能に接続されるとともに、手本文字の画像を記憶する情報処理装置と、を備える。そして、ヘッドマウントディスプレイ装置は、情報処理装置から送信される手本文字の画像を取得し、手本文字を表示する。 In order to achieve the above object, a character learning system of the present invention is connected to a transmissive head-mounted display device worn by a learner and a head-mounted display device in a communicable manner, and displays an image of a model character. And an information processing apparatus for storing the information. Then, the head mounted display device acquires an image of a model character transmitted from the information processing device, and displays the model character.
本発明の構成では、学習者により装着される透過型のヘッドマウントディスプレイ装置に手本文字を表示するので、液晶表示装置などの表示装置の表示面上に学習用紙（学習対象の文字を手書きするための用紙）を載置する必要がない。すなわち、学習用紙を載置する載置台（机など）を任意に選択することができる。これにより、学習対象の文字を手書きする（手本文字をなぞる）ときの文字の書き易さが向上する。また、厚紙や裏紙などの用紙を学習用紙として使用することができる（学習用紙を任意に選択することができる）ので、専用の用紙を別途準備する必要がなくなり、学習者の利便性が向上する。 In the configuration of the present invention, the model character is displayed on the transmissive head-mounted display device worn by the learner, so the learning paper (the character to be learned is handwritten on the display surface of the display device such as a liquid crystal display device). There is no need to place a sheet of paper). That is, it is possible to arbitrarily select a placement table (desk or the like) on which the learning paper is placed. This improves the ease of writing a character when handwriting the character to be learned (tracing a model character). Also, paper such as cardboard and backing paper can be used as learning paper (learning paper can be selected arbitrarily), so there is no need to prepare special paper separately, improving convenience for learners To do.
本発明によれば、学習対象の文字を手書きする（手本文字をなぞる）ときの文字の書き易さを向上させつつ、学習者の利便性を向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the convenience of a learner can be improved, improving the ease of writing of the character when handwriting the character of learning object (tracing an example character).
＜文字学習システムの全体構成＞
図１に示すように、本実施形態の文字学習システム１００は、文字の書き方を学習する学習者やその学習者を指導する指導者を支援するためのものであって、複合機（ＭＦＰ）２００と、ヘッドマウントディスプレイ装置３００とを備える。たとえば、この文字学習システム１００では、漢字、ひらがな、カタカナ、および、外国語（アルファベット、簡体字およびハングルなど）が学習対象の文字となり得る。なお、複合機３００は、「情報処理装置」に相当する。
<Overall configuration of character learning system>
As shown in FIG. 1, a character learning system 100 according to the present embodiment is for supporting a learner who learns how to write characters and an instructor who teaches the learner. And a head mounted display device 300. For example, in this character learning system 100, kanji, hiragana, katakana, and foreign languages (such as alphabet, simplified Chinese, and Korean) can be characters to be learned. The multifunction device 300 corresponds to an “information processing device”.
複合機２００およびヘッドマウントディスプレイ装置３００は、互いに通信可能に接続される。たとえば、複合機２００とヘッドマウントディスプレイ装置３００との間では、近距離無線通信や無線ＬＡＮ通信などの通信規格に準拠した無線通信が行われる。あるいは、複合機２００とヘッドマウントディスプレイ装置３００との間で有線通信が行われてもよい。 The multifunction device 200 and the head mounted display device 300 are connected to be communicable with each other. For example, wireless communication conforming to a communication standard such as short-range wireless communication or wireless LAN communication is performed between the multifunction device 200 and the head mounted display device 300. Alternatively, wired communication may be performed between the multifunction device 200 and the head mounted display device 300.
＜複合機の構成＞
複合機２００は、印刷機能やスキャン機能など複数種の機能を搭載する画像形成装置である。この複合機２００には、学習者が模範とすべき文字である手本文字の画像が記憶される。そして、複合機２００は、学習者が手本文字を手本にして手書きした文字である手書き文字（文字評価の評価対象となる評価対象文字）の画像を取得し、手書き文字が正しく書かれているか否かを評価する文字評価を行う。詳細は後述する。
<Configuration of MFP>
The multifunction device 200 is an image forming apparatus equipped with a plurality of functions such as a printing function and a scanning function. The multifunction device 200 stores an image of a model character that is a character that the learner should use as an example. Then, the multifunction device 200 acquires an image of a handwritten character (an evaluation target character to be evaluated for character evaluation) that is a character handwritten by the learner using the model character as a model, and the handwritten character is correctly written. Character evaluation that evaluates whether or not there is. Details will be described later.
複合機２００は、画像読取部２１０、印刷部２２０、操作パネル２３０、複合機メモリー２４０、複合機制御部２５０および複合機通信部２６０を備える。 The multifunction device 200 includes an image reading unit 210, a printing unit 220, an operation panel 230, a multifunction device memory 240, a multifunction device control unit 250, and a multifunction device communication unit 260.
画像読取部２１０は、原稿を読み取って画像データを生成する。印刷部２２０は、用紙に画像を印刷して出力する。操作パネル２３０は、タッチパネルディスプレイおよびハードウェアキーを含み、ソフトウェアキーなどを配した画面をタッチパネルディスプレイに表示し、各種設定を行うための操作（ソフトウェアキーに対するタッチ操作やハードウェアキーに対する押下操作）を受け付ける。 The image reading unit 210 reads a document and generates image data. The printing unit 220 prints and outputs an image on paper. The operation panel 230 includes a touch panel display and hardware keys, displays a screen with software keys and the like on the touch panel display, and performs operations for performing various settings (touch operations on the software keys and pressing operations on the hardware keys). Accept.
複合機メモリー２４０は、複合機２００を制御するためのプログラムおよびデータを記憶する。また、複合機メモリー２４０は、文字学習アプリケーション（学習アプリ）ＡＰを記憶する。 The multifunction device memory 240 stores a program and data for controlling the multifunction device 200. The multi-function device memory 240 stores a character learning application (learning application) AP.
複合機制御部２５０は、ＣＰＵ２５１や画像処理部２５２を含む。ＣＰＵ２５１は、複合機メモリー２４０に記憶されたプログラムおよびデータに基づき動作し、複合機２００の各部を制御する。すなわち、ＣＰＵ２５１は、画像読取部２１０の読取動作や印刷部２２０の印刷動作を制御する。さらに、ＣＰＵ２５１は、操作パネル２３０の表示動作を制御したり、操作パネル２３０に対する操作を検知したりする。また、ＣＰＵ２５１は、学習アプリＡＰに基づき動作し、文字学習を支援するための各種処理を行う。 The multifunction device control unit 250 includes a CPU 251 and an image processing unit 252. The CPU 251 operates based on the program and data stored in the multifunction device memory 240 and controls each unit of the multifunction device 200. That is, the CPU 251 controls the reading operation of the image reading unit 210 and the printing operation of the printing unit 220. Further, the CPU 251 controls the display operation of the operation panel 230 or detects an operation on the operation panel 230. In addition, the CPU 251 operates based on the learning application AP and performs various processes for supporting character learning.
画像処理部２５２は、画像処理回路や画像処理メモリーなどを含む。そして、画像処理部２５２は、画像データに対して、拡大／縮小や濃度変換などの画像処理を行う。また、画像処理部２５２は、画像データに含まれる文字を認識する処理である文字認識処理を行う。なお、画像処理部２５２による文字認識処理では、たとえば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）技術が用いられる。 The image processing unit 252 includes an image processing circuit, an image processing memory, and the like. The image processing unit 252 performs image processing such as enlargement / reduction and density conversion on the image data. Further, the image processing unit 252 performs a character recognition process that is a process of recognizing characters included in the image data. In the character recognition processing by the image processing unit 252, for example, an OCR (Optical Character Reader) technique is used.
画像処理部２５２に文字認識処理を行わせるため、たとえば、パターンマッチング用の文字パターン（標準パターン）を格納する文字データベースが複合機メモリー２４０に記憶される。そして、画像処理部２５２は、文字認識処理を行うとき、文字認識処理の対象となる画像データから文字画像を抽出する。このとき、画像処理部２５２は、画像データに対してレイアウト解析などを行って文字領域を特定し、当該文字領域から１文字ずつ文字画像を切り出す（抽出する）。その後、画像処理部２５２は、文字データベースに格納された文字パターンと抽出文字画像とを比較する処理（マッチング処理）を行い、その比較結果に基づき文字を認識する。 In order to cause the image processing unit 252 to perform character recognition processing, for example, a character database storing character patterns for pattern matching (standard patterns) is stored in the multi-function device memory 240. Then, when performing the character recognition process, the image processing unit 252 extracts a character image from the image data to be subjected to the character recognition process. At this time, the image processing unit 252 specifies a character area by performing layout analysis or the like on the image data, and cuts out (extracts) a character image character by character from the character area. Thereafter, the image processing unit 252 performs a process (matching process) for comparing the character pattern stored in the character database with the extracted character image, and recognizes the character based on the comparison result.
複合機通信部２６０は、外部機器との間で通信を行うための通信インターフェースである。複合機通信部２６０は、ヘッドマウントディスプレイ装置３００と通信可能に接続され、ヘッドマウントディスプレイ装置３００との間でデータを送受信する。また、複合機通信部２６０は、学習者や指導者により使用されるパーソナルコンピューター（ＰＣ）４００と通信可能に接続され、ＰＣ４００との間でデータを送受信する。 The multi-function device communication unit 260 is a communication interface for performing communication with an external device. The multifunction device communication unit 260 is communicably connected to the head mounted display device 300, and transmits and receives data to and from the head mounted display device 300. The multifunction device communication unit 260 is communicably connected to a personal computer (PC) 400 used by a learner or an instructor, and transmits / receives data to / from the PC 400.
＜ヘッドマウントディスプレイ装置の構成＞
ヘッドマウントディスプレイ装置３００は、ウェアラブルデバイスなどと称されるものであり、学習者により装着される。このヘッドマウントディスプレイ装置３００は、眼鏡型であって、眼鏡のレンズ部分に相当する部分に画像を表示する（学習者の眼前に画像を表示する）。
<Configuration of head-mounted display device>
The head mounted display device 300 is called a wearable device or the like and is worn by a learner. This head-mounted display device 300 is a glasses type, and displays an image on a portion corresponding to the lens portion of the glasses (displays an image in front of the learner's eyes).
ヘッドマウントディスプレイ装置３００は、表示部３１０、撮像部３２０、操作部３３０、ディスプレイメモリー３４０、ディスプレイ制御部３５０およびディスプレイ通信部３６０を備える。 The head mounted display device 300 includes a display unit 310, an imaging unit 320, an operation unit 330, a display memory 340, a display control unit 350, and a display communication unit 360.
表示部３１０は、ヘッドマウントディスプレイ装置３００を学習者が装着したときに、学習者の眼と対向する位置に配置される。そして、表示部３１０は、種々の画像を表示する。ここで、表示部３１０は、外光を透過させることが可能な透過型（シースルー型）である。たとえば、表示部３１０は、ハーフミラーなどを含み、表示画像をハーフミラーによって学習者の目に向けて反射する。このとき、外光はハーフミラーを透過して学習者の目に入射する。すなわち、ヘッドマウントディスプレイ装置３００を学習者が装着した場合（学習者の眼前がヘッドマウントディスプレイ装置３００によって塞がれた場合）であっても、学習者は外側の景色を視認することができる。 The display unit 310 is disposed at a position facing the learner's eyes when the learner wears the head mounted display device 300. The display unit 310 displays various images. Here, the display unit 310 is a transmission type (see-through type) capable of transmitting external light. For example, the display unit 310 includes a half mirror and the like, and reflects the display image toward the learner's eyes by the half mirror. At this time, external light passes through the half mirror and enters the eyes of the learner. That is, even when the learner wears the head-mounted display device 300 (when the learner's eyes are blocked by the head-mounted display device 300), the learner can visually recognize the outside scenery.
撮像部３２０は、ＣＣＤカメラなどを含み、ヘッドマウントディスプレイ装置３００を装着した学習者の視界方向の撮像が可能な位置に配置される。操作部３３０は、ハードウェアキーなどを含み、各種設定を行うための操作（ハードウェアキーに対する押下操作）を受け付ける。 The imaging unit 320 includes a CCD camera or the like, and is arranged at a position where imaging in the visual field direction of the learner wearing the head mounted display device 300 is possible. The operation unit 330 includes hardware keys and the like, and accepts operations for performing various settings (press operations on the hardware keys).
ディスプレイメモリー３４０は、ヘッドマウントディスプレイ装置３００を制御するためのプログラムおよびデータを記憶する。ディスプレイ制御部３５０は、ＣＰＵなどを含み、ディスプレイメモリー３４０に記憶されたプログラムおよびデータに基づき、表示部３１０の表示動作や撮像部３２０の撮像動作を制御する。 The display memory 340 stores a program and data for controlling the head mounted display device 300. The display control unit 350 includes a CPU and the like, and controls the display operation of the display unit 310 and the imaging operation of the imaging unit 320 based on programs and data stored in the display memory 340.
ディスプレイ通信部３６０は、外部機器との間で通信を行うための通信インターフェースである。ディスプレイ通信部３６０は、複合機２００（複合機通信部２６０）と通信可能に接続され、複合機２００との間でデータを送受信する。なお、ディスプレイ通信部３６０を介して、学習者や指導者が所有する携帯端末（携帯電話、スマートフォンおよびタブレット端末など）とヘッドマウントディスプレイ装置３００との間で通信が行われてもよい。この場合、学習者や指導者が所有する携帯端末を用いて、ヘッドマウントディスプレイ装置３００に関する設定を行うことができる。 The display communication unit 360 is a communication interface for performing communication with an external device. The display communication unit 360 is communicably connected to the multi-function device 200 (multi-function device communication unit 260), and transmits / receives data to / from the multi-function device 200. Note that communication may be performed between the mobile terminal (such as a mobile phone, a smartphone, and a tablet terminal) owned by a learner or a leader and the head mounted display device 300 via the display communication unit 360. In this case, the setting regarding the head mounted display device 300 can be performed using a mobile terminal owned by a learner or an instructor.
＜手本文字の画像の登録＞
文字学習システム１００を用いて文字の書き方を学習する場合には、複合機２００に手本文字の画像を予め登録しておく必要がある。たとえば、複合機制御部２５０は、登録すべき手本文字の画像を含む登録情報を複合機通信部２６０がＰＣ４００から受信すると、登録情報に含まれる手本文字の画像を登録する。なお、登録対象の手本文字の画像は複合機メモリー２４０に記憶される。
<Registering the model letter image>
When learning how to write characters using the character learning system 100, it is necessary to register an example character image in the multifunction device 200 in advance. For example, when the multifunction peripheral communication unit 260 receives registration information including an image of a model character to be registered from the PC 400, the multifunction device control unit 250 registers the image of the model character included in the registration information. The image of the model character to be registered is stored in the multi-function device memory 240.
あるいは、複合機制御部２５０は、操作パネル２３０に対して登録モード移行操作が行われたことを検知すると、複合機２００を登録モード（手本文字の画像を登録するためのモード）に移行させる。たとえば、操作パネル２３０は、登録モード移行キー（図示せず）を表示することにより、登録モード移行操作の受け付けを行う。なお、ヘッドマウントディスプレイ装置３００（操作部３３０）に対する操作によっても、複合機２００を登録モードに移行させることができる。 Alternatively, when the multifunction device control unit 250 detects that a registration mode transition operation has been performed on the operation panel 230, the multifunction device control unit 250 causes the multifunction device 200 to transition to a registration mode (a mode for registering a model character image). . For example, operation panel 230 accepts a registration mode transition operation by displaying a registration mode transition key (not shown). Note that the multifunction device 200 can be shifted to the registration mode also by an operation on the head mounted display device 300 (operation unit 330).
登録モードに移行すると、複合機制御部２５０は、手本文字の画像のスキャンを促すメッセージを操作パネル２３０に表示させる。これにより、学習者や指導者によって、手本文字の画像を原稿画像として含む手本文字原稿が複合機２００にセットされ、スキャンの実行を指示するためのスキャンスタート操作が操作パネル２３０に対して行われる。 When the registration mode is entered, the MFP controller 250 causes the operation panel 230 to display a message that prompts the user to scan a model character image. As a result, a model character original including a model character image as a document image is set on the multi-function peripheral 200 by the learner or instructor, and a scan start operation for instructing execution of scanning is performed on the operation panel 230. Done.
操作パネル２３０に対してスキャンスタート操作が行われたことを検知すると、複合機制御部２５０は、手本文字原稿の読み取りを画像読取部２１０に行わせる。すなわち、画像読取部２１０は、手本文字原稿の画像データを生成する。この後、複合機制御部２５０（画像処理部２５２）は、手本文字原稿の画像データに対して文字認識処理を行うことによって文字を認識し、当該認識した文字の画像を手本文字の画像として登録する（複合機メモリー２４０に記憶させる）。 When it is detected that a scan start operation has been performed on the operation panel 230, the multi-function device control unit 250 causes the image reading unit 210 to read a model character document. That is, the image reading unit 210 generates image data of a model character document. Thereafter, the multifunction device control unit 250 (image processing unit 252) recognizes the character by performing character recognition processing on the image data of the model character document, and converts the recognized character image into the model character image. Is registered (stored in the multifunction device memory 240).
なお、学習アプリＡＰの提供者が管理するサーバーから、手本文字の画像が複合機２００にダウンロードされてもよい。 Note that an image of a model character may be downloaded to the multifunction device 200 from a server managed by the provider of the learning application AP.
＜手本文字の表示＞
以下、図２に示すフローチャートを参照し、手本文字を表示するときの処理の流れについて説明する。図２に示すフローチャートは、複合機２００にインストールされた学習アプリＡＰが起動したときにスタートする。なお、学習アプリＡＰは、操作パネル２３０に対してアプリ起動操作を行うことによって起動することができる。あるいは、学習アプリＡＰの起動命令をヘッドマウントディスプレイ装置３００から複合機２００に送信することによっても学習アプリＡＰを起動することができる。
<Display of model letter>
Hereinafter, the flow of processing when displaying a model character will be described with reference to the flowchart shown in FIG. The flowchart shown in FIG. 2 starts when the learning application AP installed in the multifunction device 200 is activated. Note that the learning application AP can be activated by performing an application activation operation on the operation panel 230. Alternatively, the learning application AP can also be activated by transmitting a learning application AP activation command from the head-mounted display device 300 to the multifunction device 200.
ステップＳ１において、複合機制御部２５０は、手本文字の選択受付を操作パネル２３０に行わせる。たとえば、操作パネル２３０は、登録済みの手本文字を示す情報を選択肢として表示し、手本文字の選択を受け付ける。 In step S <b> 1, the multifunction device control unit 250 causes the operation panel 230 to accept selection of a model character. For example, the operation panel 230 displays information indicating registered model characters as options and accepts selection of model characters.
その後、ステップＳ２において、複合機制御部２５０は、複合機通信部２６０を介し、選択された手本文字の画像をヘッドマウントディスプレイ装置３００に送信する。すなわち、ヘッドマウントディスプレイ装置３００は、選択された手本文字の画像を複合機２００から取得する（選択された手本文字の画像をディスプレイ通信部３６０が受信する）。 Thereafter, in step S <b> 2, the multifunction device control unit 250 transmits the image of the selected model character to the head mounted display device 300 via the multifunction device communication unit 260. That is, the head-mounted display device 300 acquires an image of the selected model character from the multi-function device 200 (the display communication unit 360 receives the image of the selected model character).
選択された手本文字の画像をディスプレイ通信部３６０が受信すると、ステップＳ３において、ディスプレイ制御部３５０は、選択された手本文字の画像をディスプレイメモリー３４０に記憶させる。そして、ステップＳ４において、ディスプレイ制御部３５０は、選択された手本文字を表示部３１０に表示させる。 When the display communicator 360 receives the selected model character image, the display control unit 350 causes the display memory 340 to store the selected model character image in step S3. In step S4, the display control unit 350 causes the display unit 310 to display the selected model character.
ヘッドマウントディスプレイ装置３００に手本文字が表示されると、ヘッドマウントディスプレイ装置３００を装着した学習者により手本文字が視認される。このときの学習者の視界の一例を図３に示す。図３では、「Ａ」という文字を手本文字とした場合を図示する（以下の説明で参照する図面についても同様とする）。 When the model characters are displayed on the head mounted display device 300, the model characters are visually recognized by the learner wearing the head mounted display device 300. An example of the field of view of the learner at this time is shown in FIG. FIG. 3 illustrates a case where the letter “A” is used as a model character (the same applies to the drawings referred to in the following description).
図３に示すように、ヘッドマウントディスプレイ装置３００は透過型であるので、ヘッドマウントディスプレイ装置３００を学習者が装着した状態であっても、学習者は学習用紙５００（学習対象の文字を手本文字に沿って手書きするための用紙）を視認することができる。すなわち、学習者からすると、学習用紙５００の表面に手本文字が写っているように見える。これにより、手本文字に対応する文字の書き方を練習することができる（手本文字をなぞることができる）。なお、図３では、ヘッドマウントディスプレイ装置３００の表示領域（表示部３１０）を破線で示す。 As shown in FIG. 3, since the head-mounted display device 300 is a transmission type, even when the learner wears the head-mounted display device 300, the learner can use the learning paper 500 (the character to be learned as an example). (Paper for handwriting along the characters) can be visually recognized. That is, for the learner, it appears that the model characters appear on the surface of the learning paper 500. Thereby, it is possible to practice how to write a character corresponding to the model character (it is possible to trace the model character). In FIG. 3, the display area (display unit 310) of the head mounted display device 300 is indicated by a broken line.
ここで、ディスプレイ制御部３５０は、手本文字を表示部３１０に表示させるとき、撮像部３２０による撮像を行う。なお、撮像部３２０による撮像は、表示部３１０による手本文字の表示開始をトリガーとして開始される。あるいは、操作部３２０に対して撮像開始操作が行われたことを受けて、撮像部３２０による撮像が開始される。そして、ディスプレイ制御部３５０は、撮像部３２０が撮像した撮像画像に基づき、学習用紙５００の縁を認識し、学習用紙５００の縁に対して手本文字の位置が移動しないように手本文字を表示部３１０に表示させる。これにより、図４に示すように、ヘッドマウントディスプレイ装置３００を装着した学習者が頭部を動かしても（学習用紙５００の縁に対して表示部３１０の位置が移動しても）、学習用紙５００の縁に対する手本文字の位置は移動しない。 Here, the display control unit 350 performs imaging by the imaging unit 320 when displaying the model character on the display unit 310. Note that the imaging by the imaging unit 320 is triggered by the start of display of a model character by the display unit 310 as a trigger. Alternatively, in response to the operation for starting imaging performed on the operation unit 320, imaging by the imaging unit 320 is started. Then, the display control unit 350 recognizes the edge of the learning sheet 500 based on the captured image captured by the imaging unit 320 and sets the model character so that the position of the model character does not move with respect to the edge of the learning sheet 500. It is displayed on the display unit 310. As a result, as shown in FIG. 4, even if the learner wearing the head-mounted display device 300 moves the head (even if the position of the display unit 310 moves with respect to the edge of the learning paper 500), the learning paper The position of the model character with respect to the edge of 500 does not move.
＜手書き文字の文字評価＞
以下に、図５に示すフローチャートを参照し、手書き文字が正しく書かれているか否かを評価する文字評価を行うときの処理の流れについて説明する。図５に示すフローチャートは、複合機２００が評価モード（手書き文字を評価するためのモード）に移行したときにスタートする。
<Evaluation of handwritten characters>
Hereinafter, a flow of processing when character evaluation for evaluating whether or not a handwritten character is correctly written will be described with reference to the flowchart shown in FIG. The flowchart shown in FIG. 5 starts when the multi-function device 200 shifts to an evaluation mode (a mode for evaluating handwritten characters).
なお、複合機制御部２５０は、操作パネル２３０に対して評価モード移行操作が行われたことを検知すると、複合機２００を評価モードに移行させる。たとえば、操作パネル２３０は、評価モード移行キー（図示せず）を表示することにより、評価モード移行操作の受け付けを行う。あるいは、ヘッドマウントディスプレイ装置３００（操作部３３０）に対する操作によっても、複合機２００を評価モードに移行させることができる。 When the multifunction device control unit 250 detects that an evaluation mode transition operation has been performed on the operation panel 230, the multifunction device 200 causes the multifunction device 200 to transition to the evaluation mode. For example, operation panel 230 accepts an evaluation mode transition operation by displaying an evaluation mode transition key (not shown). Alternatively, the multifunction device 200 can be shifted to the evaluation mode also by an operation on the head mounted display device 300 (operation unit 330).
評価モードに移行すると、ステップＳ１１において、複合機制御部２５０は、学習用紙５００（手書き文字の画像）の読み取りを画像読取部２１０に行わせる。すなわち、画像読取部２１０は、学習用紙５００の画像データを生成する。 When the evaluation mode is entered, in step S11, the multifunction device control unit 250 causes the image reading unit 210 to read the learning paper 500 (an image of handwritten characters). That is, the image reading unit 210 generates image data of the learning paper 500.
たとえば、複合機制御部２５０は、学習用紙５００のスキャンを促すメッセージを操作パネル２３０に表示させる。これにより、学習者や指導者によって、学習用紙５００が複合機２００にセットされ、スキャンの実行を指示するためのスキャンスタート操作が操作パネル２３０に対して行われる。 For example, the MFP controller 250 causes the operation panel 230 to display a message that prompts the user to scan the learning sheet 500. As a result, the learning paper 500 is set in the multifunction device 200 by the learner or instructor, and a scan start operation for instructing execution of the scan is performed on the operation panel 230.
そして、複合機制御部２５０は、操作パネル２３０に対してスキャンスタート操作が行われたことを検知すると、学習用紙５００の読み取りを画像読取部２１０に開始させる。これにより、画像読取部２１０によって学習用紙５００の読み取りが行われ、学習用紙５００に手書きされた手書き文字の画像が複合機２００に入力される。この構成では、画像読取部２１０が「入力部」に相当する。なお、学習用紙５００に手書きされた手書き文字の画像をヘッドマウントディスプレイ装置３００の撮像部３２０により撮像し、それによって得られた撮像画像（手書き文字の画像）を複合機２００に送信（入力）してもよい。 When the multifunction device control unit 250 detects that a scan start operation has been performed on the operation panel 230, the multifunction device control unit 250 causes the image reading unit 210 to start reading the learning sheet 500. As a result, the learning paper 500 is read by the image reading unit 210, and an image of handwritten characters handwritten on the learning paper 500 is input to the multifunction device 200. In this configuration, the image reading unit 210 corresponds to an “input unit”. An image of a handwritten character handwritten on the learning paper 500 is captured by the imaging unit 320 of the head mounted display device 300, and a captured image (handwritten character image) obtained thereby is transmitted (input) to the multi-function device 200. May be.
続いて、ステップＳ１２において、複合機制御部２５０（画像処理部２５２）は、学習用紙５００の画像データに対して文字認識処理を行うことによって、学習用紙５００に手書きされた手書き文字を認識する。なお、当該認識された手書き文字は文字評価の評価対象文字となる。 Subsequently, in step S <b> 12, the multifunction device control unit 250 (image processing unit 252) recognizes handwritten characters handwritten on the learning paper 500 by performing character recognition processing on the image data of the learning paper 500. Note that the recognized handwritten character is an evaluation target character for character evaluation.
そして、ステップＳ１３において、複合機制御部２５０（画像処理部２５２）は、手書き文字の画像と手本文字の画像とを比較する比較処理を行う。この比較処理では、たとえば、手書き文字の画像と手本文字の画像とがどの程度類似しているかを示す類似度が求められる。 In step S13, the multifunction device control unit 250 (image processing unit 252) performs a comparison process for comparing the image of the handwritten character with the image of the model character. In this comparison process, for example, a degree of similarity indicating how similar a handwritten character image and a model character image are obtained.
その後、ステップＳ１４において、複合機制御部２５０は、文字評価の評価結果を学習者や指導者に報知するための報知処理を行う。たとえば、複合機制御部２５０は、報知処理として、評価結果を示すレポート用紙６００（図６参照）の印刷出力を印刷部２２０に行わせる。 Thereafter, in step S14, the multifunction device control unit 250 performs a notification process for notifying the learner and the instructor of the evaluation result of the character evaluation. For example, the multifunction device control unit 250 causes the printing unit 220 to print out a report sheet 600 (see FIG. 6) indicating the evaluation result as the notification process.
図６に示すように、レポート用紙６００には、評価結果として、手本文字の画像に対する手書き文字の画像の類似度を点数として示した点数情報６１が印刷される。また、図示しないが、手書き文字の画像に手本文字の画像を重ね合わせた画像（添削結果を示す情報）がレポート用紙６００に印刷されてもよい。 As shown in FIG. 6, on the report sheet 600, score information 61 indicating the similarity of the handwritten character image to the model character image as a score is printed as an evaluation result. Although not shown, an image (information indicating the correction result) obtained by superimposing a model character image on a handwritten character image may be printed on the report sheet 600.
さらに、学習者の氏名、学校名および学年などを示す情報６２がレポート用紙６００に印刷されてもよい。たとえば、学習者の氏名などの個人情報は、複合機２００に予め登録される。そして、学習用紙５００の読み取りに先立って、複合機２００に登録された個人情報のうちから対象者の選択受付が行われる。また、学習日（評価日）を示す情報６３がレポート用紙６００に印刷されてもよい。 Furthermore, information 62 indicating the learner's name, school name, grade, and the like may be printed on the report sheet 600. For example, personal information such as a learner's name is registered in the multifunction device 200 in advance. Prior to reading the learning sheet 500, the target person is selected from the personal information registered in the multifunction device 200. In addition, information 63 indicating a learning date (evaluation date) may be printed on the report sheet 600.
なお、報知処理として、操作パネル２３０に評価結果を表示するための処理が行われてもよい（操作パネル２３０に評価結果を表示してもよい）。また、ヘッドマウントディスプレイ装置３００に評価結果を送信し、ヘッドマウントディスプレイ装置３００にて評価結果の表示を行ってもよい。さらに、ＰＣ４００に評価結果を送信し、ＰＣ４００にて評価結果の表示を行ってもよい。 As the notification process, a process for displaying the evaluation result on the operation panel 230 may be performed (the evaluation result may be displayed on the operation panel 230). Further, the evaluation result may be transmitted to the head mounted display device 300 and the evaluation result may be displayed on the head mounted display device 300. Furthermore, the evaluation result may be transmitted to the PC 400, and the evaluation result may be displayed on the PC 400.
＜手本文字の画像の再送信＞
複合機制御部２５０は、手書き文字の文字評価を行った後（学習者に評価結果を報知するための報知処理を行った後）、評価済みの文字と同一文字の学習を続行するか否かの設定受付を操作パネル２３０に行わせる。そして、複合機制御部２５０は、同一文字の学習を続行する旨を操作パネル２３０が受け付けると、当該文字に対応する手本文字の画像をヘッドマウントディスプレイ装置３００に再送信する。なお、ヘッドマウントディスプレイ装置３００（操作部３３０）を操作することによっても、評価済みの文字と同一文字の学習を続行するか否かの設定を行える。
<Re-transmission of model image>
The multifunction device control unit 250 determines whether or not to continue learning the same character as the evaluated character after evaluating the character of the handwritten character (after performing the notification process for notifying the learner of the evaluation result). The operation panel 230 is made to accept the setting. When the operation panel 230 accepts that the learning of the same character is continued, the multifunction device control unit 250 retransmits an image of a model character corresponding to the character to the head mounted display device 300. Note that it is also possible to set whether or not to continue learning the same character as the evaluated character by operating the head mounted display device 300 (operation unit 330).
ここで、複合機制御部２５０は、文字評価を行った後、評価済みの文字に対応する手本文字の画像をヘッドマウントディスプレイ装置３００に再送信するとき、評価済みの文字の文字評価を行ったときに求めた類似度に応じて、ヘッドマウントディスプレイ装置３００に再送信する手本文字の画像を変化させる。すなわち、ヘッドマウントディスプレイ装置３００に表示される手本文字の表示形態は、文字評価の評価結果（類似度）に応じて変化する。 Here, after performing character evaluation, the MFP controller 250 performs character evaluation of the evaluated character when retransmitting an image of a model character corresponding to the evaluated character to the head mounted display device 300. The image of the model character retransmitted to the head mounted display device 300 is changed according to the similarity obtained at the time. That is, the display form of the model character displayed on the head mounted display device 300 changes according to the evaluation result (similarity) of the character evaluation.
第１の形態として、複合機制御部２５０は、文字評価において求めた類似度に応じて、ヘッドマウントディスプレイ装置３００に再送信する手本文字の画像の濃度（色）を変化させる。 As a first form, the MFP controller 250 changes the density (color) of the model character image to be retransmitted to the head mounted display device 300 according to the similarity obtained in the character evaluation.
たとえば、複合機制御部２５０は、文字評価において求めた類似度が予め定められた閾値以上であるか否かを判断する。その結果、類似度が閾値以上であると判断した場合、複合機制御部２５０は、ヘッドマウントディスプレイ装置３００に再送信する手本文字の画像の濃度を前回の濃度（ヘッドマウントディスプレイ装置３００に前回送信した手本文字の画像の濃度）よりも薄くする。これにより、図７に示すように、文字評価の評価結果が比較的良かった場合（類似度が閾値以上であった場合）には、ヘッドマウントディスプレイ装置３００に今回表示される手本文字の濃度が前回表示された手本文字の濃度よりも薄くなる。 For example, the multifunction device control unit 250 determines whether or not the similarity obtained in character evaluation is equal to or greater than a predetermined threshold. As a result, when it is determined that the similarity is equal to or higher than the threshold value, the multi-function controller 250 sets the density of the model character image to be retransmitted to the head mounted display device 300 to the previous density (the previous time to the head mounted display device 300). The density is lower than the image density of the transmitted model text. Thereby, as shown in FIG. 7, when the evaluation result of the character evaluation is relatively good (when the similarity is equal to or greater than the threshold value), the density of the sample character displayed this time on the head mounted display device 300 Becomes lighter than the density of the model letter displayed last time.
一方で、類似度が閾値未満であると判断した場合、複合機制御部２５０は、ヘッドマウントディスプレイ装置３００に再送信する手本文字の画像の濃度を前回の濃度よりも濃くする（または、前回の濃度と同じ濃度にしてもよい）。これにより、図示しないが、文字評価の評価結果が比較的悪かった場合（類似度が閾値未満であった場合）には、ヘッドマウントディスプレイ装置３００に今回表示される手本文字の濃度が前回表示された手本文字の濃度よりも濃くなる。 On the other hand, if it is determined that the similarity is less than the threshold value, the multifunction device control unit 250 makes the density of the image of the model character retransmitted to the head mounted display device 300 higher than the previous density (or the previous time). May be the same concentration as the above). Thereby, although not shown, when the evaluation result of the character evaluation is relatively poor (when the similarity is less than the threshold), the density of the sample character displayed this time on the head mounted display device 300 is displayed last time. It becomes darker than the density of the model letter.
また、たとえば、文字の類似度は複数レベルに分類される。さらに、文字の類似度が高いほど、対応する濃度が薄くなるように、各レベルの類似度にそれぞれ対応する濃度が予め定められる。そして、複合機制御部２５０は、評価済みの文字に対応する手本文字の画像をヘッドマウントディスプレイ装置３００に再送信するとき、評価済みの文字の文字評価を行ったときに求めた類似度に対応する濃度を対象濃度として判別し、ヘッドマウントディスプレイ装置３００に再送信する手本文字の画像の濃度を対象濃度とする。 For example, the similarity of characters is classified into a plurality of levels. Furthermore, the density corresponding to each level of similarity is determined in advance so that the higher the similarity of characters, the lower the corresponding density. Then, when the MFP control unit 250 retransmits an image of a model character corresponding to the evaluated character to the head mounted display device 300, the multifunction device control unit 250 uses the similarity obtained when character evaluation of the evaluated character is performed. The corresponding density is determined as the target density, and the density of the model character image retransmitted to the head mounted display device 300 is set as the target density.
なお、評価済みの文字に対応する手本文字の画像をヘッドマウントディスプレイ装置３００に再送信するときに、評価済みの文字の文字評価を行ったときに求めた類似度に応じて、ヘッドマウントディスプレイ装置３００に再送信する手本文字の画像の色を変化させてもよい。この場合には、たとえば、文字の類似度が複数レベルに分類され、各レベルの類似度にそれぞれ対応する色が予め定められる。そして、複合機制御部２５０は、評価済みの文字に対応する手本文字の画像をヘッドマウントディスプレイ装置３００に再送信するとき、評価済みの文字の文字評価を行ったときに求めた類似度に対応する色を対象色として判別し、ヘッドマウントディスプレイ装置３００に再送信する手本文字の画像の色を対象色とする。 In addition, when retransmitting the image of the model character corresponding to the evaluated character to the head mounted display device 300, the head mounted display is determined according to the similarity obtained when the character evaluation of the evaluated character is performed. The color of the image of the model character retransmitted to the apparatus 300 may be changed. In this case, for example, the similarity of characters is classified into a plurality of levels, and colors corresponding to the similarity of each level are determined in advance. Then, when the MFP control unit 250 retransmits an image of a model character corresponding to the evaluated character to the head mounted display device 300, the multifunction device control unit 250 uses the similarity obtained when character evaluation of the evaluated character is performed. The corresponding color is determined as the target color, and the color of the model character image retransmitted to the head mounted display device 300 is set as the target color.
第２の形態として、複合機制御部２５０は、評価済みの文字に対応する手本文字の画像をヘッドマウントディスプレイ装置３００に再送信するとき、手書き文字（評価対象文字）の画像と手本文字の画像とを比較し、手書き文字の画像と手本文字の画像とが一致する一致部分を判別する。その後、複合機制御部２５０は、手本文字の画像から手書き文字の画像と一致する部分を消去した画像を新たな手本文字の画像として生成する。 As a second form, when the MFP controller 250 retransmits an image of a model character corresponding to the evaluated character to the head mounted display device 300, the image of the handwritten character (evaluation target character) and the model character Are compared with each other to determine a matching portion where the handwritten character image matches the model character image. After that, the MFP controller 250 generates, as a new model character image, an image obtained by erasing a portion that matches the handwritten character image from the model character image.
そして、複合機制御部２５０は、複合機通信部２６０を介し、新たな手本文字の画像をヘッドマウントディスプレイ装置３００に送信する。これにより、図８に示すように、ヘッドマウントディスプレイ装置３００に今回表示される手本文字からは、一致部分が省略される。図８（右側の図）では、一致部分を破線で示す（当該破線は実際には表示されない）。 Then, the multifunction device control unit 250 transmits an image of a new model character to the head mounted display device 300 via the multifunction device communication unit 260. As a result, as shown in FIG. 8, the matching portion is omitted from the model character displayed this time on the head mounted display device 300. In FIG. 8 (right figure), the coincidence portion is indicated by a broken line (the broken line is not actually displayed).
第３の形態として、複合機制御部２５０は、評価済みの文字に対応する手本文字の画像をヘッドマウントディスプレイ装置３００に再送信するとき、文字評価において求めた類似度が予め定められた閾値以上であるか否かを判断する。その結果、類似度が閾値以上であると判断した場合、複合機制御部２５０は、手本文字の画像から、書き始め部分および書き終わり部分以外の部分を消去した画像を新たな手本文字の画像として生成する。 As a third form, when the MFP control unit 250 retransmits an image of a model character corresponding to the evaluated character to the head mounted display device 300, the similarity obtained in the character evaluation is a predetermined threshold value. It is determined whether this is the case. As a result, when it is determined that the similarity is equal to or greater than the threshold, the multi-function peripheral control unit 250 deletes an image obtained by erasing a portion other than the writing start portion and the writing end portion from the sample character image. Generate as an image.
そして、複合機制御部２５０は、複合機通信部２６０を介し、新たな手本文字の画像をヘッドマウントディスプレイ装置３００に送信する。これにより、図９に示すように、ヘッドマウントディスプレイ装置３００に今回表示される手本文字からは、書き始め部分および書き終わり部分以外の部分が省略される。なお、類似度が閾値未満であれば、書き始め部分および書き終わり部分以外の部分は省略されない。図１０（右側の図）では、書き始め部分および書き終わり部分以外の部分を破線で示す（当該破線は実際には表示されない）。 Then, the multifunction device control unit 250 transmits an image of a new model character to the head mounted display device 300 via the multifunction device communication unit 260. As a result, as shown in FIG. 9, portions other than the writing start portion and the writing end portion are omitted from the model character displayed on the head mounted display device 300 this time. If the similarity is less than the threshold value, portions other than the writing start portion and the writing end portion are not omitted. In FIG. 10 (right figure), portions other than the writing start portion and the writing end portion are indicated by broken lines (the broken lines are not actually displayed).
＜補助画像の付加＞
複合機制御部２５０は、手本文字の画像（新たな手本文字の画像も含む）をヘッドマウントディスプレイ装置３００に送信するとき、手本文字に沿った文字を学習者に書かせるための補助画像７０（図１０〜図１２参照）を付加する。すなわち、ヘッドマウントディスプレイ装置３００には、補助画像７０を付加した手本文字が表示される。
<Adding auxiliary images>
The multifunction device control unit 250 assists the learner to write a character along the model character when transmitting the model character image (including the new model character image) to the head mounted display device 300. An image 70 (see FIGS. 10 to 12) is added. In other words, on the head mounted display device 300, a model character to which the auxiliary image 70 is added is displayed.
たとえば、図１０に示すように、ディスプレイ制御部３５０は、補助画像７０として枠画像７１を付加した手本文字を表示部３１０に表示させる。この枠画像７１は、枠内に文字を書かせるための画像である。図１０では、一例として、四角形状の枠画像７１を図示するが、枠画像７１の形状は特に限定されない。すなわち、枠画像７１の形状が円形状であってもよいし、他の形状であってもよい。 For example, as illustrated in FIG. 10, the display control unit 350 causes the display unit 310 to display a model character to which the frame image 71 is added as the auxiliary image 70. This frame image 71 is an image for writing characters in the frame. In FIG. 10, a rectangular frame image 71 is illustrated as an example, but the shape of the frame image 71 is not particularly limited. That is, the shape of the frame image 71 may be a circular shape or other shapes.
なお、図１１に示すように、補助画像７０として中心線画像７２を付加した手本文字を表示部３１０に表示させてもよい。この中心線画像７２は、手本文字の中心を示す画像である。図１１では、一例として、縦線と横線とを含む中心線画像７２を図示するが、縦線および横線のうち一方のみからなる画像を中心線画像７２としてもよい。あるいは、図１２に示すように、補助画像７０として罫線画像７３を付加した手本文字を表示部３１０に表示させてもよい。 As shown in FIG. 11, a model character to which the center line image 72 is added as the auxiliary image 70 may be displayed on the display unit 310. The center line image 72 is an image showing the center of the model character. In FIG. 11, the center line image 72 including vertical lines and horizontal lines is illustrated as an example, but an image including only one of the vertical lines and horizontal lines may be used as the center line image 72. Alternatively, as shown in FIG. 12, a model character to which a ruled line image 73 is added as the auxiliary image 70 may be displayed on the display unit 310.
さらに、図示しないが、枠画像７１、中心線画像７２および罫線画像７３のうち、２つ以上を組み合わせた画像を補助画像７０として手本文字に付加してもよい。また、図示しないが、枠画像７１、中心線画像７２および罫線画像７３とは異なる画像を補助画像７０として手本文字に付加してもよい。 Further, although not shown, an image obtained by combining two or more of the frame image 71, the center line image 72, and the ruled line image 73 may be added to the model character as the auxiliary image 70. Although not shown, an image different from the frame image 71, the center line image 72, and the ruled line image 73 may be added to the model character as the auxiliary image 70.
ここで、複合機制御部２５０は、補助画像７０の表示サイズの受け付けを操作パネル２３０に行わせる。すなわち、補助画像７０の表示サイズは変更可能である。たとえば、図１０に示した枠画像７１については、操作パネル２３０に対してサイズ設定操作（補助画像７０のサイズを設定するための操作）を行うことにより、枠画像７１の外形サイズを変更することができる。図１１に示した中心線画像７２については、操作パネル２３０に対してサイズ設定操作を行うことにより、中心線を成す線の長さを変更することができる。図１２に示した罫線画像７３については、操作パネル２３０に対してサイズ設定操作を行うことにより、罫線の長さや、罫線間の間隔を変更することができる。 Here, the MFP controller 250 causes the operation panel 230 to accept the display size of the auxiliary image 70. That is, the display size of the auxiliary image 70 can be changed. For example, with respect to the frame image 71 shown in FIG. 10, the size of the frame image 71 is changed by performing a size setting operation (operation for setting the size of the auxiliary image 70) on the operation panel 230. Can do. With respect to the center line image 72 shown in FIG. 11, the length of the line forming the center line can be changed by performing a size setting operation on the operation panel 230. With respect to the ruled line image 73 shown in FIG. 12, the length of the ruled lines and the interval between the ruled lines can be changed by performing a size setting operation on the operation panel 230.
本実施形態の文字学習システム１００は、上記のように、文字の書き方を学習する学習者により装着される透過型のヘッドマウントディスプレイ装置３００と、ヘッドマウントディスプレイ装置３００に通信可能に接続されるとともに、手本文字の画像を記憶する複合機２００（情報処理装置）と、を備える。そして、ヘッドマウントディスプレイ装置３００は、複合機２００から送信される手本文字の画像を取得し、手本文字を表示する。 As described above, the character learning system 100 according to the present embodiment is connected to the transmissive head-mounted display device 300 worn by a learner who learns how to write characters and the head-mounted display device 300 in a communicable manner. A multifunction device 200 (information processing device) that stores an image of a model character. Then, the head mounted display device 300 acquires an example character image transmitted from the multifunction device 200 and displays the example character.
本実施形態の構成では、学習者により装着される透過型のヘッドマウントディスプレイ装置３００に手本文字を表示するので、液晶表示装置などの表示装置の表示面上に学習用紙５００を載置する必要がない。すなわち、学習用紙５００を載置する載置台（机など）を任意に選択することができる。これにより、学習対象の文字を手書きする（手本文字をなぞる）ときの文字の書き易さが向上する。また、厚紙や裏紙などの用紙を学習用紙５００として使用することができる（学習用紙５００を任意に選択することができる）ので、専用の用紙を別途準備する必要がなくなり、学習者の利便性が向上する。 In the configuration of the present embodiment, model characters are displayed on the transmissive head-mounted display device 300 worn by the learner. Therefore, it is necessary to place the learning paper 500 on the display surface of a display device such as a liquid crystal display device. There is no. That is, a placement table (such as a desk) on which the learning paper 500 is placed can be arbitrarily selected. This improves the ease of writing a character when handwriting the character to be learned (tracing a model character). In addition, since paper such as cardboard and backing paper can be used as the learning paper 500 (the learning paper 500 can be arbitrarily selected), it is not necessary to prepare a dedicated paper separately, which is convenient for the learner. Will improve.
また、本実施形態では、上記のように、複合機２００は、学習者により手書きされた手書き文字の画像を入力するための画像読取部２１０（入力部）を含み、手本文字の画像をヘッドマウントディスプレイ装置３００に送信した後、手書き文字の画像が画像読取部２１０を介して入力されると、手書き文字の画像と手本文字の画像とを比較することによって、手書き文字が正しく書かれているか否かを評価する文字評価を行い、その文字評価の評価結果を学習者に報知するための報知処理を行う（レポート用紙６００の印刷出力を印刷部２２０に行わせる）。これにより、手書き文字に対する文字評価の評価結果（学習対象の文字を正しく書けたか否か）を容易に知ることができるので、学習者の利便性が向上する。 In the present embodiment, as described above, the multifunction device 200 includes the image reading unit 210 (input unit) for inputting a handwritten character image handwritten by a learner, and prints an example character image as a head. When the handwritten character image is input via the image reading unit 210 after being transmitted to the mount display device 300, the handwritten character is correctly written by comparing the handwritten character image with the model character image. Character evaluation that evaluates whether or not the character evaluation is performed is performed, and a notification process for notifying the learner of the evaluation result of the character evaluation is performed (the printing unit 220 performs print output of the report sheet 600). Thereby, since the evaluation result (whether or not the character to be learned has been correctly written) for handwritten characters can be easily known, the convenience of the learner is improved.
また、本実施形態では、上記のように、複合機２００は、手書き文字の画像と手本文字の画像とがどの程度類似しているかを示す類似度を評価結果として求める。これにより、手書き文字と手本文字との違い（ズレ）を知ることができるので、学習者の利便性が向上する。 In the present embodiment, as described above, the multi-function device 200 obtains, as an evaluation result, a degree of similarity indicating how similar a handwritten character image and a model character image are. Thereby, since the difference (displacement) between a handwritten character and a model character can be known, a learner's convenience improves.
また、本実施形態では、上記のように、複合機２００は、文字評価を行った後、手本文字の画像をヘッドマウントディスプレイ装置３００に再送信するとき、文字評価において求めた類似度が高いほど、ヘッドマウントディスプレイ装置３００に送信する手本文字の画像の濃度を薄くする（第１の形態）。 In the present embodiment, as described above, when the multifunction device 200 performs character evaluation and then retransmits an image of the model character to the head mounted display device 300, the similarity obtained in character evaluation is high. The density of the image of the model character transmitted to the head mounted display device 300 is decreased (first form).
あるいは、複合機２００は、文字評価を行った後、手本文字の画像をヘッドマウントディスプレイ装置３００に再送信するとき、手本文字の画像から手書き文字の画像と一致する部分を消去した画像を新たな手本文字の画像として生成し、新たな手本文字の画像をヘッドマウントディスプレイ装置３００に送信する（第２の形態）。 Alternatively, when the MFP 200 performs character evaluation and then retransmits the model character image to the head-mounted display device 300, the multifunction device 200 deletes an image obtained by erasing a portion corresponding to the handwritten character image from the model character image. A new model character image is generated, and the new model character image is transmitted to the head-mounted display device 300 (second embodiment).
あるいは、複合機２００は、文字評価を行った後、手本文字の画像をヘッドマウントディスプレイ装置３００に再送信するとき、文字評価において求めた類似度が予め定められた閾値以上であるか否かを判断し、類似度が閾値以上であれば、手本文字の画像から、書き始め部分および書き終わり部分以外の部分を消去した画像を新たな手本文字の画像として生成し、新たな手本文字の画像をヘッドマウントディスプレイ装置３００に送信する（第３の形態）。 Alternatively, when the MFP 200 performs character evaluation and then retransmits the model character image to the head mounted display device 300, whether or not the similarity obtained in the character evaluation is equal to or greater than a predetermined threshold. If the similarity is equal to or greater than the threshold value, an image obtained by erasing portions other than the writing start portion and the writing end portion from the sample character image is generated as a new sample character image. The character image is transmitted to the head mounted display device 300 (third embodiment).
上記第１〜第３の形態では、ヘッドマウントディスプレイ装置３００に表示される手本文字の表示形態を学習者の学習レベルに応じたものにすることができる。すなわち、学習レベルが低い場合（類似度が低い場合）には、手本文字を確実になぞらせるため、手本文字の視認性を高める。そして、学習レベルが高くなると（類似度が高くなると）、手本文字が無くても正しい文字が書けるような練習を学習者に行わせるため、手本文字の濃度を薄くするなどの処理を行う。 In the first to third forms, the display form of the model characters displayed on the head mounted display device 300 can be made according to the learning level of the learner. That is, when the learning level is low (when the degree of similarity is low), the sample character is traced with certainty, so that the visibility of the sample character is improved. When the learning level is high (similarity is high), processing such as reducing the density of the model letters is performed so that the learner can practice writing the correct letters even without the model letters. .
また、本実施形態では、上記のように、複合機２００は、手本文字に沿った文字を学習者に書かせるための補助画像７０を手本文字の画像に付加してヘッドマウントディスプレイ装置３００に送信する。すなわち、ヘッドマウントディスプレイ装置３００は、補助画像７０を付加した手本文字を表示する。また、補助画像７０のサイズは変更可能となっている。このような補助画像７０が手本文字に付加されると、手本文字に沿って文字を書くときの書き易さを向上させることができる。また、補助画像７０のサイズを任意に変更することができるので、学習者にとっては利便性が良い。 Further, in the present embodiment, as described above, the multifunction device 200 adds the auxiliary image 70 for allowing the learner to write a character along the model character to the sample character image, thereby adding the head-mounted display device 300. Send to. That is, the head mounted display device 300 displays a model character to which the auxiliary image 70 is added. Further, the size of the auxiliary image 70 can be changed. When such an auxiliary image 70 is added to the model character, it is possible to improve the ease of writing when writing the character along the model character. Further, since the size of the auxiliary image 70 can be arbitrarily changed, it is convenient for the learner.
今回開示された実施形態は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記実施形態の説明ではなく特許請求の範囲によって示され、さらに、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。 It should be thought that embodiment disclosed this time is an illustration and restrictive at no points. The scope of the present invention is shown not by the description of the above-described embodiment but by the scope of claims for patent, and further includes meanings equivalent to the scope of claims for patent and all modifications within the scope.
１００ 文字学習システム
２００ 複合機（情報処理装置）
２１０ 画像読取部（入力部）
２２０ 印刷部
３００ ヘッドマウントディスプレイ装置
100 character learning system 200 MFP (information processing device)
210 Image reading unit (input unit)
220 Printing unit 300 Head mounted display device
Claims (11)
前記ヘッドマウントディスプレイ装置に通信可能に接続されるとともに、手本文字の画像を記憶する情報処理装置と、を備え、
前記ヘッドマウントディスプレイ装置は、前記情報処理装置から送信される前記手本文字の画像を取得し、前記手本文字を表示することを特徴とする文字学習システム。 A transmissive head-mounted display device worn by a learner;
An information processing device that is communicably connected to the head mounted display device and stores an image of a model character,
The character-learning system, wherein the head-mounted display device acquires an image of the model character transmitted from the information processing device and displays the model character.
前記画像形成装置は、前記報知処理として、前記評価結果を用紙に印刷して出力する処理を行うことを特徴とする請求項２〜８のいずれか１項に記載の文字学習システム。 The information processing apparatus is an image forming apparatus including a printing unit that prints an image on paper.
The character learning system according to claim 2, wherein the image forming apparatus performs a process of printing and outputting the evaluation result on a sheet as the notification process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016051198A JP6477558B2 (en) | 2016-03-15 | 2016-03-15 | Character learning system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016051198A JP6477558B2 (en) | 2016-03-15 | 2016-03-15 | Character learning system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017167275A true JP2017167275A (en) | 2017-09-21 |
| JP6477558B2 JP6477558B2 (en) | 2019-03-06 |
Family
ID=59913077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016051198A Expired - Fee Related JP6477558B2 (en) | 2016-03-15 | 2016-03-15 | Character learning system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6477558B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021140575A1 (en) * | 2020-01-07 | 2021-07-15 | マクセル株式会社 | Head-mounted display for displaying ar object |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05204291A (en) * | 1992-01-29 | 1993-08-13 | Sanyo Electric Co Ltd | Character training device |
| JPH07114334A (en) * | 1993-10-20 | 1995-05-02 | Casio Comput Co Ltd | Writing learning device |
| JPH07121098A (en) * | 1993-10-26 | 1995-05-12 | Hitachi Ltd | Character learning machine |
| JP2012032802A (en) * | 2010-06-29 | 2012-02-16 | Mikazuki Bunka Kaikan:Kk | Writing learning sheet and writing learning sheet set, and device capable of displaying the same and allowing character to be written thereon |
| JP2012203138A (en) * | 2011-03-24 | 2012-10-22 | Dainippon Printing Co Ltd | Marking system |
| JP2013182211A (en) * | 2012-03-02 | 2013-09-12 | Nec Casio Mobile Communications Ltd | Portable terminal, handwriting support method, and program |
| JP2016045724A (en) * | 2014-08-22 | 2016-04-04 | 株式会社ニコン | Electronic apparatus |
-
2016
- 2016-03-15 JP JP2016051198A patent/JP6477558B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05204291A (en) * | 1992-01-29 | 1993-08-13 | Sanyo Electric Co Ltd | Character training device |
| JPH07114334A (en) * | 1993-10-20 | 1995-05-02 | Casio Comput Co Ltd | Writing learning device |
| JPH07121098A (en) * | 1993-10-26 | 1995-05-12 | Hitachi Ltd | Character learning machine |
| JP2012032802A (en) * | 2010-06-29 | 2012-02-16 | Mikazuki Bunka Kaikan:Kk | Writing learning sheet and writing learning sheet set, and device capable of displaying the same and allowing character to be written thereon |
| JP2012203138A (en) * | 2011-03-24 | 2012-10-22 | Dainippon Printing Co Ltd | Marking system |
| JP2013182211A (en) * | 2012-03-02 | 2013-09-12 | Nec Casio Mobile Communications Ltd | Portable terminal, handwriting support method, and program |
| JP2016045724A (en) * | 2014-08-22 | 2016-04-04 | 株式会社ニコン | Electronic apparatus |
Non-Patent Citations (5)
| Title |
|---|
| 山内 真: "拡張現実感を用いた描画作業支援の評価", 第１７回日本バーチャルリアリティ学会大会論文集, JPN6018041999, 12 September 2012 (2012-09-12), pages 268 - 269, ISSN: 0003906398 * |
| 松井 健人 ほか４名: "ＨＭＤを用いた拡張現実における手書き支援システム", マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１５）シンポジウム 論文集, JPN6018042001, 1 July 2015 (2015-07-01), pages 1242 - 1249, ISSN: 0003906400 * |
| 正守 晋 ほか２名: "ＨＭＤを用いた遠隔書道教示システム", 日本バーチャルリアリティ学会第５回大会論文集, JPN6018042000, 18 September 2000 (2000-09-18), pages 119 - 122, ISSN: 0003906399 * |
| 河合 亮児 ほか３名: "ＶＲを利用した書道教示システム −仮想空間提示方法の改良−", 日本バーチャルリアリティ学会 第６回大会論文集, JPN6018042003, 19 September 2001 (2001-09-19), pages 27 - 30, ISSN: 0003906402 * |
| 藤塚 哲也 ほか３名: "拡張現実を用いた習字学習支援システム", ２０１４年電子情報通信学会総合大会講演論文集 情報・システム１, JPN6018042002, 4 March 2014 (2014-03-04), pages 163, ISSN: 0003906401 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021140575A1 (en) * | 2020-01-07 | 2021-07-15 | マクセル株式会社 | Head-mounted display for displaying ar object |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6477558B2 (en) | 2019-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016117321A1 (en) | Electronic information board apparatus and method | |
| US20220374142A1 (en) | Display apparatus, color supporting apparatus, display method, and program | |
| JP2023175845A (en) | Handwriting input apparatus, handwriting input method, program, and input system | |
| JP6044198B2 (en) | Computer apparatus, program, and information processing system | |
| JP2015167001A (en) | Information processing program, information processing device, information processing system, information processing method, image processor and image processing system | |
| JP6477558B2 (en) | Character learning system | |
| US11733830B2 (en) | Display apparatus for displaying handwritten data with displayed operation menu | |
| JP2023184557A (en) | Display device, display method, and program | |
| US10063730B2 (en) | Image forming system, image forming apparatus, remote control apparatus, and recording medium | |
| JP7452155B2 (en) | Handwriting input device, handwriting input method, program | |
| US11048408B2 (en) | Display apparatus, recording medium, and display method | |
| US10498921B2 (en) | Electronic imprinting device that affixes imprint data to document data | |
| JP7354878B2 (en) | Handwriting input device, handwriting input method, program, input system | |
| JP2004110571A (en) | Procedure system, its server device, and business form for electronic pen | |
| JP2020086850A (en) | Information processor, information processing method and program, and image forming system | |
| JP2018181243A (en) | Information processor, information processor control method, and program | |
| JP6255921B2 (en) | Display system and program | |
| JP6569602B2 (en) | Printing system and printing apparatus | |
| JP2006113424A (en) | Display apparatus | |
| US20220066728A1 (en) | Display apparatus, display method, medium, and display system | |
| US20230266875A1 (en) | Display apparatus, input method, and program | |
| CN112825022B (en) | Display device, display method, and medium | |
| JP2013105376A (en) | Learning system, computer device, and program | |
| JP2011253325A (en) | Input support device, input support method and program | |
| JP6364051B2 (en) | Document information acquisition method with guidance, program, and portable terminal device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6477558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |