JP2015145939A - Video/sound recording system for articulation training - Google Patents
Video/sound recording system for articulation training Download PDFInfo
- Publication number
- JP2015145939A JP2015145939A JP2014018314A JP2014018314A JP2015145939A JP 2015145939 A JP2015145939 A JP 2015145939A JP 2014018314 A JP2014018314 A JP 2014018314A JP 2014018314 A JP2014018314 A JP 2014018314A JP 2015145939 A JP2015145939 A JP 2015145939A
- Authority
- JP
- Japan
- Prior art keywords
- recording
- display
- patient
- displayed
- prompt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
この発明は、構音訓練用録画・録音装置に関するものである。 The present invention relates to a recording / recording apparatus for articulation training.
口蓋裂術後症は、構音障害を生じさせることがある。当該構音障害は、言語聴覚士等の指導者による直接の構音指導、及び家庭での反復練習によって治療される。それには、治療前に良好な記録の採取と検査が不可欠である。 Post cleft palate can cause dysarthria. The articulation disorder is treated by direct articulation guidance by a leader such as a speech hearing person and repeated practice at home. To do so, it is essential to have good records and tests before treatment.
構音障害の治療では、患者毎に必要な構音訓練の内容が異なる。そして、構音障害の治療は、家庭において、正しい構音を繰り返すことが重要である。しかし、家庭では、正しい構音であったか否かを患者自身が確認することができず、指導者による構音訓練と同様の環境を再現することは困難であった。 In the treatment of articulation disorders, the content of articulation training necessary for each patient differs. In the treatment of articulation disorders, it is important to repeat correct articulation at home. However, at home, the patient himself / herself cannot confirm whether or not the composition was correct, and it was difficult to reproduce the same environment as the composition training by the instructor.
そこで、特許文献１においては、家庭での構音訓練を効率的に行うことができる情報処理装置が提案されている。 Therefore, Patent Document 1 proposes an information processing apparatus that can efficiently perform articulation training at home.
この特許文献１の情報処理装置は、音声を集音するマイクと、所定の構音に対応する参照音声波形を記憶する記憶手段と、画像を表示する表示手段と、前記マイクで集音した音声の波形を取得し、当該取得した音声の波形、前記参照音声波形、及び前記所定の構音に対応する口形の画像、を前記表示手段に表示させる制御手段と、を備えている。 The information processing apparatus disclosed in Patent Document 1 includes a microphone that collects voice, a storage unit that stores a reference voice waveform corresponding to a predetermined composition, a display unit that displays an image, and a voice that is collected by the microphone. Control means for acquiring a waveform and displaying the acquired sound waveform, the reference sound waveform, and a mouth shape image corresponding to the predetermined articulation on the display means.
ところで、上記した特許文献１においては、構音障害による問題とマガーク効果による問題が解決されていない。 By the way, in the above-mentioned patent document 1, the problem due to the dysarthria and the problem due to the Magag effect are not solved.
構音障害は、舌が口蓋に当たる位置によって、発生する音が異なることが原因の一つであり、口の動きは同じなのに、異なった発音が生じるという障害をいう。 The dysarthria is one of the causes that the generated sound differs depending on the position where the tongue hits the palate, and it means that the sound of the mouth is the same, but different pronunciations occur.
マガーク効果は、ある音韻を発音したときの音声を、別の音韻を発音しているときの口の動きの映像と組み合わせて視聴者が視聴すると、耳から入ってきた音韻や口の動きから連想した音韻とも異なる音韻を視聴者が知覚するという知覚効果をいう。 The Magherk effect is associated with the phoneme and mouth movement that comes from the ear when the viewer views the sound of one phoneme in combination with the video of the mouth movement of another phoneme. This means the perceptual effect that the viewer perceives a phoneme that is different from the phoneme.
即ち、上記した特許文献１おいては、発音したときの口形の画像を表示するように構成しているが、舌が口蓋に当たる位置が異なり音韻が所望の音韻とならない場合、この口形と異なる音韻の音声が組み合わされ、マガーク効果により異なる音韻を知覚することになり、却って構音訓練を阻害する虞がある。 That is, in the above-mentioned Patent Document 1, the mouth shape image when it is pronounced is displayed, but when the position where the tongue hits the palate is different and the phoneme does not become the desired phoneme, the phoneme different from this mouth shape is displayed. Are combined to perceive different phonemes due to the Magag effect, which may hinder articulation training.
この発明は、上記した従来の問題点を解消するためになされたものにして、マガーク効果の影響を排除した構音訓練が行える装置を提供することを目的とする。 An object of the present invention is to provide an apparatus capable of performing articulation training which is made to solve the above-described conventional problems and eliminates the influence of the Magag effect.
この発明の構音訓練用録画・録音装置は、音声を集音する集音手段と、訓練用の構音対象となる文字又は絵を記憶する記憶手段と、画像を表示する表示手段と、患者を撮影する撮影手段と、前記表示手段に前記記憶手段から読み出した文字又は絵を表示させるとともに、前記撮影手段で撮影している患者の画像の表示を行わないように制御して、前記集音手段で音声を集音するように制御する制御手段と、を備えたことを特徴とする。 The recording / recording apparatus for articulation training according to the present invention includes a sound collecting means for collecting voice, a storage means for storing characters or pictures to be trained for training, a display means for displaying an image, and imaging a patient. And the display means displays on the display means characters or pictures read from the storage means, and controls so as not to display the image of the patient imaged by the imaging means, And a control means for controlling the sound to be collected.
また、選択可能な訓練の構音対象を表示する表示欄と、録画・録音されたデータの有無を表示する録画・録音データ選択欄と、を備え、選択した訓練用の構音対象の文字を又は絵を表示させた状態で、録画・録音すると、該当する録画・録音データ選択欄の表示を変更させるように構成することができる。 It also has a display field that displays selectable training composition and a recording / recording data selection field that displays the presence / absence of recorded / recorded data. When recording / recording in a state where is displayed, the display of the corresponding recording / recording data selection field can be changed.
また、音声を再生する拡声手段を備え、前記集音した音声が所望の構音である場合に、口形を含む患者の画像を表示させると共に集音した音声を拡声手段から再生するように構成すればよい。 Further, it is provided with a loudspeaker that reproduces voice, and when the collected voice has a desired composition, it is configured to display a patient image including a mouth shape and to play the collected voice from the loudspeaker. Good.
この発明は、マガーク効果の影響が生じない状態で、家庭での構音訓練、また、家庭で行った構音訓練に対する適切な指導を行うことができる。 According to the present invention, it is possible to perform appropriate articulation training at home and articulation training performed at home without being affected by the Magag effect.
以下、この実施の形態について図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付して、説明の重複を避けるためにその説明は繰返さない。 Hereinafter, this embodiment will be described in detail with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals, and the description thereof will not be repeated in order to avoid duplication of explanation.
図１は、この発明にかかる構音訓練用録画・録音装置の構成を示すブロック図であり、図２は、この発明に用いられるタブレット型パーソナルコンピュータ装置を示す模式図である。この構音訓練用録画・録音装置は、例えば、図２に示すように、タブレット型パーソナルコンピュータ装置１を用いて構成されている。このタブレット型パーソナルコンピュータ装置１は、制御部１０、ディスプレイ１１、入力装置１２、マイク１３、スピーカ１４、カメラ１５、通信インターフェース（Ｉ／Ｆ）１６、ＵＳＢインターフェース（Ｉ／Ｆ）１７、ＲＯＭ１８及びＲＡＭ１９を備えたパーソナルコンピュータ装置である。
FIG. 1 is a block diagram showing a configuration of a recording / recording apparatus for articulation training according to the present invention, and FIG. 2 is a schematic diagram showing a tablet personal computer apparatus used in the present invention. This articulation training recording / recording apparatus is configured using a tablet personal computer apparatus 1 as shown in FIG. The tablet personal computer device 1 includes a
制御部１０は、タブレット型パーソナルコンピュータ装置１を統括的に制御するものであり、マイクロコンピュータで構成されている。そして、制御部１０では、各部で入力された操作信号に基づいて各部で収集されたデータを処理する。
The
制御部１０には、ディスプレイ１１、入力装置１２、マイク１３、スピーカ１４、カメラ１５、通信Ｉ／Ｆ１６、ＵＳＢＩ／Ｆ１７、ＲＯＭ１８及びＲＡＭ１９が接続されている。
A
ディスプレイ１１は、制御部１０で処理された画像データを表示する表示装置である。入力装置１２は、操作者が入力した操作を操作信号にして、制御部１０に送信する入力装置である。
The
図２に示すように、タブレット型パーソナルコンピュータ装置１に備えられたディスプレイ１１と入力装置１２がタッチパネル液晶で構成される場合には、ディスプレイ１１と入力装置１２が一体として構成される。
As shown in FIG. 2, when the
マイク１３は、患者が発音した音声を収集するために使用する集音装置である。スピーカ１４は、制御部１０が処理した音声データを再生するために使用する拡声装置である。カメラ１５は、患者が発音したときの顔の動きを撮影するために使用する撮影装置である。カメラ１５は、患者が発音したときの顔の動きを撮影するために使用する撮影装置である。
The
通信Ｉ／Ｆ１６は、図示しない種々の機器と接続され、それら種々の機器との間でデータ等の送受信が行われる。通信Ｉ／Ｆ１６と種々の機器は、例えば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）の規格に基づいた近距離無線通信により、データの送受が行われる。なお、無線通信であればブルートゥース以外の無線通信規格であっても構わない。
The communication I /
ＵＳＢＩ／Ｆ１７は、ＵＳＢデバイスとしてのＵＳＢコントローラ２が接続され、ＵＳＢコントローラ２から各種操作信号が制御部１０に与えられる。
The USB I /
ＲＯＭ１８とＲＡＭ１９はともに記憶媒体であり、ＲＯＭ１８に記憶されている各種プログラムをＲＡＭ１９に展開して、制御部１０で処理することにより種々の動作を行う。ただし、タブレット型パーソナルコンピュータ装置１が制御部１０によって統括的に制御されるものであればよいので、各種プログラムとＲＯＭ１８、ＲＡＭ１９との構成はどの様な構成であってもよい。
Both the
例えば、ＲＯＭ１８には、タブレット型パーソナルコンピュータ装置１を起動するためのＯＳ等を格納しておき、その格納したＯＳ等を読み出して、ＲＡＭ１９にＯＳ等を展開して、各種機能を実現するように構成してもよい。
For example, the
また、ＲＡＭ１９は、ハードディスク等の不揮発性メモリとワークＲＡＭ等で構成して、ＲＡＭ１９の不揮発性メモリに各種ソフトを格納して、その格納した各種ソフトを読み出して、ワークＲＡＭ等に各種ソフトを展開して、各種機能を実現するように構成してもよい。
The
図３は、ＵＳＢコントローラ２の構成を示した図である。ＵＳＢコントローラ２は、ディスプレイ１１に表示するプロンプトを切り替えるためや録画・録音・再生のために使用する。ＵＳＢコントローラ２は、選択するプロンプトを切り替える上ボタン２１、下ボタン２２と録画・録音のオン・オフボタン２３を有する。これらボタン２１〜２３を押すことで制御信号を発生して、その制御信号を制御部１０へ与える。
FIG. 3 is a diagram showing the configuration of the
この発明にかかる構音訓練用録画・録音装置において、録画・録音を行っていないときにこのオン・オフボタン２３を押すと録画・録音が開始して、録画・録音を行っているときにこのオン・オフボタン２３を押すと録画・録音が停止する。
In the recording / recording apparatus for articulation training according to the present invention, when the on / off
次に、構音障害の治療を補助するための構音訓練用アプリケーションプログラム（以下、「構音訓練用ソフトＡＰ」という。）について、説明する。構音訓練用ソフトＡＰは、この実施の形態では、ＲＯＭ１８に格納されている。制御部１０は、ＲＯＭ１８に格納されている構音訓練用ソフトＡＰを読み出して、ＲＡＭ１９に展開することにより、以下のような機能を実現する。即ち、制御部１０は、マイク１３を用いた録音機能、スピーカ１４を用いた音声再生機能、カメラ１５を用いた撮影機能、マイク１３で集音した音声の時間軸波形を取得する波形取得機能、撮影した画像、音声波形等をディスプレイ１１に表示する表示機能等を実現する。訓練用の構音対象となる文字又は絵は構音訓練用ソフトＡＰと共にＲＯＭ１８に格納されている。
Next, an application program for articulation training for assisting treatment of articulation disorders (hereinafter referred to as “articulation training software AP”) will be described. The articulation training software AP is stored in the
制御部１０は、マイク１３を用いて録音した音声データやカメラ１５を用いて撮影した画像データをＲＡＭ１９に格納する。ＲＡＭ１９に格納された各データは、記録した日時、記録に対応するプロンプト等の記録状況を識別可能にしておく。これにより、各データの読み出しは、日時、記録状況などに基づいて容易に選択して、再生することができる。
The
このように、構音訓練用ソフトＡＰは、マイク１３で集音した患者が発音した音声の音声波形やカメラ１５で撮影した画像をディスプレイ１１に表示することができる。これにより、患者は聴覚的なフィードバックだけでなく、視覚的なフィードバックが得られるため、家庭での構音訓練、また、家庭で行った構音訓練に対する適切な指導を行うことができる。また、構音訓練用ソフトＡＰは、録画・録音において、マイク１３で録音した音声データやカメラ１５を用いて撮影した画像データを、聴覚的情報と視覚的情報を区別して、ＲＡＭ１９に格納することもできる。これにより、格納されたデータを再生するときにおいて、マガーク効果の影響を排除した構音訓練を行うことができるため、家庭での構音訓練、また、家庭で行った構音訓練に対する適切な指導を行うことができる。
As described above, the articulation training software AP can display the voice waveform of the voice generated by the patient collected by the
以下、ディスプレイ１１に表示される具体的な表示内容及び制御部１０の動作について説明する。
ディスプレイ１１に表示される表示画面の表示モードには、音声モードと動画モードがある。
音声モードは、患者が発音した様子の録画・録音又は録画・録音したデータの再生において、画像表示欄を表示しない表示モードである。
動画モードは、患者が発音した様子の録画・録音又は録画・録音したデータの再生において、画像表示欄を表示する表示モードである。
Hereinafter, specific display contents displayed on the
The display mode of the display screen displayed on the
The voice mode is a display mode in which the image display column is not displayed in recording / recording of a state in which a patient pronounces sound or reproducing recorded / recorded data.
The moving image mode is a display mode in which an image display field is displayed in recording / recording of a state in which a patient has pronounced or reproduction of recorded / recorded data.
音声モードにおける表示画面について説明する。
図４は、音声モードにおけるディスプレイ１１に表示される表示画面１１ａの例を示す図である。患者がタッチパネルである入力装置１２を操作して、構音訓練用ソフトＡＰを立ち上げると、図４に示すように、ディスプレイ１１に表示画面１１ａが表示される。
A display screen in the voice mode will be described.
FIG. 4 is a diagram illustrating an example of the
表示画面１１ａには、顔検出ランプ１１１、顔検出インジケータ１１２、レコードボタン１１３、ストップボタン１１４、プレイボタン１１５、プロンプト表示欄１１６、プロンプト選択欄１１７、録画・録音データ選択欄１１８、音声波形欄１１９の操作アイコン等の画像表示欄が表示される。
The
顔検出ランプ１１１は、カメラ１５で検出された患者の顔の位置が正常な範囲に収まっているかどうかを患者に知らせるランプである。図４に示すように、構音訓練用ソフトＡＰを立ち上げると、表示画面１１ａに、顔検出ランプ１１１が表示される。
The
図５は、この発明における顔検出ランプ１１１の変化の様子を示す図である。
カメラ１５で検出された患者の顔の位置が正常な範囲に収まっていない場合には、顔検出ランプ１１１が赤色（図５に示す１１１ａにおけるハッチングの状態）になる。カメラ１５で検出された患者の顔の位置が正常な範囲に収まっている場合には、顔検出ランプ１１１が緑色（図５に示す１１１ｂにおけるクロスハッチングの状態）になる。この顔検出ランプ１１１が赤色（１１１ａ）から緑色（１１１ｂ）になるように、カメラ１５を患者の顔の前で移動させる。
FIG. 5 is a diagram showing how the
When the position of the patient's face detected by the
また、この実施の形態では、表示画面１１ａに、顔検出インジケータ１１２が表示される。顔検出インジケータ１１２は、カメラ１５で検出された患者の顔が正常な範囲に収まっているかどうかを患者に知らせるインジケータである。
In this embodiment, the
図６は、この発明における顔検出インジケータ１１２の変化の様子を示す図である。図６（ａ）、（ｂ）に示すように、顔検出インジケータ１１２には、インジケータ枠１１２ａが表示される。インジケータ枠１１２ａで囲まれた範囲はカメラ１５で検出された患者の顔の範囲である。
FIG. 6 is a diagram showing how the
インジケータ枠１１２ａが顔検出インジケータ１１２の中央部に収まれば、患者の顔が正常な範囲に収まっていると判断できる。即ち、インジケータ枠１１２ａが顔検出インジケータ１１２の中央部に収まるようにタブレット型パーソナルコンピュータ装置１を移動させると、顔検出を正常に完了させることができる。このように、顔検出ランプ１１１と顔検出インジケータ１１２を用いることで、患者を録画するための顔位置に容易に設定することができる。
If the
レコードボタン１１３は、患者が発音した様子を録画・録音するためのボタンである。録画・録音を開始する場合には、レコードボタン１１３をタップする。ＵＳＢコントローラ２のオン・オフボタン２３を押すことで録画・録音を開始することもできる。
The
ストップボタン１１４は、患者が発音した様子の録画・録音を停止するためのボタンである。録画・録音を停止する場合には、ストップボタン１１４をタップする。ＵＳＢコントローラ２のオン・オフボタン２３を押すことで録画・録音を停止することもできる。
The
プレイボタン１１５は、患者が発音した様子を録画・録音したデータを再生するためのボタンである。所望する録画・録音データを選択して、選択した録画・録音データを再生する場合には、プレイボタン１１５をタップする。ＵＳＢコントローラ２のオン・オフボタン３３を押すことで録画・録音の再生を開始することができる。
The
選択した録画・録音データの再生を停止する場合には、ストップボタン１１４をタップする。ＵＳＢコントローラ２のオン・オフボタン２３を押すことで録画・録音データの再生を停止することもできる。
When stopping the reproduction of the selected recording / recording data, the
プロンプト表示欄１１６は、プロンプトとしての文字又は絵が表示される表示欄である。プロンプト選択欄１１７は、プロンプト表示欄１１６に表示させたい文字又は絵を選択する選択欄である。本実施形態では、プロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃと３個の選択欄を設けているが、プロンプト選択欄の個数は任意に増減できる。
The
プロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃのうち、プロンプト表示欄１１６に表示させたい文字又は絵が表示されているプロンプト選択欄１１７をタップする。タップされたプロンプト選択欄１１７に表示されている文字又は絵がプロンプト表示欄１１６に表示される。そのプロンプト表示欄１１６に表示された文字又は絵を見て患者が想起する言葉を患者が発音することにより構音訓練が行われる。
Of the
図４に示す例では、第１のプロンプト選択欄１１７ａの「ぱんだ」の文字に対応する絵がプロンプト表示欄１１６に表示されている。プロンプト表示欄１１６に表示された絵を患者が見て、患者が想起する言葉である「ぱんだ」を患者が発音する。
In the example shown in FIG. 4, a picture corresponding to the characters “Panda” in the first
患者が発音した「ぱんだ」について、マイク１３で患者の音声の集音を行い、カメラ１５で患者が発音したときの顔の動きの撮影を行う。マイク１３で集音した患者の音声データやカメラ１５による患者の動画データがＲＡＭ１９に記憶される。ストップボタン１１４のタップ又はＵＳＢコントローラ２のオン・オフボタン２３を押すことにより録画・録音を停止させることができる。
For “Panda” pronounced by the patient, the voice of the patient is collected by the
ストップボタン１１４のタップ又はＵＳＢコントローラ２のオン・オフボタン２３が押されていない、即ち、録画・録音を停止させていない状態で、所定の時間が経過した場合には、第２のプロンプト選択欄１１７ｂに移動して、第２のプロンプト選択欄１１７ｂに設定された絵又は文字をプロンプト表示欄１１６に表示させることもできる。
When the tap of the
この場合、第１のプロンプト選択欄１１７ａから第２のプロンプト選択欄１１７ｂに移動して、第２のプロンプト選択欄１１７ｂに設定された絵、この実施例では、「ばす」の絵がプロンプト表示欄１１６に表示される。
In this case, the first
新たにプロンプト表示欄１１６に表示された絵等を患者が見て、患者が想起する言葉を患者が発音すると、マイク１３で集音した患者の音声データやカメラ１５による患者の動画データがＲＡＭ１９に記憶される。
When the patient sees a picture or the like newly displayed in the
なお、第２のプロンプトにおける録画・録音について、ストップボタン１１４のタップ又はＵＳＢコントローラ２のオン・オフボタン２３が押されていない、即ち、録画・録音を停止させていない状態で、所定の時間が経過した場合には、第３のプロンプト選択欄１１７ｃに移動して、第３のプロンプト選択欄１１７ｃに設定された絵等をプロンプト表示欄１１６に表示させることもできる。
For recording / recording in the second prompt, the tap of the
プロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃを任意に変更するときには、該当するプロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃをタップするか、ＵＳＢコントローラ２の上ボタン２１又は下ボタン２２を押すことにより、選択されているプロンプトを変更することができる。
When the
図７は、音声モードにおけるディスプレイ１１に表示される表示画面１１ａのプロンプト表示欄１１６に文字の表示を行っている例を示す図である。この様に、プロンプト表示欄１１６にプロンプトとして文字を表示させることもできる。
FIG. 7 is a diagram showing an example in which characters are displayed in the
プロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃのうち、プロンプト表示欄１１６に表示させたい文字が表示されているプロンプト選択欄１１７をタップする。タップされたプロンプト選択欄１１７に表示されている文字がプロンプト表示欄１１６に表示される。そのプロンプト表示欄１１６に表示された文字を見て患者が想起する言葉を患者が発音することにより構音訓練を行うことができる。
Of the
録画・録音データ選択欄１１８は、患者が発音した様子を録画・録音したデータを選択する選択欄である。録画・録音データ選択欄１１８は、図４、図７等に示すように、プロンプト選択欄１１７のそれぞれ隣の領域に丸アイコンとして設けられている。この丸アイコンの行数は、本実施形態では３行になっており、プロンプト選択欄１１７ａに丸アイコン１１８ａを、プロンプト選択欄１１７ｂに丸アイコン１１８ｂを、プロンプト選択欄１１７ｃに丸アイコン１１８ｃというようにそれぞれ対応付けて設けているが、プロンプト選択欄１１７の増減に対応付けて、増減する。この丸アイコンの列数は、本実施形態では６列になっているが、任意に増減することができる。
The recorded / recorded
また、録画・録音データ選択欄１１８の丸アイコンは、患者が発音した様子を録画・録音したデータの有無が分かるように、録画・録音データの有無に対応して丸アイコンの色が変わるように構成されている。
In addition, the circle icon in the recording / recording
更に、録画・録音データ選択欄１１８の丸アイコンは、患者が発音した様子を録画・録音したデータがあるときにおいて、患者が発音した様子を録画・録音したときの表示画面の表示モード（音声モード・動画モード）が分かるように、表示モードに対応して丸アイコンの色が変わるように構成されている。
Further, a round icon in the recording / recording
録画・録音データ選択欄１１８の丸アイコンの色が変わった丸アイコンをタップすることで、再生したい録画・録音されたデータを容易に選択することができる。
By tapping a circle icon whose color of the circle icon in the recording / recording
即ち、録画・録音したデータを再生する場合には、録画・録音データ選択欄１１８の丸アイコンをタップすることにより、録音・録画データを選択して、プレイボタン１１５をタップするか、ＵＳＢコントローラ２のオン・オフボタン２３を押すことで録画・録音の再生を開始する。再生を停止する場合には、ストップボタン１１４をタップするか、ＵＳＢコントローラ２のオン・オフボタン２３を押すことで再生を停止する。
That is, when reproducing the recorded / recorded data, tap the circle icon in the recorded / recorded
音声波形欄１１９は、マイク１３で集音した音声を制御部１０が解析することにより構成した音声波形を表示する欄である。患者が発音した様子を録画・録音しているとき、マイクで集音した音声を解析することにより構成した音声波形が音声波形欄１１９に表示される。音声波形は、画像データとして生成されており、音声波形欄１１９は、横軸が時間、縦軸がレベル（振幅）に対応している。また、音声波形欄１１９は時系列的に表示されており、音声波形欄１１９の左側から右側に向かって時間が経過しているように音声波形を表示している。音声波形を確認することにより、患者が正しく発音しているかどうかを確認することができる。
The
次に、動画モードにおける表示画面について説明する。
図８は、動画モードにおけるディスプレイ１１に表示される表示画面１１ｂの例を示す図である。患者がタッチパネルである入力装置１２を操作して、構音訓練用ソフトＡＰを立ち上げると、図８に示すように、ディスプレイ１１に表示画面１１ｂが表示される。
Next, a display screen in the moving image mode will be described.
FIG. 8 is a diagram illustrating an example of the
表示画面１１ｂには、顔検出ランプ１１１、顔検出インジケータ１１２、レコードボタン１１３、ストップボタン１１４、プレイボタン１１５、プロンプト表示欄１１６、プロンプト選択欄１１７、録画・録音データ選択欄１１８、音声波形欄１１９、動画表示欄１２０の操作アイコンやの画像表示欄が表示される。
The
表示画面１１ｂに表示される顔検出ランプ１１１、顔検出インジケータ１１２、レコードボタン１１３、ストップボタン１１４、プレイボタン１１５、プロンプト表示欄１１６、プロンプト選択欄１１７、録画・録音データ選択欄１１８、音声波形欄１１９は、音声モードの表示画面１１ａと同様であるので、ここではその説明を省略する。
動画表示欄１２０は、図８に示すように、カメラ１５で撮影した画像を表示する表示欄である。この動画表示欄１２０は、患者が発音した様子を録画・録音するときに、カメラ１５で撮影した画像をそのまま表示したり、患者が発音した様子を録画・録音したデータを再生するときに、患者が発音した様子の画像を表示したりすることができる。
As shown in FIG. 8, the moving
尚、動画モードにおいて、図９に示すように、動画表示欄１２０を表示しつつ、動画表示欄１２０に動画を表示させない状態、即ち、動画表示欄１２０をマスクした状態にすることもできる。図９は、動画モードにおけるディスプレイ１１に表示される表示画面１１ｂの動画表示欄１２０をマスクした例を示す図である。
In the moving image mode, as shown in FIG. 9, the moving
動画表示欄１２０をマスクさせる方法として以下の方法がある。
まず、一の方法として、設定管理画面の動画の表示／非表示の設定において、動画の非表示を選択することにより、動画表示欄１２０をマスクする設定をすることができる。
There are the following methods for masking the moving
First, as one method, the setting for masking the moving
他の方法として、動画表示欄１２０を上から下へ撫でる動作により、動画表示欄１２０をマスクする設定をすることができる。この動画表示欄１２０を撫でる動作は、マスクされた動画表示欄１２０を下から上へ撫でる動作をすることにより、マスクされた動画表示欄１２０のマスクの設定を解除することができる。
As another method, the setting for masking the moving
動画表示欄１２０を表示した場合は、発音者が正確な発音をしているときの発音者の顔の動きを参照して、患者が構音訓練をすることができる。動画表示欄１２０をマスクした場合は、発音者の顔の動きという視覚情報が聴覚情報に影響を及ぼすというマガーク効果の影響を排除することができる。
When the moving
図１０は、動画モードにおけるディスプレイ１１に表示される表示画面１１ｂのプロンプト表示欄１１６に文字の表示を行っている例を示す図である。この様に、プロンプト表示欄１１６にプロンプトとして文字を表示させることもできる。
FIG. 10 is a diagram illustrating an example in which characters are displayed in the
前述の絵の選択と同様に、プロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃのうち、プロンプト表示欄１１６に表示させたい文字が表示されているプロンプト選択欄１１７をタップする。タップされたプロンプト選択欄１１７に表示されている文字がプロンプト表示欄１１６に表示される。そのプロンプト表示欄１１６に表示された文字を見て患者が想起する言葉を患者が発音することにより構音訓練を行うことができる。
Similar to the selection of the picture described above, the
次に、患者が発音した様子の録画・録音について説明する。
まず、構音訓練の初期段階においては、患者がプロンプト表示欄１１６に表示された絵又は文字を見て患者が想起する言葉を患者が発音するときに、マガーク効果の影響を考慮するために、患者自身が発音している様子の画像を患者が見ることなく発音する必要がある。この場合、ディスプレイ１１の表示モードを音声モードに設定することで対応することができる。
Next, recording / recording of how the patient pronounced will be described.
First, in the initial stage of articulation training, in order for the patient to pronounce the words that the patient recalls by looking at the picture or character displayed in the
図４に示すように、患者がプロンプト表示欄１１６に表示された絵等を見て患者が想起する言葉を患者が発音する。そして、制御部１０は、その患者が発音した様子の画像、音声、表示モード等のデータを対応する録画・録音データ選択欄１１８の丸アイコンを識別する情報と共にＲＡＭ１９に記憶させる。
As shown in FIG. 4, the patient pronounces a word that the patient recalls by looking at a picture or the like displayed in the
このように、録画・録音データ選択欄１１８の丸アイコンの色で、どのプロンプトに対して、どのような条件で録画・録音したデータであるか否かが判別することができる。
In this way, the color of the round icon in the recording / recording
また、図９に示すように、ディスプレイ１１の表示モードを動画モードに設定しておき、動画表示欄１２０をマスクしておく設定で、患者が表示された絵又は文字を見て、患者が想起する言葉を患者が発音するときであっても、マガーク効果の影響を考慮した録画・録音とすることができる。
In addition, as shown in FIG. 9, the display mode of the
次に、構音訓練の中期段階から終期段階においては、患者がプロンプト１１６に表示された絵又は文字を見て患者が想起する言葉を患者が発音するときに、患者自身が発音している様子の画像を患者が見て確認しながら発音する必要がある。この場合、ディスプレイ１１の表示モードを動画モードに設定することで対応することができる。
Next, from the middle stage to the final stage of articulation training, when the patient speaks a word recalled by the patient by looking at a picture or character displayed on the prompt 116, the patient himself is pronounced. It is necessary to pronounce the image while the patient sees it. In this case, this can be dealt with by setting the display mode of the
図８に示すように、患者がプロンプト表示欄１１６に表示された絵等を見て患者が想起する言葉を発音する。そして、制御部１０は、その患者が発音した様子の画像、音声、表示モード等のデータを対応する録画・録音データ選択欄１１８の丸アイコンを識別する情報と共にＲＡＭ１９に記憶させる。
As shown in FIG. 8, the patient looks at a picture or the like displayed in the
このように、録画・録音データ選択欄１１８の丸アイコンの色で、どのプロンプトに対して、どのような条件で録画・録音したデータであるか否かが判別することができる。
In this way, the color of the round icon in the recording / recording
患者が発音した様子を録画・録音した動画の再生につき説明する。
まず、再生したい録画・録音データの呼び出しを行う。再生したい録画・録音データが録画・録音された日付を指定する。日付を指定すると、制御部１０は、その日付に該当する録画・録音データを検索する。
We will explain how to play a movie that has been recorded by the patient.
First, the recording / recording data to be reproduced is called up. Specify the date when the recording / recording data to be played back was recorded / recorded. When a date is designated, the
検索の結果、その日付に該当する録画・録音データがあれば、録画・録音された絵又は文字の情報が表示プロンプト選択欄１１７に表示されて、録画・録音データの有無が分かる表示がそのプロンプト選択欄１１７に対応する録画・録音データ選択欄１１８の丸アイコンに色を変えて表示される。
As a result of the search, if there is recording / recording data corresponding to the date, the information of the picture / character recorded or recorded is displayed in the display
そして、録画・録音データ選択欄１１８の丸アイコンをタップして再生したい録画・録音データの丸アイコンを選択状態にする。制御部１０は選択された丸アイコンに該当するＲＡＭ１９に保存されている動画、音声、音声波形を再生可能な状態にする。
Then, the circle icon of the recording / recording
ここで、構音訓練の初期段階においては、患者がプロンプト１１６に表示された絵又は文字を見て、患者が想起する言葉を患者が発音した音声を確認するときに、マガーク効果の影響を考慮するために、患者自身が発音している様子の画像を患者が見ることなく発音の音声を確認する必要がある。この場合、ディスプレイ１１の表示モードを音声モードに設定することで対応することができる。
Here, in the initial stage of articulation training, the effect of the Magark effect is taken into account when the patient looks at the picture or character displayed at the prompt 116 and confirms the voice that the patient pronounced the word recalled by the patient. Therefore, it is necessary to confirm the sound of the pronunciation without the patient seeing the image of the patient himself / herself. In this case, this can be dealt with by setting the display mode of the
図１１は、音声モードにおけるディスプレイ１１に表示される表示画面１１ａの再生表示の例を示す図である。ディスプレイ１１の表示モードを音声モードに設定してから、プレイボタン１１５又は動画表示欄１２０をタップすると、録画・録音データ選択欄１１８の丸アイコンで選択されたデータに基づいて、ディスプレイ１１において、表示画面１１ａの音声波形欄１１９に音声波形が表示される。そして、スピーカ１４において、録画・録音データに基づいた音声が再生される。
FIG. 11 is a diagram showing an example of reproduction display of the
これにより、患者がプロンプト１１６に表示された絵又は文字を見て患者が想起する言葉を患者が発音した音声を確認するときに、患者自身が発音している様子の画像を患者が見ることなく発音の音声を確認することができるために、マガーク効果の影響を考慮した録画・録音データの再生による音声の確認をすることができる。また、ディスプレイ１１の表示モードを動画モードに設定しておき、動画表示欄１２０をマスクしておく設定でも、音声モードと同様の確認をすることができる。
Thus, when the patient looks at the picture or characters displayed at the prompt 116 and confirms the voice that the patient pronounced the word recalled by the patient, the patient does not see the image of the patient's own pronunciation. Since the sound of the pronunciation can be confirmed, it is possible to confirm the sound by reproducing the recording / recording data in consideration of the influence of the Magag effect. Further, the same confirmation as in the audio mode can be performed by setting the display mode of the
図１２は、動画モードにおけるディスプレイ１１に表示される表示画面１１ｂの再生表示において動画表示欄１２０をマスクした例を示す図である。
FIG. 12 is a diagram showing an example in which the moving
患者がプロンプト１１６に表示された絵又は文字を見て患者が想起する言葉を患者が発音した音声を再生して確認するときに、患者自身が発音している様子の画像を患者が見ることなく発音の音声を確認することができるために、マガーク効果の影響を考慮した録画・録音データの再生による音声の確認をすることができる。 When the patient looks at the picture or character displayed at the prompt 116 and confirms the speech recalled by the patient by playing back the voice that the patient pronounced, the patient does not see the image of the patient's own pronunciation. Since the sound of the pronunciation can be confirmed, it is possible to confirm the sound by reproducing the recording / recording data in consideration of the influence of the Magag effect.
次に、構音訓練の中期段階から終期段階においては、患者がプロンプト１１６に表示された絵又は文字を見て患者が想起する言葉を患者が発音した音声を確認するときに、患者自身が発音している様子の画像を患者が確認する必要がある。この場合、ディスプレイ１１の表示モードを動画モードに設定することで対応することができる。
Next, from the middle stage to the final stage of articulation training, the patient himself / herself pronounces when he / she confirms the voice pronounced by the patient by looking at the picture or character displayed at the prompt 116. It is necessary for the patient to check the image of the situation. In this case, this can be dealt with by setting the display mode of the
図１３は、動画モードにおけるディスプレイ１１に表示される表示画面１１ｂの再生表示の例を示す図である。
FIG. 13 is a diagram illustrating an example of reproduction display of the
ディスプレイ１１の表示モードを動画モードに設定してから、プレイボタン１１５又は動画表示欄１２０をタップすると、録画・録音データ選択欄１１８の丸アイコンで選択されたデータに基づいて、ディスプレイ１１において、表示画面１１ａの音声波形欄１１９に音声波形が表示されて、表示画面１１ａにおける動画表示欄１２０に動画が再生される。そして、スピーカ１４において、録画・録音データに基づいた音声が再生される。
When the
これにより、患者がプロンプト表示欄１１６に表示された絵又は文字を見て、患者が想起する言葉を患者が発音した音声を確認するときに、患者自身が発音している様子の画像を患者が見なから発音の音声を確認することができるために、患者が正確な発音ができたときの発音の様子を確認することができる。
Thus, when the patient looks at the picture or character displayed in the
ここで、図１１ないし図１３において、音声波形欄１１９に掛かるように設定されている再生領域選択ボタン１２１について説明する。
Here, in FIG. 11 to FIG. 13, the reproduction
再生領域選択ボタン１２１は、患者が発音した様子を録画・録音したデータを再生するときにおいて、再生したい範囲を選択することができるボタンである。再生したい範囲を右から左又は左から右に再生領域選択ボタン１２１をそれぞれなぞることにより、選択範囲を指定することができて、再生したい範囲の部分再生の選択を行うことができる。再生領域選択ボタン１２１をなぞることにより、部分再生する場所を特定して、プレイボタン１１５又は動画表示欄１２０をタップすることで制御部１０は該当部分の動画や音声を再生することができる。
The playback
次に、図１４を参照してこの発明の制御部１０の動作を説明する。図１４は、制御部１０の動作を説明するフローチャートである。
Next, the operation of the
まず、患者がタッチパネルである入力装置１２を操作すると、制御部１０は、構音訓練ソフトＡＰを立ち上げる。制御部１０は、音声モードが設定されていれば、図４に示すように、ディスプレイ１１に表示画面１１ａを表示する。
制御部１０は、動画モードが設定されていれば、図８に示すように、ディスプレイ１１に表示画面１１ｂを表示する。この表示画面１１ａ又は表示画面１１ｂにおいて、患者による構音訓練の対象となるプロンプトの患者による選択を受け付ける（ステップＳ１）。
First, when the patient operates the
If the moving image mode is set, the
制御部１０は、プロンプト選択欄１１７の中から患者が選択したプロンプトに関するデータをＲＯＭ１８又はＲＡＭ１９から読み出して、表示画面１１ａ又は表示画面１１ｂのプロンプト表示欄１１６に、文字又は文字に対応する絵を表示する（ステップＳ２）。
The
ここでは、音声モードと動画モードの切り替えや、動画モードにおける動画表示欄１２０の表示と非表示（マスク）の切り替えの動作について、適宜行われるものとして、フローチャートの内での説明は行わない。
Here, the switching between the audio mode and the moving image mode, and the switching operation between the display and non-display (masking) of the moving
続いて、制御部１０は、レコードボタン１１３をタップするか、ＵＳＢコントローラ２のオン・オフボタン２３を押すことで録画・録音開始を指示されたかを確認する（ステップＳ３）。
Subsequently, the
制御部１０は、録画・録音開始が指示されたと判断すると、マイク１３で集音した音声を録音する録音処理を行うと共に、当該集音した音声の波形を取得する処理を行い、カメラ１５による患者の動画をＲＡＭ１９に記憶する（ステップＳ４）。
When the
ストップボタン１１４又はＵＳＢコントローラ２のオン・オフボタン２３が押されるまで、上記動作を繰り返す（ステップＳ５）。録画・録音終了が指示されたと制御部１０が判断すると、制御部１０は、録画・録音動作を終了させる。
The above operation is repeated until the
ステップＳ３で、録画・録音開始以外の指示を指示されたと制御部１０が判断すると、ステップＳ６に進み、制御部１０が再生開始指示を指示されたか否かを判断する。制御部１０が再生開始指示を指示されたと判断した場合は、ステップＳ７に進み、制御部１０が再生開始指示以外の指示を指示されたと判断した場合には、ステップＳ１に戻る。
If the
再生したい録音・録画データを選択するために、録画・録音データ選択欄１１８の色が変わっている丸アイコンをタップする。その丸アイコンをタップすることによって、制御部１０が再生開始指示を指示されたと判断すると、制御部１０は録画・録音データの再生を行う。
In order to select the recording / recording data to be reproduced, the circle icon whose color is changed in the recording / recording
このとき、音声モードが選択されていれば、表示画面１１ａの音声波形表示欄１１９に音声波形を表示して、スピーカ１４から音声を再生する（ステップＳ７）。また、動画モードが選択されていれば、表示画面１１ｂの音声波形表示欄１１９に音声波形を表示して、ディスプレイ１１の表示画面１１ｂの動画表示欄１２０に動画を再生して、スピーカ１４から音声を再生する（ステップＳ７）。
At this time, if the audio mode is selected, the audio waveform is displayed in the audio
ただし、動画モードが選択されていて、動画表示欄１２０がマスクされていれば、表示画面１１ｂの音声波形表示欄１１９に音声波形を表示して、スピーカ１４から音声を再生する（ステップＳ７）。再生処理動作が終了すると動作が終了する。
However, if the moving image mode is selected and the moving
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。この発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the above description of the embodiment but by the scope of claims for patent, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims for patent.
１ タブレット型パーソナルコンピュータ装置
２ ＵＳＢコントローラ
１０ 制御部
１１ ディスプレイ
１１ａ 表示画面
１２ 入力装置
１３ マイク
１４ スピーカ
１５ カメラ
１６ 通信Ｉ／Ｆ
１７ ＵＳＢＩ／Ｆ
１８ ＲＯＭ
１９ ＲＡＭ
２１ 上ボタン
２２ 下ボタン
２３ オン・オフボタン
１１６ プロンプト表示欄
１１７ プロンプト選択欄
１１７ａ〜１１７ｃ プロンプト選択欄
１１８ 録画・録音データ選択欄
１１８ａ〜１１８ｃ 丸アイコン
DESCRIPTION OF SYMBOLS 1 Tablet type
17 USB I / F
18 ROM
19 RAM
21 Up
Claims (3)
訓練用の構音対象となる文字又は絵を記憶する記憶手段と、
画像を表示する表示手段と、
患者を撮影する撮影手段と、
前記表示手段に前記記憶手段から読み出した文字又は絵を表示させるとともに、前記撮影手段で撮影している患者の画像の表示を行わないように制御して、前記集音手段で音声を集音するように制御する制御手段と、
を備えたことを特徴とする構音訓練用録画・録音装置。 Sound collecting means for collecting sound;
Storage means for storing letters or pictures to be trained for training;
Display means for displaying an image;
Imaging means for imaging the patient;
The display means displays the characters or pictures read from the storage means, and controls to not display the image of the patient imaged by the imaging means, and collects the sound by the sound collection means. Control means for controlling
A recording / recording device for articulation training, characterized by comprising:
録画・録音されたデータの有無を表示する録画・録音データ選択欄と、を備え、
選択した訓練用の構音対象の文字を又は絵を表示させた状態で、録画・録音すると、該当する録画・録音データ選択欄の表示を変更させることを特徴とする請求項１に記載の構音訓練用録画・録音装置。 A display field that displays the compositional subjects of training that can be selected;
A recording / recording data selection field for displaying the presence / absence of recorded / recorded data, and
2. The articulation training according to claim 1, wherein when recording / recording in a state where the selected training target character or picture is displayed, the display of the corresponding recording / recording data selection column is changed. Recording and recording equipment.
前記集音した音声が所望の構音である場合に、口形を含む患者の画像を表示させると共に集音した音声を拡声手段から再生することを特徴とする請求項１又は請求項２に記載の構音訓練用録画・録音装置。 It has a loudspeaker to play audio,
3. The articulation according to claim 1, wherein when the collected voice is a desired articulation, an image of a patient including a mouth shape is displayed and the collected voice is reproduced from a loudspeaker. Recording and recording device for training.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014018314A JP5805804B2 (en) | 2014-02-03 | 2014-02-03 | Recording and recording equipment for articulation training |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014018314A JP5805804B2 (en) | 2014-02-03 | 2014-02-03 | Recording and recording equipment for articulation training |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015145939A true JP2015145939A (en) | 2015-08-13 |
| JP5805804B2 JP5805804B2 (en) | 2015-11-10 |
Family
ID=53890193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014018314A Active JP5805804B2 (en) | 2014-02-03 | 2014-02-03 | Recording and recording equipment for articulation training |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5805804B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113115074A (en) * | 2021-04-30 | 2021-07-13 | 北京字节跳动网络技术有限公司 | Video jamming processing method and device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000010450A1 (en) * | 1998-08-19 | 2000-03-02 | Atr Human Information Processing Research Laboratories | System for measuring tongue pressure |
| JP2005321443A (en) * | 2004-05-06 | 2005-11-17 | Ace:Kk | Pronunciation learning support method, learner terminal, processing program, and recording medium with the program recorded thereon |
| JP2007122004A (en) * | 2005-09-29 | 2007-05-17 | National Institute Of Advanced Industrial & Technology | Pronunciation diagnostic device, pronunciation diagnostic method, recording medium, and pronunciation diagnostic program |
| JP2011510349A (en) * | 2008-01-17 | 2011-03-31 | アーティキュレイト テクノロジーズ インコーポレーティッド | Method and apparatus for intraoral tactile feedback |
| JP2012047998A (en) * | 2010-08-27 | 2012-03-08 | Tokai Univ | Utterance learning support device and program thereof |
| JP2013061369A (en) * | 2011-09-12 | 2013-04-04 | Kyoto Univ | Information processing device, information processing system, and program |
-
2014
- 2014-02-03 JP JP2014018314A patent/JP5805804B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000010450A1 (en) * | 1998-08-19 | 2000-03-02 | Atr Human Information Processing Research Laboratories | System for measuring tongue pressure |
| JP2005321443A (en) * | 2004-05-06 | 2005-11-17 | Ace:Kk | Pronunciation learning support method, learner terminal, processing program, and recording medium with the program recorded thereon |
| JP2007122004A (en) * | 2005-09-29 | 2007-05-17 | National Institute Of Advanced Industrial & Technology | Pronunciation diagnostic device, pronunciation diagnostic method, recording medium, and pronunciation diagnostic program |
| JP2011510349A (en) * | 2008-01-17 | 2011-03-31 | アーティキュレイト テクノロジーズ インコーポレーティッド | Method and apparatus for intraoral tactile feedback |
| JP2012047998A (en) * | 2010-08-27 | 2012-03-08 | Tokai Univ | Utterance learning support device and program thereof |
| JP2013061369A (en) * | 2011-09-12 | 2013-04-04 | Kyoto Univ | Information processing device, information processing system, and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113115074A (en) * | 2021-04-30 | 2021-07-13 | 北京字节跳动网络技术有限公司 | Video jamming processing method and device |
| CN113115074B (en) * | 2021-04-30 | 2022-11-22 | 北京字节跳动网络技术有限公司 | Video jamming processing method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5805804B2 (en) | 2015-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10130287B2 (en) | Hearing test system | |
| CN104038827B (en) | Multi-medium play method and device | |
| KR102078136B1 (en) | Apparatus and method for photographing image having audio data | |
| CN106559696A (en) | Method for sending information and device | |
| JP2004007539A (en) | Method for recording/reproducing visual information and its device and communication system | |
| JP2013061369A (en) | Information processing device, information processing system, and program | |
| RU2017102479A (en) | CREATION OF ELECTRONIC IMAGES, EDITING IMAGES AND SIMPLIFIED DEVICE FOR EDITING AUDIO / VIDEO, METHOD OF FILM PRODUCTION BEGINNING FROM STILL IMAGES AND FRAMEWORKS | |
| JP6613560B2 (en) | Electronic device, learning support method and program | |
| KR20150081750A (en) | System and method for analyzing a golf swing | |
| JP7082384B1 (en) | Learning system and learning method | |
| JP5805804B2 (en) | Recording and recording equipment for articulation training | |
| JP5111343B2 (en) | Playback device | |
| JP5843894B2 (en) | Recording and recording equipment for articulation training | |
| JP2016212169A (en) | Education support system and terminal | |
| JP2006208784A (en) | Education system and device control method | |
| JP4659756B2 (en) | Individual test execution device | |
| WO2020039593A1 (en) | Image record playback device and endoscopic system | |
| JP2013109168A (en) | Electronic textbook device, classroom system, and program | |
| KR20120031373A (en) | Learning service system and method thereof | |
| JP2007258934A (en) | Information processing apparatus and information processing method | |
| JP2014059452A (en) | Learning device, control method of the same, learning program, and learning system | |
| TW201737219A (en) | Education learning method and computer program thereof | |
| KR20040013167A (en) | An apparatus for studying foreign language and the method thereof | |
| JP6096829B2 (en) | Digital content playback and display device for learning | |
| JP5447930B2 (en) | Game system and game device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150512 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150811 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150902 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5805804 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |