JP2015049372A - Foreign language learning support device and foreign language learning support program - Google Patents
Foreign language learning support device and foreign language learning support program Download PDFInfo
- Publication number
- JP2015049372A JP2015049372A JP2013181008A JP2013181008A JP2015049372A JP 2015049372 A JP2015049372 A JP 2015049372A JP 2013181008 A JP2013181008 A JP 2013181008A JP 2013181008 A JP2013181008 A JP 2013181008A JP 2015049372 A JP2015049372 A JP 2015049372A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- language learning
- display
- foreign language
- learning support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、撮影した画像を認識し、認識した対象を語学学習に利用する外国語学習支援装置及び外国語学習支援プログラムに関する。 The present invention relates to a foreign language learning support device and a foreign language learning support program that recognize a captured image and use the recognized object for language learning.
特許文献１は、ユーザの視線方向を撮影し、その撮影画像に含まれる文字部分を文字認識し、認識された文字を翻訳し、その翻訳結果を表示又は音声出力する翻訳装置について開示している。特許文献２は、カメラで学習者の行動を撮影し、撮影された学習者の行動を認識し、認識されたデータに関連する語学学習用データを音声出力する行動認識発話型語学学習装置について開示している。 Patent Document 1 discloses a translation device that captures a user's line-of-sight direction, recognizes a character portion included in the captured image, translates the recognized character, and displays or outputs the translation result. . Patent Document 2 discloses a behavior recognition utterance type language learning device that captures a learner's behavior with a camera, recognizes the captured learner's behavior, and outputs language learning data related to the recognized data by voice. doing.
本発明者は、近年急速に普及しているスマートフォンやタブレット端末を、それに搭載されるカメラ機能及びその比較的大きな表示画面（タッチ機能付き）を有効に利用して、学習効率の高い外国語学習支援装置として用いる手法を考案した。 The present inventor makes effective use of a smartphone function and a tablet terminal that have been rapidly spreading in recent years, effectively utilizing a camera function and a relatively large display screen (with a touch function) mounted on the smartphone or tablet terminal. A method to use as a support device was devised.
本発明の目的は、特にスマートフォンやタブレット端末に最適な、効率よく且つ楽しく語学学習を行うことができる外国語学習支援装置及び外国語学習支援プログラムを提供することにある。 An object of the present invention is to provide a foreign language learning support device and a foreign language learning support program that can perform language learning efficiently and happily, which is particularly suitable for smartphones and tablet terminals.
上記目的を達成するための本発明の外国語学習支援装置の第１の構成は、被写体を撮影するカメラと、音声を出力する音声出力部と、カメラに撮影された画像を表示する表示部と、前記表示部に表示される画像全体領域の所定認識領域を占める物体を認識し、当該物体に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする。 In order to achieve the above object, a first configuration of a foreign language learning support apparatus according to the present invention includes a camera that captures a subject, a sound output unit that outputs sound, and a display unit that displays an image captured by the camera. An audio output control unit for recognizing an object occupying a predetermined recognition area of the entire image area displayed on the display unit and outputting audio data related to the object in the translated predetermined language from the audio output unit. It is characterized by that.
本発明の外国語学習支援装置の第２の構成は、被写体を撮影するカメラと、音声を出力する音声出力部と、カメラに撮影された画像を表示する表示部と、前記表示部に表示される画像全体領域の所定認識領域を占める色を認識し、当該色に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする。 A second configuration of the foreign language learning support device according to the present invention is displayed on the display unit, a camera that shoots a subject, an audio output unit that outputs sound, a display unit that displays an image captured by the camera, and the like. And an audio output control unit that recognizes a color that occupies a predetermined recognition area of the entire image area and outputs audio data related to the color in the translated predetermined language from the audio output unit.
本発明の第１の外国語学習支援プログラムは、カメラとディスプレイを備えたコンピュータに、カメラにより被写体を撮影する工程と、カメラにより撮影された画像をディスプレイに表示する工程と、表示される画像全体領域の所定認識領域を占める物体を認識し、当該物体の名称に関連する音声データを翻訳された所定言語で音声出力させる工程とを実行させるためのプログラムである。 The first foreign language learning support program of the present invention includes a step of photographing a subject with a camera on a computer having a camera and a display, a step of displaying an image photographed by the camera on the display, and the entire displayed image. A program for recognizing an object occupying a predetermined recognition area and outputting voice data related to the name of the object in a translated predetermined language.
本発明の第２の外国語学習支援プログラムは、カメラとディスプレイを備えたコンピュータに、カメラにより被写体を撮影する工程と、カメラにより撮影された画像をディスプレイに表示する工程と、表示される画像全体領域の所定認識領域を占める色を認識し、当該色の名称に関連する音声データを翻訳された所定言語で音声出力させる工程とを実行させるためのプログラムである。 The second foreign language learning support program of the present invention includes a step of photographing a subject with a camera on a computer having a camera and a display, a step of displaying an image photographed by the camera on the display, and the entire displayed image. A program for recognizing a color occupying a predetermined recognition area and outputting voice data related to the name of the color in a translated predetermined language.
本発明の外国語学習支援装置及び外国語学習支援プログラムによれば、生活の身近な場面において、簡単且つ容易に効率よく語学学習を行うことができる。 According to the foreign language learning support device and the foreign language learning support program of the present invention, language learning can be easily and easily performed efficiently in a familiar scene of daily life.
以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。 Embodiments of the present invention will be described below with reference to the drawings. However, such an embodiment does not limit the technical scope of the present invention.
図１は、本発明の実施の形態における外国語学習支援装置としてのスマートフォンの外観構成例を示す図である。なお、外国語学習支援装置は、スマートフォンやタブレットなどの携帯型小型電子端末が特に好適であるが、据置型のパーソナルコンピュータなどさまざまな形態の電子端末への適用を妨げるものではない。 FIG. 1 is a diagram illustrating an external configuration example of a smartphone as a foreign language learning support device according to an embodiment of the present invention. As the foreign language learning support device, a portable small electronic terminal such as a smartphone or a tablet is particularly suitable, but it does not prevent application to various types of electronic terminals such as a stationary personal computer.
外国語学習支援装置１０の外観形状は、矩形の板状の筐体１１を備え、その筐体１１の一方の面には、タッチパネル１２が大部分を占めて構成される。 The external shape of the foreign language learning support device 10 includes a rectangular plate-shaped casing 11, and the touch panel 12 occupies most of one surface of the casing 11.
タッチパネル１２が搭載されている正面には、レシーバ１３、マイクロフォン１４及びハードボタン１５が設けられる。また、外国語学習支援装置１０の側面や底面には、ハードキー１６、スピーカ（図２参照）及び音声出力端子（図２参照）などの外部インターフェースが設けられる。さらに、背面には、カメラ（図２参照）が設けられる。 On the front surface on which the touch panel 12 is mounted, a receiver 13, a microphone 14, and a hard button 15 are provided. Further, external interfaces such as a hard key 16, a speaker (see FIG. 2), and an audio output terminal (see FIG. 2) are provided on the side and bottom surfaces of the foreign language learning support device 10. Further, a camera (see FIG. 2) is provided on the back surface.
図２は、本実施の形態における外国語学習支援装置の構成を概略的に示すブロック図である。外国語学習支援装置１０は、上記各構成要素に加えて、ＯＳ、本実施の形態で例示する語学学習用のアプリケーションプログラム、データなどを記憶する記憶部２５、及びアプリケーションプログラムなどの各種コンピュータプログラムを実行する制御手段としての主制御部２６を有し、また、通信手段として、移動体通信用アンテナ２１、移動体通信部２２、無線LAN通信用アンテナ２３及び無線LAN通信部２４を有し、サーバ５０と通信ネットワークを介して通信可能である。さらに、スピーカ１８、カメラ３０や音声出力端子１７を含む外部インターフェース３２などを有する。 FIG. 2 is a block diagram schematically showing the configuration of the foreign language learning support apparatus in the present embodiment. The foreign language learning support apparatus 10 includes various computer programs such as an OS, a language learning application program exemplified in the present embodiment, a storage unit 25 for storing data, and application programs in addition to the above-described components. It has a main control unit 26 as a control means to execute, and has a mobile communication antenna 21, a mobile communication unit 22, a wireless LAN communication antenna 23, and a wireless LAN communication unit 24 as communication means, and a server 50 via a communication network. Furthermore, it has an external interface 32 including a speaker 18, a camera 30 and an audio output terminal 17.
タッチパネル１２は、表示装置及び入力装置の両方の機能を備え、表示機能を担うディスプレイ２７と、入力機能を担うタッチセンサ２８とで構成される。ディスプレイ２７は、例えば、液晶ディスプレイや有機EL（Electro Luminescence）ディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ２８は、ディスプレイ２７の上面に配置された接触操作を検知するための素子及びその上に積層された透明な操作面を備えて構成される。タッチセンサ２８の接触検知方式としては、静電容量式、抵抗膜式（感圧式）、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。 The touch panel 12 includes functions of both a display device and an input device, and includes a display 27 that takes a display function and a touch sensor 28 that takes an input function. The display 27 is configured by a general display device such as a liquid crystal display or an organic EL (Electro Luminescence) display. The touch sensor 28 includes an element for detecting a contact operation disposed on the upper surface of the display 27, and a transparent operation surface stacked on the element. As a contact detection method of the touch sensor 28, any of known methods such as a capacitance type, a resistance film type (pressure-sensitive type), and an electromagnetic induction type can be adopted.
表示装置としてのタッチパネル１２は、カメラ３０で撮影される画像及び主制御部２６によるアプリケーションプログラムの実行により生成される画像を表示する。表示領域が分割され、複数の画像を表示することも可能である。入力装置としてのタッチパネル１２は、操作面に対して接触する接触物（遊戯者の指やタッチペンなどを含む。以下「指」という）の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部２６に与える。指の動作は、接触点の位置又は領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル１２の短辺方向及び長辺方向の二軸上の座標値として表される。 The touch panel 12 as a display device displays an image captured by the camera 30 and an image generated by executing an application program by the main control unit 26. The display area can be divided to display a plurality of images. The touch panel 12 as an input device accepts an operation input by detecting an operation of a contact object (including a player's finger or a touch pen, etc., hereinafter referred to as “finger”) that comes into contact with the operation surface. Is provided to the main control unit 26. The movement of the finger is detected as coordinate information indicating the position or area of the contact point, and the coordinate information is expressed as coordinate values on two axes of the short side direction and the long side direction of the touch panel 12, for example.
図３は、本発明の実施の形態における外国語学習支援装置の第１の動作フローを示す図であり、図４は、その第１の動作フローに従った外国語学習支援装置のタッチパネル１２の表示画面の例を示す図である。主制御部２６が、記憶部２５に格納されているアプリケーションプログラムを実行することで、該動作フローは処理され、主制御部２６は、物体認識手段又は色認識手段、言語翻訳手段及び音声出力制御手段として機能する。 FIG. 3 is a diagram showing a first operation flow of the foreign language learning support device according to the embodiment of the present invention. FIG. 4 shows the touch panel 12 of the foreign language learning support device according to the first operation flow. It is a figure which shows the example of a display screen. The main control unit 26 executes the application program stored in the storage unit 25, whereby the operation flow is processed. The main control unit 26 performs object recognition means or color recognition means, language translation means, and voice output control. Functions as a means.
図３において、主制御部２６は、カメラ３０で撮影されているフレーム毎の画像を取り込み（Ｓ１０）、各フレーム画像を画像処理し、画像に含まれる物体を認識・識別する（Ｓ１２）。図４（ａ）に示すように、各フレーム画像は、タッチパネル１２の分割された表示領域のうちの一つに表示されている。また、物体認識については、既知の認識技術を採用することができるが、例えば、さまざまな物体の輪郭データやパターンデータを記憶した物体データベースを用意し、画像全体領域のうちあらかじめ設定された認識領域を占める物体を物体データベースと比較することで、物体を認識する。認識領域は、画像全体領域のうちの主領域であって、例えば、画像全体領域の過半領域、または、過半を超えずとも中央部分を含む領域である。該物体データベースは、アプリケーションプログラムのデータとして、記憶部２５にあらかじめ格納されている。 In FIG. 3, the main control unit 26 captures an image for each frame captured by the camera 30 (S10), performs image processing on each frame image, and recognizes and identifies an object included in the image (S12). As shown in FIG. 4A, each frame image is displayed in one of the divided display areas of the touch panel 12. As for object recognition, a known recognition technique can be adopted. For example, an object database storing outline data and pattern data of various objects is prepared, and a recognition area set in advance among the entire image area is prepared. The object is recognized by comparing the object occupying with the object database. The recognition area is a main area of the entire image area, for example, a majority area of the entire image area, or an area including the central portion without exceeding the majority. The object database is stored in advance in the storage unit 25 as application program data.
図５（ａ）は、物体データベースの構成例を示す図である。物体データベースは、少なくとも識別名称、表示用データ及び輪郭データ（パターンデータ）を含んで構成される。識別名称は、物体の名称であり、表示用データは、認識した物体をユーザに確認させるためのタッチパネル１２に表示するアイコンマークである。 FIG. 5A is a diagram illustrating a configuration example of the object database. The object database includes at least an identification name, display data, and contour data (pattern data). The identification name is the name of the object, and the display data is an icon mark displayed on the touch panel 12 for allowing the user to confirm the recognized object.
主制御部２６は、物体を認識すると、図４（ｂ）に示すように、認識した物体の表示用データ（アイコンマーク）をタッチパネル１２の別の表示領域に表示する（Ｓ１４）。図４の例では、物体はテレビであり、テレビのアイコンマークが表示される。 When recognizing the object, the main control unit 26 displays the display data (icon mark) for the recognized object in another display area of the touch panel 12 as shown in FIG. 4B (S14). In the example of FIG. 4, the object is a television, and a television icon mark is displayed.
ユーザは、認識された物体が画像に表示されている物体であると確認し、正誤判定入力を行う（Ｓ１６）。具体的には、タッチパネル１２の更なる別領域に表示されている「○」領域をタッチし、正判定入力が行われ（図４（ｃ）参照）、画像に表示されている物体と認識された物体が異なる場合は、「×」をタッチし、誤判定入力が行われる。誤判定入力が行われると、物体認識処理を繰り返す。 The user confirms that the recognized object is the object displayed in the image, and performs correct / incorrect determination input (S16). Specifically, a “◯” area displayed in another area of the touch panel 12 is touched, and a positive determination input is performed (see FIG. 4C), which is recognized as an object displayed in the image. If the detected object is different, the user touches “x” to make an erroneous determination input. When an erroneous determination input is made, the object recognition process is repeated.
正判定入力が行われると、主制御部２６は、認識された物体の名称を所定の言語に翻訳して音声出力する（Ｓ１８）。例えば、認識された物体の名称を英語で音声出力する（図４（ｄ）参照）。もちろん、言語は英語に限らず別の言語であってもかまわない。辞書データベースがアプリケーションプログラムのデータとして、記憶部２５にあらかじめ格納されている。 When the correct determination input is performed, the main control unit 26 translates the recognized name of the object into a predetermined language and outputs the sound (S18). For example, the name of the recognized object is output in English (see FIG. 4D). Of course, the language is not limited to English and may be another language. A dictionary database is stored in advance in the storage unit 25 as application program data.
図５（ｂ）は、辞書データベースの構成例を示す図である。辞書データベースは、少なくとも識別名称、外国語音声データで構成される。識別名称は、物体の名称であり、音声データは、認識した物体名称の英単語音声データである。英単語に限らず、例えば、その英単語を含む例文の音声データであってもよい。主制御部２６は、認識された物体に対する音声データを辞書データベースから読み出し、スピーカから音声出力する。 FIG. 5B is a diagram illustrating a configuration example of the dictionary database. The dictionary database includes at least an identification name and foreign language voice data. The identification name is the name of the object, and the voice data is English word voice data of the recognized object name. For example, it may be voice data of an example sentence including the English word. The main control unit 26 reads audio data for the recognized object from the dictionary database and outputs the audio from the speaker.
図６は、本発明の実施の形態における外国語学習支援装置の第２の動作フローを示す図であり、図７は、その第２の動作フローに従った外国語学習支援装置のタッチパネル１２の表示画面の例を示す図である。第２の動作フローは、第１の動作フローとの比較において、物体の認識に代わって、色の認識を行うものである。第１の動作フローと第２の動作フローはモード選択機能を組み込むことにより、選択切換可能に実行される。 FIG. 6 is a diagram showing a second operation flow of the foreign language learning support device according to the embodiment of the present invention, and FIG. 7 shows the touch panel 12 of the foreign language learning support device according to the second operation flow. It is a figure which shows the example of a display screen. The second operation flow is to perform color recognition instead of object recognition in comparison with the first operation flow. The first operation flow and the second operation flow are executed so as to be switchable by incorporating a mode selection function.
図６において、主制御部２６は、カメラ３０で撮影されているフレーム毎の画像を取り込み（Ｓ２０）、各フレーム画像を画像処理し、画像に含まれる物体を認識・識別する（Ｓ２２）。図７（ａ）に示すように、各フレーム画像は、タッチパネル１２の分割された表示領域のうちの一つに表示されている。また、色認識については、画像全体領域のうちの所定の認識領域を占める色を色データベースと比較することで、物体を認識する。認識領域は、画像全体領域のうちの主領域であっては、例えば、画像全体領域の過半領域、または、過半を超えずとも中央部分を含む領域である。該色データベースは、アプリケーションプログラムのデータとして、記憶部２５にあらかじめ格納されている。 In FIG. 6, the main control unit 26 captures an image for each frame captured by the camera 30 (S20), performs image processing on each frame image, and recognizes and identifies an object included in the image (S22). As shown in FIG. 7A, each frame image is displayed in one of the divided display areas of the touch panel 12. As for color recognition, an object is recognized by comparing the color occupying a predetermined recognition area in the entire image area with a color database. The recognition area is a main area of the entire image area, for example, a majority area of the entire image area or an area including the central portion without exceeding the majority. The color database is stored in advance in the storage unit 25 as application program data.
図５（ｃ）は、色データベースの構成例を示す図である。色データベースは、少なくとも色識別情報、表示用色データ及び色データで構成される。表示用色データは、認識した色をユーザに確認させるためのタッチパネル１２に表示する色アイコンマークである。 FIG. 5C is a diagram illustrating a configuration example of the color database. The color database includes at least color identification information, display color data, and color data. The display color data is a color icon mark displayed on the touch panel 12 for allowing the user to confirm the recognized color.
主制御部２６は、色を認識すると、図７（ｂ）に示すように、認識した色の表示用色データ（色アイコンマーク）をタッチパネル１２の別の表示領域に表示する（Ｓ２４）。 When recognizing the color, the main control unit 26 displays the display color data (color icon mark) of the recognized color in another display area of the touch panel 12 as shown in FIG. 7B (S24).
ユーザは、認識された色が画像に表示されている色であると確認し、正誤判定入力を行う（Ｓ２６）。具体的には、タッチパネル１２の更なる別領域に表示されている「○」領域をタッチし、正判定入力が行われ（図７（ｃ）参照）、画像に表示されている色と認識された物体が異なる場合は、「×」をタッチし、誤判定入力が行われる。誤判定入力が行われると、物体認識処理を繰り返す。 The user confirms that the recognized color is the color displayed in the image, and performs correct / incorrect determination input (S26). Specifically, the “◯” area displayed in another area of the touch panel 12 is touched, and a positive determination input is performed (see FIG. 7C), which is recognized as the color displayed in the image. If the detected object is different, the user touches “x” to make an erroneous determination input. When an erroneous determination input is made, the object recognition process is repeated.
正判定入力が行われると、主制御部２６は、認識された色の名称を所定の言語に翻訳して音声出力する（Ｓ２８）。例えば、認識された色の名称を英語で音声出力する（図７（ｄ）参照）。もちろん、言語は英語に限らず別の言語であってもかまわない。図５（ｄ）に例示される色の音声データを有する辞書データベースがアプリケーションプログラムのデータとして、記憶部２５にあらかじめ格納されている。色の外国語音声データは、認識した色の英単語音声データであり、さらに、英単語を含む英語の例文の音声データであってもよい。主制御部２６は、認識された色に対する音声データを辞書データベースから読み出し、スピーカ１８から音声出力する。 When a positive determination input is made, the main control unit 26 translates the recognized color name into a predetermined language and outputs the sound (S28). For example, the recognized color name is output in English (see FIG. 7D). Of course, the language is not limited to English and may be another language. A dictionary database having audio data of the color illustrated in FIG. 5D is stored in advance in the storage unit 25 as application program data. The color foreign language voice data is the recognized-color English word voice data, and may be voice data of English example sentences including English words. The main control unit 26 reads audio data for the recognized color from the dictionary database and outputs the audio from the speaker 18.
本発明によれば、生活の身近な場面において、時と場所を選ばすに、簡単且つ容易に楽しく効率よく語学学習を行うことができる。特に、幼児や児童が興味ある対象物にカメラを向けて、カメラで撮影した対象又はその色の英単語（又は英文）が音声出力されるもので、子供は勉強をしているという意識を持たずに、遊びの中で興味を持って楽しみながら英語学習が自然と行われ、効率的な語学学習が実現される。 According to the present invention, language learning can be performed simply, easily, happily and efficiently in selecting a time and place in a familiar scene of daily life. In particular, children and children are interested in objects that are of interest to children and children who are interested in the subject's image or the English words (or English) of that color. In addition, English learning is naturally performed while being interested and enjoyed in the play, and efficient language learning is realized.
本発明は、前記実施の形態に限定されるものではなく、本発明の分野における通常の知識を有する者であれば想到し得る各種変形、修正を含む要旨を逸脱しない範囲の設計変更があっても、本発明に含まれることは勿論である。 The present invention is not limited to the above-described embodiment, and there are design changes within a range that does not depart from the gist including various modifications and corrections that can be conceived by those having ordinary knowledge in the field of the present invention. Of course, it is included in the present invention.
１０：外国語学習支援装置、１１：筐体、１２：タッチパネル、１３：レシーバ、１４：マイクロフォン、１５：ハードボタン、１６：ハードキー、１７：音声出力端子、１８：スピーカ、２０：移動体通信用アンテナ、２２：移動体通信部、２３：無線LAN通信用アンテナ、２４：無線LAN通信部、２５：記憶部、２６：主制御部、２７：ディスプレイ、２８：タッチセンサ、３０：カメラ、３２：外部インターフェース 10: Foreign language learning support device, 11: Case, 12: Touch panel, 13: Receiver, 14: Microphone, 15: Hard button, 16: Hard key, 17: Audio output terminal, 18: Speaker, 20: Mobile communication Antenna, 22: mobile communication unit, 23: antenna for wireless LAN communication, 24: wireless LAN communication unit, 25: storage unit, 26: main control unit, 27: display, 28: touch sensor, 30: camera, 32 : External interface
上記目的を達成するための本発明の外国語学習支援装置の第１の構成は、被写体を撮影するカメラと、音声を出力する音声出力部と、カメラにより撮影された画像を表示する表示部と、前記表示部に表示される画像全体領域の所定認識領域を占める物体を認識し、当該物体に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする。 The first configuration of the foreign language learning support system of the present invention for achieving the above object, a display unit for displaying a camera for photographing an object, a sound output unit for outputting sound, a more captured images on the camera And an audio output control unit for recognizing an object occupying a predetermined recognition area of the entire image area displayed on the display unit and outputting audio data related to the object from the audio output unit in a translated predetermined language. It is characterized by providing.
本発明の外国語学習支援装置の第２の構成は、被写体を撮影するカメラと、音声を出力する音声出力部と、カメラにより撮影された画像を表示する表示部と、前記表示部に表示される画像全体領域の所定認識領域を占める色を認識し、当該色に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする。 The second configuration of the foreign language learning support system of the present invention, a camera for photographing an object, and a display unit for displaying an audio output unit for outputting sound, a more captured images in the camera, the display on the display unit And an audio output control unit that recognizes a color occupying a predetermined recognition area of the entire image area and outputs audio data related to the color in a predetermined language translated from the audio output unit.
Claims (5)
音声を出力する音声出力部と、
カメラに撮影された画像を表示する表示部と、
前記表示部に表示される画像全体領域のうちの所定認識領域を占める物体を認識し、当該物体に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする外国語学習支援装置。 A camera to shoot the subject,
An audio output unit for outputting audio;
A display for displaying images taken by the camera;
An audio output control unit for recognizing an object occupying a predetermined recognition area in the entire image area displayed on the display unit, and outputting audio data related to the object in the translated predetermined language from the audio output unit; A foreign language learning support apparatus characterized by comprising.
音声を出力する音声出力部と、
カメラに撮影された画像を表示する表示部と、
前記表示部に表示される画像全体領域のうちの所定認識領域を占める色を認識し、当該色に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする外国語学習支援装置。 A camera to shoot the subject,
An audio output unit for outputting audio;
A display for displaying images taken by the camera;
An audio output control unit for recognizing a color occupying a predetermined recognition area in the entire image area displayed on the display unit and outputting audio data related to the color in a predetermined language translated from the audio output unit; A foreign language learning support apparatus characterized by comprising.
前記主領域は、画像全体領域の過半領域、または、過半を超えずとも中央部分を含む領域であることを特徴とする外国語学習支援装置。 In claim 1 or 2,
The foreign language learning support device according to claim 1, wherein the main region is a majority region of the entire image region or a region including the central portion without exceeding the majority.
カメラにより被写体を撮影する工程と、
カメラにより撮影された画像をディスプレイに表示する工程と、
表示される画像全体領域のうちの所定認識領域を占める物体を認識し、当該物体の名称に関連する音声データを翻訳された所定言語で音声出力させる工程とを実行させるための外国語学習支援プログラム。 On a computer with a camera and display,
Photographing the subject with a camera;
Displaying an image taken by a camera on a display;
A foreign language learning support program for recognizing an object occupying a predetermined recognition area in the entire image area to be displayed and executing voice output of voice data related to the name of the object in a predetermined language translated .
カメラにより被写体を撮影する工程と、
カメラにより撮影された画像をディスプレイに表示する工程と、
表示される画像全体領域の所定認識領域を占める色を認識し、当該色の名称に関連する音声データを翻訳された所定言語で音声出力させる工程とを実行させるための外国語学習支援プログラム。 On a computer with a camera and display,
Photographing the subject with a camera;
Displaying an image taken by a camera on a display;
A foreign language learning support program for executing a step of recognizing a color occupying a predetermined recognition area of the entire image area to be displayed and outputting voice data related to the color name in a predetermined translated language.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013181008A JP2015049372A (en) | 2013-09-02 | 2013-09-02 | Foreign language learning support device and foreign language learning support program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013181008A JP2015049372A (en) | 2013-09-02 | 2013-09-02 | Foreign language learning support device and foreign language learning support program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015049372A true JP2015049372A (en) | 2015-03-16 |
Family
ID=52699442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013181008A Pending JP2015049372A (en) | 2013-09-02 | 2013-09-02 | Foreign language learning support device and foreign language learning support program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015049372A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472482A (en) * | 2019-07-01 | 2019-11-19 | 广东工业大学 | A kind of method and device of object identification and real time translation |
| CN111079485A (en) * | 2019-05-17 | 2020-04-28 | 广东小天才科技有限公司 | Method for acquiring dictation content and learning equipment |
| CN111723606A (en) * | 2019-03-19 | 2020-09-29 | 北京搜狗科技发展有限公司 | Data processing method and device and data processing device |
| WO2021106463A1 (en) * | 2019-11-28 | 2021-06-03 | 株式会社ドワンゴ | Content control system, content control method, and content control program |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08272946A (en) * | 1995-01-31 | 1996-10-18 | Omron Corp | Device and method for explaining body |
| JP2002207413A (en) * | 2001-01-12 | 2002-07-26 | National Institute Of Advanced Industrial & Technology | Action recognizing speech type language learning device |
| JP2005202452A (en) * | 2004-01-13 | 2005-07-28 | Casio Comput Co Ltd | Image display device, image recorder and its program |
| JP2006086886A (en) * | 2004-09-16 | 2006-03-30 | Ricoh Co Ltd | Imaging system |
| JP2006101166A (en) * | 2004-09-29 | 2006-04-13 | Casio Comput Co Ltd | Camera device,information processing device, and object identification method |
| JP2008129884A (en) * | 2006-11-22 | 2008-06-05 | Nec Corp | Information retrieval system, its method, and broadcast receiver used therefor |
| JP2011146796A (en) * | 2010-01-12 | 2011-07-28 | Sony Corp | Image processing device, object selection method, and program |
| JP2011191517A (en) * | 2010-03-15 | 2011-09-29 | Nikon Corp | Stereomicroscope and control device for microscope |
| JP2011242861A (en) * | 2010-05-14 | 2011-12-01 | Ntt Docomo Inc | Object recognition device, object recognition system and object recognition method |
-
2013
- 2013-09-02 JP JP2013181008A patent/JP2015049372A/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08272946A (en) * | 1995-01-31 | 1996-10-18 | Omron Corp | Device and method for explaining body |
| JP2002207413A (en) * | 2001-01-12 | 2002-07-26 | National Institute Of Advanced Industrial & Technology | Action recognizing speech type language learning device |
| JP2005202452A (en) * | 2004-01-13 | 2005-07-28 | Casio Comput Co Ltd | Image display device, image recorder and its program |
| JP2006086886A (en) * | 2004-09-16 | 2006-03-30 | Ricoh Co Ltd | Imaging system |
| JP2006101166A (en) * | 2004-09-29 | 2006-04-13 | Casio Comput Co Ltd | Camera device,information processing device, and object identification method |
| JP2008129884A (en) * | 2006-11-22 | 2008-06-05 | Nec Corp | Information retrieval system, its method, and broadcast receiver used therefor |
| JP2011146796A (en) * | 2010-01-12 | 2011-07-28 | Sony Corp | Image processing device, object selection method, and program |
| JP2011191517A (en) * | 2010-03-15 | 2011-09-29 | Nikon Corp | Stereomicroscope and control device for microscope |
| JP2011242861A (en) * | 2010-05-14 | 2011-12-01 | Ntt Docomo Inc | Object recognition device, object recognition system and object recognition method |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723606A (en) * | 2019-03-19 | 2020-09-29 | 北京搜狗科技发展有限公司 | Data processing method and device and data processing device |
| CN111079485A (en) * | 2019-05-17 | 2020-04-28 | 广东小天才科技有限公司 | Method for acquiring dictation content and learning equipment |
| CN111079485B (en) * | 2019-05-17 | 2024-03-22 | 广东小天才科技有限公司 | Dictation content acquisition method and learning equipment |
| CN110472482A (en) * | 2019-07-01 | 2019-11-19 | 广东工业大学 | A kind of method and device of object identification and real time translation |
| WO2021106463A1 (en) * | 2019-11-28 | 2021-06-03 | 株式会社ドワンゴ | Content control system, content control method, and content control program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10438080B2 (en) | Handwriting recognition method and apparatus | |
| US9448620B2 (en) | Input method and apparatus of portable device for mapping segments of a hand to a plurality of keys | |
| US20150332439A1 (en) | Methods and devices for hiding privacy information | |
| US20190065476A1 (en) | Method and apparatus for translating text displayed on display | |
| WO2016208564A1 (en) | Electronic device, and operating method and control program for electronic device | |
| CN109684980B (en) | Automatic scoring method and device | |
| CN106341522A (en) | Mobile Terminal And Method For Controlling The Same | |
| EP2919104A1 (en) | Information processing device, information processing method, and computer-readable recording medium | |
| CN105320262A (en) | Method and apparatus for operating computer and mobile phone in virtual world and glasses thereof | |
| US8866772B2 (en) | Information processing terminal and method, program, and recording medium | |
| US20160154777A1 (en) | Device and method for outputting response | |
| JP2021531589A (en) | Motion recognition method, device and electronic device for target | |
| US20140354573A1 (en) | Touchscreen response method and terminal | |
| US10114501B2 (en) | Wearable electronic device using a touch input and a hovering input and controlling method thereof | |
| JP2015049372A (en) | Foreign language learning support device and foreign language learning support program | |
| WO2016056116A1 (en) | Display system, input device, display device, and display method | |
| US10481772B2 (en) | Widget displaying method and apparatus for use in flexible display device, and storage medium | |
| US20140288916A1 (en) | Method and apparatus for function control based on speech recognition | |
| US9262689B1 (en) | Optimizing pre-processing times for faster response | |
| US9148537B1 (en) | Facial cues as commands | |
| JP6164361B2 (en) | Terminal device, display control method, and program | |
| CN108536653B (en) | Input method, input device and input device | |
| CN110378318B (en) | Character recognition method and device, computer equipment and storage medium | |
| WO2015145570A1 (en) | Terminal device, display control method, and program | |
| CN110377914B (en) | Character recognition method, device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150210 |