JP2019008419A - データ送信方法、データ送信装置、及びプログラム - Google Patents

データ送信方法、データ送信装置、及びプログラム Download PDF

Info

Publication number
JP2019008419A
JP2019008419A JP2017121600A JP2017121600A JP2019008419A JP 2019008419 A JP2019008419 A JP 2019008419A JP 2017121600 A JP2017121600 A JP 2017121600A JP 2017121600 A JP2017121600 A JP 2017121600A JP 2019008419 A JP2019008419 A JP 2019008419A
Authority
JP
Japan
Prior art keywords
data
voice
lecture
instruction
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017121600A
Other languages
English (en)
Other versions
JP2019008419A5 (ja
JP6939128B2 (ja
Inventor
湖城 孝
Takashi Koshiro
孝 湖城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017121600A priority Critical patent/JP6939128B2/ja
Publication of JP2019008419A publication Critical patent/JP2019008419A/ja
Publication of JP2019008419A5 publication Critical patent/JP2019008419A5/ja
Priority to JP2021142307A priority patent/JP7279754B2/ja
Application granted granted Critical
Publication of JP6939128B2 publication Critical patent/JP6939128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】撮影専用の特別講義を行なう必要なく、利用者にとって適切に利用できる講義データを得ることが可能な講義データ送信方法を提供する。【解決手段】講義対象の電子教科書のテキストTxをタッチパネル付き表示部17に表示させ、当該テキストTxの各講義項目等を、講義者LeがペンPによるタッチ操作や音声により指示しながら説明(発声)して各受講者St…に対する講義を行う。CPUは、表示中のテキストTxに対するタッチ操作での指示あるいは音声を認識することによる指示を検知する毎に、前回の指示を検知したタイミング以降で今回の指示を検知したタイミング以前に音声入力部で入力して取得した講義者音声データHを含む講義中の音声データを、前回の指示に応じたテキスト位置のデータに対応付けて、順次、講義データとして講義データエリア又は教育コンテンツサーバに送信して登録する。【選択図】図1

Description

本発明は、講義者が行う講義を効果的に利用するためのデータ送信方法、データ送信装置及びその制御プログラムに関する。
近年、教科の学習単元毎に、動画教材が作成され、作成された動画教材を学習者が視聴して学習することが盛んに行われている。
動画教材を生成する講義録画システムであって、講師が使用する講義用携帯端末から講義用ディスプレイに表示させるプレゼンテーション用の画面の映像と、講義撮影用カメラにより講義を撮影した映像とを、講義用マイクロホンで入力した講師の音声と共に録画用PCにて合成して録画し、動画教材を生成することが考えられている(例えば、特許文献1参照。)。
特開2016−144073号公報
従来の講義録画システムにより動画教材を生成するには、動画編集の技術と手間が掛かるだけでなく、講義用ディスプレイに表示されるプレゼンテーション用の画面の映像や当該画面に対し講師が指示する位置が講義撮影用カメラにより上手く撮影できるように、講師がカメラの位置に注意して移動する必要がある。
このため、動画教材を撮影するための講義は、撮影専用の特別講義として行っているのが殆どである。また、従来の動画教材は、対象とする学習単元の講義を通しで撮影、録画して生成されるので、例えば、講義テキストの項目毎に学習の範囲を分けて利用しづらい問題がある。
本発明は、このような課題に鑑みなされたもので、利用者にとって適切に利用できる講義データを得ることが可能なデータ送信方法、データ送信装置及びその制御プログラムを提供することを目的とする。
本発明に係るデータ送信方法は、電子機器のデータ送信方法であって、対象のテキストデータを取得するテキスト取得ステップと、前記テキスト取得ステップにより取得されたテキストデータを前記電子機器の表示部に表示させるテキスト表示制御ステップと、前記表示部に表示されたテキストデータに対するユーザの指示を検知するユーザ指示検知ステップと、前記電子機器の音声入力部に入力された音声データを取得する音声取得制御ステップと、前記ユーザ指示検知ステップによるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御ステップにより取得された音声データを、前記前回の指示に応じたテキストデータの位置に対応付けて送信するデータ送信制御ステップと、からなる。
本発明によれば、利用者にとって適切に利用できる講義データを得ることが可能になる。
本発明のデータ送信装置の実施形態に係る電子黒板(講義者端末)10の外観構成を示す概念図。 前記電子黒板(講義者端末)10の電子回路の構成を示すブロック図。 前記電子黒板(講義者端末)10の講義データエリア12cに登録した講義データ12c1の一例を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理(その1)を示すフローチャート。 前記電子黒板(講義者端末)10の講義データ送信処理(その2)を示すフローチャート。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その1)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その2)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その3)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その4)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その5)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その6)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その7)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その8)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その9)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その10)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その11)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その12)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従い生成された講義データ12cnを受信した受講者端末20でのユーザ(受講者)操作に応じた講義データ12cnの表示再生動作(その1)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従い生成された講義データ12cnを受信した受講者端末20でのユーザ(受講者)操作に応じた講義データ12cnの表示再生動作(その2)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従い生成された講義データ12cnを受信した受講者端末20でのユーザ(受講者)操作に応じた講義データ12cnの表示再生動作(その3)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従い生成された講義データ12cnを受信した受講者端末20でのユーザ(受講者)操作に応じた講義データ12cnの表示再生動作(その4)を示す図。 前記電子黒板(講義者端末)10の講義データ送信処理に従い生成された講義データ12cnを受信した受講者端末20でのユーザ(受講者)操作に応じた講義データ12cnの表示再生動作(その5)を示す図。
以下図面により本発明の実施の形態について説明する。
図1は、本発明のデータ送信装置の実施形態に係る電子黒板(講義者端末)10の外観構成を示す概念図である。
前記電子黒板(講義者端末)10は、図1に示すように、講義用の黒板や白板に代る広さの表示画面を有するタッチパネル(タッチ位置検出装置)付きカラー表示部17、図示しない音声入力部(マイク)及び音声出力部(スピーカ)を備える。
なお、前記電子黒板(講義者端末)10は、タブレット端末やタッチパネル付き表示部を備えたパーソナルコンピュータ等により構成し、当該パーソナルコンピュータ等により生成されて表示される表示データを、講義用の大画面の表示装置に表示させてもよい。
また、前記電子黒板(講義者端末)10は、自らは表示機能を持たない通常の黒板(又は白板)と、電子教科書等の講義対象のテキストの画像を前記黒板(又は白板)上に投影して表示させるプロジェクタ装置と、音声入力装置及び音声出力装置と、前記黒板(又は白板)に表示させた講義対象テキスト上でのペンPの指定位置を検出するペン位置センサと、を備えて構成してもよい。
以下、タッチパネル付きカラー表示部17を備えた電子黒板(講義者端末)10について説明する。
前記電子黒板(講義者端末)10は、講義対象のテキスト(教科書)Txの見開きページのデータを表示する。講師Leは、ペンPを使用して前記電子黒板(講義者端末)10に表示されたテキスト(教科書)Txの説明すべき各位置をタッチ操作で指定しながら講義を行なう。なお、黒板の表示テキスト(教科書)Txを見やすくするために、黒板を実際の1.5倍の長さに拡大して図面化した。図面では、講師Leは黒板の上側の位置にタッチするのが困難に見えるが、先生も1.5倍に拡大されると仮定して以下の説明を理解されたい。
各受講者(生徒等)St…は、受講者端末(タブレット端末等)20…を持ち、受講者端末(タブレット端末等)20に前記講義対象のテキスト(教科書)Txの見開きページを表示させて講義を受ける。
図2は、前記電子黒板(講義者端末)10の電子回路の構成を示すブロック図である。
前記電子黒板(講義者端末)10は、コンピュータであるCPU11を備える。前記CPU11は、フラッシュROMなどのメモリ12に予め記憶された講義データ送信処理プログラム12aに従って回路各部の動作を制御する。なお、講義データ送信処理プログラム12aは、メモリカードなどの外部記録媒体13から記録媒体読取部14により読み取って前記メモリ12に記憶してもよいし、通信ネットワーク(インターネット)N上のWebサーバ30から通信部(インターネット通信)15を介しダウンロードして前記メモリ12に記憶してもよい。
前記CPU11には、前記メモリ12、記録媒体読取部14、通信部15を接続する他に、キー入力部16、タッチパネル付きカラー表示部17、音声入力部(マイク)(又は音声付き動画入力部(マイク付カメラ))18a、音声出力部(スピーカ)18b、近距離無線通信部(Bluetooth(登録商標)等)19を接続する。
また、前記メモリ12には、電子教科書データエリア12b、講義データエリア12c、受講者データエリア12dなどを確保する。
前記電子教科書データエリア12bは、例えば、中学1年英語、中学英語2年英語等、各教科各学年の電子教科書(テキスト)Txそれぞれのデータを記憶し、語学テキストの場合は、更に、本文模範音声データ、基本文模範音声データ、単語模範音声データも含めて記憶する。
前記講義データエリア12cには、例えば、各教科各学年各組の時間割りに従い各時限にて講義者が行った講義の音声データを、講義対象のテキスト(Tx)の講義者Leが指示した位置に対応付けた講義データ(4月25日_2時間目_中学2年英語P18−19(2年3組))12c1,(4月23日_4時間目_中学2年英語P18−19(2年1組))12c2,(4月21日_1時間目_中学2年英語P17−18(2年1組))12c3,…として登録する。
図3は、前記電子黒板(講義者端末)10の講義データエリア12cに登録した講義データ12c1の一例を示す図である。
前記講義データ12c1は、前記CPU11が、前記電子教科書データエリア12bに記憶した講義対象のテキスト(Tx)に対する講義者Leの指示操作(タッチ操作による指示と音声操作による指示を含む)を検知する毎に、当該指示の内容と、当該指示に対応する時間と、当該指示に対応するテキスト位置と、当該指示に対応する項目(マーク)等の講義内容とに対して、前回の指示操作の検知から今回の指示操作の検知以前まで前記音声入力部18aにより入力した講義者Le等の音声データを対応付けて前記講義データエリア12cに登録する。
前記講義データ12c1,12c2,12c3,…において、講義者Leの指示に対応する項目等の内容としては、当該指示に対応するテキスト位置の項目(マーク)をアイコン化したデータとそのアイコンに応じた動作制御の内容を含む。
前記受講者データエリア12dは、各受講者(生徒等)St…が使用する受講者端末(タブレット端末等)20…の通信アドレス等を記憶する。
なお、前記電子教科書データエリア12bが記憶する各種の電子教科書(テキスト)Txそれぞれのデータは、前記講義データ送信処理プログラム12aに従った本電子黒板(講義者端末)10の動作上の必要に応じて、前記通信ネットワーク(インターネット)N上の教育コンテンツサーバ30から、前記通信部15を介しダウンロードして取得する構成としてもよい。
また、前記講義データエリア12cに登録する講義データ12c1,12c2,12c3,…は、当該講義データ12cnを生成する処理の過程で前記教育コンテンツサーバ30に送信して登録してもよいし、各時限の講義毎に前記講義データエリア12cに登録した講義データ12cnを一括して前記教育コンテンツサーバ30に送信して登録してもよい。
また、前記受講者データエリア12dが記憶する各受講者(生徒等)St…のデータも、前記講義データ送信処理プログラム12aに従った本電子黒板(講義者端末)10の動作上の必要に応じて、前記通信ネットワーク(インターネット)N上の教育コンテンツサーバ30から、前記通信部15を介しダウンロードして取得する構成としてもよい。
このように構成された電子黒板(講義者端末)10は、前記CPU11が、前記講義データ送信処理プログラム12aに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べるような、実際の受講者St…を対象とした講義からの講義データ12cnの生成機能とその送信機能とを実現する。
次に、前記構成の電子黒板(講義者端末)10の動作について説明する。
図4、図5は、前記電子黒板(講義者端末)10の講義データ送信処理(その1)(その2)を示すフローチャートである。
図6A〜図6D、図7A〜図7D、図8A〜図8Dは、前記電子黒板(講義者端末)10の講義データ送信処理に従ったユーザ(講義者)操作に応じた講義内容の表示動作(その1〜4)(その5〜8)(その9〜12)を示す図である。
先ず、図6Aに示すように、ユーザ(講義者Le)によるキー入力部16の電源キーの操作、又は表示部17のタッチ操作に応じて、電子黒板(講義者端末)10の電源がオンになると(ステップS1(Yes))、CPU11は、時計カウンタTによる講義時間のカウントを開始する。また、電子教科書データエリア12bが記憶している各教科各学年の電子教科書の教科書アイコン(ここでは[文型ドリル1年]TX1,[中学1年英語]TX2,[中学2年英語]TX3)を読み出し、前記表示部17に一覧にして表示し、また、音声入力部18aによる音声入力を開始する(ステップS2)。
この際、講義者(講師等)Leは、例えば「おはよう。みんな元気かな?出席をとります。…今日もがんばっていこう。」と発声し、前記音声入力部18aがその講義者音声データHを入力する。
次に、前記講義者Leは、ペンPにより、前記表示部17に一覧表示されている教科書アイコンTX1,TX2,TX3の中の[中学2年英語]TX3をタッチ操作して指示し、「『中学2年英語』の『教科書のP18』を開いて!」と発声する。
CPU11は、前記教科書アイコン[中学2年英語]TX3に対する指示を検知し(ステップS3(Yes))、教科書アイコンTXnに対する最初の指示の検知であると判断すると(ステップS4(Yes))、当該指示された教科書アイコン[中学2年英語]TX3、現在の日時、講義対象のクラス、前回の講義で表示した同教科書[中学2年英語]の見開きページに基づいて、講義データ12c1のヘッダ(ここでは[4月25日_2時間目_中学2年英語P18−19(2年3組)])を生成し、メモリ12内の講義データエリア12cに登録する(ステップS5)。
またCPU11は、前記電源オンのときから前記教科書アイコン[中学2年英語]TX3に対する指示を検知したタイミング以前までに前記音声入力部18aに入力されて取得された講義者音声データH「おはよう。みんな元気かな?出席をとります。…今日もがんばっていこう。」を、前記電源オンの指示データと、その指示の時点での前記時計カウンタTによる講義時間データ[00:00]と、前記電源オンの指示に対応する[開始]アイコン及びその動作制御(再生開始)のデータとに対応付けて、前記講義データエリア12c内の講義データ12c1のヘッダに続けて登録する(ステップS6)。
そしてCPU11は、図6Bに示すように、前記教科書アイコン[中学2年英語]TX3に対する指示を検知したタイミング以降に前記音声入力部18aにより入力された講義者音声データH「『中学2年英語』の『教科書のP18』を開いて!みななはGWの予定はもう立てたかな?今日は、予定をあらわす英語の勉強だよ!」を、[イントロ]アイコンと前記教科書[中学2年英語]のページ位置[中2英語;P18]のデータとに対応付けて取得していき、当該教科書[中学2年英語]の見開きページP18−19のテキストTxを表示部17に表示させる(ステップS7)。
次に、講義者Leは、ペンPにより、前記表示部17に表示されたテキストTxの本文Bu1の音声アイコンSPをタッチ操作して指示する。
CPU11は、前記表示中のテキストTxの本文Bu1の音声アイコンSPに対する指示を検知すると(ステップS8(Yes))、前記教科書アイコン[中学2年英語]TX3に対する指示を検知したときから前記音声アイコンSPに対する指示を検知したタイミング以前までに前記音声入力部18aに入力されて取得された講義者音声データH「『中学2年英語』の『教科書のP18』を開いて!みななはGWの予定はもう立てたかな?今日は、予定をあらわす英語の勉強だよ!」を、前記教科書アイコンの指示データと、その指示の時点での前記時計カウンタTによる講義時間データ[04:35]と、前記ページ位置[中2英語;P18]のデータと、前記[イントロ]アイコン及びその動作制御(導入部の講義再生)のデータとに対応付けて、前記講義データエリア12c内の講義データ12c1に追加して登録する(ステップS9)。
そしてCPU11は、図6Cに示すように、前記テキストTxの本文Bu1のデータ“Hi,Dick. What are your plans for the holidays? … Do you want anything from NYC? Koji”を表示部17に表示させ、また当該本文の模範音声データHmを音声出力部18bから出力させ、前記音声アイコンSPに対する指示を検知したタイミング以降に前記音声入力部18aにより入力された前記本文の模範音声データHmを、[音声再生]アイコンと前記教科書[中学2年英語]のページ位置[中2英語;P18;本文]のデータとに対応付けて取得していく(ステップS10)。
なお、前記テキストTxの見開きページの表示(図6B参照)から当該見開きページ内の一部を拡大した表示(図6C参照)に切り替わった場合、CPU11は、その表示の内容を見開きページの全体の表示に戻すための全体表示アイコンATを表示部17の空白に表示させる。
次に、講義者Leは、図6DのペンP1〜P4に示すように、前記表示部17に表示された本文Bu1のうち、受講者Stに注目させたい部分の文字列“I’m going to visit NYC next week. … see many things.”をタッチ操作してなぞりアンダーラインの表示を指示し、「新しい文型がでてきたよ!今日は、「○○する予定です」という文型を学習するよ!」と発声する。
CPU11は、前記表示中の本文Bu1に対するタッチ操作に応じたアンダーラインの表示の指示を検知すると(ステップS11(Yes))、前記音声アイコンSPに対する指示を検知したときから前記アンダーラインの指示を検知したタイミング以前までに前記音声入力部18aに入力されて取得された本文Bu1の模範音声データHm「Hi,Dick. What are your plans for the holidays? … Do you want anything from NYC? Koji」を、前記音声アイコンの指示データと、その指示の時点での前記時計カウンタTによる講義時間データ[08:21]と、前記ページ位置[中2英語;P18;本文]のデータと、前記[音声再生]アイコン及びその動作制御(本文再生)のデータとに対応付けて、前記講義データエリア12c内の講義データ12c1に追加して登録する(ステップS12)。
この際、前記音声入力部18aから入力して取得した本文Bu1の模範音声データHmには、音声出力部18bから出力した模範音声データHmに合わせて受講者St…により発声される音声データも含まれる。このため、前記講義データエリア12cに登録した講義データ12c1を利用する段階で前記受講者St…の音声データも含まれる本文Bu1の模範音声データHmが自動再生されないように、当該模範音声データHmには出力禁止フラグ(マーク[])を付加して登録する。
そしてCPU11は、図6Dに示すように、前記表示部17に表示中の本文Bu1のデータのうち前記アンダーラインの指示を検知した文字列“I’m going to visit NYC next week. … see many things.”にアンダーラインを表示させ、当該アンダーラインの指示を検知したタイミング以降に前記音声入力部18aにより入力された前記講義者Leの音声データH「新しい文型がでてきたよ!今日は、「○○する予定です」という文型を学習するよ!」を、前記教科書[中学2年英語]のページ位置のアンダーライン位置[中2英語;P18;本文;アンダーライン]のデータに対応付けて取得していく(ステップS13)。
次に、講義者Leが、図6DとペンP5に示すように、前記表示部17に表示中の全体表示アイコンATにタッチ操作して前記テキストTxの見開きページP18−19の全体表示を指示すると、CPU11は、図7Aに示すように、当該テキストTxの見開きページP18−19の全体を表示部17に表示させる。
そして講義者Leは、ペンPにより、前記表示部17に表示されたテキストTxの基本文Bu2をタッチ操作して表示を指示し、「『基本文2−4』を見てね。「be going to +動詞の原型」で「○○する予定です」といういみだよ!たとえば、…」と発声する。
CPU11は、前記表示中のテキストTxの基本文Bu2に対する表示の指示を検知すると(ステップS14(Yes))、前記アンダーラインの指示を検知したときから前記基本文Bu2に対する指示を検知したタイミング以前までに前記音声入力部18aに入力されて取得された講義者音声データH「新しい文型がでてきたよ!今日は、「○○する予定です」という文型を学習するよ!」を、前記アンダーラインの指示データと、その指示の時点での前記時計カウンタTによる講義時間データ[15:10]と、前記ページ位置[中2英語;P18;アンダーライン]のデータと、動作制御(アンダーライン)のデータとに対応付けて、前記講義データエリア12c内の講義データ12c1に追加して登録する(ステップS15)。
そしてCPU11は、図7Bに示すように、前記テキストTxの基本文Bu2のデータ“I’m going to visit NYC next week. … Yes, I am.[No I am not.]”を表示部17に表示させ、前記基本文Bu2に対する指示を検知したタイミング以降に前記音声入力部18aにより入力された前記講義者Leの音声データH「『基本文2−4』を見てね。「be going to +動詞の原型」で「○○する予定です」といういみだよ!たとえば、…」を、[基本文説明]アイコンと前記教科書[中学2年英語]のページ位置[中2英語;P19;基本文2−4]のデータとに対応付けて取得していく(ステップS16)。
次に、講義者Leは、図7Cに示すように、ペンPにより、前記表示部17に表示されたテキストTxの基本練習BLをタッチ操作して指示し、「『基本練習2−4』を見てね。リサさん、『答えて』ください。」と発声する。
CPU11は、前記表示中のテキストTxの基本練習BLに対する表示の指示を検知すると(ステップS17(Yes))、前記基本文Bu2に対する表示の指示を検知したときから前記基本練習BLに対する表示の指示を検知したタイミング以前までに前記音声入力部18aに入力されて取得された講義者音声データH「『基本文2−4』を見てね。「be going to +動詞の原型」で「○○する予定です」といういみだよ!たとえば、…」を、前記基本文2−4に対する指示データと、その指示の時点での前記時計カウンタTによる講義時間データ[18:35]と、前記ページ位置[中2英語;P19;基本文2−4]のデータと、[基本文説明]アイコン及びその動作制御(基本文の講義再生)のデータとに対応付けて、前記講義データエリア12c内の講義データ12c1に追加して登録する(ステップS18)。
そしてCPU11は、図7Dに示すように、前記基本練習BLのデータ“例;I am going to visit NYC next week. [・I][・play tennis][・next Saturday]”を表示部17に表示させ、前記基本練習BLに対する指示を検知したタイミング以降に前記音声入力部18aにより入力された前記講義者Leの音声データH「『基本練習2−4』を見てね。リサさん、『答えて』ください。」を、[基本練習説明]アイコンと前記教科書[中学2年英語]のページ位置[中2英語;P19;基本練習2−4]のデータとに対応付けて取得していく(ステップS19)。
ここでCPU11は、前記音声入力部18aに入力されて取得される講義者音声データH「『基本練習2−4』を見てね。リサさん、『答えて』ください。」を音声認識することで、当該講義者音声データHに、例えば、講義者Leが受講者Stに呼びかけたり、受講者Stが答えたりする等の応対音声(ここでは「リサさん」)が含まれると判断した場合は(ステップS20(Yes))、当該講義者音声データHの応対音声が含まれる部分「リサさん、『答えて』ください。」に出力禁止フラグ(マーク[])Xpを付加する(ステップS21)。
これにより、前記講義データエリア12cに登録した講義データ12c1を利用する段階で、受講者Stの個人を特定可能な講義者音声データHが自動再生されないように設定する。
そして講義者Leは、ペンPにより、前記表示部17に表示された基本練習BLの出題アイコンQをタッチ操作して指示する。
受講者St(ここでは「リサ」)は、前記講義者Leの発声「リサさん、『答えて』ください。」と前記出題アイコンQの指示に応じて、当該受講者St自身の考えによる回答文“I am playing tennis next Saturday.”を発声する。
また講義者Leは、図8Aに示すように、前記受講者Stの発声した回答文“I am playing tennis next Saturday.”に応じて、「ええっと、ちょっとおかしいね。Next Saturday(次の土曜日は、未来だよ)。「I am playing」では、「しています」の意味の現在進行形だね!」と発声する。
CPU11は、前記出題アイコンQに対するタッチ操作に応じた出題の指示を検知すると(ステップS22(Yes))、前記基本練習BLに対する表示の指示を検知したときから前記出題アイコンQに対する指示を検知したタイミング以前までに前記音声入力部18aに入力されて取得された講義者音声データH「『基本練習2−4』を見てね。[リサさん、『答えて』ください。]」を、前記基本練習2−4に対する指示データと、その指示の時点での前記時計カウンタTによる講義時間データ[25:32]と、前記ページ位置[中2英語;P19;基本練習2−4]のデータと、[基本練習説明]アイコン及びその動作制御(基本練習の講義再生)のデータとに対応付けて、前記講義データエリア12c内の講義データ12c1に追加して登録する(ステップS23)。
そしてCPU11は、前記出題アイコンQに対する指示を検知したタイミング以降に前記音声入力部18aにより入力された前記受講者St(リサ)の回答文の音声データHs“I am playing tennis next Saturday.”と、前記講義者Leの音声データH「ええっと、ちょっとおかしいね。Next Saturday(次の土曜日は、未来だよ)。「I am playing」では、「しています」の意味の現在進行形だね!」とを、[出題]アイコンと前記教科書[中学2年英語]のページ位置[中2英語;P19;基本練習2−4]のデータとに対応付けて取得していく(ステップS24)。
ここでCPU11は、前記音声入力部18aに入力されて取得される音声データを音声認識することで、前記受講者St(リサ)の回答文の音声データHs“I am playing tennis next Saturday.”を検知すると(ステップS25(Yes))、当該受講者Stの音声データHsに出力禁止フラグ(マーク[])Xpを付加する(ステップS26)。
またCPU11は、前記音声認識した受講者St(リサ)の回答文“I am playing tennis next Saturday.”と、前記電子教科書(テキスト)Txの該当するテキスト位置[中2英語;P19;基本練習2−4]に対応して集録されている正解文“I am going to play tennis next Saturday.”とを比較して、前記回答文の正誤を判定する(ステップS27)。
ここで、前記受講者Stの回答文について、前記基本練習の正解文と異なることで誤り判定される場合の当該正解文との異なり方の類型を、予め[誤り1][誤り2]…と設定しておく。
CPU11は、前記受講者St(リサ)の回答文“I am playing tennis next Saturday.”について、前記[誤り1]と判定すると(ステップS30(Yes))、前記表示部17に表示中の基本練習BLの画面に、当該[誤り1]と判定した回答文THs“I am playing tennis next Saturday.”を誤りマーク[×]Erを付けて表示する。
そしてCPU11は、前記出題アイコンQに対する出題の指示を検知したときから現在までに前記音声入力部18aに入力されて取得された前記受講者St(リサ)の回答文THsの音声データHs“I am playing tennis next Saturday.”(出力禁止マーク[]付き)と、前記講義者Leの音声データH「ええっと、ちょっとおかしいね。Next Saturday(次の土曜日は、未来だよ)。「I am playing」では、「しています」の意味の現在進行形だね!」とを、前記[出題]アイコンQに対する指示データと、その指示の時点での前記時計カウンタTによる講義時間データ[27:10]と、前記ページ位置[中2英語;P19;基本練習2−4]のデータと、[出題]アイコンに前記[誤り1]の回答文[×]“I am playing tennis next Saturday.”を対応付けて設定した隠しデータとに対応付けて、前記講義データエリア12c内の講義データ12c1に追加して登録する(ステップS31a)。
ここで、講義者Leは、前記表示部17に表示された回答文THs“I am playing tennis next Saturday.”に含まれる[誤り1]の要点を説明するために、図8AのペンP1,P2に示すように、“playing”をダブルタッチRして指示し、「『現在進行形を復習』して比較してみよう。」「動詞のing形は、動作が今進行しているとき使うね。」と発声する。
CPU11は、前記回答文THs“I am playing tennis next Saturday.”に含まれる“playing”に対するダブルタッチRの指示を検知すると、前記電子教科書データ(12b)の中から現在講義中の教科書のページ位置[中2英語;P19;基本練習2−4]よりも前の単元の英語の教科書に含まれる基本文(ここでは[中1英語;P95;基本文1−25])を検索し、図8Bに示すように、復習用の基本文Bupとして表示部17に表示させる。そして、前記“playing”に対するダブルタッチRを検知したタイミング以降に前記音声入力部18aに入力される前記講義者Leの音声データH「『現在進行形を復習』して比較してみよう。」「動詞のing形は、動作が今進行しているとき使うね。」を、前記[誤り1]の説明データとして、前記教科書のページ位置[中1英語;P95;基本文1−25]のデータに対応付けて取得していく(ステップS31b)。
このように、前記表示部17に表示中の文字列(ここでは受講者Stの[誤り1]の回答文THs)の中から復習したい一部の文字列に対するダブルタッチRの指示を検知すると、当該指示された文字列に対応した復習のための基本文Bupが、講義済み(受講済み)の電子教科書データ(12b)の中から検索されて表示されるので、生成中の講義データ12c1に容易に復習のための講義データも含めることができる。
なお、前記ステップS25〜S27の処理に従い音声認識された受講者Stの回答文THsについて、前記[誤り2]と判定された場合も(ステップS32(Yes))、前記[誤り1]と判定された場合と同様に、表示中の文字列に含まれる要点としての一部の文字列をダブルタッチR等により指示することで、当該[誤り2]の類型に応じた復習のための過去の講義データを生成中の講義データ12c1に容易に含めることができる(ステップS32,S33a,S33b)。
また、前記[誤り1][誤り2]に含まれない他の類型の誤りと判定された場合であっても(ステップS34(Yes))、前記同様に、当該他の類型に応じた復習のための過去の講義データを生成中の講義データ12c1に容易に含めることができる(ステップS34,S35a,S35b)。
前記図8Bで示した、復習用の基本文Bupを表示させた表示部17の画面において、講義者LeはペンPにより[戻る]アイコンReをタッチ操作して指示し、次に、図8Cに示すように、「する予定の場合は、「be going to」の後、原型動詞だね。リサさん、もう一度『チャレンジ』ね。」と発声する。
CPU11は、前記[戻る]アイコンReに対するタッチ操作の指示(ここでは、基本練習BLに対する表示の指示と同一)を検知すると(ステップS17(yes))、前記回答文THsの文字列“playing”に対するダブルタッチRの指示を検知したときから前記[戻る]アイコンReに対する指示を検知したタイミング以前までに前記音声入力部18aに入力されて取得された講義者音声データH「『現在進行形を復習』して比較してみよう。」「動詞のing形は、動作が今進行しているとき使うね。」を、前記“playing”に対するダブルタッチRの指示データと、その指示の時点での前記時計カウンタTによる講義時間データ[30:05]と、前記教科書のページ位置[中1英語;P95;基本文1−25]のデータと、前記[誤り1]の回答文[×]“I am playing tennis next Saturday.”に[復習]アイコン(リンク先[中1英語;P95;基本文1−25])を設定したデータとに対応付けて、前記講義データエリア12c内の講義データ12c1に追加して登録する(ステップS18)。
そしてCPU11は、前記基本練習BLのデータ“例;I am going to visit NYC next week. [・I][・play tennis][・next Saturday]”を表示部17に再び表示させ、前記[戻る]アイコンReに対する指示を検知したタイミング以降に前記音声入力部18aにより入力される前記講義者Leの音声データH「する予定の場合は、「be going to」の後、原型動詞だね。リサさん、もう一度『チャレンジ』ね。」を、[基本練習説明]アイコンと前記教科書[中学2年英語]のページ位置[中2英語;P19;基本練習2−4]のデータとに対応付けて取得していく(ステップS19)。
ここでCPU11は、前記音声入力部18aに入力されて取得される講義者音声データH「する予定の場合は、「be going to」の後、原型動詞だね。リサさん、もう一度『チャレンジ』ね。」を音声認識することで、前回の基本練習を行ったときと同様に、当該講義者音声データHに、応対音声(ここでは「リサさん」)が含まれると判断し(ステップS20(Yes))、当該講義者音声データHの応対音声が含まれる部分「リサさん、もう一度『チャレンジ』ね。」に出力禁止フラグ(マーク[])Xpを付加する(ステップS21)。
そして講義者Leは、ペンPにより、前記表示部17に表示された基本練習BLの出題アイコンQをタッチ操作して指示する。
受講者St(ここでは「リサ」)は、前記講義者Leの発声「リサさん、もう一度『チャレンジ』ね。」と前記出題アイコンQの指示に応じて、図8Dに示すように、当該受講者St自身の再考した回答文“I am going to play tennis next Saturday.”を発声する。
講義者Leは、前記受講者Stが再考して発声した回答文“I am going to play tennis next Saturday.”に応じて、「よくできました。今日はこれで『おしまい』。」と発声する。
CPU11は、前記出題アイコンQに対するタッチ操作に応じた出題の指示を検知すると(ステップS22(Yes))、前記[戻る]アイコンReに対する表示の指示を検知したときから前記出題アイコンQに対する指示を検知したタイミング以前までに前記音声入力部18aに入力されて取得された講義者音声データH「する予定の場合は、「be going to」の後、原型動詞だね。リサさん、もう一度『チャレンジ』ね。」を、前記[戻る]に対する指示データと、その指示の時点での前記時計カウンタTによる講義時間データ[32:15]と、前記ページ位置[中2英語;P19;基本練習2−4]のデータと、[基本練習説明]アイコン及びその動作制御(基本練習の講義再々生)のデータとに対応付けて、前記講義データエリア12c内の講義データ12c1に追加して登録する(ステップS23)。
そしてCPU11は、前記出題アイコンQに対する指示を検知したタイミング以降に前記音声入力部18aにより入力された前記受講者St(リサ)の回答文の音声データHs“I am going to play tennis next Saturday.”と、前記講義者Leの音声データH「よくできました。今日はこれで『おしまい』。」とを、[出題]アイコンと前記教科書[中学2年英語]のページ位置[中2英語;P19;基本練習2−4]のデータとに対応付けて取得していく(ステップS24)。
ここでCPU11は、前記音声入力部18aに入力されて取得される音声データを音声認識することで、前回の基本練習を行ったときと同様に、前記受講者St(リサ)の回答文の音声データHs“I am going to play tennis next Saturday.”を検知すると(ステップS25(Yes))、当該受講者Stの音声データHsに出力禁止フラグ(マーク[])Xpを付加する(ステップS26)。
またCPU11は、前記音声認識した受講者St(リサ)の回答文“I am going to play tennis next Saturday.”の正誤を判定する(ステップS27)。
CPU11は、前記受講者St(リサ)の今度の回答文“I am going to play tennis next Saturday.”について、[正解]と判定すると(ステップS28(Yes))、前記表示部17に表示中の基本練習BLの画面に、当該[正解]と判定した回答文THs“I am going to play tennis next Saturday.”を正解マーク[○]Trを付けて表示する。
そしてCPU11は、前記出題アイコンQに対する出題の指示を検知したときから現在までに前記音声入力部18aに入力されて取得された前記受講者St(リサ)の回答文THsの音声データHs“I am going to play tennis next Saturday.”(出力禁止マーク[]付き)と、前記講義者Leの音声データH「よくできました。今日はこれで『おしまい』。」とを、前記[出題]アイコンQに対する指示データと、その指示の時点での前記時計カウンタTによる講義時間データ[34:39]と、前記ページ位置[中2英語;P19;基本練習2−4]のデータと、[出題]アイコンに前記[正解]の回答文[○]“I am going to play tennis next Saturday.”を対応付けて設定した隠しデータとに対応付けて、前記講義データエリア12c内の講義データ12c1に追加して登録する(ステップS29a)。
ここで、講義者Leが、前記表示部17に表示された[正解]の回答文[○]“I am going to play tennis next Saturday.”について、何らかの説明を発声した場合、CPU11は、当該講義者Leの音声データHを、正解の説明データとして、前記教科書のページ位置[中2英語;P19;基本練習2−4]のデータに対応付けて取得していく(ステップS29b)。
この後、講義者Leは、図9Aに示すように、「『講義データを送る』よ。みんな復習してね。今日欠席の○○君にも送ったよ!」と発声し、前記テキストTxの見開きページP18−19の空白に表示された[講義]アイコンIc(ここでは講義データ12c1のヘッダに対応する[4/25中2英講義])を、ペンPによりタッチ操作して終了を指示し、さらに、矢印tに示すようにフリックする。
CPU11は、前記[講義]アイコンIcに対する終了の指示及びフリックを検知すると(ステップS38(Yes))、当該終了の指示及びフリックの検知のタイミング以前に音声入力部18aに入力されて取得された講義者音声データH(ここでは、前記正解の説明の音声データと前記講義終了の説明の音声データ「『講義データを送る』よ。みんな復習してね。今日欠席の○○君にも送ったよ!」)を、前記[講義]アイコンIcに対する指示データと、その指示の時点での前記時計カウンタTによる講義時間データ[40:00]と、[終了]アイコンとに対応付けて、前記講義データエリア12c内の講義データ12c1に追加して登録する(ステップS39)。なお、ここでも前記同様に、応対音声としての講義者音声データH「今日欠席の○○君にも送ったよ!」には、出力禁止フラグ(マーク[])Xpを付加して登録する。
そしてCPU11は、前記受講者データエリア12dに記憶されている各受講者(生徒等)St…が使用する受講者端末(タブレット端末等)20…の通信アドレスに従い、前記講義データエリア12cに今回生成して登録した講義データ12c1を、前記無線通信部19あるいは通信部15を介して、欠席者を含む各受講者St…の受講者端末(タブレット端末等)20…に送信し、また、前記教育コンテンツサーバ30に送信する(ステップS40)。
なお、CPU11は、前記講義者Leによるその他の指示を検知した場合も(ステップS36(Yes))、前記同様にその検知以前に取得した音声データを該当する教科書のページ位置や講義内容のデータに対応付けて登録する(ステップS37)。
このように、撮影専用の特別講義を行なう必要なく、電子教科書データ(12b)を利用して普段行っている講義を普段通り行うだけで、例えば、講義毎のテキスト位置のデータに講義者音声データHを対応付けた講義データ12cnを生成することできる。そして、生成した講義データ12cnを、当該講義の受講対象者の各受講者端末20…や教育コンテンツサーバ30に送ることで、該当する講義の復習、再受講、講義欠席者の受講など、講義データ利用者にとって適切に利用できる講義データを得ることが可能になる。
なお、前記実施形態では、前記講義の開始から終了までの間に講義者Leが電子黒板(講義者端末)10に対して直接行った、電源キーの操作や各タッチ操作の指示をCPU11が検知することで、当該講義の開始から終了までの間に講義者Leが講義した小単元(講義項目)毎の区切りを検知する構成としたが、前記音声入力部18aにより入力した講義者音声データHを音声認識することで、前記同様の区切りを検知してもよい。
例えば、『電源オン』の講義者音声Hを認識することで、電子黒板(講義者端末)10の電源をオンし、講義の開始を検知する。また、『中2英語』『教科書のP18』の講義者音声Hを認識することで、講義対象の教科書とそのページ位置を検知する。また、『本文の音声再生』の講義者音声Hを認識することで、本文の音声アイコンSPに対する指示を検知する。また、『I’m going to …にアンダーライン』の講義者音声Hを認識することで、アンダーラインの対象文字列とアンダーラインの表示の指示を検知する。また、『答えて』や『チャレンジ』の講義者音声Hを認識することで、[出題]アイコンQに対する指示を検知する。
また、前記実施形態では、前記講義者Leが講義した小単元(講義項目)毎の区切りを検知することで、当該検知毎に、前回検知のタイミング以降で今回検知のタイミング以前に音声入力された講義者音声データHを含む講義中の音声データを、各対応するテキスト位置と講義の内容に対応付けて講義データエリア12cに順次追加して登録し、該当する講義データ12cnを生成する構成とした。
これに対し、前記講義者Leが講義した小単元(講義項目)毎の区切りを検知する毎に、前記同様のタイミング間で音声入力された講義者音声データHを含む講義中の音声データを、各対応するテキスト位置と講義の内容に対応付けて教育コンテンツサーバ30に送信することで(例えば、ステップS6,S9,S12,…,S39参照)、該当する講義データ12cnを当該教育コンテンツサーバ30に直接登録して生成する構成としてもよい。
図9A〜図9D、図10は、前記電子黒板(講義者端末)10の講義データ送信処理に従い生成された講義データ12cnを受信した受講者端末20でのユーザ(受講者)操作に応じた講義データ12cnの表示再生動作(その1〜4)(その5)を示す図である。
受講者端末(タブレット端末等)20において、前記図9Aで示したように、電子黒板(講義者端末)10(又は教育コンテンツサーバ30)から送信された講義データ12c1が受信された場合、図9Bに示すように、当該受講者端末20のCPUは、その表示部に[講義]アイコンIcを表示する。そして、前記[講義]アイコンIcに対する受講者Stのタッチ操作Pの指示を検知すると、前記講義データ12c1のヘッダ[4月25日_2時間目_中学2年英語P18−19(2年3組)])に従い、電子教科書データ[中学2年英語P18−19]の見開きページのテキストTxを表示する。
そして、受講者端末20は、図9C,図9Dに示すように、前記講義データ12c1(図3参照)のテキスト位置と講義内容のデータに基づいて、当該講義データ12c1の各講義項目の部分だけ再生させるための各項目アイコン([開始]アイコンK1/[イントロ]アイコンK2/[音声再生]アイコンK3d/[基本文説明]アイコンK4d/[基本練習説明]アイコンK5d)、及び[全体再生]アイコンKA、[本文基本]アイコンKB、[基本練習]アイコンKCを表示する。
ここで、前記[音声再生]アイコンK3d/[基本文説明]アイコンK4d/[基本練習説明]アイコンK5dは、表示中のテキストTx内の各該当するテキスト位置(本文Bu1/基本文Bu2/基本練習BL)に対応付けて識別表示される。
そして、受講者St(講義欠席者含む)は、前記表示中の各アイコンK1,K2,K3d,K4d,K5d,KA,KB,KCのうち、任意のアイコンをペンPによりタッチ操作して指示することで、受講者端末20は、当該指示されたアイコンに対応する講義データ12c1の講義項目のテキストの表示と音声データの再生とを連動して行う。
例えば、図9Dに示すように、受講者St(講義欠席者含む)が[基本練習]アイコンKCを指示すると、前記講義データ12c1に登録されている[基本練習2−4]に対応するテキスト位置のデータ、講義内容(動作制御の内容含む)のデータ、音声データ、それぞれの表示と再生とを、図10(A)〜図10(D)に示すように、順次連動して行う。
具体的には、前記図7D〜図8Dで示したように、前記電子黒板(講義者端末)10での講義データ12c1の生成、登録に際し、講義者Leの講義により行った基本練習2−4に対応するテキスト表示と音声再生を同様に行う。
但し、前記出力禁止フラグ(マーク[])Xpが付加されて登録されている音声データ(ここでは講義者音声データH「リサさん、『答えて』ください。」「リサさん、もう一度『チャレンジ』ね。」や受講者音声データHs“I am playing tennis next Saturday.”“I am going to play tennis next Saturday.”)は、予め講義対象の電子教科書データ(ここでは[中学2年英語])の各該当する項目に対応して収録されている講義者Leとしての合成音声データHcや前記登録されている受講者音声データHsの合成音声データHcに変更して再生する。
例えば、図10(A)に示すように、講義データ12c1のページ位置[中2英語;P19;基本練習2−4]に対応付けて登録されている講義者音声データH「『基本練習2−4』を見てね。[リサさん、『答えて』ください。]」のうち、前記出力禁止フラグ(マーク[])Xpが付加された講義者音声データH「リサさん、『答えて』ください。」は、講義者Leとしての合成音声データHc「『基本練習2−4』の答えは?」に変更して再生し、また、前記[誤り1]の回答文である受講者音声データHs“I am playing tennis next Saturday.”は、疑似受講者Stdの合成音声データHcに変更して再生する。
また同様に、図10(D)に示すように、講義データ12c1のページ位置[中2英語;P19;基本練習2−4]に対応付けて登録されている講義者音声データH「する予定の場合は、「be going to」の後、原型動詞だね。リサさん、もう一度『チャレンジ』ね。」のうち、前記出力禁止フラグ(マーク[])Xpが付加された講義者音声データH「リサさん、もう一度『チャレンジ』ね。」は、講義者Leとしての合成音声データHc「『基本練習2−4』の答えは?」に変更して再生し、また、前記[正解]の回答文である受講者音声データHs“I am going to play tennis next Saturday.”は、疑似受講者Stdの合成音声データHcに変更して再生する。
これにより、前記講義データ12cnを複数の受講者St…(講義欠席者含む)が利用する段階で、その講義に出席して講義者Leと応対した受講者Stの個人が特定されるのを、未然に防止することができる。
したがって、前記構成の電子黒板(講義者端末)10によれば、講義対象の電子教科書のテキストTxをタッチパネル付き表示部17に表示させ、当該テキストTxの各講義項目等を、講義者LeがペンPによるタッチ操作や音声により指示しながら説明(発声)して各受講者St…に対する講義を行う。するとCPU11は、前記表示中のテキストTxに対するタッチ操作での指示あるいは音声を認識することによる指示を検知する毎に、前回の指示を検知したタイミング以降で今回の指示を検知したタイミング以前に音声入力部18aで入力して取得した講義者音声データHを含む講義中の音声データを、前記前回の指示に応じたテキスト位置のデータに対応付けて、順次、講義データ12cnとして講義データエリア12c又は教育コンテンツサーバ30に送信して登録する。
そして、前記登録した講義データ12cnを前記各受講者St…(講義欠席者含む)の受講者端末20…に送信し、当該各受講者St…は、自身の受講者端末20で受信した前記講義データ12cnを開くことで、当該講義データ12cnに基づき、前記講義者Leが行ったテキストTxの各講義項目等に対する指示毎のテキスト位置の表示と、そのときの講義者音声データHを含む講義中の音声データの再生とを、所望の講義項目等を選択しながら連動して行わせることができる。
これにより、受講者(講義欠席者含む)St…は、前記講義データ12cnを、復習、再受講、講義欠席後の受講など、適切且つ効果的に利用することができる。
また、前記構成の電子黒板(講義者端末)10によれば、前記講義者音声データHを含む講義中の音声データに、例えば、講義者Leが受講者Stに呼びかけたり、受講者Stが答えたりする等の応対音声が含まれる場合は、当該講義中の音声データの応対音声が含まれる部分に出力禁止フラグ(マーク[])Xpを付加して前記講義データ12cnに登録する。
これにより、前記講義データ12c1を利用する段階で、受講者Stの個人を特定可能な講義者音声データHや受講者音声データHsが自動再生されないように予め設定することができる。
また、前記構成の電子黒板(講義者端末)10によれば、CPU11が検知した講義者Leの指示が、本文の模範音声データHmを再生させるための音声アイコンSPに対する指示である場合、当該音声アイコンSPの指示の検知以降に音声出力部18bにて再生され音声入力部18aにて取得される本文の模範音声データHmを、該当するテキスト位置[中2英語;P18;本文]データと、[音声再生]アイコンのデータとに対応付けて、前記講義データ12cnとして登録する。
これにより、受講者端末20では、前記講義データ12cnの本文の部分を再生する際に、前記電子黒板(講義者端末)10の音声入力部18aにて取得された受講者Stの音声データHs等も混入している可能性のある模範音声データHmを再生せずに、前記[音声再生]アイコンに従い、該当するテキスト位置[中2英語;P18;本文]の電子教科書データに含まれる模範音声データHmを再生させることができる。
なお、前記実施形態において説明した講義データ12cnは、学校の講義を対象として生成する場合として説明したが、当該学校の講義に限らず、各種講習会での講義や各種プレゼンでの講義など、他のあらゆる講義を対象として生成しても、前記同様の作用、効果が得られるのは言うまでもない。
前記各実施形態において記載した電子黒板(講義者端末)10による各処理の手法、すなわち、図4,図5のフローチャートに示す講義データ送信処理(その1,2)などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピ(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記録媒体に格納して配布することができる。
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワークN上を伝送させることができ、このプログラムデータを、通信ネットワークNに接続された電子機器のコンピュータに通信部15によって取り込むことで、前述した実際の受講者St…を対象とした講義からの講義データ12cnの生成機能とその送信機能を実現できる。
本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
電子機器のデータ送信方法であって、
対象のテキストデータを取得するテキスト取得ステップと、
前記テキスト取得ステップにより取得されたテキストデータを前記電子機器の表示部に表示させるテキスト表示制御ステップと、
前記表示部に表示されたテキストデータに対するユーザの指示を検知するユーザ指示検知ステップと、
前記電子機器の音声入力部に入力された音声データを取得する音声取得制御ステップと、
前記ユーザ指示検知ステップによるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御ステップにより取得された音声データを、前記前回の指示に応じたテキストデータの位置に対応付けて送信するデータ送信制御ステップと、
からなるデータ送信方法。
[請求項2]
前記テキスト取得ステップは、講義者が受講者に講義する講義対象のテキストデータを取得し、
前記データ送信制御ステップは、前記ユーザ指示検知ステップによるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御ステップにより取得された音声データを、前記前回の指示に応じたテキストデータの位置に対応付けて講義データとして送信する、
ようにした請求項1に記載のデータ送信方法。
[請求項3]
前記電子機器は記憶部を有し、
前記データ送信制御ステップは、前記ユーザ指示検知ステップによるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御ステップにより取得された音声データを、前記前回の指示に応じたテキストデータの位置に対応付けて前記記憶部に講義データとして登録し、前記記憶部に登録された講義データを送信する、
ようにした請求項2に記載のデータ送信方法。
[請求項4]
前記表示部はタッチパネル付き表示部であって、
前記ユーザ指示検知ステップは、前記タッチパネル付き表示部に表示されたテキストデータに対するユーザのタッチした位置を検知する、
ようにした請求項2又は請求項3に記載のデータ送信方法。
[請求項5]
前記ユーザ指示検知ステップは、前記音声入力部に入力された音声データを音声認識して、前記表示部に表示されたテキストデータに対するユーザの指示を検知する、
ようにした請求項2又は請求項3に記載のデータ送信方法。
[請求項6]
前記データ送信制御ステップは、前記ユーザ指示検知ステップによるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御ステップにより取得された音声データを音声認識し、前記音声認識された音声データが応対の音声データを含むか判断し、
前記応対の音声データを含むと判断した場合、前記音声取得制御ステップにより取得された音声データを、前記応対の音声データを含むと判断した同音声データの部分に出力禁止の制御情報を付加し、前記前回の指示に応じたテキストデータの位置に対応付けて講義データとして送信する、
ようにした請求項2乃至請求項5の何れか1項に記載のデータ送信方法。
[請求項7]
前記ユーザの指示を検知したテキストデータの位置が音声アイコンの位置である場合、前記音声取得制御ステップにより取得された音声データの講義データとしての送信は、同取得された音声データを、音声再生の制御アイコンに対応付けて講義データとして送信する、
ようにした請求項2乃至請求項6の何れか1項に記載のデータ送信方法。
[請求項8]
表示部と、
音声入力部と、
対象のテキストデータを取得するテキスト取得手段と、
前記テキスト取得手段により取得されたテキストデータを前記表示部に表示させるテキスト表示制御手段と、
前記表示部に表示されたテキストデータに対するユーザの指示を検知するユーザ指示検知手段と、
前記音声入力部に入力された音声データを取得する音声取得制御手段と、
前記ユーザ指示検知手段によるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御手段により取得された音声データを、前記前回の指示に応じたテキストデータの位置に対応付けて送信するデータ送信制御手段と、
を備えたデータ送信装置。
[請求項9]
表示部と音声入力部とを備えた電子機器のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
対象のテキストデータを取得するテキスト取得手段、
前記テキスト取得手段により取得されたテキストデータを前記表示部に表示させるテキスト表示制御手段、
前記表示部に表示されたテキストデータに対するユーザの指示を検知するユーザ指示検知手段、
前記音声入力部に入力された音声データを取得する音声取得制御手段、
前記ユーザ指示検知手段によるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御手段により取得された音声データを、前記前回の指示に応じたテキストデータの位置に対応付けて送信するデータ送信制御手段、
として機能させるためのコンピュータ読み込み可能なプログラム。
10 …電子黒板(講義者端末)
11 …CPU
12 …メモリ
12a…講義データ送信処理プログラム
12b…電子教科書データエリア
12c…講義データエリア
12c1,12c2,…講義データ
12d…受講者データエリア
13 …外部記録媒体
14 …記録媒体読取部
15 …通信部(インターネット通信)
16 …キー入力部
17 …タッチパネル付きカラー表示部
18a…音声入力部(又は音声付き動画入力部)
18b…音声出力部
19 …近距離無線通信部
20 …受講者端末
30 …教育コンテンツサーバ(Webサーバ)
Le …講義者(講師等)
St …受講者(生徒等)
Tx …電子テキスト(教科書等)

Claims (9)

  1. 電子機器のデータ送信方法であって、
    対象のテキストデータを取得するテキスト取得ステップと、
    前記テキスト取得ステップにより取得されたテキストデータを前記電子機器の表示部に表示させるテキスト表示制御ステップと、
    前記表示部に表示されたテキストデータに対するユーザの指示を検知するユーザ指示検知ステップと、
    前記電子機器の音声入力部に入力された音声データを取得する音声取得制御ステップと、
    前記ユーザ指示検知ステップによるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御ステップにより取得された音声データを、前記前回の指示に応じたテキストデータの位置に対応付けて送信するデータ送信制御ステップと、
    からなるデータ送信方法。
  2. 前記テキスト取得ステップは、講義者が受講者に講義する講義対象のテキストデータを取得し、
    前記データ送信制御ステップは、前記ユーザ指示検知ステップによるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御ステップにより取得された音声データを、前記前回の指示に応じたテキストデータの位置に対応付けて講義データとして送信する、
    ようにした請求項1に記載のデータ送信方法。
  3. 前記電子機器は記憶部を有し、
    前記データ送信制御ステップは、前記ユーザ指示検知ステップによるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御ステップにより取得された音声データを、前記前回の指示に応じたテキストデータの位置に対応付けて前記記憶部に講義データとして登録し、前記記憶部に登録された講義データを送信する、
    ようにした請求項2に記載のデータ送信方法。
  4. 前記表示部はタッチパネル付き表示部であって、
    前記ユーザ指示検知ステップは、前記タッチパネル付き表示部に表示されたテキストデータに対するユーザのタッチした位置を検知する、
    ようにした請求項2又は請求項3に記載のデータ送信方法。
  5. 前記ユーザ指示検知ステップは、前記音声入力部に入力された音声データを音声認識して、前記表示部に表示されたテキストデータに対するユーザの指示を検知する、
    ようにした請求項2又は請求項3に記載のデータ送信方法。
  6. 前記データ送信制御ステップは、前記ユーザ指示検知ステップによるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御ステップにより取得された音声データを音声認識し、前記音声認識された音声データが応対の音声データを含むか判断し、
    前記応対の音声データを含むと判断した場合、前記音声取得制御ステップにより取得された音声データを、前記応対の音声データを含むと判断した同音声データの部分に出力禁止の制御情報を付加し、前記前回の指示に応じたテキストデータの位置に対応付けて講義データとして送信する、
    ようにした請求項2乃至請求項5の何れか1項に記載のデータ送信方法。
  7. 前記ユーザの指示を検知したテキストデータの位置が音声アイコンの位置である場合、前記音声取得制御ステップにより取得された音声データの講義データとしての送信は、同取得された音声データを、音声再生の制御アイコンに対応付けて講義データとして送信する、
    ようにした請求項2乃至請求項6の何れか1項に記載のデータ送信方法。
  8. 表示部と、
    音声入力部と、
    対象のテキストデータを取得するテキスト取得手段と、
    前記テキスト取得手段により取得されたテキストデータを前記表示部に表示させるテキスト表示制御手段と、
    前記表示部に表示されたテキストデータに対するユーザの指示を検知するユーザ指示検知手段と、
    前記音声入力部に入力された音声データを取得する音声取得制御手段と、
    前記ユーザ指示検知手段によるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御手段により取得された音声データを、前記前回の指示に応じたテキストデータの位置に対応付けて送信するデータ送信制御手段と、
    を備えたデータ送信装置。
  9. 表示部と音声入力部とを備えた電子機器のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    対象のテキストデータを取得するテキスト取得手段、
    前記テキスト取得手段により取得されたテキストデータを前記表示部に表示させるテキスト表示制御手段、
    前記表示部に表示されたテキストデータに対するユーザの指示を検知するユーザ指示検知手段、
    前記音声入力部に入力された音声データを取得する音声取得制御手段、
    前記ユーザ指示検知手段によるユーザの指示の検知毎に、前回の指示の検知以降で今回の指示の検知より前に前記音声取得制御手段により取得された音声データを、前記前回の指示に応じたテキストデータの位置に対応付けて送信するデータ送信制御手段、
    として機能させるためのコンピュータ読み込み可能なプログラム。
JP2017121600A 2017-06-21 2017-06-21 データ送信方法、データ送信装置、及びプログラム Active JP6939128B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017121600A JP6939128B2 (ja) 2017-06-21 2017-06-21 データ送信方法、データ送信装置、及びプログラム
JP2021142307A JP7279754B2 (ja) 2017-06-21 2021-09-01 学習制御方法及び学習システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017121600A JP6939128B2 (ja) 2017-06-21 2017-06-21 データ送信方法、データ送信装置、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021142307A Division JP7279754B2 (ja) 2017-06-21 2021-09-01 学習制御方法及び学習システム

Publications (3)

Publication Number Publication Date
JP2019008419A true JP2019008419A (ja) 2019-01-17
JP2019008419A5 JP2019008419A5 (ja) 2020-06-11
JP6939128B2 JP6939128B2 (ja) 2021-09-22

Family

ID=65026928

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017121600A Active JP6939128B2 (ja) 2017-06-21 2017-06-21 データ送信方法、データ送信装置、及びプログラム
JP2021142307A Active JP7279754B2 (ja) 2017-06-21 2021-09-01 学習制御方法及び学習システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021142307A Active JP7279754B2 (ja) 2017-06-21 2021-09-01 学習制御方法及び学習システム

Country Status (1)

Country Link
JP (2) JP6939128B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022000771A (ja) * 2017-06-21 2022-01-04 カシオ計算機株式会社 学習制御方法及び学習システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06332665A (ja) * 1993-05-21 1994-12-02 Fujitsu Ltd 音声入力システム
JP2010061343A (ja) * 2008-09-03 2010-03-18 Oki Electric Ind Co Ltd 音声記録方法、音声再生方法、音声記録プログラム、音声再生プログラム
JP2010103751A (ja) * 2008-10-23 2010-05-06 Yahoo Japan Corp 禁止語発信防止方法、禁止語発信防止電話、禁止語発信防止サーバ
US20100220844A1 (en) * 2005-10-31 2010-09-02 Rogier Noldus Method and arrangement for capturing of voice during a telephone conference
JP2012065170A (ja) * 2010-09-16 2012-03-29 Fuji Xerox Co Ltd 映像再生装置及び映像再生プログラム
JP2013011668A (ja) * 2011-06-28 2013-01-17 Panasonic Corp 授業データ管理装置及び授業データ管理システム
WO2016129118A1 (ja) * 2015-02-13 2016-08-18 富士通株式会社 プレゼンテーション支援方法、プレゼンテーション支援プログラム及びプレゼンテーション支援装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6455455B2 (ja) 2016-02-09 2019-01-23 カシオ計算機株式会社 端末、電子黒板及びプログラム
JP6957918B2 (ja) 2017-03-22 2021-11-02 カシオ計算機株式会社 情報表示装置、情報表示方法、及びプログラム
JP6939128B2 (ja) 2017-06-21 2021-09-22 カシオ計算機株式会社 データ送信方法、データ送信装置、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06332665A (ja) * 1993-05-21 1994-12-02 Fujitsu Ltd 音声入力システム
US20100220844A1 (en) * 2005-10-31 2010-09-02 Rogier Noldus Method and arrangement for capturing of voice during a telephone conference
JP2010061343A (ja) * 2008-09-03 2010-03-18 Oki Electric Ind Co Ltd 音声記録方法、音声再生方法、音声記録プログラム、音声再生プログラム
JP2010103751A (ja) * 2008-10-23 2010-05-06 Yahoo Japan Corp 禁止語発信防止方法、禁止語発信防止電話、禁止語発信防止サーバ
JP2012065170A (ja) * 2010-09-16 2012-03-29 Fuji Xerox Co Ltd 映像再生装置及び映像再生プログラム
JP2013011668A (ja) * 2011-06-28 2013-01-17 Panasonic Corp 授業データ管理装置及び授業データ管理システム
WO2016129118A1 (ja) * 2015-02-13 2016-08-18 富士通株式会社 プレゼンテーション支援方法、プレゼンテーション支援プログラム及びプレゼンテーション支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022000771A (ja) * 2017-06-21 2022-01-04 カシオ計算機株式会社 学習制御方法及び学習システム

Also Published As

Publication number Publication date
JP7279754B2 (ja) 2023-05-23
JP2022000771A (ja) 2022-01-04
JP6939128B2 (ja) 2021-09-22

Similar Documents

Publication Publication Date Title
KR20170141264A (ko) 수직 통합형 모바일 컴퓨터 시스템
JP5972707B2 (ja) 学習コンテンツの構造化装置及びそれを用いた学習コンテンツ選択支援システム並びに支援方法
JP6911432B2 (ja) 情報表示装置、情報表示装置の制御方法、及び情報表示装置の制御プログラム
JP2010224042A (ja) 指導システム、指導方法、およびプログラム
JP6957918B2 (ja) 情報表示装置、情報表示方法、及びプログラム
Alzubi The role of multimedia tools in Hashemite Kingdom of Jordan education classroom teaching in the digital era
JP2001338077A (ja) インターネットを通じた語学レッスン方法、語学レッスンシステム及び記録媒体
GB2565405A (en) Language-adapted user interfaces
KR20170098617A (ko) 디지털펜과 클라우드서버를 이용한 수준별 맞춤형 교육서비스 시스템 및 그 운용방법
JP7279754B2 (ja) 学習制御方法及び学習システム
JP2013109168A (ja) 電子教科書装置、教室システム、およびプログラム
JP2017142366A (ja) 学習支援装置及びプログラム
TWI591501B (zh) The book content digital interaction system and method
Erkin o’g’li Using Apps in Teaching English as a Busy Teacher
Cojocnean Mobile learning in the foreign language classroom–challenges and opportunities
JP2014059452A (ja) 学習用装置、その制御方法、学習用プログラム、および、学習システム
JP6953825B2 (ja) データ送信方法、データ送信装置、及びプログラム
JP6199598B2 (ja) 技能習得装置、技能習得プログラム、技能習得方法
McKee Print literacy opportunities for young children in a multimodal literacy ensemble
JP2004078238A (ja) インターネットを通じた語学レッスン方法、語学レッスンシステム及び記録媒体
JP7331025B2 (ja) 学習支援システム、学習支援方法、及びプログラム
Buechel Lip syncs: Speaking… with a twist.
Wong English listening courses: A case of pedagogy lagging behind technology
Rasinski et al. Using Technology to enhance reading: innovative approaches to literacy instruction
Van Horn-Christopher Voice-graded business communication documents

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210816

R150 Certificate of patent or registration of utility model

Ref document number: 6939128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150