JP2015189161A - Writing board and its sound reproduction method - Google Patents

Writing board and its sound reproduction method Download PDF

Info

Publication number
JP2015189161A
JP2015189161A JP2014069386A JP2014069386A JP2015189161A JP 2015189161 A JP2015189161 A JP 2015189161A JP 2014069386 A JP2014069386 A JP 2014069386A JP 2014069386 A JP2014069386 A JP 2014069386A JP 2015189161 A JP2015189161 A JP 2015189161A
Authority
JP
Japan
Prior art keywords
information
sound
predetermined operation
board
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014069386A
Other languages
Japanese (ja)
Inventor
洋宜 宮内
Hironori Miyauchi
洋宜 宮内
一浩 武藤
Kazuhiro Muto
一浩 武藤
京加 小幡
Kyoka Obata
京加 小幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Research Institute Ltd
Original Assignee
Japan Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Research Institute Ltd filed Critical Japan Research Institute Ltd
Priority to JP2014069386A priority Critical patent/JP2015189161A/en
Publication of JP2015189161A publication Critical patent/JP2015189161A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a writing board capable of quickly reproducing a desired part among sounds in a field on which speaking is performed.SOLUTION: A writing board 1 includes: position information preparation means 12 which prepares positional information corresponded to time clocked by a clocking means 11 of a detected time; a microphone 4 which collects sounds; a sound recording means 13 which prepares sound information for causing time upon collection of sounds to correspond to the collected sounds; and reproduction means 17 which reproduces sound of sound information prepared by the sound recording means 13. Therein, the positional information preparation means 12 prepares positional information of a position on which a first prescribed movement related to an input by means of a user is performed and the reproduction means 17 reproduces sounds of the sound information associated with the time presented by the positional information of the position on which the first prescribed movement is performed when a second prescribed movement for indicating a position on a board by means of the user, on the position on which the first prescribed movement is performed.

Description

本発明は、ボード上におけるユーザの所定動作により、ボード上に文字又は図形を示し又は消去することが可能であり、音声を録音し再生する筆記板及びその音声再生方法に関する。   The present invention relates to a writing board that can display or erase characters or graphics on a board by a predetermined user operation on the board and that records and reproduces sound, and a sound reproducing method therefor.

従来、会議や教育の場において、ボード上に文字又は図形を示し又は消去することが可能なホワイトボードや黒板等の筆記板が用いられている。会議等では、ホワイトボード等に文字が記載されるとともに、会議等の出席者による発話がなされる。この発話の音声は、録音機器により録音されていた。   Conventionally, a writing board such as a whiteboard or a blackboard capable of showing or erasing characters or figures on a board has been used in a meeting or education. In a meeting or the like, characters are written on a whiteboard or the like, and an utterance is made by a participant in the meeting or the like. The voice of this utterance was recorded by a recording device.

この録音機器に録音された音声のうち、所望の部分だけ再生したい場合がある。ところが、録音時間が長くなると、所望の部分を探すのが困難になる。このため、会議終了後に速やかに要約を作成することができる会議記録要約システムが提案されている(例えば、特許文献1)。   In some cases, it is desired to reproduce only a desired portion of the sound recorded by the recording device. However, as the recording time becomes longer, it becomes difficult to search for a desired portion. For this reason, a conference record summarization system has been proposed that can create a summary promptly after the conference is over (for example, Patent Document 1).

特開2011−135390号公報JP 2011-135390 A

上記の特許文献1によれば、会議記録要約システムは、動画・音声データを時間情報に関連付けて記録する録画・録音部と、インタラクティブ・ホワイトボードからの操作情報を時間情報に関連付けて記録する操作情報記録部と、動画・音声データから発話区間を検出し、操作情報に関連付けられた時間情報と検出した発話区間とに基づいて、録画・録音手段に記録された動画・音声データから要約を作成する要約作成部とを備える。   According to the above-mentioned Patent Document 1, the conference recording summary system includes a recording / recording unit that records video / audio data in association with time information, and an operation that records operation information from the interactive whiteboard in association with time information. A speech section is detected from the information recording unit and video / audio data, and a summary is created from the video / audio data recorded in the recording / recording means based on the time information associated with the operation information and the detected speech section. And a summary creation unit.

しかしながら、会議終了後でなく、会議中に録音した音声を聞きたい場合がある。例えば、会議の前半では自由な案を出し合い、会議の後半において、これらの案のうち特定の案について議論をする場合、この特定の案の音声を聞きたいという要望がある。   However, there is a case where it is desired to hear the voice recorded during the conference, not after the conference. For example, in the first half of the meeting, there is a desire to hear a voice of this specific plan when a free plan is discussed and a specific plan is discussed in the latter half of the conference.

そこで、本発明では、上記のような課題に鑑み、発話がされる場における音声のうち、所望の部分を速やかに再生できる筆記板及びその音声再生方法を提供することを目的とする。   In view of the above-described problems, an object of the present invention is to provide a writing board that can quickly reproduce a desired portion of a voice in a place where an utterance is made, and a voice reproduction method thereof.

上記課題を解決するため、本発明の筆記板は、以下のような解決手段を提供する。   In order to solve the above problems, the writing board of the present invention provides the following solution.

本発明の筆記板は、ボード上におけるユーザの所定動作により、前記ボード上に文字又は図形を示し又は消去することが可能であり、音声を録音し再生する筆記板であって、時間を計時する計時手段と、前記所定動作がされた前記ボード上における位置を検知する検知手段と、前記検知手段が検知した位置に、検知した時の前記計時手段が計時した時間を対応付けた位置情報を生成する位置情報生成手段と、音声を集音する集音手段と、前記集音手段が集音した音声に、集音した時の前記計時手段が計時した時間を対応付けた音声情報を生成する録音手段と、前記録音手段が生成した前記音声情報の音声を再生する再生手段と、を備え、前記位置情報生成手段は、ユーザによる入力に関係する第1所定動作がされた位置の前記位置情報を生成し、前記再生手段は、ユーザによる前記ボード上の位置を指示する第2所定動作がされた場合に、前記第1所定動作がされた位置の前記位置情報が示す時間に対応付けられた前記音声情報の音声を再生することを特徴とする。   The writing board of the present invention is a writing board capable of showing or erasing characters or figures on the board according to a predetermined operation of the user on the board, and recording and playing back sound, and measures time. Position information is generated by associating the time measured by the time measured by the time measured by the time measured by the time measured by the time measured by the time measured by the time measured by the time measured by the time measured by the time measured Position information generating means for collecting sound, sound collecting means for collecting sound, and recording for generating sound information in which the time collected by the time measuring means when the sound is collected is associated with the sound collected by the sound collecting means. Means for reproducing the sound of the sound information generated by the recording means, wherein the position information generating means is configured to obtain the position information of the position where the first predetermined operation related to the input by the user is performed. Generation When the second predetermined operation for indicating the position on the board by the user is performed, the reproduction means is associated with the time indicated by the position information of the position where the first predetermined operation is performed. It is characterized by playing back the sound.

また、上記の筆記板は、さらに以下の特徴を備えることができる。すなわち、前記録音手段は、前記第1所定動作がされた位置において、ユーザによる前記ボード上に表示された文字や図形を消す第3所定動作がされた場合に、前記第1所定動作がされた位置の前記位置情報が示す時間に対応付けられた前記音声情報を消去することを特徴とする。   Moreover, said writing board can be further provided with the following characteristics. That is, the recording means performs the first predetermined operation when the user performs a third predetermined operation for erasing characters and figures displayed on the board at the position where the first predetermined operation is performed. The voice information associated with the time indicated by the position information of the position is erased.

また、上記の筆記板は、さらに以下の特徴を備えることができる。すなわち、前記再生手段が前記音声情報の音声を再生している時に、当該音声情報が示す時間に対応付けられた前記位置情報の位置を、前記ボード上に表示する位置表示手段を、更に備えることを特徴とする。   Moreover, said writing board can be further provided with the following characteristics. That is, it further comprises position display means for displaying on the board the position of the position information associated with the time indicated by the sound information when the reproduction means is reproducing the sound of the sound information. It is characterized by.

また、上記の筆記板は、さらに以下の特徴を備えることができる。すなわち、前記録音手段が生成した前記音声情報の音声に対応する文字情報に変換する変換手段と、前記変換手段が変換した前記文字情報を表示する表示手段と、前記第1所定動作がされた位置において、前記第2所定動作がされた場合に、前記変換手段により変換された、前記第1所定動作がされた位置の前記位置情報が示す時間に対応付けられた前記音声情報の音声に対応する前記文字情報を、前記表示手段に表示する表示制御手段と、を更に備えることを特徴とする。   Moreover, said writing board can be further provided with the following characteristics. That is, a conversion unit that converts the voice information generated by the recording unit into character information corresponding to the voice, a display unit that displays the character information converted by the conversion unit, and a position where the first predetermined operation is performed When the second predetermined action is performed, the voice of the voice information corresponding to the time indicated by the position information of the position where the first predetermined action is converted, which is converted by the conversion means, corresponds to And a display control means for displaying the character information on the display means.

また、上記の筆記板は、さらに以下の特徴を備えることができる。すなわち、前記録音手段は、前記表示手段に表示された文字情報のうち、ユーザに選択された部分に対応する音声の前記音声情報を消去することを特徴とする。   Moreover, said writing board can be further provided with the following characteristics. That is, the recording means erases the voice information of the voice corresponding to the portion selected by the user from the character information displayed on the display means.

また、本発明は、以下のように、ボード上におけるユーザの所定動作により、前記ボード上に文字又は図形を示し又は消去することが可能であり、音声を録音し再生する筆記板による音声再生方法と捉えることも可能である。   In addition, the present invention provides a voice reproduction method using a writing board capable of showing or erasing characters or figures on the board and recording and reproducing voice according to a user's predetermined operation on the board as follows. It is also possible to grasp.

ボード上におけるユーザの所定動作により、前記ボード上に文字又は図形を示し又は消去することが可能であり、音声を録音し再生する筆記板による音声再生方法であって、時間を計時する計時ステップと、前記所定動作がされた前記ボード上における位置を検知する検知ステップと、前記検知ステップで検知した位置に、検知した時の前記計時ステップで計時した時間を対応付けた位置情報を生成する位置情報生成ステップと、音声を集音する集音ステップと、前記集音ステップで集音した音声に、集音した時の前記計時ステップで計時した時間を対応付けた音声情報を生成する録音ステップと、前記録音ステップで生成した前記音声情報の音声を再生する再生ステップと、を含み、前記位置情報生成ステップでは、ユーザによる入力に関係する第1所定動作がされた位置の前記位置情報を生成し、前記再生ステップでは、前記第1所定動作がされた位置において、ユーザによる前記ボード上の位置を指示する第2所定動作がされた場合に、前記第1所定動作がされた位置の前記位置情報が示す時間に対応付けられた前記音声情報の音声を再生することを特徴とする音声再生方法。   A voice reproduction method using a writing board capable of recording or reproducing a voice, wherein a character or a figure can be displayed or erased on the board by a predetermined operation of the user on the board, and measures a time, Position information for generating position information in which the time on the board where the predetermined operation has been performed is detected, and the time detected in the time measuring step at the time of detection is associated with the position detected in the detection step A generating step, a sound collecting step for collecting sound, a recording step for generating sound information in which the sound collected in the sound collecting step is associated with the time measured in the time measuring step when the sound is collected, Playing back the voice of the voice information generated in the recording step, wherein the position information generation step relates to input by a user. The position information of the position where the first predetermined operation is performed is generated, and in the reproduction step, the second predetermined operation indicating the position on the board by the user is performed at the position where the first predetermined operation is performed. In the case, the sound reproduction method is characterized in that the sound of the sound information associated with the time indicated by the position information of the position where the first predetermined operation is performed is reproduced.

本発明によれば、発話がされる場における音声のうち、所望の部分を速やかに再生できる。   ADVANTAGE OF THE INVENTION According to this invention, a desired part can be rapidly reproduced | regenerated among the audio | voices in the place where an utterance is made.

本発明の実施形態に係る筆記板1の概要を説明する図である。It is a figure explaining the outline | summary of the writing board 1 which concerns on embodiment of this invention. 本発明の実施形態に係る筆記板1の概要を説明する図である。It is a figure explaining the outline | summary of the writing board 1 which concerns on embodiment of this invention. 本発明の実施形態に係る筆記板1の機能ブロックを示した図である。It is the figure which showed the functional block of the writing board 1 which concerns on embodiment of this invention. 録音DB20に格納されるデータを表形式で模式的に示す図である。It is a figure which shows typically the data stored in audio | voice recording DB20 in a tabular form. 表示制御手段15の制御により入出力手段6に表示された画面及び位置表示制御手段16の制御による位置表示手段7の点灯態様の一例を示す図である。FIG. 6 is a diagram showing an example of a screen displayed on the input / output unit 6 under the control of the display control unit 15 and a lighting mode of the position display unit 7 under the control of the position display control unit 16. 音声再生処理フローを示す図である。It is a figure which shows an audio | voice reproduction | regeneration processing flow.

以下、添付図面を参照して、本発明を実施するための形態(以下、実施形態と言う)について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。   DETAILED DESCRIPTION Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as embodiments) will be described in detail with reference to the accompanying drawings. Note that the same numbers or symbols are assigned to the same elements throughout the description of the embodiment.

図1及び図2は、本発明の実施形態に係る筆記板1の概要を説明する図である。本発明の実施形態に係る筆記板1の概要を説明する。筆記板1は、例えば、会議で用いられ、ボード2(例えば、ホワイトボード)上におけるユーザの所定動作(例えば、文字を書く動作、書いた文字を指し示す動作又は文字を消す動作)を検知し、この検知した情報に基づき、会議中に発声された音声を録音し再生する。なお、本実施形態の説明では、筆記板1を会議で使用する例を説明するが、これに限らず、筆記板1は、塾や学校等の教育の場で使用することもできる。   FIG.1 and FIG.2 is a figure explaining the outline | summary of the writing board 1 which concerns on embodiment of this invention. An outline of the writing board 1 according to the embodiment of the present invention will be described. The writing board 1 is used in, for example, a meeting, and detects a predetermined operation (for example, an operation of writing a character, an operation of pointing a written character, or an operation of erasing a character) on a board 2 (for example, a white board), Based on the detected information, the voice uttered during the conference is recorded and reproduced. In the description of the present embodiment, an example in which the writing board 1 is used in a meeting will be described. However, the present invention is not limited to this, and the writing board 1 can also be used in educational settings such as a cram school or a school.

筆記板1は、ボード2と、ボード2の周囲に配置され、ユーザの所定動作を検知する検知手段3と、会議中に発声された音声を集音するマイクロフォン4と、録音した音声を発音するスピーカ5と、例えば、録音された音声が変換された文字情報等を表示し、表示手段の一例であり、ユーザの操作を受け付ける入出力手段(例えば、タッチパネル)6と、録音及び再生の制御を行う制御部10と、を備える。   The writing board 1 is arranged around the board 2, the detection means 3 for detecting a predetermined operation of the user, the microphone 4 for collecting the voice uttered during the meeting, and the recorded voice is generated. The speaker 5 displays character information or the like obtained by converting the recorded voice, and is an example of a display unit. The input / output unit (for example, a touch panel) 6 that accepts a user operation, and recording and playback control are performed. And a control unit 10 to perform.

図1を参照して、筆記板1における音声の録音について説明する。制御部10は、ボード2におけるユーザによる入力に関係する第1所定動作(例えば、文字を左から右に横書きする動作)を検知手段3により検知する。すると、制御部10は、検知手段3により第1所定動作を検知した位置に、検知した時の時間(図1に示す例では「00:15:23」)を対応付けた位置情報を生成し、マイクロフォン4により音声(図1に示す例では「課題は、・・・」)を集音し、集音した音声に、集音した時の時間(図1に示す例では「00:15:23」)を対応付けた音声情報を生成する。   With reference to FIG. 1, the sound recording in the writing board 1 is demonstrated. The control unit 10 detects the first predetermined operation related to the input by the user on the board 2 (for example, the operation of horizontally writing characters from left to right) by the detection unit 3. Then, the control part 10 produces | generates the positional information which matched the time ("00:15:23" in the example shown in FIG. 1) at the position which detected the 1st predetermined operation | movement by the detection means 3. The microphone 4 collects sound (in the example shown in FIG. 1, “task is ...”), and the collected sound is timed (“00:15: in the example shown in FIG. 1). 23 ”) is generated.

図2を参照して、筆記板1における音声の再生について説明する。制御部10は、上記第1所定動作がされた位置において、ユーザによるボード2上の位置を指示する第2所定動作(例えば、文字を差し示す動作)を検知手段3により検知する。すると、制御部10は、第1所定動作がされた位置の位置情報が示す時間(図1及び図2に示す例では「00:15:23」)に対応付けられた音声情報の音声(図2に示す例では「課題は、・・・」)を、スピーカ5により再生する。   With reference to FIG. 2, the audio | voice reproduction | regeneration in the writing board 1 is demonstrated. The control unit 10 detects, at the position where the first predetermined operation is performed, the detection unit 3 detects a second predetermined operation (for example, an operation indicating a character) indicating the position on the board 2 by the user. Then, the control unit 10 performs the voice (FIG. 1) of the voice information associated with the time indicated by the position information of the position where the first predetermined operation has been performed (“00:15:23” in the examples shown in FIGS. 1 and 2). In the example shown in FIG. 2, “the task is...

このように、筆記板1によれば、ボード2におけるユーザの文字を書くという動作を検知し、この時に発声された音声を録音し、ボード2におけるユーザの文字を指し示すという動作を検知し、この録音した音声を再生する。よって、ユーザは、会議中において、ボード2に記載された文字に関連して発声された音声を聞きたくなった場合、記載された文字を指し示すだけで、この文字が記載された時に発声された音声を再生することができる。したがって、会議中において、会議における音声のうち、所望の部分を速やかに再生できる。   Thus, according to the writing board 1, the operation of writing the user's character on the board 2 is detected, the voice uttered at this time is recorded, and the operation of pointing the user's character on the board 2 is detected. Play the recorded voice. Therefore, when the user wants to hear the voice uttered in relation to the character written on the board 2 during the meeting, the user is uttered when the character is written only by pointing to the written character. Audio can be played back. Therefore, during the conference, a desired part of the audio in the conference can be quickly reproduced.

また、制御部10は、上記第1所定動作がされた位置において、ユーザによるボード2上に表示された文字や図形を消す第3所定動作(例えば、記載された文字を消す動作)を検知手段3により検知する。すると、制御部10は、第1所定動作がされた位置の位置情報が示す時間に対応付けられた音声情報を消去する。これにより、ユーザは、会議中において、ボード2に記載された文字を消すだけで、この文字に関連して発声された音声を消去することができる。そして、制御部10は、ボード2の文字が消された部分において、再び、文字が記載されれば、上記のように、この時発声された音声を録音し、この記載された文字が指し示されることで、録音した音声を再生する。よって、ボード2に記載された内容が更新されるのにともない、録音され再生される音声情報も更新されるので、ボード2に記載された内容と音声情報との整合性を図ることができる。   In addition, the control unit 10 detects a third predetermined operation (for example, an operation for deleting the written characters) for erasing characters and figures displayed on the board 2 by the user at the position where the first predetermined operation is performed. 3 is detected. Then, the control part 10 erase | eliminates the audio | voice information matched with the time which the positional information on the position where 1st predetermined operation | movement was performed. Thereby, the user can erase the voice uttered in association with the character only by erasing the character written on the board 2 during the meeting. Then, the control unit 10 records the voice uttered at this time as described above when the character is written again in the portion where the character of the board 2 is erased, and the written character indicates To play back the recorded voice. Therefore, as the content described on the board 2 is updated, the audio information recorded and reproduced is also updated, so that the consistency between the content described on the board 2 and the audio information can be achieved.

また、制御部10は、図1に示すように、ボード2におけるユーザの第1所定動作中に、録音した音声を文字情報に変換して、入出力手段6に表示する。
また、制御部10は、図2に示すように、ボード2におけるユーザの第2所定動作(例えば、文字を差し示す動作)を検知手段3により検知する。すると、制御部10は、第1所定動作がされた位置の位置情報が示す時間(図1及び図2に示す例では「00:15:23」)に対応付けられた音声情報の音声が変換された文字情報(図2に示す例では「課題は、・・・」)を、入出力手段6に表示する。そして、制御部10は、入出力手段6に表示した文字情報のうち、ユーザに選択された部分に対応する音声の音声情報を消去する。これにより、ユーザは、消去する音声情報を入出力手段6に表示された文字情報で確認できるので、必要な音声情報が消去されるのを防止できる。
Further, as shown in FIG. 1, the control unit 10 converts the recorded voice into character information and displays it on the input / output means 6 during the user's first predetermined operation on the board 2.
In addition, as shown in FIG. 2, the control unit 10 detects the second predetermined operation (for example, an operation of indicating a character) of the user on the board 2 by the detection unit 3. Then, the control unit 10 converts the voice of the voice information associated with the time indicated by the position information of the position where the first predetermined operation has been performed (“00:15:23” in the examples shown in FIGS. 1 and 2). The input character information is displayed on the input / output means 6 (in the example shown in FIG. And the control part 10 erase | eliminates the audio | voice information of the audio | voice corresponding to the part selected by the user among the character information displayed on the input-output means 6. FIG. Thereby, since the user can confirm the voice information to be erased with the character information displayed on the input / output means 6, it is possible to prevent the necessary voice information from being erased.

次に、本発明の実施形態に係る筆記板1の構成について説明する。筆記板1は、ボード2と、検知手段3と、集音手段としてのマイクロフォン4と、スピーカ5と、表示手段としての入出力手段6と、位置表示手段7と、制御部10と、を備え、ボード2上におけるユーザの所定動作により、ボード2上に文字又は図形を示し又は消去することが可能であり、制御部10の制御により、音声を録音し再生する。   Next, the structure of the writing board 1 which concerns on embodiment of this invention is demonstrated. The writing board 1 includes a board 2, a detection unit 3, a microphone 4 as a sound collection unit, a speaker 5, an input / output unit 6 as a display unit, a position display unit 7, and a control unit 10. A character or a figure can be shown or erased on the board 2 by a user's predetermined operation on the board 2, and sound is recorded and reproduced under the control of the control unit 10.

ボード2は、表面が平坦にコーティングされ、この表面に水性インクを用いた筆記具で文字又は図形が筆記され、この筆記された文字等を布によって拭き取ることで、文字等を消すホワイトボードで構成されている。なお、ボード2は、ホワイトボードに限らず、その表面に文字又は図形を筆記できれば、黒板、電子黒板等の任意の構成とすることができる。   The board 2 is composed of a white board on which the surface is coated flat, characters or figures are written on the surface with a writing instrument using water-based ink, and the written characters are wiped with a cloth to erase the characters. ing. Note that the board 2 is not limited to a white board, and may have an arbitrary configuration such as a blackboard or an electronic blackboard as long as characters or figures can be written on the surface thereof.

検知手段3は、ボード2の周囲に配置され、赤外線センサで構成され、制御部10に制御され、ユーザによる所定動作(例えば、ボード2上に文字又は図形を示し又は消去するという動作)がされたボード2上における位置を検知する。なお、検知手段3は、所定動作がされたボード2上における位置を検知できれば、超音波センサ等の公知のセンサで構成することができる。   The detection means 3 is arranged around the board 2 and is composed of an infrared sensor, and is controlled by the control unit 10 to perform a predetermined operation (for example, an operation of displaying or erasing characters or figures on the board 2). The position on the board 2 is detected. The detection unit 3 can be configured by a known sensor such as an ultrasonic sensor as long as the position on the board 2 on which the predetermined operation has been performed can be detected.

マイクロフォン4は、ボード2の近傍に設けられ、制御部10に制御され、ボード2の周囲で発声された音声を集音する。スピーカ5は、ボード2の近傍に設けられ、制御部10に制御され、録音された音を発生する。   The microphone 4 is provided in the vicinity of the board 2 and is controlled by the control unit 10 to collect sound uttered around the board 2. The speaker 5 is provided in the vicinity of the board 2 and is controlled by the control unit 10 to generate a recorded sound.

入出力手段6は、ボード2の近傍に設けられ、制御部10に制御され、制御部10により音声から変換された文字情報、時間、操作アイコン等を表示するタッチパネルで構成されている。なお、入出力手段6は、タッチパネルに限らず、表示手段としてのディスプレイと、入力手段としての操作ボタン、マウス、キーボード等とで構成してもよい。   The input / output unit 6 is provided in the vicinity of the board 2 and is configured by a touch panel that is controlled by the control unit 10 and displays character information, time, operation icons, and the like converted from speech by the control unit 10. The input / output unit 6 is not limited to a touch panel, and may be configured with a display as a display unit and operation buttons, a mouse, a keyboard, and the like as an input unit.

位置表示手段7は、ボード2の側縁に配置され、上下方向に配列された複数のライトで構成され、制御部10に制御され、ボード2に記載された文字又は図形を照射する。   The position display means 7 is arranged on the side edge of the board 2 and is composed of a plurality of lights arranged in the vertical direction. The position display means 7 is controlled by the control unit 10 and irradiates characters or figures written on the board 2.

図3は、本発明の実施形態に係る筆記板1の機能ブロックを示した図である。制御部10は、計時手段11と、位置情報生成手段12と、録音手段13と、変換手段14と、表示制御手段15と、位置表示制御手段16と、再生手段17と、録音データベース(以降、DBとも言う)20と、を備える。   FIG. 3 is a diagram showing functional blocks of the writing board 1 according to the embodiment of the present invention. The control unit 10 includes a time measuring unit 11, a position information generating unit 12, a recording unit 13, a converting unit 14, a display control unit 15, a position display control unit 16, a reproducing unit 17, a recording database (hereinafter referred to as a recording database). 20).

計時手段11は、時間を計時する。位置情報生成手段12は、ユーザによる入力に関係する第1所定動作がされた位置の位置情報を生成する。詳細には、位置情報生成手段12は、検知手段3が検知した位置から、ユーザの所定動作が第1所定動作(例えば、文字を左から右に横書きする動作)と判定した場合には、検知手段3が検知した、ユーザによる第1所定動作がされた位置を示す座標情報に、検知した時の計時手段11が計時した時間を示す時間情報を対応付けた位置情報を生成し、録音DB20に記憶する。   The time measuring means 11 measures time. The position information generation unit 12 generates position information of a position where a first predetermined operation related to an input by the user has been performed. Specifically, the position information generation unit 12 detects when the user's predetermined action is a first predetermined action (for example, a character is written horizontally from left to right) from the position detected by the detection unit 3. Position information in which the time information indicating the time measured by the time measuring means 11 at the time of detection is associated with the coordinate information indicating the position where the first predetermined operation by the user has been detected detected by the means 3 is generated in the recording DB 20. Remember.

図4は、録音DB20に格納されるデータを表形式で模式的に示す図である。録音DB20は、計時手段11が計時した時間に、検知手段3が検知した位置を示す座標情報と、後述する録音手段13がマイクロフォン4で集音した音声の録音情報と、後述する変換手段14が録音情報を変換した文字情報とが対応付けられて記憶されている。図4に示す例では、位置情報生成手段12は、ユーザにより所定動作が開始された開始点(例えば、ボード2において、ユーザが文字を書き始めた位置)及びユーザにより所定動作が終了された終了点(例えば、ボード2において、ユーザが文字を書き終えた位置)の座標情報と、開始点が検知された時間を示す時間情報に対応付けた位置情報を生成し、録音DB20に記憶する。   FIG. 4 is a diagram schematically showing data stored in the recording DB 20 in a tabular format. The recording DB 20 includes coordinate information indicating the position detected by the detecting means 3 at the time measured by the time measuring means 11, recording information of the sound collected by the recording means 13 described later with the microphone 4, and converting means 14 described later. Character information obtained by converting the recording information is stored in association with each other. In the example illustrated in FIG. 4, the position information generation unit 12 includes a start point at which a predetermined operation is started by the user (for example, a position where the user starts writing characters on the board 2) and an end at which the predetermined operation is ended by the user. The coordinate information of the point (for example, the position at which the user finishes writing the character on the board 2) and the position information associated with the time information indicating the time when the start point is detected are generated and stored in the recording DB 20.

図3に戻って、録音手段13は、マイクロフォン4が集音した音声に、集音した時の計時手段11が計時した時間を対応付けた音声情報を生成する。詳細には、録音手段13は、ユーザの所定動作を検知手段3が検知したら、マイクロフォン4で集音した音声の録音を開始する。そして、録音手段13は、検知手段3が検知した位置から、ユーザの所定動作が第1所定動作(例えば、ペンにより文字を左から右に横書きする動作)と判定した場合には、録音した音声の録音情報に、検知した時の計時手段11が計時した時間を示す時間情報を対応付けた音声情報を生成し、録音DB20(図4参照)に記憶する。   Returning to FIG. 3, the recording unit 13 generates audio information in which the time collected by the time measuring unit 11 when the sound is collected is associated with the sound collected by the microphone 4. Specifically, the recording unit 13 starts recording the sound collected by the microphone 4 when the detection unit 3 detects a user's predetermined operation. When the recording unit 13 determines from the position detected by the detection unit 3 that the user's predetermined operation is the first predetermined operation (for example, an operation of horizontally writing characters from left to right with a pen), The voice information in which the time information indicating the time counted by the time measuring means 11 at the time of detection is associated with the recorded information is generated and stored in the recording DB 20 (see FIG. 4).

また、録音手段13は、検知手段3が検知した位置から、第1所定動作がされた位置において、ユーザによるボード2上に表示された文字や図形を消す第3所定動作(ボード2に記載された文字を消す動作であり、例えば、ペンよりも大きい布等を左右に往復させる動作)がされた場合に、第1所定動作がされた位置の位置情報が示す時間に対応付けられた音声情報を消去する。詳細には、録音手段13は、検知手段3が第3所定動作を検知した場合に、録音DB20(図4参照)を参照して、録音DB20に記憶された座標情報のうち、検知手段3により検知された座標情報が含まれる座標情報を検索し、この検索した座標情報の時間情報に対応付けられた録音情報を含む全ての情報を消去する。   The recording means 13 is a third predetermined action (described on the board 2) for erasing characters and figures displayed on the board 2 by the user at the position where the first predetermined action is performed from the position detected by the detecting means 3. The voice information associated with the time indicated by the position information of the position where the first predetermined action was performed, for example, when the cloth larger than the pen is moved back and forth. Erase. Specifically, the recording unit 13 refers to the recording DB 20 (see FIG. 4) when the detection unit 3 detects the third predetermined operation, and the detection unit 3 uses the detection unit 3 among the coordinate information stored in the recording DB 20. The coordinate information including the detected coordinate information is searched, and all information including the recording information associated with the time information of the searched coordinate information is deleted.

また、録音手段13は、入出力手段6に表示された文字情報がユーザの操作により選択された場合、録音DB20(図4参照)を参照して、録音DB20に記憶された文字情報のうち、ユーザの操作により選択された文字情報を検索し、この検索した文字情報の時間情報に対応付けられた録音情報を含む全ての情報を消去する。なお、録音手段13は、録音DB20から録音情報を含む全ての情報を消去する場合、消去した情報を、例えば、バックアップ用のデータベースに記憶させてもよい。   When the character information displayed on the input / output unit 6 is selected by the user's operation, the recording unit 13 refers to the recording DB 20 (see FIG. 4), and among the character information stored in the recording DB 20, The character information selected by the user's operation is searched, and all information including the recording information associated with the time information of the searched character information is deleted. Note that, when the recording unit 13 deletes all information including the recording information from the recording DB 20, the recording unit 13 may store the deleted information in, for example, a backup database.

変換手段14は、録音手段13が生成した音声情報の音声に対応する文字情報に変換する。変換手段14は、公知の音声認識処理を実行する構成であり、マイクロフォン4が集音した音声を解析し、言語として認識し、文字情報を生成する。詳細には、変換手段14は、ユーザの所定動作を検知手段3が検知したら、マイクロフォン4で集音した音声を文字情報に変換する。そして、変換手段14は、検知手段3が検知した位置から、ユーザの所定動作が第1所定動作(例えば、ペンにより文字を左から右に横書きする動作)と判定した場合には、音声を変換した文字情報に、検知した時の計時手段11が計時した時間を示す時間情報を対応づけて、録音DB20(図4参照)に記憶する。   The conversion unit 14 converts the voice information generated by the recording unit 13 into character information corresponding to the voice. The conversion unit 14 is configured to execute a known voice recognition process, analyzes the voice collected by the microphone 4, recognizes it as a language, and generates character information. In detail, the conversion means 14 will convert the audio | voice collected with the microphone 4 into character information, if the detection means 3 detects a user's predetermined operation | movement. Then, the conversion means 14 converts the sound from the position detected by the detection means 3 when it is determined that the user's predetermined action is the first predetermined action (for example, an action of horizontally writing characters from left to right with a pen). The recorded character information is associated with time information indicating the time measured by the time measuring means 11 when detected, and stored in the recording DB 20 (see FIG. 4).

表示制御手段15は、第1所定動作がされた位置において、第2所定動作がされた場合に、変換手段14により変換された、第1所定動作がされた位置の位置情報が示す時間に対応付けられた音声情報の音声に対応する文字情報を、入出力手段6に表示する。また、表示制御手段15は、計時手段11により計時された現在の時間及び第1所定動作がされた位置の位置情報が示す時間を入出力手段6に表示する。また、表示制御手段15は、ユーザの操作を受け付ける操作アイコンを入出力手段6に表示する。   When the second predetermined operation is performed at the position where the first predetermined operation is performed, the display control unit 15 corresponds to the time indicated by the position information of the position where the first predetermined operation is performed, which is converted by the conversion unit 14. Character information corresponding to the voice of the attached voice information is displayed on the input / output means 6. The display control unit 15 displays the current time measured by the time measuring unit 11 and the time indicated by the position information of the position where the first predetermined operation is performed on the input / output unit 6. Further, the display control means 15 displays an operation icon for accepting a user operation on the input / output means 6.

位置表示制御手段16は、位置表示手段7において、再生手段17が音声情報の音声を再生している時に、当該音声情報が示す時間に対応付けられた位置情報の位置に対応する位置表示手段7を点灯させ、ボード2上において当該位置情報の位置を照射する。   The position display control means 16 corresponds to the position display means 7 corresponding to the position of the position information associated with the time indicated by the sound information when the reproduction means 17 reproduces the sound of the sound information. Is turned on to illuminate the position of the position information on the board 2.

図5は、表示制御手段15の制御により入出力手段6に表示された画面及び位置表示制御手段16の制御による位置表示手段7の点灯態様の一例を示す図である。入出力手段6には、変換手段14により変換された文字情報61と、計時手段11により計時された現在の時間62と、第1所定動作がされた位置の位置情報が示す時間63と、ユーザの操作を受け付ける操作アイコン64と、が表示されている。また、ボード2には、再生されている音声が録音されたときに記載された文字が位置表示手段7により照射されている(図5中斜線部)。例えば、録音手段13は、ボード2において、照射されている文字が消されると(第3所定動作がされると)、消された文字の位置情報が示す時間に対応付けられた音声情報を、録音DB20(図4参照)から消去する。また、録音手段13は、入出力手段6において、ユーザにより文字情報61を選択する操作がされると、ユーザに選択された文字情報61に対応する音声の音声情報を、録音DB20(図4参照)から消去する。   FIG. 5 is a diagram showing an example of the lighting state of the position display means 7 controlled by the screen displayed on the input / output means 6 under the control of the display control means 15 and the control of the position display control means 16. The input / output means 6 includes the character information 61 converted by the conversion means 14, the current time 62 timed by the timekeeping means 11, the time 63 indicated by the position information of the position where the first predetermined action was performed, and the user An operation icon 64 that accepts the operation is displayed. The board 2 is irradiated with characters written when the reproduced voice is recorded by the position display means 7 (shaded area in FIG. 5). For example, when the irradiated character is erased on the board 2 (when the third predetermined operation is performed), the recording unit 13 displays voice information associated with the time indicated by the position information of the erased character, Delete from the recording DB 20 (see FIG. 4). When the input / output means 6 performs an operation for selecting the character information 61 by the user, the recording means 13 receives the sound information corresponding to the character information 61 selected by the user from the recording DB 20 (see FIG. 4). ).

ここで、塾や学校等の発話される場では、黒板に新たに書くスペースがなくなった場合、スペースを確保するために消すという所定動作(第3所定動作)が行われる。そして、消そうとする文字図形を正式な記録として保存したい場合がある。このような場合のために、筆記板1は、ボード2に表示された文字図形を撮像するカメラや、例えばボードが電子黒板で構成されていればボードに表示された文字図形を画像情報として読み込む画像情報読み込み装置等の画像取得装置を備えてもよい。この場合、制御部10は、画像取得装置が取得した画像情報を、録音DB20(図4参照)に記憶する画像記憶手段を設けてよい。画像記憶手段は、画像取得装置が取得した画像情報に、位置情報生成手段12が生成した位置情報を対応付けて録音DB20に記憶する。具体的には、表示制御手段15は、入出力手段6に、「これから消す部分は、文字図形に加えて同時間帯に録音された音声もセットで保存する」というユーザの意思表示を確認する操作アイコン(例えば、上記意思表示の文字とともに表示される「YES」又は「NO」ボタン)を表示する。そして、録音手段13は、入出力手段6においてユーザにより、「YES」ボタンが操作されてから第3所定動作が行われた場合には、音声情報を、録音DB20からから消去するとともにバックアップ用のデータベースに記憶させる。一方、録音手段13は、入出力手段6においてユーザにより、「NO」ボタンが操作されてから第3所定動作が行われた場合には、音声情報を、録音DB20からから消去するのみで、バックアップ用のデータベースに記憶しない。また、画像記憶手段は、入出力手段6においてユーザにより、「YES」ボタンが操作されてから第3所定動作が行われた場合には、画像情報を、録音DB20からから消去するとともにバックアップ用のデータベースに記憶させる。一方、画像記憶手段は、入出力手段6においてユーザにより、「NO」ボタンが操作されてから第3所定動作が行われた場合には、画像情報を、録音DB20からから消去するのみで、バックアップ用のデータベースに記憶しない。   Here, in a place where utterances such as a cram school or a school are used, when there is no space to write on the blackboard, a predetermined operation (third predetermined operation) is performed to erase the space. Then, there is a case where it is desired to save the character graphic to be erased as an official record. For such a case, the writing board 1 reads the character graphic displayed on the board 2 as image information, for example, if the board is composed of an electronic blackboard or a camera that captures the character graphic displayed on the board 2. You may provide image acquisition apparatuses, such as an image information reading apparatus. In this case, the control unit 10 may include image storage means for storing the image information acquired by the image acquisition device in the recording DB 20 (see FIG. 4). The image storage means stores the image information acquired by the image acquisition apparatus in the recording DB 20 in association with the position information generated by the position information generation means 12. Specifically, the display control means 15 confirms with the input / output means 6 a user's intention display that “the part to be erased will be saved as a set in addition to the character graphic in the same time zone”. An operation icon (for example, a “YES” or “NO” button displayed together with the intention display character) is displayed. When the third predetermined operation is performed after the user operates the “YES” button in the input / output unit 6, the recording unit 13 deletes the voice information from the recording DB 20 and uses it for backup. Store it in the database. On the other hand, when the third predetermined operation is performed after the user operates the “NO” button in the input / output unit 6, the recording unit 13 simply deletes the voice information from the recording DB 20 and performs backup. Do not memorize in the database. Further, the image storage means deletes the image information from the recording DB 20 and performs backup when the third predetermined operation is performed after the user operates the “YES” button in the input / output means 6. Store it in the database. On the other hand, when the third predetermined operation is performed after the “NO” button is operated by the user in the input / output means 6, the image storage means simply deletes the image information from the recording DB 20 and performs backup. Do not memorize in the database.

また、表示制御手段15は、入出力手段6に、音声情報、文字情報及び/又は画像情報をバックアップ用のデータベースに記憶するというユーザの意思表示を確認する操作アイコン(例えば、保存ボタン)を表示してもよい。この場合、録音手段13は、保存ボタンが操作されると、音声情報をバックアップ用のデータベースに記憶する。また、変換手段14は、保存ボタンが操作されると、文字情報をバックアップ用のデータベースに記憶する。また、画像記憶手段は、保存ボタンが操作されると、画像情報をバックアップ用のデータベースに記憶する。また、表示制御手段15は、入出力手段6において、保存ボタンが操作されずに、第1所定動作がされた位置において、ユーザによるボード2上に表示された文字や図形を消す第3所定動作がされた場合に、音声情報、文字情報及び/又は画像情報がバックアップ用のデータベースに記憶されない旨を警告する警告表示(例えば、「本当にいいですか」という文字画像)を表示してもよい。   Further, the display control means 15 displays an operation icon (for example, a save button) for confirming the user's intention to store voice information, character information and / or image information in the backup database on the input / output means 6. May be. In this case, when the save button is operated, the recording unit 13 stores the audio information in the backup database. Further, when the save button is operated, the conversion means 14 stores the character information in the backup database. Further, when the save button is operated, the image storage means stores the image information in the backup database. The display control means 15 also has a third predetermined operation for erasing characters and graphics displayed on the board 2 by the user at the position where the first predetermined operation is performed without operating the save button in the input / output means 6. In the case where a message is displayed, a warning display (for example, a character image “Is it really okay”) may be displayed to warn that voice information, character information and / or image information is not stored in the backup database.

図3に戻って、再生手段17は、録音手段13が生成した音声情報の音声を再生する。再生手段17は、検知手段3が検知した位置から、第1所定動作がされた位置において、ユーザによるボード2上の位置を指示する第2所定動作(例えば、文字を差し示す動作)がされた場合に、録音DB20(図4参照)を参照して、第1所定動作がされた位置の位置情報が示す時間に対応付けられた音声情報の音声を、スピーカ5から再生する。また、例えば、再生手段17は、図5に示す入出力手段6に表示された操作アイコン64がユーザにより操作に応じて、音声の再生を早送り、巻き戻し、停止等する制御を行う。   Returning to FIG. 3, the reproducing means 17 reproduces the sound of the sound information generated by the recording means 13. The reproduction unit 17 has performed a second predetermined operation (for example, an operation for indicating a character) indicating the position on the board 2 by the user at the position where the first predetermined operation has been performed from the position detected by the detection unit 3. In this case, referring to the recording DB 20 (see FIG. 4), the sound of the sound information associated with the time indicated by the position information of the position where the first predetermined operation has been performed is reproduced from the speaker 5. Further, for example, the playback unit 17 performs control such that the operation icon 64 displayed on the input / output unit 6 shown in FIG. 5 fast-forwards, rewinds, stops, etc. according to the operation by the user.

上記の本システムの機能構成は、あくまで一例であり、一つの機能ブロック(データベース及び機能処理部)を分割したり、複数の機能ブロックをまとめて一つの機能ブロックとして構成したりしてもよい。各機能処理部は、コンピュータ装置に内蔵されたCPU(Central Processing Unit)が、ROM(Read Only Memory)又はハードディスク等の記憶装置に格納されたコンピュータ・プログラムを読み出し、CPUにより実行されたコンピュータ・プログラムによって実現される。すなわち、各機能処理部は、このコンピュータ・プログラムが、記憶装置に格納されたデータベース(DB;Data Base)やメモリ上の記憶領域からテーブル等の必要なデータを読み書きし、場合によっては、関連するハードウェア(例えば、入出力装置、表示装置、通信インターフェース装置)を制御することによって実現される。また、本発明の実施形態におけるデータベース(DB)は、商用データベースであってよいが、単なるテーブルやファイルの集合体をも意味し、データベースの内部構造自体は問わないものとする。なお、データベースも1つのサーバ(データベースサーバ)と考えてもよい。   The above-described functional configuration of the present system is merely an example, and one functional block (database and function processing unit) may be divided, or a plurality of functional blocks may be configured as one functional block. Each function processing unit reads a computer program stored in a storage device such as a ROM (Read Only Memory) or a hard disk by a CPU (Central Processing Unit) built in the computer device, and is executed by the CPU. It is realized by. That is, in each function processing unit, this computer program reads and writes necessary data such as a table from a database (DB; Data Base) stored in a storage device or a storage area on a memory, and may be related in some cases. This is realized by controlling hardware (for example, an input / output device, a display device, and a communication interface device). Further, the database (DB) in the embodiment of the present invention may be a commercial database, but it simply means a collection of tables and files, and the internal structure of the database itself is not questioned. The database may be considered as one server (database server).

(音声再生処理フロー)
図6は、音声再生処理フローを示す図である。この処理は、筆記板1の制御部10が行う処理である。なお、以下の処理は、必ずしもこのフローチャートで示した順で処理される必要はなく、各処理ブロックの入力データと出力データの関係が損なわれない限り、処理順序を変更してもよい。制御部10は、例えば、電源がオンされると音声処理フローの実行を開始する。
(Audio playback process flow)
FIG. 6 is a diagram showing an audio reproduction processing flow. This process is a process performed by the control unit 10 of the writing board 1. Note that the following processing is not necessarily performed in the order shown in the flowchart, and the processing order may be changed as long as the relationship between the input data and the output data of each processing block is not impaired. For example, when the power is turned on, the control unit 10 starts executing the audio processing flow.

ステップS10において、計時手段11は、時間を計時する。ステップS11において、位置情報生成手段12は、検知手段3が検知した位置から、ユーザの所定動作がユーザによる入力に関係する第1所定動作(例えば、文字を左から右に横書きする動作)であるか否かを判定する。位置情報生成手段12は、第1所定動作がされたと判定した場合にはステップS12に処理を移し、第1所定動作がされてないと判定した場合にはステップS15に処理を移す。   In step S10, the time measuring means 11 measures time. In step S11, the position information generation unit 12 is a first predetermined operation (for example, an operation of horizontally writing characters from left to right) in which the user's predetermined operation is related to the input by the user from the position detected by the detection unit 3. It is determined whether or not. If it is determined that the first predetermined operation has been performed, the position information generating unit 12 proceeds to step S12, and if it is determined that the first predetermined operation has not been performed, the position information generating unit 12 proceeds to step S15.

ステップS12において、位置情報生成手段12は、検知手段3が検知した、ユーザによる第1所定動作がされた位置を示す座標情報に、検知した時の計時手段11が計時した時間を示す時間情報を対応付けた位置情報を生成し、録音DB20に記憶する。   In step S <b> 12, the position information generation unit 12 adds time information indicating the time measured by the time measuring unit 11 when detected to the coordinate information indicating the position where the first predetermined operation by the user has been detected. The associated position information is generated and stored in the recording DB 20.

ステップS13において、録音手段13は、マイクロフォン4が集音した音声に、集音した時の計時手段11が計時した時間を対応付けた音声情報を生成し、録音DB20(図4参照)に記憶する。   In step S13, the recording means 13 generates sound information in which the sound collected by the microphone 4 is associated with the time measured by the time measuring means 11 when the sound is collected, and is stored in the recording DB 20 (see FIG. 4). .

ステップS14において、変換手段14は、マイクロフォン4が集音した音声を文字情報に変換し、変換した文字情報に、検知した時の計時手段11が計時した時間を示す時間情報を対応づけて、録音DB20(図4参照)に記憶する。   In step S14, the converting means 14 converts the sound collected by the microphone 4 into character information, and associates the converted character information with time information indicating the time measured by the time measuring means 11 at the time of detection. It memorize | stores in DB20 (refer FIG. 4).

ステップS15において、再生手段17は、検知手段3が検知した位置から、第1所定動作がされた位置において、ユーザによるボード2上の位置を指示する第2所定動作(例えば、文字を差し示す動作)がされたか否かを判定する。再生手段17は、第2所定動作がされたと判定した場合にはステップS16に処理を移し、第2所定動作がされてないと判定した場合にはステップS17に処理を移す。   In step S <b> 15, the reproduction unit 17 performs a second predetermined operation (for example, an operation indicating a character) that indicates a position on the board 2 by the user at the position where the first predetermined operation is performed from the position detected by the detection unit 3. ) Is determined. When it is determined that the second predetermined operation has been performed, the reproducing unit 17 proceeds to step S16, and when it is determined that the second predetermined operation has not been performed, the reproducing unit 17 proceeds to step S17.

ステップS16において、再生手段17は、録音DB20(図4参照)を参照して、第1所定動作がされた位置の位置情報が示す時間に対応付けられた音声情報の音声を、スピーカ5から再生する。   In step S16, the reproducing means 17 refers to the recording DB 20 (see FIG. 4) and reproduces the sound of the sound information associated with the time indicated by the position information of the position where the first predetermined operation has been performed from the speaker 5. To do.

ステップS17において、録音手段13は、検知手段3が検知した位置から、第1所定動作がされた位置において、ユーザによるボード2上に表示された文字や図形を消す第3所定動作(ボード2に記載された文字を消す動作であり、例えば、ペンよりも大きい布等を左右に往復させる動作)がされたか否かを判定する。録音手段13は、第3所定動作がされたと判定した場合にはステップS18に処理を移し、第3所定動作がされてないと判定した場合にはステップS19に処理を移す。   In step S <b> 17, the recording unit 13 performs a third predetermined operation (on the board 2) for erasing characters and figures displayed on the board 2 by the user at the position where the first predetermined operation is performed from the position detected by the detection unit 3. It is determined whether or not a written character is erased, for example, an operation of reciprocating a cloth larger than a pen left and right). When it is determined that the third predetermined operation has been performed, the recording unit 13 proceeds to step S18, and when it is determined that the third predetermined operation has not been performed, the recording unit 13 proceeds to step S19.

ステップS18において、録音手段13は、第1所定動作がされた位置の位置情報が示す時間に対応付けられた音声情報を、録音DB20(図4参照)から消去する。そして、ステップS19において、制御部10は、電源がオフされた場合には本処理を終了し、電源がオフされていない場合にはステップS11に処理を戻す。   In step S18, the recording unit 13 deletes the audio information associated with the time indicated by the position information of the position where the first predetermined operation has been performed from the recording DB 20 (see FIG. 4). In step S19, the control unit 10 ends the process when the power is turned off, and returns the process to step S11 when the power is not turned off.

(実施形態の効果)
以上の説明のように実施形態に係る筆記板1は、ボード2上におけるユーザの所定動作により、ボード2上に文字又は図形を示し又は消去することが可能であり、音声を録音し再生し、計時手段11と、検知手段3と、位置情報生成手段12と、マイクロフォン4と、録音手段13と、再生手段17と、を備える。計時手段11は、時間を計時する。検知手段3は、所定動作がされたボード2上における位置を検知する。位置情報生成手段12と、検知手段3が検知した位置に、検知した時の計時手段11が計時した時間を対応付けた位置情報を生成する。マイクロフォン4は、音声を集音する。録音手段13は、マイクロフォン4が集音した音声に、集音した時の計時手段11が計時した時間を対応付けた音声情報を生成する。再生手段17は、録音手段13が生成した音声情報の音声を再生する。そして、位置情報生成手段12は、ユーザによる入力に関係する第1所定動作(例えば、文字を左から右に横書きする動作)がされた位置の位置情報を生成する。再生手段17は、第1所定動作がされた位置において、ユーザによるボード2上の位置を指示する第2所定動作(例えば、文字を差し示す動作)がされた場合に、第1所定動作がされた位置の位置情報が示す時間に対応付けられた音声情報の音声を再生する。これにより、筆記板1は、ボード2におけるユーザの文字を書くという動作を検知し、この時に発声された音声を録音し、ボード2におけるユーザの文字を指し示すという動作を検知し、この録音した音声を再生する。よって、ユーザは、発話がされる場において、ボード2に記載された文字に関連して発声された音声を聞きたくなった場合、記載された文字を指し示すだけで、この文字が記載された時に発声された音声を再生することができる。したがって、発話がされる場における音声のうち、所望の部分を速やかに再生できる。
(Effect of embodiment)
As described above, the writing board 1 according to the embodiment can display or erase characters or figures on the board 2 according to a user's predetermined operation on the board 2, record and reproduce voice, The timer unit 11 includes a timing unit 11, a detection unit 3, a position information generation unit 12, a microphone 4, a recording unit 13, and a reproduction unit 17. The time measuring means 11 measures time. The detection means 3 detects the position on the board 2 on which the predetermined operation has been performed. The position information generating unit 12 and the position detected by the detecting unit 3 generate position information in which the time measured by the time measuring unit 11 at the time of detection is associated. The microphone 4 collects sound. The recording unit 13 generates audio information in which the time collected by the time measuring unit 11 when the sound is collected is associated with the sound collected by the microphone 4. The reproducing unit 17 reproduces the voice information generated by the recording unit 13. Then, the position information generation unit 12 generates position information of a position where a first predetermined operation related to input by the user (for example, an operation of horizontally writing characters from left to right) is performed. The reproduction unit 17 performs the first predetermined operation when the user performs a second predetermined operation (for example, an operation for indicating a character) indicating the position on the board 2 at the position where the first predetermined operation is performed. The voice of the voice information associated with the time indicated by the position information of the selected position is reproduced. As a result, the writing board 1 detects the operation of writing the user's character on the board 2, records the voice uttered at this time, detects the operation of pointing the user's character on the board 2, and detects the recorded voice. Play. Therefore, when the user wants to hear the voice uttered in relation to the character written on the board 2 in the place where the utterance is made, the user simply points to the written character and when the character is written. The spoken voice can be played back. Therefore, it is possible to quickly reproduce a desired portion of the voice in the place where the speech is made.

また、録音手段13は、第1所定動作がされた位置において、ユーザによるボード2上に表示された文字や図形を消す第3所定動作(例えば、記載された文字を消す動作)がされた場合に、第1所定動作がされた位置の位置情報が示す時間に対応付けられた音声情報を消去する。これにより、ユーザは、発話がされる場において、ボード2に記載された文字を消すだけで、この文字に関連して発声された音声を消去することができる。   In addition, the recording unit 13 performs a third predetermined operation (for example, an operation to delete the written characters) that erases characters and figures displayed on the board 2 by the user at the position where the first predetermined operation has been performed. In addition, the voice information associated with the time indicated by the position information of the position where the first predetermined operation has been performed is deleted. Thereby, the user can erase the voice uttered in association with the character only by erasing the character written on the board 2 when the utterance is made.

また、筆記板1は、位置表示手段7を更に備える。位置表示手段7は、再生手段17が音声情報の音声を再生している時に、当該音声情報が示す時間に対応付けられた位置情報の位置を、ボード2上に表示する。これにより、再生中の音声がボード2に記載されたどの文字に対応しているかを明確にできる。また、位置表示手段7に表示されている位置の文字を消すことで、再生されている音声の音声情報を消去できるので、誤った音声情報を消去してしまうのを防止できる。   The writing board 1 further includes position display means 7. The position display means 7 displays the position of the position information associated with the time indicated by the sound information on the board 2 when the reproducing means 17 is reproducing the sound of the sound information. Thereby, it can be clarified to which character the voice being reproduced corresponds to the board 2. Further, by deleting the character at the position displayed on the position display means 7, it is possible to delete the sound information of the reproduced sound, so that it is possible to prevent the erroneous sound information from being deleted.

また、筆記板1は、変換手段14と、入出力手段6と、表示制御手段15と、を更に備える。変換手段14は、録音手段13が生成した音声情報の音声に対応する文字情報に変換する。入出力手段6は、変換手段14が変換した文字情報を表示する。表示制御手段15は、第1所定動作がされた位置において、第2所定動作がされた場合に、変換手段14により変換された、第1所定動作がされた位置の位置情報が示す時間に対応付けられた音声情報の音声に対応する文字情報を、入出力手段6に表示する。これにより、ユーザは、消去する音声情報を入出力手段6に表示された文字情報で確認できるので、必要な音声情報が消去されるのを防止できる。   The writing board 1 further includes conversion means 14, input / output means 6, and display control means 15. The conversion unit 14 converts the voice information generated by the recording unit 13 into character information corresponding to the voice. The input / output unit 6 displays the character information converted by the conversion unit 14. When the second predetermined operation is performed at the position where the first predetermined operation is performed, the display control unit 15 corresponds to the time indicated by the position information of the position where the first predetermined operation is performed, which is converted by the conversion unit 14. Character information corresponding to the voice of the attached voice information is displayed on the input / output means 6. Thereby, since the user can confirm the voice information to be erased with the character information displayed on the input / output means 6, it is possible to prevent the necessary voice information from being erased.

また、録音手段13は、入出力手段6に表示された文字情報のうち、ユーザに選択された部分に対応する音声の音声情報を消去する。これにより、ユーザは、入出力手段6に表示された文字情報に対して操作することで、音声情報を消去できるので、不要な音声情報のみを確実に消去できる。   In addition, the recording unit 13 erases the voice information corresponding to the portion selected by the user from the character information displayed on the input / output unit 6. Thereby, since the user can delete the voice information by operating the character information displayed on the input / output means 6, only the unnecessary voice information can be surely deleted.

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。なお、上記の実施形態では、本発明を物の発明として、配車装置について説明したが、本発明において移動体を配車する配車方法の発明と捉えることもできる。   As mentioned above, although this invention was demonstrated using embodiment, it cannot be overemphasized that the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiments. Further, it is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention. In the above-described embodiment, the vehicle allocation apparatus has been described with the present invention as a product invention. However, in the present invention, the present invention can also be regarded as an invention of a vehicle allocation method for distributing a moving body.

1 筆記板
2 ボード
3 検知手段
4 マイクロフォン
5 スピーカ
6 入出力手段
7 位置表示手段
10 制御部
11 計時手段
12 位置情報生成手段
13 録音手段
14 変換手段
15 表示制御手段
16 位置表示制御手段
17 再生手段
20 録音DB


DESCRIPTION OF SYMBOLS 1 Writing board 2 Board 3 Detection means 4 Microphone 5 Speaker 6 Input / output means 7 Position display means 10 Control part 11 Timing means 12 Position information generation means 13 Recording means 14 Conversion means 15 Display control means 16 Position display control means 17 Reproduction means 20 Recording DB


Claims (6)

ボード上におけるユーザの所定動作により、前記ボード上に文字又は図形を示し又は消去することが可能であり、音声を録音し再生する筆記板であって、
時間を計時する計時手段と、
前記所定動作がされた前記ボード上における位置を検知する検知手段と、
前記検知手段が検知した位置に、検知した時の前記計時手段が計時した時間を対応付けた位置情報を生成する位置情報生成手段と、
音声を集音する集音手段と、
前記集音手段が集音した音声に、集音した時の前記計時手段が計時した時間を対応付けた音声情報を生成する録音手段と、
前記録音手段が生成した前記音声情報の音声を再生する再生手段と、を備え、
前記位置情報生成手段は、ユーザによる入力に関係する第1所定動作がされた位置の前記位置情報を生成し、
前記再生手段は、前記第1所定動作がされた位置において、ユーザによる前記ボード上の位置を指示する第2所定動作がされた場合に、前記第1所定動作がされた位置の前記位置情報が示す時間に対応付けられた前記音声情報の音声を再生することを特徴とする筆記板。
According to a predetermined operation of the user on the board, it is possible to show or erase characters or figures on the board, and a writing board for recording and reproducing sound,
A time measuring means for measuring time;
Detecting means for detecting a position on the board on which the predetermined operation has been performed;
Position information generating means for generating position information that associates the time detected by the time measuring means with the position detected by the detecting means;
Sound collecting means for collecting sound;
Recording means for generating voice information in which the sound collected by the sound collecting means is associated with the time measured by the time measuring means when the sound is collected;
Playback means for playing back the voice information generated by the recording means,
The position information generating means generates the position information of a position where a first predetermined operation related to an input by a user has been performed,
When the second predetermined operation for instructing the position on the board by the user is performed at the position where the first predetermined operation is performed, the reproduction means stores the position information of the position where the first predetermined operation is performed. A writing board, wherein the voice of the voice information associated with the indicated time is reproduced.
前記録音手段は、前記第1所定動作がされた位置において、ユーザによる前記ボード上に表示された文字や図形を消す第3所定動作がされた場合に、前記第1所定動作がされた位置の前記位置情報が示す時間に対応付けられた前記音声情報を消去することを特徴とする請求項1に記載の筆記板。   When the third predetermined operation for erasing characters or figures displayed on the board by the user is performed at the position where the first predetermined operation is performed, the recording unit is configured to display the position at which the first predetermined operation is performed. The writing board according to claim 1, wherein the voice information associated with the time indicated by the position information is erased. 前記再生手段が前記音声情報の音声を再生している時に、当該音声情報が示す時間に対応付けられた前記位置情報の位置を、前記ボード上に表示する位置表示手段を、更に備えることを特徴とする請求項1又は2に記載の筆記板。   When the reproducing means reproduces the sound of the sound information, it further comprises position display means for displaying the position of the position information associated with the time indicated by the sound information on the board. The writing board according to claim 1 or 2. 前記録音手段が生成した前記音声情報の音声に対応する文字情報に変換する変換手段と、
前記変換手段が変換した前記文字情報を表示する表示手段と、
前記第1所定動作がされた位置において、前記第2所定動作がされた場合に、前記変換手段により変換された、前記第1所定動作がされた位置の前記位置情報が示す時間に対応付けられた前記音声情報の音声に対応する前記文字情報を、前記表示手段に表示する表示制御手段と、を更に備えることを特徴とする請求項1から3のいずれか一項に記載の筆記板。
Conversion means for converting into character information corresponding to the voice of the voice information generated by the recording means;
Display means for displaying the character information converted by the conversion means;
When the second predetermined operation is performed at the position where the first predetermined operation is performed, the position is associated with the time indicated by the position information of the position where the first predetermined operation is performed, which is converted by the conversion unit. The writing board according to claim 1, further comprising display control means for displaying the character information corresponding to the voice of the voice information on the display means.
前記録音手段は、前記表示手段に表示された文字情報のうち、ユーザに選択された部分に対応する音声の前記音声情報を消去することを特徴とする請求項4に記載の筆記板。   5. The writing board according to claim 4, wherein the recording unit deletes the voice information of the voice corresponding to the portion selected by the user from the character information displayed on the display unit. ボード上におけるユーザの所定動作により、前記ボード上に文字又は図形を示し又は消去することが可能であり、音声を録音し再生する筆記板による音声再生方法であって、
時間を計時する計時ステップと、
前記所定動作がされた前記ボード上における位置を検知する検知ステップと、
前記検知ステップで検知した位置に、検知した時の前記計時ステップで計時した時間を対応付けた位置情報を生成する位置情報生成ステップと、
音声を集音する集音ステップと、
前記集音ステップで集音した音声に、集音した時の前記計時ステップで計時した時間を対応付けた音声情報を生成する録音ステップと、
前記録音ステップで生成した前記音声情報の音声を再生する再生ステップと、を含み、
前記位置情報生成ステップでは、ユーザによる入力に関係する第1所定動作がされた位置の前記位置情報を生成し、
前記再生ステップでは、前記第1所定動作がされた位置において、ユーザによる前記ボード上の位置を指示する第2所定動作がされた場合に、前記第1所定動作がされた位置の前記位置情報が示す時間に対応付けられた前記音声情報の音声を再生することを特徴とする音声再生方法。
According to a user's predetermined operation on the board, it is possible to show or erase characters or figures on the board, and a sound reproduction method using a writing board for recording and reproducing sound,
A timing step for timing the time;
A detection step of detecting a position on the board on which the predetermined operation has been performed;
A position information generation step for generating position information in which the position detected in the detection step is associated with the time measured in the time measurement step when detected;
A sound collection step for collecting sound;
A recording step for generating voice information in which the time collected in the time counting step at the time of sound collection is associated with the sound collected in the sound collecting step;
Replaying the sound of the sound information generated in the recording step, and
In the position information generation step, the position information of the position where the first predetermined operation related to the input by the user has been performed is generated,
In the reproduction step, when the second predetermined operation for instructing the position on the board by the user is performed at the position where the first predetermined operation is performed, the position information of the position where the first predetermined operation is performed is obtained. A sound reproducing method, wherein the sound of the sound information associated with the indicated time is reproduced.
JP2014069386A 2014-03-28 2014-03-28 Writing board and its sound reproduction method Pending JP2015189161A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014069386A JP2015189161A (en) 2014-03-28 2014-03-28 Writing board and its sound reproduction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014069386A JP2015189161A (en) 2014-03-28 2014-03-28 Writing board and its sound reproduction method

Publications (1)

Publication Number Publication Date
JP2015189161A true JP2015189161A (en) 2015-11-02

Family

ID=54424090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014069386A Pending JP2015189161A (en) 2014-03-28 2014-03-28 Writing board and its sound reproduction method

Country Status (1)

Country Link
JP (1) JP2015189161A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019056617A1 (en) * 2017-09-20 2019-03-28 广州视源电子科技股份有限公司 Writing device with movable camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06343146A (en) * 1993-03-15 1994-12-13 Toshiba Corp Reproducing device and reproducing method
JPH1049515A (en) * 1996-08-02 1998-02-20 Fuji Xerox Co Ltd Information display device and information storing/ reproducing device
JP2005284490A (en) * 2004-03-29 2005-10-13 Sharp Corp Data recording device and data regenerating device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06343146A (en) * 1993-03-15 1994-12-13 Toshiba Corp Reproducing device and reproducing method
JPH1049515A (en) * 1996-08-02 1998-02-20 Fuji Xerox Co Ltd Information display device and information storing/ reproducing device
JP2005284490A (en) * 2004-03-29 2005-10-13 Sharp Corp Data recording device and data regenerating device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019056617A1 (en) * 2017-09-20 2019-03-28 广州视源电子科技股份有限公司 Writing device with movable camera

Similar Documents

Publication Publication Date Title
US20060075347A1 (en) Computerized notetaking system and method
CN104239392B (en) Audio is associatedly recorded with display content
US8194081B2 (en) Animation of audio ink
JPWO2015198488A1 (en) Electronic device, method and program
US20150058007A1 (en) Method for modifying text data corresponding to voice data and electronic device for the same
JP2011516924A (en) Multi-mode learning system
JP2014515512A (en) Content selection in pen-based computer systems
CN105791950A (en) Power Point video recording method and device
JP2015533002A (en) Correlation between written notes and digital content
JP6176041B2 (en) Information processing apparatus and program
JP6095553B2 (en) Information display apparatus, method and program
US10460178B1 (en) Automated production of chapter file for video player
KR100850046B1 (en) Electronic lecture apparatus
JP2015189161A (en) Writing board and its sound reproduction method
JP2010061343A (en) Voice recording method, voice reproduction method, voice recording program and voice reproduction program
CN111726693A (en) Audio and video playing method, device, equipment and medium
JP2018097239A (en) Voice reproduction device and program
JP2002297308A (en) Input device
JP2009283020A (en) Recording apparatus, reproducing apparatus, and program
JP3757880B2 (en) Electronic blackboard
JP2010109478A (en) Information processing apparatus, information processing system and program
JP2011095809A (en) Presentation support system
JP2009004846A (en) Electronic blackboard-associated lesson video recording system
CN113535289A (en) Method and device for page presentation, mobile terminal interaction and audio editing
JP2020034823A (en) Facilitation support program, facilitation support device, and facilitation support method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180724