JP7035526B2 - Information processing equipment, programs and information processing methods - Google Patents

Information processing equipment, programs and information processing methods Download PDF

Info

Publication number
JP7035526B2
JP7035526B2 JP2017252637A JP2017252637A JP7035526B2 JP 7035526 B2 JP7035526 B2 JP 7035526B2 JP 2017252637 A JP2017252637 A JP 2017252637A JP 2017252637 A JP2017252637 A JP 2017252637A JP 7035526 B2 JP7035526 B2 JP 7035526B2
Authority
JP
Japan
Prior art keywords
information processing
voice recognition
unit
data
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017252637A
Other languages
Japanese (ja)
Other versions
JP2018156060A (en
Inventor
佳子 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to US15/907,350 priority Critical patent/US20180268817A1/en
Publication of JP2018156060A publication Critical patent/JP2018156060A/en
Application granted granted Critical
Publication of JP7035526B2 publication Critical patent/JP7035526B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Description

本発明は、情報処理装置、プログラム及び情報処理方法に関する。 The present invention relates to an information processing apparatus, a program and an information processing method.

近年では、自然言語の音声認識技術の発展や、人工知能と呼ばれるサービスの向上等により、発話によって機器の操作を行う音声操作が利用されつつある。この音声操作では、操作対象の機器において音声認識が行われてコマンドが実行される場合と、操作対象の機器からクラウドサービスに発話データが送信され、クラウドサービスで行われた音声認識の結果であるコマンドを機器が実行する場合と、が知られている。 In recent years, with the development of voice recognition technology for natural language and the improvement of services called artificial intelligence, voice operations that operate devices by utterance are being used. In this voice operation, there are cases where voice recognition is performed and a command is executed on the device to be operated, and speech data is transmitted from the device to be operated to the cloud service, which is the result of voice recognition performed by the cloud service. It is known when a device executes a command.

クラウドサービスでは、機器により集音された発話データをインターネット経由で受信し音声認識によって認識されたコマンドを機器に返す。このため、操作対象となる機器において、発話データを取得してからコマンドが実行されるまでの時間は、ネットワークの帯域に大きく依存する。 In the cloud service, the utterance data collected by the device is received via the Internet and the command recognized by voice recognition is returned to the device. Therefore, in the device to be operated, the time from the acquisition of the utterance data to the execution of the command largely depends on the bandwidth of the network.

このような通信システムでは、通信状況に応じて、単位時間あたりのデータ転送量を変化させる工夫等が行われている（特許文献１）。 In such a communication system, a device for changing the amount of data transfer per unit time is taken according to the communication status (Patent Document 1).

ネットワークを経由して送受信されるデータは、発話データだけではなく、画像データ、音声データ、動画データ、ドキュメントといったコンテンツが含まれる。 The data transmitted and received via the network includes not only utterance data but also contents such as image data, voice data, video data, and documents.

このため、従来の技術では、発話によって機器を操作する音声操作においては、音声データ以外のコンテンツの送受信にネットワーク帯域を奪われ、その応答性が低下する可能性がある。 For this reason, in the conventional technology, in the voice operation in which the device is operated by utterance, the network bandwidth may be deprived by the transmission / reception of contents other than the voice data, and the responsiveness may be deteriorated.

開示の技術は、上記事情に鑑みてなされたものであり、音声操作に対する応答性を向上させることを目的としている。 The disclosed technique is made in view of the above circumstances, and aims to improve the responsiveness to voice operation.

開示の技術は、集音装置により集音した音声データを含むコンテンツデータの送受信を行う情報処理装置であって、前記音声データに対する音声認識を行う音声認識部と、ネットワークを介して接続された他の装置との通信の状態に応じて、前記情報処理装置と通信を行う音声認識装置、又は、前記音声認識部の何れかを、前記音声データの出力先として選択する出力先選択部と、を有し、前記他の装置は、前記コンテンツデータが格納される外部装置と、前記音声認識装置とを含み、さらに、前記情報処理装置と、前記外部装置との通信遅延時間を計測する通信時間計測部を有し、前記通信時間計測部は、前記情報処理装置から前記外部装置へ前記コンテンツデータが送信されたタイミングから、前記情報処理装置が、前記外部装置から、前記コンテンツデータの格納の完了の通知を受信するタイミングまでの時間を前記通信遅延時間として計測する。 The disclosed technology is an information processing device that transmits / receives content data including voice data collected by a sound collecting device, and is connected to a voice recognition unit that performs voice recognition for the voice data via a network. A voice recognition device that communicates with the information processing device or an output destination selection unit that selects either the voice recognition unit as the output destination of the voice data, depending on the state of communication with the device . The other device includes an external device for storing the content data and the voice recognition device, and further, a communication time measurement for measuring a communication delay time between the information processing device and the external device. The communication time measuring unit has a unit, and from the timing when the content data is transmitted from the information processing device to the external device, the information processing device completes the storage of the content data from the external device. The time until the timing of receiving the notification is measured as the communication delay time .

音声操作に対する応答性を向上させることができる。 It is possible to improve the responsiveness to voice operations.

第一の実施形態の情報処理システムの概要を説明する図である。It is a figure explaining the outline of the information processing system of 1st Embodiment. 第一の実施形態の情報処理システムのシステム構成の一例を示す図である。It is a figure which shows an example of the system structure of the information processing system of 1st Embodiment. 第一の実施形態の電子黒板のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of the electronic blackboard of 1st Embodiment. 第一の実施形態のスマートスピーカのハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of the smart speaker of 1st Embodiment. 第一の実施形態のサーバ装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware configuration of the server apparatus of 1st Embodiment. 第一の実施形態の情報処理システムの有する各装置の機能を説明する図である。It is a figure explaining the function of each apparatus which the information processing system of 1st Embodiment has. 第一の実施形態のコマンドデータベースの一例を示す図である。It is a figure which shows an example of the command database of 1st Embodiment. 第一の実施形態の遅延判定テーブルを説明する図である。It is a figure explaining the delay determination table of 1st Embodiment. 第一の実施形態の情報処理システムの動作を説明するシーケンス図である。It is a sequence diagram explaining the operation of the information processing system of 1st Embodiment. 第二の実施形態の情報処理システムのシステム構成の一例を示す図である。It is a figure which shows an example of the system structure of the information processing system of the 2nd Embodiment. 第二の実施形態の情報処理システムの有する各装置の機能を説明する図である。It is a figure explaining the function of each apparatus which the information processing system of the 2nd Embodiment has. 第二の実施形態の遅延判定テーブルの一例を示す図である。本It is a figure which shows an example of the delay determination table of the 2nd Embodiment. Book 第二の実施形態の優先順位テーブルの一例を示す図である。It is a figure which shows an example of the priority table of the 2nd Embodiment. 第二の実施形態の出力先選択部の動作を説明するフローチャートである。It is a flowchart explaining the operation of the output destination selection part of the 2nd Embodiment.

（第一の実施形態）
以下に図面を参照して、第一の実施形態について説明する。図１は、第一の実施形態の情報処理システムの概要を説明する図である。 (First embodiment)
The first embodiment will be described below with reference to the drawings. FIG. 1 is a diagram illustrating an outline of the information processing system of the first embodiment.

本実施形態の情報処理システム１００は、電子黒板２００と、サーバ装置３００と、を有する。情報処理システム１００において、電子黒板２００とサーバ装置３００とは、ネットワークＮを介して接続される。また、本実施形態の情報処理システム１００は、ネットワークＮを介して、音声データをテキストデータに変換する音声認識装置４００と接続される。 The information processing system 100 of the present embodiment includes an electronic blackboard 200 and a server device 300. In the information processing system 100, the electronic blackboard 200 and the server device 300 are connected via the network N. Further, the information processing system 100 of the present embodiment is connected to the voice recognition device 400 that converts voice data into text data via the network N.

本実施形態の音声認識装置４００は、例えば、人工知能により提供されるサービスである。音声認識装置４００は、受信した音声データを音声認識機能によりテキストデータとし、電子黒板２００やサーバ装置３００へ送信する。 The voice recognition device 400 of the present embodiment is, for example, a service provided by artificial intelligence. The voice recognition device 400 converts the received voice data into text data by the voice recognition function and transmits the received voice data to the electronic blackboard 200 and the server device 300.

また、本実施形態の電子黒板２００は、サーバ装置３００や音声認識装置４００を含む他の装置４５０との通信の状態に応じて、音声データの出力先を選択する。以下の説明では、電子黒板２００は、他の装置４５０に含まれるサーバ装置３００との通信の状態に応じて、音声データの出力先を選択するものとする。 Further, the electronic blackboard 200 of the present embodiment selects a voice data output destination according to the state of communication with another device 450 including the server device 300 and the voice recognition device 400. In the following description, the electronic blackboard 200 shall select an output destination of audio data according to the state of communication with the server device 300 included in the other device 450.

本実施形態の電子黒板２００は、マイク等の集音装置を有しており、集音装置によって音声データを取得すると（ステップＳ１）、自機とサーバ装置３００（外部装置）との間の通信の状態に応じて、音声データを音声認識装置４００へ送信してコマンドを取得するか、自機の音声認識機能によりコマンドを取得するか否かを判定する（ステップＳ２）。 The electronic blackboard 200 of the present embodiment has a sound collecting device such as a microphone, and when voice data is acquired by the sound collecting device (step S1), communication between the own unit and the server device 300 (external device). Depending on the state of, it is determined whether to transmit the voice data to the voice recognition device 400 and acquire the command, or to acquire the command by the voice recognition function of the own machine (step S2).

具体的には、電子黒板２００は、ステップＳ２において、電子黒板２００とサーバ装置３００（外部装置）との間の通信に係る時間が所定のパターンを示す場合、自機の音声認識機能によりコマンドを取得するものと判定する。そして、電子黒板２００は、音声データを音声認識装置４００に送信せず、自機の音声認識機能により、コマンドを取得する（ステップＳ３）。 Specifically, when the electronic blackboard 200 shows a predetermined pattern in the time required for communication between the electronic blackboard 200 and the server device 300 (external device) in step S2, the electronic blackboard 200 issues a command by the voice recognition function of the own machine. Judged to be acquired. Then, the electronic blackboard 200 does not transmit the voice data to the voice recognition device 400, but acquires a command by the voice recognition function of the own machine (step S3).

ここで、通信に係る時間が所定のパターンを示す場合とは、電子黒板２００が他の装置４５０との接続に用いるネットワークＮが混雑している場合や、通信が行えない場合を含む。 Here, the case where the time related to communication shows a predetermined pattern includes the case where the network N used by the electronic blackboard 200 for connecting to another device 450 is congested or the case where communication cannot be performed.

また、ステップＳ２において、電子黒板２００は、電子黒板２００とサーバ装置３００との間の通信に係る時間が所定のパターンを示していない場合、電子黒板２００は、音声データを音声認識装置４００へ送信してコマンドを取得すると判定する。そして、電子黒板２００は、音声データを音声認識装置４００へ送信し（ステップＳ４）、音声認識装置４００からコマンドを取得する（ステップＳ５）。 Further, in step S2, when the electronic blackboard 200 does not show a predetermined pattern in the time required for communication between the electronic blackboard 200 and the server device 300, the electronic blackboard 200 transmits voice data to the voice recognition device 400. And decide to get the command. Then, the electronic blackboard 200 transmits the voice data to the voice recognition device 400 (step S4), and acquires a command from the voice recognition device 400 (step S5).

ここで、通信に係る時間が所定のパターンを示さない場合とは、電子黒板２００が他の装置４５０との接続に用いるネットワークＮが混雑しておらず、速やかな通信が行える場合を含む。 Here, the case where the time related to communication does not show a predetermined pattern includes the case where the network N used by the electronic blackboard 200 for connecting to another device 450 is not congested and prompt communication can be performed.

このように、本実施形態の情報処理システム１００では、電子黒板２００と他の装置との通信の状態に応じて、音声データの出力先を選択するため、音声操作に対する応答性を向上させることができる。 As described above, in the information processing system 100 of the present embodiment, since the output destination of the voice data is selected according to the communication state between the electronic blackboard 200 and the other device, the responsiveness to the voice operation can be improved. can.

尚、図１のステップＳ１～ステップＳ５の詳細は、後述する図９で説明する。 The details of steps S1 to S5 in FIG. 1 will be described with reference to FIG. 9 to be described later.

図２は、第一の実施形態の情報処理システムのシステム構成の一例を示す図である。 FIG. 2 is a diagram showing an example of a system configuration of the information processing system of the first embodiment.

本実施形態の情報処理システム１００において、電子黒板２００は、手書き入力された文字や画像等を示すストローク情報、電子黒板２００の画面をキャプチャした画像データ等を、サーバ装置３００に送信する。また、本実施形態の電子黒板２００は、マイク等の集音装置を有しており、集音装置によって集音された音声データを、サーバ装置３００と、音声認識装置４００とに送信する。 In the information processing system 100 of the present embodiment, the electronic blackboard 200 transmits stroke information indicating characters and images input by hand, image data captured on the screen of the electronic blackboard 200, and the like to the server device 300. Further, the electronic blackboard 200 of the present embodiment has a sound collecting device such as a microphone, and transmits the voice data collected by the sound collecting device to the server device 300 and the voice recognition device 400.

尚、本実施形態の音声データは、集音装置が集音した全ての音を示す波形をデジタル化したデータである。したがって、本実施形態では、電子黒板２００の周辺で発話した人の声を示す発話データは、音声データの一部である。 The voice data of the present embodiment is data obtained by digitizing a waveform showing all the sounds collected by the sound collector. Therefore, in the present embodiment, the utterance data indicating the voice of the person who has spoken around the electronic blackboard 200 is a part of the voice data.

本実施形態のサーバ装置３００は、受信したストローク情報や画像データ、音声データ等を格納する。また、本実施形態のサーバ装置３００は、音声認識装置４００から送信されたテキストデータを、音声データと対応付けて格納する。 The server device 300 of the present embodiment stores received stroke information, image data, voice data, and the like. Further, the server device 300 of the present embodiment stores the text data transmitted from the voice recognition device 400 in association with the voice data.

尚、サーバ装置３００は、例えば、ある会議において電子黒板２００が使用された場合、会議名と、会議中に取得したスクロール情報と、画像データと、音声データと、音声データから変換されたテキストデータとが対応付けられて格納されても良い。言い換えれば、サーバ装置３００では、電子黒板２００から取得した各種の情報が、会議毎に格納されても良い。 In the server device 300, for example, when the electronic blackboard 200 is used in a certain conference, the conference name, scroll information acquired during the conference, image data, audio data, and text data converted from the audio data are used. And may be stored in association with each other. In other words, in the server device 300, various information acquired from the electronic blackboard 200 may be stored for each conference.

さらに、本実施形態の電子黒板２００は、ネットワークＮの混雑具合いを判定し、ネットワークＮが混雑している場合には、音声認識を行う場所を、音声認識装置４００から自機へ切り替え、音声データを外部に送信せずに、自機内で音声認識を行う。言い換えれば、電子黒板２００は、電子黒板２００と、ネットワークＮを介して通信を行う他の装置との間の通信に係る時間が所定の条件を満たす場合に、ネットワークＮが混雑していると判定する。尚、所定の条件は、予め設定されていても良い。 Further, the electronic blackboard 200 of the present embodiment determines the degree of congestion of the network N, and when the network N is congested, the place where the voice recognition is performed is switched from the voice recognition device 400 to the own machine, and the voice data. Is performed on-board by voice recognition without sending the message to the outside. In other words, the electronic blackboard 200 determines that the network N is congested when the time required for communication between the electronic blackboard 200 and another device communicating via the network N satisfies a predetermined condition. do. The predetermined conditions may be set in advance.

また、以下の説明では、電子黒板２００と、ネットワークＮを介して通信を行う他の装置との間の通信に係る時間を、通信遅延時間と呼ぶ。言い換えれば、通信遅延時間は、電子黒板２００がネットワークＮを介して他の装置に信号を送信してから、の他の装置から応答を受信するまでの時間である。電子黒板２００とネットワークＮを介して通信を行う他の装置は、サーバ装置３００（外部装置）と、音声認識装置４００と、を含む。 Further, in the following description, the time related to communication between the electronic blackboard 200 and another device that communicates via the network N is referred to as a communication delay time. In other words, the communication delay time is the time from when the electronic blackboard 200 transmits a signal to another device via the network N to when a response is received from the other device. Other devices that communicate with the electronic blackboard 200 via the network N include a server device 300 (external device) and a voice recognition device 400.

また、本実施形態の電子黒板２００は、ネットワークＮの混雑していない場合には、音声データを音声認識装置４００に送信して音声認識を行う。言い換えれば、電子黒板２００は、通信遅延時間が所定の条件を満たさない場合に、ネットワークＮが混雑してないと判定する。 Further, the electronic blackboard 200 of the present embodiment transmits voice data to the voice recognition device 400 to perform voice recognition when the network N is not congested. In other words, the electronic blackboard 200 determines that the network N is not congested when the communication delay time does not satisfy a predetermined condition.

本実施形態で、このように、音声認識を行う場所を切り替えることで、発話による操作指示（コマンド）に対する電子黒板２００の応答性を向上させる。 In the present embodiment, by switching the place where the voice recognition is performed in this way, the responsiveness of the electronic blackboard 200 to the operation instruction (command) by the utterance is improved.

尚、図１では、音声操作の対象となる機器を電子黒板２００としているが、これに限定されない。本実施形態の情報処理システム１００において、音声操作の対象となる機器は、集音装置と音声認識機能とを有しており、且つ、音声認識装置４００と通信を行うことができる機器であれば良い。具体的には、本実施形態における音声操作の対象となる機器は、例えば、一般的なコンピュータ、タブレット型端末、スマートフォン等がある。また、その他にも、各種の電子機器に本実施形態を適用することができる。 In FIG. 1, the device to be operated by voice is the electronic blackboard 200, but the device is not limited to this. In the information processing system 100 of the present embodiment, the device to be operated by voice is a device that has a sound collecting device and a voice recognition function and can communicate with the voice recognition device 400. good. Specifically, the device targeted for voice operation in the present embodiment includes, for example, a general computer, a tablet terminal, a smartphone, and the like. In addition, the present embodiment can be applied to various electronic devices.

また、以下の説明では、電子黒板２００からサーバ装置３００に送信される各種のデータをコンテンツデータと呼ぶ。したがって、本実施形態のコンテンツデータは、音声データ、画像データ、動画データ、ストローク情報等を含む。 Further, in the following description, various data transmitted from the electronic blackboard 200 to the server device 300 are referred to as content data. Therefore, the content data of the present embodiment includes audio data, image data, moving image data, stroke information, and the like.

次に、本実施形態の情報処理システム１００の有する各装置について説明する。図３は、第一の実施形態の電子黒板のハードウェア構成の一例を示す図である。 Next, each device included in the information processing system 100 of the present embodiment will be described. FIG. 3 is a diagram showing an example of the hardware configuration of the electronic blackboard of the first embodiment.

図３に示されているように、電子黒板２００は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ／Ｆ(Interface)２０５、外部機器接続Ｉ／Ｆ２０６、及び、無線ＬＡＮ（Local Area Network）モジュール２０７を備えた情報処理装置である。 As shown in FIG. 3, the electronic blackboard 200 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an SSD (Solid State Drive) 204, and a network I /. An information processing device including an F (Interface) 205, an external device connection I / F 206, and a wireless LAN (Local Area Network) module 207.

これらのうち、ＣＰＵ２０１は、電子黒板２００全体の動作を制御する。尚、ＣＰＵ２０１は、例えば、複数のＣＰＵを含んでいても良い。 Of these, the CPU 201 controls the operation of the entire electronic blackboard 200. The CPU 201 may include, for example, a plurality of CPUs.

ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、電子黒板用のプログラム等の各種データを記憶する。ネットワークＩ／Ｆ２０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、ＵＳＢ(Universal Serial Bus)メモリ２６００、外付け機器（カメラ２４００、スピーカ２３００、スマートスピーカ２２００）との通信を制御する。無線ＬＡＮモジュール２０７は、電子黒板２００を無線ＬＡＮにてネットワークに接続させる。 The ROM 202 stores a program used for driving the CPU 201 such as the CPU 201 and the IPL (Initial Program Loader). The RAM 203 is used as a work area of the CPU 201. The SSD 204 stores various data such as a program for an electronic blackboard. The network I / F 205 controls communication with the communication network. The external device connection I / F 206 controls communication with a USB (Universal Serial Bus) memory 2600 and an external device (camera 2400, speaker 2300, smart speaker 2200). The wireless LAN module 207 connects the electronic blackboard 200 to the network by wireless LAN.

また、電子黒板２００は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、近距離通信回路２１９のアンテナ２１９ａ、及び電源スイッチ２２２を備えている。 Further, the electronic blackboard 200 includes a capture device 211, a GPU 212, a display controller 213, a contact sensor 214, a sensor controller 215, an electronic pen controller 216, a short-range communication circuit 219, an antenna 219a of the short-range communication circuit 219, and a power switch 222. I have.

これらのうち、キャプチャデバイス２１１は、ＰＣ４１０－１のディスプレイに対して映像情報を静止画または動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの入力画像をディスプレイ２２６（表示装置）等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ２２６上に電子ペン２５００や利用者の手Ｈ等が接触したことを検知する。 Of these, the capture device 211 causes the display of PC410-1 to display video information as a still image or a moving image. The GPU (Graphics Processing Unit) 212 is a semiconductor chip that specializes in graphics. The display controller 213 controls and manages the screen display in order to output the input image from the GPU 212 to the display 226 (display device) or the like. The contact sensor 214 detects that the electronic pen 2500, the user's hand H, or the like touches the display 226.

センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ２２６の上側両端部に設置された２つ受発光装置が、ディスプレイ２２６に平行して複数の赤外線を放射し、ディスプレイ２２６の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。 The sensor controller 215 controls the processing of the contact sensor 214. The contact sensor 214 inputs coordinates and detects coordinates by an infrared blocking method. In this method of inputting coordinates and detecting coordinates, two light receiving and emitting devices installed at both upper ends of the display 226 emit a plurality of infrared rays in parallel with the display 226 and are provided around the display 226. This is a method of receiving light that is reflected by a reflecting member and returns on the same optical path as the light path emitted by the light receiving element. The contact sensor 214 outputs an infrared ID emitted by two light receiving / receiving devices blocked by the object to the sensor controller 215, and the sensor controller 215 specifies a coordinate position which is a contact position of the object.

電子ペンコントローラ２１６は、電子ペン２５００と通信することで、ディスプレイ２２６へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。 The electronic pen controller 216 determines whether or not there is a touch of the pen tip or a touch of the pen tail on the display 226 by communicating with the electronic pen 2500. The short-range communication circuit 219 is a communication circuit such as NFC and Bluetooth (registered trademark).

電源スイッチ２２２は、電子黒板２００の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。 The power switch 222 is a switch for switching ON / OFF of the power of the electronic blackboard 200.

また、電子黒板２００は、バスラインＢを備えている。バスラインＢは、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Further, the electronic blackboard 200 includes a bus line B. The bus line B is an address bus, a data bus, or the like for electrically connecting each component such as the CPU 201 shown in FIG.

更に、電子黒板２００は、ＲＳ－２３２Ｃポート２２３、変換コネクタ２２４、Ｂｌｕｅｔｏｏｔｈコントローラ２２５を有する。 Further, the electronic blackboard 200 has an RS-232C port 223, a conversion connector 224, and a Bluetooth controller 225.

ＲＳ－２３２Ｃポート２２３は、バスラインＢと接続されており、ＰＣ４１０－２等をＣＰＵ２０１等に接続する。変換コネクタ２２４は、ＰＣ４１０－２のＵＳＢ（Universal Serial Bus）ポートに電子黒板２００を接続するためのコネクタである。 The RS-232C port 223 is connected to the bus line B, and connects the PC410-2 or the like to the CPU201 or the like. The conversion connector 224 is a connector for connecting the electronic blackboard 200 to the USB (Universal Serial Bus) port of the PC410-2.

Ｂｌｕｅｔｏｏｔｈコントローラ２２５は、例えば、ＰＣ４１０－１等と、Ｂｌｕｅｔｏｏｔｈによる通信を行うためのコントローラである。 The Bluetooth controller 225 is, for example, a controller for communicating with PC410-1 or the like by Bluetooth.

尚、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン２５００のペン先及びペン尻だけでなく、電子ペン２５００の利用者が握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 The contact sensor 214 is not limited to the infrared blocking method, but is a capacitive touch panel that specifies a contact position by detecting a change in capacitance, and a contact position is specified by a voltage change between two opposing resistance films. Various detection means such as a resistance film type touch panel and an electromagnetic induction type touch panel that detects the electromagnetic induction generated by the contact object touching the display unit and specifies the contact position may be used. Further, the electronic pen controller 216 may determine whether or not there is a touch not only on the pen tip and pen end of the electronic pen 2500, but also on the portion gripped by the user of the electronic pen 2500 and other electronic pen portions. ..

本実施形態の電子黒板２００は、図２に示すハードウェア構成を有することにより、後述するような各種処理を実現できる。 By having the hardware configuration shown in FIG. 2, the electronic blackboard 200 of the present embodiment can realize various processes as described later.

また、本実施形態のスマートスピーカ２２００は、例えば、ネットワークへの接続機能や、マイクを有しており、集音装置の１つである。また、本実施形態のスマートスピーカ２２００は、例えば、人工知能を搭載しており、Wi-Fi、Bluetooth等の規格に準じた通信を行うことで音声データの収集や、音声データの再生の他の様々な用途に使用される。 Further, the smart speaker 2200 of the present embodiment has, for example, a network connection function and a microphone, and is one of the sound collecting devices. Further, the smart speaker 2200 of the present embodiment is equipped with artificial intelligence, for example, and collects voice data and reproduces voice data by performing communication according to standards such as Wi-Fi and Bluetooth. Used for various purposes.

本実施形態では、例えば、スマートスピーカ２２００により収集された音声データから、電子黒板２００に対するコマンドが取得されても良い。また、図３の例では、集音装置をスマートスピーカ２２００としているが、これに限定されない。電子黒板２００は、スマートスピーカ２２００の代わりに、通常のマイクを有していても良い。 In the present embodiment, for example, a command for the electronic blackboard 200 may be acquired from the voice data collected by the smart speaker 2200. Further, in the example of FIG. 3, the sound collecting device is a smart speaker 2200, but the present invention is not limited to this. The electronic blackboard 200 may have a normal microphone instead of the smart speaker 2200.

また、電子黒板２００は、無線ＬＡＮモジュール２０７と、スマートスピーカ２２００の有するネットワークの接続機能とにより、無線にて接続されていても良い。以下に、本実施形態のスマートスピーカ２２００のハードウェア構成について説明する。 Further, the electronic blackboard 200 may be wirelessly connected by the wireless LAN module 207 and the network connection function of the smart speaker 2200. The hardware configuration of the smart speaker 2200 of this embodiment will be described below.

図４は、第一の実施形態のスマートスピーカのハードウェア構成の一例を示す図である。 FIG. 4 is a diagram showing an example of the hardware configuration of the smart speaker according to the first embodiment.

スマートスピーカ２２００は、ＣＰＵ２２０１、ＲＯＭ２２０２、ＲＡＭ２２０３、ＳＳＤ２２０４、ネットワークＩ／Ｆ２２０５、外部機器接続Ｉ／Ｆ２２０６、及び、無線ＬＡＮモジュール２２０７を備えた情報端末である。 The smart speaker 2200 is an information terminal including a CPU 2201, a ROM 2202, a RAM 2203, an SSD 2204, a network I / F 2205, an external device connection I / F 2206, and a wireless LAN module 2207.

ＣＰＵ２２０１は、スマートスピーカ２２００全体の動作を制御する。尚、ＣＰＵ２２０１は、例えば、複数のＣＰＵを含んでいても良い。 The CPU 2201 controls the operation of the entire smart speaker 2200. The CPU 2201 may include, for example, a plurality of CPUs.

ＲＯＭ２２０２は、ＣＰＵ２２０１やＩＰＬ等のＣＰＵ２２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２２０３は、ＣＰＵ２２０１のワークエリアとして使用される。ＳＳＤ２２０４は、スマートスピーカ用のプログラム等の各種データを記憶する。ネットワークＩ／Ｆ２２０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ／Ｆ２２０６は、ＵＳＢメモリ２６０１、外付け機器（カメラ２４０１、スピーカ２３０１、マイク２７００）との通信を制御する。無線ＬＡＮモジュール２２０７は、スマートスピーカ２２００を無線ＬＡＮにてネットワークに接続させる。 The ROM 2202 stores a program used to drive the CPU 2201 such as the CPU 2201 and the IPL. The RAM 2203 is used as a work area for the CPU 2201. The SSD 2204 stores various data such as a program for a smart speaker. The network I / F 2205 controls communication with the communication network. The external device connection I / F 2206 controls communication with the USB memory 2601 and the external device (camera 2401, speaker 2301, microphone 2700). The wireless LAN module 2207 connects the smart speaker 2200 to the network via a wireless LAN.

また、スマートスピーカ２２００は、キャプチャデバイス２２１１、ＧＰＵ２２１２、ディスプレイコントローラ２２１３、接触センサ２２１４、センサコントローラ２２１５、電子ペンコントローラ２２１６、近距離通信回路２２１９、近距離通信回路２２１９のアンテナ２２１９ａ、及び電源スイッチ２２２２を備えている。 Further, the smart speaker 2200 includes a capture device 2211, a GPU 2212, a display controller 2213, a contact sensor 2214, a sensor controller 2215, an electronic pen controller 2216, a short-range communication circuit 2219, an antenna 2219a of the short-range communication circuit 2219, and a power switch 2222. I have.

これらのうち、キャプチャデバイス２２１１は、ＰＣ４１１－１のディスプレイに対して映像情報を静止画または動画として表示させる。ＧＰＵ(Graphics Processing Unit)２２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２２１３は、ＧＰＵ２２１２からの入力画像をディスプレイ２２２６（表示装置）等へ出力するために画面表示の制御及び管理を行う。接触センサ２２１４は、ディスプレイ２２２６上に電子ペン２５０１や利用者の手Ｈ等が接触したことを検知する。 Of these, the capture device 2211 causes the display of PC411-1 to display video information as a still image or a moving image. The GPU (Graphics Processing Unit) 2212 is a semiconductor chip that specializes in graphics. The display controller 2213 controls and manages the screen display in order to output the input image from the GPU 2212 to the display 2226 (display device) or the like. The contact sensor 2214 detects that the electronic pen 2501 or the user's hand H or the like touches the display 2226.

センサコントローラ２２１５は、接触センサ２２１４の処理を制御する。接触センサ２２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ２２２６の上側両端部に設置された２つ受発光装置が、ディスプレイ２２２６に平行して複数の赤外線を放射し、ディスプレイ２２２６の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２２１５に出力し、センサコントローラ２２１５が、物体の接触位置である座標位置を特定する。 The sensor controller 2215 controls the processing of the contact sensor 2214. The contact sensor 2214 inputs and detects the coordinates by the infrared blocking method. In this method of inputting coordinates and detecting coordinates, two light receiving and emitting devices installed at both upper ends of the display 2226 emit a plurality of infrared rays in parallel with the display 2226 and are provided around the display 2226. This is a method of receiving light that is reflected by a reflecting member and returns on the same optical path as the light path emitted by the light receiving element. The contact sensor 2214 outputs an infrared ID emitted by two light receiving / receiving devices blocked by the object to the sensor controller 2215, and the sensor controller 2215 specifies a coordinate position which is a contact position of the object.

電子ペンコントローラ２２１６は、電子ペン２５０１と通信することで、ディスプレイ２２２６へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２２１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。 By communicating with the electronic pen 2501, the electronic pen controller 2216 determines whether or not there is a touch of the pen tip or a touch of the pen tail on the display 2226. The short-range communication circuit 2219 is a communication circuit such as NFC and Bluetooth (registered trademark).

電源スイッチ２２２２は、スマートスピーカ２２００の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。 The power switch 2222 is a switch for switching ON / OFF of the power of the smart speaker 2200.

また、スマートスピーカ２２００は、バスラインＢ１を備えている。バスラインＢ１は、図４に示されているＣＰＵ２２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Further, the smart speaker 2200 includes a bus line B1. The bus line B1 is an address bus, a data bus, or the like for electrically connecting each component such as the CPU 2201 shown in FIG.

Ｂｌｕｅｔｏｏｔｈコントローラ２２２５は、例えば、ＰＣ４１１－１等と、Ｂｌｕｅｔｏｏｔｈによる通信を行うためのコントローラである。 The Bluetooth controller 2225 is a controller for communicating with, for example, PC411-1 or the like by Bluetooth.

次に、図５を参照して、本実施形態のサーバ装置３００のハードウェア構成について説明する。図５は、第一の実施形態のサーバ装置のハードウェア構成の一例を示す図である。 Next, the hardware configuration of the server device 300 of the present embodiment will be described with reference to FIG. FIG. 5 is a diagram showing an example of the hardware configuration of the server device of the first embodiment.

本実施形態のサーバ装置３００は、一般のコンピュータ（外部装置）であり、それぞれバスＢ２で相互に接続されている入力装置３１、出力装置３２、ドライブ装置３３、補助記憶装置３４、メモリ装置３５、演算処理装置３６及びインターフェース装置３７を有する。 The server device 300 of the present embodiment is a general computer (external device), and is an input device 31, an output device 32, a drive device 33, an auxiliary storage device 34, a memory device 35, which are connected to each other by a bus B2, respectively. It has an arithmetic processing unit 36 and an interface device 37.

入力装置３１は、例えばマウスやキーボードであり、各種の情報を入力するために用いられる。出力装置３２は、例えばディスプレイ等であり、各種信号の表示（出力）に用いられる。インターフェース装置３７は、モデム，ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。 The input device 31 is, for example, a mouse or a keyboard, and is used for inputting various information. The output device 32 is, for example, a display or the like, and is used for displaying (outputting) various signals. The interface device 37 includes a modem, a LAN card, and the like, and is used for connecting to a network.

情報処理プログラムは、サーバ装置３００を制御する各種プログラムの少なくとも一部である。情報処理プログラムは例えば記録媒体３８の配布やネットワークからのダウンロードなどによって提供される。情報処理プログラムを記録した記録媒体３８は、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。 The information processing program is at least a part of various programs that control the server device 300. The information processing program is provided, for example, by distributing a recording medium 38 or downloading from a network. The recording medium 38 on which the information processing program is recorded is a recording medium such as a CD-ROM, a flexible disk, a magneto-optical disk, or the like that optically, electrically, or magnetically records information, a ROM, a flash memory, or the like. Various types of recording media such as a semiconductor memory for electrically recording the data can be used.

また、情報処理プログラムを記録した記録媒体３８がドライブ装置３３にセットされると、情報処理プログラムは記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。ネットワークからダウンロードされた通信プログラムは、インターフェース装置３７を介して補助記憶装置３４にインストールされる。 When the recording medium 38 on which the information processing program is recorded is set in the drive device 33, the information processing program is installed in the auxiliary storage device 34 from the recording medium 38 via the drive device 33. The communication program downloaded from the network is installed in the auxiliary storage device 34 via the interface device 37.

補助記憶装置３４は、インストールされた情報処理プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置３５は、コンピュータの起動時に補助記憶装置３４から情報処理プログラムを読み出して格納する。そして、演算処理装置３６はメモリ装置３５に格納された各プログラムに従って、後述するような各種処理を実現している。 The auxiliary storage device 34 stores the installed information processing program and also stores necessary files, data, and the like. The memory device 35 reads and stores an information processing program from the auxiliary storage device 34 when the computer is started. Then, the arithmetic processing unit 36 realizes various processes as described later according to each program stored in the memory device 35.

次に、図６を参照して、情報処理システム１００の有する各装置の機能について説明する。図６は、情報処理システムの有する各装置の機能を説明する図である。 Next, with reference to FIG. 6, the function of each device of the information processing system 100 will be described. FIG. 6 is a diagram illustrating a function of each device of the information processing system.

始めに、電子黒板２００の機能について説明する。以下に説明する電子黒板２００の機能は、ＣＰＵ２７がＲＡＭ２６等に格納されたプログラムを読み出して実行することで実現される。 First, the function of the electronic blackboard 200 will be described. The function of the electronic blackboard 200 described below is realized by the CPU 27 reading and executing the program stored in the RAM 26 or the like.

本実施形態の電子黒板２００は、集音部２１０、入力部２２０、コンテンツ変換部２３０、送受信部２４０、コマンド抽出部２５０、コマンド実行部２６０、通信時間計測部２６５、出力先選択部２７０、音声認識部２８０、辞書更新部２９０を有する。ここで上述した各部は、ＣＰＵ２０１がＲＯＭ２０２等からプログラムを読み出して実行することで実現される。 The electronic blackboard 200 of the present embodiment has a sound collecting unit 210, an input unit 220, a content conversion unit 230, a transmission / reception unit 240, a command extraction unit 250, a command execution unit 260, a communication time measurement unit 265, an output destination selection unit 270, and a voice. It has a recognition unit 280 and a dictionary update unit 290. Here, each part described above is realized by the CPU 201 reading a program from the ROM 202 or the like and executing the program.

また、本実施形態の電子黒板２００は、記憶部５００を有する。記憶部５００には、コマンドデータベース５０１、辞書データベース５０２が設けられている。記憶部５００は、例えば、電子黒板２００のＲＯＭ２０２やＨＤＤ２０４等の記憶装置に設けられていても良い。 Further, the electronic blackboard 200 of the present embodiment has a storage unit 500. The storage unit 500 is provided with a command database 501 and a dictionary database 502. The storage unit 500 may be provided in a storage device such as ROM 202 or HDD 204 of the electronic blackboard 200, for example.

また、本実施形態の記憶部５００は、記憶装置における記憶領域を示すものであり、記憶部５００は、複数の記憶装置によって実現されても良い。 Further, the storage unit 500 of the present embodiment indicates a storage area in the storage device, and the storage unit 500 may be realized by a plurality of storage devices.

本実施形態のコマンドデータベース５０１は、音声データの認識結果と、電子黒板２００の操作内容とが対応付けられて格納される。コマンドデータベース５０１の詳細は後述する。 The command database 501 of the present embodiment stores the recognition result of the voice data and the operation content of the electronic blackboard 200 in association with each other. Details of the command database 501 will be described later.

本実施形態の辞書データベース５０２は、音声認識部２８０によって参照されるものであり、音声認識に用いられる。 The dictionary database 502 of the present embodiment is referred to by the voice recognition unit 280 and is used for voice recognition.

集音部２１０は、スマートスピーカ２２００に入力された音声を音声データとして取得する。入力部２２０は、電子黒板２００の有するディスプレイ２２６に対して手書き入力された文字や画像を示すストローク情報や、ディスプレイ２２６に表示された画像の画像データ等を取得する。尚、本実施形態のストローク情報とは、タッチパネルに対して手書き入力が行われた場合の、利用者による一画毎の軌跡を示す点群の座標報である。また、入力部２２０は、撮像装置３０により撮影された動画データ等を取得する。 The sound collecting unit 210 acquires the voice input to the smart speaker 2200 as voice data. The input unit 220 acquires stroke information indicating characters and images handwritten on the display 226 of the electronic blackboard 200, image data of the image displayed on the display 226, and the like. The stroke information of the present embodiment is a coordinate report of a point cloud indicating the locus of each stroke by the user when handwriting input is performed on the touch panel. Further, the input unit 220 acquires moving image data or the like taken by the image pickup apparatus 30.

コンテンツ変換部２３０は、音声データ、画像データ、動画データを、サーバ装置３００に保存できる形式に変換する。具体的には、コンテンツ変換部２３０は、音声データをＡＡＣ（Advanced Audio Coding）形式等とし、画像データや動画データをＪＰＥＧ形式等とする。本実施形態のコンテンツ変換部２３０は、このように、各種のデータを圧縮することで、ネットワークＮを介して送受信しやすく、且つ、サーバ装置３００のメモリ容量を圧迫しないようにしている。また、本実施形態では、動画データは、画像データに含まれるものである。 The content conversion unit 230 converts audio data, image data, and moving image data into a format that can be stored in the server device 300. Specifically, the content conversion unit 230 uses AAC (Advanced Audio Coding) format or the like for audio data, and JPEG format or the like for image data or moving image data. By compressing various types of data in this way, the content conversion unit 230 of the present embodiment is easy to transmit and receive via the network N and does not overwhelm the memory capacity of the server device 300. Further, in the present embodiment, the moving image data is included in the image data.

送受信部２４０は、集音部２１０により取得された音声データをサーバ装置３００と音声認識装置４００とに送信する。つまり、電子黒板２００は、情報処理システム１００に含まれない外部端末（音声認識装置４００）に音声データを送信する。また、送受信部２４０は、入力部２２０により取得された画像データ、動画データ等をサーバ装置３００に送信する。 The transmission / reception unit 240 transmits the voice data acquired by the sound collection unit 210 to the server device 300 and the voice recognition device 400. That is, the electronic blackboard 200 transmits voice data to an external terminal (voice recognition device 400) that is not included in the information processing system 100. Further, the transmission / reception unit 240 transmits the image data, the moving image data, etc. acquired by the input unit 220 to the server device 300.

コマンド抽出部２５０は、コマンドデータベース５０１を参照し、音声認識装置４００から受信したテキストデータや、音声認識部２８０によって認識されたテキストデータから、音声データに含まれる電子黒板２００に対するコマンドを抽出する。 The command extraction unit 250 refers to the command database 501 and extracts commands for the electronic blackboard 200 included in the voice data from the text data received from the voice recognition device 400 and the text data recognized by the voice recognition unit 280.

コマンド実行部２６０は、送受信部２４０がサーバ装置３００から受信したコマンドに基づき、コマンドが示す操作を実行する。 The command execution unit 260 executes the operation indicated by the command based on the command received from the server device 300 by the transmission / reception unit 240.

通信時間計測部２６５は、送受信部２４０がコンテンツデータをサーバ装置３００に送信してから、サーバ装置３００からコンテンツデータの格納の完了の通知を受信するまでの通信遅延時間を計測する。また、本実施形態の通信時間計測部２６５は、計測した通信遅延時間を、通信を行った履歴を示す情報として保持していても良い。 The communication time measuring unit 265 measures the communication delay time from the transmission / reception unit 240 transmitting the content data to the server device 300 until the notification of the completion of storage of the content data is received from the server device 300. Further, the communication time measurement unit 265 of the present embodiment may hold the measured communication delay time as information indicating the history of communication.

出力先選択部２７０は、通信時間計測部２６５により計測された通信遅延時間に応じて、音声認識を行う装置を選択する。言い換えれば、出力先選択部２７０は、通信遅延時間に応じて、音声データの出力先を選択する。 The output destination selection unit 270 selects a device that performs voice recognition according to the communication delay time measured by the communication time measurement unit 265. In other words, the output destination selection unit 270 selects the output destination of the voice data according to the communication delay time.

具体的には、出力先選択部２７０は、遅延判定テーブル２７１を有する。そして、出力先選択部２７０は、遅延判定テーブル２７１を参照し、通信遅延時間が所定の条件を満たす場合に、音声認識を行う装置をとして、音声データの出力先の装置に、電子黒板２００を選択する。遅延判定テーブル２７１の詳細は後述する。 Specifically, the output destination selection unit 270 has a delay determination table 271. Then, the output destination selection unit 270 refers to the delay determination table 271, and when the communication delay time satisfies a predetermined condition, the electronic blackboard 200 is used as the device for performing voice recognition and the device for outputting the voice data. select. The details of the delay determination table 271 will be described later.

音声認識部２８０は、集音部２１０が集音した音声データに対して、辞書データベース５０２を参照して音声認識を行い、音声認識の結果として、テキストデータを出力する。 The voice recognition unit 280 performs voice recognition with reference to the dictionary database 502 for the voice data collected by the sound collection unit 210, and outputs text data as a result of the voice recognition.

辞書更新部２９０は、ネットワークＮを介して音声認識装置４００の辞書データベースを参照し、音声認識装置４００の辞書データベースに合わせて、辞書データベース５０２を更新する。本実施形態の辞書更新部２９０は、例えば、電子黒板２００が起動したタイミングで辞書データベース５０２を更新しても良い。また、本実施形態の辞書更新部２９０は、電子黒板２００が使用されていないときに、辞書データベース５０２の更新を行っても良い。 The dictionary update unit 290 refers to the dictionary database of the voice recognition device 400 via the network N, and updates the dictionary database 502 according to the dictionary database of the voice recognition device 400. The dictionary update unit 290 of the present embodiment may update the dictionary database 502 at the timing when the electronic blackboard 200 is started, for example. Further, the dictionary update unit 290 of the present embodiment may update the dictionary database 502 when the electronic blackboard 200 is not in use.

次に、サーバ装置３００の機能について説明する。本実施形態のサーバ装置３００は、コンテンツデータベース３１０を有する。また、本実施形態のサーバ装置３００は、送受信部３２０、コンテンツ格納部３３０を有する。本実施形態のサーバ装置３００の有する各部は、演算処理装置３６がメモリ装置３５から情報処理プログラムを読み出して実行することで実現される。 Next, the function of the server device 300 will be described. The server device 300 of this embodiment has a content database 310. Further, the server device 300 of the present embodiment has a transmission / reception unit 320 and a content storage unit 330. Each part of the server device 300 of the present embodiment is realized by the arithmetic processing unit 36 reading an information processing program from the memory device 35 and executing the information processing program.

本実施形態のコンテンツデータベース３１０は、例えば、サーバ装置３００の補助記憶装置３４等に設けられていても良い。 The content database 310 of the present embodiment may be provided in, for example, the auxiliary storage device 34 of the server device 300.

コンテンツデータベース３１０は、電子黒板２００から受信した各種のデータ（コンテンツ）が格納される。本実施形態のコンテンツとは、音声データ、画像データ、動画データ、ストローク情報を含む。 The content database 310 stores various data (contents) received from the electronic blackboard 200. The content of the present embodiment includes audio data, image data, moving image data, and stroke information.

本実施形態の送受信部３２０は、電子黒板２００と間の情報の送受信と、音声認識装置４００からの情報の受信を行う。 The transmission / reception unit 320 of the present embodiment transmits / receives information to / from the electronic blackboard 200 and receives information from the voice recognition device 400.

コンテンツ格納部３３０は、電子黒板２００から受信したコンテンツをコンテンツデータベース３１０へ格納する。 The content storage unit 330 stores the content received from the electronic blackboard 200 in the content database 310.

次に、図７を参照して、本実施形態のコマンドデータベース５０１について説明する。図７は、コマンドデータベースの一例を示す図である。 Next, the command database 501 of this embodiment will be described with reference to FIG. 7. FIG. 7 is a diagram showing an example of a command database.

本実施形態のコマンドデータベース５０１では、例えば、操作内容を示す１つのワードに対し、関連する複数のワードが対応付けられたツリー状の構造となっている。 The command database 501 of the present embodiment has, for example, a tree-like structure in which a plurality of related words are associated with one word indicating the operation content.

図５の例では、例えば、「ペン」というワードに、「色」、「太さ」と言うワードが対応付けられており、「色」には、「赤」、「青」等の線の色を示すワードが対応付けられている。また、「太さ」には、「１．０ポイント」、「５．０ポイント」といった、線の太さを示すワードが対応付けられている。 In the example of FIG. 5, for example, the word "pen" is associated with the words "color" and "thickness", and the "color" is a line such as "red" and "blue". Words indicating colors are associated with each other. Further, the "thickness" is associated with words indicating the thickness of the line, such as "1.0 point" and "5.0 points".

次に、図８を参照して、遅延判定テーブル２７１について説明する。図８は、第一の実施形態の遅延判定テーブルを説明する図である。 Next, the delay determination table 271 will be described with reference to FIG. FIG. 8 is a diagram illustrating a delay determination table of the first embodiment.

図８に示す遅延判定テーブル２７１では、情報の項目として、通信の状態と、音声認識先とを有し、両者は対応付けられている。言い換えれば、遅延判定テーブル２７１では、通信の状態と、音声認識先との組み合わせが格納されている。 The delay determination table 271 shown in FIG. 8 has a communication state and a voice recognition destination as information items, and both are associated with each other. In other words, in the delay determination table 271, the combination of the communication state and the voice recognition destination is stored.

項目「通信の状態」の値は、ネットワークＮが混雑しているか否かの判定において参照される。項目「音声認識先」の値は、電子黒板２００の集音部２１０により集音された音声データの音声認識を行う装置を示している。言い換えれば、項目「音声認識先」の値は、音声データの出力先を示す。 The value of the item "communication status" is referred to in determining whether or not the network N is congested. The value of the item "voice recognition destination" indicates a device that performs voice recognition of voice data collected by the sound collecting unit 210 of the electronic blackboard 200. In other words, the value of the item "voice recognition destination" indicates the output destination of the voice data.

図８の例では、通信遅延時間が１秒を超えることが１０秒間以上続く場合、通信遅延時間が５秒を超えた場合、通信が行えなかった場合において、音声データの出力先は、電子黒板２００の音声認識部２８０となる。また、図８の例では、通信遅延時間が１秒以下となることが１０秒間続く場合には、音声データの出力先は、音声認識装置４００となる。 In the example of FIG. 8, when the communication delay time exceeds 1 second for 10 seconds or more, the communication delay time exceeds 5 seconds, or the communication cannot be performed, the voice data is output to the electronic blackboard. It becomes 200 voice recognition units 280. Further, in the example of FIG. 8, when the communication delay time is 1 second or less for 10 seconds, the voice data output destination is the voice recognition device 400.

したがって、図８から、通信遅延時間が長くなると、電子黒板２００で集音された音声データは、自機内の音声認識部２８０により音声認識が行われることがわかる。 Therefore, from FIG. 8, it can be seen that when the communication delay time becomes long, the voice data collected by the electronic blackboard 200 is voice-recognized by the voice recognition unit 280 in the own machine.

つまり、本実施形態では、通信遅延時間のパターンが、遅延判定テーブル２７１において、音声認識先「電子黒板の音声認識部」と対応付けられた項目「通信の状態」の値となるとき、ネットワークＮが混雑していると判定される。 That is, in the present embodiment, when the pattern of the communication delay time becomes the value of the item "communication state" associated with the voice recognition destination "voice recognition unit of the electronic blackboard" in the delay determination table 271, the network N. Is determined to be crowded.

したがって、本実施形態では、遅延判定テーブル２７１において、音声認識先「電子黒板の音声認識部」と対応付けられた項目「通信の状態」の値が示す通信遅延時間のパターンが、ネットワークＮが混雑していると判定するための所定の条件となる。 Therefore, in the present embodiment, in the delay determination table 271, the network N is congested with the pattern of the communication delay time indicated by the value of the item "communication status" associated with the voice recognition destination "voice recognition unit of the electronic blackboard". It is a predetermined condition for determining that the system is being used.

尚、通信遅延時間は、電子黒板２００がサーバ装置３００にコンテンツデータを送信したタイミングから、サーバ装置３００からコンテンツデータの格納の完了の通知を受信したタイミングまでの時間である。言い換えれば、通信遅延時間は、電子黒板２００が外部装置（電子黒板２００と通信を行う他の装置）にコンテンツデータを送信したタイミングから、外部装置からコンテンツデータの格納の完了の通知を受信したタイミングまでの時間である。 The communication delay time is the time from the timing at which the electronic blackboard 200 transmits the content data to the server device 300 to the timing at which the notification of the completion of storage of the content data is received from the server device 300. In other words, the communication delay time is the timing at which the electronic blackboard 200 transmits the content data to the external device (another device that communicates with the electronic blackboard 200) and the timing at which the notification of the completion of storage of the content data is received from the external device. It's time to.

また、通信遅延時間は、例えば、電子黒板２００から音声データを音声認識装置４００（電子黒板２００と通信を行う他の装置）に送信したタイミングから、電子黒板２００が音声認識装置４００から音声認識結果のテキストデータを受信したタイミングのまでの時間としても良い。 Further, the communication delay time is determined from, for example, the timing at which the electronic blackboard 200 transmits the voice data to the voice recognition device 400 (another device that communicates with the electronic blackboard 200), and the electronic blackboard 200 receives the voice recognition result from the voice recognition device 400. It may be the time until the timing when the text data of is received.

尚、音声データの出力先を選択する際の基準となる所定の条件は、図８の例に限定されない。 It should be noted that the predetermined conditions that serve as a reference when selecting the output destination of the audio data are not limited to the example of FIG.

本実施形態では、例えば、通信遅延時間が１秒以上となった場合に、音声データの出力先を、ネットワークを経由する必要がある音声認識装置４００から、自機内の音声認識部２８０に切り替えるようにしても良い。本実施形態の遅延判定テーブル２７１における通信遅延時間と、音声認識先との組み合わせは、例えば、電子黒板２００の管理者等によって、任意に決定されて良い。 In the present embodiment, for example, when the communication delay time is 1 second or more, the voice data output destination is switched from the voice recognition device 400, which needs to go through the network, to the voice recognition unit 280 in the own machine. You can do it. The combination of the communication delay time in the delay determination table 271 of the present embodiment and the voice recognition destination may be arbitrarily determined by, for example, the administrator of the electronic blackboard 200.

次に、図９を参照して、本実施形態の情報処理システム１００の動作を説明する。図９は、第一の実施形態の情報処理システムの動作を説明するシーケンス図である。 Next, the operation of the information processing system 100 of the present embodiment will be described with reference to FIG. FIG. 9 is a sequence diagram illustrating the operation of the information processing system of the first embodiment.

以下の図９では、ステップＳ９０１の処理が、図１のステップＳ１の処理に相当し、ステップＳ９０２からステップＳ９２５までの処理は、図１のステップＳ２の処理に相当する。また、図９では、ステップＳ９２６からステップＳ９４５までの処理が、図１のステップＳ３に相当する。尚、図１のステップＳ４の処理は、ネットワークにおける負荷がネットワークを混雑させるほど大きくなく、通信遅延時間が所定のパターンを示していない場合の処理であるため、図９のステップＳ９０１からステップＳ９２４までの処理と同様の処理となる。 In FIG. 9 below, the process of step S901 corresponds to the process of step S1 of FIG. 1, and the process from step S902 to step S925 corresponds to the process of step S2 of FIG. Further, in FIG. 9, the processes from step S926 to step S945 correspond to step S3 in FIG. Since the process of step S4 in FIG. 1 is a process when the load on the network is not so large as to congest the network and the communication delay time does not show a predetermined pattern, steps S901 to S924 of FIG. 9 are performed. The process is the same as the process of.

本実施形態の情報処理システム１００において、集音部２１０は、音声データを取得すると、コンテンツ変換部２３０へ渡す（ステップＳ９０１）。また、入力部２２０は、画像データや動画データを取得すると、コンテンツ変換部２３０へ渡す（ステップＳ９０２）。 In the information processing system 100 of the present embodiment, when the sound collecting unit 210 acquires the voice data, it passes it to the content conversion unit 230 (step S901). Further, when the input unit 220 acquires the image data or the moving image data, the input unit 220 passes the image data or the moving image data to the content conversion unit 230 (step S902).

コンテンツ変換部２３０は、これらのデータに対して、設定されたパラメータに応じてデータ形式の変換を行い（ステップＳ９０３）、送受信部２４０へ渡す（ステップＳ９０４）。送受信部２４０は、画像データ、動画データ、音声データを含むコンテンツデータをサーバ装置３００へ送信する（ステップＳ９０５）。 The content conversion unit 230 converts the data format of these data according to the set parameters (step S903) and passes them to the transmission / reception unit 240 (step S904). The transmission / reception unit 240 transmits content data including image data, moving image data, and audio data to the server device 300 (step S905).

また、送受信部２４０は、通信時間計測部２６５に対し、通信遅延時間の計測の開始指示を送信する（ステップＳ９０６）。通信時間計測部２６５は、この指示を受けて、通信遅延時間の計測を開始する（ステップＳ９０７）。 Further, the transmission / reception unit 240 transmits an instruction to start measurement of the communication delay time to the communication time measurement unit 265 (step S906). In response to this instruction, the communication time measurement unit 265 starts measuring the communication delay time (step S907).

サーバ装置３００は、送受信部３２０がコンテンツデータを受信すると、コンテンツ格納部３３０へ渡し（ステップＳ９０８）、コンテンツデータベース３１０へ受信したコンテンツデータへ格納する（ステップＳ９０９）。 When the transmission / reception unit 320 receives the content data, the server device 300 passes it to the content storage unit 330 (step S908) and stores it in the content data received in the content database 310 (step S909).

続いて、コンテンツ格納部３３０は、コンテンツデータの格納が完了したことを、送受信部３２０に通知し（ステップＳ９１０）、送受信部３２０は、この通知を電子黒板２００へ送信する（ステップＳ９１１）。 Subsequently, the content storage unit 330 notifies the transmission / reception unit 320 that the storage of the content data is completed (step S910), and the transmission / reception unit 320 transmits this notification to the electronic blackboard 200 (step S911).

電子黒板２００の送受信部２４０は、この通知受けて、通信時間計測部２６５に対し、通信遅延時間の計測の終了指示を送信する（ステップＳ９１２）。通信時間計測部２６５は、この指示を受けて、通信遅延時間の計測を終了する（ステップＳ９１３）。尚、通信時間計測部２６５は、計測した通信遅延時間を、通信の履歴として保持していても良い。 Upon receiving this notification, the transmission / reception unit 240 of the electronic blackboard 200 transmits an instruction to end the measurement of the communication delay time to the communication time measurement unit 265 (step S912). Upon receiving this instruction, the communication time measurement unit 265 ends the measurement of the communication delay time (step S913). The communication time measurement unit 265 may hold the measured communication delay time as a communication history.

また、電子黒板２００は、送受信部２４０により、集音部２１０が取得した音声データを音声認識装置４００へ送信する（ステップＳ９１４）。 Further, the electronic blackboard 200 transmits the voice data acquired by the sound collecting unit 210 to the voice recognition device 400 by the transmission / reception unit 240 (step S914).

音声認識装置４００は、音声データを受信すると、この音声データに対して音声認識を行い（ステップＳ９１５）、認識結果のテキストデータを電子黒板２００へ送信する（ステップＳ９１６）。 When the voice recognition device 400 receives the voice data, the voice recognition device 400 performs voice recognition on the voice data (step S915) and transmits the text data of the recognition result to the electronic blackboard 200 (step S916).

また、音声認識装置４００は、認識結果のテキストデータをサーバ装置３００へ送信する（ステップＳ９１７）。サーバ装置３００は、送受信部３２０がテキストデータを受信すると、このテキストデータをコンテンツ格納部３３０へ渡す（ステップＳ９１８）。コンテンツ格納部３３０は、このテキストデータをステップＳ９０９で格納したコンテンツデータと対応付けて、コンテンツデータベース３１０に格納する（ステップＳ９１９）。 Further, the voice recognition device 400 transmits the text data of the recognition result to the server device 300 (step S917). When the transmission / reception unit 320 receives the text data, the server device 300 passes the text data to the content storage unit 330 (step S918). The content storage unit 330 associates this text data with the content data stored in step S909 and stores it in the content database 310 (step S919).

電子黒板２００の送受信部２４０は、音声認識装置４００からテキストデータを受信すると、受信したテキストデータをコマンド抽出部２５０へ渡す（ステップＳ９２０）。 When the transmission / reception unit 240 of the electronic blackboard 200 receives the text data from the voice recognition device 400, the transmission / reception unit 240 passes the received text data to the command extraction unit 250 (step S920).

コマンド抽出部２５０は、テキストデータを受けて、コマンドデータベース５０１をサ参照し、テキストデータの中にコマンドが含まれるか否かを判定する（ステップＳ９２１）。 The command extraction unit 250 receives the text data, refers to the command database 501, and determines whether or not the command is included in the text data (step S921).

ステップＳ９２１でコマンドが含まれない場合には、コマンド抽出部２５０は、処理を終了する。 If the command is not included in step S921, the command extraction unit 250 ends the process.

ステップＳ９２１でコマンドが含まれる場合、コマンド抽出部２５０は、コマンドを抽出し（ステップＳ９２２）、コマンド実行部２６０へ抽出したコマンドを渡す（ステップＳ９２３）。コマンド実行部２６０は、このコマンドを受けて、コマンドを実行する（ステップＳ９２４）。 When the command is included in step S921, the command extraction unit 250 extracts the command (step S922) and passes the extracted command to the command execution unit 260 (step S923). The command execution unit 260 receives this command and executes the command (step S924).

また、電子黒板２００において、出力先選択部２７０は、通信時間計測部２６５が保持している通信遅延時間と、遅延判定テーブル２７１とを参照して、音声データの認識先（出力先）を選択する（ステップＳ９２５）。 Further, in the electronic blackboard 200, the output destination selection unit 270 selects a voice data recognition destination (output destination) by referring to the communication delay time held by the communication time measurement unit 265 and the delay determination table 271. (Step S925).

より具体的には、出力先選択部２７０は、通信時間計測部２６５が保持している通信遅延時間のパターンが示す通信の状態が、所定の条件を満たしているか否かを判定し、判定した結果に応じて、音声データの出力先を選択する。 More specifically, the output destination selection unit 270 determines whether or not the communication state indicated by the communication delay time pattern held by the communication time measurement unit 265 satisfies a predetermined condition, and determines. Select the audio data output destination according to the result.

尚、ここでは、送受信部２４０がステップＳ９０５においてコンテンツデータを送信したタイミングから、ステップＳ９１１において、送受信部２４０がコンテンツデータの格納完了の通知を受信するまでのタイミングまでを通信遅延時間としている。 Here, the communication delay time is from the timing at which the transmission / reception unit 240 transmits the content data in step S905 to the timing at which the transmission / reception unit 240 receives the notification of the completion of storage of the content data in step S911.

ステップＳ９２５で、音声データの認識先として音声認識装置４００が選択された場合、電子黒板２００は、ステップＳ９０１からの通常の処理を行う。音声データの認識先として音声認識装置４００が選択された場合とは、ネットワークにおける負荷が、ネットワークを混雑させるほど大きくない場合である。 When the voice recognition device 400 is selected as the recognition destination of the voice data in step S925, the electronic blackboard 200 performs the normal processing from step S901. The case where the voice recognition device 400 is selected as the recognition destination of the voice data is a case where the load on the network is not so large as to congest the network.

ステップＳ９２５で、音声データの認識先として音声認識部２８０が選択された場合、電子黒板２００は、次に入力されるコンテンツデータに対して、ステップＳ９２６以降の処理を行う。 When the voice recognition unit 280 is selected as the voice data recognition destination in step S925, the electronic blackboard 200 performs the processing after step S926 on the content data to be input next.

図９のステップＳ９２６からステップＳ９３４までの処理は、ステップＳ９０６、ステップＳ９０７と、ステップＳ９１２とステップＳ９１３により通信遅延時間の計測を行わない点以外は、ステップＳ９０１からステップＳ９０９までの処理と同様であるから、説明を省略する。 The process from step S926 to step S934 in FIG. 9 is the same as the process from step S901 to step S909 except that the communication delay time is not measured by step S906, step S907, and step S912 and step S913. Therefore, the description is omitted.

ステップＳ９３４に続いて、電子黒板２００は、コンテンツ変換部２３０により、音声データを音声認識部２８０に渡す（ステップＳ９３５）。音声認識部２８０は、音声データを受けて、辞書データベース５０２を参照し、音声認識を行い（ステップＳ９３６）、認識結果のテキストデータをコマンド抽出部２５０へ渡す（ステップＳ９３７）。 Following step S934, the electronic blackboard 200 passes voice data to the voice recognition unit 280 by the content conversion unit 230 (step S935). The voice recognition unit 280 receives the voice data, refers to the dictionary database 502, performs voice recognition (step S936), and passes the text data of the recognition result to the command extraction unit 250 (step S937).

ステップＳ９３８からステップＳ９４１までの処理は、ステップＳ９２１からステップＳ９２４までの処理と同様であるから、説明を省略する。 Since the processing from step S938 to step S941 is the same as the processing from step S921 to step S924, the description thereof will be omitted.

ステップＳ９４１に続いて、電子黒板２００の音声認識部２８０は、テキストデータを送受信部２４０に渡す（ステップＳ９４２）。送受信部２４０は、テキストデータをサーバ装置３００へ送信する（ステップＳ９４３）。サーバ装置３００において、送受信部３２０は、受信したテキストデータをコンテンツ格納部３３０へ渡す（ステップＳ９４４）。コンテンツ格納部３３０は、受信したテキストデータを、ステップＳ９２８で格納したコンテンツデータと対応付けて、コンテンツデータベース３１０に格納する（ステップＳ９４５）。 Following step S941, the voice recognition unit 280 of the electronic blackboard 200 passes the text data to the transmission / reception unit 240 (step S942). The transmission / reception unit 240 transmits text data to the server device 300 (step S943). In the server device 300, the transmission / reception unit 320 passes the received text data to the content storage unit 330 (step S944). The content storage unit 330 stores the received text data in the content database 310 in association with the content data stored in step S928 (step S945).

以上のように、本実施形態では、電子黒板２００とサーバ装置３００との間の通信遅延時間に基づき、音声データの出力先（音声データの音声認識を行う装置）を選択する。 As described above, in the present embodiment, the voice data output destination (device that performs voice recognition of voice data) is selected based on the communication delay time between the electronic blackboard 200 and the server device 300.

したがって、本実施形態では、ネットワークが混雑している場合等には、ネットワークを経由せずに、音声データをテキストデータに変換し、コマンドを抽出して実行することができる。 Therefore, in the present embodiment, when the network is congested, the voice data can be converted into text data, and the command can be extracted and executed without going through the network.

したがって、本実施形態によれば、ネットワークのおける通信の負荷が大きい場合等においても、発話による音声操作に対する応答性を向上させることができる。 Therefore, according to the present embodiment, it is possible to improve the responsiveness to the voice operation by utterance even when the communication load on the network is heavy.

また、本実施形態では、辞書更新部２９０により、電子黒板２００の音声認識部２８０によって参照される辞書データベース５０２を定期的に更新する。このため、本実施形態の音声認識部２８０では、音声認識装置４００における音声認識の精度に近づけるように、音声認識の精度を向上させることができる。 Further, in the present embodiment, the dictionary update unit 290 periodically updates the dictionary database 502 referred to by the voice recognition unit 280 of the electronic blackboard 200. Therefore, in the voice recognition unit 280 of the present embodiment, the accuracy of voice recognition can be improved so as to approach the accuracy of voice recognition in the voice recognition device 400.

（第二の実施形態）
以下に、図面を参照して第二の実施形態について説明する。第二の実施形態は、情報処理システムが複数の音声認識装置と接続可能であることが、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。 (Second embodiment)
The second embodiment will be described below with reference to the drawings. The second embodiment differs from the first embodiment in that the information processing system can be connected to a plurality of speech recognition devices. Therefore, in the following description of the second embodiment, only the differences from the first embodiment will be described, and the description of the first embodiment will be described for those having the same functional configuration as the first embodiment. The same reference numerals as those used in the above are given, and the description thereof will be omitted.

図１０は、第二の実施形態の情報処理システムのシステム構成の一例を示す図である。本実施形態の超音波診断システム１００Ａは、電子黒板２００Ａと、サーバ装置３００とを有する。 FIG. 10 is a diagram showing an example of a system configuration of the information processing system of the second embodiment. The ultrasonic diagnostic system 100A of the present embodiment has an electronic blackboard 200A and a server device 300.

また、本実施形態の情報処理システム１００Ａは、複数の音声認識装置４００－１、４００－２、・・・、４００－ＮとネットワークＮを介して接続することができる。 Further, the information processing system 100A of the present embodiment can be connected to a plurality of voice recognition devices 400-1, 400-2, ..., 400-N via the network N.

複数の音声認識装置４００－１、４００－２、・・・、４００－Ｎは、それぞれが、人工知能により提供されるサービスであり、受信した音声データを音声認識機能によりテキストデータとし、電子黒板２００やサーバ装置３００へ送信する。 Each of the plurality of voice recognition devices 400-1, 400-2, ..., 400-N is a service provided by artificial intelligence, and the received voice data is converted into text data by the voice recognition function, and the electronic blackboard. It is transmitted to 200 or the server device 300.

また、本実施形態では、複数の音声認識装置４００－１、４００－２、・・・、４００－Ｎは、それぞれが、異なる言語の音声データに対応した音声認識装置であっても良い。 Further, in the present embodiment, the plurality of voice recognition devices 400-1, 400-2, ..., 400-N may be voice recognition devices corresponding to voice data in different languages.

図１１は、第二の実施形態の情報処理システムの有する各装置の機能を説明する図である。 FIG. 11 is a diagram illustrating a function of each device included in the information processing system of the second embodiment.

本実施形態の電子黒板２００Ａは、集音部２１０、入力部２２０、コンテンツ変換部２３０、送受信部２４０、コマンド抽出部２５０、コマンド実行部２６０、通信時間計測部２６５、出力先選択部２７０Ａ、音声認識部２８０、辞書更新部２９０を有する。 The electronic blackboard 200A of the present embodiment has a sound collecting unit 210, an input unit 220, a content conversion unit 230, a transmission / reception unit 240, a command extraction unit 250, a command execution unit 260, a communication time measurement unit 265, an output destination selection unit 270A, and voice. It has a recognition unit 280 and a dictionary update unit 290.

本実施形態の出力先選択部２７０Ａは、遅延判定テーブル２７１Ａと、優先順位テーブル２７２とを有し、通信の状態が所定の条件を満たす場合は、優先順位テーブル２７２を参照して、音声データの出力先を選択する。以下に、遅延判定テーブル２７１Ａと、優先順位テーブル２７２について説明する。 The output destination selection unit 270A of the present embodiment has a delay determination table 271A and a priority table 272, and when the communication state satisfies a predetermined condition, the priority table 272 is referred to for voice data. Select the output destination. The delay determination table 271A and the priority table 272 will be described below.

図１２は、第二の実施形態の遅延判定テーブルの一例を示す図である。本実施形態では、優先順位テーブル２７２は、予め、電子黒板２００の出力先選択部２７０Ａに与えられていても良い。 FIG. 12 is a diagram showing an example of a delay determination table of the second embodiment. In the present embodiment, the priority table 272 may be previously given to the output destination selection unit 270A of the electronic blackboard 200.

また、本実施形態の遅延判定テーブル２７１Ａは、項目「音声認識先」の値として、「電子黒板２００の音声認識部又は他の音声認識装置４００」を有する。 Further, the delay determination table 271A of the present embodiment has "a voice recognition unit of an electronic blackboard 200 or another voice recognition device 400" as a value of the item "voice recognition destination".

例えば、図１２の例では、項目「通信の状態」の値が「５秒を超えた」であった場合、音声認識先は、他の音声認識装置４００、又は、電子黒板２００の音声認識部２８０から選択されることがわかる。つまり、図１２の例では、通信遅延時間のパターンが「５秒を超えた」パターンである場合には、ネットワークＮが混在していると判定されることがわかる。 For example, in the example of FIG. 12, when the value of the item "communication status" is "more than 5 seconds", the voice recognition destination is the voice recognition unit of another voice recognition device 400 or the electronic blackboard 200. It can be seen that it is selected from 280. That is, in the example of FIG. 12, when the pattern of the communication delay time is a pattern of "exceeding 5 seconds", it can be seen that it is determined that the networks N are mixed.

また、図１２の例では、項目「通信の状態」の値が「１秒以下になることが１０秒続いた」であった場合、音声認識先は、優先順位が第１位の音声認識装置４００が選択されることがわかる。つまり、図１２の例では、通信遅延時間のパターンが「１秒以下になることが１０秒続いた」パターンである場合には、ネットワークＮが混在していないと判定されることがわかる。 Further, in the example of FIG. 12, when the value of the item "communication status" is "1 second or less continued for 10 seconds", the voice recognition destination is the voice recognition device having the highest priority. It can be seen that 400 is selected. That is, in the example of FIG. 12, when the pattern of the communication delay time is a pattern that "the communication delay time is 1 second or less for 10 seconds", it can be seen that it is determined that the network N is not mixed.

図１３は、第二の実施形態の優先順位テーブルの一例を示す図である。本実施形態の優先順位テーブル２７２は、情報の項目として、優先順位と音声認識先とを有し、優先順位テーブル２７２において、優先順位と音声認識先とは対応付けられている。 FIG. 13 is a diagram showing an example of a priority table according to the second embodiment. The priority table 272 of the present embodiment has a priority and a voice recognition destination as information items, and the priority and the voice recognition destination are associated with each other in the priority table 272.

例えば、図１３の例では、優先順位が１位の音声認識先は、音声認識装置４００－１であり、次に優先順位が高い２位の音声認識先は、電子黒板２００の音声認識部２８０であり、その次に優先順位が高い２位の音声認識先は、音声認識装置４００－３である。 For example, in the example of FIG. 13, the voice recognition destination having the highest priority is the voice recognition device 400-1, and the voice recognition destination having the next highest priority is the voice recognition unit 280 of the electronic blackboard 200. The second highest priority voice recognition destination is the voice recognition device 400-3.

本実施形態の優先順位は、例えば、電子黒板２００Ａで頻繁に使用される言語の音声認識の精度が高い音声認識装置４００から順に、優先順位が付与されていても良い。また、本実施形態の優先順位テーブル２７２の優先順位は、例えば、定期的に更新されても良い。具体的には、例えば、定期的に、電子黒板２００Ａが接続可能な複数の音声認識装置４００に対して、接続試験等を実施し、その結果に応じて優先順位テーブル２７２の優先順位を更新しても良い。 As the priority of the present embodiment, for example, the priority may be given in order from the voice recognition device 400 having high accuracy of voice recognition of the language frequently used in the electronic blackboard 200A. Further, the priority of the priority table 272 of the present embodiment may be updated periodically, for example. Specifically, for example, a connection test or the like is periodically conducted on a plurality of voice recognition devices 400 to which the electronic blackboard 200A can be connected, and the priority of the priority table 272 is updated according to the result. May be.

本実施形態の出力先選択部２７０Ａは、最初に接続した音声認識装置４００との通信遅延時間が所定の条件を満たす場合に、遅延判定テーブル２７１Ａと優先順位テーブル２７２とを参照して、音声データの出力先を選択する。 When the communication delay time with the voice recognition device 400 connected first satisfies a predetermined condition, the output destination selection unit 270A of the present embodiment refers to the delay determination table 271A and the priority table 272, and voice data. Select the output destination of.

以下に、図１４を参照して、本実施形態の出力先選択部２７０Ａの動作について説明する。図１４は、第二の実施形態の出力先選択部の動作を説明するフローチャートである。 Hereinafter, the operation of the output destination selection unit 270A of the present embodiment will be described with reference to FIG. FIG. 14 is a flowchart illustrating the operation of the output destination selection unit of the second embodiment.

図１４では、図９のステップＳ９２５において、出力先選択部２７０Ａが音声データの認識先（出力先）を選択する処理を示している。 FIG. 14 shows a process in which the output destination selection unit 270A selects a voice data recognition destination (output destination) in step S925 of FIG.

本実施形態の電子黒板２００Ａにおいて、出力先選択部２７０Ａは、通信時間計測部２６５が通信遅延時間を計測すると、通信時間計測部２６５が保持している通信遅延時間と、遅延判定テーブル２７１Ａを参照し（ステップＳ１４０１）、通信の状態が所定の条件を満たすが否かを判定する（ステップＳ１４０２）。 In the electronic blackboard 200A of the present embodiment, when the communication time measuring unit 265 measures the communication delay time, the output destination selection unit 270A refers to the communication delay time held by the communication time measuring unit 265 and the delay determination table 271A. (Step S1401), and it is determined whether or not the communication state satisfies a predetermined condition (step S1402).

ステップＳ１４０２において、通信の状態が所定の条件を満たさない場合、出力先選択部２７０Ａは、優先順位テーブル２７２を参照し、優先順位が１位の音声認識装置４００を音声データの出力先の選択し（ステップＳ１４０３）、処理を終了する。この場合、電子黒板２００Ａは、ステップＳ９０１からの通常の処理を行う。 In step S1402, when the communication state does not satisfy a predetermined condition, the output destination selection unit 270A refers to the priority table 272 and selects the voice recognition device 400 having the highest priority as the voice data output destination. (Step S1403), the process is terminated. In this case, the electronic blackboard 200A performs the normal processing from step S901.

ステップＳ１４０２において、通信の状態が所定の条件を満たす場合、出力先選択部２７０Ａは、優先順位テーブル２７２を参照する（ステップＳ１４０４）。続いて、出力先選択部２７０Ａは、優先順位テーブル２７２において、次に優先順位が高い音声認識先を選択する（ステップＳ１４０５）。 In step S1402, when the communication state satisfies a predetermined condition, the output destination selection unit 270A refers to the priority table 272 (step S1404). Subsequently, the output destination selection unit 270A selects the voice recognition destination having the next highest priority in the priority table 272 (step S1405).

続いて、出力先選択部２７０Ａは、選択された音声認識先が電子黒板２００Ａの音声認識部２８０であるか否かを判定する（ステップＳ１４０６）。ステップＳ１４０６において、選択された音声認識先が電子黒板２００Ａの音声認識部２８０あった場合、出力先選択部２７０Ａは、電子黒板２００Ａの音声認識部２８０を音声データの出力先に選択し（ステップＳ１４０７）、処理を終了する。 Subsequently, the output destination selection unit 270A determines whether or not the selected voice recognition destination is the voice recognition unit 280 of the electronic blackboard 200A (step S1406). In step S1406, when the selected voice recognition destination is the voice recognition unit 280 of the electronic blackboard 200A, the output destination selection unit 270A selects the voice recognition unit 280 of the electronic blackboard 200A as the voice data output destination (step S1407). ), End the process.

ステップＳ１４０６において、選択された音声認識先が電子黒板２００Ａの音声認識部２８０でない場合、出力先選択部２７０Ａは、選択した音声認識先と接続が可能であるか否かを判定する（ステップＳ１４０８）。具体的には、出力先選択部２７０Ａは、選択された音声認識先の装置に対して、特定の信号を送信し、応答信号が受信されるか否かによって、接続が可能であるか否かを判定しても良い。 In step S1406, when the selected voice recognition destination is not the voice recognition unit 280 of the electronic blackboard 200A, the output destination selection unit 270A determines whether or not the connection with the selected voice recognition destination is possible (step S1408). .. Specifically, the output destination selection unit 270A transmits a specific signal to the selected voice recognition destination device, and whether or not the connection is possible depending on whether or not the response signal is received. May be determined.

ステップＳ１４０８において、接続ができない場合、出力先選択部２７０Ａは、ステップＳ１４０４へ戻る。 If the connection cannot be established in step S1408, the output destination selection unit 270A returns to step S1404.

ステップＳ１４０８において、接続が可能である場合、出力先選択部２７０Ａは、送受信部２４０に、選択された音声認識先へ音声データを送信させる（ステップＳ１４０９）。 If the connection is possible in step S1408, the output destination selection unit 270A causes the transmission / reception unit 240 to transmit voice data to the selected voice recognition destination (step S1409).

続いて、出力先選択部２７０Ａは、送受信部２４０が、音声認識先からテキストデータを受けとったことを示す応答を受信したか否かを判定する（ステップＳ１４１０）。ステップＳ１４１０において、応答を受信しない場合は、出力先選択部２７０Ａは、応答を受信するまで待機する。 Subsequently, the output destination selection unit 270A determines whether or not the transmission / reception unit 240 has received a response indicating that the text data has been received from the voice recognition destination (step S1410). If no response is received in step S1410, the output destination selection unit 270A waits until the response is received.

ステップＳ１４１０において、応答を受信すると、出力先選択部２７０Ａは、ステップＳ１４０１へ戻る。 Upon receiving the response in step S1410, the output destination selection unit 270A returns to step S1401.

このように、本実施形態では、例えば、複数の音声認識装置４００と接続することが可能な場合には、予め決められた優先順位に応じて、音声データの出力先を選択しても良い。 As described above, in the present embodiment, for example, when it is possible to connect to a plurality of voice recognition devices 400, the voice data output destination may be selected according to a predetermined priority.

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。 Although the present invention has been described above based on each embodiment, the present invention is not limited to the requirements shown in the above embodiments. With respect to these points, the gist of the present invention can be changed to the extent that the gist of the present invention is not impaired, and can be appropriately determined according to the application form thereof.

１００、１００Ａ 情報処理システム
２００、２００Ａ 電子黒板
２１０ 集音部
２２０ 入力部
２３０ コンテンツ変換部
２４０ 送受信部
２５０ コマンド抽出部
２６０ コマンド実行部
２６５ 通信時間計測部
２７０ 出力先選択部
２７１ 遅延判定テーブル
２８０ 音声認識部
２９０ 辞書更新部
３００ サーバ装置
３１０ コンテンツデータベース
３２０ 送受信部
３３０ コンテンツ格納部
４００ 音声認識装置
５００ 記憶部
５０１ コマンドデータベース
５０２ 辞書データベース 100, 100A Information processing system 200, 200A Electronic blackboard 210 Sound collecting unit 220 Input unit 230 Content conversion unit 240 Transmission / reception unit 250 Command extraction unit 260 Command execution unit 265 Communication time measurement unit 270 Output destination selection unit 271 Delay judgment table 280 Voice recognition Part 290 Dictionary update part 300 Server device 310 Content database 320 Transmission / reception part 330 Content storage part 400 Speech recognition device 500 Storage part 501 Command database 502 Dictionary database

特開２０１４－２９９２２号公報Japanese Unexamined Patent Publication No. 2014-29922

Claims (8)

集音装置により集音した音声データを含むコンテンツデータの送受信を行う情報処理装置であって、
前記音声データに対する音声認識を行う音声認識部と、
ネットワークを介して接続された他の装置との通信の状態に応じて、前記情報処理装置と通信を行う音声認識装置、又は、前記音声認識部の何れかを、前記音声データの出力先として選択する出力先選択部と、を有し、
前記他の装置は、前記コンテンツデータが格納される外部装置と、前記音声認識装置とを含み、
さらに、前記情報処理装置と、前記外部装置との通信遅延時間を計測する通信時間計測部を有し、
前記通信時間計測部は、
前記情報処理装置から前記外部装置へ前記コンテンツデータが送信されたタイミングから、前記情報処理装置が、前記外部装置から、前記コンテンツデータの格納の完了の通知を受信するタイミングまでの時間を前記通信遅延時間として計測する、情報処理装置。 An information processing device that sends and receives content data including audio data collected by a sound collector.
A voice recognition unit that performs voice recognition for the voice data,
Depending on the state of communication with other devices connected via the network, either the voice recognition device that communicates with the information processing device or the voice recognition unit is selected as the output destination of the voice data. Has an output destination selection unit and
The other device includes an external device in which the content data is stored and the voice recognition device.
Further, it has a communication time measuring unit for measuring the communication delay time between the information processing device and the external device.
The communication time measuring unit is
The communication delay is the time from the timing when the content data is transmitted from the information processing device to the external device to the timing when the information processing device receives the notification of the completion of storage of the content data from the external device. An information processing device that measures time . 前記出力先選択部は、
前記通信遅延時間のパターンが示す通信の状態が、所定の条件を満たす場合に、前記音声データの出力先を、前記音声認識装置に選択する、請求項１記載の情報処理装置。 The output destination selection unit is
The information processing apparatus according to claim 1 , wherein when the communication state indicated by the communication delay time pattern satisfies a predetermined condition, the output destination of the voice data is selected for the voice recognition device. 前記ネットワークを介して複数の音声認識装置が接続されており、
前記出力先選択部は、
前記複数の音声認識装置と前記音声認識部とに優先順位を付与した優先順位テーブルを保持し、
前記通信の状態が所定の条件を満たすとき、
前記優先順位テーブルにしたがって、前記複数の音声認識装置又は前記音声認識部の何れかを、前記音声データの出力先として選択する、請求項２記載の情報処理装置。 A plurality of voice recognition devices are connected via the network, and
The output destination selection unit is
A priority table in which priorities are given to the plurality of voice recognition devices and the voice recognition unit is held.
When the communication status meets a predetermined condition,
The information processing device according to claim 2 , wherein either the plurality of voice recognition devices or the voice recognition unit is selected as the output destination of the voice data according to the priority table. 前記音声認識部により参照される辞書データベースと、
前記辞書データベースを更新する辞書更新部と、を有し、
前記辞書更新部は、
前記コンテンツデータの送受信が行われていないとき、前記辞書データベースの更新を行う、請求項１乃至３の何れか一項に記載の情報処理装置。 The dictionary database referenced by the voice recognition unit and
It has a dictionary update unit that updates the dictionary database, and
The dictionary update unit
The information processing apparatus according to any one of claims 1 to 3 , which updates the dictionary database when the content data is not transmitted / received. 前記情報処理装置に対するコマンドが格納された記憶部を参照し、前記音声データに対する音声認識結果であるテキストデータから、前記情報処理装置に対する操作内容を含むコマンドを抽出するコマンド抽出部と、
前記コマンドを前記情報処理装置に実行させるコマンド実行部と、を有する、請求項１乃至４の何れか一項に記載の情報処理装置。 A command extraction unit that refers to a storage unit in which commands for the information processing device are stored and extracts commands including operation details for the information processing device from text data that is a voice recognition result for the voice data.
The information processing apparatus according to any one of claims 1 to 4 , further comprising a command execution unit for causing the information processing apparatus to execute the command. 前記音声認識部による音声認識結果であるテキストデータは、前記コンテンツデータと対応付けられて、前記外部装置に格納される、請求項１乃至５の何れか一項に記載の情報処理装置。 The information processing device according to any one of claims 1 to 5 , wherein the text data, which is the result of voice recognition by the voice recognition unit, is stored in the external device in association with the content data. 集音装置により集音した音声データを含むコンテンツデータの送受信を行う情報処理装置により実行される情報処理プログラムであって、
前記情報処理装置が有する音声認識部により、前記音声データに対する音声認識を行う処理と、
ネットワークを介して接続された他の装置との通信の状態に応じて、前記情報処理装置と通信を行う音声認識装置、又は、前記音声認識部の何れかを、前記音声データの出力先として選択する処理と、
を情報処理装置に実行させ、
前記他の装置は、前記コンテンツデータが格納される外部装置と、前記音声認識装置とを含み、
さらに、前記情報処理装置と、前記外部装置との通信遅延時間を計測する処理を前記情報処理装置に実行させ、
前記計測する処理は、
前記情報処理装置から前記外部装置へ前記コンテンツデータが送信されたタイミングから、前記情報処理装置が、前記外部装置から、前記コンテンツデータの格納の完了の通知を受信するタイミングまでの時間を前記通信遅延時間として計測する、処理である、プログラム。 An information processing program executed by an information processing device that sends and receives content data including sound data collected by the sound collector.
A process of performing voice recognition for the voice data by the voice recognition unit of the information processing device, and
Depending on the state of communication with other devices connected via the network, either the voice recognition device that communicates with the information processing device or the voice recognition unit is selected as the output destination of the voice data. And the processing to do
To let the information processing device execute
The other device includes an external device in which the content data is stored and the voice recognition device.
Further, the information processing device is made to execute a process of measuring the communication delay time between the information processing device and the external device.
The measurement process is
The communication delay is the time from the timing when the content data is transmitted from the information processing device to the external device to the timing when the information processing device receives the notification of the completion of storage of the content data from the external device. A program that measures as time and is a process . 集音装置により集音した音声データを含むコンテンツデータの送受信を行う情報処理装置による情報処理方法であって、
前記情報処理装置が有する音声認識部により、前記音声データに対する音声認識を行う手順と、
ネットワークを介して接続された他の装置との通信の状態に応じて、前記情報処理装置と通信を行う音声認識装置、又は、前記音声認識部の何れかを、前記音声データの出力先として選択する手順と、
を有し、
前記他の装置は、前記コンテンツデータが格納される外部装置と、前記音声認識装置とを含み、
さらに、前記情報処理装置と、前記外部装置との通信遅延時間を計測する通信時間計測手順を有し、
前記通信時間計測手順は、
前記情報処理装置から前記外部装置へ前記コンテンツデータが送信されたタイミングから、前記情報処理装置が、前記外部装置から、前記コンテンツデータの格納の完了の通知を受信するタイミングまでの時間を前記通信遅延時間として計測する、情報処理方法。 It is an information processing method by an information processing device that sends and receives content data including sound data collected by the sound collecting device.
A procedure for performing voice recognition for the voice data by the voice recognition unit of the information processing device, and
Depending on the state of communication with other devices connected via the network, either the voice recognition device that communicates with the information processing device or the voice recognition unit is selected as the output destination of the voice data. And the procedure to do
Have,
The other device includes an external device in which the content data is stored and the voice recognition device.
Further, it has a communication time measuring procedure for measuring the communication delay time between the information processing device and the external device.
The communication time measurement procedure is as follows.
The communication delay is the time from the timing at which the content data is transmitted from the information processing device to the external device to the timing at which the information processing device receives a notification from the external device of the completion of storage of the content data. Information processing method that measures as time .
JP2017252637A 2017-03-17 2017-12-27 Information processing equipment, programs and information processing methods Active JP7035526B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/907,350 US20180268817A1 (en) 2017-03-17 2018-02-28 Information processing apparatus, information processing method, and computer program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017053017 2017-03-17
JP2017053017 2017-03-17

Publications (2)

Publication Number Publication Date
JP2018156060A JP2018156060A (en) 2018-10-04
JP7035526B2 true JP7035526B2 (en) 2022-03-15

Family

ID=63718069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017252637A Active JP7035526B2 (en) 2017-03-17 2017-12-27 Information processing equipment, programs and information processing methods

Country Status (1)

Country Link
JP (1) JP7035526B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7129926B2 (en) * 2018-11-14 2022-09-02 Ｓａｎｅｉ株式会社 Faucet device and faucet system using the same
JP7215118B2 (en) 2018-11-30 2023-01-31 株式会社リコー Information processing device, information processing system, program and method
US20220189476A1 (en) * 2019-03-22 2022-06-16 Mitsubishi Heavy Industries Thermal Systems, Ltd. Control device, apparatus control system, control method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031758A (en) 2003-07-07 2005-02-03 Canon Inc Voice processing device and method
JP2005251376A (en) 2004-02-03 2005-09-15 Matsushita Electric Ind Co Ltd Information processor, information recorder and information transmitting apparatus
WO2007069512A1 (en) 2005-12-15 2007-06-21 Sharp Kabushiki Kaisha Information processing device, and program
JP2014053876A (en) 2012-09-10 2014-03-20 Canon Marketing Japan Inc Imaging apparatus, control method of the same, and computer program
JP2016045487A (en) 2014-08-21 2016-04-04 本田技研工業株式会社 Information processing device, information processing system, information processing method, and information processing program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031758A (en) 2003-07-07 2005-02-03 Canon Inc Voice processing device and method
JP2005251376A (en) 2004-02-03 2005-09-15 Matsushita Electric Ind Co Ltd Information processor, information recorder and information transmitting apparatus
WO2007069512A1 (en) 2005-12-15 2007-06-21 Sharp Kabushiki Kaisha Information processing device, and program
JP2014053876A (en) 2012-09-10 2014-03-20 Canon Marketing Japan Inc Imaging apparatus, control method of the same, and computer program
JP2016045487A (en) 2014-08-21 2016-04-04 本田技研工業株式会社 Information processing device, information processing system, information processing method, and information processing program

Also Published As

Publication number Publication date
JP2018156060A (en) 2018-10-04

Similar Documents

Publication Publication Date Title
US10546582B2 (en) Information processing device, method of information processing, and program
JP7035526B2 (en) Information processing equipment, programs and information processing methods
CN105308648B (en) The system and method that interest region for selecting to user carries out super-resolution
WO2016206279A1 (en) Touch control display device and touch control method therefor
KR20130050608A (en) Device and method for processing an image expression of wireless terminal
KR102193029B1 (en) Display apparatus and method for performing videotelephony using the same
KR102543695B1 (en) Image processing method and electronic device supporting the same
CN110556127A (en) method, device, equipment and medium for detecting voice recognition result
KR101690656B1 (en) Method and apparatus for generating media signal
JP6801539B2 (en) Information processing system, information processing device, information processing program and information processing method
US20180268817A1 (en) Information processing apparatus, information processing method, and computer program product
CN108765522B (en) Dynamic image generation method and mobile terminal
KR101793607B1 (en) System, method and program for educating sign language
JP7091745B2 (en) Display terminals, programs, information processing systems and methods
CN110308886A (en) The system and method for voice command service associated with personalized task are provided
US11829597B2 (en) Electronic device and method for processing handwriting input thereof
CN103425406A (en) Inputting method and inputting device of mobile terminal
US10593077B2 (en) Associating digital ink markups with annotated content
CN111539219A (en) Method, equipment and system for disambiguating natural language content title
JP2017211430A (en) Information processing device and information processing method
US11978252B2 (en) Communication system, display apparatus, and display control method
CN111462548A (en) Paragraph point reading method, device, equipment and readable medium
KR102156054B1 (en) Electronic pen system interlocked with artificial intelligent speaker
WO2019228106A1 (en) Press area optimization method and device, mobile terminal and storage medium
KR20100124952A (en) Ar contents providing system and method providing a portable terminal real-time by using letter recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R151 Written notification of patent or utility model registration

Ref document number: 7035526

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151