JP2020149054A - スマートマイク制御サーバー及びシステム - Google Patents

スマートマイク制御サーバー及びシステム Download PDF

Info

Publication number
JP2020149054A
JP2020149054A JP2020042656A JP2020042656A JP2020149054A JP 2020149054 A JP2020149054 A JP 2020149054A JP 2020042656 A JP2020042656 A JP 2020042656A JP 2020042656 A JP2020042656 A JP 2020042656A JP 2020149054 A JP2020149054 A JP 2020149054A
Authority
JP
Japan
Prior art keywords
smart microphone
command
user terminal
user
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020042656A
Other languages
English (en)
Other versions
JP6925469B2 (ja
Inventor
ソク パク,キ
Ki Seok Park
ソク パク,キ
ボク ナム,キ
Ki Bok Nam
ボク ナム,キ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
L Scream Media Co Ltd
Original Assignee
L Scream Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by L Scream Media Co Ltd filed Critical L Scream Media Co Ltd
Publication of JP2020149054A publication Critical patent/JP2020149054A/ja
Application granted granted Critical
Publication of JP6925469B2 publication Critical patent/JP6925469B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/08Mouthpieces; Microphones; Attachments therefor
    • H04R1/083Special constructions of mouthpieces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825Reporting to a device located outside the home and the home network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/08Mouthpieces; Microphones; Attachments therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/2847Home automation networks characterised by the type of home appliance used
    • H04L2012/2849Audio/video appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】ユーザーはスマートマイクのみを用いて、専用のブラウザで提供される機能を音声またはボタンを介して容易に制御できる。【解決手段】スマートマイク制御システム100は、複数のボタンを含み、ユーザーの音声を受信及び伝達するスマートマイク110、スマートマイクを介してユーザーの音声を受信すると、前記音声をテキストに変換し、変換されたテキストのうちコマンドDBに予め保存されたコマンドとマッチングされるテキストをコマンドで抽出し、抽出されたコマンドに対応する機能を伝達する制御サーバー120及び制御サーバーからコマンドを受信して、当該コマンドに対応する機能を実行させるユーザー端末130を含む。【選択図】図1

Description

本発明は、スマートマイク制御サーバー及びシステムに関する。
音声認識技術は、ユーザーなどが入力する音声を収集して獲得した音声信号を所定の言語に対応する信号として認識する技術であって、様々な分野に活用されることができる。
特に、テレビ、携帯電話などの電子機器において、従来のリモコンを利用した入力方式から脱して、マイクを介した音声認識として装置を制御する機能が追加されている。
例えば、テレビのチャンネル調整を「チャンネル上げ」のような特定の単語を音声で入力し、テレビ内の音声認識エンジンを介してユーザーの音声信号を認識してチャンネルの調整を行うことができる。
一方、学校のような教育現場では、ディスプレイ装置とスピーカーを利用して、様々なコンテンツを介して生徒に講義を提供しており、前述した音声認識機能の場合、最近、各家庭にまで広く普及した人工知能スピーカーに取り付けられたマイクにより実現されている。
しかし、人工知能スピーカーの場合、教育現場で人々に因るノイズと音声認識性能の問題などに因り利用するのに非常に不便だというのが実情である。
また、従来の人工知能スピーカーの場合には、常にスタンバイモードで全ての声を聞いていながらコマンドに該当する音声が受信された場合、初めてコマンド処理を行なう。このため、似たような音節を聞いても、まるで呼び出したかのように処理を行なうエラーが発生する。
本発明の実施形態は、スマートマイクを介してユーザーの音声を受信すると、当該音声をサーバーで認識してコマンドで抽出し、抽出されたコマンドに対応する機能をユーザー端末を介して実行させることのできるスマートマイク制御システム及びサーバーを提供しようとする。
ただ、本実施形態が解決しようとする技術的課題は、上記した技術的課題に限定されず、また他の技術的課題が存在し得る。
前述した技術的課題を達成するための技術的手段として、本発明の第1側面によるスマートマイク制御システムは、複数のボタンを含み、ユーザーの音声を受信及び伝達するスマートマイク、前記スマートマイクを介してユーザーの音声を受信すると、前記音声をテキストに変換し、前記変換されたテキストのうちコマンドDBに予め保存されたコマンドとマッチングされるテキストをコマンドで抽出し、前記抽出されたコマンドに対応する機能を提供する制御サーバー及び前記制御サーバーからコマンドを受信して、当該コマンドに対応する機能を実行させるユーザー端末を含む。
一実施形態として、前記ユーザー端末は、前記コマンドに対応する機能を予め設けられた専用のブラウザを介して実行させ、前記コマンドは、前記音声に基づいたコマンド及び前記スマートマイクに含まれたショートカットキーボタンに基づいたコマンドを含むことができる。
一実施形態として、前記制御サーバーは、前記スマートマイクから前記ユーザーが複数のボタンのうちコマンドボタンを入力した状態で、前記音声を受信する場合には、前記音声からコマンドを抽出することができる。
一実施形態として、前記制御サーバーは、前記スマートマイクから前記ユーザーにより複数のボタンのうちショートカットキーボタンを入力された場合には、前記ショートカットキーに対応する予め設定された機能を前記ユーザー端末を介して実行させることができる。
一実施形態として、前記ユーザー端末上に前記専用のブラウザを介してウェブページが出力された状態で、前記スマートマイクを介してユーザーから前記ウェブページを制御するための音声を受信すると、前記制御サーバーは、前記専用のブラウザで現在出力されたウェブページをキャプチャし、前記キャプチャされたウェブページと前記受信した音声にマッチングされるコマンドを比較して、その結果を前記ユーザー端末上に出力させることができる。
一実施形態として、前記スマートマイクを介してユーザーが前記ウェブページ上に表示された複数の項目のうちいずれか1つの項目に該当するテキストを全部発話したり、または一部発話する場合には、前記制御サーバーは、前記全部発話または一部発話された音声をテキストに変換し、変換されたテキストを前記ウェブページ上の複数の項目と比較して、一致する項目が選択されるように前記ユーザー端末を制御することができる。
一実施形態として、前記制御サーバーには、学年別のカリキュラムに該当する授業進度表及び時間割のうち1つ以上が予め保存され、ユーザーが前記スマートマイクを介して現在の授業内容を進めるためのコマンドを入力すると、前記制御サーバーは、前記授業進度表及び時間割のうち1つ以上とマッチングされる授業内容に該当するコンテンツを前記ユーザー端末に出力させることができる。
一実施形態として、前記制御サーバーは、前記コマンドが入力された日付及び時間を前記授業進度表及び時間割のうちいずれか1つと比較してマッチングされる授業内容に該当するコンテンツを前記ユーザー端末に出力させることができる。
一実施形態として、前記スマートマイクは前記ユーザー端末で実行中の専用のブラウザのカーソル制御及び機能をボタンにより直接実行させるリモコンを含み、前記リモコンは、前記スマートマイクの一面に形成された挿入溝に結合及び分離可能に形成されることができる。
一実施形態として、前記ユーザー端末には、Bluetooth(登録商標)ドングルが挿入されて前記スマートマイクとBluetoothペアリングされることができる。
一実施形態として、前記スマートマイクは、外部端末に無線インターネットを提供するゲートウェイを含み、前記スマートマイクは、外部のインターネット網と接続された前記ユーザー端末とBluetoothペアリングされることにより、前記ユーザー端末から提供されたIPアドレスに基づいて前記Bluetoothペアリングを介して外部端末に無線インターネットを提供することができる。
また、本発明の第2側面によるスマートマイクを制御するサーバーは、1つのユーザー端末及び前記スマートマイクとデータを送受信する通信モジュール、前記ユーザー端末に予め設けられた専用のブラウザを介して前記スマートマイクを制御するためのプログラムが保存されたメモリ及び前記メモリに保存されたプログラムを実行させるプロセッサを含む。この時、前記プロセッサは、前記プログラムを実行させることにより、前記スマートマイクを介してユーザーの音声を受信すると、前記音声をテキストに変換し、前記変換されたテキストのうちコマンドDBに予め保存されたコマンドとマッチングされるテキストをコマンドで抽出し、前記抽出されたコマンドに対応する機能を前記ユーザー端末を介して実行させるように制御する。
前述した本発明の課題解決手段のうちいずれかによると、ユーザーはスマートマイクのみを用いて、専用のブラウザで提供される機能を音声またはボタンを介して容易に制御できるという長所がある。
また、専用のブラウザを介して実行されるコンピュータ上に設けられた様々なプログラムや第3者提供主体で提供される情報をスマートマイクを介して実行及び出力されるように制御することができ、専用のブラウザを介したウェブページの検索及び項目選択機能を提供することができる。
また、特定の日付及び時間に該当する授業進度表と時間割に対応する授業内容のコンテンツをスマートマイクを介してユーザー端末に出力させることができるので、授業を行なう教師はいちいち記憶媒体に授業内容のコンテンツを保存して実行させる手間を省くことができる。
本発明の一実施形態に係るスマートマイク制御システムを概略的に説明するための図である。 スマートマイクを用いてサービスを実行させる内容を説明するための図である。 本発明の一実施形態に係るスマートマイクを説明するための図である。 スマートマイクを活用する一例示を説明するための図である。 本発明の一実施形態に係る制御サーバー及びユーザー端末のブロック図である。
以下では、添付した図面を参照して本発明の属する技術分野において通常の知識を有する者が容易に実施できるように、本発明の実施形態を詳細に説明する。しかし、本発明は、様々な形態で実施されてもよく、ここで説明する実施形態に限定されない。そして、図面では本発明を明確に説明するために説明と関係ない部分は省略した。
明細書全体において或る部分が或る構成要素を「含む」とする時、これは特に反対される記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことを意味する。
図1は、本発明の一実施形態に係るスマートマイク制御システム100を概略的に説明するための図である。図2は、スマートマイク110を用いてサービスを実行させる内容を説明するための図である。図3は、本発明の一実施形態に係るスマートマイク110を説明するための図である。図4は、スマートマイク110を活用する一例示を説明するための図である。
一方、本発明の一実施形態は、学校や塾などの教師と生徒が存在する状況を例示として説明しているが、必ずしもこのような状況に限定されて実施されるものではない。
本発明の一実施形態に係るスマートマイク制御システム100は、スマートマイク110、制御サーバー120及びユーザー端末130を含む。
この時、図1に示したスマートマイク制御システム100を構成する各構成要素は、ネットワーク(network)を介して接続することができる。ネットワークは、端末及びサーバーなどの各ノード相互間に情報交換可能な接続構造を意味するもので、前記ネットワークの一例としては、3GPP(3rd Generation Partnership Project)ネットワーク、LTE(Long Term Evolution)ネットワーク、WIMAX(World Interoperability for Microwave Access)ネットワーク、インターネット(Internet)、LAN(Local Area Network)、Wireless LAN(Wireless Local Area Network)、WAN(Wide Area Network)、PAN(Personal Area Network)、Bluetoothネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、DMB(Digital Multimedia Broadcasting)ネットワーク、WiFiなどが含まれるが、これらに限定されない。
スマートマイク110は、複数のボタン(111、112)を含み、ユーザーの音声を受信し、これをスピーカーと制御サーバー120に伝達する。
制御サーバー120は、スマートマイク110を介してユーザーの音声を受信すると、前記音声をテキストに変換し、変換されたテキストのうちコマンドDBに予め保存されたコマンドとマッチングされるテキストをコマンドで抽出し、抽出されたコマンドに対応する機能をユーザー端末130に伝達する。
この時、制御サーバー120は、スマートマイク110と無線ネットワークを介して接続されて直接音声を受信することもできるが、制御サーバー120とユーザー端末130が有線ネットワークまたは無線ネットワークを介して接続されており、スマートマイク110は、ユーザー端末130とペアリングされる形で接続されることが好ましい。
ユーザー端末130は、制御サーバー120からコマンドを受信して、当該コマンドに対応する機能を実行させる。前記ユーザー端末130は、各クラスごとに一台以上ずつ備えなければならない。
ユーザー端末130は、コマンドに対応する機能を予め設けられた専用のブラウザを介して実行させることができる。ここでは、コマンドは、音声に基づいたコマンドまたはスマートマイク110に含まれたショートカットキーボタン(111、112)に基づいたコマンドであっても良い。
一方、ユーザー端末130は、通常のパソコンなどのように実装することができ、例えば、スマートフォン、ノートパソコン、タブレットPCなどのように携帯性と移動性が保障される無線通信デバイスで実装されても良い。
ユーザー端末130には、Bluetoothドングルが挿入されてスマートマイク110とBluetoothペアリングされても良い。
この時、スマートマイク110は、外部端末に無線インターネットを提供するためのゲートウェイを含むことができ、スマートマイク110は、外部のインターネット網と接続されたユーザー端末130とBluetoothペアリングされることにより、ユーザー端末130から提供されたIPアドレスに基づいてBluetoothペアリングを介して外部端末に無線インターネットを提供することができる。
ユーザー端末130に設けられた専用のブラウザは、スマートマイク110のコマンドを認識してウェブを制御したり、ショートカットキーの機能を実行させるためのプログラムである。
この時、本発明の一実施形態は、専用のブラウザで提供される全ての機能をスマートマイク110で制御できることを特徴とする。
例えば、最も基本的にスマートマイク110を介してコマンドを認識し、これをテキストに変換して制御機能を実行させることができる。そして、ユーザー端末130に予め設けられた、例えば、パワーポイントやエクセルのようなプログラムを専用のブラウザ上で、または専用のブラウザを介して実行させることができ、第3者情報提供主体が提供する、例えば、PM2.5予測情報(微小粒子状物質)や天気情報などを専用のブラウザ上に出力されるようにすることができる。
また、専用のブラウザを介してウェブページを実行させることができ、後述するようにウェブページを検索及び制御する機能をスマートマイクを介して提供する。
その他に、ウェブページ上によく登場する広告バナーを自動的にブロックしたり、教師らがよく利用する教育関連サイトに対してブックマーク機能を提供したり、ブラウザの下段に教育関連ニュースなどの重要事項を表出させることができる。
また、暗号化で保安処理された自動ログイン機能を提供し、ブラウザに接続したウェブ履歴を収集して教師別のカスタム広告及びニュースを提供することができる。
図2及び図3を参照すると、スマートマイク110は、平常時に電源がオンの状態でボタンを押さずに言うと、通常のワイヤレスマイクで動作する。
前記スマートマイク110は複数のボタン(111、112)を有し、具体的には、スマートマイク110はコマンドボタン111と1つ以上のショートカットキーボタン112を含むことができる。
従来のワイヤレスマイクの場合は、Bluetooth方式ではなく無線周波数を利用するので、干渉がひどく、正確なデータを抽出し難い問題があった。また、ラジオ周波数を利用するワイヤレスマイクでは、アナログ信号を利用するので、ボタンを押してデータを送受信することができなかった。
一方、本発明の一実施形態は、Bluetoothペアリングに基づいてデータを送受信するため、上記のような問題が発生することを防止することができる。
コマンドボタン111は、ユーザーの音声認識のためのボタンであって、コマンドボタン111を押していない状態では、通常のワイヤレスマイクで動作し、コマンドボタン111を押した状態では、当該音声を制御サーバー120に伝達する(S10)。
制御サーバー120は、ユーザーが複数のボタン(111、112)のうちコマンドボタン111を入力した状態でスマートマイク110を介してユーザーの音声を受信すると、当該音声をテキストに変換する(S20) 。この過程で制御サーバー120は、STT(Speech to Text)技術を利用して、ユーザーの音声から特徴を抽出して音声を認識することができる。
そして、変換されたテキストのうちコマンドDBに予め保存されたコマンドとマッチングされるテキストをコマンドで抽出し(S30)、抽出されたコマンドに対応する機能をユーザー端末130に伝達する(S40)。
図4を参照すると、教師がスマートマイク110を通常のワイヤレスマイクの形で利用して授業を行なう中、スマートマイク110ボタンのうちコマンドボタン111を押した状態で「教科音楽 肩組み 聞かせて」という発話をすると、制御サーバー120は、「教科音楽 肩組み 聞かせて」という発話において「教科音楽」、「肩組み」、「聞かせて」をそれぞれテキストに抽出し、これをコマンドDBに保存されたコマンドとマッチングされるかを判断する。
そして、判断結果コマンドDBに「教科音楽」が存在し、「教科音楽」のうち「肩組み」に該当するコンテンツがある場合は、「肩組み」コンテンツをユーザー端末130に提供する。そして、ユーザー端末130に「聞かせて」というコマンドにマッチングされる視聴機能を実行させるようにする制御メッセージを伝達する。
これにより、ユーザー端末130は、ディスプレイ装置を介して「肩組み」コンテンツ動画を再生し、生徒はこれを視聴して学習することができる。
また他の例としては、教師がスマートマイク110を利用して授業を行なう中、スマートマイク110のボタン(111、112)のうちコマンドボタン111を押した状態で授業ツールを実行させるために、「発表ヘルパー 実行してくれ」という発話をすると、制御サーバー120は、「発表ヘルパー 実行してくれ」という発話において「発表ヘルパー」、「実行してくれ」をそれぞれテキストに抽出し、これをコマンドDBに保存されたコマンドとマッチングされるかどうかを判断する。
そして、判断結果、「発表ヘルパー」に該当するプログラムがユーザー端末130または制御サーバー120に存在する場合には、「発表ヘルパー」を「実行」させるようにする制御メッセージをユーザー端末130に伝達する。
これにより、ユーザー端末130には、「発表ヘルパー」授業ツールプログラムが実行されて生徒の発表授業が行われるようにすることができる。
本発明の他の実施形態によると、textの長さが長かったりtextが特殊文字を含む場合、文字認識が困難なことがあり得る。ここに、ユーザーがコマンドボタン111を押すと、text前に番号が生成され、ユーザーがその番号を読むと、発表ヘルパー授業ツールプログラムが実行されることができる。
さらに図3を参照すると、制御サーバー120は、スマートマイク110からユーザーにより複数のボタン(111、112)のうちショートカットキーボタン112を入力された場合は(S10’)、ショートカットキーボタン112を認識する過程を行い(S20’)、ショートカットキーボタン112に対応する予め設定された機能をコマンドDBとの比較及び検出した後(S30’)、ユーザー端末130を介して実行させることができる(S40)。
一例として、ショートカットキーボタン112は、ユーザーがよく使用するプログラムを実行させるためのものであって、ユーザーが予め定義して設定したものであっても良い。ショートカットキーボタン112の設定は、ユーザーがよく使用するプログラムをユーザー端末130を介して指定することにより可能になる。
図4を参照すると、教師がスマートマイク110を利用して授業を行なう中、生徒が授業中に騒ぐことと判断されて、スマートマイク110ボタンのうち1番のショートカットキーボタンを押すと、制御サーバー120は、 1番のショートカットキーに対応する機能をユーザー端末130を介して実行させることができる。
その結果、ユーザー端末130のディスプレイとスピーカーを介して、「みんな、授業時間には静かにしなさい。」という文句とメッセージがそれぞれ出力されることができる。
また他の例として、休み時間に教師が生徒にユーザー端末130を利用して、歌を聞かせてやりたい時にスマートマイク110ボタンのうち4番のショートカットキーを押すと、制御サーバー120は、4番のショートカットキーに対応する機能をユーザー端末130を介して実行させることになり、その結果、ユーザー端末130のディスプレイとスピーカーでは、最新の歌謡が再生されることができる。
この時、ショートカットキーボタン112は、スマートマイク110に設けられた複数のボタンを利用して入力することができるが、スマートマイク110とペアリングされているユーザー端末130、すなわち、パソコンやスマートフォンに予め設けられたアプリケーションを介して入力することも可能である。
また、本発明の一実施形態は、制御サーバー120でサービスを実行した結果について、自然言語生成プロセスを介して(S51)、サービスに対応する文句をTTS(Text to Speech)技術を利用して音声に変換して(S52)、ユーザー端末130に出力されるようにすることができる(S53)。
一方、本発明の一実施形態は、スマートマイク110を利用して専用のブラウザ上に出力されたウェブページを制御することができる。
つまり、ユーザー端末130で専用のブラウザを実行させ、専用のブラウザ上でウェブページが出力された状態で、スマートマイク110を介してユーザーからウェブページを制御するための音声を受信すると、制御サーバー120は、専用のブラウザに現在出力されたウェブページをキャプチャし、キャプチャされたウェブページと前記受信した音声にマッチングされるコマンドを比較し、その結果をユーザー端末130上に出力させることができる。
この時、スマートマイク110を介してユーザーがウェブページ上に表示された複数の項目のうちいずれか1つの項目に該当するテキストを全部発話したり、または一部発話する場合には、制御サーバー120は、ユーザーの全部発話または一部発話した音声をテキストに変換し、変換されたテキストをウェブページ上の複数の項目と比較して、一致する項目が選択されるようにユーザー端末130を制御することができる。
例えば、現在、ユーザー端末130上にはGoogleウェブページが出力されており、教師がスマートマイク110のウェブページを検索するためのコマンドボタン111またはショートカットキーボタン112を押した状態で「物理」という単語を発話する場合、制御サーバー120は、現在、ユーザー端末130の画面上に出力されているGoogleウェブページをキャプチャし、キャプチャされたGoogleウェブページ上で「物理」という単語を抽出して教師が発話した「物理」という単語と一致するかどうかを判断する。
そして制御サーバー120は、比較の結果、一致する場合には、「物理」という単語が含まれた項目を選択及びクリックして、該当ウェブページに変換されるようにすることができる。
また、ユーザーがGoogleウェブページ上に出力された「物理」が含まれた項目に対して「物理」という単語のみを発話したり、その項目の全部または一部文句である「物理理論」を発話しても、制御サーバー120は、全部発話または一部発話をテキストに変換してキャプチャされたGoogleウェブページ上で該当項目が選択されるようにすることができる。
さらに、本発明の一実施形態に係るスマートマイク制御システム100は、時間割や進度表とマッチングされる授業内容を専用のブラウザを介して自動的に実行及び進行できるように、スマートマイク110を介して制御することができる。
つまり、制御サーバー120には、学年別のカリキュラムに該当する授業進度表及び時間割のうち1つ以上が予め保存されている。この状態で、ユーザーがスマートマイク110を介して現在の授業内容を進めるためのコマンドを入力すると、制御サーバー120は、授業進度表及び時間割のうち1つ以上とマッチングされる授業内容に該当するコンテンツをユーザー端末130に出力させることができる。
この時、制御サーバー120は、コマンドが入力された日付及び時間を授業進度表及び時間割のうち1つ以上と比較してマッチングされる授業内容に該当するコンテンツをユーザー端末130に出力させることができる。
例えば、授業進度表の場合、政府傘下の教育委員会では、毎年年度別、学年別、四半期別などに区分されて、各学校、学級に提供され、これを基準に教師は生徒の授業を行なう。
また、時間割の場合、各学校ごとに教師の数と学級数などを基準に作成し、これを基準に生徒の授業が毎時間ごとに行われる。
この時、教師が特定日(例えば、3月2日午前10時)にスマートマイク110を介して授業を行い始めるために、「本日の授業内容を流してくれ」というコメントをコマンドボタン111を押した状態で発話する場合、制御サーバー120は、3月2日午前10時に該当する授業進度表及び時間割を参照して、「数学」科目の「微分の基礎」授業コンテンツをユーザー端末130に出力されるようにすることができる。
これにより、教師はいちいち授業コンテンツをUSBやメールなどの別途の保存空間に保存して移動することなく、スマートマイク110への一言のコマンドだけでも十分授業を行なわせることができる。
このため、本発明の一実施形態は、ユーザーがスマートマイク110を利用して授業を行なう前に、予め制御サーバー120に授業進度表または時間割に該当する授業内容コンテンツを保存しておかなければならない。
さらに図3を参照すると、本発明の一実施形態では、スマートマイク110は、ユーザー端末130で実行中の専用のブラウザのカーソル制御及び機能をボタンにより直接実行させることができる。
これらのボタンは、スマートマイク110を把持する部分にコマンドボタン及びショートカットキーと共に形成することもできるが、好ましくは、スマートマイク110の一面に形成された挿入溝に結合及び分離可能に別途のリモコン113タイプで形成されることができる。
つまり、片手では、常にスマートマイク110を把持した状態で発話しなければならず、この時、専用のブラウザのカーソルを制御したり、機能を選択及び実行させる場合、スマートマイク110が口から遠くなり明確な授業内容伝達が困難になり得る。
したがって、本発明の一実施形態では、スマートマイク110の下部を引っ張ると、専用のプログラムを制御できるリモコン113が分離されて上記のような問題が発生しないようにしながら、専用のブラウザを同時に制御することができる。
図5は、本発明の一実施形態に係る制御サーバー120及びユーザー端末130のブロック図である。
本発明の一実施形態に係る制御サーバー120及びユーザー端末130は、通信モジュール210、メモリ230及びプロセッサ220を含むように構成されることができる。
通信モジュール210は、ネットワークを介してデータを送受信する。前記通信モジュール210は、有線通信モジュール及び無線通信モジュールの両方を含むことができる。有線通信モジュールは、電力線通信装置、電話線通信装置、ケーブルホーム(MoCA)、イーサネット(登録商標)(Ethernet)、IEEE1294、統合有線ホームネットワーク及びRS−485制御装置に実装されることができる。また、無線通信モジュールは、WLAN(wireless LAN)、Bluetooth(登録商標)、HDR WPAN、UWB、ZigBee、Impulse Radio、60GHz WPAN、Binary−CDMA、無線USB技術及び無線HDMI(登録商標)技術などで実装されることができる。
メモリ230には、専用のブラウザを実行させたり、スマートマイク110によるコマンドを処理するためのプログラムが保存され、プロセッサ220は、メモリ230に保存されたプログラムを実行させる。ここでは、メモリは、電源が供給されなくても、保存された情報を維持し続ける不揮発性記憶装置及び揮発性記憶装置を通称するものである。
例えば、メモリ230は、コンパクトフラッシュ(登録商標)(compact flash;CF)カード、SD(secure digital)カード、メモリスティック(memory stick)、ソリッドステートドライブ(solid−state drive;SSD)及びマイクロ(micro)SDカードなどのNAND型フラッシュメモリ(NAND flash memory)、ハードディスクドライブ(hard disk drive;HDD)などの磁気コンピュータ記憶装置及びCD−ROM、DVD−ROMなどの光学ディスクドライブ(optical disc drive)などを含むことがことができる。
プロセッサ220は、図1に示された構成要素を制御及び実行するものであっても良い。そのために、プロセッサ220は、CPU、FPGA(Field Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)などのハードウェアの形で実装されることができ、所定の役割を果たすことができる。
しかしながら、「構成要素」は、ソフトウェアまたはハードウェアに限定される意味ではなく、各構成要素は、アドレッシング可能な保存媒体にあるように構成されても良く、1つまたはそれ以上のプロセッサを再生させるように構成されても良い。
したがって、一例として、構成要素は、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。
構成要素とその構成要素の中で提供される機能は、より少数の構成要素で結合されたり、追加の構成要素としてさらに分離されることができる。
本発明の一実施形態は、コンピュータにより実行される媒体に保存されたコンピュータプログラムまたはコンピュータにより実行可能なコマンドを含む記録媒体の形でも実装することができる。コンピュータ読取可能な媒体は、コンピュータによりアクセスできる任意の利用可能な媒体であってもよく、揮発性及び不揮発性媒体、分離型及び非分離型媒体をいずれも含む。また、コンピュータ読取可能な媒体は、コンピュータ記憶媒体及び通信媒体の両方を含むことができる。コンピュータ記憶媒体は、コンピュータ読取可能なコマンド、データ構造、プログラムモジュールまたはその他のデータなどの情報の保存のための任意の方法または技術で実装された揮発性及び不揮発性、分離型及び非分離型媒体をいずれも含む。通信媒体は、典型的にはコンピュータ読取可能なコマンド、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他のデータ、またはその他のトランスポートメカニズムを含み、任意の情報伝達媒体を含む。
本発明の方法及びシステムは、特定の実施形態に関して説明したが、それらの構成要素または動作の一部または全部は、汎用ハードウェアアーキテクチャを有するコンピュータシステムを使用して実装されても良い。
前述した本発明の説明は、例示のためのものであり、本発明の属する技術分野において通常の知識を有する者は、本発明の技術的思想や必須的な特徴を変更することなく、他の具体的な形態で容易に変形可能であることを理解できるであろう。したがって、以上で記述した実施形態は、全ての面で例示的なものであって限定的ではないものと理解しなければならない。例えば、単一型で説明されている各構成要素は、分散されて実施されても良く、同様に分散されたものと説明されている構成要素も結合された形態で実施されても良い。
本発明の範囲は、上記の詳細な説明よりは後述する特許請求の範囲によって決められ、特許請求の範囲の意味及び範囲、そしてその均等概念から導出される全ての変更または変形された形態が本発明の範囲に含まれるものと解釈しなければならない。
100:スマートマイク制御システム
110:スマートマイク
120:制御サーバー
130:ユーザー端末

Claims (12)

  1. スマートマイク制御システムにおいて、
    複数のボタンを含み、ユーザーの音声を受信及び伝達するスマートマイク、
    前記スマートマイクを介してユーザーの音声を受信すると、前記音声をテキストに変換し、前記変換されたテキストのうちコマンドDBに予め保存されたコマンドとマッチングされるテキストをコマンドで抽出し、前記抽出されたコマンドに対応する機能を伝達する制御サーバー及び
    前記制御サーバーからコマンドを受信して、当該コマンドに対応する機能を実行させるユーザー端末を含むスマートマイク制御システム。
  2. 前記ユーザー端末は、前記コマンドに対応する機能を予め設けられた専用のブラウザを介して実行させ、
    前記コマンドは、前記音声に基づいたコマンド及び前記スマートマイクに含まれたショートカットキーボタンに基づいたコマンドを含む請求項1に記載のスマートマイク制御システム。
  3. 前記制御サーバーは、前記スマートマイクから前記ユーザーが複数のボタンのうちコマンドボタンを入力した状態で前記音声を受信する場合、前記音声からコマンドを抽出する請求項2に記載のスマートマイク制御システム。
  4. 前記制御サーバーは、前記スマートマイクから前記ユーザーにより複数のボタンのうちショートカットキーボタンを入力された場合、前記ショートカットキーに対応する予め設定された機能を前記ユーザー端末を介して実行させる請求項2に記載のスマートマイク制御システム。
  5. 前記ユーザー端末上に前記専用のブラウザを介してウェブページが出力された状態で、前記スマートマイクを介してユーザーから前記ウェブページを制御するための音声を受信すると、
    前記制御サーバーは、前記専用のブラウザに現在出力されたウェブページをキャプチャし、前記キャプチャされたウェブページと前記受信した音声にマッチングされるコマンドを比較して、その結果を前記ユーザー端末上に出力させる請求項2に記載のスマートマイク制御システム。
  6. 前記スマートマイクを介してユーザーが前記ウェブページ上に表示された複数の項目のうちいずれか1つの項目に該当するテキストを全部発話したり、または一部発話する場合には、
    前記制御サーバーは、前記全部発話または一部発話された音声をテキストに変換し、変換されたテキストを前記ウェブページ上の複数の項目と比較して、一致する項目が選択されるように前記ユーザー端末を制御する請求項5に記載のスマートマイク制御システム。
  7. 前記制御サーバーには、学年別のカリキュラムに該当する授業進度表及び時間割のうち1つ以上が予め保存され、
    ユーザーが前記スマートマイクを介して現在の授業内容を進めるためのコマンドを入力すると、前記制御サーバーは、前記授業進度表及び時間割のうち1つ以上とマッチングされる授業内容に該当するコンテンツを前記ユーザー端末に出力させる請求項2に記載のスマートマイク制御システム。
  8. 前記制御サーバーは、前記コマンドが入力された日付及び時間割を前記授業進度表及び時間割のうち1つ以上と比較してマッチングされる授業内容に該当するコンテンツを前記ユーザー端末に出力させる請求項7に記載のスマートマイク制御システム。
  9. 前記スマートマイクは前記ユーザー端末で実行中の専用のブラウザのカーソル制御及び機能をボタンにより直接実行させるリモコンを含み、
    前記リモコンは、前記スマートマイクの一面に形成された挿入溝に結合及び分離可能に形成された請求項2に記載のスマートマイク制御システム。
  10. 前記ユーザー端末には、Bluetoothドングルが挿入されて前記スマートマイクとBluetoothペアリングされる請求項1に記載のスマートマイク制御システム。
  11. 前記スマートマイクは、外部端末に無線インターネットを提供するゲートウェイを含み、
    前記スマートマイクは、外部のインターネット網と接続された前記ユーザー端末とBluetoothペアリングされることにより、前記ユーザー端末から提供されたIPアドレスに基づいて前記Bluetoothペアリングを介して外部端末に無線インターネットを提供する請求項10に記載のスマートマイク制御システム。
  12. スマートマイクを制御するサーバーにおいて、
    1つ以上のユーザー端末及び前記スマートマイクとデータを送受信する通信モジュール、
    前記ユーザー端末に予め設けられた専用のブラウザを介して前記スマートマイクを制御するためのプログラムが保存されたメモリ及び
    前記メモリに保存されたプログラムを実行させるプロセッサを含み、
    前記プロセッサは、前記プログラムを実行させることにより、前記スマートマイクを介してユーザーの音声を受信すると、前記音声をテキストに変換し、前記変換されたテキストのうちコマンドDBに予め保存されたコマンドとマッチングされるテキストをコマンドで抽出し、前記抽出されたコマンドに対応する機能を前記ユーザー端末を介して実行させるように制御する制御サーバー。
JP2020042656A 2019-03-13 2020-03-12 スマートマイク制御サーバー及びシステム Active JP6925469B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0028984 2019-03-13
KR1020190028984A KR102219943B1 (ko) 2019-03-13 2019-03-13 스마트 마이크 제어 서버 및 시스템

Publications (2)

Publication Number Publication Date
JP2020149054A true JP2020149054A (ja) 2020-09-17
JP6925469B2 JP6925469B2 (ja) 2021-08-25

Family

ID=72423571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020042656A Active JP6925469B2 (ja) 2019-03-13 2020-03-12 スマートマイク制御サーバー及びシステム

Country Status (3)

Country Link
US (1) US11122349B2 (ja)
JP (1) JP6925469B2 (ja)
KR (1) KR102219943B1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103403520B (zh) * 2011-01-28 2015-12-23 Fei公司 Tem样品制备
JP2022076770A (ja) * 2020-11-10 2022-05-20 シャープ株式会社 コンテンツ再生システム、コンテンツ再生方法、及びコンテンツ再生プログラム
KR102388717B1 (ko) * 2021-01-22 2022-04-20 주식회사 금영엔터테인먼트 Stt 기능을 지원하는 블루투스 마이크
CN116442769A (zh) * 2023-03-30 2023-07-18 深圳市同行者科技有限公司 车载中控的交互方法及相关设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000267695A (ja) * 1999-01-14 2000-09-29 Nissan Motor Co Ltd 車載機器のリモートコントロール装置
JP2002091847A (ja) * 2000-09-02 2002-03-29 Infobank Corp 数の組合せを使用する無線インターネット短縮接続及び短縮キーを利用する無線インターネット接続方法
JP2005311768A (ja) * 2004-04-22 2005-11-04 Hosiden Corp イヤホン及びマイクが装備されるオーディオ機器用リモコン
JP2006074215A (ja) * 2004-08-31 2006-03-16 Vodafone Kk 情報通信端末及び付属表示装置
JP2007128305A (ja) * 2005-11-04 2007-05-24 Toshiba Corp 調理支援装置
JP2012500526A (ja) * 2008-08-13 2012-01-05 グレイリン,ウィル,ワン 内蔵音声フィードバック及び音声コマンドを用いる装着可能(wearable)なヘッドセット
JP2012227712A (ja) * 2011-04-19 2012-11-15 Hoshun Ri 視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラム
JP2013186646A (ja) * 2012-03-07 2013-09-19 Toshiba Corp 情報処理装置および情報処理装置の制御方法
JP2014510327A (ja) * 2011-01-18 2014-04-24 プロキシミアント・インコーポレイテツド 電子取引記録の配信システム
JP2014132756A (ja) * 2013-01-07 2014-07-17 Samsung Electronics Co Ltd ディスプレイ装置及びその制御方法
JP2017173530A (ja) * 2016-03-23 2017-09-28 富士通株式会社 音声入力支援プログラム、ヘッドマウントディスプレイ、音声入力支援方法および音声入力支援装置
JP2018159964A (ja) * 2017-03-21 2018-10-11 株式会社リコー 情報処理システムおよび情報処理方法、ならびに、情報処理装置、端末装置および情報処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI231660B (en) * 2002-12-18 2005-04-21 Lite On Technology Corp Bluetooth dongle and method for transmitting voice through bluetooth dongle
US8638790B2 (en) * 2008-06-23 2014-01-28 Qualcomm Incorporated Method and apparatus for managing data services in a multi-processor computing environment
US8989420B1 (en) * 2010-04-26 2015-03-24 Engagement Innovations LLC Throwable wireless microphone system for passing from one user to the next in lecture rooms and auditoriums
KR20110121296A (ko) * 2010-04-30 2011-11-07 주식회사 유니온앤이씨 온라인 및 음성인식 강의 제공 장치 및 방법
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
KR101917182B1 (ko) * 2012-04-30 2019-01-24 삼성전자주식회사 영상처리장치, 음성취득장치, 그 음성인식방법 및 음성인식시스템
US8745650B1 (en) * 2012-10-10 2014-06-03 Google Inc. Content segment selection based on time-shifted content viewing
US8595771B1 (en) * 2012-12-11 2013-11-26 United Video Properties, Inc. Systems and methods for updating the display of preferred media asset sources
KR102238535B1 (ko) * 2014-10-01 2021-04-09 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102375800B1 (ko) * 2017-04-28 2022-03-17 삼성전자주식회사 음성 인식 서비스를 제공하는 전자 장치 및 그 방법
KR102511385B1 (ko) * 2018-04-09 2023-03-17 엘지전자 주식회사 디스플레이 장치

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000267695A (ja) * 1999-01-14 2000-09-29 Nissan Motor Co Ltd 車載機器のリモートコントロール装置
JP2002091847A (ja) * 2000-09-02 2002-03-29 Infobank Corp 数の組合せを使用する無線インターネット短縮接続及び短縮キーを利用する無線インターネット接続方法
JP2005311768A (ja) * 2004-04-22 2005-11-04 Hosiden Corp イヤホン及びマイクが装備されるオーディオ機器用リモコン
JP2006074215A (ja) * 2004-08-31 2006-03-16 Vodafone Kk 情報通信端末及び付属表示装置
JP2007128305A (ja) * 2005-11-04 2007-05-24 Toshiba Corp 調理支援装置
JP2012500526A (ja) * 2008-08-13 2012-01-05 グレイリン,ウィル,ワン 内蔵音声フィードバック及び音声コマンドを用いる装着可能(wearable)なヘッドセット
JP2014510327A (ja) * 2011-01-18 2014-04-24 プロキシミアント・インコーポレイテツド 電子取引記録の配信システム
JP2012227712A (ja) * 2011-04-19 2012-11-15 Hoshun Ri 視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラム
JP2013186646A (ja) * 2012-03-07 2013-09-19 Toshiba Corp 情報処理装置および情報処理装置の制御方法
JP2014132756A (ja) * 2013-01-07 2014-07-17 Samsung Electronics Co Ltd ディスプレイ装置及びその制御方法
JP2017173530A (ja) * 2016-03-23 2017-09-28 富士通株式会社 音声入力支援プログラム、ヘッドマウントディスプレイ、音声入力支援方法および音声入力支援装置
JP2018159964A (ja) * 2017-03-21 2018-10-11 株式会社リコー 情報処理システムおよび情報処理方法、ならびに、情報処理装置、端末装置および情報処理プログラム

Also Published As

Publication number Publication date
US11122349B2 (en) 2021-09-14
JP6925469B2 (ja) 2021-08-25
KR20200109643A (ko) 2020-09-23
US20200296498A1 (en) 2020-09-17
KR102219943B1 (ko) 2021-02-25

Similar Documents

Publication Publication Date Title
JP6925469B2 (ja) スマートマイク制御サーバー及びシステム
Ranchal et al. Using speech recognition for real-time captioning and lecture transcription in the classroom
RU2530268C2 (ru) Способ обучения информационной диалоговой системы пользователем
US20200175890A1 (en) Device, method, and graphical user interface for a group reading environment
US20190340944A1 (en) Multimedia Interactive Teaching System and Method
CN108920128B (zh) 演示文稿的操作方法及系统
US20140315163A1 (en) Device, method, and graphical user interface for a group reading environment
CN107798931A (zh) 一种智能幼教学习系统及方法
JP2019533181A (ja) 通訳装置及び方法(device and method of translating a language)
US20080300012A1 (en) Mobile phone and method for executing functions thereof
JP7119615B2 (ja) サーバ、音データ評価方法、プログラム、通信システム
CN109903618A (zh) 听力训练方法、装置、设备及存储介质
KR102082245B1 (ko) 멀티뷰 방식의 학습서비스제공장치
US9697851B2 (en) Note-taking assistance system, information delivery device, terminal, note-taking assistance method, and computer-readable recording medium
US11790913B2 (en) Information providing method, apparatus, and storage medium, that transmit related information to a remote terminal based on identification information received from the remote terminal
Mahipal et al. “What did I just miss?!” Presenting ClassTranscribe, an Automated Live-captioning and Text-searchable Lecture Video System, and Related Pedagogical Best Practices
US11363084B1 (en) Methods and systems for facilitating conversion of content in public centers
KR20220140304A (ko) 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법
Millett Improving accessibility with captioning: An overview of the current state of technology
Clancy et al. CALL tools for listening and speaking
CN210955536U (zh) 一种调频听力口语教学系统
CN112165627B (en) Information processing method, device, storage medium, terminal and system
KR20190107323A (ko) 학습서비스제공장치 및 그 장치의 구동방법
KR102312798B1 (ko) 강의통역 서비스장치 및 그 장치의 구동방법
Lopez Enhancing English Language Learners Listening and Speaking Skills Using Technology

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210803

R150 Certificate of patent or registration of utility model

Ref document number: 6925469

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250