JP2022117926A - 点字学習装置及び作動方法 - Google Patents

点字学習装置及び作動方法 Download PDF

Info

Publication number
JP2022117926A
JP2022117926A JP2021139981A JP2021139981A JP2022117926A JP 2022117926 A JP2022117926 A JP 2022117926A JP 2021139981 A JP2021139981 A JP 2021139981A JP 2021139981 A JP2021139981 A JP 2021139981A JP 2022117926 A JP2022117926 A JP 2022117926A
Authority
JP
Japan
Prior art keywords
braille
control system
embedded control
information
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021139981A
Other languages
English (en)
Other versions
JP7055508B1 (ja
Inventor
馮▲潔▼ 伍
Fengjie Wu
▲偉▼譜 劉
Weipu Liu
慶焜 劉
Qingkun Liu
文俊 羅
Wenjun Luo
子▲チェン▼ 郭
Ziqian Guo
思▲チー▼ 胡
Siqi Hu
江涛 陳
Jiangtao Chen
俊杰 杜
Junjie Du
柏鋒 ▲デン▼
Baifeng Deng
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Application granted granted Critical
Publication of JP7055508B1 publication Critical patent/JP7055508B1/ja
Publication of JP2022117926A publication Critical patent/JP2022117926A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/007Teaching or communicating with blind persons using both tactile and audible presentation of the information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/151Transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

【課題】視覚障害者が点字をより速く且つ高効率に学習することを支援でき、大量の点字板を用いずに、漢字などの大量の学習を実現でき、点字学習での点字板の使用数を節約し、点字学習のコストを削減させる。【解決手段】点字学習装置及び作動方法を開示し、埋込式制御システム、音声入力ユニット、語音再生ユニット及び点字学習板を含み、音声入力ユニットは、埋込式制御システムに接続され、収集された語音情報を埋込式制御システムに送信し、埋込式制御システムは、点字学習板に接続され、受信された語音情報をテキスト情報に変換しテキスト情報を点字情報に変換し、点字情報に基づいて点字学習板を制御して昇降可能な凸点を介して点字を表示させ、埋込式制御システムは、語音再生ユニットに接続され、語音再生ユニットを制御して点字学習板に表示された点字をアナウンスさせる。【選択図】図1

Description

本発明は点字学習の技術分野に関し、特に点字学習装置及び作動方法に関する。
世界保健機関の信頼性データによれば、全世界の視覚障害者の数は1.5億より多く、そのうち盲人の数は4500万に達し、かつ盲人の増加速度は驚くほど速く、平均わずか5秒に一人増加する。中国の人口数が膨大であり、中国盲人協会の公式ウェブサイトの配信データによれば、中国の視力障害者が約7551.2万人であり、そのうち盲人数が約824.8万人であり、低視力者が約6727.4万人であり、全国人口の約0.005%を占め、数が世界の第一であり、障害者のうち、無視できない大規模なグループである。
調査によれば、市場には、視覚障害者が点字を学習することを支援できる装置が少なく、関連する点字表示技術もさらに開発されていない。また、点字の教育については、中国内外では効率的な解決手段が提供されず、従来の点字板により視覚障害者に点字を教えることが多い。このような教学は、専門家が傍に一対一で補助教学を行う必要があり、かつ従来の点字板の利用率が低いため、実際に教学する時に複数の点字板を購入する必要があり、点字者が点字を学習するコストを大幅に増加させ、多くの点字者が正常に学習に参加できず、予想される教育効果を達成できないことを引き起こしやすい。したがって、繰り返し使用でき、ネットワークに接続でき、盲人が自律制御しやすくかつ先生と交流できる点字学習機を製造することは、非常に急迫している。
現在、いくつかの点字学習機も出現したが、これらの学習機は一般的に、一部の初歩的な学習(点字のアルファベット、数字、声母、韻母等を含む)用のものであり、具体的には、学習機に点字のアルファベット、数字、声母、韻母の点字キーを配置し、対応する点字キーを押すと、学習機は対応する点字を音声アナウンスし、このような学習機は点字のキー数が限られ、点字の初歩的な内容のみを学習することに適し、盲人が大量の漢字又は他の言語の文字を学習することを助けることができない。
本発明の第1目的は、従来技術の欠点及び欠陥を克服するために、視覚障害者が点字をより速く且つより高効率に学習することを支援でき、大量の点字板を使用せずに、漢字などを大量学習することを実現でき、点字学習過程において点字板の使用数を節約し、点字学習のコストを削減させる、点字学習装置を提供する。
本発明の第2目的は、点字学習装置の作動方法を提供することである。
本発明の第1目的は、以下の技術的解決手段で実現される。点字学習装置であって、埋込式制御システム、音声入力ユニット、語音再生ユニット及び点字学習板を含み、
音声入力ユニットは、埋込式制御システムに接続され、収集された語音情報を埋込式制御システムに送信し、
前記埋込式制御システムは、点字学習板に接続され、受信された語音情報をテキスト情報に変換しテキスト情報を点字情報に変換し、点字情報に基づいて点字学習板を制御して昇降可能な凸点を介して点字を表示させ、
前記埋込式制御システムは、語音再生ユニットに接続され、語音再生ユニットを制御し、点字学習板に表示された点字に対応する内容をアナウンスさせる。
好適には、前記埋込式システムは、ラズベリーパイ及びラズベリーパイに接続されるシングルチップマイクロコンピュータを含み、前記音声入力モジュール及び語音再生ユニットは、ラズベリーパイに接続され、点字学習板は、シングルチップマイクロコンピュータに接続される。
好適には、前記点字学習板は、少なくとも3組の点字凸点を含み、各組の点字凸点は、6つの昇降可能な凸点を含み、各昇降可能な凸点は、それぞれ各昇降制御機構に設けられ、昇降制御機構を介して制御され、点字学習板が取り付けられるケーシングの外部まで上昇して延出したり、点字学習板が取り付けられるケーシングの内部まで降下して収縮したりし、
各昇降制御機構は、それぞれ埋込式制御システムに接続され、埋込式制御システムによって作動状態が制御される。
さらに、前記昇降可能な凸点は、ナットボタンキャップ、ナット、ボルト及びボルト固定部を含み、点字学習板が取り付けられるケーシングには、各昇降可能な凸点を取り付けるための昇降チャンネルが設けられ、
昇降制御機構は、モーター及びモータードライバを含み、前記モーターは、モータードライバを介して埋込式制御システムに接続され、
ナットがナットボタンキャップの内部に設けられ、ナットボタンキャップがナットを介してボルトに外嵌され、ボルトがボルト固定部に固定して取り付けられ、ボルト固定部がモーターの出力軸に外嵌され、モーターによってボルト固定部を回転駆動し、ボルトを回転駆動し、
ナットボタンキャップの外壁には、昇降チャンネルの長さ方向に沿って突起部分が設けられ、昇降可能な凸点が昇降チャンネルに設けられるとき、ナットボタンキャップの突起部分が昇降チャンネル内側壁の溝に位置する。
好適には、ユーザ端末をさらに含み、
前記ユーザ端末は、無線通信ユニットを介して1つ又は複数の点字学習装置における埋込式制御システムに直接接続され、又は、前記ユーザ端末は、通信ユニットを介してサーバに接続され、サーバを介して1つ又は複数の点字学習装置における埋込式制御システムに接続される。
好適には、埋込式制御システムに接続される機能選択ボタン、録音ボタン、前へボタン、次へボタン及び記録ボタンをさらに含む。
本発明の第2目的は、以下の技術的解決手段で実現される。本発明の第1目的に記載の点字学習装置の作動方法であって、
埋込式制御システムが音声入力ユニットから収集された語音情報に対して、語音認識を行い、テキスト情報に変換するステップと、
埋込式制御システムがテキスト情報を取得した後、テキスト情報からキーワードを抽出し、キーワードを点字情報に変換するステップと、
埋込式制御システムが点字情報に基づいて、点字学習板の各昇降可能な凸点を制御して昇降移動させ、対応する点字を形成するステップと、
埋込式制御システムが語音再生ユニットを制御し、点字学習板に表示された点字に対応する内容をアナウンスさせるステップとを含む。
好適には、埋込式制御システムは、音声入力ユニット収集の語音情報を受信すると、語音認識技術によって語音情報をテキスト情報に変換し、
埋込式制御システムがテキスト情報を取得した後、品詞に基づいて分割しフィルタリングしてキーワードを抽出し、且つ対応する点字情報に変換し、点字に対応する凸点を決定し、これに基づいて埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示する。
好適には、機能選択ボタンによって作動モードを切り替えるステップをさらに含み、作動モードは、教学モード、自律学習モード、高頻度ワード学習モード及び記録ワード復習モードを含み、
教学モードとは、埋込式制御システムがユーザ端末によって送信された点字教学内容、すなわち、対応する点字情報を受信し、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、学習者が結果の正否を検査するために、埋込式制御システムが語音再生ユニットを制御して点字に対応する内容をアナウンスさせることであり、
自律学習モードとは、埋込式制御システムが録音指令を検出すると、音声入力ユニットによって収集された語音情報を取得し、語音認識技術を呼び出して語音情報をテキスト情報に変換し、次に品詞に基づいて分割しフィルタリングしてキーワードを抽出し、キーワードを点字情報に変換し、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、埋込式制御システムが点字情報に対応する内容に基づいて、公衆網にアクセスしてクローラー技術によって対応内容の意義解釈を取得し、次に、学習者が結果の正否を検査するために、語音再生ユニットを制御して点字に対応する内容及びその意義解釈をアナウンスさせることであり、
高頻度ワード学習モードとは、高頻度ワードに対応する点字情報を埋込式制御システムのローカルにテキストフォーマットデータで予め記憶し、高頻度ワード学習モードに入るとき、埋込式制御システムが高頻度ワードアクセス指令を受信した後、各高頻度ワードの点字情報に対して、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、埋込式制御システムが高頻度ワード点字情報の対応内容に基づいて、公衆網にアクセスしてクローラー技術によって対応内容の意義解釈を取得し、次に、学習者が結果の正否を検査するために、語音再生ユニットを制御して点字に対応する内容及びその意義解釈をアナウンスさせることであり、
記録ワード復習モードとは、教学モード、自律学習モード、高頻度ワード学習モードで、埋込式制御システムが記録指令を受信するとき、現在表示するように制御する点字情報をテキストフォーマットデータでローカルに記憶し、記録ワード復習モードに入るとき、埋込式制御システムが記録ワードアクセス指令を受信した後、記録ワードの各々に対応する点字情報に対して、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、埋込式制御システムが記録ワードの点字情報の対応内容に基づいて、公衆網にアクセスしてクローラー技術によって対応内容の意義解釈を取得し、次に、学習者が結果の正否を検査するために、語音再生ユニットを制御して点字に対応する内容及びその意義解釈をアナウンスさせることである。
好適には、音声入力ユニットによって収集された語音情報に対して、埋込式制御システムがバイドゥクラウドAPIを呼び出すことで語音認識を行い、具体的には、以下のとおりである。
第1ステップにおいて、先ずバイドゥクラウドプラットフォームウエブサイトにログインし、APPIDを申し込み、使用するとき、プログラムは、語音認識クラスvoice_recognition()を新規作成し、且つ関連リソースを初期化し、
第2ステップにおいて、録音ボタンによって語音認識を起動し、語音認識が起動した後、クラスのmy_record()を呼び出して4秒録音し、録音ファイルのフォーマットがwavファイルであり、サンプリング周波数が16000であり、録音ファイルを処理するには、先ずwavファイルに対してフレーム分割を行い、各フレームの長さが25msであり、フレームシフトが10msであり、2つのフレーム間に25-10=15ms重なり、そして、分割後の録音に対してMFCC特徴抽出を行い、各フレームの録音データから13次元長さの固有値を計算し、最終的にこれらの固有値をニューラルネットワークに転送して計算して音素タイプに変換し、話した後、後続に呼び出すために、ファイルを埋込式制御システムのローカルに記憶し、
第3ステップにおいて、getToken()を呼び出してtokenを取得し、プラットフォームで取得されたapi key及びsecret keyをパラメータとして入力し、プラットフォームが正確なtokenを受信した場合のみ、サービスを提供し、そしてvoice_recognition()のspeech2text()関数を呼び出すことで録音ファイルをアップロードし、パラメータは、それぞれspeech_data、token、dev_pid=1537であり、speech_dataパラメータは、語音データであり、tokenは、get_tokenで得られたデータであり、dev_pidは、言語を指定するためのものであり、1537に対応する言語は、マンダリンであり、そしてクラウドは、データを受信し、認識完了後に埋込式制御システムのローカルに返送して認識結果を得、語音認識が完了した後、結果をvocie_recognitionのsentence属性に割り当て、また、語音再生ユニットを制御して認識結果をアナウンスさせることによって、ユーザが最終的に認識結果を確認し、
埋込式制御システムは、TextRankアルゴリズムに基づいて、テキストからキーワードを抽出し、キーワードを取得した後、埋込式制御システムは、点字編集ルールに基づいて対応する点字情報を取得し、それにより点字に対応する凸点を決定する。
本発明は従来技術に比べて以下の利点及び効果を有する。
(1)本発明の点字学習装置は、埋込式制御システム、音声入力ユニット、語音再生ユニット及び点字学習板を含み、音声入力ユニットは、埋込式制御システムに接続され、収集された語音情報を埋込式制御システムに送信し、埋込式制御システムは、点字学習板に接続され、受信された語音情報をテキスト情報に変換しテキスト情報を点字情報に変換し、点字情報に基づいて点字学習板を制御して昇降可能な凸点を介して点字を表示させ、埋込式制御システムは、語音再生ユニットに接続され、語音再生ユニットを制御し、点字学習板に表示された点字に対応する内容(例えば、漢字、英語、数字、アルファベットなど)をアナウンスさせる。本発明の点字学習装置では、学習者は、語音再生ユニットによって語音情報を埋込式制御システムに入力し、埋込式制御システムは、テキスト情報に変換し、埋込式制御システムは、テキスト情報を点字情報に変換し、次に点字学習板における昇降可能な凸点によって表示し、これに基づいて、学習者は、教学学習及び自己学習などを行うことができ、本発明の点字学習装置によって、視覚障害者が点字をより速く且つより高効率に学習することを支援できる。また、埋込式制御システムは、点字学習板における昇降可能な凸点によって、異なる点字の英語、数字、声母及び韻母を表示でき、それにより、点字を構成し、大量の点字板を使用する必要がないため、大量の点字板を使用せずに、漢字などの大量学習を実現でき、点字学習過程において点字板の使用数を節約し、点字学習のコストを削減させる。
(2)本発明の点字学習装置は、ユーザ端末を含み、ユーザ端末は、無線通信ユニットを介して1つ又は複数の点字学習装置における埋込式制御システムに直接接続されてもよく、又は、ユーザ端末は、通信ユニットを介してサーバに接続され、サーバを介して1つ又は複数の点字学習装置における埋込式制御システムに接続されてもよい。ユーザ端末及び埋込式制御システムが前の接続関係である場合、近距離の通信を実現でき、ユーザ端末は、教師であり得、この場合、教師は、ユーザ端末を介して教学内容を所定の領域範囲内、例えば、同じ教室での学生の点字学習装置に送信でき、従来の一対多教学を実現する。ユーザ端末及び埋込式制御システムが後の接続関係である場合、教師は、ユーザ端末を介して点字教学の関連内容をサーバにアップロードし、教師ユーザ端末が各点字学習装置における埋込式制御システムと交換した全ての情報をクラウドサーバに送信して転送させ、教師がユーザ端末を介してこのサーバにアクセスして関連する教学内容を取得し、複数台の学習機を一括制御して点字を表示し、それにより、一対多教学を実現し、点字ワードの教学効率を向上させ、教学コストを低減させ、良好な教学効果を実現する。また、遠隔教学も実現でき、点字学習装置における埋込式制御システムがネットワークに接続できれば、学習者はどこにいても教学することができる。
(3)本発明の点字学習装置では、点字学習板は、少なくとも3組の点字凸点を含み、各組の点字凸点は、2列3行、合計6つの昇降可能な凸点を含み、この構造に基づいて、本発明の点字学習板は、1つの点字漢字を少なくとも表示してもよいし、実際のニーズに応じて点字板の数を設定し、より多くの点字を表示してもよい。また、本発明では、各昇降可能な凸点は、ナットボタンキャップ、ナット、ボルト及びボルト固定部を含み、昇降可能な凸点のナットボタンキャップがその突起部分を介して昇降チャンネルに取り付けられ、ボルトがボルト固定部に固定され、モーターがねじりモーメントをボルト固定部に提供するとき、ボルトを回転させるが、ボルトの縦方向位置及びナット回転が制限され、ナットが縦方向に変位し、それにより、ナットボタンキャップを昇降させ、昇降可能な凸点は、構成が簡単で、昇降制御がシンプルであるという利点を有する。
(4)本発明の点字学習装置では、埋込式制御システムは、様々な高速計算機能を有するラズベリーパイ及びラズベリーパイに接続されるシングルチップマイクロコンピュータを含み、音声入力モジュール及び語音再生ユニットは、ラズベリーパイに接続され、点字学習板は、シングルチップマイクロコンピュータに接続され、本発明は、ラズベリーパイによって語音認識し、テキストからキーワードを抽出し、キーワードを点字に変換し、クローラー技術によって公衆網からデータを取得するなどの複雑な機能を実現でき、高性能、低コスト、低消費電力のシングルチップマイクロコンピュータに接続されることで、IOポートの拡張を実現でき、それにより、より多くの周辺機器、例えば、点字学習板における昇降可能な凸点の制御を実現でき、本発明は、ラズベリーパイ及びシングルチップマイクロコンピュータで構成される埋込式制御システムに基づいて、強い機能を保証するとともに、コストの節約を実現する。
(5)本発明の点字学習装置は、埋込式制御システムに接続される機能選択ボタン、録音ボタン、前へボタン、次へボタン及び記録ボタンをさらに含み、機能選択ボタンによって、様々な作動モード、例えば、教学モード、自律学習モード、高頻度ワード学習モード及び記録ワード復習モードに入るように制御でき、異なる作動モードで異なる学習を行い、録音ボタンによって、録音機能を駆動でき、高頻度ワードを学習し、記録ワードを復習するモードでは、前へボタン、次へボタンによって、前に学習した/次に学習しようとする高頻度ワード又は記録ワードのうちの点字ワード情報に切り替えることができ、一対多教学、自律学習、高頻度ワード学習モードでは、記録ボタンによって、システムが現在のワード及びその点字情報を記録する。本発明では、上記ボタンに基づいて、異なる機能を実現して駆動でき、異なるモードの学習を実現し、学習者が点字をより高効率に学習する。
(6)本発明の点字学習装置の作動方法では、埋込式制御システムは、テキスト情報を取得した後、品詞に基づいて分割しフィルタリングしてキーワードを抽出し、次に点字情報に変換し、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムは、昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、これに基づいて、本発明の方法は、点字の英語、数字、声母及び韻母を高効率に表示でき、点字学習者が点字を学習する効率を向上させることに寄与する。
(7)本発明の点字学習装置の作動方法では、TextRankアルゴリズムを用い、語音認識後に抽出されたテキスト中の非キーワードをフィルタリングし、点字学習機が語音を変換した後のテキストキー情報の検索効率及び正確率をさらに向上させる。
(8)本発明の点字学習装置の作動方法では、点字学習装置は、異なる作動モード、例えば、教学モード、自律学習モード、高頻度ワード学習モード及び記録ワード復習モードを含み、教学モードで、教師により発行された教学内容を学習し、自律学習モードで、学習者が学習したい点字を録音で自律学習でき、高頻度ワードに対応する点字情報を埋込式制御システムのローカルにテキストフォーマットデータで予め記憶し、高頻度ワード学習モードに入るとき、高頻度ワードの点字を学習でき、教学モード、自律学習モード、高頻度ワード学習モードで、対応する学習内容を記録することができ、記録ワード復習モードに入るとき、記録ワードを学習できる。また、上記様々なモードの学習過程において、公衆網にアクセスしてクローラー技術によって対応内容(例えば、漢字、英語、数字、アルファベット、ピンインなど)の意義解釈を取得し、次に、学習者が結果の正否を検査するために、語音再生ユニットを制御して点字に対応する内容及びその意義解釈をアナウンスさせ、学習者の異なる学習ニーズを効果的に満たし、点字学習効率をさらに向上させる。
本発明の点字学習装置の構造原理図である。 本発明の点字学習装置のケーシング構造の模式図である。 本発明の点字学習装置ケーシングの平面図である。 本発明の点字学習装置ケーシングの下面図である。 本発明の点字学習装置における昇降可能な凸点の構造模式図である。 ラズベリーパイ中継ヘッダの回路原理図である。 ラズベリーパイが接続される各ボタンの回路原理図である。 第1電源の電圧変換回路の回路原理図である。 第2電源の電圧変換回路の回路原理図である。 点字学習板における各点字ブロックに対応するモータードライバの回路原理図である。 本発明の点字学習装置の作動方法のフローチャートである。 「北」の点字模式図である。
以下、実施例及び図面を組み合わせて本発明についてさらに詳細に説明するが、本発明の実施の形態は、これに限られない。
実施例1
本実施例は、点字学習装置を開示し、この装置は、視覚障害者が点字をより速く且つより高効率に学習することを支援し、図1に示すように、この装置は、埋込式制御システム、音声入力ユニット、語音再生ユニット及び点字学習板を含む。
本実施例では、音声入力ユニットは、埋込式制御システムに接続され、収集された語音情報を埋込式制御システムに送信する。本実施例では、音声入力ユニットは、埋込式制御システムに接続されるマイクロホンであり得、ユーザは、マイクロホンを介して語音信号を埋込式制御システムに入力できる。
本実施例では、埋込式制御システムは、点字学習板に接続され、受信された語音情報をテキスト情報に変換しテキスト情報を点字情報に変換し、点字情報に基づいて点字学習板を制御して昇降可能な凸点を介して点字を表示させる。
本実施例では、埋込式制御システムは、語音再生ユニットに接続され、語音再生ユニットを制御し、点字学習板に表示された点字に対応する内容をアナウンスさせる。本実施例では、語音再生ユニットは、スピーカ、サウンドなど、語音再生機能を有する機器であってもよい。
本実施例では、図1に示す埋込式制御システムは、ラズベリーパイ及びラズベリーパイに接続されるシングルチップマイクロコンピュータを含み、前記音声入力モジュール及び語音再生ユニットは、ラズベリーパイに接続され、点字学習板は、シングルチップマイクロコンピュータに接続され、シングルチップマイクロコンピュータによって点字学習板を制御し、シングルチップマイクロコンピュータは、STM32シリーズ、例えば、STM32F103C8T6であり得る。本実施例では、ラズベリーパイは、語音認識し、テキストからキーワードを抽出し、キーワードを点字に変換し、クローラー技術によって公衆網からデータを取得するなどの複雑な機能を実現でき、高速計算能力を有し、また、接続されるシングルチップマイクロコンピュータによってラズベリーパイのIOポートを拡張でき、それにより、より多くの周辺機器、例えば、本実施例では、点字学習板における昇降可能な凸点の昇降制御を実現する。
本実施例では、図2aに示すように、点字学習板は、少なくとも3組の点字凸点を含み、各組の点字凸点は、2列3行、合計6つの昇降可能な凸点を含み、このような構造に基づいて、本発明の点字学習板は、1つの点字漢字を少なくとも表示してもよいし、実際ニーズに応じて点字板の数を設定し、より多くの点字内容を表示してもよい。
本実施例では、図2aに示すように、各昇降可能な凸点は、それぞれ各昇降制御機構に設けられ、昇降制御機構を介して制御され、点字学習板が取り付けられるケーシング6の外部まで上昇して延出したり、点字学習板が取り付けられるケーシング6の内部まで降下して収縮したりする。本実施例では、図2a~2cに示すように、ケーシングは、本体、カバー及び底板の3つの部分で構成され、ケーシングのサイズは、126mm×195mm×83mmである。本体の中部には、18個の昇降チャンネルが設計され、本体の真上に1つの介在層が設計され、この介在層は、ラズベリーパイ、STM32制御パネル及びその他の部材を配置するためのものであり、OLEDディスプレイスクリーンを取り付けるように、介在層の最上部には、大きさが38mm×195mmの長方形切り欠があり、底板を固定して密閉空間をなすように、本体の底部には、底板を固定する6つのボルト孔が設計される。本実施例では、図2b及び2cに示すように、昇降チャンネルの内側壁に溝が設けられる。
本実施例では、各昇降制御機構は、それぞれ埋込式制御システムに接続され、埋込式制御システムによって作動状態が制御され、本実施例では、昇降制御機構は、モーター及びモータードライバを含み、モーターは、モータードライバを介して埋込式制御システムにおけるシングルチップマイクロコンピュータに接続され、シングルチップマイクロコンピュータは、モータードライバによって、減速モーターのモーターを制御して正転又は反転させ、図5cに示すように、モータードライバは、RZ7889DCデュアルモーター駆動チップを用いることができ、このチップは、作動範囲が3~15Vであり、過熱、過電流、短絡保護機能を有し、単一のチップは、2つのロジック入力によって、モーターを制御して進退させ、モーターに対して速度調節を行うことができる。本実施例では、各組の点字凸点は、6つの昇降可能な凸点に対応し、本実施例では、6つのモーター駆動チップは、それぞれ6つのモーターを制御し、6つの昇降可能な凸点の昇降制御を実現する。
本実施例では、図3に示すように、昇降可能な凸点は、ナットボタンキャップ1、ナット2、ボルト3及びボルト固定部を含む。
本実施例では、ナット2がナットボタンキャップ1の内部に設けられ、ナットボタンキャップ1がナット2を介してボルト3に外嵌され、ボルト3がボルト固定部に固定して取り付けられ、ボルト固定部がモーターの出力軸に外嵌され、モーターによって、ボルト固定部を回転駆動し、ボルトを回転駆動し、表示の便宜上のために、図3において、ナットがナットボタンキャップ1の内部に取り付けられない。ナットボタンキャップ1の外壁には、昇降チャンネルの長さ方向に沿って突起部分101が設けられ、昇降可能な凸点が昇降チャンネルに設けられるとき、ナットボタンキャップの突起部分が昇降チャンネル内側壁の溝に位置する。
本実施例では、ナットボタンキャップ1の上半部は、ユーザと接触することで、ユーザが点字を認識することができ、構造上、R面取りの設計を用い、それにより、より快適な触感をもたらし、下半部には、4つの突起部分101が設計され、4つの突起部分101は、昇降チャンネルの長さ方向、すなわち、ナットボタンキャップの昇降方向に沿って設けられ、ナットボタンキャップの回転を制限することができる。
本実施例では、ボルト固定部は、第1ボルト固定部4及び第2ボルト固定部5を含むことができ、第1ボルト固定部がボルトに固定して外嵌され、ボルトが第2ボルト固定部4のスルーホールに挿入された後、第1ボルト固定部4が第2ボルト固定部の外部に外嵌され、両者がグルー又はねじで固定され、ボルトが回転中に第2ボルト固定部から離脱することを回避する。第2ボルト固定部5が底部を介してモーターの出力軸に外嵌される。モーターが回転するとき、ねじりモーメントをボルト固定部に提供し、ボルトを回転駆動し、ボルト縦方向位置及びナット回転が制限されるとき、ナットが縦方向に変位し、それにより、ナットボタンキャップの昇降を制御し、学習板における昇降可能な凸点がケーシングの外部まで上昇突出することができるし、ケーシングの内部まで降下収縮することもできる。
本実施例では、ユーザ端末をさらに含む。ユーザ端末は、無線通信ユニットを介して1つ又は複数の点字学習装置における埋込式制御システムに直接接続され、本実施例では、ユーザ端末は、教師の携帯電話、ipadなどであってもよく、無線通信ユニットは、WIFIユニットであってもよく、ユーザ端末及び埋込式制御システムにいずれもWIFIユニットが接続され、ユーザ端末は、Socketプロトコルによって教学内容を複数の学生端末の点字学習装置における埋込式システムに同時に送信する。
本実施例では、ユーザ端末は、通信ユニットを介してサーバに接続され、サーバを介して1つ又は複数の点字学習装置における埋込式制御システムに接続されてもよい。教師は、ユーザ端末を介して点字教学の関連内容をサーバにアップロードし、教師ユーザ端末が各点字学習装置における埋込式制御システムと交換した全ての情報をクラウドサーバに送信して転送させ、教師は、ユーザ端末によってこのサーバにアクセスして関連する教学内容を取得し、複数台の学習機を一括制御して点字を表示させ、それにより、一対多教学を実現する。
本実施例では、埋込式制御システムにおけるラズベリーパイのIOポートに機能選択ボタンB1、録音ボタンB2、前へボタンB3、次へボタンB4、記録ボタンB5が接続される。図4a及び4bは、ラズベリーパイ中継ヘッダ及び上記各ボタンの回路原理図を示し、GPIOは、ラズベリーパイのIOポートである。図2aに示すように、機能選択ボタンB1、録音ボタンB2、前へボタンB3、次へボタンB4、記録ボタンB5がそれぞれケーシングの両側に設けられる。
本実施例では、機能選択ボタンB1によって、教学モード、自律学習モード、高頻度ワード学習モード及び記録ワード復習モードなどの各作動モードに入るように制御することができ、本実施例では、機能選択ボタンの一端がプルアップ抵抗を介して直流電源に接続され、且つラズベリーパイ中継ヘッダを介してラズベリーパイに対応するIOポートに接続され、他端が接地され、機能選択ボタンを押すと、ラズベリーパイに対応するIOポートは、ローレベル信号を受信し、本実施例では、機能選択ボタンを押すたびに、1つのモードを順に切り替え、5回押すと、教学モードに戻る。
本実施例では、録音ボタンB2によって録音機能を駆動でき、本実施例では、録音ボタンB2の一端がプルアップ抵抗を介して直流電源に接続され、且つラズベリーパイ中継ヘッダを介してラズベリーパイに対応するIOポートに接続され、他端が接地され、録音ボタンB2を押すと、ラズベリーパイに対応するIOポートがローレベル信号を受信し、ラズベリーパイは、対応するIOポートのローレベル信号を検出すると、録音機能を駆動し、音声入力ユニットすなわちマイクロホンから入力された語音情報を受信する。
本実施例では、前へボタンB3及び次へボタンB4の一端は、それぞれプルアップ抵抗を介して直流電源に接続され、且つそれぞれラズベリーパイ中継ヘッダを介してラズベリーパイに対応する2つのIOポートに接続され、他端は、接地され、高頻度ワードを学習し、記録ワードを復習するモードで、前へボタンB3、次へボタンB4によって、前に学習した/次に学習しようとする高頻度ワード又は記録ワードのうちの点字ワード情報に切り替えることができる。
本実施例では、記録ボタンB5によって、ラズベリーパイの記録機能を駆動でき、記録ボタンB5の一端は、プルアップ抵抗を介して直流電源に接続され、且つラズベリーパイ中継ヘッダを介してラズベリーパイに対応するIOポートに接続され、他端は、接地され、一対多教学、自律学習、高頻度ワード学習モードでは、記録ボタンB5によって、ラズベリーパイは、現在のワード及びその点字情報を記録する。
本実施例では、電源装置をさらに含み、電源装置は、入力電源、第1電源の電圧変換回路及び第2電源の電圧変換回路を含み、図5aに示すように、第1電源の電圧変換回路は、12V電圧を5V電圧に変換し、ラズベリーパイに給電する。図5bに示すように、第2電源の電圧変換回路は、第1電源の電圧変換回路で得られた5V電圧を3.3V電圧に変換し、入力電源は、電源アダプタに12V電圧を入力し、第1電源の電圧変換回路及び第2電源の電圧変換回路によって、それぞれ5V及び3.3Vに対応して変換した後、それぞれラズベリーパイ及びシングルチップマイクロコンピュータに対応して給電する。
本実施例の点字学習装置では、学習者は、語音再生ユニットを介して語音情報を埋込式制御システムに入力し、埋込式制御システムは、テキスト情報に変換し、テキスト情報は、ユーザ端末から受信された又は語音情報から変換されたものを含み、埋込式制御システムは、それを点字情報に変換し、次に点字学習板における昇降可能な凸点を介して表示し、これに基づいて、学習者は、教学学習及び自己学習などを行うことができ、本発明の点字学習装置によって、視覚障害者が点字をより速く且つより高効率に学習することを支援できる。また、埋込式制御システムは、点字学習板における昇降可能な凸点によって、異なる点字の英語、数字、声母及び韻母を表示でき、それにより、点字を構成する。
実施例2
本実施例は、実施例1に記載の点字学習装置の作動方法を開示し、図6に示すように、ステップは、S1~S3を含む。
S1において、埋込式制御システムにおけるラズベリーパイが音声入力ユニットから収集された語音情報に対して、語音認識技術によって語音情報認識を行い、且つ語音情報をテキスト情報に変換する。
本実施例では、機械学習の語音認識技術を用い、ユーザが自己学習すべきワードの録音を認識して文字に変換し、具体的には、先ずフーリエ変換を用い音波を分解し、各帯域に含まれるエネルギーを重ね、LSTMに入力し、LSTMニューラルネットワークは、音声を対応する音節にマッピングし、音節を文字に構成する。
本実施例では、音声入力ユニットによって収集された語音情報の場合、埋込式制御システムは、バイドゥクラウドAPIを呼び出すことで語音認識を実現してもよく、具体的には以下のとおりである。
第1ステップにおいて、先ずバイドゥクラウドプラットフォームウエブサイトにログインし、APPIDを申し込む必要があり、使用するとき、プログラムは、1つの語音認識クラスvoice_recognition()を新規作成し、且つ関連するリソースを初期化する。
第2ステップにおいて、録音ボタンによって語音認識を起動し、語音認識が起動した後、クラスのmy_record()を呼び出して4秒録音し、録音ファイルのフォーマットがwavファイルであり、サンプリング周波数が16000であり、録音ファイルを処理するには、先ずwavファイルに対してフレーム分割を行い、各フレームの長さが25msであり、フレームシフトが10msであり、2つのフレーム間に25-10=15ms重なり、そして、分割後の録音に対してMFCC特徴抽出を行い、各フレームの録音データから13次元長さの固有値を計算し、最終的にこれらの固有値をニューラルネットワークに転送して計算して音素タイプに変換し、話した後、後続に呼び出すために、ファイルを埋込式制御システムのローカルに記憶する。
第3ステップにおいて、getToken()を呼び出してtokenを取得し、プラットフォームで取得されたapi key及びsecret keyをパラメータとして入力し、プラットフォームが正確なtokenを受信した場合のみ、サービスを提供し、そしてvoice_recognition()のspeech2text()関数を呼び出すことで録音ファイルをアップロードし、パラメータは、それぞれspeech_data、token、dev_pid=1537であり、speech_dataパラメータは、語音データであり、tokenは、get_tokenで得られたデータであり、dev_pidは、言語を指定するためのものであり、1537に対応する言語は、マンダリンであり、そしてクラウドは、データを受信し、認識完了後に埋込式制御システムのローカルに返送して認識結果を得、語音認識が完了した後、結果をvocie_recognitionのsentence属性に割り当て、また、語音再生ユニットを制御して認識結果をアナウンスさせることによって、ユーザが最終的に認識結果を確認し、語音認識が完了した後、結果をvocie_recognitionのsentence属性に割り当てるとともに、認識結果を語音アナウンスすることによって、ユーザが最終的に認識結果を確認することによって、プログラムが後続のtextrankアルゴリズム抽出キーワード及び点字表示などの動作を行うことに寄与する。
S2において、埋込式制御システムのラズベリーパイがテキスト情報を取得した後、テキスト情報からキーワードを抽出し、キーワードを点字情報に変換する。上記テキスト情報は、語音情報から変換されたものであってもよいし、外部、例えば、教師のユーザ端末から直接取得されたものであってもよい。本実施例では、ラズベリーパイは、Pythonをコア開発言語、C及びJavaをモジュール補助開発言語として用いることができ、開発の利便性、安定性及び高効性を大幅に向上させ、開発過程において関連する言語認識及び制御側のアルゴリズムを検索し、開発周期を縮むことに大幅に寄与する。
本実施例では、埋込式制御システムがテキスト情報を取得した後、品詞に基づいて分割しフィルタリングしてキーワードを抽出し、本実施例では、埋込式制御システムは、TextRankアルゴリズムに基づいてテキストからキーワードを抽出し、具体的な過程は、以下のとおりである。
jieba.analyse.textrank(sentence,topK=3,withWeight=False,allowPOS=(’ns’,’n’,’vn’,’v’))関数を用いてキーワードを抽出し、sentenceは、抽出対象の文であり、topKに値を割り当てることで、戻るキーワードの数を設定し、デフォルトとして3である。
キーワードの抽出には、主にTextRankアルゴリズムを用い、TextRankアルゴリズムは、図に基づいたテキスト用の並べ替えアルゴリズムであり、テキストを複数の構成ユニット(ワード、文)に分割して図モデルを作成し、投票メカニズムを用いテキスト中の重要な成分を並べ替え、単一のドキュメント自体の情報のみを用いれば、キーワードの抽出、要約を行うことができる。
TextRankの一般的なモデルは、有向加重グラフG=(V,E)であり、点集合V及び辺集合Eで構成され、Eは、V*Vのサブセットである。図における任意の2点のViとVjとの間の辺の加重は、wjiであり、与えられた点Viは、In(vi)がこの点へ指す点集合であり、Out(vj)が点Viが指す点集合である。
Figure 2022117926000002
jiは、辺の加重であり、すなわち、文間の類似度であり、wjkは、点VjとVkとの間の辺の加重である。
dは、減衰係数であり、値の範囲が0~1であり、図におけるある特定点からその他の任意点へ指す確率であり、一般的に、値が0.85である。TextRankアルゴリズムを用い図における各点のスコアを計算するとき、図における点に対して任意の初期値を指定し、収束するまで再帰計算し、すなわち、図における任意点の誤差率が与えられたリミット値より小さいと、収束でき、一般的に、このリミット値を0.0001とする。
以上の式に基づいて、収束するまで、各ノードの加重を反復伝播し、そしてノード加重を逆の順序で並べ替え、それにより、最も重要なT個のワードを候補キーワードとして取得し、オリジナルテキストにおいて最も重要なT個のワードをマーキングし、隣接するワードグループを形成すると、複数のワードを含むキーワードとして組み合わせる。
このアルゴリズムによってキーワードを抽出した後、キーワードをspiderクラスに伝送し、spider.search()を用いて関連情報をクローリングし、後続に語音アナウンスを行うために、データをカレントディレクトリでのnewsフォルダに記憶する。
S3において、埋込式制御システムにおけるラズベリーパイは、点字情報をシングルチップマイクロコンピュータに送信し、シングルチップマイクロコンピュータは、各組の点字凸点のうちの各昇降可能な凸点の位置に基づいて、各モータードライバによって各モーターの作動状態を対応制御し、それにより、点字学習板の各昇降可能な凸点を制御して昇降移動させ、対応する点字を形成する。本実施例では、キーワードが取得された後、埋込式制御システムは、点字編集ルールに基づいて対応する点字情報を得、それにより、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムは、昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示する。
本実施例では、表示すべき点字が漢字である場合、点字編集ルールに基づいて漢字を「声母」、「韻母」、「声調」からなる情報に変換し、次に点字に対応する編集ルールに基づいて「声母」、「韻母」、「声調」に対応する点字凸点を決定し、それにより、各点字ブロックにおける6つの昇降可能な凸点を対応する点字として表示するように制御する。例えば、表示すべき点字が「北」である場合、「声母」、「韻母」、「声調」からなる情報の「b」、「ei」、
Figure 2022117926000003
に変換し、点字に対応する編集ルールに基づいて「b」、「ei」、
Figure 2022117926000004
に対応する凸点を得、図7に示すように、次に、これに基づいて、各点字ブロックにおける6つの昇降可能な凸点を図7に示す点字に表示するように制御する。表示すべき点字がアルファベット、数字などである場合、点字に対応する編集ルールに基づいて、対応する点字凸点を決定し、それにより、各点字ブロックにおける6つの昇降可能な凸点を対応する点字として表示するように制御する。
本実施例では、埋込式制御システムは、機能選択ボタンによって、異なる作動モードに切り替えることができ、作動モードは、教学モード、自律学習モード、高頻度ワード学習モード及び記録ワード復習モードを含み、様々な作動モードで、本実施例の点字学習装置の作動プロセスは、以下のとおりである。
教学モードとは、埋込式制御システムがユーザ端末によって送信された点字教学内容、すなわち、対応する点字情報を受信し、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、学習者が結果の正否を検査するために、埋込式制御システムが語音再生ユニットを制御して点字に対応する内容をアナウンスさせることであり、教学モードで、教師のユーザ端末がローカルエリアネットワークにおいてSocketプロトコルによって、学習した点字内容を複数の学生端末点字学習装置における埋込式制御システムに同時に送信する。
自律学習モードとは、埋込式制御システムが録音指令を検出すると、音声入力ユニットによって収集された語音情報を取得し、語音認識技術を呼び出して語音情報をテキスト情報に変換し、次に品詞に基づいて分割しフィルタリングしてキーワードを抽出し、キーワードを点字情報に変換し、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、埋込式制御システムが点字情報に対応する内容に基づいて、公衆網にアクセスしてクローラー技術によって対応内容の意義解釈を取得し、次に、学習者が結果の正否を検査するために、語音再生ユニットを制御して点字に対応する内容及びその意義解釈をアナウンスさせることである。
高頻度ワード学習モードとは、高頻度ワードに対応する点字情報を埋込式制御システムのローカルにテキストフォーマットデータで予め記憶し、高頻度ワード学習モードに入るとき、埋込式制御システムが高頻度ワードアクセス指令を受信した後、各高頻度ワードの点字情報に対して、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、埋込式制御システムが高頻度ワード点字情報の対応内容に基づいて、公衆網にアクセスしてクローラー技術によって対応内容の意義解釈を取得し、次に、学習者が結果の正否を検査するために、語音再生ユニットを制御して点字に対応する内容及びその意義解釈をアナウンスさせることである。
記録ワード復習モードとは、教学モード、自律学習モード、高頻度ワード学習モードで、埋込式制御システムが記録指令を受信するとき、現在表示するように制御する点字情報をテキストフォーマットデータでローカルに記憶し、記録ワード復習モードに入るとき、埋込式制御システムが記録ワードアクセス指令を受信した後、記録ワードの各々に対応する点字情報に対して、点字に対応する凸点を決定し、これに基づいて埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、埋込式制御システムが記録ワードの点字情報の対応内容に基づいて、公衆網にアクセスしてクローラー技術によって対応内容の意義解釈を取得し、次に、学習者が結果の正否を検査するために、語音再生ユニットを制御して点字に対応する内容及びその意義解釈をアナウンスさせることである。
上記実施例は、本発明の好ましい実施の形態であるが、本発明の実施の形態は、上記実施例に限定されず、本発明の精神実質及び原理から逸脱することなく行われる他の変更、修飾、置換、組み合わせや簡略化は、いずれも、等価置換形態であり、本発明の保護範囲に含まれる。

Claims (10)

  1. 音声入力ユニット、語音再生ユニット及び点字学習板を含み、
    音声入力ユニットは、埋込式制御システムに接続され、収集された語音情報を埋込式制御システムに送信し、
    前記埋込式制御システムは、点字学習板に接続され、受信された語音情報をテキスト情報に変換しテキスト情報を点字情報に変換し、点字情報に基づいて点字学習板を制御して昇降可能な凸点を介して点字を表示させ、
    前記埋込式制御システムは、語音再生ユニットに接続され、語音再生ユニットを制御し、点字学習板に表示された点字に対応する内容をアナウンスさせる、ことを特徴とする点字学習板。
  2. 前記埋込式システムは、ラズベリーパイ及びラズベリーパイに接続されるシングルチップマイクロコンピュータを含み、前記音声入力モジュール及び語音再生ユニットは、ラズベリーパイに接続され、点字学習板は、シングルチップマイクロコンピュータに接続される、ことを特徴とする請求項1に記載の点字学習装置。
  3. 前記点字学習板は、少なくとも3組の点字凸点を含み、各組の点字凸点は、6つの昇降可能な凸点を含み、各昇降可能な凸点は、それぞれ各昇降制御機構に設けられ、昇降制御機構を介して制御され、点字学習板が取り付けられるケーシングの外部まで上昇して延出したり、点字学習板が取り付けられるケーシングの内部まで降下して収縮したりし、
    各昇降制御機構は、それぞれ埋込式制御システムに接続され、埋込式制御システムによって作動状態が制御される、ことを特徴とする請求項1に記載の点字学習装置。
  4. 前記昇降可能な凸点は、ナットボタンキャップ、ナット、ボルト及びボルト固定部を含み、点字学習板が取り付けられるケーシングには、各昇降可能な凸点を取り付けるための昇降チャンネルが設けられ、
    昇降制御機構は、モーター及びモータードライバを含み、前記モーターは、モータードライバを介して埋込式制御システムに接続され、
    ナットがナットボタンキャップの内部に設けられ、ナットボタンキャップがナットを介してボルトに外嵌され、ボルトがボルト固定部に固定して取り付けられ、ボルト固定部がモーターの出力軸に外嵌され、モーターを介してボルト固定部を駆動回転し、ボルトを回転駆動し、
    ナットボタンキャップの外壁には、昇降チャンネルの長さ方向に沿って突起部分が設けられ、昇降可能な凸点が昇降チャンネルに設けられるとき、ナットボタンキャップの突起部分が昇降チャンネル内側壁の溝に位置する、ことを特徴とする請求項3に記載の点字学習装置。
  5. ユーザ端末をさらに含み、
    前記ユーザ端末は、無線通信ユニットを介して1つ又は複数の点字学習装置における埋込式制御システムに直接接続され、又は、前記ユーザ端末は、通信ユニットを介してサーバに接続され、サーバを介して1つ又は複数の点字学習装置における埋込式制御システムに接続される、ことを特徴とする請求項1に記載の点字学習装置。
  6. 埋込式制御システムに接続される機能選択ボタン、録音ボタン、前へボタン、次へボタン及び記録ボタンをさらに含む、ことを特徴とする請求項1に記載の点字学習装置。
  7. 埋込式制御システムが音声入力ユニットから収集された語音情報に対して、語音認識を行い、テキスト情報に変換するステップと、
    埋込式制御システムがテキスト情報を取得した後、テキスト情報からキーワードを抽出し、キーワードを点字情報に変換するステップと、
    埋込式制御システムが点字情報に基づいて、点字学習板の各昇降可能な凸点を制御して昇降移動させ、対応する点字を形成するステップと、
    埋込式制御システムが語音再生ユニットを制御し、点字学習板に表示された点字に対応する内容をアナウンスさせるステップとを含む、ことを特徴とする請求項1~6のいずれかに記載の点字学習装置の作動方法。
  8. 埋込式制御システムは、音声入力ユニット収集の語音情報を受信すると、語音認識技術によって語音情報をテキスト情報に変換し、
    埋込式制御システムは、テキスト情報を取得した後、品詞に基づいて分割しフィルタリングしてキーワードを抽出し、且つ対応する点字情報に変換し、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムは、昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示する、ことを特徴とする請求項7に記載の点字学習装置の作動方法。
  9. 機能選択ボタンによって作動モードを切り替えるステップをさらに含み、作動モードは、教学モード、自律学習モード、高頻度ワード学習モード及び記録ワード復習モードを含み、
    教学モードとは、埋込式制御システムがユーザ端末によって送信された点字教学内容、すなわち、対応する点字情報を受信し、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、学習者が結果の正否を検査するために、埋込式制御システムが語音再生ユニットを制御して点字に対応する内容をアナウンスさせることであり、
    自律学習モードとは、埋込式制御システムが録音指令を検出すると、音声入力ユニットによって収集された語音情報を取得し、語音認識技術を呼び出して語音情報をテキスト情報に変換し、次に品詞に基づいて分割しフィルタリングしてキーワードを抽出し、キーワードを点字情報に変換し、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、埋込式制御システムが点字情報に対応する内容に基づいて、公衆網にアクセスしてクローラー技術によって対応内容の意義解釈を取得し、次に、学習者が結果の正否を検査するために、語音再生ユニットを制御して点字に対応する内容及びその意義解釈をアナウンスさせることであり、
    高頻度ワード学習モードとは、高頻度ワードに対応する点字情報を埋込式制御システムのローカルにテキストフォーマットデータで予め記憶し、高頻度ワード学習モードに入るとき、埋込式制御システムが高頻度ワードアクセス指令を受信した後、各高頻度ワードの点字情報に対して、点字に対応する凸点を決定し、これに基づいて、埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、埋込式制御システムが高頻度ワード点字情報の対応内容に基づいて、公衆網にアクセスしてクローラー技術によって対応内容の意義解釈を取得し、次に、学習者が結果の正否を検査するために、語音再生ユニットを制御して点字に対応する内容及びその意義解釈をアナウンスさせることであり、
    記録ワード復習モードとは、教学モード、自律学習モード、高頻度ワード学習モードで、埋込式制御システムが記録指令を受信するとき、現在表示するように制御する点字情報をテキストフォーマットデータでローカルに記憶し、記録ワード復習モードに入るとき、埋込式制御システムが記録ワードアクセス指令を受信した後、記録ワードの各々に対応する点字情報に対して、点字に対応する凸点を決定し、これに基づいて埋込式制御システムが昇降制御機構を介して点字学習板における各昇降可能な凸点の昇降動作を制御し、点字学習機が取り付けられるケーシングの昇降可能な凸点を突出させることで、対応する点字を表示し、また、埋込式制御システムが記録ワードの点字情報の対応内容に基づいて、公衆網にアクセスしてクローラー技術によって対応内容の意義解釈を取得し、次に、学習者が結果の正否を検査するために、語音再生ユニットを制御して点字に対応する内容及びその意義解釈をアナウンスさせることである、ことを特徴とする請求項7に記載の点字学習装置の作動方法。
  10. 音声入力ユニットによって収集された語音情報に対して、埋込式制御システムがバイドゥクラウドAPIを呼び出すことで語音認識を行い、具体的には、
    第1ステップにおいて、先ずバイドゥクラウドプラットフォームウエブサイトにログインし、APPIDを申し込み、使用するとき、プログラムは、語音認識クラスvoice_recognition()を新規作成し、且つ関連リソースを初期化し、
    第2ステップにおいて、録音ボタンによって語音認識を起動し、語音認識が起動した後、クラスのmy_record()を呼び出して4秒録音し、録音ファイルのフォーマットがwavファイルであり、サンプリング周波数が16000であり、録音ファイルを処理するには、先ずwavファイルに対してフレーム分割を行い、各フレームの長さが25msであり、フレームシフトが10msであり、2つのフレーム間に25-10=15ms重なり、そして、分割後の録音に対してMFCC特徴抽出を行い、各フレームの録音データから13次元長さの固有値を計算し、最終的にこれらの固有値をニューラルネットワークに転送して計算して音素タイプに変換し、話した後、後続に呼び出すために、ファイルを埋込式制御システムのローカルに記憶し、
    第3ステップにおいて、getToken()を呼び出してtokenを取得し、プラットフォームで取得されたapi key及びsecretkeyをパラメータとして入力し、プラットフォームが正確なtokenを受信した場合のみ、サービスを提供し、そしてvoice_recognition()のspeech2text()関数を呼び出すことで録音ファイルをアップロードし、パラメータは、それぞれ、speech_data、token、dev_pid=1537であり、speech_dataパラメータは、語音データであり、tokenは、get_tokenで得られたデータであり、dev_piは、言語を指定するためのものであり、1537に対応する言語は、マンダリンであり、そしてクラウドは、データを受信し、認識完了後に埋込式制御システムのローカルに返送して認識結果を得、語音認識が完了した後、結果をvocie_recognitionのsentence属性に割り当て、また、語音再生ユニットを制御して認識結果をアナウンスさせることによって、ユーザが最終的に認識結果を確認し、
    埋込式制御システムは、TextRankアルゴリズムに基づいて、テキストからキーワードを抽出し、キーワードを取得した後、埋込式制御システムは、点字編集ルールに基づいて対応する点字情報を取得し、それにより点字に対応する凸点を決定する、ことを特徴とする請求項7に記載の点字学習装置の作動方法。
JP2021139981A 2021-02-01 2021-08-30 点字学習装置及び作動方法 Active JP7055508B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110136673.X 2021-02-01
CN202110136673.XA CN112767792A (zh) 2021-02-01 2021-02-01 盲文学习装置及工作方法

Publications (2)

Publication Number Publication Date
JP7055508B1 JP7055508B1 (ja) 2022-04-18
JP2022117926A true JP2022117926A (ja) 2022-08-12

Family

ID=75704450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021139981A Active JP7055508B1 (ja) 2021-02-01 2021-08-30 点字学習装置及び作動方法

Country Status (2)

Country Link
JP (1) JP7055508B1 (ja)
CN (1) CN112767792A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113317630A (zh) * 2021-05-20 2021-08-31 江苏谷德运维信息技术有限公司 一种大数据教学资料互通用终端设备
CN115938197B (zh) * 2023-01-12 2024-06-25 汕头大学 一种盲文显示装置及显示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4324449B2 (ja) * 2003-11-11 2009-09-02 株式会社クレオ 点字学習支援プログラム、点字学習支援方法、および点字学習支援装置
JP2007196470A (ja) * 2006-01-25 2007-08-09 Seiko Epson Corp テープ作成装置
KR101087640B1 (ko) * 2009-08-05 2011-11-30 한국과학기술원 촉감 제시장치를 이용한 점자 교육 상호작용 시스템 및 그 방법
KR101999281B1 (ko) * 2017-09-26 2019-10-01 최한솔 점자 학습을 위한 사용자 단말기 및 그의 동작 방법
CN210722032U (zh) * 2019-08-19 2020-06-09 长兴视氪科技有限公司 一种明文转盲文的盲文学习机

Also Published As

Publication number Publication date
CN112767792A (zh) 2021-05-07
JP7055508B1 (ja) 2022-04-18

Similar Documents

Publication Publication Date Title
US12033621B2 (en) Method for speech recognition based on language adaptivity and related apparatus
JP2022117926A (ja) 点字学習装置及び作動方法
CN107992195A (zh) 一种教学内容的处理方法、装置、服务器及存储介质
KR102012968B1 (ko) 인터렉션 로봇의 제어 방법 및 제어 서버
KR102056330B1 (ko) 통역장치 및 그 방법
CN101577059A (zh) 支持多语种的语言学习系统
EP3550449A1 (en) Search method and electronic device using the method
CN114328852A (zh) 一种文本处理的方法、相关装置及设备
JP2019508824A (ja) 音声コンバーター
US20200004768A1 (en) Method for processing language information and electronic device therefor
Priya et al. Indian and English language to sign language translator-an automated portable two way communicator for bridging normal and deprived ones
Srivastava et al. A smart learning assistance tool for inclusive education
CN109272983A (zh) 用于亲子教育的双语切换装置
Gayathri et al. Sign language recognition for deaf and dumb people using android environment
Gatti et al. Voice-controlled artificial handspeak system
CN201025562Y (zh) 一种便携式智能语言学习机
CN209625781U (zh) 用于亲子教育的双语切换装置
Abbas et al. Pakistan sign language translation tool in educational setting: teachers perspective
CN214152169U (zh) 盲文学习装置
KR20010095941A (ko) 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한상호 대화 언어 학습 시스템
Rauf et al. Urdu language learning aid based on lip syncing and sign language for hearing impaired children
CN204990296U (zh) 一种基于fpga的语音手势转换装置
CN107203367A (zh) 一种智能机器人与移动应用交互方法
Angkananon et al. Designing mobile web solutions for interaction scenarios involving disabled people
CN201084284Y (zh) 一种汉语手写掌上电脑

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210830

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220330

R150 Certificate of patent or registration of utility model

Ref document number: 7055508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150