JP2021033368A - 読み上げ装置 - Google Patents
読み上げ装置 Download PDFInfo
- Publication number
- JP2021033368A JP2021033368A JP2019149047A JP2019149047A JP2021033368A JP 2021033368 A JP2021033368 A JP 2021033368A JP 2019149047 A JP2019149047 A JP 2019149047A JP 2019149047 A JP2019149047 A JP 2019149047A JP 2021033368 A JP2021033368 A JP 2021033368A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- voice
- user
- speaker
- operation input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 64
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims description 102
- 239000000284 extract Substances 0.000 claims description 5
- 239000011521 glass Substances 0.000 description 33
- 230000006870 function Effects 0.000 description 31
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 22
- 239000000758 substrate Substances 0.000 description 18
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 208000010415 Low Vision Diseases 0.000 description 10
- 230000004303 low vision Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001589086 Bellapiscis medius Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 206010013932 dyslexia Diseases 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Character Discrimination (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
げ方法に関する。
<構成>
図1Aは、読み上げシステム1に係る装着具100を装着しているユーザの外観例を示す図である。また、図1Bは、装着具100を用いて撮像を行い、読み上げを行っている様子を示す外観例を示す図である。また、図2は、読み上げシステム1のシステム構成例を示す図である。
図3A及び3Bは、コントローラ150の外観図である。図3Aに示すように、コントローラ150は直方体状に形成されている。したがって、コントローラ150の各面は矩形(長方形)に形成されている。なお、本コントローラ150の各面は必ずしも矩形でなくてもよく、設計やデザインに応じて曲線や曲面が含まれても良い。
図6は、読み上げシステム1に係るデータのデータ構成例を示す図である。
ここから、読み上げシステム1の動作について説明する。まず、図7に示すシーケンス図を用いて、読み上げシステム1の全体的な動作を説明した後に、装着具100及びサーバ200の詳細な動作をそれぞれ、図8及び図9のフローチャートを用いて説明する。
読み上げシステム1は、撮像画像に含まれる文字を認識して音声にして出力することができる。このとき、読み上げシステム1においては、読み上げ音声について、スロー再生や、一次停止、リプレイ等の操作をユーザが行うことができるので、ユーザは、各々の好みにより聞きやすいように音声を再生することができる。したがって、ユーザにとって利便性の高い読み上げシステムを提供することができる。また、読み上げシステム1においては、撮像画像から読み上げ音声を生成する処理を実行している間は、処理中であることを示す音声を報知することで、ユーザ10に状況を認識させることができる。
上記実施の形態に係る読み上げシステムは、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
(1) 上記実施の形態においては、コントローラ150を用いて音声を出力することとしたが、ウェアラブルグラス110にスピーカーを備えて、出力部156は、当該スピーカーから読み上げ音声を出力することとしてもよい。このように構成することで、イヤホン130を装着することを苦痛とするユーザであっても、顔の近くで読み上げ音声を聞くことができる。
(2) 上記実施の形態においては、装着具100として、ウェアラブルグラス110と、イヤホン130と、コントローラ150とを含み、それぞれ別の機器として構成する例を示した。しかし、これはその限りではなく、ウェアラブルグラス110と、イヤホン130と、コントローラ150とは一体に成形されてもよい。即ち、ウェアラブルグラス110は、イヤホン130の音声を出力する機能の代替としてスピーカーを備え、コントローラ150が有する機能を保持してもよい。例えば、ウェアラブルグラス110のテンプル部分を中空構造とし、その内部に、コントローラ150のプロセッサやメモリ、通信モジュール等を搭載する構成としてもよい。そして、ウェアラブルグラス110のテンプルあるいはリムの外装側に音声再生制御や、撮像指示のための各種のボタンを配することとしてもよい。
(3) 上記実施の形態においては、装着具100とサーバ200とを別の機器として説明したが、装着具100は、サーバ200が有する機能(抽出部及び変換部の機能)を備えることとしてもよい。例えば、コントローラ150にサーバ200が有する機能を実現するチップを備える構成にしてもよい。このように構成すれば、装着具100はスタンドアローンで読み上げシステムを構築することができる。また、撮像画像の送信及び読み上げ音声の受信に係るレイテンシを抑制することができる。
(4) 上記実施の形態においては、撮像画像から文字を抽出する範囲について予め定めておくこととしたが、これはその限りではない。例えば、ウェアラブルグラス110にユーザの目を撮像するカメラを設けて、視線方向を検出し、その視線方向を中心とした所定範囲を撮像画像に当てはめ、その所定範囲内の文字を検出するように構成してもよい。例えば、ウェアラブルグラス110は、撮像部111が撮像した第1撮像画像と、ユーザの目を撮像した第2撮像画像とをコントローラ150に伝達し、コントローラ150は、第1撮像画像と第2撮像画像とを、サーバ200に送信する。サーバ200の抽出部231は、第2撮像画像からユーザ10の視線方向を特定し、特定した視線方向を含む所定の範囲を特定し、第1撮像画像においてその所定の範囲内に対応する箇所から文字を抽出するように構成してもよい。
(5) 上記実施の形態においては、コントローラ150に対する撮像指示の入力を受け付けて、撮像部111が撮像を行うこととしたが、撮像のトリガはこれに限るものではない。例えば、ウェアラブルグラス110又はコントローラ150にマイクを備え、そのマイクでユーザの発する音声を取得する。そして、ユーザが発した特定の言葉に基づいて撮像を行ってもよい。即ち、音声入力による撮像を行ってもよい。
(6) 上記実施の形態においては、入力部154は、コントローラ150に設ける構成を示したが、これはその限りではなく、ケーブル140の途上に設けられてもよい。
(7) 上記実施の形態においては、特に記載していないが、読み上げシステム1は、読み上げ音声の言語を設定できる設定部を備えることとしてもよい。そして、抽出部231が抽出した文字を設定部に設定された言語に翻訳する翻訳部を備え、変換部232は、翻訳部が翻訳した文字を音声に変換することとしてもよい。この構成を備えることで、読み上げシステム1は、書かれている文字の通訳システムとして機能することができ、弱視者に限らず、異国のユーザにとっても有用なシステムとすることができる。
(8) 上記実施の形態においては、特に説明していないが、抽出部231は、撮像画像から文字を抽出する範囲を撮像画像全体ではなく、所定の範囲内にとどめてもよい。図10は、撮像画像700の一例を示しており、抽出部231は、この撮像画像700のうち、所定の範囲710内のみを文字を抽出する範囲としてもよい。あるいは、所定の範囲710を優先的に、文字を抽出する範囲としてもよい。優先的に文字を抽出する範囲とするとは、当該範囲内をまず文字を抽出する範囲とし、所定の範囲710内から文字を抽出できなかった場合に所定の範囲710外から文字を抽出する処理を行うことをいう。
(9) 上記実施の形態においては、特に記載しなかったが、サーバ200は、ユーザ10が保持するPC等の情報処理装置に、過去ログとして、対応する読み上げ音声情報320を送信する構成を備えてもよい。当該構成により、ユーザ10はいつでも過去の読み上げ音声を聞くことができるようになる。
(10) 上記実施の形態においては、装着具100の動作として詳細には説明していないが、撮像部111は、逐次撮像を行い、得られた撮像画像に文字が含まれているか否かを検出することとしてよい。そして、文字が含まれていることを検出した場合に、その旨をコントローラ150に伝達し、制御部155は、ユーザ10にそのときの正面方向に文字が存在することを認識させるための音声を報知してよい。そうすると、ユーザ10は、そのタイミング、入力部154に対して撮像指示を入力することができる。この構成を備えることで、ユーザ10が弱視者、特に、盲目であった場合など、文字が存在することも視認できないような場合に、ユーザ10に文字の存在を認識させることができ、ユーザ10にとって、利便性の高い読み上げシステム1を提供することができる。
(11) 上記実施の形態においては、特に記載していないが、撮像部111は、ユーザ(ウェアラブルグラス110)の置かれている環境に応じて撮像条件を変えてもよい。例えば、ウェアラブルグラス110は、各種のセンサ(例えば、照度センサなど)を備え、露光時間や画角を変更することとしてもよい。
(12) 上記実施の形態においては、特に記載していないが、サーバ200が画像から文字を抽出できなかったり、抽出した文字を音声に変換できなかったり、画像に文字が含まれていなかった場合には、エラー信号を装着具100に送信し、装着具100はこれを受けてエラーを示す音声を出力部156から出力することとしてもよい。また、エラー音や上記実施の形態に示した変換中であることを示す音声の他、例えば、装着具100を起動したときの起動音や、撮像部111が撮像を行ったときの撮像音(シャッター音)、待機中を示す音、ユーザが処理のキャンセルの入力を行ったときのキャンセル音など各種の音を記憶部153に記憶しておき、制御部155は装着具100の状態に応じて対応する音を出力部156から出力させることとしてもよい。また、通信部152が通信できない(ネットワークと接続できない)場合に、その旨を示す音声を出力部156から出力することとしてもよい。このように各種の状態に応じた音を出力する構成をとることで、装着具100は、装置の状態を音のみでユーザに通知することができる。
(13) 上記実施の形態においては、特に記載していないが、サーバ200は、撮像画像から文字を抽出した箇所や、文字を抽出した範囲の撮像画像に対する割合に応じて生成する読み上げ音声の態様を変更することとしてもよい。
(14) 上記実施の形態においては、送信データ310は、ユーザID311と、撮像画像情報312と、撮像時間情報313とが対応付けられていることとしているが、これ以外にも各種の情報が対応付けられていてよい。例えば、上記補足に示したように、装着具100が存在する箇所を示す位置情報や、装着具100の姿勢を特定し得るジャイロセンサや加速度センサ等のセンシングデータの情報も対応付けられていてもよい。
(15) 上記実施の形態においては、読み上げシステム1が音声の読み上げを実行する手法として、読み上げシステム1を構成する各機能部として機能するプロセッサ(制御部155、制御部230)が読み上げプログラム等を実行することにより、読み上げ処理を実行することとしているが、これは装置に集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路を組み込むことによって実現してもよい。また、これらの回路は、1または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を1つの集積回路により実現されることとしてもよい。LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSIなどと呼称されることもある。すなわち、図12に示すように、読み上げシステム1を構成する装着具100及びサーバ200における各機能部は、物理的な回路により実現されてもよい。即ち、図12に示すように、装着具100は、撮像回路111aと通信I/F回路112aとを備えるウェアラブルグラス110と、イヤホン130と、通信I/F回路151aと、通信回路152aと、記憶回路153aと、入力回路154aと、制御回路155aと、出力回路156aとから構成されてよく、上記実施の形態において対応する各機能部と同様の機能を有することとしてよい。そして、同様に、サーバ200も、通信回路210aと、記憶回路220aと、抽出回路231a及び変換回路232aとを含む制御回路230aとから構成されてよい。
(16) 上記実施の形態及び各補足に示した構成は、適宜組み合わせることとしてもよい。
100 装着具
110 ウェアラブルグラス
111 撮像部
112 通信I/F
130 イヤホン
150 コントローラ
151 通信I/F
152 通信部
153 記憶部
154 入力部
155 制御部
156 出力部
200 サーバ
210 通信部
220 記憶部
230 制御部
231 抽出部
232 変換部
1501 シャッターボタン
1502 スピーカー
1504 バッテリ
1505 第1の基板ユニット
1506 第2の基板ユニット
SH 音声通過孔
EP 露出孔
Claims (3)
- ユーザが身に着けて使用する装着具に備えられ、前記ユーザの正面方向を撮像する撮像部と、
前記撮像部が撮像した画像から文字を抽出する抽出部と、
前記抽出部が抽出した文字を音声に変換する変換部と、
前記装着具に備えられ、前記音声を発するスピーカーと、
前記装着具に備えられ、前記ユーザからの操作入力を受け付ける1又は複数の操作入力部と、
前記装着具に備えられ、前記1又は複数の操作入力部によって受け付けられた前記ユーザからの操作入力に基づいて、前記スピーカーから発せられる音声の再生制御を行う制御部と、
前記スピーカー、前記1又は複数の操作入力部及び前記制御部を保持する筐体部と、を有し、
前記筐体部は、前記スピーカーが前記音声を発する方向に設けられた板状の壁部を有し、前記壁部に、前記スピーカーが発した前記音声が通過する音声通過孔及び前記1又は複数の操作入力部のうちの1の操作入力部を外方に露出する露出孔が形成されていることを特徴とする読み上げ装置。 - 前記1の操作入力部は、前記ユーザからの前記撮像部に対する操作入力を受け付けることを特徴とする請求項1に記載の読み上げ装置。
- 前記筐体部は、前記スピーカーと通信を行う通信部を保持し、
前記筐体部の前記壁部は、長方形に形成され、
前記スピーカー及び前記1の操作入力部は、前記壁部の長手方向に沿って並んで配され、
前記スピーカー及び前記バッテリは、前記壁部の短手方向に沿って並んで配され、
前記スピーカー及び前記通信部は、前記壁部の壁面に垂直な方向において重なって配されていることを特徴とする請求項1又は2に記載の読み上げ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019149047A JP2021033368A (ja) | 2019-08-15 | 2019-08-15 | 読み上げ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019149047A JP2021033368A (ja) | 2019-08-15 | 2019-08-15 | 読み上げ装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021033368A true JP2021033368A (ja) | 2021-03-01 |
Family
ID=74678348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019149047A Pending JP2021033368A (ja) | 2019-08-15 | 2019-08-15 | 読み上げ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021033368A (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001318594A (ja) * | 2000-05-11 | 2001-11-16 | Kumamoto Technopolis Foundation | 視覚障害者用歩行支援システムおよび情報記録媒体 |
JP2002219142A (ja) * | 2001-01-25 | 2002-08-06 | Hiroo Mine | 視覚障害者ガイド器 |
JP2008085548A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | 撮像装置、撮像方法 |
CN102937751A (zh) * | 2011-08-16 | 2013-02-20 | 江苏万新光学有限公司 | 一种具有文字读取朗读功能的专用眼镜 |
JP2013174898A (ja) * | 2013-04-10 | 2013-09-05 | Sony Corp | 撮像表示装置、撮像表示方法 |
JP2016194612A (ja) * | 2015-03-31 | 2016-11-17 | 株式会社ニデック | 視覚認識支援装置および視覚認識支援プログラム |
-
2019
- 2019-08-15 JP JP2019149047A patent/JP2021033368A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001318594A (ja) * | 2000-05-11 | 2001-11-16 | Kumamoto Technopolis Foundation | 視覚障害者用歩行支援システムおよび情報記録媒体 |
JP2002219142A (ja) * | 2001-01-25 | 2002-08-06 | Hiroo Mine | 視覚障害者ガイド器 |
JP2008085548A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | 撮像装置、撮像方法 |
CN102937751A (zh) * | 2011-08-16 | 2013-02-20 | 江苏万新光学有限公司 | 一种具有文字读取朗读功能的专用眼镜 |
JP2013174898A (ja) * | 2013-04-10 | 2013-09-05 | Sony Corp | 撮像表示装置、撮像表示方法 |
JP2016194612A (ja) * | 2015-03-31 | 2016-11-17 | 株式会社ニデック | 視覚認識支援装置および視覚認識支援プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10582328B2 (en) | Audio response based on user worn microphones to direct or adapt program responses system and method | |
US10178292B2 (en) | Wearable apparatus with wide viewing angle image sensor | |
US20180124497A1 (en) | Augmented Reality Sharing for Wearable Devices | |
US20170105622A1 (en) | Monitoring pulse transmissions using radar | |
JP6808751B2 (ja) | 表示装置 | |
WO2019039591A4 (ja) | 読み上げシステム及び読み上げ方法 | |
US20160249141A1 (en) | System and method for improving hearing | |
CN104509129A (zh) | 耳机方位的自动检测 | |
KR20150109229A (ko) | 글래스 타입 단말기 | |
JP2015156610A (ja) | 電子機器、および電源制御方法 | |
KR102340794B1 (ko) | 웨어러블 디바이스 및 이에 대한 제어 방법 | |
US10321217B2 (en) | Vibration transducer connector providing indication of worn state of device | |
CN115211144A (zh) | 助听器系统和方法 | |
WO2021103990A1 (zh) | 显示方法、电子设备及系统 | |
KR20140000110U (ko) | 인터페이스 전송처리 기능을 가진 안경 | |
CN114079838A (zh) | 一种音频控制方法、设备及系统 | |
CN109257490A (zh) | 音频处理方法、装置、穿戴式设备及存储介质 | |
KR20180066827A (ko) | 헤드 마운트 디스플레이 장치 | |
JP2021033368A (ja) | 読み上げ装置 | |
JP2014027459A (ja) | 通信装置、通信方法及び通信プログラム | |
US20200241656A1 (en) | Information processing apparatus, information processing method, and program | |
JP6766403B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム | |
US10088894B2 (en) | Implanted devices and related user interfaces | |
JP2020067955A (ja) | 表示システム、デバイス、プログラム、及びデバイスの制御方法 | |
US11561404B2 (en) | Mount device to which an external electronic device can be coupled so as to slope |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240507 |