JP2002207732A - 翻訳装置 - Google Patents
翻訳装置Info
- Publication number
- JP2002207732A JP2002207732A JP2001002940A JP2001002940A JP2002207732A JP 2002207732 A JP2002207732 A JP 2002207732A JP 2001002940 A JP2001002940 A JP 2001002940A JP 2001002940 A JP2001002940 A JP 2001002940A JP 2002207732 A JP2002207732 A JP 2002207732A
- Authority
- JP
- Japan
- Prior art keywords
- translation
- user
- character
- image
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Cameras In General (AREA)
Abstract
(57)【要約】
【課題】 利用者が見たもの（看板／標識／メニュー等
の文章または所望の単語）をそのまま手軽に翻訳するこ
とができる翻訳装置を提供する。 【解決手段】 検出／指示部１２は、ユーザが「ウィン
ク」等したことを検出すると翻訳開始を指示する。ま
ず、画像処理部１３は、ユーザの視線方向を撮影する画
像入力部１１（例えば眼鏡に取付けられたＣＣＤカメ
ラ）の撮影画像の取込み、文字部分の画像の切出しを行
う。文字認識部１４は、この文字部分画像を文字認識す
る。翻訳部１５は、この文字を翻訳する。そして、翻訳
結果を、表示出力部１６で表示、または／及び、音声合
成部１７と音声出力部１８で音声出力する。
の文章または所望の単語）をそのまま手軽に翻訳するこ
とができる翻訳装置を提供する。 【解決手段】 検出／指示部１２は、ユーザが「ウィン
ク」等したことを検出すると翻訳開始を指示する。ま
ず、画像処理部１３は、ユーザの視線方向を撮影する画
像入力部１１（例えば眼鏡に取付けられたＣＣＤカメ
ラ）の撮影画像の取込み、文字部分の画像の切出しを行
う。文字認識部１４は、この文字部分画像を文字認識す
る。翻訳部１５は、この文字を翻訳する。そして、翻訳
結果を、表示出力部１６で表示、または／及び、音声合
成部１７と音声出力部１８で音声出力する。
Description
【０００１】
【発明の属する技術分野】本発明は、どのような場所に
ある文字でも（例えば看板、標識等）利用者が見たもの
をそのまま手軽に翻訳できる翻訳装置に関する。
ある文字でも（例えば看板、標識等）利用者が見たもの
をそのまま手軽に翻訳できる翻訳装置に関する。
【０００２】
【従来の技術】現在、様々な小型（携帯型）の翻訳ツー
ルが存在する。辞書機能を搭載したモバイル、電子辞書
・手帳が一般的であるが、スキャナを搭載し、印刷等さ
れた文字上をなぞることで、その翻訳結果が表示される
タイプもある。
ルが存在する。辞書機能を搭載したモバイル、電子辞書
・手帳が一般的であるが、スキャナを搭載し、印刷等さ
れた文字上をなぞることで、その翻訳結果が表示される
タイプもある。
【０００３】
【発明が解決しようとする課題】ところで、例えば海外
等に行った場合、例えば街中等であるいは車を運転中
に、看板、標識等の意味を知りたい場合がある。このよ
うな場合、当然、上記スキャナでは読取れない。また、
上記辞書機能を搭載したモバイル等では、看板／標識等
に書かれている文字を見て、これを逐一手入力しなけれ
ばならず、煩わしいし、特に車で運転中にそのようなこ
とをすれば危険である。また、車で移動中の場合、書か
れている文字を読み切れないうちに通過してしまう場合
もある。
等に行った場合、例えば街中等であるいは車を運転中
に、看板、標識等の意味を知りたい場合がある。このよ
うな場合、当然、上記スキャナでは読取れない。また、
上記辞書機能を搭載したモバイル等では、看板／標識等
に書かれている文字を見て、これを逐一手入力しなけれ
ばならず、煩わしいし、特に車で運転中にそのようなこ
とをすれば危険である。また、車で移動中の場合、書か
れている文字を読み切れないうちに通過してしまう場合
もある。
【０００４】また、海外等でレストランのメニューの単
語が分からない場合や外国語で書かれた文献中に分から
ない単語／文章がある場合にも、上述した従来の装置で
は煩わし手操作が必要である（スキャナを利用するもの
は、煩わしさは軽減されるが、やはり多少の手操作は必
要であり、またスキャナの読取り範囲以上の大きさの文
字は読取ることができない）。
語が分からない場合や外国語で書かれた文献中に分から
ない単語／文章がある場合にも、上述した従来の装置で
は煩わし手操作が必要である（スキャナを利用するもの
は、煩わしさは軽減されるが、やはり多少の手操作は必
要であり、またスキャナの読取り範囲以上の大きさの文
字は読取ることができない）。
【０００５】もっと感覚的に、利用者が見ていて、知り
たいと思ったらそのまま即座に翻訳できたら、より便利
である。本発明の課題は、利用者が見たもの（任意の単
語（文章））をそのまま手軽に翻訳することができる翻
訳装置を提供することである。
たいと思ったらそのまま即座に翻訳できたら、より便利
である。本発明の課題は、利用者が見たもの（任意の単
語（文章））をそのまま手軽に翻訳することができる翻
訳装置を提供することである。
【０００６】
【課題を解決するための手段】本発明による認識装置
は、ユーザの視線方向を撮影する画像入力手段と、ユー
ザの特定の挙動または操作を検出して、該検出結果に応
じて指示を出力する検出／指示手段と、該検出／指示手
段からの指示に応じて、前記画像入力手段による撮影画
像を取込み、該撮影画像中の文字部分を切出す画像処理
手段と、該画像処理手段により切出された文字部分の文
字認識を行う文字認識手段と、該文字認識手段により認
識された文字を翻訳する翻訳手段と、該翻訳手段による
翻訳結果を表示または音声出力する出力手段とを有する
ように構成する。
は、ユーザの視線方向を撮影する画像入力手段と、ユー
ザの特定の挙動または操作を検出して、該検出結果に応
じて指示を出力する検出／指示手段と、該検出／指示手
段からの指示に応じて、前記画像入力手段による撮影画
像を取込み、該撮影画像中の文字部分を切出す画像処理
手段と、該画像処理手段により切出された文字部分の文
字認識を行う文字認識手段と、該文字認識手段により認
識された文字を翻訳する翻訳手段と、該翻訳手段による
翻訳結果を表示または音声出力する出力手段とを有する
ように構成する。
【０００７】上記構成の認識装置によれば、ユーザは、
自分が見ている方向に、意味が分からない文章／単語を
見つけたとき（例えば、看板、標識、メニュー、書籍等
の文章／単語）、そのまま特定の挙動または操作を行う
だけで、その意味を知ることができる。
自分が見ている方向に、意味が分からない文章／単語を
見つけたとき（例えば、看板、標識、メニュー、書籍等
の文章／単語）、そのまま特定の挙動または操作を行う
だけで、その意味を知ることができる。
【０００８】特に、例えば、前記ユーザの特定の挙動は
ウィンクであり、前記検出／指示手段は、前記利用者が
ウィンクしたときの筋電または振動を検出するように構
成することにより、ハンズフリーで利用できるので、特
に車を運転中のように両手が塞がっている場合にも何ら
問題なく使用できる。
ウィンクであり、前記検出／指示手段は、前記利用者が
ウィンクしたときの筋電または振動を検出するように構
成することにより、ハンズフリーで利用できるので、特
に車を運転中のように両手が塞がっている場合にも何ら
問題なく使用できる。
【０００９】また、例えば、前記画像入力手段は眼鏡の
フレームまたはユーザの頭部に装着する任意のフレーム
に装着されたＣＣＤカメラである。また、例えば、前記
出力手段は、腕時計型の表示装置、または自動車のウィ
ンドウに投影する表示装置、あるいは音声合成／音声出
力装置である。
フレームまたはユーザの頭部に装着する任意のフレーム
に装着されたＣＣＤカメラである。また、例えば、前記
出力手段は、腕時計型の表示装置、または自動車のウィ
ンドウに投影する表示装置、あるいは音声合成／音声出
力装置である。
【００１０】更に、例えば、前記文字認識手段は、前記
認識した文字を表示させ、該文字の中でユーザにより選
択／指示された単語を前記翻訳手段に渡して翻訳させ
る。このように、ユーザの視界の中の文章／文字の中
で、ユーザがその意味を知りたい単語のみを翻訳／表示
させることもできる。その際、上記選択／指示は、フリ
ーハンドで行うこともできる。すなわち、上記手操作以
外の特定の挙動（上記ウィンク等）を検出する検出／指
示手段を用いて、選択／指示を行うようにもできる。
認識した文字を表示させ、該文字の中でユーザにより選
択／指示された単語を前記翻訳手段に渡して翻訳させ
る。このように、ユーザの視界の中の文章／文字の中
で、ユーザがその意味を知りたい単語のみを翻訳／表示
させることもできる。その際、上記選択／指示は、フリ
ーハンドで行うこともできる。すなわち、上記手操作以
外の特定の挙動（上記ウィンク等）を検出する検出／指
示手段を用いて、選択／指示を行うようにもできる。
【００１１】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態について説明する。尚、本明細書において、
「眼鏡」とは、眼鏡形状であるものは全て含まれ、例え
ばサングラスや、所謂伊達眼鏡（度が入っていない眼
鏡）等も含まれる。また、小型カメラの設置方法は、眼
鏡に取付けるものに限らず、利用者が見る（顔を向け
る）方向を撮影できる形態であれば何でもよい（例え
ば、帽子、ヘッドホン（ヘッドセット）等に組込んでも
よいし、耳（片耳）に装着するアタッチメントを用いて
もよい；とにかくユーザの頭部に装着する任意のフレー
ムに取付けまたは組込みするものであればよい）が、以
下の説明では眼鏡に取付けるタイプを中心に説明してい
くものとする（このタイプの翻訳装置を、翻訳眼鏡カメ
ラと呼ぶ）。
実施の形態について説明する。尚、本明細書において、
「眼鏡」とは、眼鏡形状であるものは全て含まれ、例え
ばサングラスや、所謂伊達眼鏡（度が入っていない眼
鏡）等も含まれる。また、小型カメラの設置方法は、眼
鏡に取付けるものに限らず、利用者が見る（顔を向け
る）方向を撮影できる形態であれば何でもよい（例え
ば、帽子、ヘッドホン（ヘッドセット）等に組込んでも
よいし、耳（片耳）に装着するアタッチメントを用いて
もよい；とにかくユーザの頭部に装着する任意のフレー
ムに取付けまたは組込みするものであればよい）が、以
下の説明では眼鏡に取付けるタイプを中心に説明してい
くものとする（このタイプの翻訳装置を、翻訳眼鏡カメ
ラと呼ぶ）。
【００１２】図１は、本例による翻訳装置の概略システ
ム構成図である。本例による翻訳装置１０は、画像入力
部１１、検出／指示部１２、画像処理部１３、文字認識
部１４、及び翻訳部１５を有し、更に翻訳結果を出力す
る構成として表示出力部１６（ディスプレイ）、または
／及び、音声合成部１７と音声出力部１８（スピーカー
又はイヤホン）より成る構成を有する。
ム構成図である。本例による翻訳装置１０は、画像入力
部１１、検出／指示部１２、画像処理部１３、文字認識
部１４、及び翻訳部１５を有し、更に翻訳結果を出力す
る構成として表示出力部１６（ディスプレイ）、または
／及び、音声合成部１７と音声出力部１８（スピーカー
又はイヤホン）より成る構成を有する。
【００１３】画像入力部１１は、カメラ（ＣＣＤカメラ
等）であり、例えば上記翻訳眼鏡カメラの場合、メガネ
のフレームに取付けまたは組込まれる。これは、ユーザ
が見ている（顔を向けた）方向を撮影するように取付け
または組込む。検出／指示部１２は、ユーザが翻訳した
い文字を含む画像を取込みたいとき（シャッターを切り
たいとき等）、または文字（文章）中の特定の単語のみ
を翻訳させたい場合に、主に、ユーザの目の特定の開閉
パターン（ウィンク等）を検出して（または、音声によ
る指示を検出して）、これをトリガとして、画像処理部
１３に指示して画像の取込み及び画像処理（画像中の文
字部分の切出し）を行なわせたり、翻訳部１５に指示し
て特定の単語のみを翻訳させたりする。
等）であり、例えば上記翻訳眼鏡カメラの場合、メガネ
のフレームに取付けまたは組込まれる。これは、ユーザ
が見ている（顔を向けた）方向を撮影するように取付け
または組込む。検出／指示部１２は、ユーザが翻訳した
い文字を含む画像を取込みたいとき（シャッターを切り
たいとき等）、または文字（文章）中の特定の単語のみ
を翻訳させたい場合に、主に、ユーザの目の特定の開閉
パターン（ウィンク等）を検出して（または、音声によ
る指示を検出して）、これをトリガとして、画像処理部
１３に指示して画像の取込み及び画像処理（画像中の文
字部分の切出し）を行なわせたり、翻訳部１５に指示し
て特定の単語のみを翻訳させたりする。
【００１４】あるいは、上記のようにハンズフリーとは
ならないが、手操作による指示を行うようにしても、本
例の手法では単純に所望のタイミングでスイッチ（ボタ
ン）を押す操作だけで済むので、検出／指示部１２はス
イッチ（ボタン）等であってもよい。
ならないが、手操作による指示を行うようにしても、本
例の手法では単純に所望のタイミングでスイッチ（ボタ
ン）を押す操作だけで済むので、検出／指示部１２はス
イッチ（ボタン）等であってもよい。
【００１５】ここでは、ユーザの目の特定の開閉パター
ン（ウィンク等）を検出する方式について、詳細に説明
する。まず、人間の目の開閉に伴って、目の周辺に「筋
電」と呼ばれる電位が発生することが知られている。よ
って、この「筋電」を検出することで、目の開閉を判断
することができる。
ン（ウィンク等）を検出する方式について、詳細に説明
する。まず、人間の目の開閉に伴って、目の周辺に「筋
電」と呼ばれる電位が発生することが知られている。よ
って、この「筋電」を検出することで、目の開閉を判断
することができる。
【００１６】ここで、人間は意図しなくても自然に「ま
ばたき」を行うものであるが、「まばたき」は通常両目
をほぼ同時に開閉するものである。よって、このとき両
目の「筋電」を測定すると、ほぼ同じレベルなるので、
両者の差を算出すると、非常に小さな値となる。
ばたき」を行うものであるが、「まばたき」は通常両目
をほぼ同時に開閉するものである。よって、このとき両
目の「筋電」を測定すると、ほぼ同じレベルなるので、
両者の差を算出すると、非常に小さな値となる。
【００１７】一方、「ウィンク」等のように片目だけを
意図的に開閉した場合には、両目の「筋電」を測定し
て、両者の差を算出すると、上記「まばたき」の場合に
比べ、大きな値となる。よって、左右どちらかの目（あ
るいは左右どちらでもよい）を「ウィンク」したことを
検出した場合に（上記両者の差が大きい場合に）、翻訳
処理を開始するように予め設定しておけば、煩わしい手
操作の必要なく、自分が見ているものの中で看板、標
識、メニュー、書籍等に意味が知りたい単語を見つけた
ら、「ウィンク」するだけで、直ちにその意味を知るこ
とができる。また、左右の「ウィンク」でそれぞれ違う
意味（指示内容）を持たせたり、両者を組み合わせてよ
り多くの指示を出せるようにしてもよい。
意図的に開閉した場合には、両目の「筋電」を測定し
て、両者の差を算出すると、上記「まばたき」の場合に
比べ、大きな値となる。よって、左右どちらかの目（あ
るいは左右どちらでもよい）を「ウィンク」したことを
検出した場合に（上記両者の差が大きい場合に）、翻訳
処理を開始するように予め設定しておけば、煩わしい手
操作の必要なく、自分が見ているものの中で看板、標
識、メニュー、書籍等に意味が知りたい単語を見つけた
ら、「ウィンク」するだけで、直ちにその意味を知るこ
とができる。また、左右の「ウィンク」でそれぞれ違う
意味（指示内容）を持たせたり、両者を組み合わせてよ
り多くの指示を出せるようにしてもよい。
【００１８】ここで、「筋電」の検出方法について説明
する。「筋電」は、筋肉の運動に由来して２点間に発生
する電気信号（電位）であり、目の周辺（特に目の外
側）の１地点と他の任意の１地点とにより観測できる。
そこで、例えば眼鏡のフレームの任意の１地点をアース
とし、眼鏡の掛けたときに目の周辺の（皮膚の）１地点
に接触するような検出部を設けることで、「筋電」を検
出できる。
する。「筋電」は、筋肉の運動に由来して２点間に発生
する電気信号（電位）であり、目の周辺（特に目の外
側）の１地点と他の任意の１地点とにより観測できる。
そこで、例えば眼鏡のフレームの任意の１地点をアース
とし、眼鏡の掛けたときに目の周辺の（皮膚の）１地点
に接触するような検出部を設けることで、「筋電」を検
出できる。
【００１９】また、「ウィンク」を検出する構成は、上
記「筋電」を検出するものに限らない。例えば、両目の
周辺に振動ピックアップを配置して（皮膚に接触させ
て）、目の開閉により生じる振動を検出するようにして
もよい。画像処理部１３は、上記検出／指示部１２から
指示を受けると、画像入力部１１で撮影した画像（静止
画像）を取込んで、例えば既存の手法を利用して、当該
画像データの中で文字部分以外の背景等を消去すること
で、文字部分を切出す。
記「筋電」を検出するものに限らない。例えば、両目の
周辺に振動ピックアップを配置して（皮膚に接触させ
て）、目の開閉により生じる振動を検出するようにして
もよい。画像処理部１３は、上記検出／指示部１２から
指示を受けると、画像入力部１１で撮影した画像（静止
画像）を取込んで、例えば既存の手法を利用して、当該
画像データの中で文字部分以外の背景等を消去すること
で、文字部分を切出す。
【００２０】文字認識部１４は、画像処理部１３により
切出された文字部分の画像データを入力して、文字認識
する。次に、上記文字（文章）の中で、翻訳部１５で翻
訳させる単語を選択／指定させる。勿論、文章全てを翻
訳させるようにしてもよい。
切出された文字部分の画像データを入力して、文字認識
する。次に、上記文字（文章）の中で、翻訳部１５で翻
訳させる単語を選択／指定させる。勿論、文章全てを翻
訳させるようにしてもよい。
【００２１】この単語の選択／指定も、検出／指示部１
２により、基本的にはフリーハンドで行なえる。これに
ついて以下に説明する。まず、表示出力部１６（ディス
プレイ）に、上記文字認識部１４で認識した文字を表示
するが、その際、各単語の各文字の上に、例えば図２
（ｂ）に示すような印（丸印）を付けて表示する。図２
（ｂ）は、図２（ａ）に示す画像を撮影して、その左上
の看板の文字部分を切出して文字認識した例であり、そ
の文章は、「regency splendour by the sea」である。
２により、基本的にはフリーハンドで行なえる。これに
ついて以下に説明する。まず、表示出力部１６（ディス
プレイ）に、上記文字認識部１４で認識した文字を表示
するが、その際、各単語の各文字の上に、例えば図２
（ｂ）に示すような印（丸印）を付けて表示する。図２
（ｂ）は、図２（ａ）に示す画像を撮影して、その左上
の看板の文字部分を切出して文字認識した例であり、そ
の文章は、「regency splendour by the sea」である。
【００２２】各文字の上に表示される丸印は、例えば文
章の先頭（regencyのr）から順番に、順次、表示が変わ
る（例えば、白黒で表示する場合は、白から黒（当然、
逆でもよい）に変わり、カラーの場合には何等かの特定
の色に変わる）ようになっている。図２（ｂ）に示す例
は、順次、白から黒に変わる（次の文字が黒になるとき
には白に戻る）例であり、現在、“splendour”の“s”
の位置まで“黒”が移動している状態を示している。例
えば、このときに、ユーザが「ウィンク」等すると、単
語“splendour ”が選択されたものとして（図２
（ｃ））、この単語のみを翻訳部１５に渡して翻訳さ
せ、翻訳結果を表示出力部１６で表示させる（図２
（ｄ））。あるいは、翻訳結果を、音声合成部１７によ
り音声合成処理した後、音声出力部１８より音声出力さ
せるようにしてもよい（図２（ｅ））。
章の先頭（regencyのr）から順番に、順次、表示が変わ
る（例えば、白黒で表示する場合は、白から黒（当然、
逆でもよい）に変わり、カラーの場合には何等かの特定
の色に変わる）ようになっている。図２（ｂ）に示す例
は、順次、白から黒に変わる（次の文字が黒になるとき
には白に戻る）例であり、現在、“splendour”の“s”
の位置まで“黒”が移動している状態を示している。例
えば、このときに、ユーザが「ウィンク」等すると、単
語“splendour ”が選択されたものとして（図２
（ｃ））、この単語のみを翻訳部１５に渡して翻訳さ
せ、翻訳結果を表示出力部１６で表示させる（図２
（ｄ））。あるいは、翻訳結果を、音声合成部１７によ
り音声合成処理した後、音声出力部１８より音声出力さ
せるようにしてもよい（図２（ｅ））。
【００２３】尚、このように各単語の各文字毎に丸印を
表示させる例に限るわけではなく、例えば各単語に１つ
の丸（例えばregency に対して１つの丸）を表示させる
ようにしてもよいし、丸に限らず何等かの記号を表示す
るようにしてもよいし、文字自体の表示状態（白黒、カ
ラー等を変えたり、太線にする等）を順次変えるように
してもよい。要は、現在どの単語を選択させるようにし
ているのかが分かるように表示すればよい。
表示させる例に限るわけではなく、例えば各単語に１つ
の丸（例えばregency に対して１つの丸）を表示させる
ようにしてもよいし、丸に限らず何等かの記号を表示す
るようにしてもよいし、文字自体の表示状態（白黒、カ
ラー等を変えたり、太線にする等）を順次変えるように
してもよい。要は、現在どの単語を選択させるようにし
ているのかが分かるように表示すればよい。
【００２４】また、最後の単語の最後の文字まで“黒”
が移動するまで「ウィンク」しなかった場合には、文章
全体を翻訳するものとしてもよい。また、単語を選択で
きるモードと、必ず文章全体を翻訳するモードとを用意
し、ユーザが所望のモードを選択できるようにしてもよ
い。
が移動するまで「ウィンク」しなかった場合には、文章
全体を翻訳するものとしてもよい。また、単語を選択で
きるモードと、必ず文章全体を翻訳するモードとを用意
し、ユーザが所望のモードを選択できるようにしてもよ
い。
【００２５】翻訳部１５は、例えば既存の翻訳ソフトを
利用して、上記文字認識部１４から渡された単語または
文章を翻訳する。表示出力部１６（ディスプレイ）の形
態は、様々である。例えば、図３（ｃ）に示すような腕
時計型ディスプレイ方式とする。
利用して、上記文字認識部１４から渡された単語または
文章を翻訳する。表示出力部１６（ディスプレイ）の形
態は、様々である。例えば、図３（ｃ）に示すような腕
時計型ディスプレイ方式とする。
【００２６】ここで、図３（ａ）〜（ｃ）は、車を運転
中に看板の文字を翻訳させて表示させる例である。図３
（ａ）は、ユーザが、車を運転中に看板を見掛けた様子
を示し、この看板の文字の意味を知りたいと思ったユー
ザは、図３（ｂ）に示すように「ウィンク」する。する
と、上述した処理により看板の文字（Ｗａｔｃｈ）が翻
訳されて、図３（ｃ）に示すように腕時計型ディスプレ
イに翻訳結果が表示される。
中に看板の文字を翻訳させて表示させる例である。図３
（ａ）は、ユーザが、車を運転中に看板を見掛けた様子
を示し、この看板の文字の意味を知りたいと思ったユー
ザは、図３（ｂ）に示すように「ウィンク」する。する
と、上述した処理により看板の文字（Ｗａｔｃｈ）が翻
訳されて、図３（ｃ）に示すように腕時計型ディスプレ
イに翻訳結果が表示される。
【００２７】尚、図３には、画像入力部１１の一例であ
るＣＣＤカメラと表示出力部１６の一例である腕時計型
ディスプレイのみ示しているが、特に図示していないだ
けであり、メガネには検出／指示部１２が取付けられて
おり、また画像処理部１３、文字認識部１４、及び翻訳
部１５を有する小型の情報処理装置が存在する（例え
ば、ポケットの中に入っている）。この小型の情報処理
装置と、画像入力部１１／検出／指示部１２／表示出力
部１６／音声合成部１７と音声出力部１８とは、有線ま
たは無線により接続されており、上述した各種データの
送受信を行なっている。
るＣＣＤカメラと表示出力部１６の一例である腕時計型
ディスプレイのみ示しているが、特に図示していないだ
けであり、メガネには検出／指示部１２が取付けられて
おり、また画像処理部１３、文字認識部１４、及び翻訳
部１５を有する小型の情報処理装置が存在する（例え
ば、ポケットの中に入っている）。この小型の情報処理
装置と、画像入力部１１／検出／指示部１２／表示出力
部１６／音声合成部１７と音声出力部１８とは、有線ま
たは無線により接続されており、上述した各種データの
送受信を行なっている。
【００２８】あるいは、現在、車の速度メータをフロン
トガラスに投影して、ユーザがフロントガラスに映るメ
ータを見る方式の自動車が存在する。これを利用して、
翻訳結果をフロントガラスに投影して、ユーザに知らせ
るようにする表示形態であってもよい。
トガラスに投影して、ユーザがフロントガラスに映るメ
ータを見る方式の自動車が存在する。これを利用して、
翻訳結果をフロントガラスに投影して、ユーザに知らせ
るようにする表示形態であってもよい。
【００２９】この一例を図４（ｂ）に示す。但し、図４
（ａ）、（ｂ）は、翻訳せずに、文字認識した文字を表
示または音声出力する例を示す。ここで、本例は、必ず
上記のように翻訳するものとは限らない。例えば、図４
（ａ）に示すような道路標識（地名等）である場合、翻
訳する必要はないかもしれない。しかしながら、車は短
時間で道路標識を通過してしまう為、道路標識を読み切
れなかったり、あるいは自分が読んだ通りで正しいか否
か気になる場合がある。このような場合、図４（ｂ）の
ように道路標識の内容を表示または音声出力すれば、ユ
ーザが、その内容を再確認したり、読み落としを補った
りできる点で便利である。
（ａ）、（ｂ）は、翻訳せずに、文字認識した文字を表
示または音声出力する例を示す。ここで、本例は、必ず
上記のように翻訳するものとは限らない。例えば、図４
（ａ）に示すような道路標識（地名等）である場合、翻
訳する必要はないかもしれない。しかしながら、車は短
時間で道路標識を通過してしまう為、道路標識を読み切
れなかったり、あるいは自分が読んだ通りで正しいか否
か気になる場合がある。このような場合、図４（ｂ）の
ように道路標識の内容を表示または音声出力すれば、ユ
ーザが、その内容を再確認したり、読み落としを補った
りできる点で便利である。
【００３０】尚、翻訳するかそのまま表示／音声出力す
るかは、予め、設定により切換え可能としておけばよ
い。また、表示出力部１６（ディスプレイ）の他の形態
としては、例えば、利用者が眼鏡を掛けたときにその略
前方・近傍に見えるような小型のディスプレイを、眼鏡
（そのフレーム等）に装着する形態であってもよい。
るかは、予め、設定により切換え可能としておけばよ
い。また、表示出力部１６（ディスプレイ）の他の形態
としては、例えば、利用者が眼鏡を掛けたときにその略
前方・近傍に見えるような小型のディスプレイを、眼鏡
（そのフレーム等）に装着する形態であってもよい。
【００３１】あるいは、将来的には、眼鏡のレンズの一
部に液晶ディスプレイ機能を備える構成とすることも考
えられる。また、眼鏡に文字レーザー照射装置１９を取
付け、看板やメニュー等の空白スペースに翻訳結果を投
影させるようにしてもよい。図５にその一例のイメージ
を示す。図５は、メニューを翻訳して、翻訳結果をメニ
ュー上の空白スペースに投影させた例である。例えば、
メニューの“Poisoons”を上述した方法により読取り／
翻訳して、翻訳結果“魚”をメニュー上の空白スペース
に投影している。
部に液晶ディスプレイ機能を備える構成とすることも考
えられる。また、眼鏡に文字レーザー照射装置１９を取
付け、看板やメニュー等の空白スペースに翻訳結果を投
影させるようにしてもよい。図５にその一例のイメージ
を示す。図５は、メニューを翻訳して、翻訳結果をメニ
ュー上の空白スペースに投影させた例である。例えば、
メニューの“Poisoons”を上述した方法により読取り／
翻訳して、翻訳結果“魚”をメニュー上の空白スペース
に投影している。
【００３２】以上、表示／音声出力の方法として、幾つ
かの形態を挙げたが、本発明はこれら表示／音声出力の
形態に限定されるものではなく、翻訳結果や、文字認識
した文字をユーザに知らせることができるものであれば
何でもよい。また、カメラにおいてズーム機能や追跡入
力機能を備えることで、翻訳したい文字をより確実に捉
らえることができるようにしてもよい。
かの形態を挙げたが、本発明はこれら表示／音声出力の
形態に限定されるものではなく、翻訳結果や、文字認識
した文字をユーザに知らせることができるものであれば
何でもよい。また、カメラにおいてズーム機能や追跡入
力機能を備えることで、翻訳したい文字をより確実に捉
らえることができるようにしてもよい。
【００３３】
【発明の効果】以上、詳細に説明したように、本発明の
翻訳装置によれば、利用者が見たもの（その中の文章ま
たは所望の単語）をそのまま手軽に翻訳して表示／音声
出力またはそのまま表示／音声出力することができる。
特に、ユーザの特定の目の動き、例えばウィンクの筋電
または振動パターンを検出して、これを翻訳指示トリガ
または単語選択指示とすることで、煩わしい手操作の必
要なく、ハンズフリーで利用できる。
翻訳装置によれば、利用者が見たもの（その中の文章ま
たは所望の単語）をそのまま手軽に翻訳して表示／音声
出力またはそのまま表示／音声出力することができる。
特に、ユーザの特定の目の動き、例えばウィンクの筋電
または振動パターンを検出して、これを翻訳指示トリガ
または単語選択指示とすることで、煩わしい手操作の必
要なく、ハンズフリーで利用できる。
【図１】翻訳装置の概略システム構成図である。
【図２】（ａ）〜（ｅ）は、任意の単語を選択させて翻
訳する様子を示す図である。
訳する様子を示す図である。
【図３】（ａ）〜（ｃ）は、車を運転中に看板の文字を
翻訳させて表示させる例である。
翻訳させて表示させる例である。
【図４】（ａ）、（ｂ）は、文字認識した文字を翻訳せ
ずに音声出力、表示する例（更に車のフロントウィンド
ウに文字を投影する表示方式）を示す図である。
ずに音声出力、表示する例（更に車のフロントウィンド
ウに文字を投影する表示方式）を示す図である。
【図５】メニューを翻訳して、翻訳結果をメニュー上の
空白スペースに投影させたイメージを示す図である。
空白スペースに投影させたイメージを示す図である。
１０ 翻訳装置 １１ 画像入力部 １２ 検出／指示部 １３ 画像処理部 １４ 文字認識部 １５ 翻訳部 １６ 表示出力部 １７ 音声合成部 １８ 音声出力部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 3/00 ６０１ Ｇ０６Ｆ 3/00 ６０１ 3/16 ３４０ 3/16 ３４０Ｑ Ｇ１０Ｌ 13/00 Ｇ１０Ｌ 3/00 Ｑ
Claims (6)
- 【請求項１】 ユーザの視線方向を撮影する画像入力手
段と、 ユーザの特定の挙動または操作を検出して、該検出結果
に応じて指示を出力する検出／指示手段と、 該検出／指示手段からの指示に応じて、前記画像入力手
段による撮影画像を取込み、該撮影画像中の文字部分を
切出す画像処理手段と、 該画像処理手段により切出された文字部分の文字認識を
行う文字認識手段と、 該文字認識手段により認識された文字を翻訳する翻訳手
段と、 該翻訳手段による翻訳結果を表示または音声出力する出
力手段と、 を有することを特徴とする翻訳装置。 - 【請求項２】 前記ユーザの特定の挙動はウィンクであ
ることを特徴とする請求項１記載の翻訳装置。 - 【請求項３】 前記検出／指示手段は、前記利用者が
ウィンクしたときの筋電または振動を検出することを特
徴とする請求項２記載の翻訳装置。 - 【請求項４】 前記画像入力手段は眼鏡のフレームまた
はユーザの頭部に装着する任意のフレームに装着された
ＣＣＤカメラであることを特徴とする請求項１〜３の何
れかに記載の翻訳装置。 - 【請求項５】 前記出力手段は、腕時計型の表示装置、
または自動車のウィンドウに投影する表示装置、あるい
は音声合成／音声出力装置であることを特徴とする請求
項１〜４の何れかに記載の翻訳装置。 - 【請求項６】 前記文字認識手段は、前記認識した文字
を表示させ、該文字の中でユーザにより選択／指示され
た単語を前記翻訳手段に渡して翻訳させることを特徴と
する請求項１〜５の何れかに記載の翻訳装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001002940A JP2002207732A (ja) | 2001-01-10 | 2001-01-10 | 翻訳装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001002940A JP2002207732A (ja) | 2001-01-10 | 2001-01-10 | 翻訳装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002207732A true JP2002207732A (ja) | 2002-07-26 |
Family
ID=18871363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001002940A Pending JP2002207732A (ja) | 2001-01-10 | 2001-01-10 | 翻訳装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002207732A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007172378A (ja) * | 2005-12-22 | 2007-07-05 | Toyota Motor Corp | 注視対象物体特定装置 |
| JP2011118531A (ja) * | 2009-12-01 | 2011-06-16 | Brother Industries Ltd | ヘッドマウントディスプレイ |
| JP2013068620A (ja) * | 2011-09-23 | 2013-04-18 | Visteon Global Technologies Inc | 運転者が注目している外部の物体に関する情報を提供するための車両システムおよび方法 |
| JP2015125464A (ja) * | 2013-12-25 | 2015-07-06 | Kddi株式会社 | ウェアラブルデバイス |
| KR101584685B1 (ko) * | 2014-05-23 | 2016-01-13 | 서울대학교산학협력단 | 시청 데이터를 이용한 기억 보조 방법 |
| JP2016537710A (ja) * | 2013-10-14 | 2016-12-01 | ノキア テクノロジーズ オサケユイチア | 偏位平面手首入力 |
| JP2017507425A (ja) * | 2014-02-21 | 2017-03-16 | ジャガー ランド ローバー リミテッドＪａｇｕａｒ Ｌａｎｄ Ｒｏｖｅｒ Ｌｉｍｉｔｅｄ | 車両に用いられるシステム |
| JP2017517106A (ja) * | 2014-05-12 | 2017-06-22 | エルジー ディスプレイ カンパニー リミテッド | 有機発光素子およびその製造方法 |
| WO2017221721A1 (ja) * | 2016-06-22 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
-
2001
- 2001-01-10 JP JP2001002940A patent/JP2002207732A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007172378A (ja) * | 2005-12-22 | 2007-07-05 | Toyota Motor Corp | 注視対象物体特定装置 |
| JP2011118531A (ja) * | 2009-12-01 | 2011-06-16 | Brother Industries Ltd | ヘッドマウントディスプレイ |
| JP2013068620A (ja) * | 2011-09-23 | 2013-04-18 | Visteon Global Technologies Inc | 運転者が注目している外部の物体に関する情報を提供するための車両システムおよび方法 |
| JP2016537710A (ja) * | 2013-10-14 | 2016-12-01 | ノキア テクノロジーズ オサケユイチア | 偏位平面手首入力 |
| JP2015125464A (ja) * | 2013-12-25 | 2015-07-06 | Kddi株式会社 | ウェアラブルデバイス |
| JP2017507425A (ja) * | 2014-02-21 | 2017-03-16 | ジャガー ランド ローバー リミテッドＪａｇｕａｒ Ｌａｎｄ Ｒｏｖｅｒ Ｌｉｍｉｔｅｄ | 車両に用いられるシステム |
| JP2017517106A (ja) * | 2014-05-12 | 2017-06-22 | エルジー ディスプレイ カンパニー リミテッド | 有機発光素子およびその製造方法 |
| US10074823B2 (en) | 2014-05-12 | 2018-09-11 | Lg Display Co., Ltd. | Organic light emtting device with short circuit preventing layer and method for manufacturing the same |
| KR101584685B1 (ko) * | 2014-05-23 | 2016-01-13 | 서울대학교산학협력단 | 시청 데이터를 이용한 기억 보조 방법 |
| WO2017221721A1 (ja) * | 2016-06-22 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| CN109313506A (zh) * | 2016-06-22 | 2019-02-05 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| EP3477434A4 (en) * | 2016-06-22 | 2019-05-08 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
| US10922043B2 (en) | 2016-06-22 | 2021-02-16 | Sony Corporation | Information processing device and information processing method for acquiring information associated with a target |
| CN109313506B (zh) * | 2016-06-22 | 2022-03-08 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5309448B2 (ja) | 表示装置、表示方法 | |
| JP4013100B2 (ja) | 電子カメラ | |
| US10490101B2 (en) | Wearable device, display control method, and computer-readable recording medium | |
| CN110326300B (zh) | 信息处理设备、信息处理方法及计算机可读存储介质 | |
| JP4449082B2 (ja) | 電子カメラ | |
| JP2010061265A (ja) | 人物検索登録システム | |
| JP6555272B2 (ja) | ウェアラブルデバイス、表示制御方法、及び表示制御プログラム | |
| JP4203863B2 (ja) | 電子カメラ | |
| JP6447636B2 (ja) | ウェアラブルデバイス、表示制御方法、及び表示制御プログラム | |
| JP2016208348A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| US10409324B2 (en) | Glass-type terminal and method of controlling the same | |
| KR20160001178A (ko) | 글래스 타입 단말기 및 이의 제어방법 | |
| JP2013210643A (ja) | 表示装置、表示方法 | |
| KR20200051591A (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
| JP6160654B2 (ja) | 表示装置、表示方法、プログラム | |
| CN114115515A (zh) | 用于帮助用户的方法和头戴式单元 | |
| JP2002207732A (ja) | 翻訳装置 | |
| CN111415421B (zh) | 虚拟物体控制方法、装置、存储介质及增强现实设备 | |
| EP4124073A1 (en) | Augmented reality device performing audio recognition and control method therefor | |
| KR20080033681A (ko) | 두부 장착식 디스플레이 장치의 시력 보조 방법 및 그 두부장착식 디스플레이 장치 | |
| JP2005173419A (ja) | 手話解釈装置 | |
| JP2019079469A (ja) | 作業支援装置、作業支援方法、作業支援プログラム及び頭部搭載型表示装置 | |
| WO2023058393A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| EP3882894B1 (en) | Seeing aid for a visually impaired individual | |
| US20240089362A1 (en) | Terminal Device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080122 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080520 |