JP2019212030A - 電子機器及び画像形成装置 - Google Patents

Abstract

【課題】聴覚障害者であっても表示言語の切り替えを容易に行えるようにする。【解決手段】表示部４７３に操作ガイダンスを複数の言語で表示可能な電子機器であって、カメラ３１と、手話の表現に対応付けて、当該手話を使用する地域で使用される言語を記憶する手話言語記憶部１０３と、カメラ３１で撮影された映像と手話言語記憶部１０３に記憶されている手話の表現とを照合し、映像が示す手話を使用する地域で使用される言語を特定する言語特定部１０４と、言語特定部１０４が特定した言語を表示言語に設定する言語設定部１０５と、言語設定部１０５で設定された表示言語で操作ガイダンスを表示部４７３に表示する制御部１００と、を備える。【選択図】図１

Description

本発明は、電子機器及び画像形成装置に関し、特に、表示部に操作ガイダンスを複数の言語で表示可能にする技術に関する。

コピー機、ファクシミリ、プリンター、又はこれら機器の複数の機能を兼ね備えた複合機等の電子機器では、表示部に操作ガイダンスを複数の言語（例えば、日本語、英語、ドイツ語、フランス語、スペイン語）で表示可能なものがある。また、電子機器には、ログインユーザー毎に表示言語を事前に登録された言語に切り替えるパーソナライズ機能を有するものが存在する。

特開２００４−１１０６１５号公報

電子機器が上記パーソナライズ機能を有していれば、表示言語をユーザーの得意な言語に自動で切り替えることができるが、当該パーソナライズ機能を有していない電子機器では、ログイン時に表示言語を自動で切り替えることはできない。また、表示言語をユーザー毎に事前登録していなければ、この機能を利用することはできない。

表示言語がユーザーの不得手な言語に設定されている場合、ユーザーは表示部に表示されている操作ガイダンスを理解するのが困難となる。また、ユーザーが操作ガイダンスを理解することができなければ、表示言語を切り替えるための操作方法が分からず、表示言語を独力で切り替えることはできない。

特に、ユーザーの不得手な言語で操作ガイダンスが表示されており、ユーザーが聴覚障害者である場合には、表示言語を切り替えるための操作方法を把握するのは簡単でなく、表示言語の切り替えは極めて困難と言える。上記の特許文献１に、聴覚障害者同士や聴覚障害者と健聴者とのコミュニケーションの向上を図ることを目的とした技術について記載されているが、表示言語の切り替えについては記載されていない。

本発明は、上記の事情に鑑みなされたものであり、聴覚障害者であっても表示言語の切り替えを容易に行えるようにすることを目的とする。

本発明の一局面に係る電子機器は、操作ガイダンスを複数の言語で表示可能な電子機器であって、表示部と、カメラと、異なる種類からなる各手話の表現と、当該各手話に対応付けて、手話を使用する地域で使用される言語とを記憶する手話言語記憶部と、前記カメラで撮影された映像と前記手話言語記憶部に記憶されている手話の表現とを照合して、前記映像が示す手話の表現を検出し、当該検出した表現の手話を使用する地域で使用される言語を特定する言語特定部と、前記言語特定部が特定した言語を表示言語に設定する言語設定部と、前記言語設定部で設定された前記表示言語からなる操作ガイダンスを前記表示部に表示する制御部と、を備える。

本発明の更なる一局面に係る電子機器は、作ガイダンスを複数の言語で表示可能な電子機器であって、表示部と、カメラと、言語特定サーバーと通信する通信部と、前記通信部を介して、前記カメラで撮影された映像を示す映像データを前記言語特定サーバーへ送信すると共に、前記言語特定サーバーから前記映像データに対応する言語を示す言語データを取得し、取得した前記言語データが示す言語を表示言語に設定する言語設定部と、前記言語設定部で設定された前記表示言語からなる操作ガイダンスを前記表示部に表示する制御部と、を備える。

また、本発明の一局面に係る画像形成装置は、上記電子機器と、記録媒体に画像を形成する画像形成部と、を備える。

本発明によれば、カメラで撮影された映像が示す手話を使用する地域で使用される言語で操作ガイダンスが表示部に表示される。例えば、操作ガイダンスが日本語で表示されていた場合に、ユーザーが米国で使用されている手話をカメラの前で行えば、操作ガイダンスの言語が日本語から英語へ切り替えられる。従って、聴覚障害者のコミュニケーション言語である手話の差異を利用することで、表示言語の切り替えを行うことができるので、聴覚障害者であっても、表示言語の切り替えを容易に行うことが可能となる。

本発明の第１実施形態に係る画像形成装置の主要内部構成を概略的に示した機能ブロック図である。 表示部に表示される操作画面の一例を示した図である。 表示部に表示される操作画面の一例を示した図である。 表示部に表示される操作画面の一例を示した図である。 表示部に表示される操作画面の一例を示した図である。 第１実施形態に係る画像形成装置の制御ユニットで行われる処理動作の一例を示したフローチャートである。

以下、本発明の一実施形態に係る電子機器及び画像形成装置について図面を参照して説明する。図１は、本発明の第１実施形態に係る電子機器の主要内部構成を概略的に示した機能ブロック図である。

第１実施形態に係る電子機器は、例えば、画像形成装置１であって、画像形成装置１は、例えば、コピー機能、プリンター機能、スキャン機能、及びファクシミリ機能のような複数の機能を兼ね備えた複合機である。画像形成装置１は、制御ユニット１０、原稿給送部６、原稿読取部５、画像形成部１２、定着部１３、給紙部１４、カメラ３１、人感センサー３２、操作部４７、及びネットワークインターフェイス部９１を備える。

画像形成装置１で原稿読取動作が行われる場合について説明する。原稿給送部６により搬送されてきた原稿、又は図略のコンタクトガラスに載置されている原稿の画像を、原稿読取部５が光学的に読み取り、そして画像データを生成する。原稿読取部５により生成された画像データは、図略の画像メモリー等に保存される。

画像形成装置１で画像形成動作が行われる場合について説明する。原稿読取動作により生成された画像データや、ネットワーク接続された外部装置としてのコンピューターから受信した画像データ等に基づいて、画像形成部１２が、給紙部１４から給紙される記録媒体としての記録紙にトナー像を形成する。

定着部１３は、画像形成部１２によりトナー像が形成された記録紙を加熱及び加圧して、トナー像を記録紙に定着させるものであり、定着処理が施された記録紙は図略の排出トレイに排出される。給紙部１４は、給紙カセットを備える。

カメラ３１は、被写体を撮影して映像データを生成する撮像機器である。カメラ３１は、操作部４７の近くに設けられている。人感センサー３２は、画像形成装置１の近くに存在するユーザーを検出する。人感センサー３２としては、例えば赤外線センサーが挙げられる。

操作部４７は、画像形成装置１が実行可能な各種動作及び処理について、操作者から、画像形成動作実行指示等の指示を受け付ける。操作部４７は、画像形成装置１に設けられてユーザーからの指示を受け付ける各種キーを有する。操作部４７は、操作者への操作案内等を表示する表示部４７３を備えている。

表示部４７３は、例えば、ＬＣＤ（liquid crystal display）等であり、タッチパネル機能を有している。操作者は、表示部４７３の画面に表示されるボタンやキーに触れて画像形成装置１を操作する。

ネットワークインターフェイス部９１は、ローカルエリア内、又はインターネット上の端末装置やサーバー等の外部装置２０と種々のデータの送受信を行うものである。なお、ネットワークインターフェイス部９１は、特許請求の範囲における通信部の一例である。

制御ユニット１０は、プロセッサー、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）等である。制御ユニット１０は、制御部１００と、操作受付部１０１と、操作ガイダンス記憶部１０２と、手話言語記憶部１０３と、言語特定部１０４と、言語設定部１０５とを備えている。

制御ユニット１０は、図示しないＨＤＤ（Hard Disk Drive）に記憶されている制御プログラムに従った上記プロセッサーによる動作により、制御部１００、操作受付部１０１、操作ガイダンス記憶部１０２、手話言語記憶部１０３、言語特定部１０４、及び言語設定部１０５として機能する。但し、これら制御部１００等は、制御ユニット１０による制御プログラムに従った動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。

制御部１００は、画像形成装置１の全体的な動作制御を司る。制御部１００は、原稿給送部６、原稿読取部５、画像形成部１２、定着部１３、給紙部１４、カメラ３１、人感センサー３２、操作部４７、及びネットワークインターフェイス部９１と接続され、これら各部の駆動制御等を行う。例えば、制御部１００は、操作受付部１０１が受け付けたユーザー操作に応じて、画像形成装置１の動作を制御する。

操作受付部１０１は、操作部４７を介したユーザーからの操作入力を受け付ける。例えば、操作受付部１０１は、操作部４７が備えるハードキーに対するユーザー操作を受け付け、更には、表示部４７３に表示されている操作画面に対するユーザー操作を、表示部４７３が有するタッチパネル機能により受け付ける。

操作ガイダンス記憶部１０２は、表示部４７３に表示される操作ガイダンス（例えば、表示画面を示す画像）を複数の言語（例えば、日本語、英語、ドイツ語、フランス語、スペイン語）それぞれで記憶する。制御部１００は、後で詳しく説明する言語設定部１０５で設定された言語で、操作ガイダンス記憶部１０２に記憶されている操作ガイダンスを表示部４７３に表示する。なお、言語設定部１０５が表示言語を設定していない場合には、制御部１００は、デフォルト設定された言語（例えば、日本語）で、操作ガイダンス記憶部１０２に記憶されている操作ガイダンスを表示部４７３に表示する。図２は、表示部４７３に表示される操作画面の一例を示した図である。操作画面Ｄ１には、日本語の操作ガイダンスが表示されている。

手話言語記憶部１０３は、異なる種類からなる各手話の表現と、当該各手話に対応付けて、手話を使用する地域で使用される言語とを記憶する。ここで、手話の表現とは、例えば、手話を行う際にジェスチャーで示される手の軌跡である。手話は世界共通ではなく、日本手話やアメリカ手話、ドイツ手話、フランス手話等がある。日本手話は日本で、アメリカ手話は主に米国やカナダで、ドイツ手話は主にドイツで、フランス手話は主にフランスやメキシコで使用される。

例えば、手話ジェスチャーＡがアメリカ手話であれば、手話ジェスチャーＡを使用する地域は主に米国やカナダの英語圏となり、当該地域で使用される言語は英語と言える。また、手話ジェスチャーＢがフランス手話であれば、手話ジェスチャーＢを使用する地域は主にフランスやメキシコとなり、当該地域で使用される言語はフランス語及びスペイン語と言える。

そのため、手話言語記憶部１０３は、異なる種類からなる各手話の表現を記憶すると共に、手話ジェスチャーＡ（手話の表現）に対応付けて「英語」を記憶し、手話ジェスチャーＢ（手話の表現）の表現に対応付けて「フランス語」及び「スペイン語」を記憶する。もし仮に、手話ジェスチャーＡがアメリカ手話であったとしても、手話ジェスチャーＡが日本手話としても用いられている場合には、手話言語記憶部１０３は、手話ジェスチャーＡの表現に対応付けて「英語」及び「日本語」を記憶する。

なお、手話言語記憶部１０３に、無制限に多くの手話の表現を記憶させることは、制御プログラムのデータ量増加、必要になる記憶容量の点等から現実的でないので、手話言語記憶部１０３に記憶させる情報としては、画像形成装置１の使用時にユーザーが用いると想定される手話表現、例えば複合機に関連する用語（例えば、コピーやプリント）の手話表現に限定するのが望ましい。例えば、コピーは日本手話では「左手を開いて手のひらを上に向けた状態で、右手の５指の指先を左手の甲につけて、下に引きながら指を閉じる」という表現になるので、手話言語記憶部１０３は、当該表現に対応付けて「日本語」を記憶する。

言語特定部１０４は、カメラ３１で撮影された映像と手話言語記憶部１０３に記憶されている手話の表現とを照合して、当該映像が示す手話の表現を検出し、当該検出した表現の手話を使用する地域で使用される言語を特定する。具体的には、言語特定部１０４は、既存のパターン認識技術を利用して、カメラ３１で撮影された映像から手や指の位置、形状、及び動き（すなわち、ハンドジェスチャー）を認識し、手話言語記憶部１０３に記憶されている手話の表現としての上記軌跡の中から、認識したハンドジェスチャーと一致するものを検出し、一致した手話の表現に対応付けて記憶されている言語を手話言語記憶部１０３から取得する。

例えば、カメラ３１で撮影された映像が「左手を開いて手のひらを上に向けた状態で、右手の５指の指先を左手の甲につけて、下に引きながら指を閉じる」という上記表現と一致する場合、言語特定部１０４は、当該映像が示す手話を使用する地域で使用される言語を「日本語」と特定する。

言語設定部１０５は、言語特定部１０４が特定した言語を表示言語に設定する。例えば、言語特定部１０４が、カメラ３１で撮影された映像が示す手話を使用する地域で使用される言語を「英語」と特定した場合、言語設定部１０５は、「英語」を表示言語に設定する。

制御部１００は、言語設定部１０５で設定された表示言語で操作ガイダンスを表示部４７３に表示する。例えば、言語設定部１０５が「英語」を表示言語に設定すると、制御部１００は、言語設定部１０５が設定した「英語」で、操作ガイダンス記憶部１０２に記憶されている操作ガイダンスを表示部４７３に表示する。

例えば、図２に示したように、表示部４７３に日本語の操作ガイダンスが表示されているときに、ユーザーがカメラ３１の前でアメリカ手話を行えば、図３に示すように、表示部４７３に英語の操作ガイダンスが表示されるようになる。図３は、表示部４７３に表示される操作画面の一例を示した図である。操作画面Ｄ２には、英語の操作ガイダンスが表示されている。

ところで、カメラ３１で撮影された映像が示す手話を使用する地域で使用される言語を１つに特定することができない場合が考えられる。例えば、フランス手話の場合、言語の候補はフランス語及びスペイン語となる。また、異なる種類の手話であったとしても、表現が一致する場合、言語を１つに特定することができない。

そこで、言語特定部１０４が、カメラ３１で撮影された映像が示す手話を使用する地域で使用される言語を１つに特定することができなかった場合に、言語設定部１０５は、表示言語に設定する言語の選択肢をユーザーに提示し、操作受付部１０１によって受け付けられたユーザーが選択した言語を表示言語に設定する。

図４は、表示部４７３に表示される操作画面の一例を示した図である。操作画面Ｄ３には、言語リストＬ１が表示されている。言語リストＬ１には、画像形成装置１でサポートされている全ての言語が提示されるようになっている。なお、言語リストＬ１で紹介する言語は、図４に示したように、それぞれの言語アルファベット等の文字で表記するのが望ましい。

また、別の実施形態としては、言語設定部１０５は、画像形成装置１でサポートされている全ての言語ではなく、カメラ３１で撮影された映像が示す手話を使用する地域で使用される言語だけを選択肢としてユーザーに提示するようにしてもよい。図５は、表示部４７３に表示される操作画面の一例を示した図である。操作画面Ｄ４には、言語リストＬ２が表示されている。

例えば、カメラ３１で撮影された映像が示す手話がフランス手話で、言語をフランス語及びスペイン語の２つに特定することができた場合、言語設定部１０５は、図５に示すように、フランス語及びスペイン語だけが表記された言語リストＬ２を表示部４７３に表示する。

次に、第１実施形態に係る画像形成装置１の制御ユニット１０で行われる処理動作の一例について、図６に示したフローチャートに基づいて説明する。なお、この処理動作は、人感センサー３２が人体を検知した時点で行われる処理動作である。

まず、制御部１００は、カメラ３１を起動させて、カメラ３１で撮影された映像が示す映像データを取得し（Ｓ１）、言語特定部１０４は、取得した映像データが示す映像と手話言語記憶部１０３に記憶されている手話の表現とを照合し（Ｓ２）、当該映像と一致する手話の表現が手話言語記憶部１０３に存在するか否かを判断する（Ｓ３）。

言語特定部１０４は、当該映像と一致する手話の表現が手話言語記憶部１０３に存在すると判断した場合（Ｓ３でＹＥＳ）、すなわち、上記映像が示す手話の表現を検出した場合、一致する手話の表現に対応付けて記憶されている言語を手話言語記憶部１０３から取得することで、当該映像が示す手話を使用する地域で使用される言語を特定する（Ｓ４）。更に、言語特定部１０４は、言語特定部１０４で特定された言語は１つであるか否かを判断する（Ｓ５）。

言語設定部１０５は、言語特定部１０４で特定された言語は１つであると判断した場合（Ｓ５でＹＥＳ）、当該特定した言語を表示言語に設定する（Ｓ６）。制御部１００は、言語設定部１０５で新たに設定された表示言語で操作ガイダンスを表示部４７３に表示することで、操作ガイダンスの言語を切り替え（Ｓ７）、カメラ３１の動作を停止させる（Ｓ８）。この後、処理は終了する。

一方、言語設定部１０５は、言語特定部１０４で特定された言語は１つでなく複数あると判断した場合（Ｓ５でＮＯ）、図４に例を示したように、言語リストＬ１を表示部４７３に表示して、言語の選択肢をユーザーに提示する（Ｓ９）。操作受付部１０１が、言語のユーザー選択を受け付けると（Ｓ１０でＹＥＳ）、言語設定部１０５は、操作受付部１０１によって受け付けられたユーザーが選択した言語を表示言語４７３に設定する（Ｓ１１）。制御部１００は、言語設定部１０５で新たに設定された表示言語で操作ガイダンスを表示部４７３に表示することで、操作ガイダンスの言語を切り替え（Ｓ７）、カメラ３１の動作を停止させる（Ｓ８）。この後、処理は終了する。

また、Ｓ３において、言語特定部１０４が、カメラ３１で撮影された映像と一致する手話の表現が手話言語記憶部１０３に存在しないと判断した場合（Ｓ３でＮＯ）、処理はＳ１に戻る。

上記実施形態によれば、カメラ３１で撮影された映像が示す手話を使用する地域で使用される言語で操作ガイダンスが表示部４７３に表示される。例えば、操作ガイダンスが日本語で表示されていた場合に、ユーザーが米国で使用されている手話をカメラ３１の前で行えば、操作ガイダンスの言語が日本語から英語へ切り替えられる。従って、聴覚障害者のコミュニケーション言語である手話の差異を利用することで、表示言語の切り替えを行うことができるので、聴覚障害者であっても、表示言語の切り替えを容易に行うことが可能となる。これにより、コンビニエンスストア等の公共の場所に設置されている画像形成装置１を利用する際、例えば画像形成装置１の使用方法を尋ねる相手を見つけることが難しい環境下においても、聴覚障害者であるユーザーは不便さを感じることなく、画像形成装置１を利用することが可能となる。

更なる実施形態を説明する。上記実施形態では、画像形成装置１が手話言語記憶部１０３を備える場合について説明しているが、更なる実施形態として、外部装置２０としての言語特定サーバーが、手話言語記憶部１０３を備え、当該言語特定サーバーが、画像形成装置１から送信されてくる映像データが示す映像と、手話言語記憶部１０３に記憶されている手話の表現とを照合して、当該映像が示す手話の表現を検出し、当該検出した表現の手話を使用する地域で使用される言語を特定する言語を特定し、特定した言語を示す言語データを画像形成装置１へ送信する機能を有するようにしてもよい。

画像形成装置１の言語設定部１０５は、ネットワークインターフェイス部９１を介して、カメラ３１で撮影された映像を示す映像データを上記言語特定サーバーへ送信すると共に、当該言語特定サーバーから送信されてくる言語データを取得し、取得した言語データが示す言語を表示言語に設定するようにする。

手話言語記憶部１０３を画像形成装置１ではなく、外部装置２０に設けるので、手話言語記憶部１０３に割り当てる記憶容量を大きくすることが可能となる。これにより、手話言語記憶部１０３に、数多くの手話の表現に対応付けて、言語を記憶させることで、言語特定能力を大幅に高めることが可能となる。

本発明は上記実施の形態の構成に限られず種々の変形が可能である。また、上記実施形態では、本発明に係る電子機器の一実施形態として画像形成装置である複合機を用いて説明しているが、これは一例に過ぎず、コピー機能、プリンター機能、スキャン機能、ファクシミリ機能を有した他の画像形成装置や、他の電子機器などでもよい。

また、図１乃至図６を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。

１ 画像形成装置
１２ 画像形成部
２０ 外部装置
３１ カメラ
９１ ネットワークインターフェイス部
１００ 制御部
１０１ 操作受付部
１０３ 手話言語記憶部
１０４ 言語特定部
１０５ 言語設定部
４７３ 表示部

Claims (4)

1. 操作ガイダンスを複数の言語で表示可能な電子機器であって、
   表示部と、
   カメラと、
   異なる種類からなる各手話の表現と、当該各手話に対応付けて、手話を使用する地域で使用される言語とを記憶する手話言語記憶部と、
   前記カメラで撮影された映像と前記手話言語記憶部に記憶されている手話の表現とを照合して、前記映像が示す手話の表現を検出し、当該検出した表現の手話を使用する地域で使用される言語を特定する言語特定部と、
   前記言語特定部が特定した言語を表示言語に設定する言語設定部と、
   前記言語設定部で設定された前記表示言語からなる操作ガイダンスを前記表示部に表示する制御部と、を備える電子機器。
2. 操作ガイダンスを複数の言語で表示可能な電子機器であって、
   表示部と、
   カメラと、
   言語特定サーバーと通信する通信部と、
   前記通信部を介して、前記カメラで撮影された映像を示す映像データを前記言語特定サーバーへ送信すると共に、前記言語特定サーバーから前記映像データに対応する言語を示す言語データを取得し、取得した前記言語データが示す言語を表示言語に設定する言語設定部と、
   前記言語設定部で設定された前記表示言語からなる操作ガイダンスを前記表示部に表示する制御部と、を備える電子機器。
3. ユーザーからの操作入力を受け付ける操作受付部を更に備え、
   前記言語設定部は、前記言語を１つに特定することができなかった場合に、前記表示言語に設定する言語の選択肢をユーザーに提示し、前記操作受付部によって受け付けられたユーザーが選択した言語を前記表示言語に設定する請求項１又は請求項２に記載の電子機器。
4. 請求項１乃至請求項３のいずれかに記載の電子機器と、
   記録媒体に画像を形成する画像形成部と、を備える画像形成装置。