JP2018120371A - 表示装置及び画像形成装置 - Google Patents

Abstract

【課題】新たな専用キーを設けることなく、また認証システムを導入しなくても、ユーザーの得意とする言語（例えば、母国語）でメッセージを表示できるようにする。【解決手段】表示部４７３の表示制御を行う表示制御部１０３と、視線センサー５１と、視線センサー５１により検出されたユーザーの視線の動きを検出する視線検出部１０４とを備え、表示制御部１０３は、表示部４７３に事前設定された表示言語でメッセージを表示させ、視線検出部１０４がユーザーの読む速度の遅い領域を検出した場合、事前設定されたものとは異なる２種類以上の表示言語でメッセージの一部を表示部４７３に表示させ、その後、視線検出部１０４がこれら２種類以上の表示言語の中からユーザーの注目している表示言語を検出した場合、ユーザーの注目している表示言語での表示に切り替える。【選択図】図１

Description

本発明は、表示装置及び画像形成装置に関し、特に、表示部に表示されている表示言語を他の表示言語に切り替える技術に関する。

近年、グローバル化が進み、母国語が異なるユーザー同士が同じオフィスで働く環境が増え、母国語が異なる複数のユーザーが１台の画像形成装置を共有することも多い。これら複数のユーザーによる画像形成装置の使用時において、電子機器の表示部に表示されている言語がユーザーの母国語と異なると、当該ユーザーにとっては、表示内容の理解が難しく、円滑に画像形成装置を利用できないおそれがある。下記特許文献１には、言語名が表示された複数の言語キーを設け、表示言語をユーザーにより押下された言語キーの言語に切り替えることが記載されている。また、特許文献２には、利用者を認証して、利用者に応じて表示言語を切り替えることが記載されている。

特開２０１１−０６１５９０号公報 特開平１１−１７７７３９号公報

上記の特許文献１には、上記のように表示言語をユーザーにより押下された言語キーの言語に切り替えることが記載されているが、タッチパネル上に言語キー（ソフトキー）を表示させた場合、言語キーに表示スペースを割く必要があるため、その他の情報の表示スペースが狭くなり、可読性が低下する。一方、ソフトキーではなく、ハードキーとして言語キーを設けた場合、当該ハードキーを配置するための配置場所を確保しなければならないという問題がある。また、上記の特許文献２に記載の技術は、利用者に応じて表示言語を切り替えるため、利用者を認証するための認証システムの導入が必要となる。

本発明は、上記の事情に鑑みなされたものであり、新たな専用キーを設けることなく、また認証システムを導入しなくても、ユーザーの認識可能な言語（例えば、母国語）でメッセージを表示可能にすることを目的とする。

本発明の一局面に係る表示装置は、画像を表示する表示部と、前記表示部に予め定められた表示言語でメッセージを表示させる表示制御部と、ユーザーの視線の動きを検出する視線検出部とを備え、前記表示制御部は、前記視線検出部が前記表示されているメッセージに対してユーザーの読む速度の遅い領域を検出した場合、当該遅い領域を含む予め定められた第１構成単位分のメッセージを、前記予め定められた表示言語とは異なる２種類以上の表示言語で同時に前記表示部に表示させ、その後に前記視線検出部が前記２種類以上の表示言語の中からユーザーに最も長く視認されているものを、ユーザーの注目している表示言語として検出したとき、前記遅い領域を含む予め定められた第２構成単位分のメッセージを、当該ユーザーの注目している表示言語で前記表示部に表示させるものである。

また、本発明の一局面に係る画像形成装置は、上記表示装置と、記録媒体に画像を形成する画像形成部と、を備えるものである。

本発明によれば、表示部に表示されているメッセージに対してユーザーの読む速度の遅い領域が検出された場合（表示言語がユーザーの母国語以外である可能性が高い場合）、当該遅い領域を含めて、予め定められた第１構成単位（例えば、１行分）のメッセージが、当該表示言語とは異なる２種類以上の表示言語で同時に表示部に表示される。例えば、メッセージが英語で表示されているが、英語がユーザーの母国語でない可能性が高い場合、日本語や中国語でメッセージが部分的に表示される。

その後、上記２種類以上の表示言語の中からユーザーの注目している表示言語（ユーザーが認識可能な言語）が検出された場合、当該遅い領域を含めて、予め定められた第２構成単位（例えば、１センテンス分）のメッセージが、ユーザーの注目している表示言語で表示部に表示される。例えば、日本語及び中国語のうち、日本語がユーザーに注目されている場合、ユーザーが注目している日本語でメッセージが表示される。これにより、新たな専用キーを設けることなく、また認証システムを導入しなくても、ユーザーの得意とする表示言語（例えば、母国語）でメッセージを表示できる。

本発明の第１実施形態に係る表示装置を備えてなる、画像形成装置の主要内部構成を概略的に示した機能ブロック図である。 表示部に表示される表示画面の一例を示した図である。 第１実施形態に係る表示装置を備えてなる、画像形成装置における制御ユニットで行われる処理動作の一例を示したフローチャートである。 第１実施形態に係る表示装置を備えてなる、画像形成装置における制御ユニットで行われる処理動作の一例を示したフローチャートである。 表示部に表示される表示画面の一例を示した図である。 （Ａ）、（Ｂ）は表示部に表示される表示画面の一例を示した図である。 （Ａ）、（Ｂ）は表示部に表示される表示画面の一例を示した図である。

以下、本発明の一実施形態に係る表示装置及び画像形成装置について図面を参照して説明する。図１は、本発明の第１実施形態に係る表示装置を備えてなる、画像形成装置の主要内部構成を概略的に示した機能ブロック図である。

画像形成装置１は、例えば、コピー機能、プリンター機能、スキャナー機能、及びファクシミリ機能のような複数の機能を兼ね備えた複合機であり、制御ユニット１０、原稿給送部６、原稿読取部５、画像形成部１２、画像メモリー３２、ＨＤＤ（Hard Disk Drive）９２、定着部１３、給紙部１４、操作部４７、及び視線センサー５１を含んで構成されている。

原稿給送部６は、読取対象の原稿を原稿読取部５へ給送する。原稿読取部５は、光照射部を使って、原稿給送部５から給送されてくる原稿又は原稿台に載置されている原稿を照射し、その反射光を受光することによって、原稿から画像を読み取る。原稿読取部５による読み取りで得られた画像データは画像メモリー３２等に記憶される。

画像形成部１２は、印刷すべき画像のトナー像を用紙（記録媒体）上に形成する。画像メモリー３２は、原稿読取部５による読み取りで得られた原稿の画像データを一時的に記憶したり、画像形成部１２のプリント対象となるデータを一時的に保存したりするための領域である。

操作部４７は、画像形成装置１が実行可能な各種動作及び処理について操作者から画像形成動作実行指示や原稿読取動作実行指示等の指示を受け付ける。操作部４７は、操作者への操作案内等を表示する表示部４７３を備えている。表示部４７３はタッチパネルになっており、操作者は画面表示されるボタンやキーに触れて画像形成装置１を操作することができる。

視線センサー５１は、ユーザーの視線及び視線の動きを検出するセンサーであり、操作部４７の近くに設置されている。視線センサー５１は、ユーザーの視線位置を非接触で検知して可視化する既知の視線検出システムの一部である。既知の視線検出システムは、視線センサー５１及び視線検出部１０４により構成される。

視線センサー５１及び視線検出部１０４では、例えば、視線センサー５１は、ユーザーがどこを見ているのかを判断するために目の動きを検出する。視線センサー５１は、目の動かない部分を基準点として、動く部分である動点を検知することにより目の動きを検出する。視線検出部１０４は、視線センサー５１により基準点及び動点が検出されると、基準点に対する動点の位置に基づいてユーザーの視線を検出する。例えば、視線センサー５１及び視線検出部１０４は、(1)基準点を目頭、動点を虹彩とする、又は(2)基準点を角膜反射、動点を瞳孔とする、のいずれかを採用して、ユーザーの視線を検出する。なお、視線センサー５１は、特許請求の範囲における視線検出部の一例である。

制御ユニット１０は、プロセッサー、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＭＰＵ（Micro Processing Unit）等である。制御ユニット１０は、制御部１００と、操作受付部１０１と、表示制御部１０３と、視線検出部１０４と、メッセージデータ記憶部１０５とを備えている。

制御ユニット１０は、ＨＤＤ９２に記憶されている制御プログラムに従った上記プロセッサーによる動作により、制御部１００、操作受付部１０１、表示制御部１０３、視線検出部１０４、及びメッセージデータ記憶部１０５として機能するものである。但し、制御部１００等は、制御ユニット１０による制御プログラムに従った動作によらず、ハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。

制御部１００は、画像形成装置１の全体的な動作制御を司る。制御部１００は、原稿給送部６、原稿読取部５、画像形成部１２、画像メモリー３２、ＨＤＤ９２、定着部１３、給紙部１４、操作部４７、及び視線センサー５１と接続され、これら各部の駆動制御等を行う。

操作受付部１０１は、操作部４７を介したユーザーからの操作入力を受け付ける。また、操作受付部１０１は、ヘルプ画面（例えば、操作方法をユーザーに説明するための画面）に表示されるメッセージの表示言語の設定を予めユーザーから受け付ける設定受付部１０２を備える。例えば、設定受付部１０２は、図２に示したような、表示言語選択ボタンＢ１〜Ｂ３が形成された操作画面Ｄ１を表示部４７３に表示させる。

表示言語選択ボタンＢ１〜Ｂ３にはそれぞれ、「日本語」、「英語」、「中国語」と記され、設定受付部１０２は、表示言語選択ボタンＢ１に対する操作を受け付けると、表示言語が日本語であるという内容を記憶し、表示言語選択ボタンＢ２に対する操作を受け付けると、表示言語が英語であるという内容を記憶し、表示言語選択ボタンＢ３に対する操作を受け付けると、表示言語が中国語であるという内容を記憶する。

表示制御部１０３は、表示部４７３の表示制御を行う。

視線検出部１０４は、視線センサー５１により検出されたユーザーの視線を上記のようにして検出する。

メッセージデータ記憶部１０５は、ヘルプ画面に表示されるメッセージを示すメッセージデータを、３種類以上の表示言語（例えば、日本語、英語、中国語）について記憶する。

次に、第１実施形態に係る画像形成装置１の制御ユニット１０で行われる処理動作の一例について、図３及び図４に示したフローチャートに基づいて説明する。なお、この処理動作は、操作受付部１０１が、操作部４７を介してユーザーからのヘルプ画面の表示指示を受け付けた場合に開始し、操作受付部１０１が、操作部４７を介してユーザーからのヘルプ画面の消去指示を受け付けた場合に終了する。

操作受付部１０１が、操作部４７を介してユーザーからのヘルプ画面の表示指示を受け付けると、表示制御部１０３が、表示部４７３にヘルプ画面を表示させる。更に表示制御部１０３は、設定受付部１０２が事前に受け付けた表示言語からなる、当該ヘルプ画面上に表示するメッセージを示すメッセージデータを、メッセージデータ記憶部１０５から読み出す（Ｓ１）。そして、表示制御部１０３は、読み出したメッセージデータが示すメッセージを、表示部４７３の上記ヘルプ画面上に表示させる（Ｓ２）。

例えば、設定受付部１０２が事前に受け付けた表示言語が英語である場合、表示制御部１０３は、英語のメッセージデータをメッセージデータ記憶部１０５から読み出し、英語のメッセージを表示したヘルプ画面を表示部４７３に表示させる。図５は、表示部４７３に表示されるヘルプ画面Ｄ２の一例を示した図であり、ヘルプ画面Ｄ２に英語で示されたメッセージＭ１が表示されている。

続いて、視線検出部１０４が、視線センサー５１により検出されたユーザーの視線の動きを逐次に検出する（Ｓ３）。

そして、視線検出部１０４は、視線検出部１０４によって逐次に検出されるユーザーの視線の動きと、当該視線の先にあるメッセージＭ１の表示位置を示す位置情報とから、当該視線が移動する移動速度を算出する。更に、視線検出部１０４は、当該移動速度が予め定められた第１の標準速度よりも遅いと判定した時に当該視線の先となっているメッセージＭ１の表示位置を示す位置情報群で示される領域を、視線の移動速度が遅い領域として検出する（Ｓ４）。本実施形態では、当該移動速度が遅い領域を、ユーザーが読む速度の遅い領域（ユーザーが表示内容の理解に難航している領域）として検出する。

なお、ユーザーが読む速度の遅い領域については、例えば、視線の移動する視線速度が低下している領域の他、視線の位置が狭い領域内で留まっている領域等も挙げられる。視線速度が低下するのは、意味の分からない言葉にユーザーが遭遇した可能性が高い。また、視線の位置が狭い範囲内で留まるのは、スペルをユーザーが何度も繰り返し確認している可能性が高いと考えられる。すなわち、視線速度が低下している領域や、視線の位置が狭い領域内で留まっている領域を検出することによって、ユーザーが表示内容の理解に難航している領域を検出することができる。

視線検出部１０４が、メッセージＭ１に対してユーザーの読む速度の遅い領域Ｐ１（図６（Ａ）を参照）を検出した場合（Ｓ４でＹＥＳ）、視線検出部１０４が、視線検出部１０４が検出した遅い領域Ｐ１の位置情報に基づいて、当該遅い領域Ｐ１を含めて、予め定められた第１構成単位（例えば、１行分）からなる範囲Ｅ１（図６（Ａ）を参照）を特定する（Ｓ５）。一方、視線検出部１０４が、メッセージＭ１に対してユーザーの読む速度の遅い領域を検出していない場合（Ｓ４でＮＯ）、Ｓ３へ戻る。

例えば、図６（Ａ）に示すように、図中Ｐ１で示す領域が、ユーザーの読む速度の遅い領域である場合、視線検出部１０４は、図中Ｅ１で示す範囲を、ユーザーの読む速度の遅い領域Ｐ１を含めた、１行分からなる範囲として特定する。なお、当該第１構成単位については、ヘルプ画面Ｄ２に表示されているメッセージＭ１全文にする必要はなく、後述するが、ユーザーの注目しているメッセージを検出できる程度の長さがあればよい。

続いて、表示制御部１０３が、特定した範囲Ｅ１に表示されているメッセージを示すメッセージデータであって、設定受付部１０２が事前に受け付けている表示言語（例えば、英語）とは異なる２種類の表示言語（例えば、日本語及び中国語）からなるメッセージデータを、メッセージデータ記憶部１０５から読み出す（Ｓ６）。表示制御部１０３は、読み出した２種類の表示言語のメッセージデータに基づいて、当該メッセージデータが示す２種類の表示言語のメッセージＭ２，Ｍ３（図６（Ｂ）を参照）を、上下方向に並べて、表示部４７３に同時に表示させる（Ｓ７）。

例えば、設定受付部１０２が事前に受け付けた表示言語が英語である場合、表示制御部１０３は、範囲Ｅ１に表示されているメッセージを示すメッセージデータであって、日本語及び中国語からなるメッセージデータを、メッセージデータ記憶部１０５から読み出し、図６（Ｂ）に示すように、日本語のメッセージＭ２と中国語のメッセージＭ３とを上下方向に並べて、表示部４７３に同時に表示させる。

続いて、視線検出部１０４が、視線センサー５１により検出されたユーザーの視線の動きを更に検出し（Ｓ８）、視線検出部１０４は、当該検出された視線と、表示部４７３に表示された２種類の表示言語のメッセージＭ２，Ｍ３の表示位置を示す位置情報とに基づいて、当該視線が移動する移動速度を算出する。更に、視線検出部１０４は、当該移動速度が予め定められた第２の標準速度よりも遅いと判定した時に当該視線の先となっているメッセージＭ２，Ｍ３の表示位置を示す位置情報群で示される領域を、視線の移動速度が遅い領域として検出する。本実施形態では、当該移動速度が遅い領域を、ユーザーの注目しているメッセージが表示されている領域（すなわち、ユーザーの得意とする表示言語）として検出する（Ｓ９）。

例えば、メッセージＭ２，Ｍ３は横書きであるので、表示部４７３の横方向をひとかたまりの対象とし、視線検出部１０４は、一定時間以内に予め定められた時間継続して視線が向いている方を、ユーザーの注目しているメッセージとして検出することができる。

例えば、メッセージＭ２に対して、５秒間で３秒継続して視線が向いている場合、メッセージＭ２がユーザーに注目されていると判断し、メッセージＭ３に対して、５秒間で３秒継続して視線が向いている場合、視線検出部１０４は、メッセージＭ３がユーザーに注目されていると判断する。一方、メッセージＭ２，Ｍ３のいずれに対しても、５秒間で３秒継続して視線が向いていない場合、メッセージＭ２，Ｍ３のいずれも、視線検出部１０４は、ユーザーに注目されていないと判断する。つまり、視線検出部１０４は、メッセージＭ２，Ｍ３のうち、長く見られている方であり、なおかつある長さ以上長く見られているものをユーザーの注目しているメッセージとして検出する。

視線検出部１０４は、ユーザーの注目しているメッセージを検出した場合（Ｓ９でＹＥＳ）、遅い領域Ｐ１を含めた、予め定められた第２構成単位（例えば、１センテンス）からなる範囲Ｅ２（図７（Ａ）を参照）を特定する（Ｓ１０）。一方、表示制御部１０３は、視線検出部１０４がユーザーの注目しているメッセージを検出していない場合（Ｓ９でＮＯ）、Ｓ７で表示させたメッセージＭ２，Ｍ３を表示部４７３から消去させ（Ｓ１１）、Ｓ３へ戻る。

例えば、図７（Ａ）に示すように、図中Ｐ１で示す領域が、ユーザーの読む速度の遅い領域である場合、視線検出部１０４は、図中Ｅ２で示す範囲を、ユーザーの読む速度の遅い領域Ｐ１を含めた、第２構成単位としての１センテンス分からなる範囲として特定する。なお、当該第２構成単位については、上記第１構成単位よりも大きくなるのが望ましい。また、当該第２構成単位については、１センテンスではなく、１つの機能を説明する説明文単位や、ヘルプ画面に表示されるメッセージ全文などに設定してもよい。

続いて、表示制御部１０３は、特定した範囲Ｅ２に表示されているメッセージを示すメッセージデータであって、検出したユーザーの注目しているメッセージの表示言語（例えば、日本語）からなるメッセージデータを、メッセージデータ記憶部１０５から読み出す（Ｓ２１）。表示制御部１０３は、Ｓ７で表示させたメッセージＭ２，Ｍ３を表示部４７３から消去させると共に（Ｓ２２）、範囲Ｅ２に表示されているメッセージを表示部４７３から消去させ（Ｓ２３）、その後、Ｓ２１で読み出したメッセージデータが示すメッセージＭ４（図７（Ｂ）を参照）を、表示部４７３に表示させる（Ｓ２４）。

例えば、表示制御部１０３は、検出したユーザーの注目しているメッセージの表示言語である日本語を示すメッセージデータを、メッセージデータ記憶部１０５から読み出し、図７（Ｂ）に示すように、日本語のメッセージＭ４を表示部４７３に表示させる。

上記第１実施形態によれば、表示部４７３に表示されているメッセージＭ１に対してユーザーの読む速度の遅い領域Ｐ１が検出された場合（表示言語がユーザーの母国語以外である可能性が高い場合）、当該遅い領域Ｐ１を含めて、予め定められた第１構成単位（例えば、１行分）のメッセージＭ２，Ｍ３を、領域Ｐ１に表示されている表示言語とは異なる２種類以上の表示言語で同時に表示部４７３に表示する。例えば、メッセージＭ１が英語で表示されているが、英語がユーザーの母国語でない可能性が高い場合、メッセージＭ２として日本語、メッセージＭ３として中国語でメッセージが部分的に表示される。

その後、２種類以上の表示言語の中からユーザーの注目している表示言語（ユーザーの得意とする表示言語）が検出された場合、当該遅い領域Ｐ１を含めて、予め定められた第２構成単位（例えば、１センテンス分）のメッセージが、ユーザーの注目している表示言語で表示部に表示される。上記例で言えば、日本語及び中国語のうち、日本語がユーザーに注目されている場合、ユーザーが注目している日本語でメッセージＭ４が表示される。これにより、新たな専用キーを設けることなく、また認証システムを導入しなくても、ユーザーの得意とする表示言語（例えば、母国語）でメッセージを表示できる。

通常時に表示部４７３に表示される操作画面は、ユーザーが普段から見慣れており、また図柄等で分かりやすくする工夫が施されているものが多いので、母国語以外で表示されていたとしても、ユーザーは比較的容易に表示内容を理解することができる。一方、ヘルプ画面は、ユーザーが見慣れたものではないため、母国語以外で表示されていると、ユーザーが表示内容の理解に難航することがある。従って、ヘルプ画面を表示部４７３に表示させるときに、本発明を用いることは非常に有効である。

また、別の実施形態では、日本語のように、表示言語が難解な文字（漢字）と平易な文字（仮名）とを組み合わせたものについては、難解な文字を使用せず、平易な文字のみを使用したメッセージを示すメッセージデータを、メッセージデータ記憶部１０５に記憶させるようにし、例えば、設定受付部１０２が事前に受け付けた表示言語が日本語である場合、メッセージデータ記憶部１０５に、英語のメッセージを示すメッセージデータと、日本語の仮名のみからなるメッセージを示すメッセージデータとを記憶しておき、表示制御部１０３が、Ｓ６（図３）において、英語のメッセージを示すメッセージデータと、日本語の仮名のみからなるメッセージを示すメッセージデータとをメッセージデータ記憶部１０５から読み出し、Ｓ７（図３）において、英語のメッセージと、日本語の仮名のみからなるメッセージとを表示部４７３に表示させるようにしてもよい。

また、図２に示した操作画面Ｄ１をユーザーが操作すれば、表示言語をユーザーの得意な言語に事前に設定しておくことができるが、表示内容の理解に難航する領域にユーザーが遭遇すれば、本発明では、ユーザーの得意な表現言語でメッセージが表示されることになるので、事前設定のための操作を不要にすることができる。

また、本発明は上記実施の形態の構成に限られず種々の変形が可能である。また、上記実施形態では、本発明に係る表示装置及び画像形成装置の一実施形態として複合機を用いて説明しているが、これは一例に過ぎず、例えば、コピー機能、ファクシミリ機能、スキャナー機能等を有した他の画像読取装置や電子機器でもよい。

また、上記実施形態では、図１乃至図７を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。

１ 画像形成装置
１２ 画像形成部
５１ 視線センサー
１０３ 表示制御部
１０４ 視線検出部
４７３ 表示部

Claims (5)

1. 画像を表示する表示部と、
   前記表示部に予め定められた表示言語でメッセージを表示させる表示制御部と、
   ユーザーの視線の動きを検出する視線検出部とを備え、
   前記表示制御部は、
   前記視線検出部が前記表示されているメッセージに対してユーザーの読む速度の遅い領域を検出した場合、当該遅い領域を含む予め定められた第１構成単位分のメッセージを、前記予め定められた表示言語とは異なる２種類以上の表示言語で同時に前記表示部に表示させ、
   その後に前記視線検出部が前記２種類以上の表示言語の中からユーザーに最も長く視認されているものを、ユーザーの注目している表示言語として検出したとき、前記遅い領域を含む予め定められた第２構成単位分のメッセージを、当該ユーザーの注目している表示言語で前記表示部に表示させる表示装置。
2. 前記第２構成単位は、前記第１構成単位よりも大きく設定されている請求項１に記載の表示装置。
3. 前記予め定められた表示言語が、予め定められた難解な文字と平易な文字とを組み合わせたものである場合、
   前記表示制御部は、前記予め定められた表示言語とは異なる２種類以上の表示言語の１種類として、前記難解な文字を使用せず、前記平易な文字のみを使用するメッセージを前記表示部に表示させる請求項１又は請求項２に記載の画像形成装置。
4. 請求項１乃至請求項３のいずれかに記載の表示装置と、
   記録媒体に画像を形成する画像形成部と、を備える画像形成装置。
5. 前記表示制御部は、本装置の操作方法を説明するヘルプ画面に前記予め定められた表示言語で前記メッセージを表示させ、
   前記視線検出部は、前記ヘルプ画面に表示されたメッセージに対してユーザーの読む速度の遅い領域を検出する請求項４に記載の画像形成装置。