JP2021174139A - Information processing device and program - Google Patents
Information processing device and program Download PDFInfo
- Publication number
- JP2021174139A JP2021174139A JP2020076043A JP2020076043A JP2021174139A JP 2021174139 A JP2021174139 A JP 2021174139A JP 2020076043 A JP2020076043 A JP 2020076043A JP 2020076043 A JP2020076043 A JP 2020076043A JP 2021174139 A JP2021174139 A JP 2021174139A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- sensor
- sight
- target device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 43
- 230000001133 acceleration Effects 0.000 claims abstract description 16
- 230000005484 gravity Effects 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 239000004984 smart glass Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報処理装置およびプログラムに関する。 The present invention relates to an information processing device and a program.
特許文献１には、表示中の画面に関する識別情報を機器から情報処理端末に送信し、識別情報を機器から受信した情報処理端末において受信した識別情報に対応するデータを取得して表示するようにした情報処理システムが開示されている。
In
本発明の目的は、ある対象装置に関する情報を周囲の情報処理装置に表示する際に、その情報を閲覧する意思の無い使用者の情報処理装置に情報が表示されてしまうことを防ぐことである。 An object of the present invention is to prevent information from being displayed on an information processing device of a user who does not intend to view the information when displaying information on a certain target device on a surrounding information processing device. ..
［情報処理装置］
請求項１に係る本発明は、メモリとプロセッサを備え、
前記プロセッサは、
外部の対象装置から送信されてきた情報を受信した際に、前記対象装置からの情報を閲覧する使用者の意思が検出された場合、受信した前記情報に対応する画像を表示部に表示する情報処理装置である。
[Information processing device]
The present invention according to
The processor
When the user's intention to view the information from the target device is detected when the information transmitted from the external target device is received, the information corresponding to the received information is displayed on the display unit. It is a processing device.
請求項２に係る本発明は、前記プロセッサが、重力センサからのセンサ情報により検出された自装置の傾きが予め設定された角度範囲に入っている場合、前記対象装置からの情報を閲覧する意思があると判定する請求項１記載の情報処理装置である。
According to the second aspect of the present invention, when the processor has an inclination of its own device detected by sensor information from a gravity sensor within a preset angle range, it intends to view information from the target device. The information processing apparatus according to
請求項３に係る本発明は、前記プロセッサが、加速度センサからのセンサ情報により検出された自装置の動作が予め設定された動作に合致した場合、前記対象装置からの情報を閲覧する意思があると判定する請求項１記載の情報処理装置である。
According to the third aspect of the present invention, when the processor matches the operation of its own device detected by the sensor information from the acceleration sensor with a preset operation, it intends to browse the information from the target device. The information processing device according to
請求項４に係る本発明は、前記プロセッサが、前記センサ情報により検出された自装置の動作が、表示画面を閲覧するために自装置を取り出す動作に合致した場合、前記対象装置からの情報を閲覧する意思があると判定する請求項３記載の情報処理装置である。 According to the fourth aspect of the present invention, when the operation of the own device detected by the sensor information matches the operation of taking out the own device in order to view the display screen, the present invention obtains the information from the target device. The information processing device according to claim 3, wherein it is determined that the user intends to browse.
請求項５に係る本発明は、前記プロセッサが、使用者の視線を検出する視線検出手段からのセンサ情報により検出された使用者の視線が自装置の表示画面を閲覧していると判定した場合、前記対象装置からの情報を閲覧する意思があると判定する請求項１記載の情報処理装置である。
According to the fifth aspect of the present invention, when the processor determines that the user's line of sight detected by the sensor information from the line-of-sight detecting means for detecting the user's line of sight is viewing the display screen of the own device. The information processing device according to
請求項６に係る本発明は、前記プロセッサが、使用者の視線を検出する視線検出手段からのセンサ情報により検出された使用者の視線が、予め設定された態様で変化する場合、前記対象装置からの情報を閲覧する意思があると判定する請求項１記載の情報処理装置である。
The present invention according to claim 6 is the target device when the user's line of sight detected by the sensor information from the line-of-sight detecting means for detecting the user's line of sight changes in a preset manner. The information processing apparatus according to
請求項７に係る本発明は、前記プロセッサが、前記センサ情報により検出された使用者の視線が、表示画面のある方向から移動してきて、その方向から当該表示画面の外に移動するような態様で変化する場合、前記対象装置からの情報を閲覧する意思があると判定する請求項６記載の情報処理装置である。 The present invention according to claim 7 is an embodiment in which the line of sight of the user detected by the sensor information moves from a certain direction of the display screen and moves out of the display screen from that direction. The information processing device according to claim 6, wherein it is determined that the user intends to view the information from the target device.
請求項８に係る本発明は、前記対象装置からの情報が、受信側の装置を特定せずに情報を送信する通信プロトコルにより送信される請求項１から７のいずれか記載の情報処理装置である。
The present invention according to claim 8 is the information processing apparatus according to any one of
請求項９に係る本発明は、前記情報が、前記外部の装置の操作方法を説明する説明情報である請求項１から８のいずれか記載の情報処理装置である。
The present invention according to claim 9 is the information processing device according to any one of
［プログラム］
請求項１０に係る本発明は、外部の対象装置から送信されてきた情報を受信した際に、前記対象装置からの情報を閲覧する使用者の意思が検出された場合、受信した前記情報に対応する画像を表示部に表示するステップを、
コンピュータに実行させるためのプログラムである。
[program]
The present invention according to
It is a program to be executed by a computer.
請求項１に係る本発明によれば、ある対象装置に関する情報を周囲の情報処理装置に表示する際に、その情報を閲覧する意思の無い使用者の情報処理装置に情報が表示されてしまうことを防ぐことができる。
According to the present invention according to
請求項２に係る本発明によれば、自装置の傾きにより使用者が情報を閲覧する意思の有無を判定することができる。 According to the second aspect of the present invention, it is possible to determine whether or not the user intends to browse the information based on the inclination of the own device.
請求項３に係る本発明によれば、自装置の動きにより使用者が情報を閲覧する意思の有無を判定することができる。 According to the third aspect of the present invention, it is possible to determine whether or not the user intends to browse the information by the movement of the own device.
請求項４に係る本発明によれば、自装置の動きにより使用者が情報を閲覧する意思の有無を判定することができる。 According to the fourth aspect of the present invention, it is possible to determine whether or not the user intends to browse the information by the movement of the own device.
請求項５に係る本発明によれば、使用者の視線により使用者が情報を閲覧する意思の有無を判定することができる。 According to the fifth aspect of the present invention, it is possible to determine whether or not the user intends to view the information from the line of sight of the user.
請求項６に係る本発明によれば、使用者の視線により使用者が情報を閲覧する意思の有無を判定することができる。 According to the sixth aspect of the present invention, it is possible to determine whether or not the user intends to view the information from the line of sight of the user.
請求項７に係る本発明によれば、使用者の視線により使用者が情報を閲覧する意思の有無を判定することができる。 According to the seventh aspect of the present invention, it is possible to determine whether or not the user intends to view the information from the line of sight of the user.
請求項８に係る本発明によれば、対象装置が周囲に存在する情報処理装置を特定する処理を不要とすることができる。 According to the eighth aspect of the present invention, it is possible to eliminate the need for the process of identifying the information processing device in which the target device exists in the vicinity.
請求項９に係る本発明によれば、ある対象装置に関する説明情報を周囲の情報処理装置に表示する際に、その説明情報を閲覧する意思の無い使用者の情報処理装置に説明情報が表示されてしまうことを防ぐことができる。 According to the present invention according to claim 9, when the explanatory information about a certain target device is displayed on the surrounding information processing device, the explanatory information is displayed on the information processing device of a user who does not intend to view the explanatory information. It can be prevented from being lost.
請求項１０に係る本発明によれば、ある対象装置に関する情報を周囲の情報処理装置に表示する際に、その情報を閲覧する意思の無い使用者の情報処理装置に情報が表示されてしまうことを防ぐことができる。 According to the tenth aspect of the present invention, when information about a certain target device is displayed on a surrounding information processing device, the information is displayed on the information processing device of a user who does not intend to view the information. Can be prevented.
次に、本発明の実施の形態について図面を参照して詳細に説明する。 Next, an embodiment of the present invention will be described in detail with reference to the drawings.
図１は本発明の一実施形態の情報処理システムのシステム構成を示す図である。 FIG. 1 is a diagram showing a system configuration of an information processing system according to an embodiment of the present invention.
本発明の一実施形態の情報処理システムは、図１に示されるように、画像形成装置１０、スマートフォン等の携帯端末２０、および携帯端末２０と無線ＬＡＮターミナル３０、インターネット４０を介して接続可能な外部サーバ５０とから構成されている。
As shown in FIG. 1, the information processing system according to the embodiment of the present invention can be connected to an
画像形成装置１０は、パーソナルコンピュータ等の端末装置から送信された印刷データを受け付けて、受け付けた印刷データに応じた画像を用紙上に出力したり、原稿画像を読み取ってコピーを行ったりする。なお、画像形成装置１０は、印刷機能、スキャン機能、コピー機能、ファクシミリ機能等の複数の機能を有するいわゆる複合機と呼ばれる装置である。
The
画像形成装置１０には、図２に示すように、タッチパネルにより構成された操作パネル６０が設けられており、使用者であるユーザはこの操作パネル６０を操作することにより画像形成装置１０の各種機能を利用するような構成となっている。
As shown in FIG. 2, the
そして、携帯端末２０には、画像形成装置１０の各種操作についての取り扱い説明情報を表示するためのオンライン取説アプリケーションプログラム（以下、単にオンライン取説アプリと略す。）がインストールされている。
An online manual application program (hereinafter, simply abbreviated as an online manual application) for displaying handling instruction information for various operations of the
このオンライン取説アプリを携帯端末２０において起動しておくことにより、画像形成装置１０の操作状況に応じた操作説明情報が携帯端末２０の表示画面上に表示されるようになっている。
つまり、本実施形態の情報処理システムでは、画像形成装置１０を対象装置として、周囲の情報処理装置である携帯端末２０に、対象装置である画像形成装置１０に関する操作説明情報を表示する。
By activating this online instruction manual application on the
That is, in the information processing system of the present embodiment, the
そして、画像形成装置１０において表示される表示画面と携帯装置２０にいて表示される操作説明情報の表示画面とは同期して切り替わるようになっている。つまり、ユーザが画像形成装置１０の操作パネル６０を操作して表示される画面内容が切り替わると、携帯端末２０に表示されている操作説明情報も同期して切り替わる。
Then, the display screen displayed on the
例えば、図３に示すように、ユーザが操作パネル６０上にホーム画面を表示して操作を行うとしている間は、携帯端末２０の表示画面には、このホーム画面に対する操作説明を行うための画面が表示される。そして、ユーザがホーム画面上のコピーアイコンを選択して、コピーの各種設定を行うための画面を操作パネル６０に表示させると、携帯端末２０の表示画面に表示される画像も、コピーの各種設定を行うための画面に対する操作説明を行うための画像に切り替わる。
For example, as shown in FIG. 3, while the user is supposed to display the home screen on the
なお、本実施形態における画像形成装置１０は、操作説明を行うための画像を表示するための画像データを携帯端末２０に直接送信しているのではなく、表示すべき画像を特定するための画像ＩＤ等の識別情報を送信する。そして、携帯端末２０は、この識別情報を画像形成装置１０から受信すると、外部サーバ５０にアクセスして受信した識別情報と対応付けられた画像データを取得して表示画面上に表示する。
The
なお、外部サーバ５０を設けることなく、画像形成装置１０から携帯端末２０に対して、操作説明を行うための画像を表示するための画像データを直接送信して、携帯端末２０は、画像形成装置１０から受信した画像データを表示画面上に表示するような構成とすることも可能である。
It should be noted that the
そして、以下においては上記で説明した操作説明情報として表示すべき画像を特定するための識別情報、および操作説明情報として表示すべき画像の画像情報をともにヘルプ情報として表現する。 Then, in the following, the identification information for specifying the image to be displayed as the operation explanation information and the image information of the image to be displayed as the operation explanation information are both expressed as help information.
次に、上記で説明した画像形成装置１０、携帯端末装置２０および外部サーバ５０間でのデータの送受信の様子について図４のシーケンスチャートを参照して説明する。
Next, the state of data transmission / reception between the
まず、画像形成装置１０では、ステップＳ１０１において、ユーザ操作に応じた画面表示が操作パネル６０上において行われる。すると、画像形成装置１０は、ステップＳ１０２において、周囲に対して現在の画面状態に応じたヘルプ情報を一斉送信する。
First, in the
ここで、画像形成装置１０は、近距離無線通信規格であるBluetooth（登録商標）の通信回線を介して、周囲の端末装置に対してヘルプ情報をマルチキャスト送信する。このマルチキャスト送信とは、受信側の装置を特定せずに情報を送信する通信プロトコルにより情報を送信する通信方法である。
Here, the
つまり、画像形成装置１０は、自装置の周囲に現在どのような端末装置が存在するのかを把握せずにヘルプ情報を送信する。
That is, the
そして、ステップＳ１０３において、画像形成装置１０から送信されたヘルプ情報が携帯端末２０に送信されると、携帯端末２０では、ステップＳ１０４において、このヘルプ情報を受信する。
Then, when the help information transmitted from the
次に、携帯端末２０は、ステップＳ１０５において、受信したヘルプ情報に含まれる画像ＩＤ等の識別情報を外部サーバ５０に送信して、表示内容を要求する。
Next, in step S105, the
すると、外部サーバ５０は、ステップＳ１０６において、携帯端末２０から送信されてきた要求に含まれる識別情報に基づいて、表示すべき画面内容の情報を抽出する。そして、外部サーバ５０は、ステップＳ１０７において、抽出した表示すべき画面内容の情報を携帯端末２０に対して返信する。
Then, in step S106, the
すると、携帯端末２０は、ステップＳ１０８において、外部サーバ５０から受信した画面内容の情報を、受信したヘルプ情報に対応した表示内容として表示画面上に表示する。
Then, in step S108, the
このようにして画像形成装置１０の現在の表示画面の画面様態に応じた操作説明情報が携帯端末２０の表示画面上に表示されることになる。
In this way, the operation explanatory information according to the screen mode of the current display screen of the
そして、画像形成装置１０は、ステップＳ１０９において、ユーザ操作が行われて画面状態が切り替わると、ステップＳ１１０において、切り替わった画面情報に応じたヘルプ情報を一斉送信する。
Then, when the user operation is performed and the screen state is switched in step S109, the
すると、このヘルプ情報は、ステップＳ１１１において、携帯端末２０に送信され、ステップＳ１０４〜Ｓ１０８における処理が繰り返されて携帯端末２０の表示画面に表示される操作説明情報も切り替わる。
Then, this help information is transmitted to the
上記のような処理が行われることにより、画像形成装置１０対して操作を行おうとするユーザは、保持している携帯端末２０においてオンライン取説アプリを起動しておくだけで画像形成装置１０からのヘルプ情報を自動的に受信して携帯端末２０に表示させることが可能となる。
By performing the above processing, the user who intends to operate the
しかし、画像形成装置１０の周囲に携帯端末２０を保持したユーザ以外のユーザがいる場合にこのような操作説明情報の表示を行った場合、問題が発生する場合がある。例えば、図５に示すように画像形成装置１０の周囲にオンライン取説アプリを起動した状態の携帯端末２１、２２を保持している他のユーザが存在している場合、画像形成装置１０からマルチキャスト送信されたヘルプ情報に基づく操作説明情報が表示画面上に表示されてしまうことになる。
However, if there is a user other than the user who holds the
そして、携帯端末２１、２２を保持しているユーザにとっては、操作中でもない画像形成装置１０の操作説明情報が表示画面上に表示されてしまうため携帯端末２１、２２の操作が阻害されることにもなる。また、このような不必要な操作説明情報を取得するために外部サーバ５０との間でデータ送受信が行われることは無駄な通信が発生していることにもなる。
Then, for the user holding the
そこで、本実施形態における情報処理システムでは、画像形成装置１０を対象装置とし、その対象装置に関する情報を周囲の携帯端末２０等の情報処理装置に表示する際に、その情報を閲覧する意思の無いユーザの情報処理装置に情報が表示されてしまうことを防ぐようにしている。
Therefore, in the information processing system of the present embodiment, when the
次に、本実施形態の情報処理システムにおける携帯端末２０のハードウェア構成を図６に示す。
Next, FIG. 6 shows the hardware configuration of the
携帯端末２０は、図６に示されるように、ＣＰＵ１１、メモリ１２、フラッシュメモリ等の記憶装置１３、近距離無線通信部１４、タッチパネル又は液晶ディスプレイを含むユーザインタフェース（ＵＩと略す。）装置１５、撮像部であるカメラ１６、各種センサ１７を有する。これらの構成要素は、制御バス１８を介して互いに接続されている。
As shown in FIG. 6, the
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、携帯端末２０の動作を制御するプロセッサである。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明するが、当該プログラムを外部の記憶媒体に格納してＣＰＵ１１に提供することも可能である。
The
図７は、上記の制御プログラムが実行されることにより実現される携帯端末２０の機能構成を示すブロック図である。
FIG. 7 is a block diagram showing a functional configuration of the
本実施形態の携帯端末２０は、図７に示されるように、表示部３１と、操作入力部３２と、制御部３３と、近距離無線通信部１４と、カメラ１６と、重力センサ３４と、加速度センサ３５と、ジャイロセンサ３６とを備えている。
As shown in FIG. 7, the
表示部３１は、制御部３３により制御され、ユーザに各種情報を表示する。操作入力部３２は、ユーザにより行われた各種操作情報を入力する。
The
制御部３３は、携帯端末２０の動作全体を制御している。近距離無線通信部１４は、近距離無線通信規格であるBluetooth（登録商標）の通信回線を介して周囲に存在する他の装置との間でデータの送受信を行っている。
The
カメラ１６は、携帯端末２０の裏面側や表示画面であるディスプレイ側に設けられている。そして、ディスプレイ側に設けられているカメラ１６を起動することにより、ユーザの顔画像を撮像することが可能な構成となっている。
The
重力センサ３４は、重力加速度を検出するセンサである。制御部３３は、重力センサ３４からのセンサ情報に基づいて、自装置の鉛直方向を判定して、携帯端末２０の傾きを検出する。
The
加速度センサ３５は、搭載されている装置の加速度を検出するセンサである。また、ジャイロセンサ３６は、搭載されている装置の角加速度を検出するセンサである。この加速度センサ３５およびジャイロセンサ３６からのセンサ情報に基づいて、制御部３３は、携帯端末２０の動きを検出する。
The
そして、制御部３３は、外部の対象装置である画像形成装置１０から送信されてきたヘルプ情報を受信した際に、重力センサ３４、加速度センサ３５、ジャイロセンサ３６等の各種センサからのセンサ情報に基づいて画像形成装置１０からのヘルプ情報を閲覧するユーザの意思が検出された場合、受信したヘルプ情報に対応する画像を表示部３１に表示する。
Then, when the
例えば、制御部３３は、重力センサ３４からのセンサ情報により検出された自装置の傾きが予め設定された角度範囲に入っている場合、例えば、傾きが３０°〜９０°の範囲に入っている場合、画像形成装置１０からのヘルプ情報を閲覧する意思があると判定する。
For example, when the inclination of the own device detected by the sensor information from the
また、制御部３３は、加速度センサ３５やジャイロセンサ３６からのセンサ情報により検出された自装置の動作が予め設定された動作に合致した場合、画像形成装置１０からのヘルプ情報を閲覧する意思があると判定する。
Further, the
具体的には、制御部３３は、加速度センサ３５やジャイロセンサ３６からのセンサ情報により検出された自装置の動作が、表示画面を閲覧するために自装置を取り出す動作に合致した場合、画像形成装置１０からのヘルプ情報を閲覧する意思があると判定する。
Specifically, the
さらに、カメラ１６により撮像されたユーザの顔画像に対して画像処理を行うことにより、ユーザの視線方向を検出してユーザが見ている箇所を特定することが可能である。つまり、カメラ１６は、使用者であるユーザの視線を検出する視線検出手段として機能する。
Further, by performing image processing on the user's face image captured by the
そして、制御部３３は、カメラ１６により撮像されたユーザの顔画像に基づいて検出されたユーザの視線が自装置の表示画面を閲覧していると判定した場合、画像形成装置１０からのヘルプ情報を閲覧する意思があると判定する。
Then, when the
また、制御部３３は、単にユーザが自装置を見ているというだけでなく、カメラ１６により撮像されたユーザの顔画像に基づいて検出されたユーザの視線が、予め設定された態様で変化する場合、画像形成装置１０からのヘルプ情報を閲覧する意思があると判定するようにしても良い。
Further, the
具体的には、携帯端末２０の表示画面上に操作説明情報を表示させて画像形成装置１０の操作パネル６０に対する操作を行うとする場合、ユーザの視線は、携帯端末２０の表示画面と画像形成装置１０の操作パネル６０との間で移動を繰り返すことになると考えらえる。
Specifically, when the operation explanation information is displayed on the display screen of the
そのため、制御部３３は、カメラ１６により撮像されたユーザの顔画像に基づいて検出されたユーザの視線が、表示画面のある方向から移動してきて、その方向から表示画面の外に移動するような態様で変化する場合、画像形成装置１０からのヘルプ情報を閲覧する意思があると判定する。
Therefore, the
なお、本実施形態においては、携帯端末２０のディスプレイに操作説明情報を表示させる場合について説明したが、本発明はこのような場合に限定されるものではなく、操作説明情報以外の情報、例えば画像形成装置１０の動作状態に関する情報、消耗品の状態に関する情報等の様々な情報を携帯端末２０のディスプレイに表示させるような場合でも同様に適用することが可能である。
In the present embodiment, the case where the operation explanation information is displayed on the display of the
次に、本実施形態における携帯端末２０の動作について図面を参照して詳細に説明する。
Next, the operation of the
まず、携帯端末２０が、画像形成装置１０からヘルプ情報を受信して操作説明情報を表示画面上に表示する際の全体動作を図８のフローチャートを参照して説明する。
First, the overall operation when the
制御部３３は、ステップＳ２０１において、近距離無線通信部１４が画像形成装置１０からの電波が検出した場合、ステップＳ２０２において、画像形成装置１０からのヘルプ情報を閲覧するユーザの意思の有無を確認する。
In step S201, when the short-range
そして、ユーザにヘルプ情報を閲覧する意思がないと判定した場合、制御部３３は、ステップＳ２０１の処理に戻る。
Then, when it is determined that the user does not intend to view the help information, the
そして、ユーザにヘルプ情報を閲覧する意思があると判定した場合、制御部３３は、ステップＳ２０４において、近距離無線通信部１４を介して画像形成装置１０から送信されているヘルプ情報、具体的には表示すべき画面内容を特定するための識別情報を受信する。
Then, when it is determined that the user intends to view the help information, the
その後、制御部３３は、ステップＳ２０５において、外部サーバ５０にアクセスして受信した識別情報と対応する表示内容を取得する。そして、制御部３３は、ステップＳ２０６において、取得した表示内容をディスプレイ上に表示する。このようにして、携帯端末２０のディスプレイ上には、画像形成装置１０の操作パネル６０の表示内容に対応した説明情報が表示されることになる。
After that, in step S205, the
そして、制御部３３は、ステップＳ２０７において、ユーザの画像形成装置１０に対する操作が終了するか又はヘルプ情報を閲覧する意思がなくなったことが検出されるまで、ステップＳ２０４〜Ｓ２０６の処理を繰り返す。
Then, the
次に、図８のフローチャートのステップＳ２０２において示した、ヘルプ情報を閲覧するユーザの意思の確認処理の詳細について図９のフローチャートを参照して説明する。 Next, the details of the confirmation process of the intention of the user who browses the help information shown in step S202 of the flowchart of FIG. 8 will be described with reference to the flowchart of FIG.
まず、制御部３３は、ステップＳ３０１において、加速度センサ３５やジャイロセンサ３６からのセンサ情報に基づいて、携帯端末２０の動きを検出する。
First, in step S301, the
また、制御部３３は、ステップＳ３０２において、カメラ１６により撮影されたユーザの顔画像からユーザの視線方向を検出する。
Further, in step S302, the
さらに、制御部３３は、ステップＳ３０３において、重力センサ３４からのセンサ情報に基づいて、携帯端末２０の傾きを検出する。
Further, in step S303, the
そして、制御部３３は、ステップＳ３０４において、上記のような処理により検出された様々な情報に基づいて、ヘルプ情報を閲覧するユーザの意思の有無を判定する。
Then, in step S304, the
具体的には、制御部３３は、加速度センサ３５やジャイロセンサ３６からのセンサ情報に基づいて検出された携帯端末２０の動きが、例えば、ユーザのポケットから携帯端末２０を取り出してディスプレイを見ようとするような動きである場合、そのユーザにはヘルプ情報を閲覧する意思があると判定する。
Specifically, the
このような判定を行う場合には、予めユーザが携帯端末２０を取り出してディスプレイを見ようとする場合にセンサ情報がどのように変化するのかを予め取得して記憶しておき、制御部３３は、加速度センサ３５やジャイロセンサ３６からのセンサ情報が記憶されている変化態様で変化した場合に、ユーザが携帯端末２０を取り出したものと判定する。
When making such a determination, the
また、制御部３３は、重力センサ３４からのセンサ情報に基づいて検出された携帯端末２０の傾きがある角度範囲の場合に、ユーザが携帯端末２０のディスプレイを見ようとしていると判定する。
Further, the
このような傾きによるユーザの閲覧意思の有無の判定方法について図１０を参照して説明する。 A method of determining whether or not the user has an intention to browse due to such an inclination will be described with reference to FIG.
ユーザが携帯端末２０をポケット等に入れて持ち歩いている場合、携帯端末２０の傾きは０°に近い値となると考えられる。そのため、このような状態であった携帯端末２０の傾きが、例えば３０°〜９０°というような角度範囲に傾けられた場合、ユーザは携帯端末２０のディスプレイを視認しようとしていると考えられる。そのため、制御部３３は、携帯端末２０の傾きがある範囲で変化した場合、ユーザにヘルプ情報を閲覧する意思があると判定する。
When the user carries the
さらに、制御部３３は、カメラ１６により撮影されたユーザの顔画像に基づく視線が携帯端末２０のディスプレイを見ていると判定された場合に、ユーザにヘルプ情報を閲覧する意思があると判定するようにしても良い。
Further, the
または、制御部３３は、図１１に示すように、ユーザの視線がディスプレイを連続して見ているのではなく、ディスプレイのある方向から入ってきて、その後に入ってきた方向から出て行くような態様で変化した場合に、ユーザにヘルプ情報を閲覧する意思があると判定するようにしても良い。
Alternatively, as shown in FIG. 11, the
なお、図１１では、携帯端末２０の左側から視線が入ってきて左側から出て行く場合が示されているが、携帯端末２０をユーザが保持する位置に応じてこの方向は変化する。例えば、ユーザが携帯端末２０を操作パネル６０の左側に保持した場合には、携帯端末２０の右側から視線が入ってきて右側から出て行くことになる。また、ユーザが携帯端末２０を操作パネル６０の下側に保持した場合には、携帯端末２０の上側から視線が入ってきて上側から出て行くことになる。
Note that FIG. 11 shows a case where the line of sight enters from the left side of the
なお、制御部３３は、上述したようなユーザの閲覧意思の有無の判定を、いずれか１つの判定方法に基づいて決定するのではなく、複数の判定方法を組み合わせて総合的に判定するようにしても良い。
The
例えば、制御部３３は、ユーザが携帯端末２０を取り出して、ある角度以上傾け、かつ、ディスプレイを視認しようとするユーザの視線が検出された場合に、ユーザにヘルプ情報を閲覧する意思があると判定するというようにすることができる。
For example, the
なお、制御部３３は、ユーザがヘルプ情報の閲覧意思をやめた場合を検出する際には、上記説明した検出方法とは逆の状態を検出すればよい。具体的には、制御部３３は、携帯端末２０の傾きが３０°未満になった場合、ユーザが携帯端末２０をポケットにしまうような動きをした場合、ユーザの視線を検出することができなくなった場合等に、ユーザがヘルプ情報を閲覧する意思がなくなったと判定するようにすれば良い。
When detecting the case where the user stops viewing the help information, the
さらに、本実施形態においては説明していないが、携帯端末２０に温度センサを備えるようにして、ユーザが携帯端末２０を保持している状態か否かを温度センサにより検出することにより、ユーザのヘルプ情報の閲覧意思の有無を判定するようなことも可能である。
Further, although not described in the present embodiment, the
［他の実施形態］
なお、上記の実施形態では、携帯端末２０のディスプレイ上に画像形成装置１０の操作説明情報を表示させる場合であったが、いわゆるスマートグラス上に画像形成装置１０の操作説明情報を表示させる場合の実施形態について以下に説明する。
[Other Embodiments]
In the above embodiment, the operation explanation information of the
このようなスマートグラス７０を装着したユーザの外観図を図１２に示す。図１２を参照するとユーザがスマートグラス７０を装着する様子が示されている。
FIG. 12 shows an external view of a user wearing such
そのスマートグラス７０は、装着したユーザの視線方向を検出するとともに、実際に見える景色に重ねて文字や図形等の各種情報を重ねてユーザに見せることができるような機能を備えている。
The
このようなスマートグラス７０を用いることにより、例えば図１３に示すように、ユーザが操作パネル６０上のどの部分を見ているのかを検出することが可能となる。
By using such
図１３に示した図では、ユーザの視線位置８０が操作パネル上に表示された設定項目をスクロールして見ている様子が検出される様子が示されている。
In the figure shown in FIG. 13, it is shown that the user's line-of-
そして、このようにユーザが画像形成装置１０の操作パネル６０を視認していることが検出された場合に、そのユーザに対してのみ画像形成装置１０からのヘルプ情報に基づく操作説明情報を表示することが可能となる。
Then, when it is detected that the user is visually recognizing the
また、単にユーザが操作パネル６０を視認している場合に操作説明情報を表示するのでなく、ユーザが操作説明情報を必要としている場合にのみ表示するようにしても良い。
Further, the operation explanation information may not be displayed only when the user is visually recognizing the
例えば、ユーザが操作パネル６０を視認している状態が一定時間以上継続して変化しない場合や、ユーザが画面操作は行っているが設定値を変更する操作が行われておらず、図１３に示したようにスクロール操作を行ってはいるが設定値を変える画面に操作している場合、ユーザは操作に迷っていると判定することができる。
For example, when the state in which the user is visually recognizing the
そして、このようにユーザが操作に迷っていると判定した場合のみ、ユーザが現在操作している画面内容に応じた操作説明情報をスマートグラス７０上に表示させるようにしても良い。
Then, only when it is determined that the user is uncertain about the operation in this way, the operation explanation information according to the screen content currently being operated by the user may be displayed on the
このように操作説明情報をスマートグラス７０上に表示した場合の一例を図１４に示す。図１４に示した例では、「コピー濃度」と「出力用紙サイズ」の設定項目に関する操作説明情報が表示された場合が示されている。
FIG. 14 shows an example of the case where the operation explanation information is displayed on the
そして、このような操作説明情報の表示が行われることにより、ユーザの視界は、図１５に示すように、操作パネル６０上に操作説明情報が重畳されたような状態となる。
Then, by displaying the operation explanation information in this way, the user's field of view becomes a state in which the operation explanation information is superimposed on the
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Central Processing Unit、等）や、専用のプロセッサ（例えばＧＰＵ：Graphics Processing Unit、ＡＳＩＣ：Application Specific Integrated Circuit、ＦＰＧＡ：Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。 In each of the above embodiments, the processor refers to a processor in a broad sense, such as a general-purpose processor (for example, CPU: Central Processing Unit, etc.) or a dedicated processor (for example, GPU: Graphics Processing Unit, ASIC: Application Specific Integrated Circuit, etc.). FPGA: Field Programmable Gate Array, programmable logic device, etc.).
また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。 Further, the operation of the processor in each of the above embodiments may be performed not only by one processor but also by a plurality of processors existing at physically separated positions in cooperation with each other. Further, the order of each operation of the processor is not limited to the order described in each of the above embodiments, and may be changed as appropriate.
[変形例]
上記実施形態では、スマートフォン等の携帯端末２０のディスプレイ上やスマートグラス７０に説明情報を表示する場合を用いて説明したが、本発明はこれに限定されるものではなく、ディスプレイを備えた情報処理装置に説明情報を表示させる場合でも同様に本発明を適用することができるものである。
[Modification example]
In the above embodiment, the case where the explanatory information is displayed on the display of the
また、ディスプレイ上に表示させる情報も説明情報に限定される場合ではなく、広告情報、装置の稼働情報、装置の故障情報、消耗品の残量に対する警告情報、一般的な通知情報等の様々な情報をディスプレイ上に表示する場合にも本発明は同様に適用可能である。 In addition, the information displayed on the display is not limited to explanatory information, but various information such as advertisement information, device operation information, device failure information, warning information on the remaining amount of consumables, general notification information, and the like. The present invention is similarly applicable to display information on a display.
１０ 画像形成装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 近距離無線通信部
１５ ユーザインタフェース装置
１６ カメラ
１７ 各種センサ
１８ 制御バス
２０〜２２ 携帯端末
３０ 無線ＬＡＮターミナル
３１ 表示部
３２ 操作入力部
３３ 制御部
３４ 重力センサ
３５ 加速度センサ
３６ ジャイロセンサ
４０ インターネット
５０ 外部サーバ
６０ 操作パネル
７０ スマートグラス
８０ 視線位置
10
12
Claims (10)
前記プロセッサは、
外部の対象装置から送信されてきた情報を受信した際に、前記対象装置からの情報を閲覧する使用者の意思が検出された場合、受信した前記情報に対応する画像を表示部に表示する
情報処理装置。 Equipped with memory and processor
The processor
When the user's intention to view the information from the target device is detected when the information transmitted from the external target device is received, the information corresponding to the received information is displayed on the display unit. Processing equipment.
コンピュータに実行させるためのプログラム。 When the intention of the user to view the information from the target device is detected when the information transmitted from the external target device is received, the step of displaying the image corresponding to the received information on the display unit. of,
A program that lets a computer run.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020076043A JP7484377B2 (en) | 2020-04-22 | 2020-04-22 | Information processing device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020076043A JP7484377B2 (en) | 2020-04-22 | 2020-04-22 | Information processing device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021174139A true JP2021174139A (en) | 2021-11-01 |
| JP7484377B2 JP7484377B2 (en) | 2024-05-16 |
Family
ID=78279616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020076043A Active JP7484377B2 (en) | 2020-04-22 | 2020-04-22 | Information processing device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7484377B2 (en) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002099386A (en) * | 2000-09-25 | 2002-04-05 | Sanyo Electric Co Ltd | Image display control system |
| JP2002312470A (en) * | 2001-04-18 | 2002-10-25 | Canon Inc | Apparatus operation description system, server, portable terminal, apparatus operation description method, apparatus operation description program and computer- readable recording medium recording apparatus operation description program |
| JP2013190463A (en) * | 2012-03-12 | 2013-09-26 | Nikon Corp | Electronic apparatus and program |
| JP2014135064A (en) * | 2014-02-12 | 2014-07-24 | Canon Marketing Japan Inc | Content browsing device, content browsing system, control method of content browsing device, control method of content browsing system and program |
| JP2014233035A (en) * | 2013-05-30 | 2014-12-11 | ソニー株式会社 | Information processor, display control method and program |
| US20150319280A1 (en) * | 2012-02-24 | 2015-11-05 | Blackberry Limited | Handheld Device With Notification Message Viewing |
| JP2015232811A (en) * | 2014-06-10 | 2015-12-24 | 株式会社ニコン | Display device and digital camera |
| WO2016052501A1 (en) * | 2014-09-29 | 2016-04-07 | 株式会社Ｎｔｔドコモ | User interface device, program, and content notification method |
| JP2017117276A (en) * | 2015-12-25 | 2017-06-29 | ２．５次元ファクトリー株式会社 | Method of operating electronic apparatus and method of displaying image |
| JP2019164780A (en) * | 2018-03-07 | 2019-09-26 | 綾子 高橋 | Electronic apparatus |
| JP2020043534A (en) * | 2018-09-13 | 2020-03-19 | Ｚホールディングス株式会社 | Information display program, information display device, information display method, and distribution device |
| JP2020052573A (en) * | 2018-09-25 | 2020-04-02 | 富士ゼロックス株式会社 | Display device and control program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000010722A (en) | 1998-06-18 | 2000-01-14 | Mr System Kenkyusho:Kk | Sight line/user interface device and its interface method, computer device and its control method, and program storage medium |
| JP2011232270A (en) | 2010-04-30 | 2011-11-17 | Clarion Co Ltd | Navigation device and help presentation method thereof |
| US9619022B2 (en) | 2013-10-28 | 2017-04-11 | Chian Chiu Li | Systems and methods for presenting location related information |
| JP6619682B2 (en) | 2016-03-31 | 2019-12-11 | キヤノン株式会社 | Information processing apparatus, control method, and program |
| KR20190121758A (en) | 2017-02-27 | 2019-10-28 | 소니 주식회사 | Information processing apparatus, information processing method, and program |
-
2020
- 2020-04-22 JP JP2020076043A patent/JP7484377B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002099386A (en) * | 2000-09-25 | 2002-04-05 | Sanyo Electric Co Ltd | Image display control system |
| JP2002312470A (en) * | 2001-04-18 | 2002-10-25 | Canon Inc | Apparatus operation description system, server, portable terminal, apparatus operation description method, apparatus operation description program and computer- readable recording medium recording apparatus operation description program |
| US20150319280A1 (en) * | 2012-02-24 | 2015-11-05 | Blackberry Limited | Handheld Device With Notification Message Viewing |
| JP2013190463A (en) * | 2012-03-12 | 2013-09-26 | Nikon Corp | Electronic apparatus and program |
| JP2014233035A (en) * | 2013-05-30 | 2014-12-11 | ソニー株式会社 | Information processor, display control method and program |
| JP2014135064A (en) * | 2014-02-12 | 2014-07-24 | Canon Marketing Japan Inc | Content browsing device, content browsing system, control method of content browsing device, control method of content browsing system and program |
| JP2015232811A (en) * | 2014-06-10 | 2015-12-24 | 株式会社ニコン | Display device and digital camera |
| WO2016052501A1 (en) * | 2014-09-29 | 2016-04-07 | 株式会社Ｎｔｔドコモ | User interface device, program, and content notification method |
| JP2017117276A (en) * | 2015-12-25 | 2017-06-29 | ２．５次元ファクトリー株式会社 | Method of operating electronic apparatus and method of displaying image |
| JP2019164780A (en) * | 2018-03-07 | 2019-09-26 | 綾子 高橋 | Electronic apparatus |
| JP2020043534A (en) * | 2018-09-13 | 2020-03-19 | Ｚホールディングス株式会社 | Information display program, information display device, information display method, and distribution device |
| JP2020052573A (en) * | 2018-09-25 | 2020-04-02 | 富士ゼロックス株式会社 | Display device and control program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7484377B2 (en) | 2024-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8606179B2 (en) | Cell phone terminal, method for starting data processing, method for transferring data | |
| KR101635640B1 (en) | Display apparatus, display system and control method thereof | |
| US9304728B2 (en) | Generating a map of image forming devices on a mobile device | |
| JP2004264769A (en) | Information processing apparatus and program | |
| US20120066619A1 (en) | Apparatus and method for information transmission between tv and mobile communication system | |
| JP6264198B2 (en) | Mobile device, selection processing method | |
| KR20130072745A (en) | Method for outputting image data from terminal to display device and terminal thereof | |
| US20170251124A1 (en) | Non-transitory computer-readable medium and terminal apparatus | |
| US11758070B2 (en) | Operating an image forming apparatus with a visible code | |
| JP2007206108A (en) | Mobile type electronic equipment | |
| CN108632484B (en) | Image forming system and image forming apparatus | |
| US20200034032A1 (en) | Electronic apparatus, computer-readable non-transitory recording medium, and display control method | |
| JP2009245095A (en) | Information processor, program, and remote operation system | |
| JP6611550B2 (en) | COMMUNICATION DEVICE, COMMUNICATION DEVICE CONTROL METHOD, AND PROGRAM | |
| JP6149684B2 (en) | Portable terminal, image processing apparatus, and program | |
| JP2021174139A (en) | Information processing device and program | |
| US20150149547A1 (en) | Information processing system and information processing device | |
| US9036194B2 (en) | Operation input apparatus, image forming system, and storage medium for operation input program | |
| JP7077540B2 (en) | Terminal device, display system, and control method of terminal device | |
| KR20150113732A (en) | Mobile device, cross-device content sharing system and content sharing methods thereof | |
| JP2008022141A (en) | Radio communication terminal and terminal-information server | |
| JP2011022862A (en) | Display control unit, display control system, and computer program | |
| US20200033959A1 (en) | Electronic apparatus, computer-readable non-transitory recording medium, and display control method | |
| JP6540637B2 (en) | Communication system, communication apparatus, communication method | |
| JP2023105686A (en) | Image forming apparatus, image forming system, and image forming program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20201102 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240314 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240415 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7484377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |