JP2016139168A - 表示システム、可搬型表示装置、表示制御装置、表示方法 - Google Patents

表示システム、可搬型表示装置、表示制御装置、表示方法 Download PDF

Info

Publication number
JP2016139168A
JP2016139168A JP2015012009A JP2015012009A JP2016139168A JP 2016139168 A JP2016139168 A JP 2016139168A JP 2015012009 A JP2015012009 A JP 2015012009A JP 2015012009 A JP2015012009 A JP 2015012009A JP 2016139168 A JP2016139168 A JP 2016139168A
Authority
JP
Japan
Prior art keywords
display
distance
related information
printer
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015012009A
Other languages
English (en)
Inventor
洋 家崎
Hiroshi Yasaki
洋 家崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015012009A priority Critical patent/JP2016139168A/ja
Priority to US15/001,586 priority patent/US9651785B2/en
Publication of JP2016139168A publication Critical patent/JP2016139168A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00Apparatus for electrographic processes using a charge pattern
    • G03G15/50Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5016User-machine interface; Display panels; Control console
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)

Abstract

【課題】作業対象物に関連する内容を示す情報を適切な態様で表示することを可能とする技術を提供する。【解決手段】可搬型表示装置と、作業対象物と可搬型表示装置との距離を検知する距離検知部と、作業対象物に関連する内容を示す対象物関連情報を可搬型表示装置に表示させる表示制御部とを備え、表示制御部は、距離検知部が距離を検知した結果に応じて、可搬型表示装置での対象物関連情報の表示態様を変更する。【選択図】図6

Description

この発明は、HMD(Head Mounted Display)、スマートフォン、タブレットあるいはラップトップパソコン等の可搬型表示装置に、作業対象物に関連する内容を示す情報を表示する技術に関する。
特許文献1には、GPS(Global Positioning System)によりHMDの位置情報を取得し、HMDの位置に対応付けられたタグの内容をHMDに表示する表示システムが記載されている。かかる表示システムによれば、HMDを装着するユーザーの位置に対応付けられたタグの内容がHMDに表示される。したがって、実世界上の様々な位置にタグが対応付けられた環境下では、ユーザーが移動すれば、ユーザーが装着するHMDへ内容を表示する対象となるタグが次々変わる。
特開2014−186434号公報
ところで、HMDのような可搬型表示装置を用いた表示技術は、作業対象物に関連する内容を示す情報を表示して作業対象物へ作業を行う作業者を支援する用途に好適に応用できると期待できる。ただし、特許文献1に記載の技術は、実世界上での位置に応じて表示する内容を切り換えるに過ぎず、作業対象物へ作業を行う作業者に対して作業対象物に関連する内容を示す情報を表示するのには必ずしも適切ではなかった。
この発明は上記課題に鑑みてなされたものであり、作業対象物に関連する内容を示す情報を適切な態様で表示することを可能とする技術の提供を目的とする。
本発明にかかる表示システムは、上記目的を達成するために、可搬型表示装置と、作業対象物と可搬型表示装置との距離を検知する距離検知部と、作業対象物に関連する内容を示す対象物関連情報を可搬型表示装置に表示させる表示制御部とを備え、表示制御部は、距離検知部が距離を検知した結果に応じて、可搬型表示装置での対象物関連情報の表示態様を変更する。
本発明にかかる可搬型表示装置は、上記目的を達成するために、作業対象物との距離を検知する距離検知部と、表示部と、作業対象物に関連する内容を示す対象物関連情報を表示部に表示させる表示制御部とを備え、表示制御部は、距離検知部が距離を検知した結果に応じて、表示部での対象物関連情報の表示態様を変更する。
本発明にかかる表示制御装置は、上記目的を達成するために、作業対象物との距離を検知する距離検知部と、作業対象物に関連する内容を示す対象物関連情報を可搬型表示装置に表示させる表示制御部とを備え、表示制御部は、距離検知部が距離を検知した結果に応じて、可搬型表示装置での対象物関連情報の表示態様を変更する。
本発明にかかる表示方法は、上記目的を達成するために、作業対象物と可搬型表示装置との距離を検知する工程と、作業対象物に関連する内容を示す対象物関連情報を可搬型表示装置に表示させる工程とを備え、作業対象物と可搬型表示装置との距離を検知した結果に応じて、可搬型表示装置での対象物関連情報の表示態様を変更する。
このように構成された本発明(表示システム、可搬型表示装置、表示方法)では、作業対象物に関連する内容を示す対象物関連情報を、可搬型表示装置に表示する。したがって、作業者は、可搬型表示装置に表示された対象物関連情報を確認しながら、作業対象物への作業を行うことができる。しかも、本発明は、作業対象物と可搬型表示装置との距離を検知した結果に応じて、可搬型表示装置における対象物関連情報の表示態様を変更する。これによって、作業対象物と可搬型表示装置との距離に応じた適切な態様で、作業対象物に関連する内容を示す情報を表示することができる。
具体的には、表示制御部は、距離検知部が検知した距離に応じて、対象物関連情報を表示する表示領域の形状を変更するように、表示システムを構成しても良い。これによって、作業対象物と可搬型表示装置との距離に応じた適切な形状で、作業対象物に関連する内容を示す情報を表示することができる。
また、表示制御部は、距離検知部が検知した距離と閾値との大小関係に応じて、表示態様を変更するように、表示システムを構成しても良い。かかる構成では、距離検知部が検知した距離と閾値との大小関係が逆転する前後で、対象物関連情報の表示態様が切り換わる。そのため、例えば距離検知部が検知した距離の変化に応じて対象物関連情報の表示態様を連続的に変化させる場合に比べて、対象物関連情報の表示態様の変化が作業者の視界を邪魔することを抑制できる。
また、距離検知部が検知する距離が第1の距離、第1の距離より短い第2の距離、第2の距離より長い第3の距離の順に変化する場合、表示制御部は、第1の距離の検知に応じて対象物関連情報を表示する表示態様と、第3の距離の検知に応じて対象物関連情報を表示する表示態様とを異ならせるように、表示システムを構成しても良い。かかる構成では、可搬型表示装置が作業対象物に近づいた後に遠ざかったような場合、近づく前と遠ざかった後とで対象物関連情報の表示態様が異なる。つまり、作業対象物と可搬型表示装置との距離の変化の履歴に応じた態様で、作業対象物に関連する内容を示す情報を表示することができる。
この際、表示制御部は、第1の距離の検知に応じて対象物関連情報を表示する表示態様と、第1の距離の検知に応じて対象物関連情報を表示する表示態様と、第3の距離の検知に応じて対象物関連情報を表示する表示態様とを異ならせると良い。
また、表示制御部は、複数の作業対象物に対応可能であり、複数の作業対象物のうちから選択した作業対象物について対象物関連情報を示し、選択しなかった作業対象物については対象物関連情報を示さないように、表示システムを構成しても良い。かかる構成では、複数の作業対象物のうちから対象物関連情報を表示する作業対象物を絞り込むことができ、対象物関連情報の表示が作業者の視界を邪魔することを抑制できる。
なお、可搬型表示装置の具体的構成としては種々想定される。そこで、作業対象物を撮像する撮像部を備え、表示制御部は、撮像部の撮像結果に重ねて対象物関連情報を表示するように、可搬型表示装置を構成しても良い。
本発明にかかる表示システムの一例を模式的に示すブロック図。 プリンターの構成の一例を示すブロック図。 HMDの機械的構成の一例を模式的に示す図。 図3のHMDが備える電気的構成の一例を示すブロック図。 管理サーバーの構成の一例を示すブロック図。 作業者を支援するために実行される動作の一例を示すフローチャート。 HMDにおけるイベント関連情報の表示態様の第1例を模式的に示す図。 HMDにおけるイベント関連情報の表示態様の第2例を模式的に示す図。 HMDにおけるイベント関連情報の表示態様の第3例を模式的に示す図。
図1は、本発明にかかる表示システムの一例を模式的に示すブロック図である。表示システム1は、作業対象物であるプリンター3と、作業内容を表示するHMD5と、プリンター3およびHMD5を管理する管理サーバー7とを有する。
プリンター3、HMD5および管理サーバー7はそれぞれインターネット10に接続されており、管理サーバー7は、プリンター3およびHMD5との間の通信を、インターネット10を介して実行する。なお、インターネット10は通信回線の一例として示したものであり、プリンター3およびHMD5のそれぞれと管理サーバー7との間の通信を実現する具体的構成はインターネット10に限られない。また、プリンター3が管理サーバー7が行う必要な機能を備えている場合は、管理サーバー7を介さずに通信を実行してもよい。
この表示システム1は、プリンター3に対する作業を実行する作業者を支援するのに適している。つまり、紙ジャムやインク切れ等といったイベントがプリンター3で生じると、管理サーバー7は、イベントの発生を作業者が装着するHMD5に表示する。さらに、管理サーバー7は、イベントに対して作業者が行うべき作業内容をHMD5に適宜表示することもできる。
図2は、プリンターの構成の一例を示すブロック図である。プリンター3は、制御部31、インターフェース部33、印刷部35、GPSモジュール37および記憶部39を備える。制御部31は、CPU(Central Processing Unit)およびRAM(Random
Access Memory)で構成されたコンピューターであり、プリンター3で実行される動作を統括的に制御する。したがって、インターフェース部33、印刷部35、GPSモジュール37および記憶部39は、制御部31の制御を受けて動作する。
インターフェース部33は、外部装置あるいは作業者との間のインターフェース機能を担う。通信部331はインターネット10に接続され、インターネット10を介して管理サーバー7との通信を実行する。また、操作部332は、入力操作を受け付けるボタン等で構成され、表示部333はプリンター3に関する各種情報を表示するディスプレイ等で構成される。なお、操作部332および表示部333は、例えばタッチパネルにより一体的に構成しても良い。
印刷部35は、印刷エンジン351、センサー352およびカウンター353を備える。印刷エンジン351は、印刷媒体への画像の印刷を実行する機械的構成である。この印刷エンジン351は、ロール・トゥ・ロールで搬送される巻取式の印刷媒体(ウェブ)に対してインクジェット方式の吐出ヘッドからインクを吐出することで、印刷媒体に画像を印刷する。なお、印刷エンジン351の具体的構成はここで例示したものに限られず、印刷エンジン351は枚葉式の印刷媒体に印刷するものでも構わないし、レーザー方式でトナーにより印刷するものでも構わない。そして、センサー352は印刷エンジン351の状態を検知し、カウンター353は印刷エンジン351の稼働に伴って変化する各種の数値を計数する。
印刷エンジン351の状態としては、例えば印刷媒体の搬送状態や、本体のカバーの開閉状態、各種部品の取り付け状態等があり、これらの状態を検知するためにセンサー352が設けられている。また、印刷エンジン351の稼働に伴って変化する数値としては、例えば印刷された印刷媒体の積算長、インクの消費量(あるいは残量)、回転する機械部品(例えば印刷媒体を搬送するローラー)の積算回転量等があり、これらの数値を計数するために各種のカウンター353が設けられる。
GPSモジュール37は、衛星位置システムを利用することで、プリンター3の設置位置を検知する。また、記憶部39は、ROM(Read Only Memory)、HDD(Hard Disk Drive)あるいはRAMといった記憶媒体で構成され、プリンター3で利用される各種のプログラムやデータを記憶する。
図3は、HMDの機械的構成の一例を模式的に示す図である。図4は、図3のHMDが備える電気的構成の一例を示すブロック図である。HMD5は、作業者が装着するヘッドセット51、可搬型のコントローラー55、およびヘッドセット51とコントローラー55を接続するケーブル59を備え、例えば特開2014−219468号公報や特開2014−225823号公報に記載の虚像表示装置と同様の構成を具備した光透過型のHMDである。
ヘッドセット51は、作業者の頭部に装着可能な眼鏡型のフレーム511と、フレーム511に取り付けられた左右のレンズ512とを有する。各レンズ512はフレーム511を装着した作業者の左右の眼前に位置して、可視光を透過する。したがって、ヘッドセット51を装着した作業者は、各レンズ512を介して周囲の様子を視認できる。さらに、フレーム511には、作業者に画像を表示する表示部513が内蔵されている。したがって、ヘッドセット51を装着した作業者は、表示部513が表示する画像を視認できる。換言すれば、ヘッドセット51は、レンズ512を介した周囲の様子に重畳して、表示部513が生成する画像を作業者に表示することができる。なお、表示部513は、虚像を表示するタイプおよび作業者の網膜に結像させるタイプのいずれであっても構わない。また、フレーム511には、周囲の様子を撮像するカメラ514や、ヘッドセット51の方位を検知するセンサー515が取り付けられている。
コントローラー55は、作業者が着衣のポケット等に入れてあるいは手で持って持ち運べる可搬型のハウジング551に、演算部552、通信部553、タッチパッド554、操作ボタン555およびGPSモジュール556を取り付けた構成を具備する。演算部552はCPUやRAMで構成されたコンピューターであり、HMD5での演算処理を統括的に担う。通信部553はインターネット10に接続され、インターネット10を介して管理サーバー7との通信を実行する。タッチパッド554および操作ボタン555はそれぞれユーザーインターフェースとして機能する。つまり、作業者がタッチパッド554や操作ボタン555に入力操作を行うと、演算部552は当該入力操作に応じて表示部513を制御する。これによって、作業者の入力操作に応じて作業者に表示する画像の位置や内容を変更する等といった表示制御を実行できる。GPSモジュール556は、衛星位置システムを利用することで、HMD5の位置を検知する。なお、位置を検知する方法は、これには限定されず、超音波や無線を利用するなど様々な方法を用いることができる。
図5は、管理サーバーの構成の一例を示すブロック図である。管理サーバー7は、制御部71、インターフェース部73および記憶部75を備える。制御部71は、CPUおよびRAMで構成されたコンピューターであり、管理サーバー7で実行される動作を統括的に制御する。したがって、インターフェース部73および記憶部75は、制御部71の制御を受けて動作する。また、制御部71は、所定のHMD制御プログラムを実行することで、機体情報管理部711およびアクセス管理部712を内部に構築する。
機体情報管理部711は、作業者の作業対象物であるプリンター3(機体)に関する情報を管理する。つまり、機体情報管理部711は、センサー352の検知結果をプリンター3から受信することでプリンター3の印刷エンジン351の状態を示すステータス情報を取得したり、カウンター353の計数結果をプリンター3から受信することで消耗品の状態(インク残量、回転機械部品の残寿命等)を示す消耗品情報を取得したり、GPSモジュール37の検知結果をプリンター3から受信することでプリンター3の位置を示す位置情報を取得したりする。
アクセス管理部712は、HMD5が管理サーバー7にアクセスする権限を管理するとともに、アクセス権限を与えたHMD5への作業内容の表示を管理する。つまり、作業者がHMD5の操作部732を操作してID(Identification Data)やパスワードを入力すると、アクセス管理部712は作業者の入力内容をHMD5から受信する。そして、入力内容が適正である場合は、アクセス管理部712はHMD5にアクセス権限を与え、プリンター3に実行すべき作業内容の表示対象として当該HMD5を選定する。
また、アクセス管理部712は、HMD5のGPSモジュール556の検知結果をHMD5から受信することでHMD5の位置情報を取得する。さらに、アクセス管理部712は後述するように、機体情報管理部711が取得したプリンター3の位置情報とHMD5の位置情報とからプリンター3とHMD5との距離を算出し、その算出結果に基づいてHMD5の表示内容を制御する。
インターフェース部73は、外部装置あるいは作業者との間のインターフェース機能を担う。通信部731はインターネット10に接続され、インターネット10を介してプリンター3およびHMD5のそれぞれとの通信を実行する。また、操作部732は、作業者からの入力操作を受け付けるキーボードやマウス等で構成され、表示部733は各種情報を作業者に表示するディスプレイ等で構成される。なお、操作部732および表示部733は、例えばタッチパネルにより一体的に構成しても良い。
記憶部75は、ROM、HDDあるいはRAMといった記憶媒体で構成され、管理サーバー7で利用される各種のプログラム(上記のHMD制御プログラムを含む)やデータを記憶する。具体的には、記憶部75はプリンター3を使用する顧客に関する情報を示す顧客情報751や、プリンター3で生じたエラーを解決する方法を示すエラー解決方法752や、プリンター3の消耗品(インク、回転機械部品等)の交換方法を示す消耗品交換方法753等を、データとして記憶する。
図6は、プリンターに対する作業を実行する作業者を支援するために表示システムで実行される動作の一例を示すフローチャートである。同図では、フローチャートの各ステップの実行主体を示すために、管理サーバー7およびHMD5それぞれの欄を設けて各ステップを実行主体の欄内に示す。特に、同図のフローチャートは、紙ジャムやインク切れ等といったイベントがプリンター3で発生した際に実行される。具体的には、管理サーバー7がプリンター3のセンサー352およびカウンター353の出力値からイベントの発生を検知すると、同図のフローチャートを実行する。
同図に示すように、管理サーバー7のアクセス管理部712は、プリンター3およびHMD5それぞれの位置情報に基づき、プリンター3とHMD5との距離を検知する(ステップS101)。そして、アクセス管理部712は、ステップS101での検知距離が所定の閾値以上か否かを判断する(ステップS102)。検知距離が閾値以上である場合(ステップS102で「YES」の場合)は、プリンター3で生じたイベントに関連するイベント関連情報を第1の表示態様で表示させる第1の表示命令がアクセス管理部712で発行されてHMD5に送信される(ステップS103)。一方、検知距離が閾値未満である場合(ステップS102で「NO」の場合)は、第1の表示態様と異なる第2の表示態様でイベント関連情報を表示させる第2の表示命令がアクセス管理部712で発行されてHMD5に送信される(ステップS104)。なお、第1の表示態様および第2の表示態様の具体例は、図を示しつつ後述する。また、プリンター3およびHMD5それぞれの位置情報に基づき距離を検知することには限られない。プリンター3とHMD5の距離をセンサー等によって検出してもよい。
HMD5は、第1あるいは第2の表示命令をHMD5から受信すると(ステップS106)、その受信結果に応じた表示態様でイベント関連情報を表示する。つまり、受信結果が第1の表示命令および第2の表示命令のいずれであるかを判断し(ステップS106)、受信結果が第1の表示命令である場合(ステップS106で「第1」の場合)は第1の表示態様でイベント関連情報を表示し(ステップS107)、受信結果が第2の表示命令である場合(ステップS106で「第2」の場合)は第2の表示態様でイベント関連情報を表示する(ステップS108)。
このようにプリンター3とHMD5との距離が閾値以上か否かで、HMD5でのイベント関連情報の表示態様が第1の表示態様と第2の表示態様との間で切り換えられる。つまり、作業者に装着されたHMD5とプリンター3との距離が閾値以上の場合は、HMD5は第1の表示態様でイベント関連情報を表示する。一方、作業者に装着されたHMD5とプリンター3との距離が閾値未満の場合は、HMD5は第2の表示態様でイベント関連情報を表示する。したがって、HMD5を装着した作業者は、プリンター3に近づくあるいはプリンター3から離れることで、HMD5におけるイベント関連情報の表示態様を第1の表示態様と第2の表示態様との間で切り換えることができる。
図7は、HMDにおけるイベント関連情報の表示態様の第1例を模式的に示す図である。図7の例では、レンズ512を介して作業者に視認されるプリンター3に、表示部513により表示されるインジケーター9(吹き出し、マーク、テキスト等)を適宜重畳することで、プリンター3についてのイベント関連情報がインジケーター9により示される。
作業者がプリンター3から離れており、作業者が装着するHMD5がプリンター3から閾値以上に離れていると、吹き出しにイベントの内容(エラー発生)をテキストで記した構成のインジケーター9が表示部513により表示される(第1の表示態様)。したがって、作業者は、プリンター3から離れていても、プリンター3にエラーが発生したことを把握できる。
一方、エラー発生を把握した作業者がエラーへの対応作業のためにプリンター3に近づいて、作業者に装着されるHMD5とプリンター3との距離が閾値未満になると、エラー発生箇所を示す三角形のマークで構成されるインジケーター9が表示部513により表示される(第2の表示態様)。この第2の表示態様では、第1の表示態様のようにプリンター3で生じたイベントの内容をテキストで表示することはしない。つまり、イベントの内容は第1の表示態様を確認した作業者にとって既知であって表示する意義が少ないとともに、イベントへの対応作業のためプリンター3に近づいた作業者にとってはイベントの発生箇所が重要となる。そこで、イベントの内容のテキスト表示を行わずにマークでイベント発生箇所を示すインジケーター9が合理的となる。
図8は、HMDにおけるイベント関連情報の表示態様の第2例を模式的に示す図である。図8の例においても、レンズ512を介して作業者に視認されるプリンター3に、表示部513により表示されるインジケーター9を適宜重畳することで、プリンター3についてのイベント関連情報がインジケーター9により示される。作業者が装着するHMD5がプリンター3から閾値以上に離れている場合の第1の表示態様は、図7の第1例と同様である。
一方、作業者に装着されるHMD5とプリンター3との距離が閾値未満になると、横長の長方形のメニューバー91の内側に各種のアイコン92、93、94を並べた構成のインジケーター9が表示部513により表示される(第2の表示態様)。かかるインジケーター9は、作業者がイベントへの対応作業を行う箇所を外して表示される。これによって、対応作業を行う作業者の視界をインジケーター9が邪魔することを抑制できる。
そして、作業者はアイコン92、93、94のうちの一つを選択して実行することができる。この際、アイコン選択を実現するための具体的構成は種々考えられる。例えば、コントローラー55のタッチパッド554や操作ボタン555への入力に基づき、演算部552が選択アイコンを判別するように構成しても良い。あるいは、作業者の指で指示した位置をカメラ514の撮像画像から判断した結果に基づき、演算部552が選択アイコンを判別するように構成しても良い。
「詳細」を示すアイコン92が選択された場合は、表示部513はエラー発生箇所やエラーの具体的内容(例えばインク切れ等)を表示する。「隠す」を示すアイコン93が選択された場合は、表示部513は第2の表示態様での表示を停止して、第1の表示態様での表示に戻す。あるいは、「固定」を示すアイコン94が選択された場合は、表示部513は、プリンター3とHMD5との距離によらず第2の表示態様でのインジケーター9の表示を固定する。
以上に説明したように本実施形態では、プリンター3で生じたイベントに関連するイベント関連情報をインジケーター9によりHMD5に表示する。したがって、作業者は、HMD5に表示されたイベント関連情報を確認しながら、プリンター3への作業を行うことができる。しかも、本実施形態では、プリンター3とHMD5との距離を検知した結果に応じて、HMD5におけるイベント関連情報の表示態様を変更する。これによって、プリンター3とHMD5との距離に応じた適切な態様で、プリンター3に関連する内容を示す情報を表示することができる。
具体的には、プリンター3とHMD5との検知距離に応じて、イベント関連情報を表示する表示領域の形状(すなわち、インジケーター9の形状)を変更する。これによって、プリンター3とHMD5との距離に応じた適切な形状で、イベント関連情報を表示することができる。
また、プリンター3とHMD5の検知距離と閾値との大小関係に応じて、イベント関連情報の表示態様を変更している。かかる構成では、検知距離と閾値との大小関係が逆転する前後でイベント関連情報の表示態様が切り換わる。そのため、例えば検知距離の変化に応じてイベント関連情報の表示態様を連続的に変化させる場合に比べて、イベント関連情報の表示態様の変化が作業者の視界を邪魔することを抑制できる。
このように本実施形態では、表示システム1が本発明の「表示システム」の一例に相当し、HMD5が本発明の「可搬型表示装置」の一例に相当し、管理サーバー7が本発明の「表示制御装置」の一例に相当し、プリンター3が本発明の「作業対象物」の一例に相当し、制御部71が本発明の「表示システムあるいは表示制御が備える距離検知部および表示制御部」の一例として機能する。また、イベント関連情報あるいはインジケーター9が示す情報が本発明の「対象物関連情報」に相当する。
なお、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したものに対して種々の変更を加えることが可能である。したがって、例えば、図6に示すフローチャートの各ステップの実行主体を適宜変更しても良い。具体的には、 プリンター3とHMD5との距離の検知をHMD5で実行するように構成しても構わない。
かかる変形例では、HMD5の演算部552は、機体情報管理部711が取得したプリンター3の位置情報を管理サーバー7から取得する。そして、演算部552は、管理サーバー7から取得したプリンター3の位置情報と、GPSモジュール556が取得したHMD5の位置情報とに基づき、プリンター3とHMD5との距離を検知する。さらに、演算部552は、上記実施形態のアクセス管理部712と同様に機能して、検知距離に応じて表示部513による表示態様を切り換える。かかる構成では、HMD5が本発明の「可搬型表示装置」の一例に相当するとともに、演算部552が本発明の「可搬型表示装置が備える距離検知部および表示制御部」の一例として機能する。
また、インジケーター9の表示態様の切り換えを、検知距離と閾値との大小関係だけでなく、図9に示すように検知距離の変化の履歴に応じて行うように構成しても良い。図9は、HMDにおけるイベント関連情報の表示態様の第3例を模式的に示す図である。図9の例においても、レンズ512を介して作業者に視認されるプリンター3に、表示部513により表示されるインジケーター9を適宜重畳することで、プリンター3についてのイベント関連情報がインジケーター9により示される。
作業者がプリンター3から離れている場合の第1の表示態様、および第1の表示態様でエラー発生を把握した作業者がプリンター3に近づいた場合の第2の表示態様は、図7の第1例と同様である。ただし、図9の第3例では、作業者がプリンター3に近づいた後にプリンター3から離れて検知距離が再び閾値以上となった場合に、第1および第2の表示態様と異なる第3表示態様で表示が行われる。なお、図9の第3例での第3表示態様の詳細は、図8の第2例での第2の表示態様と同様であるので説明は省略する。
つまり、アクセス管理部712は、プリンター3でのエラー発生時にプリンター3とHMD5との距離を検知した結果が閾値以上の距離(第1の距離)であると、第1の表示態様でインジケーター9を表示する。したがって、作業者はインジケーター9を確認することで、プリンター3にエラーが発生したことを把握できる。一方、エラー発生を把握した作業者がエラーへの対応作業のためにプリンター3に近づいて、作業者に装着されるHMD5とプリンター3との距離を検知した結果が閾値未満の距離(第2の距離)となると、アクセス管理部712は、第2の表示態様でインジケーター9を表示する。したがって、作業者はインジケーター9を確認することで、プリンター3でのエラー発生箇所を把握できる。さらに、作業者がプリンター3から離れて、作業者に装着されるHMD5とプリンター3との距離を検知した結果が閾値以上の距離(第3の距離)となると、アクセス管理部712は、第3の表示態様でインジケーター9を表示する。
このように図9の第3例においても、プリンター3とHMD5との距離を検知した結果に応じて、HMD5におけるイベント関連情報の表示態様を変更する。これによって、プリンター3とHMD5との距離に応じた適切な態様で、プリンター3に関連する内容を示す情報を表示することができる。
また、図9の第3例では、HMD5がプリンター3に近づいた後に遠ざかったような場合、近づく前と遠ざかった後とでプリンター3の表示態様が異なる。つまり、プリンター3とHMD5との距離の変化の履歴に応じた態様で、プリンター3に関連する内容を示す情報を表示することができる。
ところで、上記では、作業対象物としてのプリンター3が1台である場合を例示して説明を行った。しかしながら、プリンター3の台数は1台に限られず、複数であっても良い。この場合、複数のプリンター3それぞれについてイベント関連情報をHMD5に示しても良い。ただし、表示されるイベント関連情報が多すぎると、HMD5の表示が煩雑になることも想定される。そこで、複数のプリンター3のそれぞれに優先順位を設けて、優先順位が上位のプリンター3について選択的にイベント関連情報をHMD5に表示しても良い。
つまり、例えば作業者が視界に捉えているプリンター3について選択的にイベント関連情報を表示しても良い。かかる構成では、管理サーバー7の制御部71は、プリンター3およびHMD5それぞれの位置情報に基づき、各プリンター3とHMD5との位置関係を把握する。さらに、制御部71は、HMD5のセンサー515からヘッドセット51の方位を検知して、各HMD5を装着した作業者の視界に入るプリンター3を特定する。そして、制御部71は、視界に入ると特定されたプリンター3のイベント関連情報を作業者が装着するHMD5に表示し、その他のプリンター3のイベント関連情報は表示しない。これによって、作業者は、イベント関連情報を把握したいプリンター3に顔を向けることで、当該イベント関連情報を容易に把握できる。
あるいは、各プリンター3が近接して配置されており、HMD5を装着する作業者の視界に複数のプリンター3が存在するような場合には、イベント関連情報を表示するプリンター3の選択をメニューバー91の操作により行えるように構成しても良い。かかる構成では、イベント関連情報を表示するプリンター3を選択するためのアイコン、例えば「次へ」と示すアイコンや「戻る」と示すアイコンがメニューバー91に設けられる。そして、初期状態では、視界に入る複数のプリンター3のうちの1台、例えば視界の中心に最近接のプリンター3についてイベント関連情報が示される。また、作業者が「次へ」のアイコンを選択すると、イベント関連情報を示すプリンター3が切り換えられ、作業者が「戻る」のアイコンを選択すると、イベント関連情報を示すプリンター3が直前のそれに戻される。
このように、管理サーバー7の制御部71は、作業者の視界の向きや作業者によるアイコンの操作に基づいて、複数のプリンター3のうちから選択したプリンター3についてイベント関連情報を示し、選択しなかったプリンター3についてはイベント関連情報を示さない。したがって、複数のプリンター3のうちからイベント関連情報を表示するプリンター3を絞り込むことができ、イベント関連情報の表示が作業者の視界を邪魔することを抑制できる。
また、図7〜図9に示した各表示態様の具体的構成についても種々変更が可能である。したがって、例えばインジケーター9を構成するマークの形状を変更したり、メニューバー91の位置を下、右あるいは左に変更したり、さらにはメニューバー91を複数に分割して上下左右のそれぞれに配置したりといったことが可能である。
また、上記実施形態では、本発明の「可搬型表示装置」として透過型のHMD5を用いた場合が例示されていた。しかしながら、カメラ514で撮像した周囲の映像を表示する非透過型(すなわちシースルーでない)HMD5を、本発明の「可搬型表示装置」として用いることもできる。つまり、プリンター3を含む周辺をカメラ514で撮像した撮像結果に重ねてイベント関連情報を表示するようにHMD5を構成すれば良い。あるいは、スマートフォン、タブレットあるいはラップトップパソコンを、本発明の「表示装置」として用いることもできる。カメラで撮像した撮像結果を重ねてイベント関連情報を表示してもよい。これらの場合、カメラで撮像したプリンター3の大きさに合わせて、表示態様を変更してもよい。
また、上記実施形態では、プリンター3とHMD5の検知距離と閾値との大小関係に応じて、イベント関連情報の表示態様を切り換えている。しかしながら、検知距離の変化に応じてイベント関連情報の表示態様を連続的に変化させても構わない。
また、上では詳述しなかったが、イベント関連情報を表示する技術としては、例えば、AR(Augmented
Reality)マーカーによるものを用いることができる。具体的には、プリンター3に付されたARマーカーをカメラ514の撮像画像から抽出し、ARマーカーと所定の位置関係を満たす箇所にイベント関連情報を表示する。あるいは、マーカーレスARによる表示制御でHMD5への表示を実行しても良い。
また、本発明の「作業対象物」としてプリンター3を用い、プリンター3への作業を実行する作業者を支援する場合が例示されていた。しかしながら、医療、福祉あるいは工事現場等に従事する作業者の作業を支援するにあたっても、本発明を好適に用いることができる。
1…表示システム、3…プリンター、5…HMD、513…表示部、553…通信部、7…管理サーバー、71…制御部、711…機体情報管理部、712…アクセス管理部

Claims (10)

  1. 可搬型表示装置と、
    作業対象物と前記可搬型表示装置との距離を検知する距離検知部と、
    前記作業対象物に関連する内容を示す対象物関連情報を前記可搬型表示装置に表示させる表示制御部と
    を備え、
    前記表示制御部は、前記距離検知部が距離を検知した結果に応じて、前記可搬型表示装置での前記対象物関連情報の表示態様を変更する表示システム。
  2. 前記表示制御部は、前記距離検知部が検知した距離に応じて、前記対象物関連情報を表示する表示領域の形状を変更する請求項1に記載の表示システム。
  3. 前記表示制御部は、前記距離検知部が検知した距離と閾値との大小関係に応じて、表示態様を変更する請求項1または2に記載の表示システム。
  4. 前記距離検知部が検知する距離が第1の距離、前記第1の距離より短い第2の距離、前記第2の距離より長い第3の距離の順に変化する場合、前記表示制御部は、前記第1の距離の検知に応じて前記対象物関連情報を表示する表示態様と、前記第3の距離の検知に応じて前記対象物関連情報を表示する表示態様とを異ならせる請求項1ないし3のいずれか一項に記載の表示システム。
  5. 前記表示制御部は、前記第1の距離の検知に応じて前記対象物関連情報を表示する表示態様と、前記第1の距離の検知に応じて前記対象物関連情報を表示する表示態様と、前記第3の距離の検知に応じて前記対象物関連情報を表示する表示態様とを異ならせる請求項4に記載の表示システム。
  6. 前記表示制御部は、複数の前記作業対象物に対応可能であり、複数の前記作業対象物のうちから選択した前記作業対象物について前記対象物関連情報を示し、選択しなかった前記作業対象物については前記対象物関連情報を示さない請求項1ないし5のいずれか一項に記載の表示システム。
  7. 作業対象物との距離を検知する距離検知部と、
    表示部と、
    前記作業対象物に関連する内容を示す対象物関連情報を前記表示部に表示させる表示制御部と
    を備え、
    前記表示制御部は、前記距離検知部が距離を検知した結果に応じて、前記表示部での前記対象物関連情報の表示態様を変更する可搬型表示装置。
  8. 前記作業対象物を撮像する撮像部を備え、
    前記表示制御部は、前記撮像部の撮像結果に重ねて前記対象物関連情報を表示する請求項7に記載の可搬型表示装置。
  9. 作業対象物との距離を検知する距離検知部と、
    前記作業対象物に関連する内容を示す対象物関連情報を可搬型表示装置に表示させる表示制御部と
    を備え、
    前記表示制御部は、前記距離検知部が距離を検知した結果に応じて、前記可搬型表示装置での前記対象物関連情報の表示態様を変更する表示制御装置。
  10. 作業対象物と可搬型表示装置との距離を検知する工程と、
    前記作業対象物に関連する内容を示す対象物関連情報を前記可搬型表示装置に表示させる工程と
    を備え、
    前記作業対象物と前記可搬型表示装置との距離を検知した結果に応じて、前記可搬型表示装置での前記対象物関連情報の表示態様を変更する表示方法。
JP2015012009A 2015-01-26 2015-01-26 表示システム、可搬型表示装置、表示制御装置、表示方法 Pending JP2016139168A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015012009A JP2016139168A (ja) 2015-01-26 2015-01-26 表示システム、可搬型表示装置、表示制御装置、表示方法
US15/001,586 US9651785B2 (en) 2015-01-26 2016-01-20 Display system, portable display device, display control device, and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015012009A JP2016139168A (ja) 2015-01-26 2015-01-26 表示システム、可搬型表示装置、表示制御装置、表示方法

Publications (1)

Publication Number Publication Date
JP2016139168A true JP2016139168A (ja) 2016-08-04

Family

ID=56434321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015012009A Pending JP2016139168A (ja) 2015-01-26 2015-01-26 表示システム、可搬型表示装置、表示制御装置、表示方法

Country Status (2)

Country Link
US (1) US9651785B2 (ja)
JP (1) JP2016139168A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160177A (ja) * 2018-03-16 2019-09-19 京セラドキュメントソリューションズ株式会社 表示装置及び表示プログラム
JP2019202513A (ja) * 2018-05-25 2019-11-28 理想科学工業株式会社 印刷システム、画像形成装置、ウェアラブル端末及びプログラム
JPWO2020183826A1 (ja) * 2019-03-08 2020-09-17

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6696331B2 (ja) * 2016-07-06 2020-05-20 富士ゼロックス株式会社 情報処理装置、画像形成システムおよびプログラム
CN106249882B (zh) * 2016-07-26 2022-07-12 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
JP2018128530A (ja) 2017-02-07 2018-08-16 株式会社東芝 画像処理装置及び情報提供方法
JP2020520487A (ja) * 2017-03-29 2020-07-09 ベステル エレクトロニク サナイー ベ ティカレト エー.エス. Vrインタラクションの改良された方法およびシステム
JP2018181261A (ja) * 2017-04-21 2018-11-15 京セラドキュメントソリューションズ株式会社 表示装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3540963B2 (ja) 1999-07-01 2004-07-07 シャープ株式会社 情報表示装置
JP2004233201A (ja) 2003-01-30 2004-08-19 Canon Inc 位置姿勢計測方法
JP4262011B2 (ja) 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
US7818291B2 (en) 2006-02-03 2010-10-19 The General Electric Company Data object access system and method using dedicated task object
US7403721B2 (en) 2006-02-28 2008-07-22 Kabushiki Kaisha Toshiba Image forming apparatus, MFP and method of displaying jam removal guidance
JP5280475B2 (ja) 2010-03-31 2013-09-04 新日鉄住金ソリューションズ株式会社 情報処理システム、情報処理方法及びプログラム
JP5418386B2 (ja) 2010-04-19 2014-02-19 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5521727B2 (ja) 2010-04-19 2014-06-18 ソニー株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
US8621362B2 (en) 2011-01-21 2013-12-31 Xerox Corporation Mobile screen methods and systems for collaborative troubleshooting of a device
JP5870958B2 (ja) 2012-04-27 2016-03-01 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US9619021B2 (en) * 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
JP2014164374A (ja) 2013-02-22 2014-09-08 Canon Inc 情報表示システム、情報端末、サーバ装置、情報端末の制御方法、サーバ装置の制御方法、及びプログラム
JP5266426B1 (ja) * 2013-02-27 2013-08-21 イメージニクス株式会社 情報処理端末、情報処理方法、情報処理プログラム
JP6160154B2 (ja) 2013-03-22 2017-07-12 セイコーエプソン株式会社 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
JP2014219468A (ja) 2013-05-02 2014-11-20 セイコーエプソン株式会社 虚像表示装置
JP6186876B2 (ja) 2013-05-17 2017-08-30 セイコーエプソン株式会社 虚像表示装置
KR102133843B1 (ko) * 2013-10-31 2020-07-14 엘지전자 주식회사 3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법
JP5884811B2 (ja) * 2013-11-18 2016-03-15 コニカミノルタ株式会社 Ar表示装置、ar表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160177A (ja) * 2018-03-16 2019-09-19 京セラドキュメントソリューションズ株式会社 表示装置及び表示プログラム
JP2019202513A (ja) * 2018-05-25 2019-11-28 理想科学工業株式会社 印刷システム、画像形成装置、ウェアラブル端末及びプログラム
JP7076286B2 (ja) 2018-05-25 2022-05-27 理想科学工業株式会社 印刷システム、ウェアラブル端末及びプログラム
JP2022122879A (ja) * 2018-05-25 2022-08-23 理想科学工業株式会社 システム、ウェアラブル端末及びプログラム
JPWO2020183826A1 (ja) * 2019-03-08 2020-09-17
WO2020183826A1 (ja) * 2019-03-08 2020-09-17 株式会社Nttドコモ 関連情報出力装置
JP7157871B2 (ja) 2019-03-08 2022-10-20 株式会社Nttドコモ 関連情報出力装置
US11836978B2 (en) 2019-03-08 2023-12-05 Ntt Docomo, Inc. Related information output device

Also Published As

Publication number Publication date
US9651785B2 (en) 2017-05-16
US20160219165A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
JP2016139168A (ja) 表示システム、可搬型表示装置、表示制御装置、表示方法
US10223058B2 (en) Display system, display control device, and display method
JP2016218268A (ja) 可搬型表示装置、表示システム、表示方法
EP3037924A1 (en) Augmented display and glove with markers as us user input device
JP4787087B2 (ja) 位置検出装置及び情報処理装置
JP5796726B2 (ja) ジョブ情報表示装置
US10268858B2 (en) Eye gaze detection controlled indicia scanning system and method
CN103246488A (zh) 便携式终端和打印指示方法
JP2010120231A (ja) 印刷装置及び印刷制御プログラム
JP2016128992A (ja) 電子機器、その制御方法及びプログラム並びに記録媒体
WO2012111262A1 (ja) 入力装置、入力装置の誤動作防止方法、および入力装置の誤動作防止プログラム
JP6428020B2 (ja) Gui装置
US10331225B2 (en) Information processing apparatus, display controlling method, and computer-readable recording medium
JP2019160171A (ja) 表示装置および表示方法
JP5906617B2 (ja) 画像処理システム、携帯端末、情報処理装置、表示方法および制御プログラム
US10237421B2 (en) Printers and methods for identifying a source of a problem therein
JP6332216B2 (ja) 電子機器、プログラム及び情報処理システム
JP2015090648A (ja) 電子機器
EP3709132A1 (en) Character input device, character input method, and character input program
JP2014215780A (ja) 操作入力装置及びプログラム並びに画像形成システム
US10956033B2 (en) System and method for generating a virtual keyboard with a highlighted area of interest
US9819817B2 (en) Display input device and method of controlling display input device
US20180295245A1 (en) Display input device and method for controlling same
US20170118359A1 (en) Printing system having an attached local user interface
EP3799408B1 (en) Enhanced printer and printer operator interactions

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170714

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20171102