JP2016207115A - 情報処理装置、画像処理装置へのジョブ指示方法 - Google Patents

情報処理装置、画像処理装置へのジョブ指示方法 Download PDF

Info

Publication number
JP2016207115A
JP2016207115A JP2015091074A JP2015091074A JP2016207115A JP 2016207115 A JP2016207115 A JP 2016207115A JP 2015091074 A JP2015091074 A JP 2015091074A JP 2015091074 A JP2015091074 A JP 2015091074A JP 2016207115 A JP2016207115 A JP 2016207115A
Authority
JP
Japan
Prior art keywords
image
unit
processing apparatus
image processing
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015091074A
Other languages
English (en)
Other versions
JP6295995B2 (ja
Inventor
友佑 岡▲崎▼
Yusuke Okazaki
友佑 岡▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2015091074A priority Critical patent/JP6295995B2/ja
Priority to CN201610245328.9A priority patent/CN106101470B/zh
Priority to EP16166178.0A priority patent/EP3088994B1/en
Priority to US15/139,279 priority patent/US9729747B2/en
Publication of JP2016207115A publication Critical patent/JP2016207115A/ja
Application granted granted Critical
Publication of JP6295995B2 publication Critical patent/JP6295995B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00315—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a radio transmission apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00246—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with an optical device, e.g. an optical viewing aid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034—Details of the connection, e.g. connector, interface
    • H04N2201/0048—Type of connection
    • H04N2201/0055—By radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Facsimiles In General (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】画像処理装置のユーザーが、容易に画像処理のジョブの実行を画像処理装置に対して指示することができるようにすること。【解決手段】情報処理装置１は、第１認識条件が成立した場合に、無線通信が可能なエリア内において視界影像におけるユーザーの視線の方位に画像処理装置の装置画像が存在するという条件である。情報処理装置１は、第２認識条件が成立した場合に、ジョブの実行の指示用画面を表示させる。前記第２認識条件は、目的装置の近距離範囲内において視界影像に前記装置画像が存在するという条件である。【選択図】図２

Description

本発明は、画像処理装置のユーザーが装着する情報処理装置および画像処理装置へのジョブ指示方法に関する。
一般に、ユーザーが装着可能な情報処理装置であるヘッドマウントデバイスが知られている。また、メガネタイプの前記ヘッドマウントデバイスが、画像表示部と視線検出部とを備える場合がある（例えば、特許文献１参照）。前記画像表示部は、前記ユーザーの目の前方に支持され前記ユーザーに画像を視認させる。前記視線検出部は、前記ユーザーの視線方向を検出する。さらに、前記ヘッドマウントデバイスが、前記ユーザーの視界を撮影するカメラを備える場合もある。
特開２０１２−２１６１２３号公報
ところで、プリンター、スキャナー、複写機およびファクシミリ装置などの画像処理装置において、操作性の向上のために、ユーザーがより容易に画像処理のジョブの実行を装置に指示できることが望まれている。
例えば、前記ユーザーが、図書館などのように自身の所属とは関係のない施設内に設置されている前記画像処理装置を利用したい場合、前記ユーザーは、ＬＡＮ（Local Area Network）内における複数の前記画像処理装置各々の位置および機能などを知らない。そのような利用環境下において、前記ユーザーが、容易に前記ジョブの実行を前記画像処理装置に対して指示できることが望まれる。
本発明の目的は、画像処理装置のユーザーが、容易に画像処理のジョブの実行を画像処理装置に対して指示することができるようにする情報処理装置および画像処理装置へのジョブ指示方法を提供することにある。
本発明の一の局面に係る情報処理装置は、画像処理装置のユーザーが装着可能な装置であり、カメラと、方位検出部と、視線検出部と、画像表示部と、無線通信部と、自装置測位部と、設置位置取得部と、第１装置認識部と、目的装置通知部と、近距離判定部と、第２装置認識部と、指示用画面制御部と、ジョブ指示部とを備える。前記カメラは、前記ユーザーの視界を撮影する。前記方位検出部は、自装置が向く方位を検出する。前記視線検出部は、前記ユーザーの視線方向を検出する。前記画像表示部は、前記ユーザーに画像を視認させる。前記無線通信部は、他装置との間で無線通信を行う。前記自装置測位部は、自装置の位置を測位する。前記設置位置取得部は、前記画像処理装置の位置を表す設置位置情報を取得する。前記第１装置認識部は、第１認識条件が成立するか否かを判定する。前記第１認識条件は、前記無線通信が可能なエリア内に前記画像処理装置が存在する状況下で前記視線方向が予め定められた凝視状態になった場合に、前記カメラで撮影された視界影像における前記視線方向に対応する位置に前記画像処理装置を表す装置画像が存在するという条件である。前記目的装置通知部は、前記第１認識条件が成立した場合に、自装置が向く方位と前記視線方向とにより特定される前記ユーザーの視線の方位に存在する前記画像処理装置である目的装置が認識された旨の通知を前記画像表示部に表示させる。前記近距離判定部は、自装置の位置が前記目的装置の位置に対して予め定められた近距離範囲内であるか否かを判定する。前記第２装置認識部は、第２認識条件が成立するか否かを判定する。前記第２認識条件は、自装置の位置が前記目的装置の位置に対して前記近距離範囲内である状況下で前記視線方向が前記凝視状態になった場合に、前記視界影像における前記視線方向に対応する位置に前記装置画像が存在するという条件である。前記指示用画面制御部は、前記第２認識条件が成立した場合に、前記目的装置に画像処理のジョブの実行を指示するための指示用画面を前記画像表示部に表示させる。前記ジョブ指示部は、前記指示用画面における前記視線方向の位置に応じた指示情報を前記無線通信によって前記目的装置に送信する。
本発明の他の局面に係る画像処理装置へのジョブ指示方法は、前記カメラと、前記方位検出部と、前記視線検出部と、前記画像表示部と、前記無線通信部と、前記自装置測位部とを備える情報処理装置を用いた方法である。前記ジョブ指示方法は、以下に示される各工程を含む。第１工程は、前記情報処理装置が、前記画像処理装置の位置を表す設置位置情報を取得する工程である。第２工程は、前記情報処理装置が、前記第１認識条件が成立するか否かを判定する工程である。第３工程は、前記第１認識条件が成立した場合に、前記情報処理装置が、前記目的装置が認識された旨の通知を前記画像表示部に表示させる工程である。第４工程は、前記情報処理装置が、自装置の位置が前記目的装置の位置に対して予め定められた近距離範囲内であるか否かを判定する工程である。第５工程は、前記情報処理装置が、前記第２認識条件が成立するか否かを判定する工程である。第６工程は、前記第２認識条件が成立した場合に、前記情報処理装置が、前記目的装置に画像処理のジョブの実行を指示するための指示用画面を前記画像表示部に表示させる工程である。第７工程は、前記情報処理装置が、前記指示用画面における前記視線方向の位置に応じた指示情報を前記無線通信によって前記目的装置に送信する工程である。
本発明によれば、画像処理装置のユーザーが、容易に画像処理のジョブの実行を画像処理装置に対して指示することができるようにする情報処理装置および画像処理装置へのジョブ指示方法を提供することが可能になる。
図１は、画像処理装置のブロック図である。 図２は、実施形態に係るヘッドマウントデバイスの構成図である。 図３は、実施形態に係るヘッドマウントデバイスのデータ処理関連部分のブロック図である。 図４は、実施形態に係るヘッドマウントデバイスにおける目的装置指定処理の手順の一例を示すフローチャートである。 図５は、実施形態に係るヘッドマウントデバイスにおけるジョブ指示処理の手順の一例を示すフローチャートである。 図６は、実施形態に係るヘッドマウントデバイスにより投影された必要機能選択画面を含むユーザーの視界の影像の一例を表す図である。 図７は、実施形態に係るヘッドマウントデバイスにより投影された案内画像を含むユーザーの視界の影像の一例を表す図である。 図８は、ランプ点灯中の画像処理装置の外観図である。 図９は、実施形態に係るヘッドマウントデバイスにより投影された装置認識通知を含むユーザーの視界の影像の一例を表す図である。 図１０は、実施形態に係るヘッドマウントデバイスにより投影された指示用画面を含むユーザーの視界の影像の一例を表す図である。
以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。
［画像処理装置１０］
まず、図１を参照しつつ、実施形態に係るヘッドマウントデバイス１と通信可能な画像処理装置１０の構成について説明する。画像処理装置１０は、シート状の画像記録媒体であるシート材９０１に画像を形成する装置である。
図１が示す画像処理装置１０は、原稿９００から画像を読み取る画像読取装置の機能およびシート材９０１へ画像を形成する画像形成装置の機能を兼ね備えた複合機である。なお、画像処理装置１０が、スキャナーまたは画像送信機能を兼ね備えるファクシミリ装置などであることも考えられる。なお、図１において、原稿９００およびシート材９０１が仮想線（２点鎖線）で示されている。
画像処理装置１０は、主制御部９０、操作表示部１００、スキャン部２０、スキャン制御部３０、プリント部４０、プリント制御部５０、無線通信部６０、画像処理部７０およびフィニッシャー８０などを備える。
さらに、画像処理装置１０は、当該装置の外観上の識別を容易にするためのランプ１０１も備える。例えば、ランプ１０１が、画像処理装置１０の外装に取り付けられた１つまたは複数のＬＥＤであることが考えられる。このランプ１０１の役割については後述する。
主制御部９０、スキャン制御部３０、プリント制御部５０、無線通信部６０および画像処理部７０は、それぞれバス２００に接続されおり、バス２００を通じて相互にデータの受け渡しが可能である。
スキャン部２０は、原稿９００に光を走査する不図示の光学系、および原稿９００からの反射光の光量を画素ごとに検出して原稿画像データを出力する不図示のイメージセンサーなどを備える。
スキャン制御部３０は、スキャン部２０を制御して前記原稿画像データを取得する。さらに、スキャン制御部３０は、バス２００を通じて前記原稿画像データを画像処理部７０などの他の機器に転送する。
プリント部４０は、周知の電子写真方式の画像形成処理によってシート材９０１に画像を形成する。プリント部４０は、不図示の像担持体およびその周辺機器を備え、前記像担持体からシート材９０１に現像剤の画像を転写するとともにその画像をシート材９０１に定着させる。
プリント制御部５０は、画像処理部７０から記録用画像データを取得し、前記記録用画像データ基づく画像をシート材９０１に形成する処理をプリント部４０に実行させる。
無線通信部６０は、無線信号によって他の画像処理装置１０、不図示のパーソナルコンピューターおよび後述するヘッドマウントデバイス１などの外部装置との間でデータの送受信を行う。例えば、無線通信部６０は、Ｗｉ−Ｆｉ（登録商標）通信またはＢｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信を行う。
さらに、無線通信部６０は、バス２００を通じて他の機器とデータの受け渡しを行う。例えば、無線通信部６０は、前記外部機器から画像形成用のジョブデータを受信し、そのジョブデータをバス２００を通じて画像処理部７０に転送する。
また、無線通信部６０は、スキャン制御部３０から画像処理部７０を介して前記原稿画像データを取得し、その原稿画像データを含むデータを前記外部装置へ送信する機能も備える。さらに、無線通信部６０は、ヘッドマウントデバイス１から画像形成に関する設定条件の情報を取得し、その情報を主制御部９０へ伝送する機能も備える。
画像処理部７０は、バス２００を通じて他の機器から得た画像データなどに対する各種のデータ処理を実行する。画像処理部７０によるデータ処理の対象は、例えば、スキャン制御部３０から得られる前記原稿画像データまたは前記外部装置から無線通信部６０を通じて得られる前記ジョブデータなどである。
例えば、画像処理部７０は、スキャン制御部３０から得られる前記原稿画像データに対し、画像回転処理、ハーフトーン処理またはサイズカット処理などの画像処理を施す。また、画像処理部７０は、スキャン制御部３０から得られる前記原稿画像データおよび無線通信部６０から得られる前記ジョブデータを前記記録用画像データへ変換し、プリント制御部５０へ転送する処理なども実行する。
スキャン制御部３０、プリント制御部５０および画像処理部７０は、例えばＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）などによって構成される。
フィニッシャー８０は、主制御部９０からの制御指令に従って、画像形成後のシート材９０１に関する各種の処理を実行する装置である。例えば、フィニッシャー８０は、綴じ加工、パンチ孔加工およびシートシフトなどの各種の機能を備える。
前記綴じ加工は、画像形成後の複数のシート材９０１をステープル針の打ち込みまたは圧着などによって綴じる加工である。前記パンチ孔加工は、シート材９０１に孔を空ける加工である。前記シートシフトは、画像処理装置１０の本体部から連続して送り出される画像形成後のシート材９０１を予め定められた枚数ごとに位置をずらして排出シートトレイへ排出する機能である。
操作表示部１００は、例えばタッチパネルおよび操作ボタンなどを含む情報入力用の操作部と、液晶表示パネルおよび通知ランプなどを含む表示部とを含む。
主制御部９０は、他の制御部を統括して制御する。例えば、主制御部９０は、操作表示部１００に操作メニューなどを表示させる。さらに、主制御部９０は、操作表示部１００の操作を通じて入力される入力情報および各種センサーの検出結果に応じて他の制御部に制御指令を出力する。図２が示すように、主制御部９０は、ＭＰＵ（Micro Processor Unit）１１および記憶部９２などを備える。
ＭＰＵ９１は、各種の演算およびデータ処理を実行するプロセッサーである。記憶部９２は、ＭＰＵ９１が参照する各種情報を記憶する不揮発性の記憶部である。また、記憶部９２は、ＭＰＵ９１による各種情報の読み書きが可能な記憶部でもある。
記憶部９２は、ＭＰＵ９１に各種の処理を実行させるためのプログラムおよびそれらのプログラムを実行するＭＰＵ９１によって参照される情報および書き込まれる情報を記憶する。主制御部９０は、ＭＰＵ９１に実行させるためのプログラムを一時記憶するＲＡＭなどの不図示の揮発性記憶部も備える。
［ヘッドマウントデバイス１］
次に、図２，３を参照しつつ、第１実施形態に係るヘッドマウントデバイス１の構成について説明する。ヘッドマウントデバイス１は、画像処理装置１０のユーザーが装着可能な情報処理装置の一例である。
ヘッドマウントデバイス１は、支持体２、視線検出部３、画像表示部４、カメラ５、主演算部６および操作部７などを備える。画像表示部４は、画像投影部４１およびプリズム４２を含む。なお、ヘッドマウントデバイス１は、自装置が備える電子機器に対して電力を供給するバッテリーおよびその他の不図示の機器も備える。
支持体２は、ヘッドマウントデバイス１の他の構成部品を支持する部材である。支持体２は、前記ユーザーの顔の部分に装着されるメガネフレーム状の部材である。支持体２は、前記ユーザーの鼻の部分および耳の部分によって支持される。
カメラ５は、ヘッドマウントデバイス１を装着した前記ユーザーの視界を遮らない位置において支持体２に固定されている。カメラ５は、前記ユーザーの視界の方向に向く状態で支持体２に固定されている。このカメラ５は、前記ユーザーの視界を撮影する視界用カメラである。以下の説明において、カメラ５で撮影される影像のことを視界影像と称する。
視線検出部３は、前記ユーザーの視線方向を検出するセンサーである。視線検出部３が検出する前記視線方向は、ヘッドマウントデバイス１の向きを基準にした相対方向であり、地球を基準にした絶対方向ではない。図２が示す例では、一対の視線検出部３が、前記ユーザーの両方の眼球１００１各々の外側の位置において支持体２に固定されている。
眼球１００１の網膜および角膜は異なる極性で帯電している。前記網膜から前記角膜に向かって生じる電場の向きは、前記ユーザーの視線方向に応じて定まる。視線検出部３は、眼球１００１において生じる電場の向きを検出することにより、前記ユーザーの視線方向を検出する。
なお、視線検出部３が、視線検出用カメラと画像処理部とを含むことも考えられる。この場合、前記視線検出用カメラは、前記ユーザーの眼球１００１を連続的に撮影する。前記画像処理部は、眼球１００１の画像から瞳１００２の位置を検出することによって前記ユーザーの視線方向を検出する。
画像表示部４は、前記ユーザーの目１０００の前方に支持され、前記ユーザーに画像を視認させる装置である。本実施形態における画像表示部４は、網膜投影によって前記ユーザーに画像を視認させる。
画像表示部４において、画像投影部４１は、前記ユーザーの視界の外側において支持体２に固定されている。透明なプリズム４２は、前記ユーザーの視界内において支持体２に固定されている。
画像投影部４１は、プリズム４２に画像の光を投影する。プリズム４２は、投影された画像の光を反射して前記ユーザーの目１０００の網膜へ投影する。この場合、前記ユーザーは、プリズム４２を通じて前方を見ることにより、視界内の現実の影像に画像投影部４１によって投影された画像が重畳された影像を視認する。即ち、画像表示部４の画像の表示領域は、前記ユーザーの視界に重なる領域である。
ヘッドマウントデバイス１において、予め所定のキャリブレーションが行われることにより、画像表示部４は、視線検出部３によって検出される前記ユーザーの視線方向と画像表示部４の表示領域における位置との対応関係を表す座標対応情報を得る。
画像表示部４は、前記座標対応情報に基づいて、任意の投影画像を、画像表示部４の表示領域における前記ユーザーの視線方向に対応する位置に表示させることができる。
例えば、画像表示部４は、視線検出部３によって連続して検出される前記ユーザーの視線方向に対応する位置へ移動するカーソル画像を前記表示領域に表示させることができる。
また、画像表示部４が前記ユーザーの視界内のある位置に画像を表示させている場合に、画像表示部４は、前記座標対応情報に基づいて、前記ユーザーの視線が表示画像に向いているか否かを判定することもできる。
操作部７は、前記ユーザーの手による操作に従って情報を入力する部分である。例えば、操作部７がタッチパッドおよび操作ボタンの一方または両方を含むことが考えられる。
主演算部６は、操作部７を通じて入力される情報およびカメラ５によって得られる前記視界影像のデータを取得し、各種の演算を行う。さらに、主演算部６は、カメラ５および画像表示部４を制御する。
図３が示すように、主演算部６は、ＣＰＵ（Central Processing Unit）６１、記憶部６２、画像処理部６３、無線通信部６４、信号インターフェイス６５、ＧＰＳ（Global Positioning System）素子６６および電子コンパス６７などを備える。
ＣＰＵ６１は、各種の演算およびデータ処理を実行するプロセッサーである。記憶部６２は、ＣＰＵ６１が参照する各種情報を記憶する不揮発性の記憶部である。また、記憶部６２は、ＣＰＵ６１による各種情報の読み書きが可能な記憶部でもある。
記憶部６２は、ＣＰＵ６１に各種の処理を実行させるためのプログラムおよびそれらのプログラムを実行するＣＰＵ６１によって参照される情報および書き込まれる情報を記憶する。主演算部６は、ＣＰＵ６１に実行させるためのプログラムを一時記憶するＲＡＭなどの不図示の揮発性記憶部も備える。
画像処理部６３は、カメラ５で得られる前記視界影像のデータに対する各種の画像処理を施す演算部である。画像処理部６３は、例えばＤＳＰまたはＡＳＩＣなどによって構成される。
無線通信部６４は、無線通信によって画像処理装置１０などの他装置との間でデータの送受信を行う。さらに、無線通信部６４は、ＣＰＵ６１との間で送信データおよび受信データの受け渡しを行う。例えば、無線通信部６４は、Ｗｉ−Ｆｉ通信などの無線通信を行う。
ＧＰＳ素子６６は、ヘッドマウントデバイス１の位置を測位するセンサーである。電子コンパス５７は、自装置が向く方位を検出する方位センサーである。例えば、電子コンパス５７は、カメラ５の光軸方向の方位を検出する。なお、ＧＰＳ素子６６および電子コンパス６７は、それぞれ自装置測位部および方位検出部の一例である。
信号インターフェイス６５は、ＣＰＵ６１とＧＰＳ素子６６、電子コンパス６７、視線検出部３、画像表示部４、カメラ５および操作部７との間のデータの受け渡しを中継する。さらに、信号インターフェイス６５は、カメラ５から画像処理部６３への前記視界影像のデータの転送を中継する。
ところで、プリンター、スキャナー、複写機およびファクシミリ装置などの画像処理装置１０において、操作性の向上のために、前記ユーザーがより容易に画像処理のジョブの実行を装置に指示できることが望まれている。
例えば、前記ユーザーが、図書館などのように自身の所属とは関係のない施設内に設置されている画像処理装置１０を利用したい場合、前記ユーザーは、ＬＡＮ（Local Area Network）内における複数の画像処理装置１０各々の位置および機能などを知らない。そのような利用環境下において、前記ユーザーが、容易に前記ジョブの実行を画像処理装置１０に対して指示できることが望まれる。
ヘッドマウントデバイス１が採用されれば、画像処理装置１０の前記ユーザーが、容易に画像処理のジョブの実行を画像処理装置１０に対して指示することができる。
ヘッドマウントデバイス１は、画像処理装置１０に対する画像処理のジョブの実行指示を容易化するために、以下に示される目的装置指定処理とジョブ指示処理とを実行する。前記ジョブ指示処理は、前記目的装置指定処理に引き続き実行される。前記目的装置指定処理および前記ジョブ指示処理は、ヘッドマウントデバイス１を用いた画像処理装置１０へのジョブ指示方法の一例を実現する処理である。
［前記目的装置指定処理］
次に、図４に示されるフローチャートを参照しつつ、ヘッドマウントデバイス１における前記目的装置指定処理の手順の一例について説明する。
前記目的装置指定処理は、ヘッドマウントデバイス１が、前記ユーザーの視線による操作に従って、離れた位置に存在する画像処理装置１０を目的装置として指定する処理である。前記目的装置は、前記ユーザーが利用対象とする画像処理装置１０である。
図４に示される前記目的装置指定処理は、予め定められた開始イベントが発生した場合に開始される。前記開始イベントの一例は、ヘッドマウントデバイス１と画像処理装置１０との無線通信の接続が確立した後に、ヘッドマウントデバイス１の操作部７に対して予め定められた開始操作が行われたことである。
以下の説明において、Ｓ１０１，Ｓ１０２，…は、主演算部６が実行する各工程の識別符号を表す。ＣＰＵ６１が記憶部６２に記憶された目的装置指定プログラムＰｒ１を実行することにより、主演算部６が前記目的装置指定処理を実行する。
＜工程Ｓ１０１＞
前記開始イベントが発生すると、主演算部６のＣＰＵ６１は、機能選択処理を実行する。前記機能選択処理は、前記ユーザーが予定している画像処理のジョブの実行に必要な機能を前記視線方向に応じて選択する処理である。
前記機能選択処理において、ＣＰＵ６１は、例えば図６に示されるような機能選択画面Ｐ１を画像表示部４に表示させる。前記機能選択画面は、画像処理のジョブの実行に必要な機能を選択するための画面である。さらに、ＣＰＵ６１は、機能選択画面Ｐ１における前記視線方向に対応する位置に応じて前記ジョブの実行に必要な機能を選択する。
図６が示すように、機能選択画面Ｐ１は、カラー印刷、両面印刷、ステープル加工およびパンチ孔加工などの画像処理に関する機能の選択メニューの画面である。機能選択画面Ｐ１は、各機能の選択有無を切り替えるチェックボックスなどの視線操作部Ｐ１１を含む。
本実施形態においては、前記視線方向が、視線操作部Ｐ１１の位置に向かって予め定められた凝視状態になったときに、その視線操作部Ｐ１１に対応する機能が選択される。前記凝視状態は、予め定められた設定凝視時間の間、前記視線方向が予め定められた狭範囲内に維持される状態である。
機能選択画面Ｐ１は、実像Ｒ０に重畳された状態で前記ユーザーに視認される。実像Ｒ０は、前記ユーザーの視界に存在する現物の像である。なお、工程Ｓ１０１の処理を実行するＣＰＵ６１が、機能選択部の一例である。
＜工程Ｓ１０２＞
次に、主演算部６のＣＰＵ６１は、工程Ｓ１０１で選択された前記ジョブの実行に必要な機能の情報を含む必要機能情報を、無線通信部６４を通じた無線通信によって画像処理装置１０各々へ送信する。
さらに、工程Ｓ１０２において、ＣＰＵ６１は、前記必要機能情報の送信に応じて画像処理装置１０から返信される画像処理装置１０の設置位置の情報を取得する。即ち、ＣＰＵ６１は、無線通信部６４を通じた無線通信によって画像処理装置１０各々から前記設置位置の情報を取得する。この工程Ｓ１０２の処理を実行するＣＰＵ６１が、必要機能情報送信部および設置位置取得部の一例である。
本実施形態において、ＣＰＵ６１から送信される前記必要機能情報は、画像処理装置１０各々に対する前記設置位置の情報の要求コマンドを兼ねる。画像処理装置１０各々は、受信した前記必要機能情報が表す機能を自装置が備えている場合にのみ、自装置の前記設置位置の情報を返信する。従って、ＣＰＵ６１が取得する前記設置位置の情報は、前記必要機能情報が表す必要機能を全て備える画像処理装置１０の位置の情報である。
例えば、画像処理装置１０において、主制御部９０のＭＰＵ９１が、記憶部９２に記憶された応答プログラムＰｒ１１を実行する。これにより、主制御部９０は、前記必要機能情報を受信した場合に、前記必要機能情報が示す機能を自装置が備えているか否かを判定する。さらに、主制御部９０は、前記必要機能情報が示す機能を自装置が備えている場合に、予め記憶部９２に記憶された前記設置位置の情報を、無線通信部６０を通じて前記必要機能情報の送信元へ送信する。
また、前記設置位置の情報を返信した画像処理装置１０は、ランプ１０１を点灯させる。例えば、画像処理装置１０において、主制御部９０のＭＰＵ９１が、記憶部９２に記憶されたランプ制御プログラムＰｒ１２を実行する。これにより、主制御部９０は、前記必要機能情報が示す機能を自装置が備えている場合に、ランプ１０１を点灯させる。また、主制御部９０が、ランプ１０１を予め定められた周期で点滅させることも考えられる。
本実施形態において、ＣＰＵ６１から送信される前記必要機能情報は、前記必要機能情報が示す機能を備える画像処理装置１０に対してランプ１０１の点灯を要求するコマンドとしても機能する。
ＣＰＵ６１は、無線通信部６４を通じて前記必要機能情報を送信し、その送信に対して画像処理装置１０から前記設置位置の情報を含む応答を受信した場合に、ＣＰＵ６１は以下に示される工程Ｓ１０３以降の処理を実行する。
即ち、ＣＰＵ６１は、無線通信部６４による前記無線通信が可能なエリア内に画像処理装置１０が存在する場合に工程Ｓ１０３以降の処理を実行する。なお、図４に示されていないが、無線通信部６４による前記無線通信が可能なエリア内に画像処理装置１０が存在しない場合、ＣＰＵ６１は前記目的装置指定処理を終了させる。
＜工程Ｓ１０３＞
次に、主演算部６のＣＰＵ６１は、ＧＰＳ素子６６が検出する自装置の位置、電子コンパス６７が検出する自装置が向く方位および視線検出部３が検出する前記視線方向を取得する。
以下の説明において、ＧＰＳ素子６６から取得された最新の自装置の位置、電子コンパス６７から取得された自装置が向く最新の方位のことを、それぞれ現在位置および現在方位と称する。
＜工程Ｓ１０４＞
さらに、ＣＰＵ６１は、前記ユーザーの視線の方位に画像処理装置１０が存在するという設置確認条件が成立するか否かを判定する。工程Ｓ１０４における前記設置確認条件の判定の対象となる前記設置位置は、工程Ｓ１０２で得られた前記設置位置である。工程Ｓ１０４の処理を実行するＣＰＵ６１が設置確認部の一例である。
ＣＰＵ６１は、前記現在方位と前記視線方向とによって前記ユーザーの視線の方位を特定する。さらに、ＣＰＵ６１は、前記現在位置と画像処理装置１０の設置位置とによって画像処理装置１０が存在する方位を特定する。
＜工程Ｓ１０５＞
主演算部６のＣＰＵ６１は、前記設置確認条件が成立しない場合に、前記ユーザーの視線を画像処理装置１０が存在する方位へ案内する案内画像Ｐ２を画像表示部４に表示させる（図７参照）。工程Ｓ１０５の処理を実行するＣＰＵ６１が視線案内部の一例である。
ＣＰＵ６１は、前記ユーザーの視線の方位に対する画像処理装置１０の方位のずれ方向を判定し、そのずれ方向を示す案内画像Ｐ２を画像表示部４に表示させる。案内画像Ｐ２は、実像Ｒ０に重畳された状態で前記ユーザーに視認される。
図７が示す例では、案内画像Ｐ２は、画像処理装置１０が存在する方向を示す矢印マークである。また、前記矢印マークの長さが、前記ユーザーの視線の方位に対する画像処理装置１０の方位のずれ量に応じて変更されることも考えられる。
ＣＰＵ６１は、工程Ｓ１０５の処理の後、工程Ｓ１０３からの処理を繰り返す。なお、案内画像Ｐ２が、画像処理装置１０が存在する方向を示す文字または文字列の画像であることも考えられる。
＜工程Ｓ１０６＞
主演算部６のＣＰＵ６１は、前記設置確認条件が成立する場合に、前記視線方向が前記凝視状態になったか否かを判定する。ＣＰＵ６１は、前記視線方向が前記凝視状態になるまで工程Ｓ１０３〜Ｓ１０５の処理を繰り返す。
＜工程Ｓ１０７＞
前記設置確認条件が成立する状態で前記視線方向が前記凝視状態になると、ＣＰＵ６１は、画像処理部６３に対して装置認識処理を実行させる。前記装置認識処理は、前記視界影像における前記視線方向に対応する位置に画像処理装置１０を表す装置画像が存在するか否かを判定する処理である。
以下、前記無線通信が可能なエリア内に画像処理装置１０が存在する状況下で前記視線方向が前記凝視状態になった場合に、前記視界影像における前記視線方向に対応する位置に前記装置画像が存在という条件のことを第１認識条件と称する。
工程Ｓ１０７の処理を実行するＣＰＵ６１は、前記第１認識条件が成立するか否かを判定する第１装置認識部の一例である。
本実施形態において、画像処理部６３は、前記必要機能情報を受信した画像処理装置１０において点灯するランプ１０１の画像を前記装置画像として認識する（図８参照）。ランプ１０１の画像を認識する画像処理は、画像処理装置１０自体の画像を認識する画像処理よりも容易かつ確実である。
画像処理部６３は、前記視界影像から予め定められたレベル以上に明るい複数の点状の画像を検出し、それら点状の画像を複数のランプ１０１の画像、即ち、画像処理装置１０の画像として認識する。
また、ランプ１０１の発光色が予め定められており、画像処理部６３が、その発光色を識別することによってランプ１０１の画像とそれ以外の画像とを識別することも考えられる。また、予め定められた周期で明るくなる点状の画像をランプ１０１の画像として認識することも考えられる。
ＣＰＵ６１は、前記第１認証条件が成立するまで工程Ｓ１０３〜Ｓ１０７の処理を繰り返す。
また、工程Ｓ１０７において、画像処理部６３は、前記設置確認条件が成立する場合に前記第１認識条件を判定する。これにより、比較的演算負荷の高い前記装置認識処理の実行頻度を抑制することができる。
＜工程Ｓ１０８＞
主演算部６のＣＰＵ６１は、前記第１認証条件が成立すると、前記現在方位と前記視線方向とにより特定される前記ユーザーの視線の方位に存在する画像処理装置１０である目的装置を特定する。
前記目的装置は、前記第１認証条件の成立の対象となった画像処理装置１０である。前記無線通信における前記目的装置の通信アドレスは、前記設置確認条件の成立の対象となった前記設置位置の情報の送信元の通信アドレスである。工程Ｓ１０８の処理を実行するＣＰＵ６１が目的装置特定部の一例である。
さらに、ＣＰＵ６１は、前記第１認識条件が成立した場合に、画像処理装置１０が認識された旨の通知である装置認識通知Ｐ３を画像表示部４に表示させる（図９参照）。図９が示す例において、装置認識通知Ｐ３は、前記第１認証条件の成立の対象となった画像処理装置１０を指し示すマークである。なお、工程Ｓ１０８の処理を実行するＣＰＵ６１は目的装置通知部の一例である。
＜工程Ｓ１０９＞
ＣＰＵ６１は、前記目的装置が特定された場合、即ち、前記第１認識条件が成立した場合に、前記無線通信によって前記目的装置に対して起動指示を送信する。この処理を実行するＣＰＵ６１が起動指示部の一例である。
画像処理装置１０は、前記起動指示を受信したときに省電力状態である場合、速やかに画像処理のジョブを実行可能な通常状態へ復帰する。前記省電力状態は、例えば定着ヒーターなどの一部の機器への給電が停止されている状態である。
前記省電力状態の画像処理装置１０は、画像処理のジョブの開始までに比較的長時間を要する。本実施形態では、前記ユーザーが前記目的装置に到達する前に、前記起動指示がヘッドマウントデバイス１から前記目的装置へ送信される。これにより、前記ユーザーが前記目的装置へ到達したときに、前記目的装置は、速やかに画像処理のジョブを実行可能な前記通常状態へ復帰している。
＜工程Ｓ１１０＞
さらに、ＣＰＵ６１は、前記目的装置が特定された場合、即ち、前記第１認識条件が成立した場合に、装置状態通知処理を実行する。前記装置状態通知処理は、装置状態取得処理と装置状態表示処理とを含む。工程Ｓ１１０の処理を実行するＣＰＵ６１は装置状態通知部の一例である。
前記装置状態取得処理は、前記目的装置の状態を表す情報を、前記目的装置から前記無線通信によって取得する処理である。前記目的装置が、シート材不足状態、現像剤不足状態またはシート材詰まり状態などのエラー状態である場合、ＣＰＵ６１は、前記目的装置から前記エラー状態の情報を取得する。前記エラー状態は、前記目的装置の状態を表す情報の一例である。
前記装置状態表示処理は、前記目的装置の状態を画像表示部４に表示させる処理である。本実施形態では、前記ユーザーが前記目的装置に到達する前に、前記目的装置の前記エラー状態などが画像表示部４に表示される。これにより、前記ユーザーが、前記目的装置へ到達するまでに補充用の消耗品を用意するなどの準備をすることができる。
以上により、前記目的装置指定処理が終了する。前記目的装置指定処理によって前記目的装置が特定された場合、即ち、前記第１認識条件が成立した場合、ＣＰＵ６１は、前記目的装置指定処理に引き続き前記ジョブ指示処理を実行する。なお、前記目的装置が特定されなかった場合、前記ジョブ指示処理は実行されない。
［前記ジョブ指示処理］
次に、図５に示されるフローチャートを参照しつつ、ヘッドマウントデバイス１における前記ジョブ指示処理の手順の一例について説明する。
以下の説明において、Ｓ２０１，Ｓ２０２，…は、主演算部６が実行する各工程の識別符号を表す。ＣＰＵ６１が記憶部６２に記憶されたジョブ指示プログラムＰｒ２を実行することにより、主演算部６が前記ジョブ指示処理を実行する。
＜工程Ｓ２０１＞
前記目的装置が特定されると、主演算部６のＣＰＵ６１は、工程Ｓ１０３と同様に、前記現在位置、前記現在方位および前記視線方向を取得する。
＜工程Ｓ２０２＞
次に、ＣＰＵ６１は、前記現在位置が前記目的装置の位置に対して予め定められた近距離範囲内であるか否かを判定する。前記近距離範囲は、前記ユーザーが前記目的装置に触ることができる程度のごく近くの範囲である。なお、工程Ｓ２０２の処理を実行するＣＰＵ６１が近距離判定部の一例である。
＜工程Ｓ２０３＞
前記現在位置が前記近距離範囲内ではない場合、ＣＰＵ６１は、工程Ｓ１０４と同様に、前記ユーザーの視線の方位に前記目的装置が存在するという前記設置確認条件が成立するか否かを判定する。
＜工程Ｓ２０４＞
主演算部６のＣＰＵ６１は、前記設置確認条件が成立しない場合に、前記ユーザーの視線を画像処理装置１０が存在する方位へ案内する案内画像Ｐ２を画像表示部４に表示させる（図７参照）。
＜工程Ｓ２０５＞
一方、主演算部６のＣＰＵ６１は、前記設置確認条件が成立する場合、画像表示部４による案内画像Ｐ２の表示を消去する。
ＣＰＵ６１は、前記現在位置が前記近距離範囲内に入るまで、工程Ｓ２０１〜Ｓ２０５の処理を繰り返す。
＜工程Ｓ２０６＞
ＣＰＵ６１は、前記現在位置が前記近距離範囲内に入ると、前記無線通信によって前記目的装置に近づいた旨の通知を前記目的装置へ送信する。この通知を受信した前記目的装置は、ランプ１０１を点灯させる。
＜工程Ｓ２０７＞
さらに、ＣＰＵ６１は、前記現在位置が前記近距離範囲内に入った状態において、工程Ｓ１０６と同様に前記視線方向が前記凝視状態になったか否かを判定する。ＣＰＵ６１は、前記視線方向が前記凝視状態になるまで工程Ｓ２０１〜Ｓ２０６の処理を繰り返す。
＜工程Ｓ２０８＞
前記現在位置が前記近距離範囲内である状態で前記視線方向が前記凝視状態になると、ＣＰＵ６１は、画像処理部６３に対して前記装置認識処理を実行させる。
以下、前記現在位置が前記目的装置の位置に対して前記近距離範囲内である状況下で前記視線方向が前記凝視状態になった場合に、前記視界影像における前記視線方向に対応する位置に前記装置画像が存在するという条件のことを第２認識条件と称する。
工程Ｓ２０８の処理を実行するＣＰＵ６１は、前記第２認識条件が成立するか否かを判定する第２装置認識部の一例である。
例えば、工程Ｓ２０７での前記凝視状態の判定における前記設定凝視時間が、工程Ｓ１０６での前記凝視状態の判定における前記設定凝視時間よりも短いことが考えられる。工程Ｓ１０６の処理は、前記現在位置が前記近距離範囲内に入る前における前記凝視状態の判定処理である。一方、工程Ｓ２０７の処理は、前記現在位置が前記近距離範囲内に入った後の前記凝視状態の判定処理である。
即ち、工程Ｓ１０６における前記設定凝視時間が、工程Ｓ２０７における前記設定凝視時間よりも長い時間に設定されることが考えられる。これにより、前記ユーザーが周囲を見回しているときに、たまたま前記ユーザーの視線の方位に存在する画像処理装置１０が、前記ユーザーの意図に反して前記目的装置として認識されてしまうという不都合な事態が生じにくくなる。
＜工程Ｓ２０９＞
主演算部６のＣＰＵ６１は、前記第２認識条件が成立すると、例えば図１０に示されるような指示用画面Ｐ４を画像表示部４に表示させる。指示用画面Ｐ４は、前記目的装置に画像処理のジョブの実行を指示するための画面である。ＣＰＵ６１は、指示用画面Ｐ４における前記視線方向の位置に応じて前記目的装置に実行させるジョブの条件を設定する。なお、工程Ｓ２０９の処理を実行するＣＰＵ６１は指示用画面制御部の一例である。
図１０が示すように、指示用画面Ｐ４は、シートサイズ指定部Ｐ４１および印刷枚数指定部Ｐ４２などのジョブ条件指定部を含む。さらに、指示用画面Ｐ４は、確定指定部Ｐ４３および中止指定部Ｐ４４なども含む。
＜工程Ｓ２１０＞
指示用画面Ｐ４が表示されているときに、ＣＰＵ６１は、前記視線方向が、前記ジョブ条件指定部Ｐ４１，Ｐ４２、確定指定部Ｐ４３および中止指定部Ｐ４４などの指定部に向かって前記凝視状態になったか否かを判定する。
＜工程Ｓ２１１＞
前記視線方向がジョブ条件指定部Ｐ４１，Ｐ４２に向かって前記凝視状態になった場合、ＣＰＵ６１は、前記目的装置に指示する前記ジョブの条件を設定する。その後、ＣＰＵ６１は、工程Ｓ２１０からの処理を繰り返す。
図１０が示す例において、印刷枚数指定部Ｐ４２は、複数桁のダイヤルの画像として表示される。ＣＰＵ６１は、前記視線方向が前記ダイヤルの各桁の数字を向いて前記凝視状態になった後に、前記視線方向が前記凝視状態の位置から上方向または下方向へ移動するごとに、凝視された桁の数字をカウントアップまたはカウントダウンする。
＜工程Ｓ２１２＞
前記視線方向が確定指定部Ｐ４３に向かって前記凝視状態になった場合、ＣＰＵ６１は、前記ジョブの条件の指定情報を含む前記ジョブの実行指示を前記無線通信によって前記目的装置へ送信する。これにより、前記目的装置は、指定された条件に従って画像処理のジョブを実行する。
なお、前記視線方向が、中止指定部Ｐ４４の位置に向かって前記凝視状態になった場合、ＣＰＵ６１は、工程Ｓ２０９からの処理を繰り返す。
Ｓ２１２の処理は、指示用画面Ｐ４における前記視線方向の位置に応じた指示情報を前記無線通信によって前記目的装置に送信する処理である。工程Ｓ２１２の処理を実行するＣＰＵ６１はジョブ指示部の一例である。本実施形態において、前記ジョブの条件の指定情報が前記指示情報の一例である。
前述したように、前記ユーザーが、図書館などのように自身の所属とは関係のない施設内に設置されている画像処理装置１０を利用したい場合、前記ユーザーは、前記無線通信の通信エリア内における複数の画像処理装置１０各々の位置および機能などを知らない。
上記のような利用環境下において、ヘッドマウントデバイス１は、前記ユーザーの視界内における利用対象となる画像処理装置１０である前記目的装置の存在を通知する。さらに、ヘッドマウントデバイス１は、前記目的装置に近づいた前記ユーザーの視線に従って、画像処理のジョブの実行を前記目的装置に対して指示する。従って、本実施形態によれば、上記のような利用環境下においても、前記ユーザーは、画像処理装置１０へのアクセスおよび画像処理装置１０に対する前記ジョブの実行指示を容易に行うことができる。
また、ヘッドマウントデバイス１は、前記無線通信の通信エリア内の画像処理装置１０各々に対し、前記ユーザーにより指定された必要機能の情報を送信する（Ｓ１０１，Ｓ１０２）。さらに、ヘッドマウントデバイス１は、前記必要機能を備える旨を応答してきた画像処理装置１０のみを前記第１認識条件の判定の対象とする（Ｓ１０３〜Ｓ１０７）。これにより、前記ユーザーの意図に沿った前記目的装置が特定される。
なお、本実施形態において、前記必要機能を備える旨の応答は、工程Ｓ１０２における前記設置位置の情報の返信である。
また、工程Ｓ１０２において、ヘッドマウントデバイス１は、前記無線通信によって画像処理装置１０各々から前記設置位置情報を取得する。これにより、ヘッドマウントデバイス１が、予め画像処理装置１０各々の前記設置位置の情報を記憶部６２などに予め記憶させておく必要がない。
[応用例]
ヘッドマウントデバイス１において、主演算部６のＣＰＵ６１が、前記必要機能情報が示す機能を備える画像処理装置１０から、その画像処理装置１０の外観を表す前記装置画像を前記無線通信により取得することも考えられる。
例えば、図４に示される前記目的装置指定処理の工程Ｓ１０２において、主演算部６のＣＰＵ６１が、前記必要機能情報が示す機能を備える画像処理装置１０から前記装置画像を取得することが考えられる。この場合、工程Ｓ１０７，Ｓ２０８における前記装置認識処理は、前記視界影像から工程Ｓ１０２で得られた前記装置画像を認識する処理である。
また、ヘッドマウントデバイス１において、主演算部６のＣＰＵ６１が、画像処理装置１０各々の位置情報を含むマップ情報を、インターネット上のサーバーなどから前記無線通信またはその他の公衆回線を通じてダウンロードすることも考えられる。
なお、本発明に係る情報処理装置および画像処理装置へのジョブ指示方法は、各請求項に記載された発明の範囲において、以上に示された実施形態及び応用例を自由に組み合わせること、或いは実施形態及び応用例を適宜、変形する又は一部を省略することによって構成されることも可能である。
１ ：ヘッドマウントデバイス（情報処理装置）
２ ：支持体
３ ：視線検出部
４ ：画像表示部
５ ：カメラ
６ ：主演算部
７ ：操作部
１０ ：画像処理装置
２０ ：スキャン部
３０ ：スキャン制御部
４０ ：プリント部
４１ ：画像投影部
４２ ：プリズム
５０ ：プリント制御部
５７ ：電子コンパス
６０ ：無線通信部
６１ ：ＣＰＵ
６２ ：記憶部
６３ ：画像処理部
６４ ：無線通信部
６５ ：信号インターフェイス
６６ ：ＧＰＳ素子
６７ ：電子コンパス
７０ ：画像処理部
８０ ：フィニッシャー
９０ ：主制御部
９１ ：ＭＰＵ
９２ ：記憶部
１００ ：操作表示部
１０１ ：ランプ
２００ ：バス
９００ ：原稿
９０１ ：シート材
１０００ ：目
１００１ ：眼球
１００２ ：瞳
Ｐ１ ：機能選択画面
Ｐ１１ ：視線操作部
Ｐ２ ：案内画像
Ｐ３ ：装置認識通知
Ｐ４ ：指示用画面
Ｐ４１ ：シートサイズ指定部（ジョブ条件指定部）
Ｐ４２ ：印刷枚数指定部（ジョブ条件指定部）
Ｐ４３ ：確定指定部
Ｐ４４ ：中止指定部
Ｐｒ１ ：目的装置指定プログラム
Ｐｒ１１ ：応答プログラム
Ｐｒ１２ ：ランプ制御プログラム
Ｐｒ２ ：ジョブ指示プログラム
Ｒ０ ：実像

Claims (8)

  1. 画像処理装置のユーザーが装着可能な情報処理装置であって、
    前記ユーザーの視界を撮影するカメラと、
    自装置が向く方位を検出する方位検出部と、
    前記ユーザーの視線方向を検出する視線検出部と、
    前記ユーザーに画像を視認させる画像表示部と、
    他装置との間で無線通信を行う無線通信部と、
    自装置の位置を測位する自装置測位部と、
    前記画像処理装置の位置を表す設置位置情報を取得する設置位置取得部と、
    前記無線通信が可能なエリア内に前記画像処理装置が存在する状況下で前記視線方向が予め定められた凝視状態になった場合に、前記カメラで撮影された視界影像における前記視線方向に対応する位置に前記画像処理装置を表す装置画像が存在するという第１認識条件が成立するか否かを判定する第１装置認識部と、
    前記第１認識条件が成立した場合に、自装置が向く方位と前記視線方向とにより特定される前記ユーザーの視線の方位に存在する前記画像処理装置である目的装置が認識された旨の通知を前記画像表示部に表示させる目的装置通知部と、
    自装置の位置が前記目的装置の位置に対して予め定められた近距離範囲内であるか否かを判定する近距離判定部と、
    自装置の位置が前記目的装置の位置に対して前記近距離範囲内である状況下で前記視線方向が前記凝視状態になった場合に、前記視界影像における前記視線方向に対応する位置に前記装置画像が存在するという第２認識条件が成立するか否かを判定する第２装置認識部と、
    前記第２認識条件が成立した場合に、前記目的装置に画像処理のジョブの実行を指示するための指示用画面を前記画像表示部に表示させる指示用画面制御部と、
    前記指示用画面における前記視線方向の位置に応じた指示情報を前記無線通信によって前記目的装置に送信するジョブ指示部と、を備える情報処理装置。
  2. 前記第１認識条件が成立した場合に、前記目的装置の状態を表す情報を、前記目的装置から前記無線通信によって取得し、前記目的装置の状態の情報を前記画像表示部に表示させる装置状態通知部、を備える請求項１に記載の情報処理装置。
  3. 自装置が向く方位と前記視線方向とにより特定される前記ユーザーの視線の方位に前記画像処理装置が存在するという設置確認条件が成立するか否かを判定する設置確認部と、
    前記設置確認条件が成立しない場合に、前記ユーザーの視線を前記画像処理装置が存在する方位へ案内する案内画像を前記画像表示部に表示させる視線案内部と、を備える請求項１または請求項２に記載の情報処理装置。
  4. 前記第１装置認識部は、前記設置確認条件が成立する場合に前記第１認識条件を判定する、請求項３に記載の情報処理装置。
  5. 前記第１認識条件が成立した場合に、前記無線通信によって前記目的装置に対して起動指示を送信する起動指示部を備える、請求項１から請求項４のいずれか１項に記載の情報処理装置。
  6. 前記ジョブの実行に必要な機能を選択するための機能選択画面を前記画像表示部に表示させ、前記機能選択画面における前記視線方向に対応する位置に応じて前記ジョブの実行に必要な機能を選択する機能選択部と、
    選択された前記ジョブの実行に必要な機能の情報を含む必要機能情報を、前記無線通信によって前記画像処理装置各々へ送信する必要機能情報送信部と、を備え、
    前記装置画像が、前記必要機能情報を受信した前記画像処理装置において点灯するランプの画像である、請求項１から請求項５のいずれか１項に記載の情報処理装置。
  7. 前記設置位置取得部は、前記無線通信により前記画像処理装置各々から前記設置位置情報を取得する、請求項１から請求項６のいずれか１項に記載の情報処理装置。
  8. 画像処理装置のユーザーの視界を撮影するカメラと、
    自装置が向く方位を検出する方位検出部と、
    前記ユーザーの視線方向を検出する視線検出部と、
    前記ユーザーに画像を視認させる画像表示部と、
    他装置との間で無線通信を行う無線通信部と、
    自装置の位置を測位する自装置測位部と、を備える情報処理装置を用いた画像処理装置へのジョブ指示方法であって、
    前記情報処理装置が、前記画像処理装置の位置を表す設置位置情報を取得する工程と、
    前記情報処理装置が、前記無線通信が可能なエリア内に前記画像処理装置が存在する状況下で前記視線方向が予め定められた凝視状態になった場合に、前記カメラで撮影された視界影像における前記視線方向に対応する位置に前記画像処理装置を表す装置画像が存在するという第１認識条件が成立するか否かを判定する工程と、
    前記第１認識条件が成立した場合に、前記情報処理装置が、自装置が向く方位と前記視線方向とにより特定される前記ユーザーの視線の方位に存在する前記画像処理装置である目的装置が認識された旨の通知を前記画像表示部に表示させる工程と、
    前記情報処理装置が、自装置の位置が前記目的装置の位置に対して予め定められた近距離範囲内であるか否かを判定する工程と、
    前記情報処理装置が、自装置の位置が前記目的装置の位置に対して前記近距離範囲内である状況下で前記視線方向が前記凝視状態になった場合に、前記視界影像における前記視線方向に対応する位置に前記装置画像が存在するという第２認識条件が成立するか否かを判定する工程と、
    前記第２認識条件が成立した場合に、前記情報処理装置が、前記目的装置に画像処理のジョブの実行を指示するための指示用画面を前記画像表示部に表示させる工程と、
    前記情報処理装置が、前記指示用画面における前記視線方向の位置に応じた指示情報を前記無線通信によって前記目的装置に送信する工程と、を含む画像処理装置へのジョブ指示方法。
JP2015091074A 2015-04-28 2015-04-28 情報処理装置、画像処理装置へのジョブ指示方法 Expired - Fee Related JP6295995B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015091074A JP6295995B2 (ja) 2015-04-28 2015-04-28 情報処理装置、画像処理装置へのジョブ指示方法
CN201610245328.9A CN106101470B (zh) 2015-04-28 2016-04-19 信息处理装置及对图像处理装置的作业指示方法
EP16166178.0A EP3088994B1 (en) 2015-04-28 2016-04-20 Information processing device, and method for instructing job to image processing apparatus
US15/139,279 US9729747B2 (en) 2015-04-28 2016-04-26 Information processing device, and method for instructing job to image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015091074A JP6295995B2 (ja) 2015-04-28 2015-04-28 情報処理装置、画像処理装置へのジョブ指示方法

Publications (2)

Publication Number Publication Date
JP2016207115A true JP2016207115A (ja) 2016-12-08
JP6295995B2 JP6295995B2 (ja) 2018-03-20

Family

ID=56116189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015091074A Expired - Fee Related JP6295995B2 (ja) 2015-04-28 2015-04-28 情報処理装置、画像処理装置へのジョブ指示方法

Country Status (4)

Country Link
US (1) US9729747B2 (ja)
EP (1) EP3088994B1 (ja)
JP (1) JP6295995B2 (ja)
CN (1) CN106101470B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117159A (ja) * 2015-12-24 2017-06-29 シャープ株式会社 端末装置及び双方向通信システム
JP2019036927A (ja) * 2017-08-21 2019-03-07 富士ゼロックス株式会社 画像処理装置
JP2021502659A (ja) * 2017-11-13 2021-01-28 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳−コンピュータインターフェース
US11972049B2 (en) 2017-08-23 2024-04-30 Neurable Inc. Brain-computer interface with high-speed eye tracking features

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019046067A (ja) * 2017-08-31 2019-03-22 株式会社イシダ 作業支援システム
JP7372061B2 (ja) * 2019-07-01 2023-10-31 株式会社日立製作所 遠隔作業支援システム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002503862A (ja) * 1998-02-20 2002-02-05 ダイムラークライスラー・アクチェンゲゼルシャフト 画像情報によるシステムの制御または操作方法および画像情報の検出方法
JP2006102495A (ja) * 2004-10-01 2006-04-20 General Electric Co <Ge> 外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置
JP2011203984A (ja) * 2010-03-25 2011-10-13 Soka Univ ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
JP2011209965A (ja) * 2010-03-29 2011-10-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2011232819A (ja) * 2010-04-23 2011-11-17 Konica Minolta Business Technologies Inc 情報処理端末および電源状態管理装置
JP2012085140A (ja) * 2010-10-13 2012-04-26 Konica Minolta Business Technologies Inc 画像処理システム、画像処理装置の制御方法、画像処理装置、携帯端末、情報処理装置、および制御プログラム
WO2014061257A1 (ja) * 2012-10-15 2014-04-24 パナソニック株式会社 認識装置、認識方法、遠隔制御装置、認識プログラム、及びサーバ
US20140126018A1 (en) * 2012-11-06 2014-05-08 Konica Minolta, Inc. Guidance information display device
JP2014145734A (ja) * 2013-01-30 2014-08-14 Nikon Corp 情報入出力装置、及び情報入出力方法
US20140380230A1 (en) * 2013-06-25 2014-12-25 Morgan Kolya Venable Selecting user interface elements via position signal
JP2015046058A (ja) * 2013-08-28 2015-03-12 京セラドキュメントソリューションズ株式会社 画像形成システムおよび出力指示プログラム
JP2016009228A (ja) * 2014-06-23 2016-01-18 コニカミノルタ株式会社 携帯端末、携帯端末の制御プログラム、及び、ネットワーク入出力システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005037181A (ja) * 2003-07-17 2005-02-10 Pioneer Electronic Corp ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法
US7438414B2 (en) * 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
US20130042010A1 (en) * 2010-01-28 2013-02-14 Nokia Corporation Access establishment to locally connectable device
JP5655674B2 (ja) 2011-04-01 2015-01-21 ブラザー工業株式会社 ヘッドマウントディスプレイ及びこれに用いられるプログラム
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
KR20140011203A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템
KR102056221B1 (ko) * 2013-07-12 2019-12-16 삼성전자주식회사 시선인식을 이용한 장치 연결 방법 및 장치
CN104349002B (zh) * 2013-07-30 2017-11-21 柯尼卡美能达株式会社 操作装置以及图像处理装置
CN103955267B (zh) * 2013-11-13 2017-03-15 上海大学 光透视增强现实系统中双手人机交互方法
JP2015184778A (ja) * 2014-03-20 2015-10-22 コニカミノルタ株式会社 拡張現実表示システム、拡張現実情報生成装置、拡張現実表示装置、サーバー、拡張現実情報生成プログラム、拡張現実表示プログラムおよび拡張現実情報のデータ構造

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002503862A (ja) * 1998-02-20 2002-02-05 ダイムラークライスラー・アクチェンゲゼルシャフト 画像情報によるシステムの制御または操作方法および画像情報の検出方法
JP2006102495A (ja) * 2004-10-01 2006-04-20 General Electric Co <Ge> 外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置
JP2011203984A (ja) * 2010-03-25 2011-10-13 Soka Univ ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
JP2011209965A (ja) * 2010-03-29 2011-10-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2011232819A (ja) * 2010-04-23 2011-11-17 Konica Minolta Business Technologies Inc 情報処理端末および電源状態管理装置
JP2012085140A (ja) * 2010-10-13 2012-04-26 Konica Minolta Business Technologies Inc 画像処理システム、画像処理装置の制御方法、画像処理装置、携帯端末、情報処理装置、および制御プログラム
WO2014061257A1 (ja) * 2012-10-15 2014-04-24 パナソニック株式会社 認識装置、認識方法、遠隔制御装置、認識プログラム、及びサーバ
US20140126018A1 (en) * 2012-11-06 2014-05-08 Konica Minolta, Inc. Guidance information display device
JP2014093036A (ja) * 2012-11-06 2014-05-19 Konica Minolta Inc 案内情報表示装置
JP2014145734A (ja) * 2013-01-30 2014-08-14 Nikon Corp 情報入出力装置、及び情報入出力方法
US20140380230A1 (en) * 2013-06-25 2014-12-25 Morgan Kolya Venable Selecting user interface elements via position signal
JP2015046058A (ja) * 2013-08-28 2015-03-12 京セラドキュメントソリューションズ株式会社 画像形成システムおよび出力指示プログラム
JP2016009228A (ja) * 2014-06-23 2016-01-18 コニカミノルタ株式会社 携帯端末、携帯端末の制御プログラム、及び、ネットワーク入出力システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117159A (ja) * 2015-12-24 2017-06-29 シャープ株式会社 端末装置及び双方向通信システム
JP2019036927A (ja) * 2017-08-21 2019-03-07 富士ゼロックス株式会社 画像処理装置
US11972049B2 (en) 2017-08-23 2024-04-30 Neurable Inc. Brain-computer interface with high-speed eye tracking features
JP2021502659A (ja) * 2017-11-13 2021-01-28 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳−コンピュータインターフェース
US12001602B2 (en) 2017-11-13 2024-06-04 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
JP7496776B2 (ja) 2017-11-13 2024-06-07 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳－コンピュータインターフェース

Also Published As

Publication number Publication date
CN106101470A (zh) 2016-11-09
US9729747B2 (en) 2017-08-08
JP6295995B2 (ja) 2018-03-20
EP3088994B1 (en) 2018-09-19
US20160323473A1 (en) 2016-11-03
EP3088994A1 (en) 2016-11-02
CN106101470B (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
JP6295995B2 (ja) 情報処理装置、画像処理装置へのジョブ指示方法
JP6304145B2 (ja) 情報処理装置、画像形成装置の設定条件指定方法
US20140218765A1 (en) Image forming system performing communication through visible light communication and communication mode different from visible light communication
JP5126334B2 (ja) 画像処理システム、画像処理装置の制御方法、画像処理装置、携帯端末、情報処理装置、および制御プログラム
US20160269578A1 (en) Head mounted display apparatus and method for connecting head mounted display apparatus to external device
JP2012147387A (ja) 画像処理システム、画像処理装置およびその制御方法、情報処理装置およびその制御方法、ならびに、携帯端末の制御プログラム
JP5500131B2 (ja) 画像処理システム
CN104079748A (zh) 作业信息显示装置
JP6183318B2 (ja) 携帯型端末、そのプログラム、装置、操作表示システム
US10089564B2 (en) Image forming method
JP2016009228A (ja) 携帯端末、携帯端末の制御プログラム、及び、ネットワーク入出力システム
US8994993B2 (en) Management system, management server, and recording medium
EP3088995A1 (en) Display system and head mounted display
US10412564B2 (en) Apparatus, method, and system for displaying antenna location of communication terminal, and recording medium
US10530945B2 (en) Display device and display system
JP2016157405A (ja) 画像処理装置案内方法、画像処理装置、画像処理システム
JP2012104036A (ja) 画像処理システム、画像処理装置の制御方法、携帯端末、情報処理装置、および制御プログラム
JP6136667B2 (ja) 画像処理システム、画像形成装置、表示装置、および制御プログラム
JP5811722B2 (ja) 画像処理システム、サーバー、制御方法および制御プログラム
US9924057B2 (en) Image forming device that can be operated from a terminal device
US9036194B2 (en) Operation input apparatus, image forming system, and storage medium for operation input program
JP2019061556A (ja) 通信システム及びウェアラブル端末
JP2013026778A (ja) 画像処理システム、携帯端末、情報処理装置、および表示方法
JP2018045596A (ja) 情報処理システム、装置、情報処理方法、コンピュータプログラム、及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180205

R150 Certificate of patent or registration of utility model

Ref document number: 6295995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees