JP2017017507A - 情報処理装置、画像形成装置の設定条件指定方法 - Google Patents

情報処理装置、画像形成装置の設定条件指定方法 Download PDF

Info

Publication number
JP2017017507A
JP2017017507A JP2015131859A JP2015131859A JP2017017507A JP 2017017507 A JP2017017507 A JP 2017017507A JP 2015131859 A JP2015131859 A JP 2015131859A JP 2015131859 A JP2015131859 A JP 2015131859A JP 2017017507 A JP2017017507 A JP 2017017507A
Authority
JP
Japan
Prior art keywords
image
unit
processing
position condition
forming apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015131859A
Other languages
English (en)
Other versions
JP6304145B2 (ja
Inventor
友佑 岡▲崎▼
Yusuke Okazaki
友佑 岡▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2015131859A priority Critical patent/JP6304145B2/ja
Priority to EP16174905.6A priority patent/EP3112993B1/en
Priority to CN201610437294.3A priority patent/CN106325495B/zh
Priority to US15/197,529 priority patent/US9894226B2/en
Publication of JP2017017507A publication Critical patent/JP2017017507A/ja
Application granted granted Critical
Publication of JP6304145B2 publication Critical patent/JP6304145B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00466—Display of information to the user, e.g. menus displaying finishing information, e.g. position of punch holes or staple or orientation references
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292—Mobile client, e.g. wireless printing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0083—Arrangements for transferring signals between different components of the apparatus, e.g. arrangements of signal lines or cables
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1208—Improving or facilitating administration, e.g. print management resulting in improved quality of the output result, e.g. print layout, colours, workflows, print preview
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Facsimiles In General (AREA)

Abstract

【課題】画像形成装置のユーザーが、画像形成に関する処理の設定条件における位置条件を直感的に容易に指定することができること。
【解決手段】ヘッドマウントデバイス１は、画像形成に関する処理の位置条件が指定される場合に、カメラ５で撮影された視界影像に含まれる前記位置条件の指定の対象となる指定対象物の画像を認識する。ヘッドマウントデバイス１は、認識された前記指定対象物の画像における視線検出部３で検出された視線方向に対応する位置に応じて、前記位置条件の指定内容を判定する。
【選択図】図２

Description

本発明は、画像形成装置のユーザーが装着する情報処理装置および画像形成装置の設定条件指定方法に関する。
一般に、ユーザーが装着可能な情報処理装置であるヘッドマウントデバイスが知られている。また、メガネタイプの前記ヘッドマウントデバイスが、画像表示部と視線検出部とを備える場合がある（例えば、特許文献１参照）。前記画像表示部は、前記ユーザーの目の前方に支持され前記ユーザーに画像を視認させる。前記視線検出部は、前記ユーザーの視線方向を検出する。さらに、前記ヘッドマウントデバイスが、前記ユーザーの視界を撮影するカメラを備える場合もある。
特開２０１２−２１６１２３号公報
ところで、複写機およびファクシミリ装置などの画像形成装置において、操作性の向上のために、ユーザーがより容易に画像形成に関する処理の設定条件を指定できることが望まれている。
例えば、コピー処理により得られる画像形成後のシート材に綴じ加工またはパンチ孔加工を施すフィニッシャーを備える画像形成装置において、多数の加工位置の候補の中から希望する加工位置を選択する作業は繁雑である。このような画像形成に関する処理の位置条件について、原稿などの対象物に対して位置を指し示すような態様で条件を指定することができれば、直感的に前記位置条件を指定することができ、操作性が向上する。
本発明の目的は、画像形成装置のユーザーが、画像形成に関する処理の設定条件における位置条件を直感的に容易に指定することができる情報処理装置および画像形成装置の設定条件指定方法を提供することにある。
本発明の一の局面に係る情報処理装置は、画像形成装置のユーザーが装着可能な装置であり、カメラと、視線検出部と、対象画像認識部と、位置条件判定部と、無線通信部とを備える。前記カメラは、前記ユーザーの視界を撮影するカメラである。前記視線検出部は、前記ユーザーの視線方向を検出する。前記対象画像認識部は、画像形成に関する処理の設定条件における位置条件が指定される場合に、前記カメラで撮影された視界影像に含まれる前記位置条件の指定の対象となる指定対象物の画像を認識する処理を実行する。前記位置条件判定部は、認識された前記指定対象物の画像における検出された前記視線方向に対応する位置に応じて、前記位置条件の指定内容を判定する。前記無線通信部は、前記位置条件の指定内容の情報を前記画像形成装置へ無線送信する。
本発明の他の局面に係る画像形成装置の設定条件指定方法は、前記カメラと、前記視線検出部とを備える情報処理装置を用いて、画像形成に関する処理の設定条件を指定する方法である。本方法は、以下に示される各工程を含む。第１工程は、前記情報処理装置が、画像形成に関する処理の設定条件における位置条件が指定される場合に、前記カメラで撮影された視界影像に含まれる前記位置条件の指定の対象となる指定対象物の画像を認識する工程である。第２工程は、前記情報処理装置が、認識された前記指定対象物の画像における検出された前記視線方向に対応する位置に応じて、前記位置条件の指定内容を判定する工程である。第３工程は、前記情報処理装置が、前記位置条件の指定内容の情報を前記画像形成装置へ無線送信する工程である。
本発明によれば、画像形成装置のユーザーが、画像形成に関する処理の設定条件における位置条件を直感的に容易に指定することができる情報処理装置および画像形成装置の設定条件指定方法を提供することが可能になる。
図１は、画像形成装置のブロック図である。 図２は、第１実施形態に係るヘッドマウントデバイスの構成図である。 図３は、第１実施形態に係るヘッドマウントデバイスのデータ処理関連部分のブロック図である。 図４は、第１実施形態に係るヘッドマウントデバイスにおける位置条件指定処理の手順の一例を示すフローチャートである。 図５は、第１実施形態に係るヘッドマウントデバイスにより投影された指定位置の候補のマークを含むユーザーの視界の影像の一例を表す図である。 図６は、第１実施形態に係るヘッドマウントデバイスにより投影された仮想ステープル画像および確認メニューを含むユーザーの視界の影像の一例を表す図である。 図７は、第１実施形態に係るヘッドマウントデバイスにより投影された仮想パンチ孔画像および確認メニューを含むユーザーの視界の影像の一例を表す図である。 図８は、第２実施形態に係るヘッドマウントデバイスにおける位置条件指定処理の手順の一例を示すフローチャートである。 図９は、第２実施形態に係るヘッドマウントデバイスにより投影された説明情報を含むユーザーの視界の影像の一例を表す図である。 図１０は、第２実施形態に係るヘッドマウントデバイスによって投影された確認メニューを含むユーザーの視界の影像の一例を表す図である。
以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。
［画像形成装置１０］
まず、図１を参照しつつ、実施形態に係るヘッドマウントデバイス１と通信可能な画像形成装置１０の構成について説明する。画像形成装置１０は、シート状の画像記録媒体であるシート材９０１に画像を形成する装置である。
図１が示す画像形成装置１０は、原稿９００から画像を読み取る画像読取装置の機能およびシート材９０１へ画像を形成する画像形成装置の機能を兼ね備えた複合機である。なお、画像形成装置１０が、画像送信機能を兼ね備えるファクシミリ装置などであることも考えられる。なお、図１において、原稿９００およびシート材９０１が仮想線（２点鎖線）で示されている。
画像形成装置１０は、主制御部９０、操作表示部１００、スキャン部２０、スキャン制御部３０、プリント部４０、プリント制御部５０、無線通信部６０、画像処理部７０およびフィニッシャー８０などを備える。
主制御部９０、スキャン制御部３０、プリント制御部５０、無線通信部６０および画像処理部７０は、それぞれバス２００に接続されおり、バス２００を通じて相互にデータの受け渡しが可能である。
スキャン部２０は、原稿９００に光を走査する不図示の光学系、および原稿９００からの反射光の光量を画素ごとに検出して原稿画像データを出力する不図示のイメージセンサーなどを備える。
スキャン制御部３０は、スキャン部２０を制御して前記原稿画像データを取得する。さらに、スキャン制御部３０は、バス２００を通じて前記原稿画像データを画像処理部７０などの他の機器に転送する。
プリント部４０は、周知の電子写真方式の画像形成処理によってシート材９０１に画像を形成する。プリント部４０は、不図示の像担持体およびその周辺機器を備え、前記像担持体からシート材９０１に現像剤の画像を転写するとともにその画像をシート材９０１に定着させる。
プリント制御部５０は、画像処理部７０から記録用画像データを取得し、前記記録用画像データ基づく画像をシート材９０１に形成する処理をプリント部４０に実行させる。
無線通信部６０は、無線信号によって他の画像形成装置１０、不図示のパーソナルコンピューターおよび後述するヘッドマウントデバイス１などの外部装置との間でデータの送受信を行う。例えば、無線通信部６０は、Ｗｉ−Ｆｉ通信またはＢｌｕｅｔｏｏｔｈ通信などの無線通信を行う。なお、Ｗｉ−Ｆｉは、Wi-Fi Alliance社の登録商標である。また、Ｂｌｕｅｔｏｏｔｈは、Bluetooth SIG,Inc.の登録商標である。
さらに、無線通信部６０は、バス２００を通じて他の機器とデータの受け渡しを行う。例えば、無線通信部６０は、前記外部機器から画像形成用のジョブデータを受信し、そのジョブデータをバス２００を通じて画像処理部７０に転送する。
また、無線通信部６０は、スキャン制御部３０から画像処理部７０を介して前記原稿画像データを取得し、その原稿画像データを含むデータを前記外部装置へ送信する機能も備える。さらに、無線通信部６０は、ヘッドマウントデバイス１から画像形成に関する設定条件の情報を取得し、その情報を主制御部９０へ伝送する機能も備える。
画像処理部７０は、バス２００を通じて他の機器から得た画像データなどに対する各種のデータ処理を実行する。画像処理部７０によるデータ処理の対象は、例えば、スキャン制御部３０から得られる前記原稿画像データまたは前記外部装置から無線通信部６０を通じて得られる前記ジョブデータなどである。
例えば、画像処理部７０は、スキャン制御部３０から得られる前記原稿画像データに対し、画像回転処理、ハーフトーン処理またはサイズカット処理などの画像処理を施す。また、画像処理部７０は、スキャン制御部３０から得られる前記原稿画像データおよび無線通信部６０から得られる前記ジョブデータを前記記録用画像データへ変換し、プリント制御部５０へ転送する処理なども実行する。
スキャン制御部３０、プリント制御部５０および画像処理部７０は、例えばＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）などによって構成される。
フィニッシャー８０は、主制御部９０からの制御指令に従って、画像形成後のシート材９０１に関する各種の処理を実行する装置である。例えば、フィニッシャー８０は、綴じ加工、パンチ孔加工およびシートシフトなどの各種の機能を備える。
前記綴じ加工は、画像形成後の複数のシート材９０１をステープル針の打ち込みまたは圧着などによって綴じる加工である。前記パンチ孔加工は、シート材９０１に孔を空ける加工である。前記シートシフトは、画像形成装置１０の本体部から連続して送り出される画像形成後のシート材９０１を予め定められた枚数ごとに位置をずらして排出シートトレイへ排出する機能である。
操作表示部１００は、例えばタッチパネルおよび操作ボタンなどを含む情報入力用の操作部と、液晶表示パネルおよび通知ランプなどを含む表示部とを含む。
主制御部９０は、他の制御部を統括して制御する。例えば、主制御部９０は、操作表示部１００に操作メニューなどを表示させる。さらに、主制御部９０は、操作表示部１００の操作を通じて入力される入力情報および各種センサーの検出結果に応じて他の制御部に制御指令を出力する。図２が示すように、主制御部９０は、ＭＰＵ（Micro Processor Unit）１１および記憶部９２などを備える。
ＭＰＵ９１は、各種の演算およびデータ処理を実行するプロセッサーである。記憶部９２は、ＭＰＵ９１が参照する各種情報を記憶する不揮発性の記憶部である。また、記憶部９２は、ＭＰＵ９１による各種情報の読み書きが可能な記憶部でもある。
記憶部９２は、ＭＰＵ９１に各種の処理を実行させるためのプログラムおよびそれらのプログラムを実行するＭＰＵ９１によって参照される情報および書き込まれる情報を記憶する。主制御部９０は、ＭＰＵ９１に実行させるためのプログラムを一時記憶するＲＡＭなどの不図示の揮発性記憶部も備える。
［ヘッドマウントデバイス１］
次に、図２，３を参照しつつ、第１実施形態に係るヘッドマウントデバイス１の構成について説明する。ヘッドマウントデバイス１は、画像形成装置１０のユーザーが装着可能な情報処理装置の一例である。
ヘッドマウントデバイス１は、支持体２、視線検出部３、画像表示部４、カメラ５、主演算部６および操作部７などを備える。画像表示部４は、画像投影部４１およびプリズム４２を含む。なお、ヘッドマウントデバイス１は、自装置が備える電子機器に対して電力を供給するバッテリーおよびその他の不図示の機器も備える。
支持体２は、ヘッドマウントデバイス１の他の構成部品を支持する部材である。支持体２は、前記ユーザーの顔の部分に装着されるメガネフレーム状の部材である。支持体２は、前記ユーザーの鼻の部分および耳の部分によって支持される。
カメラ５は、ヘッドマウントデバイス１を装着した前記ユーザーの視界を遮らない位置において支持体２に固定されている。カメラ５は、前記ユーザーの視界の方向に向く状態で支持体２に固定されている。このカメラ５は、前記ユーザーの視界を撮影する視界用カメラである。以下の説明において、カメラ５で撮影される影像のことを視界影像と称する。
視線検出部３は、前記ユーザーの視線方向を検出するセンサーである。視線検出部３が検出する前記視線方向は、ヘッドマウントデバイス１の向きを基準にした相対方向であり、地球を基準にした絶対方向ではない。図２が示す例では、一対の視線検出部３が、前記ユーザーの両方の眼球１００１各々の外側の位置において支持体２に固定されている。
眼球１００１の網膜および角膜は異なる極性で帯電している。前記網膜から前記角膜に向かって生じる電場の向きは、前記ユーザーの視線方向に応じて定まる。視線検出部３は、眼球１００１において生じる電場の向きを検出することにより、前記ユーザーの視線方向を検出する。
なお、視線検出部３が、視線検出用カメラと画像処理部とを含むことも考えられる。この場合、前記視線検出用カメラは、前記ユーザーの眼球１００１を連続的に撮影する。前記画像処理部は、眼球１００１の画像から瞳１００２の位置を検出することによって前記ユーザーの視線方向を検出する。
画像表示部４は、前記ユーザーの目１０００の前方に支持され、前記ユーザーに画像を視認させる装置である。本実施形態における画像表示部４は、網膜投影によって前記ユーザーに画像を視認させる。
画像表示部４において、画像投影部４１は、前記ユーザーの視界の外側において支持体２に固定されている。透明なプリズム４２は、前記ユーザーの視界内において支持体２に固定されている。
画像投影部４１は、プリズム４２に画像の光を投影する。プリズム４２は、投影された画像の光を反射して前記ユーザーの目１０００の網膜へ投影する。この場合、前記ユーザーは、プリズム４２を通じて前方を見ることにより、視界内の現実の影像に画像投影部４１によって投影された画像が重畳された影像を視認する。即ち、画像表示部４の画像の表示領域は、前記ユーザーの視界に重なる領域である。
ヘッドマウントデバイス１において、予め所定のキャリブレーションが行われることにより、画像表示部４は、視線検出部３によって検出される前記ユーザーの視線方向と画像表示部４の表示領域における位置との対応関係を表す座標対応情報を得る。
画像表示部４は、前記座標対応情報に基づいて、任意の投影画像を、画像表示部４の表示領域における前記ユーザーの視線方向に対応する位置に表示させることができる。
例えば、画像表示部４は、視線検出部３によって連続して検出される前記ユーザーの視線方向に対応する位置へ移動するカーソル画像を前記表示領域に表示させることができる。
また、画像表示部４が前記ユーザーの視界内のある位置に画像を表示させている場合に、画像表示部４は、前記座標対応情報に基づいて、前記ユーザーの視線が表示画像に向いているか否かを判定することもできる。
操作部７は、前記ユーザーの手による操作に従って情報を入力する部分である。例えば、操作部７がタッチパッドおよび操作ボタンの一方または両方を含むことが考えられる。
主演算部６は、操作部７を通じて入力される情報およびカメラ５によって得られる前記視界影像のデータを取得し、各種の演算を行う。さらに、主演算部６は、カメラ５および画像表示部４を制御する。
図３が示すように、主演算部６は、ＣＰＵ（Central Processing Unit）６１、記憶部６２、画像処理部６３、無線通信部６４および信号インターフェイス６５などを備える。
ＣＰＵ６１は、各種の演算およびデータ処理を実行するプロセッサーである。記憶部６２は、ＣＰＵ６１が参照する各種情報を記憶する不揮発性の記憶部である。また、記憶部６２は、ＣＰＵ６１による各種情報の読み書きが可能な記憶部でもある。
記憶部６２は、ＣＰＵ６１に各種の処理を実行させるためのプログラムおよびそれらのプログラムを実行するＣＰＵ６１によって参照される情報および書き込まれる情報を記憶する。主演算部６は、ＣＰＵ６１に実行させるためのプログラムを一時記憶するＲＡＭなどの不図示の揮発性記憶部も備える。
画像処理部６３は、カメラ５で得られる前記視界影像のデータに対する各種の画像処理を施す演算部である。画像処理部６３は、例えばＤＳＰまたはＡＳＩＣなどによって構成される。
無線通信部６４は、無線信号によって他の画像形成装置１０およびその他の機器との間でデータの送受信を行う。さらに、無線通信部６４は、ＣＰＵ６１との間で送信データおよび受信データの受け渡しを行う。例えば、無線通信部６４は、Ｗｉ−Ｆｉ通信またはＢｌｕｅｔｏｏｔｈ通信などの無線通信を行う。
信号インターフェイス６５は、ＣＰＵ６１と視線検出部３、画像表示部４、カメラ５および操作部７との間のデータの受け渡しを中継する。さらに、信号インターフェイス６５は、カメラ５から画像処理部６３への前記視界影像のデータの転送を中継する。
ところで、複写機およびファクシミリ装置などの画像形成装置１０において、操作性の向上のために、前記ユーザーがより容易に画像形成に関する処理の設定条件を指定できることが望まれている。
例えば、画像形成装置１０は、コピー処理により得られる画像形成後のシート材９０１に前記綴じ加工または前記パンチ孔加工を施すフィニッシャー８０を備える。この場合、画像形成装置１０において、多数の加工位置の候補の中から希望する加工位置を選択する作業は繁雑である。このような画像形成に関する処理の位置条件について、原稿９００などの対象物に対して位置を指し示すような態様で条件を指定することができれば、直感的に前記位置条件を指定することができ、操作性が向上する。
ヘッドマウントデバイス１が採用されれば、画像形成装置１０の前記ユーザーが、画像形成に関する処理の設定条件における位置条件を直感的に容易に指定することができる。
［位置条件指定処理］
次に、図４に示されるフローチャートを参照しつつ、ヘッドマウントデバイス１における位置条件指定処理の手順の一例について説明する。この手順は、ヘッドマウントデバイス１を用いた画像形成装置１０の設定条件指定方法の手順の一例である。
本実施形態における前記位置条件指定処理は、コピー処理に続いて画像形成後のシート材９０１に加工を施す加工処理におけるシート材９０１に対する加工位置の条件を指定する処理である。前記加工処理は、前記綴じ加工または前記パンチ孔加工である。この処理は、画像形成に関する処理の設定条件における位置条件が指定される場合の処理の一例である。
なお、前記コピー処理は、画像形成装置１０において、スキャン部２０が原稿９００から画像を読み取り、さらに読み取った画像をプリント部４０がシート材９０１に形成する処理である。図４に示される前記位置条件指定処理は、予め定められた位置条件指定の開始イベントが発生した場合に開始される。
前記開始イベントの一例は、ヘッドマウントデバイス１と画像形成装置１０との無線通信の接続が確立した後に、画像形成装置１０の操作表示部１００に対して予め定められた条件設定開始操作が行われた旨を表す通知が画像形成装置１０から受信したことである。
また、前記開始イベントの他の一例は、ヘッドマウントデバイス１の操作部７に対して予め定められた条件開始操作が行われたことである。
前記開始イベントが発生すると、主演算部６は、前記複写処理の対象となる原稿９００を見ることを前記ユーザーに要求する通知を出力した上で、図４に示される処理を開始する。前記通知は、例えば画像表示部４によるメッセージの表示などである。これにより、ヘッドマウントデバイス１を装着した前記ユーザーは原稿９００を見る。そのため、カメラ５は原稿９００の画像を含む前記視界影像のデータを主演算部６へ出力する。
以下の説明において、Ｓ１０１，Ｓ１０２，…は、主演算部６が実行する各工程の識別符号を表す。ＣＰＵ６１が記憶部６２に記憶された第１位置条件指定プログラムＰｒ１を実行することにより、主演算部６が前記位置条件指定処理を実行する。
＜工程Ｓ１０１＞
前記位置条件指定処理において、主演算部６のＣＰＵ６１は、視線検出部３から前記ユーザーの視線方向の検出結果を取得する。
＜工程Ｓ１０２＞
さらに、主演算部６の画像処理部６３が原稿認識処理を実行する。前記原稿認識処理は、カメラ５で撮影された前記視界影像に含まれる原稿９００の画像を認識する処理である。
本実施形態において、原稿９００は、前記加工位置の条件の指定の対象となる指定対象物の一例であり、前記加工位置の条件は画像形成に関する処理の設定条件における位置条件の一例である。また、工程Ｓ１０２の処理を実行する画像処理部６３は、カメラ５で撮影された前記視界影像に含まれる前記指定対象物の画像を認識する対象画像認識部の一例である。
例えば、画像処理部６３は、前記視界影像における前記視線方向を中心とする予め定められた範囲内に存在する矩形の画像を検出し、その矩形の画像を原稿９００の画像として認識する。
画像処理部６３は、原稿９００の画像を認識するまで工程Ｓ１０１，Ｓ１０２の処理を繰り返す。なお、図４には示されていないが、予め定められた中断条件が成立した場合、画像処理部６３は前記原稿認識処理を中断する。これにより、前記位置条件指定処理が終了する。
前記中断条件は、例えば、予め定められた時間何に原稿９００の画像を認識できなかったこと、および、操作部７を通じて予め定められた中断操作が行われたこと、などである。
＜工程Ｓ１０３＞
前記視界影像における原稿９００の画像が認識されると、主演算部６のＣＰＵ６１は、画像表示部４の表示領域に予め定められた指定候補マークＰ１を表示させる。図５は、画像表示部４により投影された指定候補マークＰ１を含む前記ユーザーの視界の影像の一例を表す図である。
指定候補マークＰ１は、前記加工位置の指定の候補となる位置であることを表す画像である。指定候補マークＰ１は、画像表示部４の表示領域における前記加工位置の指定の候補となる位置に表示される。
図５に示される指定候補マークＰ１は、前記綴じ加工の位置の候補を表す破線の枠画像である。例えば、前記綴じ加工の位置の候補は、矩形の原稿９００における４辺各々の中央部分に沿う４箇所の縁部、および原稿９００における４箇所の角部である。
図５において、原稿９００は前記ユーザーが視認している現物であり、指定候補マークＰ１は、画像表示部４によって前記ユーザーの視界内に投影された画像である。これにより、前記ユーザーは、直視している原稿９００上に指定候補マークＰ１が映し出されているように認識する。
シート材９０１に対する加工が前記パンチ孔加工である場合、前記加工位置の候補が、矩形の原稿９００における４辺各々の中央部分に沿う４箇所の縁部であることが考えられる。
なお、指定候補マークＰ１が表示された後、画像処理部６３は、カメラ５から前記視界影像のデータを随時取得するとともに、取得したデータについて前記原稿認識処理を実行する。そして、認識された原稿９００の画像の位置が変化した場合、ＣＰＵ６１は、画像表示部４を制御することにより、原稿９００の画像の位置に応じて指定候補マークＰ１の表示位置を更新させる。
＜工程Ｓ１０４＞
また、原稿９００の画像が認識されると、主演算部６のＣＰＵ６１は、視線検出部３から前記ユーザーの最新の視線方向を随時取得し、画像表示部４の表示領域における最新の前記視線方向に相当する位置にカーソルＰ０を表示させる（図５参照）。カーソルＰ０は、前記ユーザーの視線方向を表す画像である。
＜工程Ｓ１０５＞
さらに、主演算部６のＣＰＵ６１は、前記視線方向が、前記加工位置の指定の候補となる位置のいずれかに向かって予め定められた凝視状態になるか否かを判定する。前記凝視状態は、予め定められた設定凝視時間の間、前記視線方向が予め定められた狭範囲内に維持される状態である。
本実施形態において、前記加工位置の指定の候補となる位置は、指定候補マークＰ１の表示位置である。また、本実施形態において、前記視線方向が前記凝視状態に維持されることは、前記ユーザーの意思によってその視線方向の位置を指定したことを意味する。
ＣＰＵ６１は、前記視線方向が前記加工位置の指定の候補となる位置のいずれかに向かって前記凝視状態となるまで、工程Ｓ１０４，Ｓ１０５の処理を繰り返す。
工程Ｓ１０４，Ｓ１０５の処理は、認識された原稿９００の画像における検出された前記視線方向に対応する位置に応じて、前記加工位置の指定内容を判定する処理である。本実施形態における前記加工位置の指定内容は、複数の指定候補マークＰ１の表示位置のいずれか１つである。なお、工程Ｓ１０４，Ｓ１０５の処理を実行するＣＰＵ６１は位置条件判定部の一例である。
＜工程Ｓ１０６＞
前記視線方向が前記加工位置の指定の候補となる位置のいずれかに向かって前記凝視状態になると、ＣＰＵ６１は、画像表示部４を制御することにより仮想画像Ｐ２を表示させる（図６，７参照）。仮想画像Ｐ２は、原稿９００に前記加工が施された場合の加工部を表す画像である。
ＣＰＵ６１は、画像表示部４の表示領域における前記加工位置の指定内容に対応する位置に表示させる。前記加工位置の指定内容は、工程Ｓ１０５において前記凝視状態になった前記視線方向に表示された指定候補マークＰ１の位置である。なお、前記加工位置は前記位置条件の一例である。
図６が示すように、シート材９０１に対する前記加工が前記綴じ加工である場合、仮想画像Ｐ２はステープル針の画像などの綴じ部の画像である。また、図７が示すように、シート材９０１に対する前記加工が前記パンチ孔加工である場合、仮想画像Ｐ２はパンチ孔の画像である。
なお、仮想画像Ｐ２は、予め定められた確認用画像の一例である。工程Ｓ１０６の処理を実行するＣＰＵ６１は、前記確認用画像を画像表示部４の表示領域における前記位置条件の指定内容に対応する位置に表示させる表示制御部の一例である。
また、仮想画像Ｐ２が表示される代わりに、以下の処理が行われることも考えられる。例えば、指定された位置の指定候補マークＰ１が、他の位置の指定候補マークＰ１よりも強調して表示されることが考えられる。或いは、指定された位置の指定候補マークＰ１のみが表示され、他の位置の指定候補マークＰ１が消去されることも考えられる。これらの場合、強調表示された指定候補マークＰ１または表示が残された指定候補マークＰ１が、確認用画像の一例である。
＜工程Ｓ１０７＞
さらに、主演算部６のＣＰＵ６１は、指定位置の確認処理を実行する。例えば、前記指定位置確認処理において、ＣＰＵ６１は、画像表示部４を制御することにより確認メニューＰ３を表示領域に表示させる。
図６，７が示す例において、確認メニューＰ３は、選択候補として確定選択部Ｐ３１、戻る選択部Ｐ３２および中止選択部Ｐ３３を含む。確定選択部Ｐ３１は、前記加工位置の指定情報を確定する処理を指定する選択候補である。戻る選択部Ｐ３２は、前記加工位置の指定情報を破棄して工程Ｓ１０１からの処理をやり直すことを指定する選択候補である。中止選択部Ｐ３３は、当該位置条件指定処理の中止を指定する選択候補である。
ＣＰＵ６１は、視線検出部３が検出する前記視線方向が確定選択部Ｐ３１、戻る選択部Ｐ３２および中止選択部Ｐ３３のいずれかを指し示す方向で前記凝視状態なったときに、その視線方向に位置する選択候補が選択されたと判定する。
確認メニューＰ３の戻る選択部Ｐ３２が選択された場合、ＣＰＵ６１は、前記加工位置の指定情報を破棄して工程Ｓ１０１からの処理をやり直す。確認メニューＰ３の中止選択部Ｐ３３が選択された場合、ＣＰＵ６１は、当該位置条件指定処理を終了させる。
＜工程Ｓ１０８＞
確認メニューＰ３の確定選択部Ｐ３１が選択された場合、主演算部６のＣＰＵ６１は工程Ｓ１０８の処理を実行する。工程Ｓ１０８において、ＣＰＵ６１は、工程Ｓ１０５において指定された前記加工位置の情報、即ち、前記加工位置の指定情報を無線通信部６４を通じて画像形成装置１０へ無線送信する。これにより、ヘッドマウントデバイス１の前記位置条件指定処理が終了する。
画像形成装置１０の主制御部９０は、無線通信部６０を通じて前記加工位置の指定情報を受信すると、その指定情報に従って、これから実行するシート材９０１への前記加工の加工位置を設定する。
なお、画像形成装置１０において、ＭＰＵ９１が記憶部９２に記憶された位置条件設定プログラムＰｒ１０を実行することにより、主制御部９０が前記位置条件の設定に関する処理を実行する。
前記位置条件の設定に関する処理は、ヘッドマウントデバイス１から前記加工位置の指定情報を受信する処理と、その指定情報に従って、これから実行するシート材９０１への前記加工の加工位置を設定する処理とを含む。さらに、前記位置条件の設定に関する処理が、操作表示部１００に対して前記条件設定開始操作が行われた旨を表す通知をヘッドマウントデバイス１へ無線送信する処理を含むことも考えられる。
本実施形態によれば、現物である原稿９００に対して視線で位置を指し示すことによって前記加工位置の条件を指定することが可能である。そのため、画像形成装置１０の前記ユーザーが、画像形成に関する処理の設定条件における位置条件を直感的に容易に指定することができる。その結果、画像形成装置１０の操作性が向上する。
また、本実施形態において、仮想画像Ｐ２が前記ユーザーの視界に存在する原稿９００の領域の指定位置に表示される。これにより、前記ユーザーは、擬似的にシート材９０１に対する加工の仕上がり状態を事前に確認することができる。その結果、より直感的で誤りなく、前記加工位置の条件を指定することができる。
［第２実施形態］
次に、図８〜１０を参照しつつ、第２実施形態に係るヘッドマウントデバイスについて説明する。本実施形態における前記ヘッドマウントデバイス１は、前述のヘッドマウントデバイス１と同じ構成を備える。本実施形態における前記ヘッドマウントデバイス１も前記位置条件設定処理を実行する。
本実施形態における前記位置条件設定処理は、画像をシート材９０１に形成するプリント処理におけるシート材９０１の供給元の位置の条件を前記位置条件として指定する処理である。
図９が示すように、画像形成装置１０は、シート材９０１の供給元である複数の給紙部４０１を備える。即ち、シート材９０１の供給元の位置を指定することは、複数の給紙部４０１のうちのいずれかを指定することである。給紙部４０１は、画像形成装置１０の本体から引き出すことが可能な給紙カセットなどである。
なお、画像形成装置１０における給紙部４０１は、前記プリント処理でのシート材９０１の供給元の候補となるシート支持部の一例である。また、後述するように、前記プリント処理におけるシート材９０１の排出先の位置が前記位置条件として指定される場合もある。この場合、排紙部４０２が位置指定の対象となる（図９参照）。
排紙部４０２は、前記プリント処理でのシート材９０１の排出先の対象となるシート支持部の一例である。画像形成装置１０は、複数の排紙部４０２を備える。排紙部４０２は、画像形成装置１０の本体部における排紙トレイおよびフィニッシャー８０が備える排紙ビンなどである。
また、前記コピー処理は前記プリント処理の一例である。また、前記プリント処理は、予め画像形成装置１０の記憶部９２に記憶されている画像データに基づく画像をシート材９０１に形成する処理を含む。
図８は、本実施形態に係る前記ヘッドマウントデバイスにおける前記位置条件指定処理の手順の一例を示すフローチャートである。この手順は、ヘッドマウントデバイス１を用いた画像形成装置１０の設定条件指定方法の手順の一例である。
図９は、本実施形態に係る前記ヘッドマウントデバイスにより投影された説明情報Ｐ４を含む前記ユーザーの視界の影像の一例を表す図である。図１０は、本実施形態に係る前記ヘッドマウントデバイスによって投影された確認メニューＰ３を含むユーザーの視界の影像の一例を表す図である。
前記開始イベントが発生すると、主演算部６は、画像形成装置１０を見ることを前記ユーザーに要求する通知を出力した上で、図８に示される処理を開始する。前記通知は、例えば画像表示部４によるメッセージの表示などである。これにより、ヘッドマウントデバイス１を装着した前記ユーザーは画像形成装置１０を見る。そのため、カメラ５は画像形成装置１０の画像を含む前記視界影像のデータを主演算部６へ出力する。
以下の説明において、Ｓ２０１，Ｓ２０２，…は、主演算部６が実行する各工程の識別符号を表す。ＣＰＵ６１が記憶部６２に記憶された第２位置条件指定プログラムＰｒ２を実行することにより、主演算部６が前記位置条件指定処理を実行する。
＜工程Ｓ２０１＞
前記位置条件が給紙部４０１の位置の条件である場合、主演算部６のＣＰＵ６１は、無線通信部６４を通じて画像形成装置１０に対してシート情報を要求し、前記シート情報を取得する。前記シート情報は、給紙部４０１各々にセットされているシート材９０１の種類の情報である。例えば、前記シート情報が、シート材９０１のサイズおよび材質の情報を含むことが考えられる。
前記シート情報は、画像形成装置１０におけるシート材９０１の供給元各々の説明情報の一例である。
＜工程Ｓ２０２＞
さらに、主演算部６のＣＰＵ６１は、視線検出部３から前記ユーザーの視線方向の検出結果を取得する。
＜工程Ｓ２０３＞
さらに、主演算部６の画像処理部６３が給紙部認識処理を実行する。前記給紙部認識処理は、カメラ５で撮影された前記視界影像に含まれる給紙部４０１の画像を認識する処理である。
本実施形態において、給紙部４０１は、シート材９０１の供給元条件を指定する対象となる指定対象物の一例であり、前記供給元条件は画像形成に関する処理の設定条件における位置条件の一例である。また、工程Ｓ２０３の処理を実行する画像処理部６３は、カメラ５で撮影された前記視界影像に含まれる前記指定対象物の画像を認識する対象画像認識部の一例である。
例えば、画像処理部６３は、前記視界影像における前記視線方向を中心とする予め定められた範囲内に存在する点灯したランプ４０１１の画像を検出し、そのランプ４０１１の画像を給紙部４０１の画像として認識する。ランプ４０１１の画像を認識する画像処理は、給紙部４０１自体の画像を認識する画像処理よりも容易かつ確実である。
図９，１０が示すように、画像形成装置１０は、複数の給紙部４０１各々に対応する複数のランプ４０１１を備える。図９が示すように、画像形成装置１０は、前記開始イベントが発生した際に、全ての給紙部４０１のランプ４０１１を点灯させる。
画像処理部６３は、前記視界影像から予め定められたレベル以上に明るい複数の点状の画像を検出し、それら点状の画像を複数のランプ４０１１の画像、即ち、複数の給紙部４０１各々の画像として認識する。また、ランプ４０１１の発光色が予め定められており、画像処理部６３が、その発光色を識別することによってランプ４０１１の画像とそれ以外の画像とを識別することも考えられる。
画像処理部６３は、給紙部４０１の画像を認識するまで工程Ｓ２０２，Ｓ２０３の処理を繰り返す。なお、図８には示されていないが、図４の工程Ｓ１０１，Ｓ１０２の場合と同様に、前記中断条件が成立した場合、画像処理部６３は前記原稿認識処理を中断する。これにより、前記位置条件指定処理が終了する。
なお、給紙部４０１の画像が認識された後、画像処理部６３は、カメラ５から前記視界影像のデータを随時取得するとともに、取得したデータについて前記給紙部認識処理を実行する。そして、ＣＰＵ６１は、常に最新の給紙部４０１の画像の位置、即ち、ランプ４０１１の画像の位置に関する記憶情報を更新する。
＜工程Ｓ２０４＞
前記視界影像における給紙部４０１の画像が認識されると、主演算部６のＣＰＵ６１は、視線検出部３から前記ユーザーの最新の視線方向を随時取得し、画像表示部４の表示領域における最新の前記視線方向に相当する位置にカーソルＰ０を表示させる（図９参照）。
＜工程Ｓ２０５＞
また、前記ユーザーの前記視線方向が、認識された複数の給紙部４０１の画像の位置のいずれかに向く状態である場合、主演算部６のＣＰＵ６１は、前記視線方向に位置する給紙部４０１の説明情報Ｐ４を画像表示部４の表示領域に表示させる。本実施形態における説明情報Ｐ４は、工程Ｓ２０１で画像形成装置１０から得られた前記シート情報である。
なお、前記ユーザーの前記視線方向が、認識された複数の給紙部４０１の画像の位置のいずれにも向いていない状態である場合、説明情報Ｐ４は表示されない。
図９において、画像形成装置１０は前記ユーザーが視認している現物であり、カーソルＰ０および説明情報Ｐ４の画像は、画像表示部４によって前記ユーザーの視界内に投影された画像である。
＜工程Ｓ２０６＞
また、前記視界影像における給紙部４０１の画像が認識されると、主演算部６のＣＰＵ６１は、前記視線方向が給紙部４０１の指定の候補となる位置のいずれかに向かって前記凝視状態となるか否かを判定する。工程Ｓ２０６は、図４の工程Ｓ１０５と同様の工程である。
ＣＰＵ６１は、前記視線方向が給紙部４０１の指定の候補となる位置のいずれかに向かって前記凝視状態となるまで、工程Ｓ２０４〜Ｓ２０６の処理を繰り返す。
工程Ｓ２０４〜Ｓ２０６の処理は、認識された複数の給紙部４０１の画像のうち前記視線方向に位置するものを選択することによってシート材９０１の供給元を判定する処理である。本実施形態におけるシート材９０１の供給元は、複数の給紙部４０１のうちのいずれか１つである。なお、工程Ｓ２０４〜Ｓ２０６の処理を実行するＣＰＵ６１は位置条件判定部の一例である。
＜工程Ｓ２０７＞
前記視線方向が給紙部４０１の指定の候補となる位置のいずれかに向かって前記凝視状態になると、ＣＰＵ６１は、工程Ｓ２０７の処理を実行する。工程Ｓ２０７において、ＣＰＵ６１は、工程Ｓ２０６において指定された給紙部４０１の情報、即ち、シート材９０１の供給元の指定情報を無線通信部６４を通じて画像形成装置１０へ無線送信する。
工程Ｓ２０７においてヘッドマウントデバイス１から画像形成装置１０へ送信される情報は、シート材９０１の供給元の指定の暫定情報である。このシート材９０１の供給元の指定は、後述する指定位置確認処理によって確定する。
画像形成装置１０の主制御部９０は、無線通信部６０を通じて給紙部４０１の指定情報、即ち、シート材９０１の供給元の指定情報を受信すると、ヘッドマウントデバイス１から確定指示を受けるまでその受信情報を一時記憶する。
さらに、主制御部９０は、給紙部４０１の指定情報を受信すると、その指定情報に対応するランプ４０１１を、他のランプ４０１１と識別可能な状態で点灯させる（図１０参照）。これにより、前記ユーザーは、自らの視線によって意図通りに給紙部４０１を指定できたか否かを確認することができる。
例えば、主制御部９０は、給紙部４０１の指定情報に対応するランプ４０１１のみを点灯させる。或いは、主制御部９０が、給紙部４０１の指定情報に対応するランプ４０１１のみを点滅させ、その他のランプ４０１１を一定輝度で点灯させることも考えられる。
＜工程Ｓ２０８＞
さらに、主演算部６のＣＰＵ６１は、図４の工程Ｓ１０７と同様に前記指定位置の確認処理を実行する。例えば、前記指定位置確認処理において、ＣＰＵ６１は、画像表示部４を制御することにより確認メニューＰ３を表示領域に表示させる（図１０参照）。
＜工程Ｓ２０９＞
確認メニューＰ３の確定選択部Ｐ３１が選択された場合、主演算部６のＣＰＵ６１は工程Ｓ２０９の処理を実行する。工程Ｓ２０９において、ＣＰＵ６１は、工程Ｓ２０７において画像形成装置１０に送信された給紙部４０１の指定情報を確定させる旨を指示する確定指示情報を無線通信部６４を通じて画像形成装置１０へ無線送信する。これにより、ヘッドマウントデバイス１の前記位置条件指定処理が終了する。
画像形成装置１０の主制御部９０は、無線通信部６０を通じて前記確定指示情報を受信すると、その前にヘッドマウントデバイス１から受信した給紙部４０１の指定情報に従って、これから実行する前記プリント処理におけるシート材９０１の供給元を設定する。
＜Ｓ２１０＞
確認メニューＰ３の戻る選択部Ｐ３２が選択された場合、主演算部６のＣＰＵ６１は、工程Ｓ２０７において画像形成装置１０に送信された給紙部４０１の指定情報を取り消す旨を指示する取消指示情報を無線通信部６４を通じて画像形成装置１０へ無線送信する。その後、ＣＰＵ６１は、給紙部４０１の指定結果を破棄して工程Ｓ２０２からの処理をやり直す。
画像形成装置１０の主制御部９０は、無線通信部６０を通じて前記取消指示情報を受信すると、その前にヘッドマウントデバイス１から受信した給紙部４０１の指定情報を破棄する。
＜工程Ｓ２１１＞
確認メニューＰ３の中止選択部Ｐ３３が選択された場合も、主演算部６のＣＰＵ６１は、前記取消指示情報を無線通信部６４を通じて画像形成装置１０へ無線送信する。その後、ＣＰＵ６１は、当該位置条件指定処理を終了させる。
図８〜１０に示される例は、シート材９０１の供給元の位置の条件が前記位置条件として指定される例である。一方、前記プリント処理におけるシート材９０１の排出先の位置が前記位置条件として指定される場合もある。即ち、排紙部４０２が位置指定の対象となる場合である。
図９，１０が示すように、画像形成装置１０は、複数の排紙部４０２各々に対応する複数のランプ４０２１を備える。排紙部４０２が位置指定の対象となる場合において、画像形成装置１０は、前記開始イベントが発生した際に、全ての排紙部４０２のランプ４０２１を点灯させる。
そして、排紙部４０２が位置指定の対象となる場合も、ヘッドマウントデバイス１の主演算部６は、図８に示される手順と同様の手順で前記位置条件指定処理を実行する。これにより、前記ユーザーが、シート材９０１の排出先の条件を直感的に容易に指定することができる。
[応用例]
第２実施形態の前記位置条件指定処理において、工程Ｓ２０３の前記給紙部認識処理が、画像形成装置１０における給紙部４０１各々に対応する位置に記された識別マークの画像を給紙部４０１の画像として認識する処理であることも考えられる。例えば、前記識別マークが、予め定められた色のマーク、または、特殊な形状のマークであることが考えられる。なお、排紙部４０２の画像の識別についても同様である。
また、工程Ｓ２０３の前記給紙部認識処理が、給紙部４０１の形態自体を認識する処理であることも考えられる。例えば、給紙部４０１の形状および色などの形態情報が画像形成装置１０の記憶部９２または自装置の記憶部６２に予め記憶されていることが考えられる。この場合、主演算部６が、前記形態情報を取得し、前記視界影像から前記形態情報が表す形態を有する画像を給紙部４０１の画像として認識することが考えられる。なお、排紙部４０２の画像の識別についても同様である。
また、第２実施形態の前記位置条件指定処理において、工程Ｓ２０７の処理が、予め定められた前記確認用画像を画像表示部４の表示領域に表示させる処理であることも考えられる。
指定された給紙部４０１を確認するための前記確認用画像は、画像表示部４の表示領域におけるシート材９０１の供給元として判定された給紙部４０１に対応する位置に表示される。例えば、前記確認用画像が、ランプ４０１１の発光色と異なる色のランプの画像、または点滅するランプの画像であることが考えられる。このランプの画像は、ランプ４０１１の位置に重ねて表示される。なお、指定された排紙部４０２を確認するための前記確認用画像についても同様である。
本発明に係る情報処理装置および画像形成装置の設定条件指定方法は、各請求項に記載された発明の範囲において、以上に示された実施形態及び応用例を自由に組み合わせること、或いは実施形態及び応用例を適宜、変形する又は一部を省略することによって構成されることも可能である。
１ ：ヘッドマウントデバイス（情報処理装置）
２ ：支持体
３ ：視線検出部
４ ：画像表示部
５ ：カメラ
６ ：主演算部
７ ：操作部
１０ ：画像形成装置
２０ ：スキャン部
３０ ：スキャン制御部
４０ ：プリント部
４１ ：画像投影部
４２ ：プリズム
５０ ：プリント制御部
６０ ：無線通信部
６１ ：ＣＰＵ
６２ ：記憶部
６３ ：画像処理部
６４ ：無線通信部
６５ ：信号インターフェイス
７０ ：画像処理部
８０ ：フィニッシャー
９０ ：主制御部
９１ ：ＭＰＵ
９２ ：記憶部
１００ ：操作表示部
２００ ：バス
４０１ ：給紙部
４０２ ：排紙部
９００ ：原稿
９０１ ：シート材
４０１１，４０２１：ランプ
Ｐ０ ：カーソル
Ｐ１ ：指定候補マーク
Ｐ２ ：仮想画像
Ｐ３ ：確認メニュー
Ｐ４ ：説明情報
Ｐｒ１ ：第１位置条件指定プログラム
Ｐｒ２ ：第２位置条件指定プログラム
Ｐｒ１０ ：位置条件設定プログラム

Claims (8)

  1. 画像形成装置のユーザーが装着可能な情報処理装置であって、
    前記ユーザーの視界を撮影するカメラと、
    前記ユーザーの視線方向を検出する視線検出部と、
    画像形成に関する処理の設定条件における位置条件が指定される場合に、前記カメラで撮影された視界影像に含まれる前記位置条件の指定の対象となる指定対象物の画像を認識する対象画像認識部と、
    認識された前記指定対象物の画像における検出された前記視線方向に対応する位置に応じて、前記位置条件の指定内容を判定する位置条件判定部と、
    前記位置条件の指定内容の情報を前記画像形成装置へ無線送信する無線通信部と、を備える情報処理装置。
  2. 前記ユーザーの目の前方に支持され前記ユーザーに画像を視認させる画像表示部と、
    予め定められた確認用画像を、前記画像表示部の表示領域における前記位置条件の指定内容に対応する位置に表示させる表示制御部と、を備える請求項１に記載の情報処理装置。
  3. 前記位置条件が、原稿から読み取った画像をシート材に形成するとともに画像形成後の前記シート材に加工を施す処理における前記シート材に対する加工位置の条件であり、
    前記指定対象物が前記原稿であり、
    前記位置条件判定部が、認識された前記原稿の画像内での前記視線方向に対応する位置に応じて前記シート材における前記加工位置を判定する、請求項１または請求項２に記載の情報処理装置。
  4. 前記位置条件が、原稿から読み取った画像をシート材に形成するとともに画像形成後の前記シート材に加工を施す処理における前記シート材に対する加工位置の条件であり、
    前記指定対象物が前記原稿であり、
    前記位置条件判定部が、認識された前記原稿の画像内での前記視線方向に対応する位置に応じて前記シート材における前記加工位置を判定し、
    前記確認用画像が、前記原稿に前記加工が施された場合の加工部を表す仮想画像である、請求項２に記載の情報処理装置。
  5. 前記加工が複数の前記シート材を綴じる加工または前記シート材に孔を空ける加工である、請求項３または請求項４に記載の情報処理装置。
  6. 前記位置条件が、画像をシート材に形成する処理における前記シート材の供給元または排出先に関する位置の条件であり、
    前記指定対象物が、前記画像形成装置における前記シート材の供給元または排出先の候補となる複数のシート支持部であり、
    前記位置条件判定部が、認識された複数の前記シート支持部の画像のうち前記視線方向に位置するものを選択することによって前記シート材の供給元または排出先を判定する、請求項１または請求項２に記載の情報処理装置。
  7. 前記指定対象物の画像が、前記画像形成装置における複数の前記シート支持部各々において点灯するランプの画像である、請求項６に記載の情報処理装置。
  8. 画像形成装置のユーザーの視界を撮影するカメラと、
    前記ユーザーの視線方向を検出する視線検出部と、を備える情報処理装置を用いた画像形成装置の設定条件指定方法であって、
    前記情報処理装置が、画像形成に関する処理の設定条件における位置条件が指定される場合に、前記カメラで撮影された視界影像に含まれる前記位置条件の指定の対象となる指定対象物の画像を認識する工程と、
    前記情報処理装置が、認識された前記指定対象物の画像における検出された前記視線方向に対応する位置に応じて、前記位置条件の指定内容を判定する工程と、
    前記情報処理装置が、前記位置条件の指定内容の情報を前記画像形成装置へ無線送信する工程と、を含む画像形成装置の設定条件指定方法。
JP2015131859A 2015-06-30 2015-06-30 情報処理装置、画像形成装置の設定条件指定方法 Expired - Fee Related JP6304145B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015131859A JP6304145B2 (ja) 2015-06-30 2015-06-30 情報処理装置、画像形成装置の設定条件指定方法
EP16174905.6A EP3112993B1 (en) 2015-06-30 2016-06-17 Information processing apparatus, setting condition specification method for image forming apparatus
CN201610437294.3A CN106325495B (zh) 2015-06-30 2016-06-17 信息处理装置、图像形成装置的设定条件指定方法
US15/197,529 US9894226B2 (en) 2015-06-30 2016-06-29 Information processing apparatus, setting condition specification method for image forming apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015131859A JP6304145B2 (ja) 2015-06-30 2015-06-30 情報処理装置、画像形成装置の設定条件指定方法

Publications (2)

Publication Number Publication Date
JP2017017507A true JP2017017507A (ja) 2017-01-19
JP6304145B2 JP6304145B2 (ja) 2018-04-04

Family

ID=56497529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015131859A Expired - Fee Related JP6304145B2 (ja) 2015-06-30 2015-06-30 情報処理装置、画像形成装置の設定条件指定方法

Country Status (4)

Country Link
US (1) US9894226B2 (ja)
EP (1) EP3112993B1 (ja)
JP (1) JP6304145B2 (ja)
CN (1) CN106325495B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020098466A (ja) * 2018-12-18 2020-06-25 コニカミノルタ株式会社 画像処理装置、画像形成システム、画像形成装置、制御方法及びコンピュータープログラム
JP2021081868A (ja) * 2019-11-15 2021-05-27 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム、及び情報処理プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162102A (ja) 2016-03-08 2017-09-14 株式会社東芝 保守支援方法、保守支援システム、及び保守支援プログラム
JP7076286B2 (ja) * 2018-05-25 2022-05-27 理想科学工業株式会社 印刷システム、ウェアラブル端末及びプログラム
US10921879B2 (en) * 2019-06-07 2021-02-16 Facebook Technologies, Llc Artificial reality systems with personal assistant element for gating user interface elements
CN114860178A (zh) * 2021-01-18 2022-08-05 华为技术有限公司 一种投屏的方法和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003036069A (ja) * 2001-07-25 2003-02-07 Sharp Corp ヘッドマウントディスプレイ装置
JP2014093036A (ja) * 2012-11-06 2014-05-19 Konica Minolta Inc 案内情報表示装置
JP2014116722A (ja) * 2012-12-07 2014-06-26 Sony Corp 機能制御装置およびプログラム
JP2014194725A (ja) * 2013-03-29 2014-10-09 Konica Minolta Inc ジョブ情報表示装置
JP2015099448A (ja) * 2013-11-18 2015-05-28 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
JP2015102909A (ja) * 2013-11-21 2015-06-04 コニカミノルタ株式会社 Ａｒ表示装置、処理内容設定装置、処理内容設定方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
JP2012029164A (ja) * 2010-07-26 2012-02-09 Konica Minolta Business Technologies Inc 携帯端末及び装置管理方法
JP5655674B2 (ja) 2011-04-01 2015-01-21 ブラザー工業株式会社 ヘッドマウントディスプレイ及びこれに用いられるプログラム
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
US9253524B2 (en) * 2012-07-20 2016-02-02 Intel Corporation Selective post-processing of decoded video frames based on focus point determination
CN104620212B (zh) * 2012-09-21 2018-09-18 索尼公司 控制装置和记录介质
JP2014215780A (ja) * 2013-04-24 2014-11-17 京セラドキュメントソリューションズ株式会社 操作入力装置及びプログラム並びに画像形成システム
JP5825328B2 (ja) * 2013-11-07 2015-12-02 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6241426B2 (ja) * 2015-01-26 2017-12-06 コニカミノルタ株式会社 画像形成システム、画像形成装置、遠隔制御方法および遠隔制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003036069A (ja) * 2001-07-25 2003-02-07 Sharp Corp ヘッドマウントディスプレイ装置
JP2014093036A (ja) * 2012-11-06 2014-05-19 Konica Minolta Inc 案内情報表示装置
JP2014116722A (ja) * 2012-12-07 2014-06-26 Sony Corp 機能制御装置およびプログラム
JP2014194725A (ja) * 2013-03-29 2014-10-09 Konica Minolta Inc ジョブ情報表示装置
JP2015099448A (ja) * 2013-11-18 2015-05-28 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
JP2015102909A (ja) * 2013-11-21 2015-06-04 コニカミノルタ株式会社 Ａｒ表示装置、処理内容設定装置、処理内容設定方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020098466A (ja) * 2018-12-18 2020-06-25 コニカミノルタ株式会社 画像処理装置、画像形成システム、画像形成装置、制御方法及びコンピュータープログラム
JP2021081868A (ja) * 2019-11-15 2021-05-27 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム、及び情報処理プログラム
JP7363399B2 (ja) 2019-11-15 2023-10-18 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム、及び情報処理プログラム

Also Published As

Publication number Publication date
US20170006172A1 (en) 2017-01-05
CN106325495B (zh) 2019-04-26
EP3112993A1 (en) 2017-01-04
US9894226B2 (en) 2018-02-13
CN106325495A (zh) 2017-01-11
EP3112993B1 (en) 2018-06-06
JP6304145B2 (ja) 2018-04-04

Similar Documents

Publication Publication Date Title
JP6304145B2 (ja) 情報処理装置、画像形成装置の設定条件指定方法
JP6295995B2 (ja) 情報処理装置、画像処理装置へのジョブ指示方法
JP5787099B2 (ja) 案内情報表示装置
US9191525B2 (en) Image forming system performing communication through visible light communication and communication mode different from visible light communication
US20160269578A1 (en) Head mounted display apparatus and method for connecting head mounted display apparatus to external device
JP5796726B2 (ja) ジョブ情報表示装置
JP6222440B2 (ja) Ａｒ表示システム、およびａｒ表示装置、情報処理装置、プログラム
US20150138232A1 (en) Ar display device, process contents setting device, process contents setting method and non-transitory computer-readable recording medium
US10025382B2 (en) Display system and head mounted display
JP6770502B2 (ja) 通信装置、表示装置、それらの制御方法、プログラムならびに表示システム
US10530945B2 (en) Display device and display system
JP6136667B2 (ja) 画像処理システム、画像形成装置、表示装置、および制御プログラム
JP2018180091A (ja) 表示装置
US9036194B2 (en) Operation input apparatus, image forming system, and storage medium for operation input program
US20180295245A1 (en) Display input device and method for controlling same
JP2018081459A (ja) ユーザ補助装置
JP6742871B2 (ja) 情報処理システム、装置、情報処理方法、コンピュータプログラム、及び記憶媒体
JP2019036849A (ja) 画像形成システム
JP2018067875A (ja) メガネ型端末及び画像形成システム
US20230316667A1 (en) Information processing apparatus, non-transitory computer readable medium storing information processing program, and information processing method
JP2020116778A (ja) 画像形成装置
JP2020116779A (ja) 画像形成装置
JP2018073071A (ja) 情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180219

R150 Certificate of patent or registration of utility model

Ref document number: 6304145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees