CN104660842A - 增强现实显示装置、印刷条件设定系统、印刷系统 - Google Patents

增强现实显示装置、印刷条件设定系统、印刷系统 Download PDF

Info

Publication number
CN104660842A
CN104660842A CN201410658041.XA CN201410658041A CN104660842A CN 104660842 A CN104660842 A CN 104660842A CN 201410658041 A CN201410658041 A CN 201410658041A CN 104660842 A CN104660842 A CN 104660842A
Authority
CN
China
Prior art keywords
image
paper
setting
realistic space
additional treatments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410658041.XA
Other languages
English (en)
Other versions
CN104660842B (zh
Inventor
杉本泰明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Konica Minolta Opto Inc
Original Assignee
Konica Minolta Opto Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Opto Inc filed Critical Konica Minolta Opto Inc
Publication of CN104660842A publication Critical patent/CN104660842A/zh
Application granted granted Critical
Publication of CN104660842B publication Critical patent/CN104660842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/002—Interacting with the operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00283—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus
    • H04N1/00286—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus with studio circuitry, devices or equipment, e.g. television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Record Information Processing For Printing (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

一种AR显示装置，具有：显示部，对在现实空间上合成了图像的扩展现实空间进行显示；摄像机，拍摄与所述显示部显示的所述扩展现实空间对应的现实空间；设定信息取得部，取得与规定的印刷装置对图像或者输出纸张实施的预定的附加处理相关的设定内容；检测部，检测在所述摄像机正在拍摄的所述现实空间中存在的纸张及其姿势；以及显示控制部，生成用于模拟地表示在根据所述设定信息取得部取得的所述设定内容而在所述印刷装置中实施了所述附加处理的情况下的处理结果的图像，并且生成与由所述检测部检测出的存在于所述现实空间的纸张的姿势相配合而进行了修正的输出影像图像，使所述显示部显示将该输出影像图像与存在于所述现实空间的纸张进行了重合的扩展现实空间。

Description

增强现实显示装置、印刷条件设定系统、印刷系统
技术领域
本发明涉及印刷装置将对图像和输出纸张实施的预定的各种处理的处理结果模拟地影像化并进行显示的技术。
背景技术
在复印原稿的情况下，有时将“绝密”等的字符作为水印来合成、或者对印刷后的纸张实施折叠、装订、开孔等的后处理。在实施这样的附加处理的情况下，用户通常从印刷装置的操作面板来进行该设定，但是，难以凭借用户自身在印刷前准确地想象根据自己进行的设定而生成的印刷物的完成状态。例如，难以准确地识别订书针和冲压孔与被印刷的字符和图像有无重叠和位置关系。
因此，提出了如下的图像形成装置：通过扫描仪来读取原稿，生成对被印刷该读取图像的纸张实施了冲压孔等的后处理的完成状态的预览图像，并且显示在操作面板上(例如，参照专利文献1)。
此外，存在如下的系统：包含：图像形成装置，输出对基本原稿附加了用于指定被注册到服务器的规定的图像的AR(Augmented Reality，增强现实)标签的印刷物；以及便携终端，对该印刷物进行摄像，其中，对该印刷物进行了摄像的便携终端从服务器取得与该印刷物所附加的AR标签建立了关联的图像(例如：地图等)，将该图像重叠到摄像图像中的AR标签的附近并进行AR显示(例如，参照专利文献2)。
现有技术文献
专利文献
[专利文献1](日本)特开2008-70835号公报
[专利文献2](日本)特开2013-026922号公报
在上述的专利文献1所公开的图像形成装置中，为了对完成状态进行预览显示，需要通过扫描仪来读取原稿，花费工夫。此外，在操作面板小的画面上，难以确认正确的完成状态。
在专利文献2所公开的技术中，仅将与AR标签建立关联的图像重叠到摄像图像中的AR标签的附近并进行AR显示，因此，导致印刷物倾斜、或者印刷物与图像的角度偏移。因此，即使应用该技术，将完成状态的图像在纸张上重叠并进行AR显示，若不能将纸张保持为端正的姿势，则导致纸张与图像的角度偏移，不能通过AR显示来准确地确认完成状态。
发明内容
本发明是想要解决上述的问题的发明，其目的在于：提供能够容易地确认印刷物的完成状态的AR显示装置、AR显示控制装置、印刷条件设定系统、印刷系统以及印刷设定显示方法。
作为用于达成该目的的本发明的主旨的点存在于下面的各项的发明。
[1]一种AR显示装置，其特征在于，具有：
显示部，对在现实空间上合成了图像的扩展现实空间进行显示；
摄像机，拍摄与所述显示部显示的所述扩展现实空间对应的现实空间；
设定信息取得部，取得与规定的印刷装置对图像或者输出纸张实施的预定的附加处理相关的设定内容；
检测部，检测在所述摄像机正在拍摄的所述现实空间中存在的纸张及其姿势；以及
显示控制部，生成输出影像图像，并使所述显示部显示将该输出影像图像重合到在所述现实空间中存在的纸张上的扩展现实空间，所述输出影像图像是用于模拟地表示在根据所述设定信息取得部取得的所述设定内容而在所述印刷装置中实施了所述附加处理的情况下的处理结果的图像，并且与由所述检测部检测出的在所述现实空间中存在的纸张的姿势相配合而进行了修正。
在上述发明以及下述[6]所记载的发明中，生成用于模拟地表示在根据从外部取得的设定内容而在印刷装置中实施了附加处理的情况下的处理结果的输出影像图像，与现实空间的纸张的姿势相配合而对其进行修正，并对将修正后的输出影像图像与存在于现实空间的纸张进行了重合的扩展现实空间进行AR显示。由此，用户能够事先容易地确认根据设定内容而在印刷装置中实施了附加处理的情况下的处理结果。
[2]如[1]所记载的AR显示装置，其特征在于，具有：
已有印刷区域检测部，从所述摄像机的拍摄映像中检测在所述现实空间中存在的纸张之中的已存在字符或图像的区域即已有印刷区域；以及
警告部，判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，在重叠的情况下，进行规定的警告。
在上述发明以及下述[7]所记载的发明中，在与设定内容表示的附加处理之中的规定的附加处理相关的处理结果与在存在于现实空间的纸张上已存在字符或图像的已有印刷区域重叠的情况下，进行警告。
[3]如[2]所记载的AR显示装置，其特征在于，
具备：检测使用者的视线的视线检测部，
所述警告部在进行所述警告时根据所述视线检测部的检测结果来判定所述使用者是否正在看所述纸张，在所述使用者正在看所述纸张的情况下，使所述显示部显示所述警告，在所述使用者没有在看所述纸张的情况下，通过声音来进行所述警告。
在上述发明以及下述[8]所记载的发明中，在使用者正在看纸张的情况下，进行基于显示的警告，在使用者没有在看纸张的情况下，进行基于声音的警告。
[4]如[1]所记载的AR显示装置，其特征在于，
具有：已有印刷区域检测部，从所述摄像机的拍摄映像中检测存在于所述现实空间的纸张之中的已存在字符或图像的区域即已有印刷区域，
所述显示控制部判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，将重叠的部分和没有重叠的部分在所述输出影像图像上设为不同的显示方式。
在上述发明以及下述[9]所记载的发明中，在与设定内容表示的附加处理之中的规定的附加处理相关的处理结果中，对与存在于现实空间的纸张的已有印刷区域重叠的部位、没有重叠的部位进行判别，在重叠的部位和没有重叠的部位上，对输出影像图像以不同的显示方式，例如改变颜色而进行显示。
[5]如[1]或[4]所记载的AR显示装置，其特征在于，具有：
已有印刷区域检测部，从所述摄像机的拍摄映像中检测在所述现实空间中存在的纸张之中的已存在字符或图像的区域即已有印刷区域；以及
设定变更指示部，判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，在重叠的情况下，对于从用户接受到与所述附加处理相关的设定的外部装置进行指示，使其从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
在上述发明或者下述[10]所记载的发明中，在与设定内容表示的附加处理之中的规定的附加处理相关的处理结果与已有印刷区域重叠的情况下，指示从用户接受到与该附加处理相关的设定的外部装置从用户接受与该附加处理相关的设定内容的变更操作。例如，进行指示使得显示相应的设定画面。
[6]一种AR显示控制装置，控制AR显示装置的显示内容，所述AR显示装置具备：对在现实空间合成了图像的扩展现实空间进行显示的显示部、以及拍摄与所述显示部显示的所述扩展现实空间对应的现实空间的摄像机，其特征在于，具有：
设定信息取得部，取得与规定的印刷装置对图像或者输出纸张实施的预定的附加处理相关的设定内容；
检测部，检测在所述摄像机正在拍摄的所述现实空间中存在的纸张及其姿势；以及
显示控制部，生成输出影像图像，并使所述AR显示装置显示将该输出影像图像重合到在所述现实空间中存在的纸张上的扩展现实空间，所述输出影像图像是模拟地表示在根据所述设定信息取得部取得的所述设定内容而在所述印刷装置中实施了所述附加处理的情况下的处理结果的图像，并且与由所述检测部检测出的在所述现实空间中存在的纸张的姿势相配合而进行了修正。
[7]如[6]所记载的AR显示控制装置，其特征在于，具有：
已有印刷区域检测部，从所述摄像机的拍摄映像中检测在所述现实空间中存在的纸张之中的已存在字符或图像的区域即已有印刷区域；以及
警告部，判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，在重叠的情况下，进行规定的警告。
[8]如[7]所记载的AR显示控制装置，其特征在于，
具备：视线信息取得部，取得用于表示使用者正在看哪里的视线信息，
所述警告部基于所述视线信息来判定在进行所述警告时所述使用者是否正在看所述纸张，在所述使用者正在看所述纸张的情况下，使所述显示部显示所述警告，在所述使用者没有看所述纸张的情况下，通过声音来进行所述警告。
[9]如[6]所记载的AR显示控制装置，其特征在于，
具有：已有印刷区域检测部，从所述摄像机的拍摄映像中检测存在于所述现实空间的纸张之中的已存在字符或图像的区域即已有印刷区域，
所述显示控制部判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，将重叠的部分和不重叠的部分在所述输出影像图像上设为不同的显示方式。
[10]如[6]或[9]所记载的AR显示控制装置，具有：
已有印刷区域检测部，从所述摄像机的拍摄映像中检测在所述现实空间中存在的纸张之中的已存在字符或图像的区域即已有印刷区域；以及
设定变更指示部，判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，在重叠的情况下，对于从用户接受到与所述附加处理相关的设定的外部装置进行指示，使其从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
[11]一种印刷条件设定系统，其特征在于，包括：
[5]所记载的AR显示装置；以及
设定装置，从用户接受与所述附加处理相关的设定，并且根据来自所述设定变更指示部的指示，从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
[12]一种印刷条件设定系统，其特征在于，包括：
[10]所记载的AR显示控制装置；以及
设定装置，从用户接受与所述附加处理相关的设定，并且根据来自所述设定变更指示部的指示，从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
[13]一种印刷系统，其特征在于，包括：
[5]所记载的AR显示装置；以及
具备设定部的印刷装置，所述设定部从用户接受与所述附加处理相关的设定，并且根据来自所述设定变更指示部的指示，从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
[14]一种印刷系统，其特征在于，包括：
[10]所记载的AR显示控制装置；以及
具备设定部的印刷装置，所述设定部从用户接受与所述附加处理相关的设定，并且根据来自所述设定变更指示部的指示，从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
[15]一种印刷设定显示方法，使AR显示装置显示规定的印刷装置对图像或者输出纸张实施的预定的附加处理的设定内容，所述AR显示装置具备对在现实空间上合成了图像的扩展现实空间进行显示的显示部、以及拍摄与所述显示部显示的所述扩展现实空间对应的现实空间的摄像机，其特征在于，所述印刷设定显示方法具有以下步骤：
取得所述设定内容的步骤；
检测在所述摄像机正在拍摄的所述现实空间中存在的纸张及其姿势的步骤；以及
生成输出影像图像，并使所述增强现实显示装置显示将该输出影像图像重合到在所述现实空间中存在的纸张上的扩展现实空间的步骤，所述输出影像图像是用于模拟地表示在根据所述设定内容而在所述印刷装置中实施了所述附加处理的情况下的处理结果的图像，并且与所述检测出的存在于所述现实空间的纸张的姿势相配合而进行了修正。
根据本发明所涉及的AR显示装置、AR显示控制装置、印刷条件设定系统、印刷系统、印刷设定显示方法以及程序，能够事先容易地在扩展现实空间中确认印刷物的完成状态。
附图说明
图1是表示本发明的实施方式所涉及的印刷系统的结构的图。
图2是表示本发明的实施方式所涉及的印刷系统中包含的图像形成装置的概略结构的方框图。
图3是表示本发明的实施方式所涉及的印刷系统中包含的作为AR显示装置的头戴式显示器装置的外观的图。
图4是表示本发明的实施方式所涉及的印刷系统中包含的作为AR显示装置的头戴式显示器装置的结构的方框图。
图5是表示本发明的实施方式所涉及的印刷系统中包含的作为AR显示装置的便携终端的概略结构的方框图。
图6是表示现实的纸张、与对应于附加水印的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的图。
图7是表示现实的纸张、与对应于对折的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的图。
图8是表示现实的纸张、与对应于三折的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的图。
图9是表示现实的纸张、与对应于四折的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的图。
图10是表示现实的纸张、与对应于Z折的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的图。
图11是表示现实的纸张、与对应于复印时的图像缺失范围的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的图。
图12是表示现实的纸张、与对应于复印时的图像缺失范围的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的其他的例的图。
图13是表示现实的纸张、与对应于复印时的图像缺失范围的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的其他的例的图。
图14是表示现实的纸张、与对应于底纹图像的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的图。
图15是表示现实的纸张、与对应于显现了潜像的底纹图像的输出影像图像被进行了重叠的扩展现实空间的纸张的其他的例的图。
图16是表示现实的纸张、与对应于中心消去的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的图。
图17是表示现实的纸张、与对应于框消除的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的图。
图18是表示现实的纸张、与对应于订书针的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的图。
图19是表示现实的纸张、与对应于冲压孔的输出设定的输出影像图像被进行了重叠的扩展现实空间的纸张的图。
图20是表示头戴式显示器装置进行的处理的整体的流程图。
图21是表示图20的后续的流程图。
图22是表示纸张尺寸的管理表格的图。
图23是表示生成输出影像图像的处理的流程图。
图24是表示进行与重叠相关的警告的处理的流程图。
图25是表示在从头戴式显示器装置被指示的设定画面中切换显示的图像形成装置的处理的流程图。
图26是表示AR显示控制装置的概略结构的方框图。
标号说明
2…网络
3…印刷系统
10…图像形成装置
11…CPU
12…ROM
13…RAM
14…非易失存储器
15…硬盘装置
16…自动原稿传送部
17…认证部
20…操作部
21…显示部
22…网络通信部
23…图像读取部
24…图像处理部
25…打印机部
26…传真通信部
30…头戴式显示器装置
31…显示部
32…桥(ブリッジ)
33…镜腿(ツル)
34…主干部
35…半反射镜
41…CPU
42…ROM
43…RAM
44…非易失存储器
45…方位传感器部
46…投影部
47…摄像机部
48…操作部
51…网络通信部
52…图像处理部
53…视线检测部
54…距离传感器
55…声音输出部
60…便携终端
61…CPU
62…ROM
63…RAM
64…非易失存储器
65…方位传感器部
66…摄像机部
67…认证部
68…操作部
69…显示部
70…网络通信部
71…图像处理部
72…视线检测部
73…距离传感器
74…声音输出部
81…输出设定前的纸张
82…印记所涉及的输出设定后的纸张
83…对应于印记的输出影像图像
85…输出设定前的纸张
86…对折所涉及的输出设定后的纸张
87…对应于对折的折痕的输出影像图像
88…三折所涉及的输出设定后的纸张
89…对应于三折的折痕的输出影像图像
90…四折所涉及的输出设定后的纸张
91…对应于四折的折痕的输出影像图像
92…Z折所涉及的输出设定后的纸张
93…对应于Z折的折痕的输出影像图像
95…输出设定前的纸张
96…图像缺失范围所涉及的输出设定后的纸张
97…对应于图像缺失范围的输出影像图像
97a…边界线
97b…警告图像
98…图像缺失范围所涉及的输出设定后的纸张
99…对应于图像缺失范围的输出影像图像
99c…图像缺失范围信息
100…图像缺失范围所涉及的输出设定后的纸张
101…图像缺失范围所涉及的输出影像图像
101a…第1边界线
101b…第2边界线
103…输出设定前的纸张
104…底纹图像所涉及的输出设定后的纸张
105…对应于底纹图像的输出影像图像
106…复印后的底纹图像所涉及的输出设定后的纸张
107…显现并表示底纹图像的潜像的输出影像图像
110…输出设定前的纸张
111…中心消去所涉及的输出设定后的纸张
112…中心消去所涉及的输出影像图像
113…输出设定前的纸张
114…框消除处理所涉及的输出设定后的纸张
115…框消除处理所涉及的输出影像图像
117…输出设定前的纸张
118…订书针所涉及的输出设定后的纸张
119…对应于订书针的输出影像图像
121…冲压孔所涉及的输出设定后的纸张
122…对应于冲压孔的输出影像图像
122a…以红色来表示冲压孔的输出影像图像
122b…以蓝色来表示冲压孔的输出影像图像
L1…外光
L2…图像光
S…中央部分的影
具体实施方式
下面，基于附图来说明本发明的实施方式。
图1示出了本发明的实施方式所涉及的印刷系统3的结构。印刷系统3构成为将图像形成装置10、作为AR(Augmented Reality，增强现实)显示装置的头戴式显示器(HMD)装置30、同样地作为AR显示装置的便携终端60、以及AR显示控制装置130连接到LAN(Local Area Network，局域网)等的网络2。头戴式显示器装置30以及便携终端60通过无线与网络2连接。AR显示装置也可以是头戴式显示器装置30和便携终端60的其中一个。
图像形成装置10是具有以下功能的所谓复合机(MFP)：以光学方式读取原稿并将其复制图像印刷到记录纸上的复印功能；将读取到的原稿的图像数据作为文件而进行保存、或者通过网络2而发送到外部终端的扫描功能；将从外部的PC(Personal Computer，个人计算机)等通过网络2而接收到的印刷数据所涉及的图像形成在记录纸上并印刷输出的打印机功能；根据传真步骤而发送接收图像数据的传真功能等。图像形成装置10只要至少具备在纸张上印刷图像的复印功能(作为印刷装置的功能)即可。
图像形成装置10具备对图像或纸张实施各种附加处理的功能。例如，在对于图像的附加处理中，存在以下的处理：在印刷对象的图像上附加水印等的印记(スタンプ)的图像的处理或附加底纹图像的处理；消去在将书等打开而进行复印时在中央产生的影的中心消去处理；将原稿的周围(例如，打开压印平板盖而对原稿进行复印的情况下在原稿的周围产生的黑的部分)消去的框消除处理；在复印时在纸张的周边将图像的欠缺的范围设为所设定的图像缺失范围的处理等。
此外，作为对于纸张的附加处理(所谓，后处理)，存在以下的处理：将多张的纸张以订书针进行装订的处理、通过穿孔器而开孔的处理、对纸张附上折痕的处理等。在以后，将与这样的对于图像或纸张的附加处理相关的设定称作输出设定。
AR显示装置(头戴式显示器装置30或便携终端60)从图像形成装置10等取得用于表示对于图像形成装置10的输出设定的内容的输出设定信息。然后，AR显示装置具有如下的功能：生成用于模拟地表示在图像形成装置10中实施了该输出设定信息表示的附加处理的情况下的处理结果的输出影像图像，显示将其与现实空间的纸张进行了重合的扩展现实空间的功能。
例如，在对图像形成装置10进行了对折的输出设定的状态下，戴着头戴式显示器装置30的用户看了现实空间的纸张(例如，用户手中把持着的纸张)时，头戴式显示器装置30显示将相当于对折的折痕的输出影像图像与现实空间的纸张进行了重合的扩展现实空间。戴着头戴式显示器装置30的用户对该扩展现实空间进行观看。
现实空间的纸张在由用户用手把持着等的情况下，会移动或者倾斜。此外，还存在现实空间的纸张被弯曲的情况。因此，本实施方式所涉及的AR显示装置(头戴式显示器装置30或便携终端60)检测位于现实空间的纸张的位置以及姿势(朝向、形状等)，与倾斜或者被弯曲的纸张相配合而修正输出影像图像，显示将该修正后的输出影像图像与现实空间的纸张进行了重合的扩展现实空间。
即，沿着纸张的表面贴有输出影像图像的扩展现实空间被显示。换而言之，与现实的纸张的姿势无关地，输出影像图像以对现实的纸张实施了附加处理的状态被显示。
由此，用户能够与纸张的位置或姿势无关地，通过AR显示装置来观看宛如实际地被实施了已设定的附加处理的纸张存在于现实空间那样的扩展现实空间。例如，能够事先确认在将纸张贴在圆柱等的立体物上的状态下的处理结果。此外，AR显示装置重复进行上述的检测和修正，因此，即使用户移动纸张，追踪其动作而进行了修正的输出影像图像也被重叠显示在现实空间的纸张上。
另外，对于图像形成装置10的输出设定也可以是除了在图像形成装置10的操作面板中进行之外，还在外部终端或任意的便携终端中进行的结构，该情况下，AR显示装置从进行了输出设定的外部终端或便携终端取得输出设定信息。另外，也可以是通过作为AR显示装置的便携终端60来进行输出设定的结构。
图2是表示图像形成装置10的概略结构的方框图。图像形成装置10具有总括地控制该图像形成装置10的动作的CPU(Central Processing Unit，中央处理单元)11。在CPU11中通过总线而连接有ROM(Read Only Memory，只读存储器)12、RAM(Random Access Memory，随机存取存储器)13、非易失存储器14、硬盘装置15、自动原稿传送部(ADF：Auto Document Feeder，自动送稿器)16、认证部17、操作部20、显示部21、网络通信部22、图像读取部23、图像处理部24、打印机部25、传真通信部26等。
CPU11以OS(Operating System，操作系统)程序为基础，在此之上，执行中间件和应用程序等。在ROM12中，保存有各种程序，CPU11根据这些程序来执行各种处理，从而实现图像形成装置10的各功能。
RAM13作为CPU11基于程序来执行处理时暂时地保存各种数据的工作存储器和保存图像数据的图像存储器等而被使用。
非易失存储器14是即使关闭电源存储内容也不会被破坏的存储器(闪速存储器)，用于各种设定信息的保存等。硬盘装置15是大容量非易失的存储装置，除了印刷数据、图像数据等之外还存储各种程序和数据。
图像读取部23实现以光学方式读取原稿而取得图像数据的功能。图像读取部23构成为具备：例如，将光照射到原稿的光源、接受其反射光而在宽度方向上对原稿读取1线量的线影像传感器、使线单位的读取位置在原稿的长度方向上依次移动的移动单元、由将来自原稿的反射光导入线影像传感器而使其成像的透镜和反射镜等构成的光学路径、以及将线影像传感器所输出的模拟图像信号变换为数字的图像数据的变换部等。
自动原稿传送部16实现将设置于原稿台的原稿从其最上的原稿起一枚一枚地按顺序转出并传送，使其通过图像读取部23的读取位置并排纸到规定的排纸位置的功能。此外，具有自动地使原稿的正反反转的功能，由此能够进行原稿的双面自动读取。图像读取部23具备：对放置于压板玻璃上的原稿进行读取的功能、以及对由自动原稿传送部16传送的原稿依次进行读取的功能。
认证部17对使用图像形成装置10的用户进行认证。认证方法可以是密码、指纹、静脉等任意的。
操作部20和显示部21构成从用户接受作业的投入等的操作的操作面板。图像形成装置10通过操作面板从用户受理前述的输出设定(附加处理所涉及的设定)。显示部21由液晶显示器(LCD…Liquid Crystal Display)等构成，实现显示各种操作画面、设定画面等的功能。操作部20具备：开始按钮等的各种操作开关、以及设置于显示部21的物理的画面上的触摸面板。触摸面板对显示部21的物理的画面被触摸笔或指等进行了接触操作的坐标位置进行检测。
网络通信部22实现如下功能：除了通过LAN等的网络2与头戴式显示器装置30和便携终端60等的AR显示装置进行通信之外，还与PC和服务器等的外部装置进行通信。
图像处理部24除了图像的放大缩小、旋转等的处理之外，还进行将印刷数据变换为影像数据的光栅化(ラスタライズ)处理、图像数据的压缩、解压处理等。
打印机部25实现将与图像数据相应的图像在记录纸上进行图像形成的功能。在此，设为具有：记录纸的传送装置、感光体鼓、带电装置、激光单元、显影装置、转印分离装置、清洁装置、以及定影装置，通过电子照相处理而进行图像形成的所谓激光打印机。图像形成也可以是其他的方式。打印机部25进一步具备实施对印刷后的纸张以订书针进行装订、开冲压孔、折叠等后处理的功能。
传真通信部26实现通过电话线路与具备传真功能的外部装置发送接收图像数据的功能。
图3示出了头戴式显示器装置30的概略结构。头戴式显示器装置30形成了与眼镜类似的形状，戴在人的头上而使用。本例的头戴式显示器装置30采用了通过半反射镜将图像与外部的情况重合的方式(所谓，光透射型)。
头戴式显示器装置30具备：在穿戴时分别配置在穿戴者的左右眼之前的显示部31、在左右的显示部31之间将它们结合的桥32、以及从以桥32连结的左右的显示部31的两侧向同一方向延伸而挂在穿戴者的耳朵上的镜腿33等。
此外，显示部31的两侧设置了包含控制电路、投影部46、摄像机部47等的主干部34。此外，从左右的主干部34延伸的支撑臂支撑半反射镜35使得半反射镜35位于各显示部31的前方。
半反射镜35设置为相对于从前方向显示部31入射的光L1以45度的角度倾斜，主干部34的投影部46向半反射镜35投影图像(设为扩展现实感信息的图像光L2)。半反射镜35构成为在透明基板(玻璃基板)上镀膜反射膜(金属膜和电介质膜)。半反射镜35例如透射和反射的光量比成为1：1。
在头戴式显示器装置30的穿戴者的眼中，外光L1和图像光L2以1：1的比例合成的光通过显示部31而进行入射。即，头戴式显示器装置30的穿戴者看到将外部的情况和投影部46投影的图像以一半一半的透射率重合的情况。
图4是表示头戴式显示器装置30的结构的方框图。头戴式显示器装置30构成为经由总线而将ROM42、RAM43、非易失存储器44、方位传感器部45、投影部46、摄像机部47、操作部48、显示部31、网络通信部51、图像处理部52、视线检测部53、距离传感器54、声音输出部55、已有印刷区域检测部56、警告部57、以及设定变更指示部58等连接到作为控制部的CPU41。
CPU41根据ROM42和非易失存储器44中保存的程序来控制头戴式显示器装置30的动作。CPU41也作为使显示部31显示扩展现实空间的显示控制部而发挥功能，所述扩展现实空间是将输出影像图像与存在于现实空间的纸张进行了重合的扩展现实空间。此外，CPU41实现作为检测部的功能，所述检测部将存在于摄像机部47正在拍摄的现实空间的纸张包含其姿势在内而进行检测。在ROM42中存储有程序和固定数据。RAM43作为在CPU41执行程序时暂时地保存各种数据的工作存储器等而使用。在非易失存储器44中存储各种设定信息和应用程序等。
方位传感器部45检测头戴式显示器装置30的朝向和姿势以及其变化。方位传感器部45由多个地磁传感器、多个加速度传感器组合构成。方位传感器部45检测头戴式显示器装置30的穿戴者的姿势和穿戴者朝向的方向和角度(这些与摄像机部47正在拍摄的方向和朝向一致)，或者检测头戴式显示器装置30被进行了倾斜的情况下的动作的朝向和速度，将该检测结果通知到CPU41。CPU41基于来自方位传感器部45的通知，识别头戴式显示器装置30的穿戴者的姿势、角度、被进行了倾斜的动作的朝向和速度。
如前述那样，投影部46将投影对象的图像(设为扩展现实感信息的图像光L2)向半反射镜35进行投影。
摄像机部47拍摄头戴式显示器装置30的前方。更详细而言，拍摄与穿戴者看前方时的视野大致相同的范围。摄像机部47可以分别设置在左右的主干部34上，也可以仅设置在其中一个上。摄像机部47拍摄动态画面，例如，取入每秒30帧的图像。
操作部48是设置在主干部34等上的开关等，用于投影图像的亮度等的调整。
网络通信部51实现通过包含无线LAN的网络2而与图像形成装置10等的外部装置进行通信的功能。网络通信部51作为设定信息取得部发挥功能，所述设定信息取得部用于从外部装置取得与规定的图像形成装置对图像或者输出纸张实施的预定的附加处理相关的设定内容。
图像处理部52进行或者与CPU41共同进行从投影部46经由半反射镜35向显示部31投影的图像(前述的输出影像图像等)的生成、该图像的修正(放大/缩小/变形)等。
视线检测部53检测正在穿戴头戴式显示器装置30的用户的视线(正在看哪里)。视线的检测方法可以是任意的。例如，设置用于拍摄穿戴者的眼的摄像机，分析该摄像机拍摄到的图像，根据眼和瞳的位置、朝向等来检测穿戴者的视线。头戴式显示器装置30通过视线检测部53检测穿戴者的视线，从而识别该头戴式显示器装置30的穿戴者正在看的部位。
距离传感器54测量从头戴式显示器装置30到位于摄像机部47的拍摄范围的各种物体的距离和到头戴式显示器装置30的穿戴者正在看的物体的距离。距离传感器54例如由超声波传感器构成。
声音输出部55用于将警告输出为声音的情况等。声音输出部55构成进行警告的警告部的一部分。
已有印刷区域检测部56从摄像机部47的摄像映像中检测存在于现实空间的纸张之中的已存在字符或图像的区域即已有印刷区域。
警告部57判定与规定的附加处理相关的处理结果是否与已有印刷区域重叠，在重叠的情况下，进行规定的警告。在本实施方式中，警告部57在用户没有看纸张的情况下，对声音输出部55进行指示使得将警告输出为声音，在用户正在看纸张的情况下，对显示部31进行指示使得显示输出警告图像97b(参照图11等)。
设定变更指示部58判定与规定的附加处理相关的处理结果是否与已有印刷区域重叠，在重叠的情况下，对从用户接受到与附加处理相关的设定的外部装置进行指示，使得从用户接受与发生重叠的附加处理相关的设定内容的变更操作。
头戴式显示器装置30的CPU41分析摄像机部47的拍摄映像，将存在于该拍摄映像之中的纸张包含其位置和姿势在内而进行检测。此外，通过距离传感器54来测量到所检测到的纸张的距离，根据测量结果的距离和拍摄映像中的纸张的大小，识别现实的纸张的尺寸。进而，通过距离传感器54测量到纸张的各部分的距离并将这些进行合计/分析，从而也识别从头戴式显示器装置30侧看到的纸张的三维形状(倾斜、弯曲、折叠等)。例如，三维形状的识别能够利用(日本)特开2008-26243号公报以及其对应美国申请公开公报2008/0024795A1等中公开了的公知技术。另外，也可以将摄像机部47设为立体摄像机，分析该立体摄像机的映像，从而识别纸张的姿势和从头戴式显示器装置30侧看到的三维形状。
图5示出了便携终端60的概略结构。便携终端60构成为经由总线而将ROM62、RAM63、非易失存储器64、方位传感器部65、摄像机部66、认证部67、操作部68、显示部69、网络通信部70、图像处理部71、视线检测部72、距离传感器73、声音输出部74、已有印刷区域检测部75、警告部76、以及设定变更指示部77等连接到CPU61。
CPU61根据ROM62和非易失存储器64中保存的程序来控制便携终端60的动作。CPU61还作为显示控制部而发挥功能，所述显示控制部使显示部69显示将输出影像图像与存在于现实空间的纸张进行了重叠的扩展现实空间。此外，CPU61实现作为检测部的功能，所述检测部将存在于摄像机部66正在拍摄的现实空间的纸张包含其姿势在内而进行检测。在ROM62中存储有程序和固定数据。RAM63作为在CPU61执行程序时暂时地保存各种数据的工作存储器等而使用。在非易失存储器64中，存储各种设定信息和应用程序。
方位传感器部65检测便携终端60的朝向和姿势、以及它们的变化。方位传感器部65是与头戴式显示器装置30的方位传感器部45相同的结构。
摄像机部66设置在便携终端60的背侧而对便携终端60的背面所面对的方向进行拍摄。摄像机部66能够拍摄动态画面，例如，取入每秒30帧的图像。
认证部67对该便携终端60的使用者进行认证。认证方法可以是密码、指纹、静脉等任意的。
显示部69由液晶显示器等构成。操作部68由设置在显示部69的物理的画面上的触摸面板等构成。
网络通信部70实现通过包含无线LAN的网络2而与图像形成装置10等的外部装置进行通信的功能。网络通信部70作为设定信息取得部而发挥功能，所述设定信息取得部用于从外部装置取得与规定的图像形成装置对图像或者输出纸张实施的预定的附加处理相关的设定内容。
图像处理部71进行或者与CPU61共同来进行用于合成在摄像机部66的拍摄映像上的图像(前述的输出影像图像等)的生成、该图像的修正(放大/缩小/变形)等。
视线检测部72检测便携终端60的用户的视线(正在看哪里)。视线的检测方法可以是任意的。例如，设置用于拍摄使用者的脸和眼的摄像机，分析该摄像机所拍摄到的图像，根据脸、眼和瞳孔的位置、朝向等来检测用户的视线。便携终端60通过视线检测部72来检测用户的视线，从而识别该便携终端60的使用者正在看哪里。
距离传感器73测量从便携终端60到位于摄像机部66的拍摄范围的各种物体的距离和到便携终端60的用户正在看的物体的距离。距离传感器73与头戴式显示器装置30的距离传感器54相同地，由超声波传感器等构成。
声音输出部74用于将警告输出为声音的情况等。声音输出部74构成进行警告的警告部的一部分。
已有印刷区域检测部75从摄像机部66的摄像映像中检测存在于现实空间的纸张之中的已存在字符或图像的区域即已有印刷区域。
警告部76判定与规定的附加处理相关的处理结果是否与已有印刷区域重叠，在重叠的情况下，进行规定的警告。在本实施方式中，警告部76在用户没有看纸张的情况下，对声音输出部74进行指示使得将警告输出为声音，在用户正在看纸张的情况下，对显示部69进行指示使得显示警告图像97b(参照图11等)。
设定变更指示部77判定与规定的附加处理相关的处理结果是否与已有印刷区域重叠，在重叠的情况下，对从用户接受到与附加处理相关的设定的外部装置进行指示，使得从用户接受与发生重叠的附加处理相关的设定内容的变更操作。
另外，在头戴式显示器装置30中，在来自现实空间的信息上重叠显示输出影像图像，但是，在便携终端60的情况下，在显示部69上显示将输出影像图像与摄像机部66正在拍摄的图像内的纸张进行了重合的图像。使用者观看便携终端60的显示部69所显示的扩展现实空间。此外，作为使用者是否正在看纸张的判定，在便携终端60中判定使用者是否正在看显示部69即可。
接着，说明AR显示装置的动作。
在此，以头戴式显示器装置30为例进行说明。
在以下的图6～图19中，对比表示在对图像形成装置10进行了规定的输出设定的状态下头戴式显示器装置30的穿戴者看到的扩展现实空间的纸张(设为输出设定后的纸张)、和与其对应的现实空间的纸张(设为输出设定前的纸张)。输出设定后的纸张是指在现实空间的纸张上重叠了输出影像图像的纸张。
图6示出了输出设定前的纸张81、以及进行了附加水印等的印记的输出设定的情况下的输出设定后的纸张82。在输出设定后的纸张82中，在输出设定前的纸张81上重叠了与印记对应的输出影像图像83。由此，头戴式显示器装置30的穿戴者观看在头戴式显示器装置30中进行了AR显示的输出设定后的纸张82，能够事先(印刷前)确认在输出设定前的纸张81上已进行了印刷的内容(字符或图像)与根据输出设定而被附加的印记的位置关系和浓度的关系。
图7示出了输出设定前的纸张85、以及进行了对折的输出设定的情况下的输出设定后的纸张86。在输出设定后的纸张86中，在输出设定前的纸张85上重叠了与对折的折痕对应的输出影像图像87。由此，头戴式显示器装置30的穿戴者观看在头戴式显示器装置30中进行了AR显示的输出设定后的纸张86，能够事先确认在输出设定前的纸张85上已进行了印刷的内容(字符或图像)与根据输出设定而实施的对折的折痕的位置关系。
在此，判定根据输出设定而进行了对折的情况下的折痕是否与输出设定前的纸张85之中已存在字符或图像的区域(设为已有印刷区域)重叠，在重叠的情况下和没有重叠的情况下，使作为输出影像图像87而显示的折痕的显示方式(例如，颜色)不同。即，头戴式显示器装置30(AR显示装置)具有检测已有印刷区域的已有印刷区域检测部56。此外，在根据输出设定而进行了对折的情况下的折痕的位置与已有印刷区域重叠了的情况下，对从用户接受到与该附加处理相关的设定的外部装置进行指示，使得从用户接受与该附加处理相关的设定内容的变更操作。具体而言，在上述的例中，将用于显示与折叠相关的输出设定的设定画面的指示发送至图像形成装置10。接收到该指示的图像形成装置10将用于从用户接受与折叠相关的输出设定的设定画面显示在操作面板上。
在已有印刷区域与附加处理的处理结果重叠的情况以及没有重叠的情况下使显示方式不同、或者在重叠的情况下将与相应的输出设定相关的设定画面的显示指示发送到图像形成装置10的动作，关于下面所示的其他的附加处理(其中，除了以底纹的方式来重叠为前提的附加处理之外)也同样地被进行。
图8示出了输出设定前的纸张85、以及进行了三折的输出设定的情况下的输出设定后的纸张88。在输出设定后的纸张88中，在输出设定前的纸张85上重叠了与三折的折痕对应的输出影像图像89。由此，头戴式显示器装置30的穿戴者观看在头戴式显示器装置30中进行了AR显示的输出设定后的纸张88，能够事先确认输出设定前的纸张85上已进行了印刷的内容(字符或图像)与根据输出设定而实施的三折的折痕的位置关系。
图9示出了输出设定前的纸张85、以及进行了四折的输出设定的情况下的输出设定后的纸张90。在输出设定后的纸张90中，在输出设定前的纸张85上重叠了与四折的折痕对应的输出影像图像91。由此头戴式显示器装置30的穿戴者观看在头戴式显示器装置30中进行了AR显示的输出设定后的纸张90，能够事先确认输出设定前的纸张85上已进行了印刷的内容(字符或图像)与根据输出设定而实施的四折的折痕的位置关系。
图10示出了输出设定前的纸张85、以及进行了Z折的输出设定的情况下的输出设定后的纸张92。在输出设定后的纸张92中，在输出设定前的纸张85上重叠了与Z折的折痕对应的输出影像图像93。由此，头戴式显示器装置30的穿戴者观看在头戴式显示器装置30中进行了AR显示的输出设定后的纸张92，能够事先确认输出设定前的纸张85上已进行了印刷的内容(字符或图像)与根据输出设定而实施的Z折的折痕的位置关系。
图11示出了在复印功能中通过图像读取部23读取的原稿纸张(输出设定前的纸张)95、以及进行了图像缺失范围的输出设定的情况下的输出设定后的纸张96。图像缺失范围所涉及的输出影像图像97由边界线97a以及警告图像97b构成，所述边界线97a表示纸张的周边的图像缺失范围与其内侧的区域的边界，所述警告图像97b对在所述输出设定前的纸张(通过图像读取部23读取的原稿纸张)95中位于图像缺失范围的字符或图像，使其显示方式(在此为颜色)不同而进行表示。在图中，成为警告图像97b的字符以虚线来包围。
重叠了上述那样的输出影像图像97的输出设定后的纸张96被AR显示在头戴式显示器装置30中，因此，头戴式显示器装置30的穿戴者能够在原稿纸张上事先确认由于复印而图像欠缺的范围。
图12示出了在复印功能中通过图像读取部23读取的原稿纸张(输出设定前的纸张)95、以及进行了图像缺失范围的输出设定的情况下的输出设定后的纸张98的其他的例。图像缺失范围所涉及的输出影像图像99是在与图11相同的边界线97a和警告图像97b上添加了以数值来表示图像缺失范围的图像缺失范围信息99c的图像。
图13示出了在复印功能中通过图像读取部23读取的原稿纸张(输出设定前的纸张)95、以及进行了图像缺失范围的输出设定的情况下的输出设定后的纸张100的其他的例。图像缺失范围所涉及的输出影像图像101由第1的边界线101a、第2的边界线101b、以及与图11相同的警告图像97b构成，其中，所述第1边界线101a表示印刷推荐区域(例如，从原稿的周边起10毫米以上内侧的区域)的外周，所述第2边界线101b表示印刷可能区域(没有图像欠缺的最大范围，例如，从原稿的周边起5毫米以上内侧的区域)的外周。另外，可以使第1边界线101a和第2边界线101b的双方进行显示，也可以使第1边界线101a和第2边界线101b分别进行显示。
图14示出了输出设定前的纸张103、以及进行了用于附加底纹图像的输出设定的情况下的输出设定后的纸张104。在附加底纹图像的输出设定中，设定底纹的图案、要嵌入的字符或图像以及其嵌入位置等。在输出设定后的纸张104中，在输出设定前的纸张103上重叠了与底纹图像对应的输出影像图像105(图中，灰色的背景)。由此，头戴式显示器装置30的穿戴者观看在头戴式显示器装置30中进行了AR显示的输出设定后的纸张104，能够事先确认输出设定前的纸张103上已进行了印刷的内容(字符或图像)与根据输出设定而实施的底纹图像的对比度等。
图15示出了输出设定前的纸张103、以及对在输出设定前的纸张103上附加了底纹图像的输出物进一步通过扫描仪进行读取并复印的情况下得到的输出物所对应的输出设定后的纸张106。输出设定后的纸张106中的输出影像图像107是潜像的部分(被嵌入在底纹图像中的字符或图像)成为空白而被显现的底纹的图像。图15示出了被嵌入在底纹图像中的字符为“不正コピーです”的情况下的例。
在输出设定后的纸张106中，作为潜像而嵌入到底纹图像中的字符或图像显像而被显示，因此，头戴式显示器装置30的穿戴者观看在头戴式显示器装置30中进行了AR显示的输出设定后的纸张106，能够事先确认输出设定前的纸张103上已进行了印刷的内容(字符或图像)与嵌入到底纹图像中的潜像的位置关系和浓度(扫描前的浓度和扫描后的浓度)。
图16示出了输出设定前的纸张110、以及进行了中心消去的输出设定的情况下的输出设定后的纸张111。在输出设定后的纸张111中，在输出设定前的纸张110上重叠了消去其中央部分的影S(以纸张的质地的颜色或白色来掩膜)的输出影像图像112。另外，在图中，将中央部分以白色进行掩膜，为了使该以白色进行掩膜的输出影像图像112容易看见，将输出设定后的纸张111的质地的颜色以灰色进行表示。
头戴式显示器装置30的穿戴者观看在头戴式显示器装置30中进行了AR显示的输出设定后的纸张111，能够事先确认对输出设定前的纸张110实施了中心消去处理的情况下的输出结果。例如，能够确认原稿的中央附近的字符是否由于中心消去处理而欠缺。
图17示出了输出设定前的纸张113、以及进行了框消除处理的输出设定的情况下的输出设定后的纸张114。在输出设定后的纸张114中，例如，重叠了将原稿的周围以白色进行掩膜而消去的输出影像图像115。另外，在图中，为了使以白色进行掩膜的输出影像图像115容易看见，将背景以灰色进行表示。头戴式显示器装置30的穿戴者观看在头戴式显示器装置30中进行了AR显示的输出设定后的纸张114，能够事先确认对输出设定前的纸张113实施了框消除处理的情况下的输出结果。例如，能够确认原稿的端部的字符是否由于框消除处理而欠缺。
图18示出了输出设定前的纸张117、以及进行了钉上订书针的输出设定的情况下的输出设定后的纸张118。在输出设定后的纸张118中，在输出设定前的纸张117的左上角的附近重叠了与订书针对应的输出影像图像119。由此，头戴式显示器装置30的穿戴者观看在头戴式显示器装置30中进行了AR显示的输出设定后的纸张118，能够事先确认输出设定前的纸张117上已进行了印刷的内容(字符或图像)与根据输出设定而钉上的订书针的位置关系。
图19示出了输出设定前的纸张117、以及进行了开冲压孔的输出设定的情况下的输出设定后的纸张121。在输出设定后的纸张121中，在输出设定前的纸张117的左端的2个部位上重叠了与冲压孔对应的输出影像图像122。由此，头戴式显示器装置30的穿戴者观看在头戴式显示器装置30中进行了AR显示的输出设定后的纸张121，能够事先确认输出设定前的纸张117上已进行了印刷的内容(字符或图像)与根据输出设定而开的冲压孔的位置关系。
在图19的例中，与第1冲压孔对应的输出影像图像122a与已有印刷区域重叠，与第2冲压孔对应的输出影像图像122b与已有印刷区域没有重叠。因此，与第1冲压孔对应的输出影像图像122a以赤色进行显示，与第2冲压孔对应的输出影像图像122b以蓝色进行显示，使它们的显示方式不同。
接着，按照流程图说明作为AR显示装置的头戴式显示器装置30进行的处理。另外，关于作为AR显示装置的便携终端60也成为相同的动作，因此省略其说明。
图20、图21是表示头戴式显示器装置30进行的处理的整体的流程图。头戴式显示器装置30从外部装置(例如，图像形成装置10)接收用于表示对于图像形成装置10的输出设定的内容的输出设定信息(步骤S001)。另外，也可以除了对图像形成装置10实际进行了设定的输出设定之外，还从便携终端等接收以后要设定的预定的输出设定所涉及的输出设定信息。
若接收到输出设定信息(步骤S001；“是”)，则开始从摄像机部47正在摄像的现实空间中检测与输出设定对应的纸张的处理(步骤S002)。具体而言，分析摄像机部47的输出映像而检测纸张，并且通过距离传感器54来测量到所检测到的纸张的距离。
在从用户接受到用于中止纸张检测的指示的情况下(步骤S003；“是”)，中止基于摄像机部47的摄像以及纸张检测(步骤S004)，结束本处理。
若没有从用户接受到用于中止纸张检测的指示(步骤S003；“否”)，则判断通过纸张检测是否在规定的距离内检测出纸张(步骤S005)。另外，在此，根据到纸张的距离和映像内的纸张的大小，求出该纸张的现实的尺寸，将该尺寸、与预先在非易失存储器44等中存储的管理表格(图22参照)中注册的规定的纸张尺寸进行比较，确定该纸张的尺寸。然后，在该已确定的纸张的尺寸和输出设定信息作为对象的纸张的尺寸一致的情况下，判定为检测出与输出设定信息对应的纸张。
若为未检测出(步骤S005；“否”)，则在显示部31上显示“在当前的拍摄范围不能检测出纸张，请将纸张靠近到摄像机部47的附近，以便能够检测纸张”那样的消息(步骤S006)，然后，返回至步骤S002而继续进行处理。
在检测出纸张的情况下(步骤S005；“是”)，生成用于模拟地示出了处理结果的输出影像图像，所述处理结果是根据步骤S001中接收到的输出设定信息所表示的输出设定而实施了附加处理的情况下的处理结果(步骤S007)。
接着，对检测到的纸张的位置以及姿势(从摄像机部47看到的朝向和三维形状)进行分析(步骤S008)。然后，对输出影像图像进行修正，使得适合于步骤S008的分析结果表示的纸张的位置和姿势(步骤S009)。
接着，将在步骤S009或者步骤S018中进行了修正的输出影像图像与步骤S005中检测到的纸张重合而进行AR显示(步骤S010)。由此，对于头戴式显示器装置30的穿戴者而言，能够看见在纸张上上重合了输出影像图像的扩展现实空间。
在从用户接受到用于取消上述的AR显示的指示的情况下(步骤S011；“是”)，清除显示部31的显示(步骤S012)，结束本处理。
在没有接受到上述取消的指示的情况下(步骤S011；“否”)，调查从对纸张进行摄像起是否经过了规定时间(步骤S013)。规定时间是例如0.1秒等，可以任意地决定。规定时间优选为能够追踪纸张的移动并显示输出影像图像的时间，期望是0.2秒以下、更优选的是0.1秒以下，若处理速度允许则设为更短时间。
若经过了规定时间(步骤S013；“是”)，则再次进行从摄像机部47正在摄像的现实空间中检测纸张的处理(步骤S014)。然后，对检测到的纸张的位置以及姿势(从摄像机部47看到的朝向和三维形状)进行分析(步骤S015)，将上次的分析结果表示的纸张的位置以及姿势、与这次的分析结果表示的纸张的位置以及姿势进行比较(步骤S016)。
若比较的结果，上次的分析结果表示的纸张的位置以及姿势、与这次的分析结果表示的纸张的位置以及姿势相同(步骤S017；“是”)，则返回至步骤S010而继续进行处理。
在比较的结果，上次的分析结果表示的纸张的位置以及姿势、与这次的分析结果表示的纸张的位置以及姿势不同的情况下(步骤S017；“否”)，对输出影像图像进行修正，使得适合于最新的分析结果(上次的步骤S015中的分析结果)表示的纸张的位置以及姿势(步骤S018)，返回至步骤S010而继续进行处理。
由此，即使在用户用手把持着纸张，纸张移动或者变形的情况下，也追踪纸张的该移动和变形，在纸张上重叠输出影像图像并进行显示。
图23示出了图20的步骤S007的细节。头戴式显示器装置30的CPU41对摄像机部47的输出图像内的纸张进行分析，判别该纸张上的已有印刷区域(步骤S021)。基于在步骤S001中从外部装置接收到的输出设定信息，计算处理结果的纸张上的位置，所述处理结果是根据该输出设定信息表示的输出设定而实施了附加处理的情况下的处理结果(步骤S022)。例如，在进行了开冲压孔的输出设定的情况下，计算该冲压孔的纸张上的位置。
接着，生成用于表示处理结果的输出影像图像，所述处理结果是在步骤S022中计算出的位置上实施了输出设定信息表示的输出设定表示的各附加处理的情况下处理结果(步骤S023)。
接着，将纸张内的已有印刷区域的位置、与在步骤S022中计算出的实施附加处理的位置进行比较(步骤S024)，判定附加处理的位置是否与已有印刷区域重叠(步骤S025)。在附加处理的位置与已有印刷区域重叠的情况下(步骤S025；“是”)，进行表示重叠的警告(步骤S026)。如此，头戴式显示器装置30(AR显示装置)具有：警告部57，对用户进行表示重叠的警告。进而，在附加处理的位置与已有印刷区域重叠的部位、以及没有重叠的部位上，使输出影像图像的显示方式不同(步骤S027)而结束本处理。例如，使颜色不同、或者对一个施加阴影。
在附加处理的位置没有与已有印刷区域重叠的情况下(步骤S025；“否”)，将在步骤S023中生成的输出影像图像作为最终的输出影像图像而结束本处理。
图24示出了图23的步骤S026的细节。通过视线检测部53确认用户(穿戴者)的视线的动向(步骤S031)。然后，判定用户的视线是否朝向纸张(用户是否正在看纸张)(步骤S032)。在用户没有看纸张的情况下(步骤S032；“否”)，将附加处理的位置与已有印刷区域重叠的旨意的警告消息从声音输出部55以声音来进行输出，进行警告(步骤S033)，转移到步骤S036。
在用户正在看纸张的情况下(步骤S032；“是”)，提取已有印刷区域与附加处理的位置重叠的部位(步骤S034)，在该部位或者该附近，警告显示表示附加处理的位置与已有印刷区域重叠的消息等(步骤S035)，转移到步骤S036。
在步骤S036中，确定处理位置与已有印刷区域重复的附加处理(输出设定的设定项目)。然后，向该外部装置发送用于将该外部装置(例如图像形成装置10)的当前的显示画面切换为在步骤S036中已确定的设定项目的设定画面的指示(步骤S037)。即，头戴式显示器装置30(AR显示装置)具有：设定变更指示部58，对外部装置进行指示，使得从用户接受与发生重叠的附加处理相关的设定内容的变更操作。然后，结束本处理。
图25示出了接收到在图24的步骤S037中从头戴式显示器装置30被发送的指示的外部装置(图像形成装置10等)进行的处理的流程。
图像形成装置10等的外部装置正在等待上述的切换的指示从头戴式显示器装置30被送来(步骤S041；“否”)。然后，若接收到切换的指示(步骤S041；“是”)，将在本装置的操作面板等上显示的画面切换为与该接收到的指示的内容对应的设定画面(步骤S042)而结束处理。其后，在切换后的设定画面中接受输出设定的再设定和变更。
如此，在本实施方式所涉及的AR显示装置(头戴式显示器装置30或便携终端60)中，从图像形成装置10等取得用于表示对于图像形成装置10的输出设定的内容的输出设定信息，生成用于模拟地表示在图像形成装置10中实施了该输出设定信息表示的附加处理的情况下的处理结果的输出影像图像，显示将其与现实空间的纸张进行了重合的扩展现实空间。由此，用户不进行实际的印刷，就能够事先确认与输出设定对应的处理结果。
此外，通过将输出影像图像与现实空间的纸张进行了重叠的AR显示从而能够确认与输出设定对应的处理结果，因此，例如，不需要通过扫描仪读取原稿等的工夫，用户能够快速且容易地进行与输出设定对应的处理结果的确认。
此外，即使用户移动纸张，扩展现实空间内的输出影像图像也追踪纸张的移动而进行变化，因此，不需要固定纸张。此外，能够故意地移动纸张，从各种方向对完成状态进行确认。
进而，显示在现实的纸张上重叠了输出影像图像的扩展现实空间，因此，能够确认现实的纸张上已进行了印刷的字符或图像、与对应于输出设定的附加处理的处理结果的位置关系和重叠状况等。
此外，将纸张上已进行了印刷的字符或图像(已有印刷区域)、与对应于输出设定的附加处理的处理结果重叠的部位和没有重叠的部位以不同的显示方式的输出影像图像来进行显示，因此，用户能够容易地确认处理结果是否与已有印刷区域重叠。
进而，头戴式显示器装置30或便携终端60关于处理结果与纸张的已有印刷区域重叠的附加处理，对图像形成装置10等的外部装置进行指示，使得显示用于变更该设定的设定画面，因此，用户能够容易地变更存在问题的设定。
另外，在上述的例中，示出了头戴式显示器装置30或便携终端60进行输出影像图像的生成、修正以及与纸张相配合进行重合的处理等所有的处理的例，但是，也可以构成为：在不同于头戴式显示器装置30或便携终端60的AR显示控制装置130(参照图1)中进行输出影像图像的生成、修正、用于与纸张相配合的显示位置的决定等的处理，头戴式显示器装置30或便携终端60根据来自该AR显示控制装置130的指示，显示基于输出影像图像的扩展现实空间。
图26是表示AR显示控制装置130的概略结构的方框图。AR显示控制装置130具备总括地控制该AR显示控制装置130的动作的CPU131，通过总线将ROM132、RAM133、非易失存储器134、硬盘装置135、操作显示装置136、图像处理部137、通信部138、认证部139、已有印刷区域检测部140、警告部141、设定变更指示部142等连接到该CPU131。CPU131执行ROM132中保存的程序，从而实现作为AR显示控制装置130的功能。
AR显示控制装置130通过通信部138从图像形成装置10等取得输出设定信息。即，通信部138实现作为设定信息取得部的功能，所述设定信息取得部用于取得与图像形成装置10等对图像或者输出纸张实施的预定的附加处理相关的设定内容。此外，从头戴式显示器装置30或便携终端60等的AR显示装置取得摄像机的拍摄映像和通过距离传感器检测出的距离信息等，基于这些，将存在于AR显示装置的摄像机正在拍摄的现实空间的纸张包含其姿势在内而进行检测。即，CPU131实现了作为检测部的功能，所述检测部通过分析摄像机取得的映像等，在摄像机正在拍摄的现实空间中检测纸张。然后，CPU131生成用于模拟地表示处理结果的输出影像图像，所述处理结果是在根据从图像形成装置10等取得的输出设定信息(设定内容)而在图像形成装置10等中实施了附加处理的情况下的处理结果，将其与存在于现实空间的纸张的姿势相配合而进行修正，使AR显示装置显示将该进行了修正的输出影像图像与存在于现实空间的纸张进行了重合的扩展现实空间。例如，生成用于表示修正后的输出影像图像以及其重叠位置的信息，发送到头戴式显示器装置30，使头戴式显示器装置30对上述的扩展现实空间进行AR显示。即，CPU131实现作为显示控制部的功能。
此外，已有印刷区域检测部140、警告部141、设定变更指示部142分别具有与头戴式显示器装置30的已有印刷区域检测部56、警告部57、设定变更指示部58相同的功能。此外，通信部138实现作为视线信息取得部的功能，所述视线信息取得部从AR显示装置等取得用于表示用户正在看哪里的视线信息。进而，警告部141在进行警告时基于视线信息判断用户是否正在看纸张。进而，警告部141在用户正在看纸张的情况下，使AR显示装置的显示部显示警告，在用户没有看纸张的情况下，利用AR显示装置的声音输出部等，从而通过声音来进行警告。
AR显示控制装置130除了构成为如图1所示那样的便携终端之外，还可以由PC或服务器等构成。
以上，根据附图说明了本发明的实施方式，具体的结构不限定于实施方式所示出的结构，即使在不脱离本发明的主旨的范围内存在变更或追加，也包含于本发明。
实施方式所示出的附加处理是一例，只要是图像形成装置10实施的处理且在输出物上显现其处理结果的处理，则可以是任意的处理。
在实施方式中，通过摄像机部47的图像分析和基于距离传感器54的到各部分的距离的测定，检测出纸张的位置和姿势，检测方法并不限定于此。
此外，本发明也可以构成为不包含印刷装置的印刷条件设定系统。即，也可以构成为包括如下装置的印刷条件设定系统：进行与外部的印刷装置进行的附加处理相关的输出设定的装置(例如，便携终端)、以及AR显示装置或者AR显示控制装置。
在实施方式中示出的输出设定前的纸张可以是进行复印的原稿，也可以是基于印刷数据而进行了印刷的输出物。在是复印原稿的情况下，用户使用本实施方式所涉及的头戴式显示器装置30或便携终端60，能够在进行复印之前通过AR显示来确认与输出设定对应的完成状态。在是印刷数据的情况下，能够通过AR显示来确认在对于接下来基于该印刷数据的印刷实施了与输出设定对应的附加处理的情况下的处理结果。
在已有印刷区域与附加处理的处理结果重叠的部位以及没有重叠的部位上使输出影像图像的显示方式不同的方法不限定于使颜色不同，例如，也可以使形状、粗细、大小等的任意的属性不同。
在实施方式中，例示了通过半反射镜35将图像与外部的情况进行重合的方式的头戴式显示器装置30，但是，也可以是若进行穿戴则不能看见外部的情况，仅能看见放映的图像的、VR(Virtual Reality，虚拟现实)型的头戴式显示器。在该情况下，与便携终端60同样地显示将输出影像图像与摄像机图像进行了合成的图像即可。

Claims (15)

1.一种增强现实显示装置，其特征在于，具有：
显示部，对在现实空间上合成了图像的扩展现实空间进行显示；
摄像机，拍摄与所述显示部显示的所述扩展现实空间对应的现实空间；
设定信息取得部，取得与规定的印刷装置对图像或者输出纸张实施的预定的附加处理相关的设定内容；
检测部，检测在所述摄像机正在拍摄的所述现实空间中存在的纸张及其姿势；以及
显示控制部，生成输出影像图像，并使所述显示部显示将该输出影像图像重合到在所述现实空间中存在的纸张上的扩展现实空间，所述输出影像图像是用于模拟地表示在根据所述设定信息取得部取得的所述设定内容而在所述印刷装置中实施了所述附加处理的情况下的处理结果的图像，并且是与由所述检测部检测出的在所述现实空间中存在的纸张的姿势相配合而进行了修正的图像。
2.如权利要求1所述的增强现实显示装置，其特征在于，具有：
已有印刷区域检测部，从所述摄像机的拍摄映像中检测在所述现实空间中存在的纸张之中的已存在字符或图像的区域即已有印刷区域；以及
警告部，判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，在重叠的情况下，进行规定的警告。
3.如权利要求2所述的增强现实显示装置，其特征在于，
具备：检测使用者的视线的视线检测部，
所述警告部在进行所述警告时根据所述视线检测部的检测结果来判定所述使用者是否正在看所述纸张，在所述使用者正在看所述纸张的情况下，使所述显示部显示所述警告，在所述使用者没有在看所述纸张的情况下，通过声音来进行所述警告。
4.如权利要求1所述的增强现实显示装置，其特征在于，
具有：已有印刷区域检测部，从所述摄像机的拍摄映像中检测在所述现实空间中存在的纸张之中的已存在字符或图像的区域即已有印刷区域，
所述显示控制部判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，将重叠的部分和不重叠的部分在所述输出影像图像上设为不同的显示方式。
5.如权利要求1或4所述的增强现实显示装置，其特征在于，具有：
已有印刷区域检测部，从所述摄像机的拍摄映像中检测在所述现实空间中存在的纸张之中的已存在字符或图像的区域即已有印刷区域；以及
设定变更指示部，判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，在重叠的情况下，对于从用户接受到与所述附加处理相关的设定的外部装置进行指示，使其从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
6.一种增强现实显示控制装置，控制增强现实显示装置的显示内容，所述增强现实显示装置具备：对在现实空间上合成了图像的扩展现实空间进行显示的显示部、以及拍摄与所述显示部显示的所述扩展现实空间对应的现实空间的摄像机，所述增强现实显示控制装置的特征在于，具有：
设定信息取得部，取得与规定的印刷装置对图像或者输出纸张实施的预定的附加处理相关的设定内容；
检测部，检测在所述摄像机正在拍摄的所述现实空间中存在的纸张及其姿势；以及
显示控制部，生成输出影像图像，并使所述增强现实显示装置显示将该输出影像图像重合到在所述现实空间中存在的纸张上的扩展现实空间，所述输出影像图像是模拟地表示在根据所述设定信息取得部取得的所述设定内容而在所述印刷装置中实施了所述附加处理的情况下的处理结果的图像，并且是与由所述检测部检测出的在所述现实空间中存在的纸张的姿势相配合而进行了修正的图像。
7.如权利要求6所述的增强现实显示控制装置，其特征在于，具有：
已有印刷区域检测部，从所述摄像机的拍摄映像中检测在所述现实空间中存在的纸张之中的已存在字符或图像的区域即已有印刷区域；以及
警告部，判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，在重叠的情况下，进行规定的警告。
8.如权利要求7所述的增强现实显示控制装置，其特征在于，
具备：视线信息取得部，取得用于表示使用者正在看哪里的视线信息，
所述警告部在进行所述警告时基于所述视线信息来判定所述使用者是否正在看所述纸张，在所述使用者正在看所述纸张的情况下，使所述显示部显示所述警告，在所述使用者没有在看所述纸张的情况下，通过声音来进行所述警告。
9.如权利要求6所述的增强现实显示控制装置，其特征在于，
具有：已有印刷区域检测部，从所述摄像机的拍摄映像中检测在所述现实空间中存在的纸张之中的已存在字符或图像的区域即已有印刷区域，
所述显示控制部判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，将重叠的部分和不重叠的部分在所述输出影像图像上设为不同的显示方式。
10.如权利要求6或9所述的增强现实显示控制装置，其特征在于，具有：
已有印刷区域检测部，从所述摄像机的拍摄映像中检测在所述现实空间中存在的纸张之中的已存在字符或图像的区域即已有印刷区域；
设定变更指示部，判定与规定的附加处理相关的所述处理结果是否与所述已有印刷区域重叠，在重叠的情况下，对于从用户接受到与所述附加处理相关的设定的外部装置进行指示，使其从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
11.一种印刷条件设定系统，其特征在于，包括：
权利要求5所述的增强现实显示装置；以及
设定装置，从用户接受与所述附加处理相关的设定，并且根据来自所述设定变更指示部的指示，从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
12.一种印刷条件设定系统，其特征在于，包括：
权利要求10所述的增强现实显示控制装置；以及
设定装置，从用户接受与所述附加处理相关的设定，并且根据来自所述设定变更指示部的指示，从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
13.一种印刷系统，其特征在于，包括：
权利要求5所述的增强现实显示装置；以及
具备设定部的印刷装置，所述设定部从用户接受与所述附加处理相关的设定，并且根据来自所述设定变更指示部的指示，从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
14.一种印刷系统，其特征在于，包括：
权利要求10所述的增强现实显示装置；以及
具备设定部的印刷装置，所述设定部从用户接受与所述附加处理相关的设定，并且根据来自所述设定变更指示部的指示，从用户接受与发生所述重叠的附加处理相关的设定内容的变更操作。
15.一种印刷设定显示方法，使增强现实显示装置显示规定的印刷装置对图像或者输出纸张实施的预定的附加处理的设定内容，所述增强现实显示装置具备对在现实空间上合成了图像的扩展现实空间进行显示的显示部、以及拍摄与所述显示部显示的所述扩展现实空间对应的现实空间的摄像机，所述印刷设定显示方法的特征在于，具有以下步骤：
取得所述设定内容的步骤；
检测在所述摄像机正在拍摄的所述现实空间中存在的纸张及其姿势的步骤；以及
生成输出影像图像，并使所述增强现实显示装置显示将该输出影像图像重合到在所述现实空间中存在的纸张上的扩展现实空间的步骤，所述输出影像图像是用于模拟地表示在根据所述设定内容而在所述印刷装置中实施了所述附加处理的情况下的处理结果的图像，并且是与所述检测出的存在于所述现实空间的纸张的姿势相配合而进行了修正的图像。
CN201410658041.XA 2013-11-18 2014-11-18 增强现实显示装置、印刷条件设定系统、印刷系统 Active CN104660842B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-238312 2013-11-18
JP2013238312A JP5884811B2 (ja) 2013-11-18 2013-11-18 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム

Publications (2)

Publication Number Publication Date
CN104660842A true CN104660842A (zh) 2015-05-27
CN104660842B CN104660842B (zh) 2018-08-24

Family

ID=53173016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410658041.XA Active CN104660842B (zh) 2013-11-18 2014-11-18 增强现实显示装置、印刷条件设定系统、印刷系统

Country Status (3)

Country Link
US (1) US9380179B2 (zh)
JP (1) JP5884811B2 (zh)
CN (1) CN104660842B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018254A (zh) * 2015-10-26 2017-08-04 株式会社理光 信息处理系统、信息处理终端以及信息处理方法
CN107656609A (zh) * 2016-07-25 2018-02-02 富士施乐株式会社 测色系统、图像生成设备和图像生成方法
CN107767802A (zh) * 2016-08-17 2018-03-06 富士施乐株式会社 显示系统、控制装置和显示控制方法
CN108351695A (zh) * 2015-11-06 2018-07-31 Bsh家用电器有限公司 用于简化家用器具的操作的系统及方法
CN108369482A (zh) * 2015-12-14 2018-08-03 索尼公司 信息处理设备、信息处理方法和程序
CN108418984A (zh) * 2017-02-09 2018-08-17 株式会社东芝 信息处理方法及信息处理装置
US10122888B2 (en) 2015-10-26 2018-11-06 Ricoh Company, Ltd. Information processing system, terminal device and method of controlling display of secure data using augmented reality
CN109151241A (zh) * 2017-06-16 2019-01-04 柯尼卡美能达株式会社 印刷系统、显示装置、显示装置的控制方法以及记录介质
CN109564519A (zh) * 2016-08-16 2019-04-02 福特全球技术公司 向乘客呈现预期车辆操纵的方法和设备
CN110871441A (zh) * 2018-08-31 2020-03-10 发那科株式会社 感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD766923S1 (en) * 2014-10-07 2016-09-20 Microsoft Corporation Display screen with graphical user interface
JP2016139168A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
JP6304145B2 (ja) * 2015-06-30 2018-04-04 京セラドキュメントソリューションズ株式会社 情報処理装置、画像形成装置の設定条件指定方法
JP6275087B2 (ja) * 2015-08-03 2018-02-07 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
CN108463833A (zh) * 2016-01-12 2018-08-28 Sun电子株式会社 图像显示装置
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
JP2017162102A (ja) * 2016-03-08 2017-09-14 株式会社東芝 保守支援方法、保守支援システム、及び保守支援プログラム
JP6780442B2 (ja) * 2016-10-27 2020-11-04 富士ゼロックス株式会社 色処理装置、色処理方法、色処理システムおよびプログラム
KR101880751B1 (ko) * 2017-03-21 2018-07-20 주식회사 모픽 무안경 입체영상시청을 위해 사용자 단말과 렌티큘러 렌즈 간 정렬 오차를 줄이기 위한 방법 및 이를 수행하는 사용자 단말
JP6903999B2 (ja) * 2017-03-29 2021-07-14 富士フイルムビジネスイノベーション株式会社 コンテンツ表示装置およびコンテンツ表示プログラム
US10469796B2 (en) 2017-04-21 2019-11-05 Fuji Xerox Co., Ltd. Information processing apparatus, information processing method, and non-transitory computer readable storage medium
JP7005290B2 (ja) * 2017-11-07 2022-01-21 シャープ株式会社 画像処理装置
JP7065738B2 (ja) * 2018-09-18 2022-05-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
WO2020068086A1 (en) 2018-09-27 2020-04-02 Hewlett-Packard Development Company, L.P. Generating images for objects
JP7232402B2 (ja) * 2019-01-28 2023-03-03 コニカミノルタ株式会社 印刷条件設定装置、印刷装置およびプログラム
JP7395856B2 (ja) * 2019-07-01 2023-12-12 セイコーエプソン株式会社 印刷制御装置、印刷制御プログラム、及び、印刷物生産方法
US11283982B2 (en) 2019-07-07 2022-03-22 Selfie Snapper, Inc. Selfie camera
JP2023510193A (ja) 2019-12-31 2023-03-13 セルフィー スナッパー インコーポレイテッド 電圧制御モジュールを備えた電気接着デバイス
WO2021252980A1 (en) * 2020-06-12 2021-12-16 Selfie Snapper, Inc. Digital mirror
USD939607S1 (en) 2020-07-10 2021-12-28 Selfie Snapper, Inc. Selfie camera

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6408257B1 (en) * 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
US20050206953A1 (en) * 1999-06-23 2005-09-22 Canon Kabushiki Kaisha Information processing apparatus and method utilizing print previews, and computer-readable storage medium
JP2006277618A (ja) * 2005-03-30 2006-10-12 Canon Inc 画像生成装置及び方法
CN101067762A (zh) * 2006-05-02 2007-11-07 佳能株式会社 信息处理设备及其控制方法和图像处理设备
CN101640747A (zh) * 2008-07-30 2010-02-03 夏普株式会社 图像形成装置以及预览显示方法
CN102652322A (zh) * 2010-10-12 2012-08-29 松下电器产业株式会社 显示处理装置、显示方法和程序
US20130272523A1 (en) * 2012-04-13 2013-10-17 Xerox Corporation Mobile field level encryption of private documents

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3983624B2 (ja) * 2002-08-09 2007-09-26 シャープ株式会社 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
US9713342B2 (en) * 2004-08-25 2017-07-25 Decopac, Inc. Online decorating system for edible products
US7889244B2 (en) * 2005-12-27 2011-02-15 Panasonic Corporation Image processing apparatus
JP2008070835A (ja) 2006-09-15 2008-03-27 Ricoh Co Ltd 画像形成装置、仕上がりイメージ生成方法、仕上がりイメージ生成プログラム、及び、情報記録媒体
JP2011041046A (ja) * 2009-08-12 2011-02-24 Ricoh Co Ltd 画像処理装置および画像処理方法
JP2011223565A (ja) * 2010-03-26 2011-11-04 Panasonic Corp 撮像装置
JP5574853B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 画像処理システム、情報処理装置、画像処理方法、情報処理方法及びプログラム
US20140015942A1 (en) * 2011-03-31 2014-01-16 Amir Said Adaptive monoscopic and stereoscopic display using an integrated 3d sheet
JP2013026922A (ja) 2011-07-22 2013-02-04 Kyocera Document Solutions Inc 画像形成システム、情報処理装置、画像形成装置、およびコンピュータープログラム
US20130027757A1 (en) * 2011-07-29 2013-01-31 Qualcomm Incorporated Mobile fax machine with image stitching and degradation removal processing
JP5694883B2 (ja) * 2011-08-23 2015-04-01 京セラ株式会社 表示機器
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
JP2013225245A (ja) 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2013254244A (ja) * 2012-06-05 2013-12-19 Canon Inc 情報端末及びその制御方法、並びにプログラム
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
US20140063063A1 (en) * 2012-08-30 2014-03-06 Christopher G. Scott Spatial Calibration System for Augmented Reality Display
KR102095765B1 (ko) * 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN104135587B (zh) * 2013-04-30 2017-06-09 京瓷办公信息系统株式会社 电子设备和印刷预览方法
US10049593B2 (en) * 2013-07-15 2018-08-14 International Business Machines Corporation Automated educational system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206953A1 (en) * 1999-06-23 2005-09-22 Canon Kabushiki Kaisha Information processing apparatus and method utilizing print previews, and computer-readable storage medium
US6408257B1 (en) * 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
JP2006277618A (ja) * 2005-03-30 2006-10-12 Canon Inc 画像生成装置及び方法
CN101067762A (zh) * 2006-05-02 2007-11-07 佳能株式会社 信息处理设备及其控制方法和图像处理设备
CN101640747A (zh) * 2008-07-30 2010-02-03 夏普株式会社 图像形成装置以及预览显示方法
CN102652322A (zh) * 2010-10-12 2012-08-29 松下电器产业株式会社 显示处理装置、显示方法和程序
US20130272523A1 (en) * 2012-04-13 2013-10-17 Xerox Corporation Mobile field level encryption of private documents

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018254A (zh) * 2015-10-26 2017-08-04 株式会社理光 信息处理系统、信息处理终端以及信息处理方法
US10122888B2 (en) 2015-10-26 2018-11-06 Ricoh Company, Ltd. Information processing system, terminal device and method of controlling display of secure data using augmented reality
CN108351695A (zh) * 2015-11-06 2018-07-31 Bsh家用电器有限公司 用于简化家用器具的操作的系统及方法
CN108369482A (zh) * 2015-12-14 2018-08-03 索尼公司 信息处理设备、信息处理方法和程序
CN108369482B (zh) * 2015-12-14 2021-09-28 索尼公司 信息处理设备、信息处理方法和程序
CN107656609A (zh) * 2016-07-25 2018-02-02 富士施乐株式会社 测色系统、图像生成设备和图像生成方法
CN107656609B (zh) * 2016-07-25 2022-09-30 富士胶片商业创新有限公司 测色系统、图像生成设备和图像生成方法
CN109564519A (zh) * 2016-08-16 2019-04-02 福特全球技术公司 向乘客呈现预期车辆操纵的方法和设备
US11254327B2 (en) 2016-08-16 2022-02-22 Ford Global Technologies, Llc Methods and apparatus to present anticipated vehicle maneuvers to a passenger
CN107767802A (zh) * 2016-08-17 2018-03-06 富士施乐株式会社 显示系统、控制装置和显示控制方法
CN108418984A (zh) * 2017-02-09 2018-08-17 株式会社东芝 信息处理方法及信息处理装置
CN109151241A (zh) * 2017-06-16 2019-01-04 柯尼卡美能达株式会社 印刷系统、显示装置、显示装置的控制方法以及记录介质
CN110871441A (zh) * 2018-08-31 2020-03-10 发那科株式会社 感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质

Also Published As

Publication number Publication date
CN104660842B (zh) 2018-08-24
JP5884811B2 (ja) 2016-03-15
US20150138595A1 (en) 2015-05-21
US9380179B2 (en) 2016-06-28
JP2015099448A (ja) 2015-05-28

Similar Documents

Publication Publication Date Title
CN104660842A (zh) 增强现实显示装置、印刷条件设定系统、印刷系统
JP5900468B2 (ja) Ａｒ表示装置、処理内容設定装置、処理内容設定方法およびプログラム
US10242504B2 (en) Head-mounted display device and computer program
JP5696908B2 (ja) 操作表示システム
CN103813044B (zh) 引导信息显示装置
CN102221879B (zh) 用户接口设备以及使用其识别用户交互的方法
JP4069855B2 (ja) 画像処理装置及び方法
US8179423B2 (en) Image display system, an image display method, a coding method, and a printed matter for stereoscopic viewing
JP6852355B2 (ja) プログラム、頭部装着型表示装置
US20170161956A1 (en) Head-mounted display device and computer program
CN104079748A (zh) 作业信息显示装置
JP6701694B2 (ja) 頭部装着型表示装置およびコンピュータープログラム
CN113412479A (zh) 混合现实显示装置和混合现实显示方法
CN110278366A (zh) 一种全景图像虚化方法、终端及计算机可读存储介质
CN109084679B (zh) 一种基于空间光调制器的3d测量及获取装置
CN115223231A (zh) 视线方向检测方法和装置
CN116074618B (zh) 防止人像信息泄露的智慧拍照服务方法、系统及存储介质
EP2827589A1 (en) Display device and device for adapting an information
US11906740B2 (en) Display system, program, display method, and head mounted device
KR102508899B1 (ko) 리플렉션 이미지의 획득을 통한 단말기 보험 가입 시스템
JP2003050438A (ja) 立体画像撮像用カメラレンズアダプタ、および撮影装置
JP2023059632A (ja) 画像処理装置、画像表示システムおよび画像処理方法
US20240046710A1 (en) Photograph shooting device, control method of same, and program
JPH11327739A (ja) 画像表示装置
JP6701693B2 (ja) 頭部装着型表示装置およびコンピュータープログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant