CN109151241A - 印刷系统、显示装置、显示装置的控制方法以及记录介质 - Google Patents

Abstract

本发明提供一种印刷系统、显示装置、显示装置的控制方法以及记录介质，在各种设置环境中都能够简单地得到用户所意图的色调的印刷物。显示装置具有：显示部；摄像部，输出摄像图像；标记检测部(59)，在标记摄像图像中检测标记的位置；色差运算部(60)，运算标记摄像图像中的标记的颜色数据和印刷图像数据中的标记的颜色数据的色差信息；对象显示部(61)，根据标记的位置将再现了印刷图像数据的虚拟对象显示于显示部；对象调整部(62)，根据运算出的色差信息来设定对在显示部中显示的虚拟对象的色调进行调整的对象调整值；和印刷调整部(63)，根据设定的对象调整值来运算在图像形成装置中利用的印刷调整值。

Description

印刷系统、显示装置、显示装置的控制方法以及记录介质

技术领域

本发明涉及印刷系统、显示装置、显示装置的控制方法以及储存有程序的计算机可读取的记录介质。

背景技术

以往，已知根据印刷图像数据向纸张形成图像，并将形成有图像的纸张作为印刷物而输出的图像形成装置。通过使用图像形成装置，用户能够简便并且迅速地得到所希望的印刷物。这类的图像形成装置不仅具备输出印刷物的功能，而且还具备对在图像形成装置中再现的色调、即与图像形成相关的色调进行调整的功能。

此外，例如在专利文献1中，公开了使虚拟物体重叠到现实世界的影像中的显示装置。该显示装置比较标记的色彩信息和由照相机取得的标记颜色而制作变换式，变换所显示的虚拟物体的色彩。

现有技术文献

专利文献1：日本特开2010-170316号公报

发明内容

但是，在将印刷物设置到设置场所(现实环境)的情况下，根据照明的照射样式、影子的附带样式这样的设置场所的环境，有时以与用户所意图的观察样式(色调)不同的色调而观察到印刷物。在该情况下，为了得到与设置场所的环境匹配的印刷物的色调，需要在调整在图像形成装置中再现的色调之后重新输出印刷物，并在设置场所中确认印刷物的色调。因此，存在为了得到期望的印刷物而花费工夫这样的问题。另外，在即使调整色调来输出印刷物也未成为所意图的观察样式的情况下，需要将调整(印刷)和设置场所处的色调确认重复进行多次。

本发明是鉴于上述情形而完成的，其目的在于提供一种在各种设置环境中都能够简单地得到用户所意图的色调的印刷物的印刷系统、显示装置、显示装置的控制方法以及程序。

为了解决上述课题，第1发明提供一种印刷系统，具备：图像形成装置；以及显示装置，以配置于现实环境的标记为基准，显示虚拟对象。在该情况下，图像形成装置具有：打印机部，输出印刷物；以及印刷控制部，控制打印机部，印刷控制部执行：标记输出处理，根据用于输出印刷物的印刷图像数据，对标记进行印刷输出；以及调整处理，根据印刷调整值，调整在打印机部中表现的色调。另外，显示装置具有：显示部；摄像部，对预定的摄像范围进行摄像，输出摄像图像；标记检测部，检测摄像图像内的标记；色差运算部，生成与摄像图像中的标记的颜色数据和印刷图像数据中的标记的颜色数据的颜色的差有关的色差信息；对象显示部，将再现了印刷图像数据的虚拟对象显示于显示部；对象调整部，根据在色差运算部中生成的色差信息，设定对显示于显示部的虚拟对象的色调进行调整的对象调整值；以及印刷调整部，根据在对象调整部中设定的对象调整值，运算在图像形成装置中利用的印刷调整值。

在此，在本发明中优选为，印刷调整部在通过用户的操作而被输入确定指令的情况下，将印刷调整值输出到图像形成装置。

另外，在本发明中优选为，摄像图像是通过对在设置所述印刷物的设置场所配置的标记进行摄像而得到的。

另外，在本发明中优选为，对象调整部以吸收由设置场所的环境引起的色调的变动的方式设定对象调整值。

另外，在本发明中优选为，对象调整部根据通过用户的操作而被输入的输入值，设定对象调整值。

另外，在本发明中优选为，标记输出处理是根据印刷图像数据整体中的一部分的区域即标记区域对标记进行印刷输出的处理，虚拟对象是对印刷图像数据整体中的除了标记区域以外的剩余部分的区域进行了再现的对象。

另外，在本发明中优选为，标记区域是从以固定的尺寸对印刷图像数据整体进行分割得到的多个部分区域中选择出的1个区域，显示装置还具有标记处理部，该标记处理部执行：关联建立处理，针对每个部分区域，确定代表色，将该确定的代表色与部分区域关联起来；以及标记设定处理，针对标记区域的代表色，追加关联有色差比预定的阈值大的代表色的部分区域而作为标记区域。

另外，在本发明中优选为，显示装置还具有标记处理部，该标记处理部执行：辨识处理，在印刷图像数据中辨识构成图像的构成要素；关联建立处理，针对通过辨识处理来识别出的1个以上的构成要素中的每个构成要素，确定关于该构成要素的代表色，将该确定的代表色与构成要素关联起来；以及标记设定处理，针对标记区域的代表色，追加关联有色差比预定的阈值大的代表色的构成要素而作为标记区域。

在该情况下，优选为代表色是区域中的最频繁出现的颜色数据或者区域中的平均颜色数据。

另外，在本发明中优选为，显示装置还具有标记处理部，该标记处理部根据由摄像部对设置印刷物的设置场所进行摄像得到的摄像图像，设定以固定的尺寸对印刷物的设置范围进行分割得到的多个部分区域，在该部分区域彼此间计算亮度差，在检测到亮度差比预定的阈值大的部分区域的组合的情况下，将与组合相关的部分区域分别设定为标记区域。

另外，在本发明中优选为，在存在多个标记区域的情况下，对象调整部对关于各标记区域运算出的对象调整值进行与从各标记区域至部分区域为止的距离对应的加权，设定对象调整值。

另外，第2发明提供一种显示装置，以配置于现实环境的标记为基准，显示虚拟对象。该显示装置具有：显示部；摄像部，对由图像形成装置根据用于输出印刷物的印刷图像数据而印刷输出的标记进行摄像，输出摄像图像；标记检测部，在摄像图像中检测标记；色差运算部，生成与摄像图像中的标记的颜色数据和印刷图像数据中的标记的颜色数据的颜色的差有关的信息；对象显示部，将再现了印刷图像数据的虚拟对象显示于显示部；对象调整部，根据在色差运算部中生成的色差信息，设定对显示于显示部的虚拟对象的色调进行调整的对象调整值；以及印刷调整部，根据在对象调整部中设定的对象调整值，运算用于对在图像形成装置中表现的色调进行调整的印刷调整值。

另外，第3发明提供一种显示装置的控制方法，该显示装置以配置于现实环境的标记为基准，显示虚拟对象。在该控制方法中，显示装置执行：取得对由图像形成装置根据用于输出印刷物的印刷图像数据而印刷输出的标记进行摄像得到的摄像图像的工序；在摄像图像中检测标记的工序；生成与摄像图像中的标记的颜色数据和印刷图像数据中的标记的颜色数据的颜色的差有关的色差信息的工序；将再现了印刷图像数据的虚拟对象显示于显示部的工序；根据所生成的色差信息，设定对显示于显示部的虚拟对象的色调进行调整的对象调整值的工序；以及根据所设定的对象调整值，运算用于对在图像形成装置中表现的色调进行调整的印刷调整值的工序。

另外，第4发明提供一种储存有程序的计算机可读取的记录介质，所述程序使以配置于现实环境的标记为基准来显示虚拟对象的显示装置执行：取得对由图像形成装置根据用于输出印刷物的印刷图像数据而印刷输出的标记进行摄像得到的摄像图像的工序；在摄像图像中检测标记的工序；生成与摄像图像中的标记的颜色数据和印刷图像数据中的标记的颜色数据的颜色的差有关的色差信息的工序；将再现了印刷图像数据的虚拟对象显示于显示部的工序；根据所生成的色差信息，设定对显示于显示部的虚拟对象的色调进行调整的对象调整值的工序；以及根据所设定的对象调整值，运算用于对在图像形成装置中表现的色调进行调整的印刷调整值的工序。

根据本发明，在各种设置环境中都能够简单地得到用户所意图的色调的印刷物。

附图说明

图1是示意地示出第1实施方式所涉及的印刷系统的结构的说明图。

图2是示出第1实施方式所涉及的图像形成装置的结构的框图。

图3是说明标记的说明图。

图4是示出第1实施方式所涉及的显示装置的结构的框图。

图5是示出显示控制部的功能的框图。

图6是示出色调调整处理中的显示装置的动作的流程图。

图7是虚拟对象的说明图。

图8是虚拟对象的说明图。

图9是示出第2实施方式所涉及的显示控制部的结构的框图。

图10是示出第2实施方式所涉及的显示装置的动作的流程图。

图11是示出对象调整值的决定处理的概念的说明图。

图12是示出标记区域的设定处理的概念的说明图。

图13是示出标记区域的设定处理的概念的说明图。

(符号说明)

1：印刷系统；10：图像形成装置；11：CPU；12：RAM；13：非易失性存储器；14：硬盘装置；16：图像处理部；17：图像读取部；18：自动原稿搬送部；19：打印机部；20：传真通信部；21：有线通信部；22：无线通信部；23：操作面板；24：印刷控制部；50：显示装置；51：CPU；52：RAM；53：非易失性存储器；54：摄像部；55：显示部；56：操作部；57：无线通信部；58：显示控制部；59：标记检测部；60：色差运算部；61：对象显示部；62：对象调整部；63：印刷调整部；64：标记处理部。

具体实施方式

(第1实施方式)

图1是示意地示出本实施方式所涉及的印刷系统1的结构的说明图。本实施方式所涉及的印刷系统1包括图像形成装置10和显示装置50。图像形成装置10和显示装置50构成为能够通过无线通信或者有线无线等通信方法相互进行通信。

图像形成装置10向纸张形成图像，将形成有图像的纸张作为印刷物输出。该图像形成装置10具备执行如下作业的功能：光学地读取原稿并输出与读取出的图像数据对应的印刷物的复印作业、将读取出的图像数据保存为文件或者发送到外部装置的扫描作业、输出与从外部装置发送的印刷数据(图像数据)对应的印刷物的打印作业等。

显示装置50是利用增强现实(AR(Augmented Reality))的显示装置，以配置于现实环境的标记为基准来显示虚拟对象VO(参照后述的图7)。本实施方式所涉及的显示装置50是眼镜型的穿戴式设备，佩戴于用户的头部，向用户的视场显示虚拟对象VO。

在印刷系统1中，用户能够使用图像形成装置10输出所希望的印刷物。另外，用户通过利用显示装置50，无需使用图像形成装置10实际地输出印刷物，而能够模拟该印刷物在设置场所如何显示。

图2是示出本实施方式所涉及的图像形成装置10的结构的框图。图像形成装置10具有总体地控制该图像形成装置10的动作的CPU(Central Processing Unit，中央处理单元)11。对CPU11，经由总线而连接有RAM(Random Access Memory，随机存取存储器)12、非易失性存储器13、硬盘装置14、图像处理部16、图像读取部17、自动原稿搬送部18、打印机部19、传真通信部20、有线通信部21、无线通信部22、操作面板23等。

CPU11以OS(Operating System，操作系统)为基础，在其上执行各种程序等。在非易失性存储器13中储存有用于启动图像形成装置10的程序，依照该程序进行启动。之后，CPU11通过将在硬盘装置14中储存的程序载入到RAM12，并依照该载入的程序来执行各种处理，从而实现图像形成装置10具备的各种功能(处理器)。

RAM12是在CPU11根据程序来执行处理时临时地储存各种数据的作业用的存储区域。

非易失性存储器13是即使电源被关断(OFF)也能够保持存储的可改写的存储器。非易失性存储器13以CPU11可读取的程序代码的形态来储存该CPU11执行的各种程序。另外，非易失性存储器13存储程序的执行、图像形成装置10的管理所需的数据。在该数据中，包括在维护中所需的计数器值、由用户通过操作面板23设定的用户设定信息等。另外，非易失性存储器13还作为复印、打印或者扫描中的图像数据的缓冲存储器发挥功能。

硬盘装置14是大容量非易失的存储装置，保存OS程序、各种应用程序、各种作业历史、后述的标记数据等。另外，在硬盘装置14中储存有用于CPU11执行图像形成装置10的一连串的控制的程序(用于对本装置中的作业处理的动作进行控制的程序等)。

图像处理部16对从图像读取部17输出的图像数据进行预定的处理、例如图像的放大缩小、旋转等处理。另外，图像处理部16进行将印刷数据变换为图像数据的栅格化处理、图像数据的压缩、解压处理等。

图像读取部17光学地读取载置在原稿台上的原稿或者由自动原稿搬送部18搬送的原稿而取得图像数据。图像读取部17例如具备向原稿照射光的光源、接受其反射光而针对原稿在宽度方向上进行1线(line)量的读取的线影像传感器(line image sensor)、使线单位的读取位置在原稿的长度方向上依次移动的移动部件、将来自原稿的反射光导入到线影像传感器而成像的由透镜、反射镜等构成的光学路径、以及将线影像传感器输出的模拟图像信号变换为数字的图像数据的变换部等。

打印机部19将与图像数据对应的图像形成于纸张，将形成有图像的纸张作为印刷物输出。本实施方式所涉及的打印机部19是使用例如电子照相工艺的结构，具有纸张的搬送装置、感光鼓、带电装置、激光部件、显影装置、转印分离装置、清洁装置以及定影装置。但是，打印机部19也可以是使用其它方式的结构。

传真通信部20起到如下功能：通过公共线路而与具备传真(FAX(Facsimile))功能的外部装置发送接收图像数据。

有线通信部21是如下模块：与用线缆连接的各种外部装置直接进行通信，或者经由用线缆连接的网络而与各种外部装置进行通信。

无线通信部22是如下模块：与以无线方式连接的各种外部装置直接进行通信，或者经由以无线方式连接的网络而与各种外部装置进行通信。例如，无线通信部22使用近距离无线通信而与外部装置直接进行通信。在本实施方式中，无线通信部22被用于与显示装置50的通信。

操作面板23是受理用户的操作的输入部，例如包括显示器及能够依照在该显示器上显示的信息进行信息的输入的触摸面板、各种开关以及按钮。由CPU11取得从操作面板23输入的信息。用户能够经由针对操作面板23的操作，发行印刷作业。另外，操作面板23通过被CPU11控制，还作为向用户显示各种信息的显示部发挥功能。

在该图像形成装置10中，由包括CPU11的处理器和包括RAM12、非易失性存储器13等的存储器构成印刷控制部24，通过该印刷控制部24执行标记输出处理、调整处理等各种处理。这些处理是通过CPU11执行程序使各硬件动作来实现的。此外，印刷控制部24执行的各处理也可以通过包括电路等的硬件来实现。

在标记输出处理中，根据用于输出印刷物的图像数据(以下称为“印刷图像数据”)、具体而言后述的标记图像数据，对标记进行印刷输出。标记作为用于在显示装置50中显示虚拟对象VO的记号发挥功能，配置于用户设置印刷物的设置场所(现实环境)来利用。

图3是说明标记的说明图。硬盘装置14储存有规定与标记有关的信息的标记数据。根据印刷图像数据整体Rwh中的一部分的区域即标记区域Rmk而印刷输出标记。在本实施方式中，标记区域Rmk相当于将印刷图像数据整体Rwh以固定的尺寸进行分割得到的多个部分区域中的1个部分区域。例如多个部分区域包括将印刷图像数据整体Rwh矩阵状地分割得到的9个部分区域R01～R09。标记区域Rmk被设定有位于中央的部分区域R05。在标记数据中，包括印刷图像数据整体Rwh、与标记区域Rmk有关的印刷图像数据(以下称为“标记图像数据”)、印刷图像数据整体Rwh中的标记区域Rmk的位置信息等。

调整处理是根据印刷调整值对在打印机部19中表现的色调(主要是指亮度(以下相同))进行调整的处理。通过调整处理，能够变更从打印机部19输出的印刷物的色调。从显示装置50输出印刷调整值。

图4是示出本实施方式所涉及的显示装置50的结构的框图。显示装置50具有总体地控制该显示装置50的动作的CPU51。经由总线对CPU51连接有RAM52、非易失性存储器53、摄像部54、显示部55、操作部56、无线通信部57等。

CPU51以OS为基础，在其上执行各种程序等。在非易失性存储器53中储存有用于启动显示装置50的程序，依照该程序进行启动。之后，CPU51通过将在非易失性存储器53中储存的程序载入到RAM52，并依照该载入的程序使CPU51执行各种处理，从而实现作为显示装置50的各功能。

RAM52是在CPU51根据程序来执行处理时临时地储存各种数据的作业用的存储区域。

非易失性存储器53是即使电源被关断也能够保持存储的可改写的存储器。非易失性存储器53以CPU51可读取的程序代码的形态来储存该CPU51执行的各种程序。另外，非易失性存储器53存储程序的执行、显示装置50的管理所需的数据。

摄像部54对预定的摄像范围进行摄像，输出摄像图像。摄像部54是所谓的数字照相机，使由透镜集中的光在摄像元件上成像，将光变换为电信号。作为摄像元件，能够使用CCD(Charge Coupled Device，电荷耦合器件)型影像传感器、CMOS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体)型影像传感器等固体摄像元件。摄像部54中的摄像范围对应于将显示装置50佩戴于头部的用户的视场、或者该视场中的前方附近的范围。

与用户的单眼对应地设置有显示部55。显示部55包括显示图像(虚拟对象VO)的显示器、以及配置于眼的前方且将显示于显示器的图像与外界的景色一起导入到用户的眼睛的透镜部件。

显示于显示部55的图像被导入到用户的眼睛，用户对作为增强现实的图像(虚拟对象VO)进行识别。对于视场中的显示有图像的部分，用户能够观察图像。另外，对于视场中的未显示有图像的部分，能够观察外界(现实环境)。

此外，显示部55也可以仅由显示器构成，向摄像部54摄像得到的摄像图像重叠地显示虚拟对象VO。即，也可以并非以透过性方式识别外界，而是通过摄像图像来识别外界。

操作部56是由用户操作的操作设备。作为操作部56，能够使用按钮、开关、触摸面板等各种形态。用户能够经由操作部56输入预定的指令等。

无线通信部57是与以无线方式连接的各种外部装置直接进行通信、或者经由以无线方式连接的网络而与各种外部装置进行通信的模块。例如，无线通信部57使用近距离无线通信而与外部装置直接进行通信。

在显示装置50中，由包括CPU51的处理器和包括RAM52、非易失性存储器53等的存储器构成显示控制部58，由该显示控制部58执行各种处理。这些处理是通过CPU51执行程序使各硬件动作而实现的。

图5是示出显示控制部58的功能的框图。关于显示控制部58，在功能上对其进行描述的情况下具有标记检测部59、色差运算部60、对象显示部61、对象调整部62以及印刷调整部63。显示控制部58执行的各种处理通过这些各功能来实现。此外，显示控制部58具备的各功能也可以通过包括电路等的硬件来实现。

标记检测部59在由摄像部54摄像得到的摄像图像中检测标记，具体而言检测标记的位置。

色差运算部60生成与由摄像部54对标记进行摄像得到的标记摄像图像中包含的标记的颜色数据和根据印刷图像数据确定的标记的颜色数据的颜色之差(例如亮度差)有关的色差信息。

对象显示部61将再现印刷图像数据的虚拟对象VO显示于显示部55。具体而言，对象显示部61将再现印刷图像数据的虚拟对象VO根据标记的位置而显示于显示部55。在本实施方式中，虚拟对象VO由印刷图像数据整体Rwh中的除了标记区域Rmk以外的剩余部分的部分区域R01～R04、R06～R09构成。

对象调整部62设定对在显示部55中显示的虚拟对象VO的色调进行调整的对象调整值。在显示部55中显示的虚拟对象VO成为依照在对象调整部62中设定的对象调整值的色调。

印刷调整部63根据对象调整值，运算用于对在打印机部19中表现的色调进行调整的印刷调整值。

以下，说明本实施方式所涉及的印刷系统1的动作、即印刷物的色调调整处理。由利用图像形成装置10输出设置于预定的设置场所的印刷物的用户来利用该印刷系统1。向图像形成装置10输入用户希望印刷的印刷物的图像数据、即印刷图像数据。另外，在硬盘装置14中储存有与印刷图像数据对应的标记数据(包括标记图像数据等)。

首先，用户通过向图像形成装置10的操作面板23的操作，输入用于输出标记的指令。印刷控制部24接受该指令，根据标记图像数据对标记进行印刷输出。如果从图像形成装置10输出标记，则用户在印刷物的设置场所设置标记。

接着，用户利用显示装置50，以不受限于设置场所的环境而按照原来的色调来识别印刷物的方式，对输出该印刷物的图像形成装置10的色调进行调整。在此，图6是示出色调调整处理中的显示装置50的动作的流程图。显示装置50在进行该处理时，能够与图像形成装置10进行通信，参照标记数据。

首先，在步骤10(S10)中，取得标记摄像图像。通过利用摄像部54对包括标记及其周围的范围进行摄像，从而取得标记摄像图像。

在步骤11(S11)中，标记检测部59在标记摄像图像中检测标记的位置。

在步骤12(S12)中，色差运算部60比较在标记摄像图像中包含的标记的颜色数据和根据印刷图像数据确定的标记的颜色数据，生成与两者的颜色的差有关的色差信息。

另外，如果在步骤12中生成色差信息，则对象调整部62根据生成的色差信息，第1次设定对象调整值。具体而言，对象调整部62以使将印刷图像数据作为基准的虚拟对象VO的色调与在标记摄像图像中包含的标记的色调一致的方式，设定对象调整值。由此，在虚拟对象VO中，表现实际设置于设置场所的状态下的印刷物的色调。

在步骤13(S13)中，对象显示部61根据标记的位置将虚拟对象VO显示于显示部55。用户能够通过显示部55来识别处于设置场所(现实环境)的标记M和以存在于其周围的方式显示的虚拟对象VO(参照图7)。

此时，显示于显示部55的虚拟对象VO按照将标记设定为基准的对象调整值(第1次设定的对象调整值)而被显示。具体而言，针对与部分区域R01～R04、R06～R09对应的每个虚拟对象VO，依照对象调整值来变更该虚拟对象VO的色调。由此，虚拟对象VO的色调并非是以印刷图像数据为基准的色调，而成为与处于设置场所的标记M的色调一致的色调。因此，用户通过仅将标记设置于设置场所，从而无需将印刷物的全部设置于设置场所而能够掌握设置于该设置场所的状态的印刷物的观察样式。

在步骤14(S14)中，对象调整部62判断是否选择了自动地设定对象调整值的自动调整。用户能够通过向操作部56进行的操作来选择调整模式。在选择了自动调整的情况下，在步骤14中进行肯定判定，进入到步骤15(S15)。另一方面，在未选择自动调整的情况、即选择了手动地设定对象调整值的手动调整的情况下，在步骤14中进行否定判定，进入到步骤16(S16)。

在步骤15中，对象调整部62根据在色差运算部60中生成的色差信息，第2次设定对象调整值。具体而言，对象调整部62以使依照第1次设定的对象调整值的虚拟对象VO的色调与将印刷图像数据作为基准的虚拟对象VO的色调一致的方式，运算对象调整值并进行设定。即，在第1次设定的对象调整值和第2次设定的对象调整值中，色调的调整方向成为正相反。因此，第2次设定的对象调整值具有吸收由设置场所的环境引起的印刷物的色调的变动的作用。

在步骤16中，对象调整部62取得通过操作部56输入的输入值作为对象调整值，根据该输入值，第2次设定对象调整值。

在步骤17(S17)中，印刷调整部63根据第2次设定的对象调整值，运算用于对在图像形成装置10(打印机部19)中表现的色调进行调整的印刷调整值。在步骤17中运算的印刷调整值具备与基于第2次的对象调整值的虚拟对象VO的色调的调整量对应的调整量。

在步骤18(S18)中，对象显示部61将虚拟对象VO再次显示于显示部55。用户能够通过显示部55来识别处于设置场所(现实环境)的标记M和以存在于其周围的方式显示的虚拟对象VO(参照图8)。

此时，显示于显示部55的虚拟对象VO按照将标记设定为基准的对象调整值(第2次设定的对象调整值)而被显示。具体而言，针对与各部分区域R01～R04、R06～R09对应的每个虚拟对象VO，依照对象调整值来变更该虚拟对象VO的色调。由此，用户能够通过在显示部55中显示的虚拟对象VO的色调，判断印刷物的色调是否与用户希望的色调一致。

在步骤19(S19)中，对象调整部62判断是否选择了结束色调调整。用户能够通过向操作部56进行的操作来选择结束色调调整。在选择了结束色调调整的情况下，在步骤19中进行肯定判定，进入到步骤20(S20)。另一方面，在未选择结束色调调整的情况、即选择了继续色调调整的情况下，在步骤19中进行否定判定，返回到步骤14。

在步骤20(S20)中，印刷调整部63基于在步骤19中选择了结束色调调整，而判断为输入了印刷调整值的确定指令。然后，印刷调整部63将在步骤17中运算出的印刷调整值输出到图像形成装置10。

取得印刷调整值的印刷控制部24根据该印刷调整值，调整在打印机部19中表现的色调(亮度)。如果在这样调整了色调的打印机部19中输出印刷物，并将该印刷物设置于设置场所，则不会被其设置场所的环境所左右，而能够以用户所希望的原来的色调来识别印刷物。

这样在本实施方式中，构成印刷系统1的显示装置50具有显示部55、摄像部54、标记检测部59、色差运算部60、对象显示部61、对象调整部62以及印刷调整部63。

根据该结构，能够根据在色差运算部60中生成的色差信息，调整在显示部55中显示的虚拟对象VO的色调。由此，能够模拟在印刷物设置于设置场所的情况下如何表现、或者模拟在调整了图像形成装置的色调的情况下印刷物是否成为用户所意图的观察样式。由此，无需多次重复进行调整(印刷)和设置场所处的色调确认。其结果，在处于各种设置环境时都能够简单地得到用户所意图的色调的印刷物。

另外，根据本实施方式的显示装置50，能够吸收图像形成装置10固有的色调特性。由此，在通过应用本印刷系统1的图像形成装置10输出印刷物的实例中，不受限于图像形成装置10固有的色调特性，而能够简单地得到用户所意图的色调的印刷物。

另外，在本实施方式中，在通过用户的操作而被输入确定指令的情况下，将印刷调整值输出到图像形成装置10。

由此，能够将用户的意思恰当地反映到调整过程中。

另外，在本实施方式中，对象调整部62以吸收由设置场所的环境引起的色调的变动的方式设定所述对象调整值(自动调整)。

根据该结构，能够自动地得到原来的印刷物具有的色调。由此，能够减轻给用户带来的操作负担。

另外，在本实施方式中，对象调整部62根据通过用户的操作而被输入的输入值，设定对象调整值(手动调整)。

根据该结构，能够得到依照用户的希望的色调，所以能够得到符合用户需求的印刷物。

另外，在本实施方式中，标记输出处理是根据印刷图像数据整体Rwh中的一部分的区域即标记区域Rmk而对标记进行印刷输出的处理。另外，虚拟对象VO是对印刷图像数据整体Rmk中的除了标记区域Rmk以外的剩余部分的区域进行了再现的对象。

根据该结构，能够将印刷物的一部分用作标记，所以不存在将印刷物的全部设置于设置场所而进行调整这样的繁琐操作。由此，对于海报这样的大型的印刷物，也能够容易地进行色调的调整。

(第2实施方式)

以下，说明第2实施方式所涉及的印刷系统1。该第2实施方式所涉及的印刷系统1与第1实施方式的印刷系统不同的点在于，利用多个标记来进行色调调整。以下，关于与第1实施方式重复的结构、动作，省略说明，以下以不同点为中心进行说明。

图9是示出本实施方式所涉及的显示控制部58的结构的框图。本实施方式所涉及的显示控制部58除了第1实施方式所述的结构以外，还具备标记处理部64。

标记处理部64进行关联建立处理和标记设定处理。关联建立处理是如下处理：针对部分区域R01～R09的每一个，确定代表色，将该确定的代表色与部分区域R01～R09关联起来。另一方面，标记设定处理是如下处理：针对标记区域Rmk(部分区域R05)的代表色，将关联有颜色的差比预定的阈值大的代表色的部分区域R01～R04、R06～R09设定为标记。在标记处理部64中所处理的代表色能够利用区域中的最频繁出现的颜色数据或者区域中的平均颜色数据。

图10是示出本实施方式所涉及的显示装置50的动作的流程图。在第1实施方式中示出的调整处理之前，作为预处理而执行该流程图所示的处理。

首先，在步骤30(S30)中，标记处理部64运算标记区域Rmk的代表色。

在步骤31(S31)中，标记处理部64选择8个部分区域R01～04、R06～R09中的1个部分区域Rn(n＝01～09(除去05)中的某一个)。

在步骤32(S32)中，标记处理部64运算选择出的部分区域Rn的代表色。

在步骤33(S33)中，标记处理部64比较标记区域Rmk的代表色和部分区域Rn的代表色，运算两者的颜色的差(亮度差)。

在步骤34(S34)中，标记处理部64判断在步骤33中运算出的颜色的差是否大于阈值。在本处理中使用的阈值是用于判断在同一印刷物内是否存在色调大不相同的区域的值，通过实验、仿真来预先设定。

在步骤34中进行了肯定判定的情况、即在步骤33中运算出的颜色的差大于阈值的情况下，进入到步骤35(S35)。另一方面，在步骤33中运算出的颜色的差是阈值以下的情况下，跳过步骤35而进入到步骤36(S36)。

在步骤35中，标记处理部64将部分区域Rn设定为标记。在这以后，部分区域Rn被辨识为新的标记区域Rmk。另外，标记处理部64向图像形成装置10通知设定了新的标记区域Rmk。在图像形成装置10中，通知的标记区域Rmk被追加为标记数据。

在步骤36中，标记处理部64判断是否有未进行代表色的运算的未处理的部分区域R01～04、R06～R09。在有未处理的部分区域R01～04、R06～R09的情况下，在步骤36中进行肯定判定，返回到步骤31。然后，标记处理部64将未处理的部分区域R01～04、R06～R09作为对象，进行步骤31以后的处理。另一方面，在没有未处理的部分区域R01～04、R06～R09的情况下，在步骤36中进行否定判定，结束本处理(结束(END))。

接着，说明设定了多个标记区域Rmk时的色调调整处理中的对象调整值的决定方法。以下，参照图11，例示针对被25分割得到的每个部分区域来调整各虚拟对象的色调的方法。在该情况下，“Rmk1”、“Rmk2”表示2个标记区域，“VO”表示调整色调的与部分区域R02对应的虚拟对象。

对象调整部62根据2个标记区域Rmk1、Rmk2，运算对象调整值。具体而言，以第1标记区域Rmk1为基准，设定第1对象调整值a。同样地，以第2标记区域Rmk2为基准，设定第2对象调整值b。在该情况下，对象调整部62对关于各标记区域Rmk1、Rmk2运算出的对象调整值进行加权，设定与部分区域R02对应的虚拟对象VO的对象调整值。一般，与标记的距离越近，则越成为与标记相配的色调，所以加权被设为与直至标记区域Rmk1、Rmk2为止的距离La、Lb对应的系数f(La)、f(Lb)。

(公式1)

对象调整值＝f(La)×a+f(Lb)×b

这样根据本实施方式，能够使用色差大的多个标记区域来进行印刷物的色调调整处理。由此，能够真实地再现设置环境中的印刷物的观察样式，所以能够更高精度地调整印刷物的色调。

此外，在本实施方式中，将以固定的尺寸进行划分得到的部分区域作为对象，设定了标记。然而，标记的设定方法不限定于该方法。

图12是示出标记区域的设定处理的概念的说明图。在该变形例中，标记处理部64进行辨识处理、关联建立处理、以及标记设定处理。

在辨识处理中，在印刷图像数据整体Rwh中的除了标记区域Rmk以外的区域中，辨识构成图像的构成要素、具体而言颜色类似的构成要素。在图12所示的例子中，树叶、树干被辨识为构成要素Rb1～Rb4。辨识处理能够通过公知的图像处理来进行。在关联建立处理中，针对通过辨识处理辨识出的1个以上的构成要素Rb1～Rb4的每一个，确定关于该构成要素Rb1～Rb4的代表色，将该确定的代表色与构成要素Rb1～Rb4关联起来。另外，在标记设定处理中，针对标记区域Rmk的代表色，将关联有颜色的差比预定的阈值大的代表色的特征区域Rb设定为标记区域Rmk。

根据该方法，能够将构成图像的构成要素Rb1～Rb4用作标记区域Rmk来进行印刷物的色调调整处理。由此，能够真实地再现设置环境中的印刷物的观察样式，所以能够更高精度地调整印刷物的色调。

另外，标记的设定方法也可以为以下所示的方法。图13是示出标记区域的设定处理的概念的说明图。具体而言，标记处理部64取得由摄像部54对设置印刷物的设置场所进行摄像得到的摄像图像。标记处理部64设定以固定的尺寸对该摄像图像中的印刷物的设置范围Rp进行分割得到的多个部分区域。然后，标记处理部64在从多个部分区域中选择的一组部分区域彼此间计算亮度差。标记处理部64在检测到亮度差比预定的阈值大的部分区域的组合的情况下，将该检测到的部分区域Rc1、Rc2分别指定为标记区域Rmk。

根据该方法，能够使用与设置场所的亮度对应的标记区域Rmk来进行印刷物的色调调整处理。由此，能够真实地再现设置环境中的印刷物的观察样式，所以能够更高精度地调整印刷物的色调。

另外，在本实施方式中，在作为预处理预先设定多个标记之后，根据多个标记进行印刷物的色调调整处理。然而，也可以在仅设定了1个标记区域的状态下进行印刷物的调整处理，在用户判断为关于印刷物无法得到期望的色调的情况(例如，第1实施方式所示的步骤19的否定判定的情况)下，进行设定上述标记区域Rmk的处理。

以上，说明了本发明的实施方式所涉及的印刷系统，但本发明不限定于上述实施方式，当然能够在本发明的范围内进行各种变形。另外，不仅是印刷系统，构成印刷系统的显示装置、显示装置的控制方法以及在显示装置中执行的程序其自身也作为本发明的一部分发挥功能。

另外，关于标记处理部，也可以代替由显示装置具备标记处理部的结构，而由图像形成装置具备标记处理部的结构、或者由图像形成装置与显示装置一起具备标记处理部的结构。

Claims (34)

1.一种印刷系统，具有：

图像形成装置；以及

显示装置，以配置于现实环境的标记为基准，显示虚拟对象，

所述图像形成装置具有：

打印机部，输出印刷物；以及

印刷控制部，控制所述打印机部，

所述印刷控制部执行：

标记输出处理，根据用于输出所述印刷物的印刷图像数据，对标记进行印刷输出；以及

调整处理，根据印刷调整值，调整在所述打印机部中表现的色调，

所述显示装置具有：

显示部；

摄像部，对预定的摄像范围进行摄像，输出摄像图像；

标记检测部，检测所述摄像图像内的所述标记；

色差运算部，生成与所述摄像图像中的所述标记的颜色数据和所述印刷图像数据中的所述标记的颜色数据的颜色的差有关的色差信息；

对象显示部，将再现了所述印刷图像数据的虚拟对象显示于所述显示部；

对象调整部，根据在所述色差运算部中生成的所述色差信息，设定对显示于所述显示部的所述虚拟对象的色调进行调整的对象调整值；以及

印刷调整部，根据在所述对象调整部中设定的所述对象调整值，运算在所述图像形成装置中利用的所述印刷调整值。

2.根据权利要求1所述的印刷系统，其中，

所述印刷调整部在通过用户的操作而被输入确定指令的情况下，将所述印刷调整值输出到所述图像形成装置。

3.根据权利要求1或者2所述的印刷系统，其中，

所述摄像图像是通过对在设置所述印刷物的设置场所配置的标记进行摄像而得到的。

4.根据权利要求3所述的印刷系统，其中，

所述对象调整部以吸收由所述设置场所的环境引起的色调的变动的方式设定所述对象调整值。

5.根据权利要求1或者2所述的印刷系统，其中，

所述对象调整部根据通过用户的操作而被输入的输入值，设定所述对象调整值。

6.根据权利要求1至5中的任意一项所述的印刷系统，其中，

所述标记输出处理是根据所述印刷图像数据整体中的一部分的区域即标记区域对所述标记进行印刷输出的处理，

所述虚拟对象是对所述印刷图像数据整体中的除了所述标记区域以外的剩余部分的区域进行了再现的对象。

7.根据权利要求6所述的印刷系统，其中，

所述标记区域是从以固定的尺寸对所述印刷图像数据整体进行分割得到的多个部分区域中选择出的1个区域，

所述显示装置还具有标记处理部，该标记处理部执行：

关联建立处理，针对每个所述部分区域，确定代表色，将该确定的代表色与所述部分区域关联起来；以及

标记设定处理，针对所述标记区域的代表色，追加关联有颜色的差比预定的阈值大的代表色的所述部分区域而作为所述标记区域。

8.根据权利要求6所述的印刷系统，其中，

所述显示装置还具有标记处理部，该标记处理部执行：

辨识处理，在所述印刷图像数据中辨识构成图像的构成要素；

关联建立处理，针对通过所述辨识处理来识别出的1个以上的构成要素中的每个构成要素，确定关于该构成要素的代表色，将该确定的代表色与所述构成要素关联起来；以及

标记设定处理，针对所述标记区域的代表色，追加关联有颜色的差比预定的阈值大的代表色的所述构成要素而作为所述标记区域。

9.根据权利要求7或者8所述的印刷系统，其中，

所述代表色是区域中的最频繁出现的颜色数据或者区域中的平均颜色数据。

10.根据权利要求6所述的印刷系统，其中，

所述显示装置还具有标记处理部，该标记处理部根据由所述摄像部对设置所述印刷物的设置场所进行摄像得到的摄像图像，设定以固定的尺寸对印刷物的设置范围进行分割得到的多个部分区域，在该部分区域彼此间计算亮度差，在检测到亮度差比预定的阈值大的部分区域的组合的情况下，将与组合相关的部分区域分别设定为所述标记区域。

11.根据权利要求7至10中的任意一项所述的印刷系统，其中，

在存在多个所述标记区域的情况下，所述对象调整部对关于各标记区域运算出的对象调整值进行与从各标记区域至所述部分区域为止的距离对应的加权，设定所述对象调整值。

12.一种显示装置，以配置于现实环境的标记为基准，显示虚拟对象，所述显示装置具有：

显示部；

摄像部，对由图像形成装置根据用于输出印刷物的印刷图像数据而印刷输出的标记进行摄像，输出摄像图像；

标记检测部，在所述摄像图像中检测所述标记；

色差运算部，生成与所述摄像图像中的所述标记的颜色数据和所述印刷图像数据中的所述标记的颜色数据的颜色的差有关的色差信息；

对象显示部，将再现了所述印刷图像数据的虚拟对象显示于所述显示部；

对象调整部，根据在所述色差运算部中生成的所述色差信息，设定对显示于所述显示部的所述虚拟对象的色调进行调整的对象调整值；以及

印刷调整部，根据在所述对象调整部中设定的所述对象调整值，运算用于对在所述图像形成装置中表现的色调进行调整的印刷调整值。

13.根据权利要求12所述的显示装置，其中，

所述印刷调整部在通过用户的操作而被输入确定指令的情况下，将所述印刷调整值输出到所述图像形成装置。

14.根据权利要求12或者13所述的显示装置，其中，

所述摄像图像是通过对在设置所述印刷物的设置场所配置的标记进行摄像而得到的。

15.根据权利要求14所述的显示装置，其中，

所述对象调整部以吸收由所述设置场所的环境引起的色调的变动的方式设定所述对象调整值。

16.根据权利要求12或者13所述的显示装置，其中，

所述对象调整部根据通过用户的操作而被输入的输入值，设定所述对象调整值。

17.根据权利要求12至16中的任意一项所述的显示装置，其中，

所述标记输出处理是根据所述印刷图像数据整体中的一部分的区域即标记区域对所述标记进行印刷输出的处理，

所述虚拟对象是对所述印刷图像数据整体中的除了所述标记区域以外的剩余部分的区域进行了再现的对象。

18.根据权利要求17所述的显示装置，其中，

所述标记区域是从以固定的尺寸对所述印刷图像数据整体进行分割得到的多个部分区域中选择出的1个区域，

所述显示装置还具有标记处理部，该标记处理部执行：

关联建立处理，针对每个所述部分区域，确定代表色，将该确定的代表色与所述部分区域关联起来；以及

标记设定处理，针对所述标记区域的代表色，追加关联有颜色的差比预定的阈值大的代表色的所述部分区域而作为所述标记区域。

19.根据权利要求17所述的显示装置，其中，

所述显示装置还具有标记处理部，该标记处理部执行：

辨识处理，在所述印刷图像数据中辨识构成图像的构成要素；

关联建立处理，针对通过所述辨识处理来识别出的1个以上的构成要素中的每个构成要素，确定关于该构成要素的代表色，将该确定的代表色与所述构成要素关联起来；以及

标记设定处理，针对所述标记区域的代表色，追加关联有颜色的差比预定的阈值大的代表色的所述构成要素而作为所述标记区域。

20.根据权利要求18或者19所述的显示装置，其中，

所述代表色是区域中的最频繁出现的颜色数据或者区域中的平均颜色数据。

21.根据权利要求17所述的显示装置，其中，

所述显示装置还具有标记处理部，该标记处理部根据由所述摄像部对设置所述印刷物的设置场所进行摄像得到的摄像图像，设定以固定的尺寸对印刷物的设置范围进行分割得到的多个部分区域，在该部分区域彼此间计算亮度差，在检测到亮度差比预定的阈值大的部分区域的组合的情况下，将与组合相关的部分区域分别设定为所述标记区域。

22.根据权利要求18至21中的任意一项所述的显示装置，其中，

在存在多个所述标记区域的情况下，所述对象调整部对关于各标记区域运算出的对象调整值进行与从各标记区域至所述部分区域为止的距离对应的加权，设定所述对象调整值。

23.一种显示装置的控制方法，该显示装置以配置于现实环境的标记为基准，显示虚拟对象，其中，

所述显示装置执行：

取得对由图像形成装置根据用于输出印刷物的印刷图像数据而印刷输出的标记进行摄像得到的摄像图像的工序；

在所述摄像图像中检测所述标记的工序；

生成与所述摄像图像中的所述标记的颜色数据和所述印刷图像数据中的所述标记的颜色数据的颜色的差有关的色差信息的工序；

将再现了所述印刷图像数据的虚拟对象显示于显示部的工序；

根据所生成的所述色差信息，设定对显示于所述显示部的所述虚拟对象的色调进行调整的对象调整值的工序；以及

根据所设定的所述对象调整值，运算用于对在所述图像形成装置中表现的色调进行调整的印刷调整值的工序。

24.根据权利要求23所述的显示装置的控制方法，其中，

还具有在通过用户的操作而被输入确定指令的情况下将所述印刷调整值输出到所述图像形成装置的工序。

25.根据权利要求23或者24所述的显示装置的控制方法，其中，

所述摄像图像是通过对在设置所述印刷物的设置场所配置的标记进行摄像而得到的。

26.根据权利要求25所述的显示装置的控制方法，其中，

在设定所述对象调整值的工序中，以吸收由所述设置场所的环境引起的色调的变动的方式设定所述对象调整值。

27.根据权利要求23或者24所述的显示装置的控制方法，其中，

在设定所述对象调整值的工序中，根据通过用户的操作而被输入的输入值，设定所述对象调整值。

28.根据权利要求23至27中的任意一项所述的显示装置的控制方法，其中，

根据所述印刷图像数据整体中的一部分的区域即标记区域对所述标记进行印刷输出，

所述虚拟对象是对所述印刷图像数据整体中的除了所述标记区域以外的剩余部分的区域进行了再现的对象。

29.根据权利要求28所述的显示装置的控制方法，其中，

所述标记区域是从以固定的尺寸对所述印刷图像数据整体进行分割得到的多个部分区域中选择出的1个区域，

所述显示装置的控制方法还具有执行如下处理的工序：

关联建立处理，针对每个所述部分区域，确定代表色，将该确定的代表色与所述部分区域关联起来；以及

标记设定处理，针对所述标记区域的代表色，追加关联有颜色的差比预定的阈值大的代表色的所述部分区域而作为所述标记区域。

30.根据权利要求28所述的显示装置的控制方法，其中，

所述显示装置的控制方法还具有执行如下处理的工序：

辨识处理，在所述印刷图像数据中辨识构成图像的构成要素；

关联建立处理，针对通过所述辨识处理来识别出的1个以上的构成要素中的每个构成要素，确定关于该构成要素的代表色，将该确定的代表色与所述构成要素关联起来；以及

标记设定处理，针对所述标记区域的代表色，追加关联有颜色的差比预定的阈值大的代表色的所述构成要素而作为所述标记区域。

31.根据权利要求29或者30所述的显示装置的控制方法，其中，

所述代表色是区域中的最频繁出现的颜色数据或者区域中的平均颜色数据。

32.根据权利要求28所述的显示装置的控制方法，其中，

所述显示装置的控制方法还具有如下工序：根据由所述摄像部对设置所述印刷物的设置场所进行摄像得到的摄像图像，设定以固定的尺寸对印刷物的设置范围进行分割得到的多个部分区域，在该部分区域彼此间计算亮度差，在检测到亮度差比预定的阈值大的部分区域的组合的情况下，将与组合相关的部分区域分别设定为所述标记区域。

33.根据权利要求29至32中的任意一项所述的显示装置的控制方法，其中，

在设定所述对象调整值的工序中，在存在多个所述标记区域的情况下，对关于各标记区域运算出的对象调整值进行与从各标记区域至所述部分区域为止的距离对应的加权，设定所述对象调整值。

34.一种储存有程序的计算机可读取的记录介质，所述程序使以配置于现实环境的标记为基准来显示虚拟对象的显示装置执行：

取得对由图像形成装置根据用于输出印刷物的印刷图像数据而印刷输出的标记进行摄像得到的摄像图像的工序；

在所述摄像图像中检测所述标记的工序；

生成与所述摄像图像中的所述标记的颜色数据和所述印刷图像数据中的所述标记的颜色数据的颜色的差有关的色差信息的工序；

将再现了所述印刷图像数据的虚拟对象显示于显示部的工序；

根据所生成的所述色差信息，设定对显示于所述显示部的所述虚拟对象的色调进行调整的对象调整值的工序；以及

根据所设定的所述对象调整值，运算用于对在所述图像形成装置中表现的色调进行调整的印刷调整值的工序。