CN112188078B - 印刷控制装置、记录介质以及印刷物生产方法 - Google Patents

Abstract

本发明提供能够获得更加符合预期的印刷结果的技术的印刷控制装置、记录介质以及印刷物生产方法。使印刷装置执行印刷的印刷控制装置具备：确定部，其从摄影传感器所拍摄到的摄影图像中对印刷对象进行确定；显示部，其使显示器显示将如下的修剪图像重叠在所述摄影图像上的画面，所述修剪图像通过对原印刷数据的预览图像与所述印刷对象匹配地进行修剪而获得；设定接受部，其接受所述预览图像相对于所述印刷对象的相对位置的设定；印刷指示接受部，其接受所述相对位置下的印刷指示；控制部，其根据所述印刷指示而使所述印刷装置执行基于所述原印刷数据和所述相对位置的向所述印刷对象的印刷。

Description

印刷控制装置、记录介质以及印刷物生产方法

技术领域

本发明涉及一种使印刷装置执行印刷的印刷控制装置、印刷控制程序、以及印刷物生产方法。

背景技术

提案有一种不具有纸张输送系统的手动扫描型的打印机。专利文献1中所公开的信息处理装置同时对手持式打印机和印刷介质进行拍摄，以使手持式打印机能够对印刷介质上的位置进行检测。该信息处理装置根据被拍摄有手持式打印机和印刷介质的摄像数据，来对手持式打印机和印刷介质进行检测，且确定手持式打印机相对于印刷介质的位置，并将手持式打印机的位置发送至手持式打印机。

在被印刷的图像与印刷介质相比较大的情况下，上述的信息处理装置将图像缩小至印刷介质的范围内。

关于上述的信息处理装置，只要印刷介质和图像不是相似的形状，在被印刷于印刷介质上的图像的周边会残留有未被印刷的区域。因此，希望实现在并非相似的形状的印刷介质的整个面上印刷图像印刷等更加符合预期的印刷。

专利文献1：日本特开2017-010271号公报

发明内容

本发明的印刷控制装置具有如下的方式，即，该印刷控制装置使印刷装置执行印刷，并具备：

确定部，其从摄影传感器所拍摄到的摄影图像中对印刷对象进行确定；

显示部，其使显示器显示将如下的修剪图像重叠在所述摄影图像上的画面，所述修剪图像通过对原印刷数据的预览图像与所述印刷对象匹配地进行修剪而获得；

设定接受部，其接受所述预览图像相对于所述印刷对象的相对位置的设定；

印刷指示接受部，其接受所述相对位置下的印刷指示；以及

控制部，其根据所述印刷指示而使所述印刷装置执行基于与所述原印刷数据和所述相对位置匹配的印刷数据的向所述印刷对象的印刷。

此外，本发明具有使计算机实现与上述的印刷控制装置的各部相对应的功能的印刷控制程序的方式。

另外，本发明具有包括与上述的印刷控制装置的各部相对应的工序的印刷物生产方法的方式。

附图说明

图1为示意性地表示印刷系统的结构例的立体图。

图2为示意性地表示印刷装置的底面的示例以及掩码信息的示例的图。

图3为示意性地表示印刷装置的结构例的框图。

图4为示意性地表示印刷控制装置的结构例的框图。

图5为示意性地表示印刷控制程序使计算机实现的多个功能的示例的框图。

图6为示意性地表示印刷控制装置所实施的印刷控制处理的示例的流程图。

图7为示意性地表示印刷控制装置所实施的印刷控制处理的示例的流程图。

图8为示意性地表示印刷控制装置所实施的印刷对象候补提取处理的示例的流程图。

图9为示意性地表示印刷对象候补的示例的图。

图10为示意性地表示临时的印刷对象候补的区域的示例的图。

图11为示意性地表示被拍摄体从正对于摄影传感器的朝向起偏移的示例的图。

图12为示意性地表示对三维坐标进行变换的示例的图。

图13为示意性地对求出被拍摄体的尺寸的示例进行说明的图。

图14A、图14B为示意性地表示临时的印刷对象候补的大小的示例的图。

图15为示意性地表示显示了包括印刷对象候补在内的摄影图像的印刷控制装置的示例的图。

图16为示意性地表示显示了原图像选择画面的印刷控制装置的示例的图。

图17A为示意性表示以包括印刷对象的方式将原印刷数据变形的示例的图，图17B为示意性表示接受预览图像相对于印刷对象的相对位置的设定的示例的图。

图18为示意性地表示接受预览图像相对于印刷对象的相对位置的设定的画面的示例的图。

图19为示意性地表示与印刷对象匹配地对预览图像进行修剪的示例的图。

图20为示意性地表示显示了将修剪图像重叠于摄影图像上的画面的印刷控制装置的示例的图。

图21为示意性地表示显示了在包括印刷装置和印刷对象的摄影图像上重叠了修剪图像的画面的印刷控制装置的示例的图。

图22为示意性地表示印刷控制装置所实施的印刷对象候补提取处理的其他示例的流程图。

图23为示意性地表示印刷对象候补的示例的图。

图24为示意性地表示从摄影图像群中提取印刷对象候补的示例的图。

具体实施方式

以下，对本发明的实施方式进行说明。当然，以下的实施方式只不过为对本发明进行例示的内容，且实施方式所示的所有特征并非为对于发明的解决手段是必不可少的。

(1)本发明中所包含的技术的概要：

首先，参照图1～图24所示的示例而对本发明所包含的技术的概要进行说明。在后述的多个方式中包括有未与技术方案相对应的方式。另外，本申请的附图为示意性地表示示例的图，这些附图所示的各方向的放大率有时会不同，各图有时未整合。当然，本技术的各要素并不限于由符号所示的具体例。在“本发明中所包含的技术的概要”中，括弧内的内容为前面的用语的补充说明。

方式一：

本技术的一个方式所涉及的印刷控制装置(例如，图1所示的便携型主机装置10)为，使印刷装置(例如，图1所示的手动扫描型打印机100)执行印刷的印刷控制装置10，其具备确定部U1、显示部U2、设定接受部U3、印刷指示接受部U4以及控制部U6。所述确定部U1从摄影传感器21所拍摄到的摄影图像IM0中对印刷对象ME0进行确定。如图19、图20所例示的那样，所述显示部U2使显示器16显示将对原印刷数据DA0的预览图像IP0与所述印刷对象ME0匹配地进行修剪而获得的修剪图像IT0重叠在所述摄影图像IM0上的画面。如图17B所例示的那样，所述设定接受部U3接受所述预览图像IP0相对于所述印刷对象ME0的相对位置的设定。所述印刷指示接受部U4接受所述相对位置下的印刷指示。所述控制部U6根据所述印刷指示而使所述印刷装置100执行基于所述原印刷数据DA0和所述相对位置的向所述印刷对象ME0的印刷。

在上述方式一中，显示将对原印刷数据DA0的预览图像IP0与印刷对象ME0匹配地进行修剪而获得的修剪图像IT0重叠在摄影图像IM0上的画面。用户能够对预览图像IP0相对于印刷对象ME0的相对位置进行设定，并能够指示所设定的相对位置的印刷。根据印刷指示，印刷装置100基于原印刷数据DA0和相对位置而在印刷对象ME0上进行印刷。由于本方式能够处置与印刷对象ME0相比较大的原印刷数据DA0，且预览图像IP0并未与从印刷对象ME0露出的部分重叠，因此，能够容易地确认所预想的印刷结果。因此，本方式能够提供可获得更加符合预期的印刷结果的印刷控制装置。

方式二：

所述确定部U1也可以在三维坐标中对所述印刷对象ME0进行确定。如图19、图20所例示的那样，所述显示部U2也可以使所述显示器16显示在所述三维坐标中对所述预览图像IP0与所述印刷对象ME0匹配地进行修剪后获得的所述修剪图像IT0重叠在所述摄影图像IM0上的所述画面。由于本方式能够在三维地对所预想的印刷结果进行了确认的基础之上在印刷对象ME0上进行印刷，因此，能够获得进一步符合预期的印刷结果。

方式三：

所述设定接受部U3也可以在所述三维坐标中接受所述相对位置的设定。所述控制部U6可以通过在所述三维坐标中相对于所述印刷对象ME0与所述印刷对象ME0的形状匹配地剪切与所述相对位置匹配的所述原印刷数据DA0而生成所述印刷数据DA1，也可以使所述印刷装置100执行基于该印刷数据DA1的向所述印刷对象ME0的印刷。本方式由于与印刷对象ME0的形状匹配地实施印刷，因此，能够获得进一步符合预期的印刷结果。

方式四：

如图17B所例示的那样，所述设定接受部U3也可以接受所述预览图像IP0的大小和旋转角度中的至少一方的设定，以作为所述相对位置。本方式由于能够在对变更了大小和旋转角度中的至少一方的预想印刷结果进行了确认的基础之上，在印刷对象ME0上进行印刷，因此，能够获得进一步符合预期的印刷结果。

方式五：

如图17A、图18所例示的那样，所述显示部U2可以以包括所述印刷对象ME0的方式对所述预览图像IP0进行变形，也可以使所述显示器16显示将与所述印刷对象ME0匹配地对所变形的所述预览图像IP0进行了修剪后获得的所述修剪图像IT0重叠在所述摄影图像IM0上的所述画面。所述控制部U6也可以使所述印刷装置100执行基于如下的印刷数据DA1的向所述印刷对象ME0的印刷，所述印刷数据DA1通过与所述预览图像IP0匹配地对所述原印刷数据DA0进行变形而获得。本方式由于在印刷对象ME0的整个面上自动地重叠预览图像IP0，且实施基于与预览图像IP0的变形匹配的印刷数据DA1的印刷，因此，能够获得进一步符合预期的印刷结果。

方式六：

本印刷控制装置10也可以还具备相对位置确定部U5，该相对位置确定部U5对所述摄影图像IM0所包括的所述印刷装置100与所述印刷对象ME0的相对位置关系进行确定。所述控制部U6也可以基于所述相对位置关系而生成所述印刷数据DA1，且使所述印刷装置100执行基于该印刷数据DA1的向所述印刷对象ME0的印刷。本方式由于自动地实施印刷装置100与印刷对象ME0的位置匹配，因此，能够提高印刷装置的使用便利性。

方式七：

所述印刷装置100也可以为手动扫描型的打印机或者自走型的打印机。该方式能够提高手动扫描型或者自走型的打印机的使用便利性。

方式八：

如图15所例示的那样，所述显示部U2也可以使所述显示器16显示在所述摄影图像IM0的平面部分上标记了点群400的所述画面。该方式由于可知摄影图像IM0的平面部分，因此，能够提高便利性。

方式九：

此外，如图5所例示的那样，与上述方式一相对应的印刷控制程序PR1使计算机实现与确定部U1相对应的确定功能FU1、与显示部U2相对应的显示功能FU2、与设定接受部U3相对应的设定接受功能FU3、与印刷指示接受部U4相对应的印刷指示接受功能FU4、以及与控制部U6相对应的控制功能FU6。本方式能够提供能够获得更加符合预期的印刷结果的印刷控制程序。本印刷控制程序PR1也可以使计算机实现与相对位置确定部U5相对应的相对位置确定功能FU5。

方式十：

另外，如图5所例示的那样，与上述方式一相对应的印刷物生产方法包括与确定部U1相对应的确定工序ST1、与显示部U2相对应的显示工序ST2、与设定接受部U3相对应的设定接受工序ST3、与印刷指示接受部U4相对应的印刷指示接受工序ST4、以及与控制部U6相对应的印刷工序ST6。本方式能够提供能够获得更加符合预期的印刷结果的印刷物生产方法。本印刷物生产方法也可以包括与相对位置确定部U5相对应的相对位置确定工序ST5。

方式十一：

此外，本技术的其他方式所涉及的印刷控制装置10为使印刷装置100执行印刷的印刷控制装置10，且具备确定部U1以及控制部U6。如图10等所例示的那样，所述确定部U1基于由摄影传感器21拍摄到的摄影图像IM0和该摄影图像IM0的各像素的被拍摄体距离，将在预定范围的颜色中连续的区域确定为印刷对象ME0。所述控制部U6生成与被确定的所述印刷对象ME0相对应的印刷数据DA1，且使所述印刷装置100执行基于该印刷数据DA1的向所述印刷对象ME0的印刷。

在上述方式十一中，由于基于摄影传感器21所拍摄到的摄影图像IM0和该摄影图像IM0的各像素的被拍摄体距离的在预定范围的颜色中连续的区域被确定为印刷对象ME0，因此，向纵深方向的不连续地方等不适于印刷的区域会从印刷对象ME0中被排除。因此，本方式能够提供可以提高使用便利性的印刷控制装置。

方式十二：

所述确定部U1可以包括将在所述预定范围的颜色中连续的所述区域作为印刷对象候补A0进行提取的提取部U11，也可以包括接受从所述印刷对象候补A0中对所述印刷对象ME0进行确定的操作的印刷对象接受部U12。本方式由于能够使用户从印刷对象候补A0中确定印刷对象ME0，因此，能够进一步提高印刷控制装置的使用便利性。

方式十三：

如图14A、图14B所例示的那样，所述提取部U11也可以以成为预定的大小以上的方式将在所述预定范围的颜色中连续的所述区域作为所述印刷对象候补A0进行提取。该方式由于具有适合于印刷的大小的印刷对象候补A0被提取，因此，能够进一步提高印刷控制装置的使用便利性。

方式十四：

所述控制部U6可以通过如图19所例示的那样将与所述印刷对象ME0对应的原印刷数据DA0和所述印刷对象ME0的形状匹配地进行剪切，从而生成所述印刷数据DA1，也可以使所述印刷装置100执行基于该印刷数据DA1的向所述印刷对象ME0的印刷。本方式由于与印刷对象ME0的形状匹配地实施印刷，因此，能够提高印刷装置的使用便利性。

方式十五：

所述控制部U6可以基于所述摄影图像群G1所包括的摄影图像IM0的视场角θ1(参照图13)，求出正对于所述印刷对象ME0的情况下的所述印刷对象ME0的正对形状(参照图12)，也可以通过与所述正对形状匹配地对所述原印刷数据DA0进行剪切从而生成所述印刷数据DA1，还可以使所述印刷装置100执行基于该印刷数据DA1的向所述印刷对象ME0的印刷。本方式能够提供与印刷对象的形状匹配地实施印刷的优选例。

方式十六：

所述控制部U6可以通过以包括所述印刷对象ME0的方式对与所述印刷对象ME0对应的原印刷数据DA0进行变形，从而生成所述印刷数据DA1，也可以使所述印刷装置100执行基于该印刷数据DA1的向所述印刷对象ME0的印刷。本方式能够在印刷对象的整个面上实施印刷。

方式十七：

所述控制部U6可以基于所述印刷对象ME0与所述摄影传感器21之间的被拍摄体距离L、和所述摄影图像群G1中的所述印刷对象ME0的大小来确定所述印刷对象ME0的尺寸(参照图13)，也可以通过基于所述尺寸对与所述印刷对象ME0对应的原印刷数据DA0进行变形从而生成所述印刷数据DA1，还可以使所述印刷装置100执行基于该印刷数据DA1的向所述印刷对象ME0的印刷。本方式能够与印刷对象的尺寸匹配地实施印刷。

方式十八：

所述控制部U6可以以包括表示所述相对位置关系的信息的方式生成所述印刷数据DA1，也可以将该印刷数据DA1向所述印刷装置100进行发送。本方式能够提供自动地实施印刷装置与印刷对象的位置匹配的优选例。

方式十九：

此外，如图5所例示的那样，与上述方式11相对应的印刷控制程序PR1使计算机实现与确定部U1相对应的确定功能FU1、以及与控制部U6相对应的控制功能FU6。本方式能够提供可以提高使用便利性的印刷控制程序。本印刷控制程序PR1也可以使计算机实现与提取部U11相对应的提取功能FU11、与印刷对象接受部U12相对应的印刷对象接受功能FU12、以及与相对位置确定部U5相对应的相对位置确定功能FU5。

方式二十：

此外，如图5所例示的那样，与上述方式十一相对应的印刷物生产方法包括与确定部U1相对应的确定工序ST1、以及与控制部U6相对应的印刷工序ST6。本方式能够提供可以提高使用便利性的印刷物生产方法。本印刷物生产方法也可以包括与提取部U11相对应的提取工序ST11、与印刷对象接受部U12相对应的印刷对象接受工序ST12、以及与相对位置确定部U5相对应的相对位置确定工序ST5。

另外，本技术能够应用在包括印刷控制装置和印刷装置在内的印刷系统、印刷控制装置的控制方法、印刷系统的控制方法、记录了印刷控制程序的计算机可读取的介质、印刷系统的控制程序、记录了该控制程序的计算机可读取的介质等中。前述的任意的装置也可以由分散的多个部分构成。

(2)印刷系统的具体例：

图1示意性地表示印刷系统的结构例。图1所示的印刷系统SY1包括作为印刷装置的示例的手动扫描型的手持打印机100和作为印刷控制装置的示例的便携型主机装置10。打印机100具有用户能够用手抓握的大小的壳体101。用户通过用手抓握打印机100且使打印机100沿着印刷对象ME0的表面进行滑动，从而能够在印刷对象ME0上印刷图像。另外，打印机100也可以为具有移动用的电机的自走型打印机。在打印机100的上表面上配置有用于对印刷对象ME0与打印机100的相对位置关系进行确定的标识MA1、用于向主机装置10发送印刷请求等的按钮140。虽然打印机100和主机装置10通过无线的方式而被连接，但也可以通过有线的方式而被连接。主机装置10作为将用户想要印刷的图像重叠于摄影图像上的增强现实(Augmented Reality，AR)显示装置而发挥功能，且使用便利性良好，并能够使打印机100输出符合预期的印刷图像IMp。在摄影图像中包含有多个印刷对象候补A0的情况下，用户能够选择印刷图像的印刷对象ME0。

图2示意性地例示出打印机100的底面以及掩码信息IN1。

在打印机100的底面上配置有多个移动量检测传感器130以及记录头150。各移动量检测传感器130具备发光二极管或激光器这样的光源、和对反射光进行检测的光学传感器，且对自己的移动方向以及移动距离进行检测。在图2中示出了，一个移动量检测传感器130处于从记录头150朝向喷嘴排列方向D1的位置，剩余的移动量检测传感器130处于从记录头150朝向与喷嘴排列方向D1相反的方向的位置。当然，各移动量检测传感器130的配置并不限定于图2所示的配置。通过在打印机100上具有多个移动量检测传感器130，从而也可以掌握打印机100的朝向。记录头150包括蓝绿色油墨喷出用的喷嘴列150C、品红色油墨喷出用的喷嘴列150M、黄色油墨喷出用的喷嘴列150Y、以及黑色油墨喷出用的喷嘴列150K。各喷嘴列150C、150M、150Y、150K具有在喷嘴排列方向D1上被排列的多个喷嘴151。各喷嘴151通过喷出油墨滴从而将点形成在印刷对象ME0上。喷嘴列150C、150M、150Y、150K在与喷嘴排列方向D1交叉的方向上、在图2中为与喷嘴排列方向D1正交的方向上进行排列。

掩码信息IN1为用像素单位表示已经印刷的地方的信息，且包括用C表示的蓝绿色的掩码信息、用M表示的品红色的掩码信息、用Y表示的黄色的掩码信息、以及用K表示的黑色的掩码信息。在图2中示出了，在掩码信息IN1中的多个像素PX中的印刷完成的像素中存放有印刷完成标志FL1的情况。掩码信息IN1既可以被存放在主机装置10中，也可以被存放在打印机100中，还可以被存放在主机装置10和打印机100这双方中。

图3示意性地例示出打印机100的结构。图3所示的打印机100具备控制器110、通信I/F120、一个以上的移动量检测传感器130、一个以上的按钮140、记录头150、以及电源190。在此，I/F为接口(interface)的简称。电源190向打印机100的各部供给电力。对于电源190，能够使用包含充电电池的电池、太阳能电池、来自供电电缆的受电电路等。

控制器110包括CPU111、ROM112、RAM113、存储装置114等。这些要素111～114等通过被电连接从而能够彼此输入输出信息。即，打印机100也为一种计算机。存储装置114存储了能够使计算机作为打印机100而发挥功能的固件FW1等。在存储装置114中，能够使用称为闪存存储器的非易失性半导体存储器等。

通信I/F120能够与图4所示的主机装置10的通信I/F17进行无线通信，且能够将基于移动量检测传感器130的检测结果的相对位置信息向主机装置10进行发送，或从主机装置10接收印刷数据DA1。对于通信I/F120、通信I/F17，能够使用基于无线LAN、Wi-Fi直接通信、近距离无线通信、LTE通信、红外线通信这样的标准的通信I/F。在此，LAN为局域网(Local Area Network)的简称，LTE为长期演进技术(Long Term Evolution)的简称。

记录头150具备使油墨滴从各喷嘴151喷射的驱动电路152。在驱动电路152中，能够使用驱动压电元件的电路、驱动热敏元件的电路等，其中，所述压电元件对与各喷嘴151连通的圧力室的液体施加压力，所述热敏元件通过热量而针对各圧力室的液体产生气泡。通过油墨滴喷落在印刷对象上，从而使与来自主机装置10的印刷数据DA1相对应的印刷图像IMp被形成在印刷对象上。

图4示意性地例示出主机装置10的结构。图4所示的主机装置10具备CPU11、ROM12、RAM13、存储装置14、输入装置15、显示器16、通信I/F17、摄像机20等。这些要素11～17、20等通过被电连接从而能够彼此输入输出信息。主机装置10也具备未图示的电源。对于主机装置10，能够使用智能手机或平板终端这样的便携终端、数字静态相机或数码摄像机这样的数码相机、个人计算机等。

存储装置14对使计算机作为印刷控制装置而发挥功能的印刷控制程序PR1等进行了存储。对于存储装置14，能够使用称为闪存存储器的非易失性半导体存储器等。

对于输入装置15，能够使用被贴附于显示器16的表面上的触摸面板、定点设备、包含键盘的硬键等。对于显示器16，能够使用液晶面板这样的显示面板等。通信I/F17能够与打印机100的通信I/F120进行无线通信，且能够从打印机100接收基于移动量检测传感器130的检测结果的相对位置信息，或者将印刷数据DA1向打印机100进行发送。

摄像机20具备摄影传感器21和对焦控制器25，且具有能够对变焦倍率进行变更的变焦功能。

摄影传感器21具备多个摄像元件22、未图示的光学镜头系统、未图示的自动增益控制器、未图示的模拟数字转换器等，且通过摄影从而生成摄影图像IM0，并存储在RAM13中。在多个摄影图像IM0以预定的时间间隔被生成时，摄影图像群被生成。对于摄像元件22，能够使用CCD图像传感器等。在此，CCD为电荷耦合器件(Charge-Coupled Device)的简称。

对焦控制器25具备对被拍摄体距离L进行测量的测距部26、控制对焦距离f的焦点控制部27以及AF部28。在此，AF为自动对焦(auto focus)的简称。对于测距部26，能够使用通过主动方式、被动方式中的任意一个方式或者并用从而对被拍摄体距离L进行测量的单元。在此，主动方式的测距部通过例如对被拍摄体照射红外线或者超声波、并对反射波与方向一起进行检测，从而对被拍摄体距离L进行测量。被动方式的测距部不使用红外线等，而通过对来自被拍摄体的光与方向一起进行检测，从而对被拍摄体距离L进行测量。也可以采用相位差检测方式或对比度检测方式。焦点控制部27实施在预定的范围内改变对焦距离f的控制。AF部28基于由测距部26所获得的被拍摄体距离L来确定对焦距离f，且将设为该距离f的指示发给焦点控制部27。

当然，上述的对焦控制器25的结构只不过为一个示例，在对焦控制器中，能够采用各种各样的结构。

图5示意性地例示出印刷控制程序PR1使主机装置10实现的多个功能。图5所示的印刷控制程序PR1使主机装置10实现包括提取功能FU11和印刷对象接受功能FU12在内的确定功能FU1、显示功能FU2、设定接受功能FU3、印刷指示接受功能FU4、相对位置确定功能FU5、以及控制功能FU6。

主机装置10的CPU11通过适当地将被存储于存储装置14中的信息读出到RAM13中，并执行所读出的程序，从而实施各种处理。CPU11通过执行被读出到RAM13中的印刷控制程序PR1，从而实施与上述的功能FU1～FU6相对应的处理。印刷控制程序PR1使作为计算机的主机装置10作为包括提取部U11和印刷对象接受部U12在内的确定部U1、显示部U2、设定接受部U3、印刷指示接受部U4、相对位置确定部U5、以及控制部U6而发挥功能。此外，执行印刷控制程序PR1的主机装置10实施包括提取工序ST11和印刷对象接受工序ST12在内的确定工序ST1、显示工序ST2、设定接受工序ST3、印刷指示接受工序ST4、相对位置确定工序ST5、以及印刷工序ST6。存储了印刷控制程序PR1的计算机可读取的介质并不限定于主机装置内的存储装置，也可以为主机装置外的记录介质。

(3)印刷系统的处理的具体例：

图6、图7示意性地例示出主机装置10所实施的印刷控制处理。图8示意性地例示出在图6的步骤S102中所实施的印刷对象候补提取处理。主机装置10通过多任务从而并列执行多个处理。在此，图8的步骤S202～S216和图6的步骤S104～S110与确定部U1、确定功能FU1、以及确定工序ST1相对应。图8的步骤S202～S216与提取部U11、提取功能FU11、以及提取工序ST11相对应。图6的步骤S110与印刷对象接受部U12、印刷对象接受功能FU12、以及印刷对象接受工序ST12相对应。图8的步骤S218和图6的步骤S112～S114、S118与显示部U2、显示功能FU2、以及显示工序ST2相对应。图6的步骤S116与印刷指示接受部U4、印刷指示接受功能FU4、以及印刷指示接受工序ST4相对应。图6的步骤S120与相对位置确定部U5、相对位置确定功能FU5、以及相对位置确定工序ST5相对应。图7的步骤S132与相对位置确定部U5、相对位置确定功能FU5、以及相对位置确定工序ST5相对应。图7的步骤S134～S140与控制部U6、控制功能FU6、以及印刷工序ST6相对应。以下，省略“步骤”的记载，并在括弧内显示各步骤的符号。

当用户将使印刷控制程序PR1执行的操作在主机装置10上实施时，印刷控制处理开始。例如，在主机装置10为智能手机、且印刷控制程序PR1为手持打印机应用程序的情况下，用户只要将使手持打印机应用程序起动的操作在智能手机上实施即可。当印刷控制处理开始时，主机装置10实施图8所例示的印刷对象候补提取处理(S102)。

当图8所示的印刷对象候补提取处理开始时，在摄像机20未进行动作的情况下，主机装置10使摄像机20起动，且以泛焦(Pan focus)来实施摄影，并取得摄影图像IM0(S202)。被拍摄体的假想为如图9所例示的那样的印刷对象候补A1、A2。在图9中，示出了在桌子这样的台B1之上放置有印刷对象候补A1、A2的情况。另外，在统称印刷对象候补的情况下，使用符号A0，在单独地对印刷对象候补进行说明的情况下，使用符号A1、A2。

然后，主机装置10利用测距部26对摄影图像IM0中的各像素的被拍摄体距离进行测量(S204)。

在取得摄影图像IM0后，主机装置10实施从摄影图像IM0中取得成为印刷对象的候补的临时的印刷对象候补的处理。图10示意性地例示出临时的印刷对象候补TA的区域。之所以称为“临时的印刷对象候补”是因为在之后的处理中会将小于预定大小的“临时的印刷对象候补”从印刷对象候补中去除的缘故。

临时的印刷对象候补TA为例如大致相同的淡色连续的区域。具体而言，将在相当于淡色的范围内所含的像素作为基准像素PX0，并将基准像素PX0的邻接像素中的、使用测距部26测量出的距离为相同或者附近、且与基准像素在颜色和预定的颜色空间上的距离为阈值以下的像素以被包含在与基准像素PX0相同的区域中的方式进行处置。

首先，主机装置10从摄影图像IM0的所有像素依次对基准像素PX0进行设定(S206)。在图10中，由测距部26测量出的基准像素PX0的被拍摄体距离被示为Lp0。

在基准像素PX0的设定后，主机装置10以基准像素PX0为基准而从摄影图像IM0中取得临时的印刷对象候补TA(S208)。例如，主机装置10首先取得邻接像素PX1，所述邻接像素PX1为，相对于基准像素PX0在纵横方向上邻接的邻接像素中的、使用测距部26测量出的距离为相同或者附近、且与基准像素PX0在颜色和预定的颜色空间上的距离为阈值以下的像素。另外，如果距离的差分为阈值以内，则判断为在附近。该邻接像素PX1成为与基准像素PX0相同的临时的印刷对象候补TA内的像素。在图10中，由测距部26测量出的邻接像素PX1的距离被表示为Lp1。在相同的临时的印刷对象候补TA内是指，例如|Lp1-Lp0|为预定的阈值以下的意思。

另外，关于颜色，也可以不是预定的颜色空间上的距离，而是将颜色的各成分值的全部或者色调和饱和度被包含在以基准像素为中心的预定大小的范围中的像素，以被包含在相同的区域中的方式进行处置。

主机装置10反复实施S206～S208的处理，直到从摄影图像IM0对基准像素PX0全部进行设定为止(S210)。在S206～S210的处理后，主机装置10通过对摄影图像IM0中的基准像素PX0和邻接像素PX1邻接的地方进行连接，且选择淡色的区域，从而取得临时的印刷对象候补TA(S212)。淡色是指例如由像素值所示的亮度或明度为预定值以上的颜色。在像素值由RGB值来表现的情况下，在亮度中，能够使用R值、G值和B值的相加平均、使权重不同的R值、G值和B值的平均等。在此，R的意思是指红色，G的意思是指绿色，B的意思是指蓝色。

接下来，主机装置10根据临时的印刷对象候补TA是否为预定大小以上而使处理分支(S214)。在临时的印刷对象候补TA小于预定大小的情况下，主机装置10以不将临时的印刷对象候补TA作为印刷对象候补的方式使处理进入S218。在临时的印刷对象候补TA为预定大小以上的情况下，主机装置10将临时的印刷对象候补TA设定为印刷对象候补A0(S216)，且使处理进入S218。该大小为作为临时的印刷对象候补TA的实际大小而被推定出的大小，并非摄影图像IM0上的大小。

摄影图像IM0中所包含的被拍摄体并不限于与摄影传感器21正对，在大多数的情况下，从正对的朝向偏移。因此，能够使用周知的各种各样的方法来对临时的印刷对象候补TA的实际大小进行推定，在下文中对推定方法的一个示例进行说明。图11示意性地例示出被拍摄体Ob从与摄影传感器21正对的朝向起偏移了角度θ2的状况。在图11中，示出从摄影传感器21到被拍摄体Ob为止的距离Lp11、Lp12、Lp13、Lp14、Lp15依次变长的情形。因此，如图12所例示的那样，对以主机装置10的摄影传感器21为基准的三维的摄像机坐标系300、和以打印机100的标识MA1为基准的三维的打印机坐标系310进行设定，且适当地对坐标系300、310进行变换。在摄影图像IM0中未包含有打印机100的情况下，只要对使临时的印刷对象候补TA、印刷对象候补A0或者印刷对象ME0与Xp-Yp平面对齐的打印机坐标系310进行设定即可。

在图12所示的摄像机坐标系300中，使显示器16的摄影图像IM0与Xc-Yc平面对齐，且使Zc轴与从摄影传感器21朝向被拍摄体Ob的方向对齐。Xc轴、Yc轴和Zc轴彼此正交。被拍摄体Ob的Zc坐标为被拍摄体距离L。

在图12所示的打印机坐标系310中，使打印机100的上表面与Xp-Yp平面对齐，且使Zp轴与从标识MA1朝向印刷对象ME0的方向对齐。Xp轴、Yp轴和Zp轴彼此正交。打印机100的底面、临时的印刷对象候补TA、印刷对象候补A0、以及印刷对象ME0成为沿着Xp-Yp平面的朝向。也能够以将打印机100的角这样的特征部作为标识MA1的方式来对打印机坐标系310进行设定。

如果知道摄影图像IM0中所包括的被拍摄体Ob的从正对位置起的倾斜，则能够通过利用了三维的系数矩阵的行列式，而将摄像机坐标系300的坐标值(Xc、Yc、Zc)变换为打印机坐标系310的坐标值(Xp、Yp、Zp)。此外，能够通过使用了前述的系数矩阵的逆矩阵的行列式，从而将打印机坐标系310的坐标值(Xp、Yp、Zp)变换为摄像机坐标系300的坐标值(Xc、Yc、Zc)。摄影图像IM0中所包括的被拍摄体Ob的从正对位置起的倾斜能够根据将测距部26所测量出的摄影图像IM0中的各像素的被拍摄体距离设为Zc坐标的被拍摄体Ob的三维坐标值(Xc、Yc、Zc)进行计算。

图13为用于示意性地对求出被拍摄体Ob的尺寸的示例进行说明的图。首先，进行以下说明，即，假设为被拍摄体Ob与摄影传感器21正对的朝向的说明。在图13中，尺寸SZ0为某个摄影图像IM0被摄影时的被拍摄体Ob中的某个朝向的长度，且例如以米为单位，尺寸SZ1为前述的摄影图像IM0被摄影时的摄影范围350中的前述的朝向的长度，且例如以米为单位，像素数NU0为摄影图像IM0中的被拍摄体Ob中的前述的朝向的像素数，像素数NU1为摄影图像IM0中的前述的朝向的像素数。当使用前述的朝向中的摄影范围350的视场角θ1时，作为简单的计算例，摄影范围350的尺寸SZ1通过如下的计算式被计算出来。

SZ1＝2Ltan(θ1/2)

此外，被拍摄体Ob的尺寸SZ0通过如下的计算式被计算出来。

SZ0＝(NU0/NU1)SZ1

实际上，被拍摄体Ob未与摄影传感器21正对的情况较多。在被拍摄体Ob从与摄影传感器21正对的朝向起偏移了角度θ2的情况下，作为简单的计算例，被拍摄体Ob的尺寸SZ2通过如下的计算式被计算出来。

SZ2＝SZ0/cosθ2

通过以上，基于被拍摄体距离L和摄影图像IM0中的被拍摄体Ob的大小从而确定了被拍摄体Ob的尺寸SZ0。此外，由于视场角θ1根据变焦倍率而变化，因此，被拍摄体Ob的尺寸SZ0根据视场角θ1而变化。

临时的印刷对象候补TA在被变换于打印机坐标系310的Xp-Yp平面上的基础之上，判断大小。Xp-Yp平面上的临时的印刷对象候补TA为例如基于摄影图像IM0的视场角θ1而被求出的正对形状。临时的印刷对象候补TA的大小既可以如图14A所例示的那样基于面积被判断，也可以如图14B所例示的那样基于Yp轴方向上的长度即高度被判断。

如图14A所示，在连接处理后，与面积的阈值TS相比较大的面积S1的临时的印刷对象候补TA、以及与阈值TS相比较小的面积S2的临时的印刷对象候补TA被提取出来。阈值TS能够设为例如图2所示的喷嘴列150C、150M、150Y、150K的喷嘴排列方向D1上的长度的平方的程度，但是并未被限定。S1＞TS的临时的印刷对象候补TA被设定为适于印刷的印刷对象候补A1。S2＜TS的临时的印刷对象候补TA为不适于印刷的区域A9。

如图14B所示，在连接处理后，与高度的阈值TH相比较高的高度H1的临时的印刷对象候补TA、以及与阈值TH相比较低的高度H2的临时的印刷对象候补TA被提取出来。阈值TH能够设为例如图2所示的喷嘴列150C、150M、150Y、150K的喷嘴排列方向D1上的长度的程度，但是并未被限定。H1＞TH的临时的印刷对象候补TA被设定为适于印刷的印刷对象候补A1。H2＜TH的临时的印刷对象候补TA为不适于印刷的区域A9。

在印刷对象候补A0的设定后，如图15所例示的那样，主机装置10在所显示的摄影图像IM0的平面部分上标记点群400，且在印刷对象候补A0上标记预定的颜色(S218)，并结束印刷对象候补提取处理。主机装置10取得处于印刷对象候补A0的背景中的平滑的面的打印机坐标系310的三维坐标值，且基于该三维坐标值提取摄影图像IM0的平面部分，并在该平面部分上标记点群400。被显示于显示器16上的摄影图像IM0为在S202中在对好焦时的对焦距离f下的静止画面，但是并未被限定。图15示出了从摄影图像IM0中提取了印刷对象候补A1、A2的示例。图15所示的点群400为了清楚地表示摄影图像中的平面部分而被设为白点的集合。由于在摄影图像IM0的平面部分上标记点群400，因此，用户可知摄影图像IM0的平面部分，也可知存在主机装置10未正确地识别出摄影图像IM0的平面部分的不良情况。为了使图15所示的印刷对象候补A1、A2在摄影图像IM0之中显眼，该印刷对象候补A1、A2并非白色的，而是标记了明亮的颜色。

在印刷对象候补提取处理的结束后，主机装置10根据在摄影图像IM0上是否有印刷对象候补A0而使处理分支(图6的S104)。在摄影图像IM0中无印刷对象候补A0的情况下，主机装置10使通知无印刷对象候补的显示出现在显示器16上(S106)，且返回至S102。通过用户使主机装置10移动来反复实施印刷对象候补提取处理，直到在摄影图像中包括有一个以上的印刷对象候补A0为止。

在摄影图像IM0中有一个以上的印刷对象候补A0的情况下，主机装置10接受从一个以上的印刷对象候补A0中选择印刷对象的操作(S110)。例如，关于摄影图像IM0中的印刷对象候补A0，使显示器16能够分别区别地显示各印刷对象候补A0，且督促用户实施将哪个印刷对象候补A0设为印刷对象的选择。在用户接受其并选择一个印刷对象候补A0时，主机装置10将被选择的印刷对象候补A0作为印刷对象来进行选择。返回至S102，并反复进行印刷对象候补提取处理，直到印刷对象被选择为止。由此，用户通过使主机装置10进行移动直到选择一个印刷对象候补A0为止，从而能够选择用户想要实施印刷的介质。另外，也可以设为以下方式，即，用户能够通过触摸想要设为印刷对象ME0的印刷对象候补A0的显示，从而选择印刷对象候补A0的方式。在下文中，以在图15的显示中对印刷对象候补A1进行触摸而将印刷对象候补A1选择为印刷对象ME0的情况为示例实施说明。

在印刷对象ME0确定后，主机装置10接受对向印刷对象ME0的印刷所使用的原印刷数据进行指定的操作(S112)。

图16示意性地例示出在显示器16上显示了原图像选择画面的主机装置10。原图像选择画面包括能够使用于向印刷对象ME0的印刷的一个以上的原图像OR0。对于各原图像OR0，能够使用原印刷数据的缩略图图像。例如，主机装置10只要实施以下处理即可，即，将原图像OR0的缩略图图像排列显示在显示器16上，且由输入装置15来接受从被显示的一个以上的缩略图图像中的任意一个的缩略图图像的选择操作的处理。例如，当用户触摸某一缩略图图像时，与被触摸的缩略图图像相对应的原印刷数据DA0被指定作为向印刷对象ME0的印刷用。在图16中，示出了作为被触摸的缩略图图像的原图像OR1。

在原印刷数据DA0指定后，主机装置10在显示器16上实施在三维坐标系中将原图像OR0的预览图像IP0重叠在摄影图像IM0上的混合现实(Mixed Reality，MR)显示(S114)。以下，将混合现实(Mixed Reality)显示称为MR显示。

图17A、图17B示意性地例示出以摄影图像IM0为基础而在图12所示的三维的摄像机坐标系300中实施预览图像IP0的MR显示的状况。在图17A、图17B中，用实线来表示预览图像IP0，用双点划线来表示印刷对象ME0。为了便于理解，在图17A、图17B所示的各场景上标记了符号501、502、511～514。

原印刷数据DA0作为图12所示的打印机坐标系310的Xp-Yp平面上的数据而被准备。首先，如图17A所示的场景502那样，主机装置10在Xp-Yp平面上配置印刷对象ME0的正对形状和原印刷数据DA0。在本实施例中，主机装置10如场景502那样以与印刷对象ME0外接的方式来配置预览图像IP0，且与印刷对象ME0的形状匹配地进行修剪。在初始状态下，并非场景501而是如场景502那样，并不存在印刷对象ME0的一部分从原印刷数据DA0露出的情况。

在预览图像IP0变形后，如图17B所示的场景511的那样，主机装置10通过将Xp-Yp平面上的原印刷数据DA0变换为摄像机坐标系300，从而生成与Xc-Yc平面匹配的预览图像IP0。主机装置10只要在显示器16上实施将该预览图像IP0重叠在摄影图像IM0上的MR显示即可。基于摄影图像IM0的预览图像IP0的MR显示可称为增强现实显示。

在预览图像IP0的MR显示后，主机装置10在三维坐标中接受预览图像IP0相对于印刷对象ME0的排版的设定(S116)。图18示意性地例示出接受预览图像IP0相对于印刷对象ME0的排版的设定的画面。例如，只要主机装置10实施由输入装置15接受使被显示于显示器16上的预览图像IP0滑动的接触操作、对预览图像IP0的大小进行变更的接触操作、对预览图像IP0在Xp-Yp平面上的旋转角度进行变更的接触操作中的至少一个的处理即可。

例如，在用户实施使场景511的预览图像IP0向上滑动的操作时，如场景512那样以Xp-Yp平面为基准而使预览图像IP0向上进行滑动。此时，主机装置10只要将三维的预览图像IP0转换为打印机坐标系310，且在Xp-Yp平面上使预览图像IP0进行滑动之后，将滑动后的预览图像IP0变换为摄像机坐标系300，并将坐标变换后的预览图像IP0重叠在摄影图像IM0上即可。在预览图像IP0除了向上之外，向例如下、左或者右进行滑动的情况下，主机装置10也只要实施类似的处理即可。

在用户实施改变场景511的预览图像IP0的旋转角度的操作时，如场景513那样将Xp-Yp平面作为基准且预览图像IP0的旋转角度改变。此时，主机装置10只要将三维的预览图像IP0变换为打印机坐标系310，且在Xp-Yp平面上对预览图像IP0的旋转角度进行变更之后，将变更后的预览图像IP0变换为摄像机坐标系300，并将坐标变换后的预览图像IP0重叠在摄影图像IM0上即可。改变旋转角度的操作既可以为将预览图像IP0向右转进行改变的操作，也可以为将预览图像IP0向左转进行改变的操作。

在用户实施改变场景511的预览图像IP0的大小的操作时，如场景514那样以Xp-Yp平面为基准且预览图像IP0的大小改变。此时，主机装置10只要将三维的预览图像IP0变换为打印机坐标系310，且在Xp-Yp平面上对预览图像IP0的大小进行变更之后，将变更后的预览图像IP0转变为摄像机坐标系300，并将坐标变换后的预览图像IP0重叠在摄影图像IM0上即可。改变大小的操作既可以为将预览图像IP0以等倍或者变倍进行放大的操作，也可以为将预览图像IP0以等倍或者变倍进行缩小的操作。

如上所述，在三维坐标中预览图像IP0相对于印刷对象ME0的相对位置被设定。另外，主机装置10只要能够利用一些方法接受预览图像IP0的相对位置的设定即可。因此，可以设为无法对预览图像IP0的旋转角度进行变更，也可以设为无法对预览图像IP0的大小进行变更，还可以设为无法使预览图像IP0滑动。

另外，当用户使主机装置10进行移动时，从已经被拍摄到的图像发生改变。因此，主机装置10根据自己的移动或者周期性地实施图6的S102、S114、S116的处理，且使显示器16显示在摄影图像IM0上重叠了预览图像IP0后获得的画面。

在预览图像IP0的相对位置的设定后，如图19所例示的那样，主机装置10在显示器16中实施MR显示，所述MR显示为，将与印刷对象ME0匹配地对根据需要被变形的预览图像IP0进行了修剪后获得的修剪图像IT0重叠于摄影图像IM0的显示(S118)。在图19中，用实线来表示预览图像IP0、原印刷数据DA0、印刷数据DA1、以及修剪图像IT0，且用双点划线来表示印刷对象ME0。为了便于理解，在图19所示的各场景上标记了符号521～524。

图19的场景521示出了在摄像机坐标系300的Xc-Yc平面中预览图像IP0相对于印刷对象ME0的相对位置的示例。首先，如场景522那样，主机装置10根据Xc-Yc平面中的预览图像IP0的相对位置在打印机坐标系310的Xp-Yp平面上配置原印刷数据DA0。接下来，如场景523所示的那样，主机装置10通过在Xp-Yp平面中与印刷对象ME0的正对形状匹配地对原印刷数据DA0进行修剪，从而生成临时的印刷数据DA2。标记“临时的”的原因是，在场景521所示的状态下预览图像IP0的相对位置确定，并且打印机100与印刷对象ME0的相对位置关系被确定的情况下，被修剪后的原印刷数据DA0如果被添加前述的相对位置关系，则能够作为印刷数据DA1而沿用。最后，如场景524所示的那样，主机装置10通过将Xp-Yp平面上的临时的印刷数据DA2变换为摄像机坐标系300从而生成修剪图像IT0，且将该修剪图像IT0重叠在摄影图像IM0上。由此，如图20所例示的那样，在显示器16中，实施将修剪图像IT0重叠于摄影图像IM0上的MR显示，所述修剪图像IT0为，在三维坐标中与印刷对象ME0匹配地对预览图像IP0进行了修剪后获得的图像。在此，主机装置10也根据自己的移动或者周期性地实施图6的S102、S118的处理，且使显示器16显示在新的摄影图像IM0上重叠了修剪图像IT0后获得的画面。

另外，在预览图像IP0未从印刷对象ME0露出的情况下，由于无需对预览图像IP0进行修剪，因此，只要跳过S118的处理即可。

在修剪图像IT0的MR显示后，主机装置10根据是否接受被设定的相对位置下的印刷数据DA1的印刷指示而使处理分支(S120)。主机装置10在未接受印刷指示的情况下反复进行S116～S120的处理，在接受了印刷指示的情况下，进入图7的S132。例如，主机装置10也可以在显示器16上显示未图示的确定按钮，且在由输入装置15接受向该确定按钮的接触操作时，以接受到印刷指示的方式使处理进入S132中。如果用户不触摸确定按钮，则能够多次变更预览图像IP0的排版。此外，主机装置10也可以将与印刷对象ME0一起接受到对打印机100进行拍摄的操作的情况作为接受了印刷指示的情况，并使处理进入S132中。

在印刷指示的接收后，主机装置10在印刷对象ME0和打印机100这双方被识别时，对两者进行拍摄，且对所获得的摄影图像IM0中所包括的打印机100与印刷对象ME0之间的相对位置关系进行确定(S132)。

图21示意性地例示出将包括打印机100和印刷对象ME0在内的摄影图像IM0在显示器16中进行显示的主机装置10。在图21所示的摄影图像IM0上，与印刷对象ME0匹配地重叠有修剪图像IT0。首先，主机装置10在三维的摄像机坐标系300中，求出印刷对象ME0和打印机100的坐标。在打印机100的坐标中也包括标识MA1的坐标。在此，主机装置10也能够基于摄影传感器21所拍摄到的摄影图像IM0、和测距部26所测量出的摄影图像IM0中的各像素的被拍摄体距离，而求出印刷对象ME0和打印机100的上表面的Zc轴坐标。接下来，主机装置10将摄像机坐标系300中的印刷对象ME0以及打印机100的三维坐标值(Xc、Yc、Zc)变换为打印机坐标系310中的三维坐标值(Xp、Yp、Zp)。于是，主机装置10能够在打印机坐标系310的Xp-Yp平面上以标识MA1为基准而对打印机100与印刷对象ME0之间的相对位置关系进行确定。例如，在Xp-Yp平面上，当将标识MA1设为原点时，图2所示的打印机100的各喷嘴151的坐标确定，且被设定于印刷对象ME0上的各像素的坐标确定。由此，打印机100与印刷对象ME0的相对位置关系被确定。

在显示器16中重叠于印刷对象ME0上的修剪图像IT0的MR显示能够通过类似于图6的S118的处理来实现。如图19的场景522那样，在打印机坐标系310的Xp-Yp平面上原印刷数据DA0相对于印刷对象ME0的相对位置被设定。因此，主机装置10只要如场景523所示那样在Xp-Yp平面中与印刷对象ME0的正对形状匹配地对原印刷数据DA0进行修剪，如场景524所示的那样将Xp-Yp平面上的临时的印刷数据DA2变换为摄像机坐标系300，且将所获得的修剪图像IT0重叠在摄影图像IM0上即可。

另外，打印机100与印刷对象ME0的相对位置关系即使不使用标识也能够进行确定。例如，在打印机100上可能存在多个角、按钮140这样的多个特征点。因此，主机装置10可以由摄影图像IM0求出摄像机坐标系300中的一个以上的特征点的三维坐标值，且将任意的特征点作为原点而在打印机坐标系310中对打印机100与印刷对象ME0的相对位置关系进行确定。此外，当从一个摄影图像IM0中提取具有大致长方体的壳体101的打印机100的八处角中的四处以上的角时，能够基于提取结果，求出印刷对象ME0和打印机100的上表面的Zc轴坐标。因此，主机装置10也可以将所提取的特征点中的任意的特征点作为原点而在打印机坐标系310中对打印机100与印刷对象ME0的相对位置关系进行确定。

在相对位置关系确定后，主机装置10通过在三维的打印机坐标系310中与印刷对象ME0的正对形状匹配地剪切与相对于印刷对象ME0而被设定的排版匹配的原印刷数据DA0，从而生成印刷数据DA1(S134)。印刷数据DA1包括打印机100与印刷对象ME0的相对位置关系，例如，能够设为，在打印机坐标系310的Xp-Yp平面上，在以标识MA1为原点的坐标值(Xp、Yp)上表示各像素的点的形成状态的点数据。点数据能够作为例如关于各像素而表示蓝绿色油墨的点的有无、品红色油墨的点的有无、黄色油墨的点的有无、以及黑色油墨的点的有无的数据。通过在S132的处理中，在打印机坐标系310的Xp-Yp平面中，与印刷对象ME0的正对形状匹配地对原印刷数据DA0进行修剪，从而生成临时的印刷数据DA2的情况下，主机装置10也可以通过在临时的印刷数据DA2上添加表示相对位置关系的信息，从而生成印刷数据DA1。

在印刷数据DA1的生成后，主机装置10待机直到从打印机100有印刷请求为止(S136)。例如，当用户使手持打印机100滑动至想要进行印刷的地方并按压或按下按钮140等时，打印机100只要将作为使对应的印刷位置的印刷开始的印刷触发器的印刷请求向主机装置10进行发送即可。图2所示的打印机100基于由各移动量检测传感器130检测出的移动方向以及移动距离，计算出自己在打印机坐标系310的Xp-Yp平面上的坐标值以及朝向。因此，打印机100只要与印刷请求匹配地将自己的坐标值以及朝向向主机装置10进行发送即可。

接收到了印刷请求的主机装置10将所准备的印刷数据DA1中的与印刷位置相对应的部分的数据向打印机100进行发送(S138)。主机装置10在接收打印机100的坐标值以及朝向时，考虑打印机100的朝向而生成分配给各喷嘴151的部分点数据，且将该部分点数据向打印机100进行发送。此外，主机装置10将图2所示的掩码信息存放在图4所示的RAM13中，且对于存放有印刷完成标记FL1的像素分配无点。接收到部分点数据的打印机100在通过用户的操作进行滑动时，根据部分点数据而从记录头150向印刷对象ME0喷出油墨滴。

主机装置10反复实施S136～S138的处理直到结束印刷为止(S140)，在结束印刷时，使印刷控制处理结束。由于反复S136～S140的处理，因此，如图1所示的那样，在印刷对象ME0中的用户使打印机100滑动的部分上形成有印刷图像IMp，从而形成印刷物。

如上所述，主机装置10通过针对原印刷数据DA0实施与预览图像IP0匹配的变更，从而生成与被确定的印刷对象ME0相对应的印刷数据DA1，且使打印机100执行基于该印刷数据DA1的向印刷对象ME0的印刷。此外，主机装置10以包括印刷对象ME0的方式将原印刷数据DA0与相对于印刷对象ME0而被设定的相对位置匹配地进行变形，且使打印机100执行基于如下的印刷数据DA1的向印刷对象ME0的印刷，所述印刷数据DA1为将变形后的原印刷数据DA0与印刷对象ME0的正对形状匹配地进行了修剪后获得的印刷数据。

如以上所说明的那样，通过实施图8所示的印刷对象候补提取处理，从而基于摄影传感器21所拍摄到的摄影图像IM0和测距部26所测量到的摄影图像IM0中的各像素的被拍摄体距离，将在预定范围的颜色中连续的区域作为印刷对象候补A0进行确定，且将该印刷对象候补A0的任意一个作为印刷对象ME0进行确定。由此，向纵深方向的不连续地方等不适于印刷的区域从印刷对象ME0中被排除。因此，本具体例能够提高使用便利性。

此外，由于实施图6中所示的S112～S118中的修剪图像IT0的MR显示处理，因此，与印刷对象ME0相比较大的原印刷数据DA0被处置，且在从印刷对象ME0露出的部分上未重叠有预览图像IP0。由此，用户能够容易地三维性地对预想的印刷结果进行确认。因此，本具体例能够获得更加符合预期的印刷结果。

(4)变形例：

本发明可以考虑各种的变形例。

例如，在印刷对象上形成图像的油墨的种类除了包括蓝绿色、品红色、黄色、以及黑色之外，也可以包括与蓝绿色相比较低浓度的淡蓝绿色、与品红色相比较低浓度的淡品红色、白色的白(white)、赋予光泽的透明等。此外，即使在不使用蓝绿色、品红色、黄色、以及黑色的一部分油墨的情况下，也能够应用本技术。

此外，进行修剪且显示这样的情况并不限于，删除向原稿的外侧露出的部分而仅显示原稿的内侧的情况。也包括用于以能够供用户进行识别的方式显示被包含于原稿之内还是之外的各种各样的处理。例如，将向原稿的外侧露出的部分的颜色或者浓度与原稿的内侧有所改变、或者使向原稿的外侧露出的部分闪烁等也被包含在进行修剪且显示的情况中。

也可以在提取了印刷对象候补A0之后，根据用户的指示，实施印刷对象候补A0的变形或多个印刷对象候补A0的整合等、印刷对象候补A0的修正。

上述的处理能够以更改顺序或同时地实施等的方式适当地进行变更。例如，能够消除图8所示的S214的处理，无管大小如何，都能够将临时的印刷对象候补TA设定为印刷对象候补A0。此外，也能够不将临时的印刷对象候补TA设定为印刷对象候补A0，而是直接设定为印刷对象ME0。

虽然图7示出了主机装置10接受针对将手持打印机100罩在印刷对象ME0上的范围的印刷请求、且以划分成多个的方式向打印机100发送印刷数据DA1的示例，但是主机装置10也可以事先将所有的印刷数据DA1向打印机100进行发送。接收到所有的印刷数据DA1的打印机100也可以依次生成部分的点数据，且根据该部分的点数据从记录头150向印刷对象ME0喷出油墨滴，所述部分的点数据为将印刷数据DA1中的与印刷位置相对应的部分的数据分配给各喷嘴151的数据。

虽然图8的S202～S216示出了基于摄影传感器21所拍摄到的摄影图像IM0和测距部26所测量到的摄影图像IM0中的各像素的被拍摄体距离来对印刷对象候补A0进行设定的示例，但是在未实施上述的方式十一的情况下，也可以利用其它方法来设定印刷对象候补A0。

例如，主机装置10既可以通过使用景深和多焦从而从摄影图像IM0中提取印刷对象候补A0、桌子、白板等平滑的面，也可以通过由人工智能实施的图像识别从而从摄影图像IM0中提取印刷对象候补A0等平滑的面。此外，在主机装置10具备深度摄像机的情况下，主机装置10通过从深度摄像机取得摄像机坐标系300的Zc坐标值从而从摄影图像IM0中提取印刷对象候补A0等。另外，主机装置10也可以根据摄影图像IM0的多个像素值来生成直方图，且基于该直方图从摄影图像IM0中提取印刷对象候补A0等。另外，主机装置10也可以通过针对摄影图像IM0应用过滤器或者掩码，从而从摄影图像IM0中提取印刷对象候补A0等。在这些情况下，用于提取印刷对象候补A0等的摄影图像IM0也可以为一张。

虽然图21示出了通过对打印机100和印刷对象ME0这双方进行拍摄从而对两者的相对位置关系进行确定的示例，但是即使不对打印机100进行拍摄，也能够对打印机100与印刷对象ME0的相对位置关系进行确定。例如，主机装置10也可以使显示器16显示在包括印刷对象ME0的摄影图像IM0上重叠了表示原点的原点图像的画面。在这种情况下，只要看到显示器16的画面的用户实施在原点图像的位置放置打印机100之后使其滑动的操作即可。于是，印刷数据DA1被印刷在印刷对象ME0上。

图6的S102的印刷对象候补提取处理并不限定于图8中所示的印刷对象候补提取处理，能够进行各种各样的处理。

图22示意性地例示出在图6的S102中能够执行的印刷对象候补提取处理。在此，S302～S316与提取部U11、提取功能FU11、以及提取工序ST11相对应。S318和图6的S112～S114、S118一起，与显示部U2、显示功能FU2、以及显示工序ST2相对应。图23示意性地例示出从摄影图像群G1中提取印刷对象候补A0的情形。另外，图4所示的测距部26为从摄影范围对聚焦了的聚焦位置200进行检测的部件。聚焦位置200是指焦点对准的位置。当摄影图像IM0被生成时，摄像机20将表示聚焦位置200的信息与摄影图像IM0对应并存放在RAM13中。

当图22所示的印刷对象候补提取处理开始时，主机装置10在摄像机20未进行动作的情况下使摄像机20起动，在被拍摄体未对焦的情况下，直到对焦为止进行待机(S302)。被拍摄体的假想为如图9所例示的那样的印刷对象候补A1、A2。当被拍摄体对焦时，对焦距离f确定，且被拍摄体距离L确定。

在被拍摄体对焦了的情况被确认之后，主机装置10一边通过焦点控制部27改变对焦距离f，一边通过摄影传感器21对被拍摄体进行拍摄，从而取得摄像图像群G1(S304)。在各距离f中，测距部26对被拍摄体距离L进行测量，且对聚焦位置200进行检测。主机装置10既可以一边将在S302中确定的对焦距离f减小了预定距离量之后使其逐渐增加，一边对被拍摄体进行拍摄，也可以一边将在S302中确定的对焦距离f增大了预定距离量之后使其逐渐减少，一边对被拍摄体进行拍摄。

图23示意性地例示出了从摄影图像群G1中提取印刷对象候补A0的情形。图23所示的摄影图像群G1包括一边将对焦距离f从f1逐渐增加到f6一边拍摄到的作为静止画面的摄影图像IM1～IM6。摄影图像IM1～IM6包括为预定范围的第一颜色的印刷对象候补A1和为预定范围的第二颜色的印刷对象候补A2。其中，印刷对象候补A1、A2为被从摄影图像IM1～IM6中提取出的区域，且在实施印刷对象候补的提取处理之前，并不清楚是否为印刷对象候补。各摄影图像IM1～IM6与在各距离f1～f6处聚焦的聚焦位置200对应。为了便于说明，在图23中仅对第一颜色的聚焦位置200标记了阴影。在图22所示的S304的处理中，取得如图23所示的摄影图像群G1。

在取得摄影图像群G1后，主机装置10根据各摄影图像IM0取得聚焦位置200的区域(S306)。在此，将聚焦位置200的区域称为聚焦区域。聚焦区域为例如图23所示的搜索颜色区域AS1～AS6，虽未图示，但也存在于成为印刷对象候补A2的部分中。

在聚焦区域取得后，主机装置10根据聚焦区域对预定范围的搜索颜色进行设定(S308)。在聚焦区域中存在彼此不同的第一颜色以及第二颜色的情况下，第一颜色和第二颜色按顺序被设定为搜索颜色。在图23中，在对焦距离f1的摄影图像IM1中，为第一颜色的搜索颜色的聚焦区域作为搜索颜色区域AS1而被示出。

虽然印刷对象候补A0以是大致相同的淡色为前提，但是并非严格地限定为相同颜色。因此，如果以搜索颜色区域AS1的颜色为基准而为预定范围内的颜色，则判断为搜索颜色区域AS2～AS6也是第一颜色。作为相同颜色的预定范围既可以例如将搜索颜色区域AS1的颜色作为基准而设为预定的色差的范围，也可以将搜索颜色区域AS1的亮度作为基准而设为预定的亮度差的范围，又可以在RGB色空间中将搜索颜色区域AS1的RGB值作为基准而设为进入预定的长方体的范围。在摄影图像IM0用每一个像素的RGB值来表现的情况下，能够在亮度中使用R值、G值和B值的相加平均、使权重不同的R值、G值和B值的平均等。

在搜索颜色的设定后，主机装置10实施对以对焦距离f的顺序而连续的搜索颜色区域进行连接的处理(S310)。如图23所示的那样，对焦距离f2的摄影图像IM2所包含的第一颜色的聚焦位置200即搜索颜色区域AS2被探索。如图23中摄影图像IM2之右所示的那样，主机装置10只要实施将搜索颜色区域AS1、AS2在相同的平面上进行排列的处理即可。在搜索颜色区域AS1、AS2连接的情况下，搜索颜色区域AS1、AS2为在第一颜色中连续的聚焦区域。另外，搜索颜色区域AS1、AS2连接的情况包括，在相同的平面上搜索颜色区域AS1和搜索颜色区域AS2部分重复的情况、和在相同的平面上搜索颜色区域AS1和搜索颜色区域AS2不重复、但在搜索颜色区域AS1与搜索颜色区域AS2之间无间隙的情况这双方。

以下，对焦距离f3的摄影图像IM3所包括的搜索颜色区域AS3、对焦距离f4的摄影图像IM4所包括的搜索颜色区域AS4、对焦距离f5的摄影图像IM5所包括的搜索颜色区域AS5、以及对焦距离f6的摄影图像IM6所包括的搜索颜色区域AS6也在上述的平面上进行排列。所连接的搜索颜色区域AS1～AS6被连接。被连接的搜索颜色区域AS1～AS6为，从摄影图像群G1中按对焦距离f的顺序而使聚焦位置200在预定范围的第一颜色中连续的平滑的面的区域。虽然未图示，但是从摄影图像群G1中按对焦距离f的顺序而使聚焦位置200在预定范围的第二颜色中连续的多个搜索颜色区域也被连接。

在被拍摄体上，在均一颜色的区域中存在有阶梯差这样的向纵深方向的不连续地方。图24示意性地例示出在被拍摄体上存在有阶梯差的情况下从摄影图像群G1中提取搜索颜色区域的情形。在图24中，从摄影图像IM1、IM2中提取第一颜色的搜索颜色区域AS1、AS2的情况与图23中所示的示例相同。在此，在搜索颜色区域AS2的前方处存在有阶梯差的情况下，在下一个摄影图像IM3中不出现第一颜色的搜索颜色区域。因此，即使在该下一个摄影图像IM4中出现第一颜色的搜索颜色区域AS4，也可以认为，搜索颜色区域AS2、AS4按对焦距离f的顺序而使聚焦位置200在预定范围的第一颜色中连续。

在搜索颜色区域的连接处理后，主机装置10根据处理后的搜索颜色区域是否为预定大小以上而使处理分支(S312)。在处理后的搜索颜色区域小于预定的大小的情况下，主机装置10未将处理后的搜索颜色区域作为印刷对象候补，且使处理进入S316。在处理后的搜索颜色区域为预定的大小以上的情况下，主机装置10将处理后的搜索颜色区域中的淡的搜索颜色区域设定为印刷对象候补A0(S314)，且使处理进入S316。由于以印刷对象候补A0是淡色为前提，因此，主机装置10只要将例如处理后的搜索颜色区域中的预定亮度以上的搜索颜色区域作为印刷对象候补A0来进行设定即可。在处理后，预定大小以上的搜索颜色区域中的并非印刷对象候补A0的区域被设定为处于印刷对象候补A0的背景中的平滑的面。

连接处理后的搜索颜色区域在被变换于打印机坐标系310的Xp-Yp平面上的基础上，判断大小。Xp-Yp平面上的处理后的搜索颜色区域为，基于摄影图像群G1所包括的摄影图像IM0的视场角θ1所求出的正对形状。主机装置10提取以成为预定大小以上的方式按对焦距离f的顺序而使聚焦位置200在预定范围的颜色中连续的平滑的面的区域，以作为印刷对象候补A0。处理后的搜索颜色区域的大小既可以如图14A所例示的那样基于面积进行判断，也可以如图14B所例示的那样基于在Yp轴方向上的长度即高度进行判断。

如图14A所示，在连接处理后，与面积的阈值TS相比较大的面积S1的搜索颜色区域、以及与阈值TS相比较小的面积S2的搜索颜色区域被提取。S1＞TS的搜索颜色区域被设定为适于印刷的印刷对象候补A1。S2＜TS的搜索颜色区域为不适于印刷的区域A9。

如图14B所示，在连接处理后，与高度的阈值TH相比较高的高度H1的搜索颜色区域、以及与阈值TH相比较低的高度H2的搜索颜色区域被提取。H1＞TH的搜索颜色区域被设定为适于印刷的印刷对象候补A1。H2＜TH的搜索颜色区域为不适于印刷的区域A9。

主机装置10反复实施上述的S308～S314的处理直到所设定的搜索颜色消失为止(S316)。由此，从摄影图像群G1中，提取按对焦距离f的顺序使聚焦位置200在预定范围的颜色中连续的预定大小以上的印刷对象候补A0。

在印刷对象候补A0的提取后，如图15所例示的那样，主机装置10在所显示的摄影图像IM0的平面部分上标记点群400，且在印刷对象候补A0上标记预定的颜色(S318)，并使印刷对象候补提取处理结束。

如上所说明的那样，通过实施图22中所示的印刷对象候补提取处理，而将从摄影图像群G1中按对焦距离f的顺序使聚焦位置200在预定范围的颜色中连续的区域确定为印刷对象候补A0，且将该印刷对象候补A0的某一个确定为印刷对象ME0。由此，向纵深方向的不连续地方等不适于印刷的区域从印刷对象ME0中被排除。因此，本变形例能够提高使用便利性。

(5)总结：

如以上所说明的那样，根据本发明，能够通过各种各样的方式提供可以获得更加符合预期的印刷结果的技术、提高印刷控制处理的使用便利性的技术等。当然，即使仅由独立权利要求所涉及的结构要件构成技术，也可以获得上述的基本的作用、效果。

此外，也能够实施对在上述示例的中公开的各结构彼此进行了置换或对组合进行了变更后获得的结构、对在公知技术以及上述的示例中公开的各结构彼此进行了置换或对组合进行了变更后获得的结构等。本发明也包括这些结构等。

符号说明

10…主机装置(印刷控制装置的示例)；15…输入装置；16…显示器；20…摄像机；21…摄影传感器；22…摄像元件；25…对焦控制器；26…测距部；27…焦点控制部；28…AF部；100…打印机(印刷装置的示例)；110…控制器；130…移动量检测传感器；140…按钮；150…记录头；150C、150M、150Y、150K…喷嘴列；151…喷嘴；200…聚焦位置；300…摄像机坐标系；310…打印机坐标系；350…摄影范围；400…点群；A0、A1、A2…印刷对象候补；AS1～AS6…搜索颜色区域；DA0…原印刷数据；DA1…印刷数据；DA2…临时的印刷数据；G1…摄影图像群；IM0…摄影图像；IMp…印刷图像；IN1…掩码信息；IP0…预览图像；IT0…修剪图像；MA1…标识；ME0…印刷对象；Ob…被拍摄体；OR0、OR1…原图像；PR1…印刷控制程序；SY1…印刷系统；U1…确定部；U2…显示部；U3…设定接受部；U4…印刷指示接受部；U5…相对位置确定部；U6…控制部；U11…提取部；U12…印刷对象接受部。

Claims (8)

1.一种印刷控制装置，其使印刷装置执行印刷，并具备：

确定部，其从摄影传感器所拍摄到的摄影图像中对印刷对象进行确定；

显示部，其使显示器显示将如下的修剪图像重叠在所述摄影图像上的画面，所述修剪图像通过对原印刷数据的预览图像与所述印刷对象匹配地进行修剪而获得；

设定接受部，其通过用户对被显示于所述显示器上的所述预览图像的操作而接受所述预览图像相对于所述印刷对象的相对位置的设定，并根据所述相对位置被变更的情况而使所述显示部以与变更后的所述相对位置匹配的方式显示对所述预览图像与所述印刷对象匹配地进行修剪而获得的修剪图像；

印刷指示接受部，其接受所述相对位置下的印刷指示；以及

控制部，其根据所述印刷指示而使所述印刷装置执行基于所述原印刷数据和所述相对位置的向所述印刷对象的印刷，

所述确定部在三维坐标中对所述印刷对象进行确定，

所述显示部使所述显示器显示将如下的所述修剪图像重叠在所述摄影图像上的所述画面，所述修剪图像通过基于所述三维坐标而对所述预览图像与所述印刷对象匹配地进行修剪以及基于所述三维坐标从所述印刷对象的坐标向所述摄影传感器的坐标变形而获得，

所述控制部使所述印刷装置执行基于如下的印刷数据的向所述印刷对象的印刷，所述印刷数据通过根据所述三维坐标实施修剪而生成。

2.如权利要求1所述的印刷控制装置，其中，

所述设定接受部接受所述预览图像的大小和旋转角度中的至少一方的设定，以作为所述相对位置。

3.如权利要求1所述的印刷控制装置，其中，

所述显示部以与所述印刷对象匹配的方式而实施所述预览图像的变形和修剪，且使所述显示器显示将进行了变形和修剪后获得的所述修剪图像重叠在所述摄影图像上的所述画面，

所述控制部使所述印刷装置执行基于如下的印刷数据的向所述印刷对象的印刷，所述印刷数据通过与所述预览图像匹配地将所述原印刷数据变形而获得。

4.如权利要求1所述的印刷控制装置，其中，

还具备相对位置确定部，所述相对位置确定部对所述摄影图像所包括的所述印刷装置与所述印刷对象的相对位置关系、即装置位置进行确定，

所述控制部基于所述装置位置而生成印刷数据，且使所述印刷装置执行基于该印刷数据的向所述印刷对象的印刷。

5.如权利要求1所述的印刷控制装置，其中，

所述印刷装置为手动扫描型的打印机或者自走型的打印机。

6.如权利要求1所述的印刷控制装置，其中，

所述显示部使所述显示器显示在所述摄影图像的平面部分上标记了点群的所述画面。

7.一种计算机可读记录介质，其记录有用于使印刷装置执行印刷的印刷控制程序，

所述印刷控制程序使计算机实现如下功能，即，

确定功能，其从摄影传感器所拍摄到的摄影图像中对印刷对象进行确定；

显示功能，其使显示器显示将如下的修剪图像重叠在所述摄影图像上的画面，所述修剪图像通过对原印刷数据的预览图像与所述印刷对象匹配地进行修剪而获得；

设定接受功能，其通过用户对被显示于所述显示器上的所述预览图像的操作而接受所述预览图像相对于所述印刷对象的相对位置的设定，并根据所述相对位置被变更的情况而利用所述显示功能以与变更后的所述相对位置匹配的方式显示对所述预览图像与所述印刷对象匹配地进行修剪而获得的修剪图像；

印刷指示接受功能，其接受所述相对位置下的印刷指示；以及

控制功能，其根据所述印刷指示而使所述印刷装置执行基于所述原印刷数据和所述相对位置的向所述印刷对象的印刷，

所述确定功能在三维坐标中对所述印刷对象进行确定，

所述显示功能使所述显示器显示将如下的所述修剪图像重叠在所述摄影图像上的所述画面，所述修剪图像通过基于所述三维坐标而对所述预览图像与所述印刷对象匹配地进行修剪以及基于所述三维坐标从所述印刷对象的坐标向所述摄影传感器的坐标变形而获得，

在所述控制功能中，使所述印刷装置执行基于如下的印刷数据的向所述印刷对象的印刷，所述印刷数据通过根据所述三维坐标实施修剪而生成。

8.一种印刷物生产方法，其通过印刷装置而生产印刷物，

所述印刷物生产方法包括如下工序，即，

确定工序，其从摄影传感器所拍摄到的摄影图像中对印刷对象进行确定；

显示工序，其使显示器显示将如下的修剪图像重叠在所述摄影图像上的画面，所述修剪图像通过对原印刷数据的预览图像与所述印刷对象匹配地进行修剪而获得；

设定接受工序，其通过用户对被显示于所述显示器上的所述预览图像的操作而接受所述预览图像相对于所述印刷对象的相对位置的设定，并根据所述相对位置被变更的情况而在所述显示工序中以与变更后的所述相对位置匹配的方式显示对所述预览图像与所述印刷对象匹配地进行修剪而获得的修剪图像；

印刷指示接受工序，其接受所述相对位置下的印刷指示；以及

印刷工序，其根据所述印刷指示而基于所述原印刷数据和所述相对位置且通过所述印刷装置来形成所述印刷物，

所述确定工序在三维坐标中对所述印刷对象进行确定，

所述显示工序使所述显示器显示将如下的所述修剪图像重叠在所述摄影图像上的所述画面，所述修剪图像通过基于所述三维坐标而对所述预览图像与所述印刷对象匹配地进行修剪以及基于所述三维坐标从所述印刷对象的坐标向所述摄影传感器的坐标变形而获得，

使所述印刷装置执行基于如下的印刷数据的向所述印刷对象的印刷，所述印刷数据通过根据所述三维坐标实施修剪而生成。

Images