CN105824172B - 电子设备、处理方法 - Google Patents

Abstract

电子设备、处理方法。电子设备具有：指示位置确定部，其确定指示体的位置；对象检测部，其检测介质的标记；指示受理部，其根据检测出的所述标记，受理与用户用所述指示体指示的位置对应的指示；以及处理部，其进行与所受理的所述指示相应的处理。

Description

电子设备、处理方法

技术领域

本发明涉及具有摄像部的电子设备。

在此，将2015年1月22日在日本提交的日本专利申请第2015-010735号的所有公开内容以引证的方式并入到本申请中。

背景技术

在电子设备中具有用于执行特定功能的用户界面。对于用户界面，存在物理开关、在画面上显示图标的触摸面板和在画面上转变位置的画面等各种用户界面。

近年来的电子设备具有多个功能，从而用户的操作变得非常复杂。在UI画面上显示设定特定功能的画面的情况下，有时在显示该画面之前必须经由多个画面。虽然也存在搭载10英寸左右的较大触摸面板来实现使用便利性提高的方法，但是，有时也存在产品大小的制约，从而难以进行大型触摸面板的安装。此外，虽然技术上能够使用智能手机或平板对装置进行操作，但还需要应用程序的安装作业或与电子设备的连接作业，考虑用户回避这样的操作的情况。

在专利文献1中，作为以用户简单地进行装置设定为目的的用户界面，公开了以下的发明。在该发明中，预先准备做出了产品设定的组合数量的标记的标记表。产品通过摄像部拍摄所准备的标记表，根据拍摄图像判别在标记表中指定的设定。

专利文献1：日本特开2004-070023号公报

专利文献1所公开的发明存在以下问题。用户需要对标记表做出设定项目数量的标记。在设定项目增多时，不仅需要准备进行标记的项目，还需要准备多个标记表，结果增加了用户的负担。

发明内容

本发明就是鉴于上述课题而完成的，其目的在于提供一种在对产品的功能进行操作时，提高用户的作业性的用户界面。

为了解决上述课题，本发明的电子设备具有：指示位置确定部，其确定指示体的位置；对象检测部，其检测介质的标记；指示受理部，其根据检测出的所述标记，受理与用户用所述指示体指示的位置对应的指示；以及处理部，其进行与所受理的所述指示相应的处理。该电子设备还可以具有：摄像部，其拍摄指示体；指示位置确定部，其根据拍摄结果，确定所述指示体的位置；对象检测部，其根据所确定的所述指示体的位置，检测所述指示体所指的介质的标记；指示受理部，其根据检测出的所述标记，受理与用户用所述指示体指出的指示；以及处理部，其进行与所受理的所述指示相应的处理。

“介质”用于在视觉上判断用户对电子设备进行的指示，可以是表现出字符或图形等的纸或显示器等任何介质，该字符或图形表示该指示。

“指示体”是手指、笔等，只要是用户为了指示介质而使用的，则可以采用任何指示体。

“标记”如条形码、QR码(注册商标)、字符、符号那样，只要是能够在所拍摄的图像内检测出的标记，则可以使用任何标记。

“根据检测出的所述标记，受理与用户用所述指示体指示的位置对应的指示”或“根据检测出的标记，受理与用户用指示体所指的介质对应的指示”除了根据利用标记的形状确定的信息，确定介质，并受理与该介质对应的指示的情况外，还包括如下的情况等各种情况：使用标记的位置和所指的介质的位置，受理与该介质对应的指示。

在如上述这样构成的发明中，由于电子设备根据用指示体所指的标记，受理用户的指示，所以，用户能够通过如指示体对介质的指示这样的直观操作，对装置进行指示。此外，由于用户仅通过用指示体指示介质就结束操作，因此无需如标记表那样用完就扔掉，使用户不用承受每次准备新的标记表的负担。

此外，本发明不限于具有该功能的装置，也能够作为使特定的装置实现发明所涉及的功能的程序来实现。

附图说明

图1是示出作为一例的多功能一体机100的外观的外观图。

图2是示出打印机的硬件结构的结构框图。

图3是说明在多功能一体机100的设定中使用的纸质手册200的图。

图4是说明纸质手册200的使用方法的图。

图5是说明由控制部30实施的功能设定处理的流程图。

图6是说明指示位置确定处理的流程图。

图7是说明指示位置确定处理的图。

图8是说明条形码检测处理的流程图。

图9是说明条形码检测处理的图。

图10是指示受理处理的流程图。

图11是说明在第2实施方式中使用的纸质手册210的图。

图12是说明在第2实施方式中由控制部30实施的设定处理的流程图。

图13是说明基准标记检测处理(对象检测处理)的流程图。

图14是说明基准标记检测处理的图。

图15是说明第2实施方式中的指示受理处理的流程图。

图16是说明第2实施方式中的指示受理处理的图。

图17是说明形成有缩略图像作为介质的指令单250的图。

图18是说明使用了指令单250的打印的流程图。

标号说明

10：照相机模块；20：USB接口；25：外部存储器控制器；30：控制部；40：显示部；50：打印机单元；60：扫描仪单元；70：传真单元；90：壳体；91：前部面板；92：上部盖；93：位置对准标记；100：多功能一体机；200、210：纸质手册；201：手指指示用图；202：条形码。

具体实施方式

以下，依照下述顺序说明本发明的实施方式。

1.第1实施方式：

(1)多功能一体机的结构(2)纸质手册的结构(3)功能设定方法(4)发明的作用/效果

2.第2实施方式：

3.第3实施方式：

4.其他实施方式：

1.第1实施方式：

(1)多功能一体机的结构

以下，作为电子设备的一例，以多功能一体机100为例进行说明。多功能一体机100具有在纸张上记录颜色材料的打印功能、读取原稿的扫描功能和发送原稿的传真功能。

图1是示出作为一例的多功能一体机100的外观的外观图。多功能一体机100利用壳体90进行外部封装。壳体90收纳有在图1中未图示的打印机单元、扫描仪单元、传真单元等。在壳体90的前部可开闭地安装有前部面板91，该前部面板91安装有作为摄像部发挥作用的照相机模块10以及显示部40。在前部面板91中的照相机模块10的下方，形成有用于对后述的纸质手册进行位置对准的位置对准标记93。该前部面板91还作为覆盖路径的盖发挥作用，在该路径中，排出记录有颜色材料的纸张。在壳体90的上部可开闭地安装有上部盖92，该上部盖92覆盖放置原稿的原稿台。

图2是示出打印机的硬件结构的结构框图。多功能一体机100具有：照相机模块10、USB接口20、外部存储器控制器25、控制部30、显示部40、打印机单元50、扫描仪单元60和传真单元70。此外，控制部30在功能上具有指示位置确定部301、对象检测部302、指示受理部303、处理部304。照相机模块10、USB接口20、外部存储器控制器25、显示部40、打印机单元50、扫描仪单元60和传真单元70与控制部30电连接。

照相机模块10具有对光进行会聚的镜头模块11和将由镜头模块11会聚的光转换成电信号的图像传感器12。镜头模块11具有一个或多个透镜，对来自前方的光进行会聚。图像传感器12具有公知的如CMOS图像传感器或CCD图像传感器这样的摄像元件、以及寄存器。图像传感器12通过摄像元件将由镜头模块11会聚的光转换成电信号。转换后的电信号在作为拍摄图像Im被记录到寄存器中后，按照固定的周期被输出到控制部30。

USB接口20通过依据USB标准的协议，与未图示的PC等外部装置进行通信。因此，多功能一体机100能够通过USB接口20，从PC接收打印用数据的供给。

外部存储器控制器25与外部存储器连接，能够与该外部存储器进行通信。在外部存储器中，能够记录通过打印处理而被处理的打印用数据、以及通过扫描处理而被读出的原稿数据。外部存储器例如为闪存、SD存储器等非易失性存储器。

控制部30例如由公知的SoC(System On Chip：片上系统)构成，并具有CPU 31、RAM32和ROM 33。RAM 32作为CPU 31的工作区发挥作用。此外，在RAM 32中临时记录从照相机模块10输出的摄像数据ImD。CPU 31利用记录在ROM 33中的程序，分析打印用数据，生成用于驱动打印机单元50的信息。此外，CPU 31利用记录在ROM中的程序，控制扫描仪单元60对原稿的读取以及传真单元70对原稿数据的收发。

而且，ROM 33记录有用于使CPU 31实现指示位置确定部301、对象检测部302、指示受理部303、处理部304的各功能的程序330。即，控制部30利用该程序330，实现指示位置确定功能、对象检测功能、指示受理功能、处理功能的各功能。之后将进行各部件的详细说明。

显示部40具有LCD控制器41和LCD 42。当从控制部30接收到显示图像数据时，LCD控制器41根据该显示图像数据，生成用于驱动LCD 42的驱动数据。LCD 42排列与分辨率相应的数量的液晶像素，根据驱动数据对各像素进行驱动并显示图像。此外，为了实现检测用户对画面的操作的功能，显示部40具有触摸屏模块43。

打印机单元50具有：对纸张记录颜色材料的打印机机构51；以及机械控制器52，其根据从控制部30输出的驱动用数据，生成用于驱动打印机机构51的电信号。由于构成打印机单元50的各部件为公知技术，所以省略详细的说明。

扫描仪单元60具有读取放置于原稿台的原稿的扫描仪机构61和用于驱动该扫描仪机构的扫描仪控制器62。由于构成扫描仪单元60的各部件为公知技术，所以省略详细的说明。

传真单元70通过未图示的电话线路或互联网线路，将由扫描仪单元60进行读取而生成的原稿数据发送到外部装置。

(2)纸质手册的结构

图3是说明在多功能一体机100的设定中使用的纸质手册200的图。纸质手册200在用户用手指对记载在该纸质手册200中的介质进行指示，从而输入多功能一体机100的各种设定时使用。图3显示了纸质手册200中的、输入使用扫描仪单元60和打印机单元50执行的“复印模式”的设定的页。纸质手册有多页，能够使用任意一页进行对多功能一体机100进行的全部设定。另外，也可以为，能够使用多页进行相同的设定。

在纸质手册200中记录有：作为用手指指示的对象的介质发挥作用的手指指示用图201a～201n、在该第1实施方式中作为标记发挥作用的条形码202a～202n、以及作为放置纸质手册200时的记号的位置对准标记203。以下，记为手指指示用图201的情况表示记录在纸质手册200中的全部手指指示用图的总称。此外，记为条形码202的情况表示记录在纸质手册200中的全部条形码的总称。

在纸质手册200中，各手指指示用图201a～201m利用节点被关联，从而构成了树形图，能够容易地掌握用户的各手指指示图的关系。该树形图以“复印模式”201a为根，利用节点将“纸张尺寸”201b、“倍率”201c、“复印面”201d和“分配”201e的各个功能进行了关联。此外，利用节点将“自动”201f和“选择”201g与“纸张尺寸”201b关联，将“100％”201h和“任意”201i与“倍率”201c关联，将“单面”201j和“双面”201k与“复印面”201d关联，将“2面”201l和“4面”201m与“分配”201e关联。

而且，在纸质手册200中形成有表示“开始”的手指指示用图201n，其用于输入复印的开始。在纸质手册200的其他页中，也在手指指示用图中记载在该页中设定的设定内容，在各手指指示用图的旁边，按照每个设定记载唯一的条形码。

在各手指指示用图201a～201n的上方分别形成有条形码202a～202n。各条形码202a～202n包含各自对应的各手指指示用图201a～201n所表示的功能的内容作为信息。

(3)功能设定方法

接着，说明使用了多功能一体机100和纸质手册200的功能设定方法。图4是说明纸质手册200的使用方法的图。首先，在用户用手指指示纸质手册200之前，在多功能一体机100的前方配置纸质手册200(图4的(a))。这时，使纸质手册200的位置对准标记203对准形成于前部面板91的位置对准标记93。接着，如图4的(b)所示，将前部面板91向上方打开，使照相机模块10的拍摄方向朝纸质手册200旋转。当控制部30检测出照相机模块10变化到指示受理位置时，判断功能设定处理的开始。

图5是说明由控制部30实施的功能设定处理的流程图。图5所示的功能设定处理通过使控制部30执行记录在ROM 33中的程序330而被执行。

首先，在步骤S1中，控制部30进行初始设定。

在初始设定中，例如进行用于对拍摄图像Im的倾斜进行修整的倾斜校正、或对拍摄图像Im的形状畸变进行修正的畸变校正的参数设定。

接着，在步骤S2中，控制部30进行指示位置确定处理，确定用户在纸质手册200中的指示位置。在指示位置确定处理中，指示位置确定部301在根据拍摄结果，对拍摄图像Im进行了倾斜校正、畸变校正或亮度校正等校正后，确定指示体的位置(坐标)。以下，假设使用用户的指尖作为指示体。指示位置确定部301确定位置的指示体可以不是手指，例如能够通过预先在控制部30中进行设定，将指示棒等识别为指示体。

接着，在步骤S3中，控制部30根据在步骤S2中确定出的位置，进行条形码检测处理(对象检测处理)。在条形码检测处理中，对象检测部302根据所确定的指尖的坐标，检测该指尖所指的纸质手册200上的条形码202。

接着，在步骤S4中，控制部30根据检测出的条形码，进行指示受理处理。在指示体受理处理中，指示受理部303根据检测出的标记，受理用户用指尖指出的指示。

然后，在步骤S5中，控制部30进行指示执行处理，执行在步骤S4中受理的指示。在指示执行处理中，处理部304进行与利用条形码202取得的指示相应的处理。

在结束条件不成立的情况下(步骤S6：否)，控制部30返回步骤S2。对于结束条件，例如能够假设用户改变了照相机模块10的朝向的情况等各种情况。在结束条件成立的情况下(步骤S6：是)，控制部30结束处理。

接着，说明在图5的步骤S2中进行的指示位置确定处理。图6是说明指示位置确定处理的流程图。图7是说明指示位置确定处理的图。另外，在以下的图中，在拍摄图像Im上仅通过图示示出了说明所需的部分。实际上，在拍摄图像Im中包含记载于纸质手册200的页上的全部手指指示用图201和条形码202。

在图6的步骤S21中，指示位置确定部301识别进行了倾斜校正、畸变校正或亮度校正等校正后的拍摄图像Im所包含的与指尖对应的图像(指尖图像FG)。例如，当用户将手伸出至纸质手册200的上方时，如图7的(a)所示，指示位置确定部301从照相机模块10的检测区域所包含的拍摄图像Im中，识别出特定的手指(例如，食指)作为指尖图像FG。通过使照相机模块10的焦点对准指尖图像FG，进行指尖图像FG的识别。能够根据是否进入景深，判断是否触摸了纸质手册200，作为第三维度的进深方向的信息。此外，从拍摄图像Im中确定指尖图像的方法能够使用图案匹配法等公知的方法。

在步骤S22中，通过指尖图像FG的识别，指示位置确定部301取得由二维坐标(X，Y)表示拍摄图像Im内的位置的、指尖图像FG的位置Pr(Xr，Yr)。

在步骤S23中，指示位置确定部301进行追随指尖图像的追随处理。在追随处理中，即使在步骤S21中识别出的指尖图像FG移动的情况下，也移动镜头而使焦点追随指尖，从而继续识别移动后的指尖图像FG。

在步骤S24中，指示位置确定部301进行检测指尖图像FG的移动有无的移动检测处理。在移动检测处理中，在规定期间内，检测在指尖图像FG的移动中是否存在变化。在图7的(b)中，在规定期间内，指尖图像FG从位置Pr1变化到位置Pr2。

在指尖没有停止的情况下(步骤S25：否)，指示位置确定部301返回步骤S22，确定指示位置Pr，在步骤S23中进行追随处理。即，指示位置确定部301继续指尖图像FG的追随。

在指尖停止的情况下(步骤S25：是)，在步骤S26中，指示位置确定部301取得当前的指尖位置作为指示位置。例如，在图7的(b)所示的指尖图像FG的变化后，如果指尖图像FG在规定期间内，不从位置Pr2发生变化，则取得该位置Pr2作为指示位置Pp(Xp，Yp)。

接着，说明在图5的步骤S3中进行的条形码检测处理(对象检测处理)。图8是说明条形码检测处理的流程图。图9是说明条形码检测处理的图。

在步骤S31中，对象检测部302根据指示位置Pp设定搜索区域QA。搜索区域QA是作为搜索拍摄图像Im所包含的条形码的对象的区域(像素)，以指示位置Pp为基准而被设定。在图9的(a)中，作为一例，包含指示位置Pp的附近的矩形区域被设定为搜索区域QA。

在步骤S32中，对象检测部302搜索在搜索区域QA中包含的条形码。例如，对象检测部302在搜索区域QA中，搜索在照相机模块10的景深内是否存在与条形码对应的图像。另外，将景深设定为：在指尖停止于空中的情况下，条形码不进入景深内，在指尖触碰并停止在纸质手册200的页上的情况下，条形码进入景深内。

在没有检测到条形码202的情况下(步骤S33：否)，返回图5，控制部30再次进行指示位置Pp的确定。

另一方面，在检测到条形码202的情况下(步骤S33：是)，在步骤S34中，对象检测部302输出检测声。只要能够向用户通知检测到条形码202，则可以为任何检测声。在图9的(b)中，在搜索区域QA中检测到条形码202。

在步骤S36中，对象检测部302从拍摄图像Im中提取所检测的条形码202。提取出的条形码图像在指示受理部303进行的处理中被使用。

接着，说明在图5的步骤S4中执行的指示受理处理。

图10为指示受理处理的流程图。

在步骤S41中，指示受理部303分析由对象检测部302提取出的条形码202。在条形码202中包含有可唯一确定记载在纸质手册200中的手指指示用图201的信息。例如，如果用户用手指指示的是手指指示用图201h(属于“倍率”的“100％”)，则指示受理部303通过条形码202h的分析，将用户的指示判断为将复印模式的复印倍率设定为“100％”的处理。

在步骤S42中，指示受理部303根据步骤S41中的分析结果，生成命令。在分析了条形码202h的例子中，指示受理部303生成将复印模式的复印倍率设定为“100％”的命令。

以下，处理部304执行指示受理部303分析出的命令(图5的指示执行处理：步骤S5)。即，在多功能一体机100中，执行用户对纸质手册200进行手指指示而指示的设定。这样，用户在依次触摸了纸质手册200的“自动”201f、“100％”201h、“双面”201k的情况下，依次设定自动的纸张尺寸、100％的倍率、双面复印的复印条件，之后，在用户触摸了“开始”201n的条件下，以按照所设定的条件开始复印的方式进行动作。

(4)发明的作用/效果

如以上说明的那样，第1实施方式的多功能一体机100利用与用户用手指(指示体)指示出的位置相应的条形码(标记)，受理用户的指示，所以，用户能够通过如纸质手册200上的介质指示这样的直观的操作，进行指示。此外，只要存在纸质手册200，用户仅通过手指进行指示就可结束操作，所以不会给用户施加准备标记表的负担。

在条形码(标记)位于对手指进行识别的景深内的情况下，判定为确定出了条形码，所以能够更适当地进行条形码的检测。

由于条形码用于唯一确定指示内容，所以，能够抑制多功能一体机100误识别来自用户的指示的情况。

多功能一体机100具有位置对准部，由此照相机模块10能够正确地检测纸质手册200内的条形码，位置对准部表示使用户放置纸质手册200的位置。

多功能一体机100具有如下的受理模式，所以，能够防止多功能一体机100的错误操作，在受理模式中，与照相机模块10移动到指示受理位置相应地，通过检测对象受理用户的指示。

2.第2实施方式：

图11是说明在第2实施方式中使用的纸质手册210的图。在第2实施方式中，纸质手册210也被用于：用户用手指指示并操作记载在该纸质手册210中的手指指示用图201(在图11中为201b～201n)。另一方面，在该第2实施方式的纸质手册210中，仅在作为基准点发挥作用的基准图204上形成有条形码202a，在除此以外的手指指示用图201b～201n中没有形成条形码。

图12是说明在第2实施方式中由控制部30实施的设定处理的流程图。以下，说明该功能设定处理的概要。

首先，在步骤S110中，与第1实施方式同样，控制部30进行初始设定。接着，在步骤S120中，控制部30与第1实施方式同样，进行指示位置确定处理，确定用户在纸质手册210中的指示位置。在该指示位置确定处理中，用户通过用手指对纸质手册210的手指指示用图201b～201n进行指示，进行对多功能一体机100的指示。

在步骤S130中，控制部30进行基准标记检测处理(对象检测处理)，根据在步骤S120中确定出的指示位置，检测纸质手册210上的标记。即，在该第2实施方式中，对象检测部302将记录在纸质手册210上的条形码202a检测为标记。

接着，在步骤S140中，控制部30进行指示受理处理，根据从在步骤S120中确定出的用户的手指指示位置到在步骤S130中确定出的基准标记位置之间的相对距离，受理用户用手指指示而做出的指示。相对距离的计算和根据该相对距离受理指示的具体方法将后述。

然后，在步骤S150中，控制部30执行在步骤S140中受理的指示。如果结束条件成立(步骤S160：是)，则结束处理，如果不成立(步骤S160：否)，则返回步骤S120，重复处理。

图13是说明基准标记检测处理(对象检测处理)的流程图。

图14是说明基准标记检测处理的图。

在图13的步骤S131中，对象检测部302设定针对基准标记(条形码202a)的搜索区域(以下，也记作基准标记搜索区域SQA)。基准标记搜索区域SQA为如下区域：用于搜索在拍摄图像Im内作为基准标记发挥作用的条形码202a。例如，在以使纸质手册210的位置对准标记203对准多功能一体机100的位置对准标记93的方式放置了纸质手册210的情况下，基准标记搜索区域SQA的位置以条形码202a所在的区域为基准，由控制部30设定其位置(坐标)。在图14的(a)中，基准标记搜索区域SQA被设定为至少比条形码202a宽的范围的区域，使得能够容许纸质手册210相对于多功能一体机100的放置偏差。

在步骤S132中，对象检测部302搜索在搜索区域SQA中包含的条形码202a。在没有检测出条形码202a的情况下(步骤S133：否)，在步骤S135中，对象检测部302进行错误通知。例如，在纸质手册210没有被正确放置于多功能一体机100的情况下，由于条形码202a不位于基准标记搜索区域SQA内，所以通知错误。在用户对纸质手册210的放置进行修正等后，控制部30再次进行基准标记检测处理(图12)。另一方面，在检测出了条形码202a的情况下(步骤S133：是)，在步骤S134中，对象检测部302输出检测声。

在步骤S136中，对象检测部302提取条形码图像。在步骤S137中，对象检测部302分析检测出的条形码。在该第2实施方式中，在条形码202a中包含作为纸质手册210内的基准的基准位置Ps(xs，Ys)和唯一识别纸质手册210的页的识别信息。另外，如下设定x轴和y轴的方向：例如，纸质手册210的页的短边为x轴的方向，长边为y轴的方向，或者，条形码的条纹栏的直线的延伸方向为y轴的方向，与其垂直的方向为x轴的方向。

识别信息包含有如下信息：用户用手指指示的页与多功能一体机100的哪个设定(在图11的情况下，为复印模式中的纸张尺寸自动设定、纸张尺寸选择设定、倍率100％设定、倍率任意设定等)对应。

在步骤S138中，对象检测部302根据在步骤S137中分析出的识别信息，确定纸质手册210的页。例如，在图12所示的纸质手册210中，条形码202a包含如下信息：用户用手指指示的页为复印功能的设定。

在步骤S139中，对象检测部302取得在步骤S137中分析出的基准位置Ps(Xs，Ys)。在以下执行的指示受理处理中，基准位置Ps是作为用于判断用户指示的基准的信息。在图14的(b)中，将条形码202a的中心设定为基准位置Ps。另外，利用在条形码202a中包含的信息，取得基准位置Ps的坐标(Xs，Ys)，图14的(b)为表示基准位置Ps的概念的图。

接着，说明在图12的步骤S140中执行的指示受理处理。图15是说明第2实施方式中的指示受理处理的流程图。图16是说明第2实施方式中的指示受理处理的图。

在图15的步骤S141中，指示受理部303计算从通过基准标记检测处理(步骤S130)而取得的基准位置Ps到通过指示位置确定处理(步骤S120)而取得的指示位置Pp之间的相对距离(以下，也记作相对距离RD。其可以是一维的值，也可以是二维的值)。例如，如图16的(a)所示，在指示位置确定处理(步骤S120)中，将指示受理部303所取得的当前的指尖位置设为指示位置Pp。如图16的(b)所示，指示受理部303计算该指示位置Pp与基准位置Ps的差分作为相对距离RD。另外，在图16的(b)中，在对拍摄图像Im进行限定的平面(X轴，Y轴)内，计算指示位置Pp(Xp，Yp)与基准位置Ps(Xs，Ys)的距离，作为设为一维值的情况下的相对距离RD。并计算对拍摄图像Im进行限定的平面(X轴，Y轴)的各轴的距离(Xp-Xs，Yp-Ys)，作为设为二维值的情况下的相对距离RD。

在步骤S142中，指示受理部303根据在步骤S142中取得的相对距离RD，确定用户的指示。例如，按照唯一识别纸质手册210的页的每个识别信息，在ROM中记录有相对距离RD和用于唯一确定与各指示相应的命令的表。指示受理部303根据所取得的相对距离RD的值，确定记录在表中的指示，并将确定出的指示判断为用户的指示。

在步骤S143中，指示受理部303生成与相对距离RD对应的命令。因此，处理部304执行指示受理部303分析出的命令(图12的步骤S150)。另外，在没有取得与相对距离RD对应的命令的情况下，指示受理部303也可以进行错误通知。

如以上说明的那样，在该第2实施方式中，多功能一体机100根据从用户用手指指示的位置到基准位置之间的相对距离，判断用户的指示，所以能够使形成在纸质手册210内的标记(条形码)比第1实施方式少。其结果是，即使在纸质手册的纸张尺寸较小的情况下，也能够应用本发明。

3.第3实施方式：

图17是说明形成有缩略图像作为介质的指令单(order sheet)250的图。在该指令单250中，取代手指指示用图，形成有用于确定多功能一体机100能够打印的图像的缩略图像251a～251i、和分别唯一确定缩略图像251a～251i的条形码252a～252i。

在该第3实施方式中，多功能一体机100也根据照相机模块10的拍摄结果，通过指示位置确定部301、对象检测部302的各功能，确定用户在指令单250内用手指指示的缩略图像251。接着，指示受理部303确定与所确定的缩略图像251对应的原图像。并且，处理部304利用打印机单元50，打印所确定的原图像。

图18是说明使用了指令单250的打印的流程图。

在步骤S200中，控制部30生成用于打印指令单250的指令单图像。例如，控制部30根据记录在外部存储器中的多个原图像，生成缩略图像，并对各缩略图像进行组合，生成指令单图像。除此以外，也可以将通过扫描仪单元60读取的原稿作为原图像，并根据该原图像生成缩略图像。

在步骤S210中，控制部30使打印机单元50打印指令单250。因此，打印机单元50使用颜色材料，将指令单图像记录在纸张上。将通过该步骤S210打印后的指令单250放置在多功能一体机100的前方，并利用照相机模块10开始读取，由此开始步骤S220以后的处理。

在步骤S220中，控制部30进行初始设定。接着，在步骤S230中，控制部30进行指示位置确定处理，确定用户在指令单250中的指示位置。在该实施方式中，指示位置确定部301确定用户在指令单250内的缩略图像中的手指指示位置。

接着，在步骤S240中，控制部30根据在步骤S220中确定出的位置，进行条形码检测处理(对象检测处理)。在条形码检测处理中，对象检测部302根据确定出的指尖坐标，检测该指尖所指的指令单250上的条形码252。

接着，在步骤S250中，控制部30根据检测出的条形码252，进行打印受理处理(指示受理处理)。在打印受理处理中，指示受理部303根据在步骤S240中检测出的条形码252，将与用户所选择的缩略图像251对应的原图像作受理为打印对象的原图像。

然后，在步骤S260中，控制部30进行打印处理(指示执行处理)，打印在步骤S250中所受理的原图像。在打印处理中，处理部304读出在步骤S250中收到指示的原图像，并使打印机单元50打印该原图像。

在结束条件不成立的情况下(步骤S270：否)，控制部30返回步骤S230。另一方面，在结束条件成立的情况下(步骤S270：是)，控制部30结束处理。

根据上述结构的第3实施方式，用户能够通过用手指指示在指令单250上形成的缩略图像251，选择想要打印的图像。因此，用户仅通过用手指等指示缩略图像，就能够使多功能一体机100打印预期的图像，能够非常简单地进行从缩略图像的选择到对多功能一体机100指示打印所需的操作。

4.其他实施方式：

作为电子设备，以多功能一体机100为例进行了说明，但这只不过是一个例子。电子设备只要是具有摄像部的产品，也可以是如打印机、扫描仪装置、个人计算机(PC)等那样的任何产品。此外，纸质手册也无需为植物制的纸，可以是打印了手册的树脂片或显示手册的显示器等。

使用条形码作为标记，但这只不过是一个例子。除此以外，可以是QR码(注册商标)、字符、符号或图像等能够唯一确定用户用手指指示的对象的任何标记。

使用安装于多功能一体机的照相机模块作为摄像部，但这只不过是一个例子。例如，也可以使用虽然以可通信的方式与多功能一体机连接、但是安装于与多功能一体机不同的位置的摄像机等摄像部。

在上述实施方式中，由于是二维地取得指尖的位置的照相机，所以，根据是否进入景深，判断是否触摸了纸质手册200，作为第三维度的进深方向的信息，但是，也可以通过其他方法取得第三维度的信息。例如，也可以通过使用两个照相机，或者使用一个照相机和一个距离传感器，取得第三维度的信息，判断是否对手册进行了触摸。

在为如书那样装订的纸质手册的情况下，应该区分用户是想要翻页，还是想要进行指示。因此，在例如将用户用多个手指进行触摸的情况等判断为想要翻页的情况下，不将该触摸视为指示。

另外，本发明当然不限于上述实施例。本领域技术人员应当可以理解，作为本发明的一个实施例公开了如下结构：适当改变在上述实施例中公开的可相互置换的部件和结构等的组合来进行应用；虽然在上述实施例中没有公开，但为公知技术，适当置换能够与在上述实施例中公开的部件和结构等相互进行置换的部件和结构等，或者适当改变其组合来进行应用；虽然在上述实施例中没有公开，但是本领域技术人员根据公知技术等，适当置换为假设能够替代在上述实施例中公开的部件和结构等的部件和结构等，或改变其组合来进行应用。

Claims (7)

1.一种电子设备，其特征在于，该电子设备具有：

位置对准标记，该位置对准标记表示使用户放置介质的位置，在该介质上形成有具有与处理对应的形状的第一标记；

摄像部，其拍摄并生成放置到所述位置的所述介质的图像；以及

具有CPU的控制部，

所述CPU作为以下部分发挥功能：

对象检测部，其基于由所述摄像部拍摄到的图像，分析用户的手指或指示体的位置来检测所述用户选择的所述第一标记，并且分析所述用户选择的所述第一标记的形状来确定对应的处理；以及

处理部，其进行所确定的所述处理，

所述电子设备和所述介质是分开的部件。

2.根据权利要求1所述的电子设备，其特征在于，

所述第一标记唯一地确定指示的内容，

所述CPU还作为指示受理部发挥功能，所述指示受理部根据所述用户的所述手指或所述指示体所指的所述第一标记，确定该第一标记所确定的指示的内容，受理所述指示。

3.根据权利要求2所述的电子设备，其特征在于，

所述对象检测部移动焦点而使焦点追随进入到所述摄像部的检测区域中的所述用户的所述手指或所述指示体，检测所述用户的所述手指或所述指示体的位置处的进入景深内的所述第一标记。

4.根据权利要求1所述的电子设备，其特征在于，

所述第一标记对应于多种指示的内容，

所述CPU还作为指示受理部发挥功能，所述指示受理部根据所述第一标记与所述用户的所述手指或所述指示体的相对距离，从与所述第一标记对应的多种指示的内容中确定一个指示的内容，受理所述指示。

5.根据权利要求4所述的电子设备，其特征在于，

所述指示受理部根据所述第一标记与所述用户的所述手指或所述指示体在第1方向上的距离和在第2方向上的距离，确定指示的内容。

6.根据权利要求1所述的电子设备，其特征在于，

所述摄像部以能够移动的方式被安装，

所述CPU还作为指示受理部发挥功能，所述指示受理部与所述摄像部移动到指示受理位置相应地，开始通过所述介质受理用户指示的受理模式，

与从所述指示受理位置移动到其他位置相应地，结束受理模式。

7.一种处理方法，其由电子设备执行，其中，所述电子设备具有：

位置对准标记，该位置对准标记表示使用户放置介质的位置，在该介质上形成有具有与处理对应的形状的第一标记；

摄像部，其拍摄并生成放置到所述位置的所述介质的图像；以及

具有CPU的控制部，

在该处理方法中，

所述CPU执行以下步骤：

第1步骤，基于由所述摄像部拍摄到的图像，分析用户的手指或指示体的位置来检测所述用户选择的所述第一标记，并且分析所述用户选择的所述第一标记的形状来确定对应的处理；以及

第2步骤，进行所确定的所述处理，

所述电子设备和所述介质是分开的部件。