CN108303062A - 图像信息处理装置及图像信息处理方法 - Google Patents

Abstract

本发明提供一种图像信息处理装置及图像信息处理方法。在能够利用电子笔和具备能够进行坐标检测的传感器部的输入装置部的情况下，能够迅速地取得并利用适当的照片等图像数据。从接收来自电子笔(2)的信号并检测被指示的坐标位置的传感器部(320)，通过I/O端口(140)，取得被检测的坐标数据。照片取得部(106)取得附加了规定的第二附加信息的照片数据，建立关联部(107)能够将与该坐标数据对应的显示装置部的显示画面上的坐标位置(坐标数据)与该照片数据建立关联并加以利用。

Description

图像信息处理装置及图像信息处理方法

技术领域

本发明涉及能够容易地利用例如通过相机拍摄被摄体而形成的图像数据等的装置、方法。

背景技术

对于通过数码相机等拍摄装置拍摄被摄体而得到的图像数据，通过搭载于该拍摄装置的GPS(Global Positioning System)功能而附加拍摄时取得的当前位置(拍摄位置)，并对其进行利用。例如，在后述的专利文献1中公开了涉及拍摄到的照片能够容易地显示根据其拍摄位置而配置的地图的信息处理装置等的发明。

【现有技术文献】

【专利文献】

【专利文献1】日本特开2013-122647号公报

发明内容

【发明要解决的课题】

上述的专利文献1记载的发明在将地图与照片使用该照片的拍摄位置即纬度、经度而建立关联地利用时有效。然而，无法将拍摄而得到的照片与使用者指定的坐标位置建立关联地利用。

鉴于以上的情况，本发明目的在于能够将适当的照片等图像数据与使用者指定的坐标位置迅速地建立关联来利用。

【用于解决课题的方案】

为了解决上述课题，第一方案记载的发明的图像信息处理装置的特征在于，具备：

第一取得单元，从检测由指示体指示的坐标位置的传感器部，取得表示所述坐标位置的第一坐标数据；

第二取得单元，取得附加了规定的附加信息的第一图像数据；及

第一建立关联单元，将表示与通过所述第一取得单元取得的所述第一坐标数据对应的显示装置部的显示画面上的位置的位置数据与通过所述第二取得单元取得的所述第一图像数据建立关联。

根据第一方案记载的图像信息处理装置，传感器部能够检测由指示体指示的坐标位置。第一取得单元从该传感器部取得表示被检测的坐标位置的第一坐标数据。第二取得单元取得附加了规定的附加信息的第一图像数据。即，附加了规定的附加信息的第一图像数据被识别为向由指示体指示的位置的建立关联对象的图像数据，被认证为能够使用于建立关联的图像数据。

第一建立关联单元能够将与通过第一取得单元取得的第一坐标数据对应的表示显示装置部的显示画面上的位置的位置数据与通过第二取得单元取得的第一图像数据建立关联而予以利用。例如，能够将建立了关联的位置数据和第二图像数据向显示装置部提供，在通过该位置数据确定的显示画面上的位置显示与第一图像数据相应的图像。

【发明效果】

根据本发明，能够取得与由指示体指示的位置建立关联的图像数据并显示。由此，能够在使用者指定的坐标位置迅速地取得图像并加以利用。

图片说明

图1是表示实施方式的平板电脑型信息终端及电子笔的外观的一例的图。

图2是用于说明实施方式的平板电脑型信息终端的结构例的框图。

图3是用于说明存储于图片等DB(Data Base)的存储数据的例子的图。

图4是用于说明存储于照片文件夹的存储数据的例子的图。

图5是用于说明实施方式的电子笔的结构例的框图。

图6是用于说明实施方式的平板电脑型信息终端与电子笔的连接关系的图。

图7是用于说明通过平板电脑型信息终端1的信息处理装置部100执行的处理的流程图。

图8是接续图7的流程图。

图9是接续图8的流程图。

图10是接续图9的流程图。

图11是用于说明检修处理时的显示画面的显示例的图。

图12是用于说明检修处理时的显示画面的显示例的图。

图13是用于说明检修处理时的显示画面的显示例的图。

图14是用于说明检修处理时的显示画面的显示例的图。

图15是用于说明将显示画面上的指示位置转换成显示图片上的位置的处理的图。

图16是用于说明第二建立关联部形成的建立关联数据的例子的图。

图17是用于说明实施方式的电子笔的另一结构例的框图。

图18是用于说明实施方式的平板电脑型信息终端与图17所示的电子笔的连接关系的图。

图19是用于说明电子笔的另一例的图。

图20是用于说明电子笔的侧开关的利用方法的例子的图。

图21是用于说明确认基于悬浮操作的照片的建立关联位置的图。

图22是用于说明照片数据及附加信息的取得目标及取得路径的图。

图23是用于说明实施方式的平板电脑型信息终端具备的检修部位搜索功能的图。

图24是用于说明自动地附有刻度的拍摄图像、使规尺触抵于目标被摄体来掌握被摄体的大小并记入有手写记录的拍摄图像的图。

图25是在第二实施方式中，用于说明在图片等DB的规定的存储区域存储的3D物体数据文件的例子的图。

图26是用于说明在照片文件夹存储的照片文件的具体例的图。

图27是用于说明3D物体数据与照片数据的建立关联的图。

图28是用于说明在图片等DB存储的3D空间图像数据文件的例子的图。

图29是用于说明具备3D相机单元的电子笔的外观的图。

图30是用于说明在照片文件夹存储的被摄体的3D物体数据文件的具体例的图。

图31是用于说明3D空间图像数据与被摄体的3D物体数据的建立关联的图。

【符号说明】

1…平板电脑型信息终端，100…信息处理装置部，101A…收发天线，101…无线通信部，102…控制部，103…存储器部，104…照片文件夹，105…图片等DB，106…照片取得部，107…第一建立关联部，108…照片建立关联部，109…拍摄控制部，110…取景器控制部，111…图片取得部，112…图片显示处理部，113…坐标转换部，114…第二建立关联部，115…照片显示处理部，116…编辑处理部，117…模式切换部，118…操作部，118A…电源按钮，119…外部I/F，120…近距离无线通信部，120A…近距离无线通信天线，130…I/O端口，140…I/O端口，150…接收电路，150A…接收天线，200…显示装置部，210…控制器，220…显示画面，300…输入装置部，310…控制器，320…传感器部，2、2A、2B、2C…电子笔，21…电子笔功能部，21M…存储器，22…相机单元，22C…3D相机单元，23…I/F，24…线缆，25…笔ID存储器，26…发送电路，27…发送天线，28…快门按钮，29、30…侧开关

具体实施方式

以下，参照图片，说明本发明的装置、方法的实施方式。以下，以在一体地构成有信息处理装置部、显示装置部、输入装置部的平板电脑型信息终端中适用本发明的情况为例进行说明。

[第一实施方式]

以下说明的第一实施方式的平板电脑型信息终端由使用者的手指或电子笔指示，在与输入装置部检测到的指示位置对应的显示装置部的显示画面(例如，应用程序的窗口画面等)上的坐标位置将图像建立关联。这种情况下，建立关联对象的图像取得附加了规定的附加信息(建立关联图像特定信息)的图像数据作为表示建立关联对象的图像的信息，将与该取得的图像数据对应的图像建立关联。

由此，能够迅速地取得作为建立关联对象的照片等的适当的图像，并将其与通过电子笔指示的显示画面上的坐标位置建立关联来利用。即，以下说明的第一实施方式的平板电脑型信息终端能够仅取得建立关联用的特别的图像，将该图像和与电子笔的指示位置对应的坐标数据建立关联而加以利用。

此外，从电子笔向输入装置部等发送的信号也预先附加了认证用的第一附加信息。基于该第一附加信息和附加于照片等的图像数据的规定的附加信息(建立关联图像特定信息)即第二附加信息，取得建立关联对象的图像数据，即作为与电子笔建立关联的图像数据而取得认证的图像数据。然后，能够将该取得的图像和与电子笔的指示位置对应的坐标数据建立关联而加以利用。

以下，以使用从电子笔向输入装置部等发送的信号附加的第一附加信息和附加于成为建立关联对象的照片等的图像数据的规定的附加信息(建立关联图像特定信息)即第二附加信息这两方的情况为中心进行说明。即，以取得建立关联对象的图像数据且作为与电子笔建立关联的图像数据而取得了认证的图像数据，并将该取得的图像和与电子笔的指示位置相应的坐标数据建立关联来利用的情况为中心进行说明。

图1是表示第一实施方式的平板电脑型信息终端1及电子笔2的外观的一例的图。平板电脑型信息终端1具有从其前表面露出有显示装置部200的例如LCD(Liquid CrystalDisplay)等比较大的显示画面220的结构。在显示画面220的表面或背面搭载有输入装置部300，该输入装置部300具有以与显示画面220的整面对应的方式设置的传感器部(坐标传感器)320。

因此，输入装置部300无论在通过作为位置指示器的电子笔2指示了显示装置部200的显示画面220上的哪个位置的情况下，都能够检测其指示位置。并且，将检测到的传感器部320上的指示位置与显示画面220上的位置建立对应。而且，在平板电脑型信息终端1的框体内部连接有显示装置部200或输入装置部300，并搭载有进行各种信息处理的信息处理装置部100。

这样，在平板电脑型信息终端1中，输入装置部300成为输入设备，显示装置部200成为显示设备(输出设备)。而且，对于平板电脑型信息终端1，通过操作电源按钮118A，能够进行电源的开/关。

并且，在平板电脑型信息终端1中，在显示画面220上，通过电子笔2作出位置指示操作。这种情况下，从电子笔2将位置指示信号向输入装置部300的传感器部320发送。并且，输入装置部300具备的CPU(Central Processing Unit)等控制器基于来自与显示画面220的整面对应设置的传感器部320的检测输出，来确定传感器部320上的指示位置即显示画面220上的指示位置。

另外，在该实施方式中，电子笔2将包含自身的辨别ID(笔ID)等附加信息(第一附加信息)的位置指示信号向传感器部320发送，关于此在后文叙述。输入装置部300具备的控制器从通过传感器部320接收的来自电子笔2的位置指示信号中能够提取第一附加信息。输入装置部300的控制器将表示确定后的指示位置的坐标数据或提取的第一附加信息向信息处理装置部100供给。信息处理装置部100能够使用来自输入装置部300的坐标数据或第一附加信息进行处理。

需要说明的是，第一附加信息也可以不包含于从电子笔2向输入装置部300发送的位置指示信号，而通过例如Bluetooth(注册商标)标准等近距离无线通信，向信息处理装置部100发送。这种情况下，需要在电子笔2侧设置近距离无线通信用的发送部，在信息处理装置部100侧设置近距离无线通信用的接收部。

信息处理装置部100根据通过输入装置部300受理的来自使用者的指示输入而进行各种处理。信息处理装置部100例如按照来自使用者的指示，在显示画面220上显示设计图等文档。并且，信息处理装置部100取得照片等图像数据，在显示的该文档上的由使用者指示的位置能够粘贴与取得的照片等的图像数据相应的图像而进行显示等。

电子笔2发送对输入装置部300的传感器部320上的位置进行指示且包含作为自身的辨别ID的笔ID的位置指示信号，对该传感器部320上的坐标位置进行指示。由于该位置指示信号包含笔ID，因此能够将其在输入装置部300提取，向信息处理装置部100通知，将其在信息处理装置部100中利用。在该实施方式中，使用从电子笔2发送的位置指示信号包含的笔ID作为第一附加信息。

另外，该实施方式的电子笔2具备相机单元22，并通过线缆24而与平板电脑型信息终端1进行有线连接。电子笔2能够将通过利用自身搭载的相机单元22拍摄被摄体而得到的图像数据，通过线缆24向平板电脑型信息终端1发送。这种情况下，电子笔2不仅将图像数据，而且对于图像数据附加作为自身的辨别信息的笔ID而向平板电脑型信息终端1发送。需要说明的是，附加于来自电子笔2的图像数据的笔ID被使用作为规定的附加信息(建立关联图像特定信息)即第二附加信息。

由此，在平板电脑型信息终端1中，基于来自电子笔2的位置指示信号包含的笔ID(第一附加信息)和附加于由电子笔2拍摄到的图像数据的笔ID(第二附加信息)，将两者建立关联。在该例的情况下，第一附加信息和第二附加信息都是电子笔2的笔ID。因此，附加了电子笔2的笔ID的图像数据是建立关联对象的图像数据，成为取得了与电子笔2建立关联的认证的图像数据。

图2是用于说明该实施方式的平板电脑型信息终端1的结构例的框图。平板电脑型信息终端1对于信息处理装置部100，经由I/O(input/output)端口130来连接显示装置部200，并经由I/O端口140来连接输入装置部300。

信息处理装置部100对平板电脑型信息终端1的整体进行控制，如以下说明所述，具备各种功能部。收发天线101A和无线通信部101实现向网络的连接功能。网络主要是互联网，但是包括将从信息处理装置部100至互联网连接的手机网或公共电话网等各种网络。

虽然未图示，但是控制部102具备CPU(Central Processing Unit)、ROM(ReadOnly Memory)、RAM(Random Access Memory)。控制部102执行各种程序，对信息处理装置部100的各部和与信息处理装置部100连接的显示装置部200及输入装置部300进行控制。

存储器部103具备EEPROM(Electrically Erasable Programmable Read-OnlyMemory)或闪存等非易失性存储器。在该存储器部103存储保持有例如设常数据或应用程序等的需要即使平板电脑型信息终端1的电源断开也能预先保持的信息。

照片文件夹104主要存储保持通过利用电子笔2的相机单元22拍摄被摄体而得到的、且附加了笔ID的图像数据。需要说明的是，以下，将通过利用相机单元22拍摄被摄体而得到的图像数据记载为照片数据。该照片数据是第一图像数据，向该照片数据附加的笔ID等附加信息是第二附加信息。

另外，图片等DB(Data Base)105存储保持在平板电脑型信息终端1中利用的各种图片的图像数据。需要说明的是，以下，将在平板电脑型信息终端1中利用的图片的图像数据记载为图片数据。该图片数据是如后文所述成为与照片数据相应的照片的建立关联对象的第二图像数据。

图3是用于说明存储于图片等DB105的存储数据即图片文件的例子的图。而且，图4是用于说明存储于照片文件夹104的存储数据即照片文件的例子的图。首先，使用图3，说明图片等DB105的存储数据。在该实施方式的平板电脑型信息终端1的图片等DB105中存储保持图片数据，该图片数据形成使用该平板电脑型信息终端1进行检修的设施的设计图片。设计图片由在确定进行检修的设施的检修部位时能够使用的设施的整体图(图3(A))和各自的检修部位的多个区域设计图(图3(B))构成，关于此在后文叙述。

图片等DB105的存储数据即图片文件如图3(A)、(B)所示是对于形成设计图片的图片数据附加了设施ID及设施名称、类别、楼层、区域ID、分支号码这样的元数据的结构。需要说明的是，在图3(B)所示的区域设计图中，附有详情在后文叙述的基站ID。

在该实施方式中，设施ID是3位数的数字。设施名称是设施的具体的名称，在图3(A)、(B)中，设施名称成为“□□化学成套设备”。类别是表示该设计图片为何种图片的数据，例如，示出整体图、区域设计图的区别。

楼层(层)是表示该设计图片对应的场所为几层的信息。区域ID是能够唯一地确定该设计图片对应的场所(区域)的信息。基站ID是接收来自在各检修对象区域设置的基站的信标信号，基于该信标信号包含的基站ID，自动地确定检修对象区域并确定对应的区域设计图时使用的信息。

分支号码是与通过区域ID确定的场所(区域)对应的设计图片存在多个的情况下为了将它们进行划分的编号。例如，在区域ID由“A01”表示的场所(区域)存在多个区域设计图片等的情况下，分支号码如“01”、“02”、“03”、…那样表示。因此，通过“区域ID”和“分支号码”，能够唯一地确定各区域的区域设计图。

需要说明的是，在该实施方式中，说明了接收来自在各检修对象区域设置的基站的信标信号，为了确定检修对象区域和区域设计图而利用基站ID的情况。然而，并不局限于此。例如，也可以通过平板电脑型信息终端1的未图示的拍摄部读取在检修对象区域的入口附近告示的QR码(注册商标)或条形码等，来确定检修对象区域。这种情况下，图3(B)所示的基站ID成为与QR码(注册商标)或条形码对应的信息。

此外，也可以将红外线信号的发送器设置于各检修对象区域，在平板电脑型信息终端1预先设置红外线通信功能。由此，通过红外通信来收发对检修对象区域进行确定的信息，从而也能够确定检修对象区域和区域设计图。而且，即使在屋内，在通过GPS功能能够对当前位置准确地测位的情况下，也可以基于通过该GPS功能测位的当前位置和整体图，确定检修对象区域，并确定该检修对象区域的区域设计图。

并且，如图3(A)所示，存储于图片等DB105的图片文件中的整体图的图片文件附有设施ID及名称为“001:□□化学成套设备”且类别为“01:整体图”这样的元数据。关于整体图的图片文件的其他的信息即楼层、区域ID、分支号码成为空白栏。

另外，存储于图片等DB105的图片文件中的整体图以外的区域设计图等图片数据如图3(B)所示，设施ID及名称与整体图的情况相同。并且，如类别为例如“02:区域设计图”，基站ID为“aaa…”，楼层为例如“01:1层”，区域ID为例如“A01:控制室”，分支号码为例如“01:正面”那样，附加了与各图片对应的信息。

这样，在图片等DB105中，按照关于检修的设施的各种图片，对于形成各图片的图片数据附加元数据，由此作为图片文件进行存储保持。需要说明的是，在图片等DB105中，可以预先存储关于检修对象的设施的全部的图片的图片文件，也可以在互联网上的服务器装置中预先存储关于检修对象的设施的全部的图片的图片文件，仅下载并保持所需的图片的图片文件。

接下来，使用图4，说明照片文件夹104的存储数据即照片文件。在该实施方式的平板电脑型信息终端1的照片文件夹104中，存储保持例如具有通过外部的拍摄装置拍摄被摄体而得到的照片数据的照片文件。因此，具有通过与平板电脑型信息终端1有线连接的电子笔2的相机单元22拍摄被摄体而得到的照片数据的照片文件等存储于照片文件夹104。如图4所示，存储于照片文件夹104的照片文件对于照片数据附加照片ID、附加信息、手写记录数据等而构成。

照片ID是用于唯一地确定该照片数据的辨别信息，在该实施方式中，是当平板电脑型信息终端1取得了该照片数据时在平板电脑型信息终端1赋予的信息。附加信息是在拍摄时在拍摄装置中附加的信息，例如，由拍摄日期时间、拍摄场所、笔ID等装置ID、其他的信息等构成。

拍摄日期时间是在拍摄时从拍摄装置的时钟电路取得的表示年月日及时刻的信息。拍摄场所是在拍摄时从拍摄装置的GPS部取得的纬度、经度。笔ID是在通过电子笔2的相机单元22拍摄到的图像数据时附加的信息，是能够唯一地确定电子笔2的电子笔的辨别信息。需要说明的是，向通过电子笔2的相机单元22拍摄到的图像数据附加的附加信息在该实施方式中，为了简化说明而作为仅附加了笔ID的信息进行说明。

即，并不是拍摄日期时间、拍摄场所、笔ID等的全部的信息必然对照片数据附加，在通过数码相机拍摄到的照片数据中，不附加笔ID而附加相机ID这样的设备ID。而且，在不具备时钟电路或GPS功能的拍摄装置的情况下，不附加这些信息。当然，除了拍摄日期时间、拍摄场所、笔ID等装置ID之外，也可以附加例如遵照Exif(Exchangeable image fileformat)标准的各种附加信息。

另外，对于照片数据，也可以附加通过平板电脑型信息终端1的使用者输入的手写记录(笔迹数据)。这样，存储保持于照片文件夹104的照片文件是对于照片数据附加由照片ID和附加信息构成的元数据的文件，根据需要也可以附加手写记录数据。

并且，如上所述，存储保持于照片文件夹104的照片文件的照片数据是第一图像数据，存储保持于图片等DB105的图片文件的图片数据是第二图像数据。而且，来自电子笔2的位置指示信号包含的笔ID是第一附加信息，向存储保持于照片文件夹104的照片文件的照片数据附加的附加信息是第二附加信息，尤其是笔ID作为第二附加信息而非常重要，关于此在后文叙述。

接下来，说明信息处理装置部100的各处理部。照片取得部106进行从照片文件夹104取得照片数据的处理，该照片数据与对于后述的输入装置部300的传感器部320进行了位置指示的电子笔2建立关联。第一建立关联部107进行将与通过电子笔2作出了位置指示的输入装置部300的传感器部320上的坐标位置对应的显示装置部200的显示画面220上的坐标位置(坐标数据)和通过照片取得部106取得的照片数据建立关联的处理。

如上所述，输入装置部300的传感器部320与显示装置部200的显示画面220重叠配置，传感器部320的检测区域与显示画面220的显示区域一致。因此，传感器部320上的指示位置唯一地对应于显示画面220上的位置，与传感器部320上的指示位置对应的显示画面220上的位置能够唯一地确定。

照片建立关联部108进行如下处理：使用通过第一建立关联部107建立了关联的坐标位置和照片数据，在与该坐标位置相对的显示装置部200的显示画面220上的位置，将与该照片数据相应的图像建立关联(粘贴)并显示的处理。拍摄控制部109进行对被有线连接的电子笔2的相机单元22进行控制的处理。

取景器控制部110在通过被有线连接的电子笔2的相机单元来拍摄被摄体的情况下，进行在显示装置部200的显示画面设置显示区域而显示电子笔2的相机单元22捕捉的被摄体的影像(活动图像)的处理。这是因为，电子笔2是与一般的自来水笔或圆珠笔大致相同的大小、形状的笔，在电子笔2无法设置作为所谓取景器发挥功能的显示部。

图片取得部111按照来自平板电脑型信息终端1的使用者的指示，或者按照平板电脑型信息终端1的所在位置，进行从图片等DB105取得图片数据的处理，该图片数据形成应检修的设施的整体图或检修场所的区域设计图等。图片显示处理部112进行将通过图片取得部111取得的图片数据所对应的图片显示于显示装置部200的显示画面220，或者根据来自使用者的指示而将显示的图片放大/缩小，或者使显示部分错开(移动)等处理。

坐标转换部113进行将通过电子笔2进行了位置指示的输入装置部300的传感器部320上的坐标位置转换成在显示装置部200的显示画面显示的图片上的坐标位置的处理。第二建立关联部114进行将作为第二图像数据的图片数据、通过坐标转换部113转换后的该图片上的坐标位置以及作为第一图像数据的照片数据建立关联的处理。

在此，图片数据是形成通过图片显示处理部112在显示装置部200的显示画面显示的设计图片的数据。图片上的坐标位置是与通过坐标转换部113转换后的电子笔2的指示位置对应的在显示画面显示的图片上的坐标位置。作为第一图像数据的照片数据由照片取得部106取得。由此，在目标的图片上的目标的坐标位置，能够将与照片数据相应的图像建立关联(粘贴)。

照片显示处理部115进行将与通过照片取得部106取得的照片数据对应的图像(照片)显示于显示装置部200的显示画面220的处理。并且，编辑处理部116通过照片显示处理部115进行显示装置部200的显示画面220上显示的图像的放大/缩小、移动等编辑处理。模式切换部117进行使电子笔2对输入装置部300的传感器部320的指示操作成为基于对拍摄到的照片等的建立关联位置进行指示的操作的照片建立关联模式、照片的编辑模式、通常的处理模式等各处理模式的切换控制。

操作部118是具备电源按钮118A、若干的功能键的部分。外部I/F(I/F是Interface的简称)119能够受理外部设备的连接，并与该外部设备之间能够进行数据的收发。近距离无线通信部120及近距离无线通信天线120A是例如通过Wi-Fi(注册商标)标准的无线LAN(Local Area Network)而能够进行近距离通信的部分。

I/O端口130、140是与I2C(Inter-Integrated Circuit)或USB(Universal SerialBus)等的规定的通信方式一致的输入输出端口。I/O端口130能够进行信息处理装置部100与显示装置部200之间的数据的收发，I/O端口140能够进行信息处理装置部100与输入装置部300之间的数据的收发。

显示装置部200由控制器210和例如LCD(Liquid Crystal Display)或有机EL(Organic Electro-Luminescence)显示器等的薄型的显示画面(显示元件)构成。控制器210是具备CPU、非易失性存储器的微处理器。

输入装置部300由控制器310和传感器部320构成。控制器310是具备CPU、非易失性存储器的微处理器。传感器部320是将沿X轴方向(横向)配置的导电线组和沿Y轴方向(纵向)配置的导电线组层叠而构成的部分。输入装置部300通过传感器部320接收来自电子笔2的位置指示信号，使用控制器310来检测在传感器部320上的哪个位置接收到位置指示信号。而且，控制器310提取通过传感器部320接收到的来自电子笔2的位置指示信号包含的笔ID等附加信息或表示笔压的信息等。

并且，输入装置部300的控制器310将与检测到的指示位置对应的坐标数据、提取到的附加信息或笔压信息向信息处理装置部100供给。而且，作为输入装置部300的结构，存在电磁感应方式或静电电容方式等，电子笔2也对应于输入装置部300采用的方式。

图5是用于说明该实施方式的电子笔2的结构例的框图。如图5所示，电子笔2由电子笔功能部21、相机单元22、I/F(Interface)23构成。电子笔功能部21具备存储有笔ID的存储器21M，笔尖与平板电脑型信息终端1的传感器部上接触时，检测笔压，形成包含该笔压和笔ID的位置指示信号并发送。

电子笔2的相机单元22具备CCD或CMOS影像传感器等拍摄元件、帧存储器、物镜、控制器等。并且，相机单元22取入被摄体的图像，将其作为活动图像数据向平板电脑型信息终端1供给，或者根据来自平板电脑型信息终端1的控制，取入被摄体的图像作为静止图像数据，将其向平板电脑型信息终端1供给。需要说明的是，在通过拍摄被摄体而得到的静止图像数据(照片数据)附加了由存储器21M存储保持的笔ID。

I/F23能够进行与平板电脑型信息终端1之间的数据的收发。I/F23不仅将来自相机单元22的照片数据向平板电脑型信息终端1发送，而且接收来自平板电脑型信息终端1的控制信号向相机单元22的控制器供给，从而能够通过平板电脑型信息终端1控制相机单元22。

图6是用于说明该实施方式的平板电脑型信息终端1与电子笔2的连接关系的图。如图6所示，对于信息处理装置部100，通过I/O端口140来连接输入装置部300。因此，当使电子笔2与输入装置部300的传感器部320上接触时，从电子笔2通过传感器部320接收位置指示信号，通过控制器310检测表示指示位置的坐标数据(X,Y)，并提取笔压PS、笔ID，将它们向信息处理装置部100供给。

另外，电子笔2的I/F23与信息处理装置部100的外部I/F119由线缆24连接。因此，通过电子笔2的相机单元22拍摄到的图像的照片数据或作为附加信息的笔ID等通过线缆24向信息处理装置部100供给。而且，从信息处理装置部100指示对于电子笔2的拍摄的控制信号等通过线缆24向相机单元22供给。

这样，平板电脑型信息终端1与电子笔2由通过输入装置部300进行坐标的指示输入的坐标指示系统连接。而且，平板电脑型信息终端1与电子笔2由照片输入系统连接，该照片输入系统是通过线缆24将连接外部I/F119与I/F23连接的系统，主要进行照片数据的输入。平板电脑型信息终端1与电子笔2可以由上述两个系统连接，在各自的系统中能够进行不同信息的收发。

通过使用图1～图6而说明的该实施方式的平板电脑型信息终端1和电子笔2的使用，能够适当地进行规定的设施的检修作业。在检修作业时，在平板电脑型信息终端1中，执行检修处理(检修作业用应用)。以下，关于在该实施方式的平板电脑型信息终端1中进行的检修处理，具体地进行说明。

图7～图10是用于说明通过平板电脑型信息终端1的信息处理装置部100执行的处理的流程图。而且，图11～图14是用于说明在执行了检修处理的情况下，通过信息处理装置部100在显示装置部200的显示画面显示的图像的显示例的图。

当平板电脑型信息终端1的操作部118的电源按钮118A被操作而向平板电脑型信息终端1接通电源时，图7～图10所示的处理在信息处理装置部100的控制部102中被执行。首先，控制部102进行在显示装置部200的显示画面显示初始画面的处理，该初始画面显示有与自身能够执行的处理(应用)对应的多个图标(步骤S101)。接下来，控制部102通过输入装置部300或操作部118，受理图标的选择输入等操作输入(步骤S102)。

然后，控制部102判别在步骤S102中是否受理了指示处理的结束的操作输入(步骤S103)。控制部102在步骤S103的判别处理中，例如，判别为进行了对电源按钮118A进行操作等的规定的结束操作时，执行将平板电脑型信息终端1的电源断开的规定的结束处理(步骤S104)，结束该图7～图10所示的处理。

在步骤S103的判别处理中，在判别为未进行规定的结束操作时，判别是否选择了用于执行检修处理的图标(步骤S105)。在步骤S105的判别处理中，在判别为用于执行检修处理的图标未被选择时，执行与通过使用者选择的图标对应的处理(步骤S106)，在该处理结束之后，重复进行从步骤S101起的处理。

并且，在步骤S105的判别处理中，判别为用于执行检修处理的图标被选择。这种情况下，首先，控制部102在显示装置部200的显示画面显示检修设施选择画面，该检修设施选择画面是预先登记于存储器部103的、使用该平板电脑型信息终端1能进行检修作业的设施的一览表(步骤S107)。

图11(A)是用于说明通过步骤S107显示的检修设施选择画面的例子的图。在图11(A)所示的检修设施选择画面中，显示使用平板电脑型信息终端1能进行检修作业的设施的设施ID和设施名称的一览。在该一览的显示中，将选择光标CS定位于最上位的设施ID和名称的显示栏，能够选择进行检修的设施。

即，通过使电子笔2的笔尖与目标的设施的设施ID和设施名称的显示栏接触，从而将与该指示位置对应的坐标数据从输入装置部300向信息处理装置部100供给。由此，控制部102基于来自输入装置部300的坐标数据，能够将选择光标CS定位于通过电子笔2指示的位置的设施ID和设施名称的显示栏。这样，使用者能够将选择光标CS定位于目标的设施ID和设施名称的显示栏。

并且，在检修设施选择画面的下端侧显示“返回”按钮B1和“OK”按钮B2，通过电子笔2能够分别对其进行操作输入。控制部102通过输入装置部300，受理对于选择光标CS的移动操作或“返回”按钮B1或“OK”按钮B2的操作输入。在步骤S108中，“返回”按钮B1要求操作输入直至“OK”按钮B2被操作为止。

并且，控制部102判别在步骤S108中是否操作了“返回”按钮(步骤S109)。在步骤S109的判别处理中，在判别为“返回”按钮B1被操作时，控制部102重复进行从步骤S101起的处理。由此，使用者能够以再次选择目标的处理并执行的方式进行操作。

在步骤S109的判别处理中判别为“返回”按钮B1未被操作时，判别为“OK”按钮B2被操作，控制部102将通过选择光标CS被定位的设施ID和设施名称而确定的设施确定作为检修对象的设施。在该实施方式中，如图11(A)所示，将选择光标CS定位于最上段的设施ID为“001”且设施名称为“□□化学成套设备”的显示栏，操作并选择“OK”按钮B2。

这种情况下，控制部102进行将设施ID为“001”的“□□化学成套设备”的整体图显示于显示装置部200的显示画面220的处理(步骤S110)。在步骤S110中，控制部102首先对图片取得部111进行控制，从图片等DB105取得被选择的设施ID为“001”的“□□化学成套设备”的整体图的图片数据。接下来，控制部102对图片显示处理部112进行控制，将图片取得部111取得的图片数据所对应的整体图显示于显示装置部200的显示画面220。

图11(B)是用于说明通过步骤S110显示的、作为检修的设施(检修对象设施)而选择的设施ID为“001”且名称为“□□化学成套设备”的设施的整体图的显示例的图。图11(B)所示的设施的整体图是作为各层的示意图而表示时的例子。

如图11(B)所示，设施ID为“001”且名称为“□□化学成套设备”的设施是3层的建筑物，示出1层具有6个区域，2层具有7个区域，3层具有6个区域的情况。控制部102通过显示装置部200的显示画面220上显示的整体图、操作按钮的显示及输入装置部300，来受理检修对象区域的选择输入等操作输入(步骤S111)。

在该实施方式的平板电脑型信息终端1中，检修对象区域的选择可以使用2个方法中的任一个进行。第一方法是在图11(B)所示的检修对象设施的整体图中，使电子笔2的笔尖与要检修的区域的显示位置接触来选择检修对象区域的方法。第二方法是接收从预先设置于成为检修对象的区域的发送机(基站)发送的规定的信标信号，基于该信标信号包含的基站ID，来选择检修对象区域的方法。

在执行第二方法时，进行通过电子笔2选择图11(B)所示的“搜索”按钮B3的操作。而且，在图11(B)所示的检修对象设施的整体图的显示画面中，也显示“返回”按钮B1和“OK”按钮B2，且通过电子笔2能够操作。在步骤S111的操作输入受理处理中，要求操作输入直至“返回”按钮B1被操作，或“搜索”按钮B3被操作，或使用电子笔2选择了检修对象区域之后“OK”按钮B2被操作为止。

在步骤S111中，例如，使用电子笔2，指定区域ID为“A01”的1层的区域作为检修对象区域。这种情况下，如在图11(B)中标有斜线所示，将该区域例如反转显示而向平板电脑型信息终端1的使用者通知。这种情况下，如果重新选择其他的区域，则将新选择的区域反转，区域ID为“A01”的区域的显示返回通常的显示。并且，在通过电子笔2选择了“OK”按钮时，将通过电子笔2选择的区域确定作为检修对象区域。

另外，在步骤S111中，在“搜索”按钮B3被操作时，如后所述，进行使用了信标的检修区域的检测处理。而且，在步骤S111中，也能够操作“返回”按钮B1。因此，在步骤S111的操作输入受理处理之后，控制部102进入图8的处理，基于来自输入装置部300的坐标数据，判别在步骤S111中受理的操作输入是否为对于“搜索”按钮B3的操作输入(步骤S112)。

在步骤S112的判别处理中，在判别为受理了对于“搜索”按钮B3的操作输入时，控制部102对近距离无线通信部120进行控制，执行使用了信标信号的检修对象区域的检测处理(步骤S113)。在成为检修的对象的各区域预先设置有基站，该基站以在该区域内能够以规定值以上的接收强度接收的方式发送信标信号。因此，在步骤S113中，控制部102通过近距离无线通信天线120A及近距离无线通信部120，接收来自在成为检修的对象的区域预先设置的基站的信标信号。

控制部102在能够接收到接收强度为一定值以上的信标信号时，提取该信标信号包含的基站ID。基于该提取的基站ID，控制部102参照在自身的存储器部103中预先存储的基站ID与检修对象区域的建立对应表，来确定检修对象区域。例如，在将区域ID为“A01”的1层的区域确定作为检修对象区域时，如图11(B)中标有斜线所示，将该区域例如反转显示而向平板电脑型信息终端1的使用者通知。

需要说明的是，在该实施方式中，作为第二方法，说明了使用来自基站的信标信号来确定检修对象区域的情况，但是并不局限于此。在步骤S113的处理中，也如上述所示，使用QR码(注册商标)、条形码等，或者使用红外线通信，或者利用GPS功能等，通过各种方法能够确定检修对象区域。

另外，在步骤S112的判别处理中，在判别为对于“搜索”按钮B3的操作输入未受理时，控制部102判别“返回”按钮B1是否被操作(步骤S114)。在步骤S114的判别处理中，在判别为“返回”按钮被操作时，控制部102重复进行图7的从步骤S107起的处理。由此，平板电脑型信息终端1的使用者能够再一次重新进行作为检修对象的设施的选择。

在步骤S114的判别处理中，在判别为“返回”按钮B1未被操作时，是通过电子笔2选择检修对象区域且“OK”按钮B3被操作而确定的情况。而且，在步骤S113的处理之后，也如上所述，利用信标信号来确定检修对象区域。因此，在步骤S114中，在判别为“返回”按钮未被操作时和步骤S113的处理之后，控制部102控制模式切换部117，使自身向照片建立关联模式转变(步骤S115)。由此，能够判别为向操作按钮等的指示操作以外的电子笔2的指示操作是照片的建立关联位置的指示。

并且，控制部102对图片取得部111和图片显示处理部112进行控制，执行图片选择处理(步骤S116)。在步骤S116中，控制部102首先控制图片取得部111，从图片等DB105取得作为检修对象区域的区域的区域设计图等图片数据。在该实施方式中，如图11(B)所示，说明选择1层的下侧的角的区域ID为“A01”的区域作为检修对象区域的情况。

接下来，控制部102对图片显示处理部112进行控制，将与通过图片取得部111取得的图片数据对应的图片显示于显示装置部200的显示画面220。图12(A)是用于说明通过步骤S116显示于显示装置部200的显示画面220的图片显示画面的例子的图。在图12(A)所示的图片显示画面中，在中央部分显示与取得的图片数据对应的图片，在上端部显示“A01”这样的表示检修对象区域的区域划分和“配管图”这样的图片类别。

在该例中，显示于显示画面220的图片是检修对象区域“A01”的配管图。该配管图示出将两个三角形合在一起的形状的闸阀、日语片假名的横过来的形状的过滤器、由平行的2条线表示的凸缘、圆形带有斜线的压力计等连接而构成的情况。并且，处于显示图片的右上端部的压力计、闸阀等成为检修的对象。

此外，在该图片显示画面中，在图片类别的显示的右侧进行“2/10”的页编号的显示。该页编号的显示表示与该检修对象区域相关的区域设计图等为10图(10页)，当前显示的是其中的第2图(第2页)的图片。

需要说明的是，在“2/10”等的页编号的显示中，分子部分的数字对应于图3所示的图片数据的分支号码。并且，如图12(A)所示，在左上端部显示有左改页按钮LP，在右上端部显示有右改页按钮RP。因此，在步骤S116中，通过电子笔2对于左改页按钮LP、右改页按钮RP进行操作，由此能够变更显示的图片。当改页按钮LP、RP被操作而图片变更时，页编号的显示也被变更。

此外，如图12(A)所示，在图片显示画面的右下端部设置取景器区域221，并显示有快门按钮222。在取景器区域221显示通过电子笔2的相机单元22而捕捉的被摄体的图像。而且，在快门按钮222被操作时，从平板电脑型信息终端1对电子笔2的相机单元22进行控制，能够拍摄被摄体的静止图像。而且，在该图片显示画面的左下端部设有“返回”按钮B1。

通过步骤S116的图片选择处理，在显示装置部200的显示画面220上显示了通过取得的图片数据形成的图片之后，控制部102通过输入装置部300受理来自使用者的操作输入(步骤S117)。并且，控制部102判别在步骤S117中受理的操作输入是否为“返回”按钮B1(步骤S118)。

在步骤S118的判别处理中，在判别为“返回”按钮被操作时，控制部102对模式切换部117进行控制，从照片建立关联模式转变为通常的处理模式(步骤S119)，从图7的步骤S110的处理起重复进行。由此，平板电脑型信息终端1的使用者能够再次从检修对象区域的选择处理起进行。需要说明的是，通常的处理模式是电子笔2对输入装置部300的操作输入不具有特别的意义而能够进行按钮或图标的选择、笔迹的输入等的模式。

另外，设为在步骤S118的判别处理中，判别为“返回”按钮B1未被操作。这种情况下，控制部102基于来自输入装置部300的坐标数据，判别显示画面220上显示的快门按钮222是否被操作(步骤S120)。在步骤S120的判别处理中，在判别为快门按钮222未被操作时，控制部102重复进行从步骤S116起的处理。由此，平板电脑型信息终端1的使用者能够再次进行从显示于显示画面220的图片的选择起的处理。

在步骤S120的判别处理中，在判别为快门按钮222被操作时，进行通过电子笔2的相机单元22的照片的拍摄、照片数据和附加信息的记录处理(步骤S121)。具体而言，在步骤S121中，控制部102对取景器控制部110和外部I/F119进行控制，将通过电子笔2的相机单元22拍摄的被摄体的活动图像显示于在显示画面220设置的取景器区域221。

图12(B)是对应于在显示画面220上显示的图片的右上端部存在的压力计，将实际设置于检修对象区域(A01)的压力计的相机单元22捕捉的图像显示于取景器区域221时的显示例。如图12(B)所示，在显示装置部200的显示画面设置的取景器区域221上显示通过电子笔2的相机单元22取入的活动图像，由此能够确认该取景器区域221显示的活动图像，并拍摄目标的检修对象的静止图像。

并且，在该实施方式的平板电脑型信息终端1中，在快门按钮222被操作起的规定时间后，控制部102控制拍摄控制部109，通过外部I/F119向电子笔2的相机单元22发送拍摄指示。接收到拍摄指示的相机单元22拍摄此时通过物镜取入的被摄体的图像而记录于帧存储器，由此拍摄被摄体而得到照片数据。并且，相机单元22向通过拍摄而得到的照片数据附加笔ID作为附加信息，将其通过I/F23和线缆24向平板电脑型信息终端1供给。

这样，该实施方式的平板电脑型信息终端1在作为软件键的快门按钮222被操作时，能够将电子笔2的相机单元22捕捉的被摄体的活动图像显示于取景器区域221而进行观察。并且，在对快门按钮222进行操作起的规定时间后，能够拍摄电子笔2的相机单元22捕捉的被摄体的静止图像。

这种情况下，在控制部102的控制下，拍摄控制部109通过外部I/F119，取得来自电子笔2的相机单元22的照片数据和作为附加信息的笔ID。并且，拍摄控制部109形成由取得的照片数据及笔ID构成的图4所示的照片文件，并将其记录于照片文件夹104。需要说明的是，在该阶段，手写记录数据仍为空白栏的状态。

需要说明的是，在该例中，说明了在快门按钮222被操作时，进行取景器区域221的活动图像的显示，从快门按钮222的操作起的规定时间后拍摄被摄体而得到照片数据的情况。然而，并不局限于此。例如，也可以在步骤S115的向照片建立关联模式的转变后，将通过电子笔2的相机单元22捕捉的被摄体的活动图像显示于取景器区域221。并且，也可以在快门按钮222被操作时拍摄被摄体而得到照片数据。而且，也可以首先在快门按钮222被操作时进行取景器区域221的活动图像的显示，接下来在快门按钮222被操作时拍摄被摄体而得到照片数据。

在步骤S121的处理之后，控制部102受理来自使用者的操作输入(步骤S122)。并且，控制部102基于来自输入装置部300的坐标数据，判别“返回”按钮B1是否被操作(步骤S123)。在步骤S123的判别处理中，在判别为“返回”按钮被操作时，控制部102重复进行从步骤S116起的处理。由此，使用者能够再次从显示于显示画面的图片的选择处理起进行。

在步骤S123的判别处理中，在判别为“返回”按钮未被操作时，控制部102进入图9的处理，判别是否进行了显示图片的调整操作(步骤S124)。该步骤S124的处理是基于来自输入装置部300的坐标数据，判别图12(B)所示的缩小按钮C1、放大按钮C2、上移按钮CU、右移按钮CR、下移按钮CD、左移按钮CL是否被操作的处理。

即，在图12(B)所示的显示例中，在左下端部显示“返回”按钮，并且显示有缩小按钮C1、放大按钮C2、上移按钮CU、右移按钮CR、下移按钮CD、左移按钮CL作为显示图片的编辑用按钮。并且，也能够对它们进行操作。

在步骤S124的判别处理中，在判别为进行了显示图片的调整操作时，控制部102控制图片显示处理部112，按照来自使用者的操作输入来执行显示图片的调整处理(步骤S125)。具体而言，进行显示图片的缩小/放大、显示图片的移动等处理。这样，通过进行显示图片的调整，能够容易将拍摄到的照片与该显示图片的目标的位置建立关联。

在步骤S125的处理之后，重复进行图8的从步骤S122起的处理。由此，能够选择“返回”按钮B1，或者继续进行显示图像的调整处理。

在步骤S124的判别处理中，在判别为未进行显示图片的调整操作时，控制部102判别是否受理了用于将照片建立关联(粘贴)的坐标指示(步骤S126)。在该实施方式的平板电脑型信息终端1中，在图8所示的处理的步骤S115中，转变为照片建立关联模式。因此，控制部102将电子笔2对显示的操作按钮的指示操作以外的指示操作判别为指示照片的建立关联位置的坐标指示。

在步骤S126的判别处理中，在判别为未受理指示照片的建立关联位置的坐标指示时，由于未受理有效的操作输入，因此重复进行图8的从步骤S122起的处理。由此，能够选择“返回”按钮B1或者继续进行显示图像的调整处理。

图13(A)是用于说明确定与电子笔2建立关联的照片数据所对应的照片的建立关联位置的处理的图，是用于具体说明步骤S127以后的处理的图。通过重复进行步骤S122～步骤S125的处理，例如图13(A)所示，通过放大并移动显示范围，从而处于显示画面220上显示的范围被变更的图片的显示状态。

即，为了在显示画面220上显示的图片(配管图)的右上的压力计的附近将实际的压力计的照片建立关联，而如图13(A)所示，将该图片放大并以压力计部分为中心而显示于显示画面220。此时，如图13(A)所示，进行使电子笔2的笔尖与显示画面220上的目标的位置P接触的操作。

这种情况下，在步骤S126的判别处理中，判别为受理了指示照片的建立关联位置的坐标指示。这种情况下，控制部102取得从输入装置部300提供的坐标数据和作为附加信息的笔ID(步骤S127)。这样，从电子笔2通过输入装置部300与坐标数据一起取得的笔ID作为第一附加信息发挥功能。

并且，控制部102控制照片取得部106，从照片文件夹104取得与电子笔2建立关联的照片数据(步骤S128)。在步骤S128中，照片取得部106基于在步骤S127中取得的笔ID(第一附加信息)和向存储于照片文件夹的照片数据附加的笔ID(第二附加信息)，取得与电子笔2建立关联的照片数据。即，取得附加了与从电子笔2取得的笔ID相同的笔ID的照片数据。

由此，即使在照片文件夹104存储有通过例如利用数码相机拍摄而得到的照片数据等，也能够仅取得通过电子笔2的相机单元22拍摄而得到的照片数据。即，不取得与电子笔2没有关联的照片数据。

然后，控制部102控制第一建立关联部107，将通过步骤S127取得的表示由电子笔2指示的坐标位置的坐标数据与通过步骤S128取得的照片数据建立关联(步骤S129)。由此，在该坐标数据表示的显示画面220上的位置显示与该照片数据对应的图像。

因此，控制部102控制照片建立关联部108，在步骤S129中，在建立了关联的坐标数据表示的显示画面220上的位置显示与在步骤S129中建立了关联的照片数据对应的缩略图像(步骤S130)。由此，如图13(A)所示，能够在电子笔2良好地指示的显示画面220上的位置P将通过步骤S128取得的照片数据所对应的缩略图像Sn建立关联(粘贴)。

需要说明的是，也存在通过电子笔2的相机单元22拍摄且附加了电子笔2的笔ID作为附加信息的多个照片的照片数据存储于照片文件夹104的情况。在这样的情况下，在步骤S128中，取得与电子笔2建立关联的多个照片的照片数据。这种情况下，步骤S129、步骤S130的处理稍有不同。

图13(B)是用于说明存在多个与电子笔2建立关联的照片数据的情况下的处理的图。在步骤S128中，取得与电子笔2建立关联的多个照片的照片数据。这种情况下，在控制部102的控制下，第一建立关联部107将与电子笔2的指示位置P对应的坐标数据与取得的多个图像数据分别建立关联(步骤S129)。

然后，在控制部102的控制下，照片建立关联部108进行将与取得的多个照片数据对应的照片的缩略图像显示于显示画面220的处理(步骤S130)。具体而言，在步骤S130中，如图13(B)所示，照片建立关联部108以使用者对电子笔2的指示位置P为基准位置。并且，照片建立关联部108显示与该指示位置P所对应的坐标数据建立了对应的多个照片数据各自所对应的照片的缩略图像Sn1、Sn2、Sn3、…(步骤S129)。在图13(B)中，示出多个照片的缩略图像一点点地错开且具有重合的部分地显示的情况。

并且，在控制部102的控制下，照片建立关联部108发挥功能，利用显示的多个缩略图像，进行选择应建立关联的照片数据的处理(步骤S131)。在步骤S131中，受理使电子笔2的前端与目标的缩略图像的显示区域上接触的操作。这种情况下，照片建立关联部108进行将以该被指示的位置为显示区域的缩略图像以能够观察其整体的方式显示于全部的缩略图像的最近前侧的处理。

由此，使用者观察缩略图像的整体，能够判别是否为目标的照片。在不是目标的照片时，使电子笔2的前端与另一缩略图像的显示区域上接触，显示该缩略图像的整体。通过反复进行这样的处理，使用者能够确认各缩略的整体而搜索目标的照片。

在发现了目标的照片时，例如，使用者在该缩略图像的显示区域上使用电子笔2进行双击操作。在受理了该双击操作时，照片建立关联部108将被双击的缩略图像所对应的照片数据选择作为使用于建立关联的照片数据。并且，照片建立关联部108以图13(A)所示的形态，将与该照片数据对应的一张照片的缩略图像显示在以电子笔2的最初的指示位置P为基准的位置。

这样的选择照片数据的一连串的处理在步骤S131中执行。需要说明的是，在步骤S128中取得的照片数据仅为1个时，在步骤S131中，将该照片数据选择作为建立关联的照片数据。

在步骤S131的处理之后，在控制部102的控制下，模式切换部117发挥功能，转变为照片编辑模式(步骤S132)。由此，电子笔2对输入装置部300的传感器部320的操作输入被看作对于照片的编辑操作或手写记录的输入操作。并且，控制部102控制照片显示处理部115，将通过步骤S131选择的照片数据所对应的照片显示于显示画面220，受理对于该照片的编辑操作或手写记录的输入操作(步骤S133)。

需要说明的是，为了便于说明，虽然在图9中未示出，但是如图13(A)所示，也存在想要变更通过电子笔2指示的位置的情况。在这样的情况下，通过操作在图13(A)的显示画面220的左下端部设置的“取消”按钮B4而取消指示位置P的指示，再次对指示位置进行指示，通过操作“OK”按钮B5来确定指示位置。从而能够进行所说的指示位置P的变更操作。

图14(A)是在步骤S133中，用于说明显示于显示画面220的照片的编辑画面的例子的图。在显示画面220的中央部分，显示与通过步骤S131选择的照片数据对应的照片G1，并显示“关闭”按钮B6。并且，在该例的情况下，使用电子笔2对于传感器部320进行悬浮操作，由此编辑处理部116发挥功能，能够进行照片G1的缩小/放大。

具体而言，在与显示照片G1的显示画面220上的区域对应的输入装置部300的传感器部320的检测区域上，进行使电子笔2的笔尖接近或远离的所谓悬浮操作。由此，编辑处理部116发挥功能，能够进行显示于显示画面220的照片G1的缩小/放大。即，输入装置部300检测电子笔2相对于传感器部320的距离，并将其向控制部102通知。控制部102基于该距离，对编辑处理部116进行控制，能够进行照片G1的缩小/放大。例如，如果电子笔2相对于传感器部320接近，则照片G1被缩小，如果远离，则照片G1被放大。

另外，在控制部102的控制下，编辑处理部116能够受理电子笔2对输入装置部300的传感器部320上的手写记录的附加区域Ar的笔记操作，输入手写记录。由此，例如图14(A)所示，在手写记录的附加区域Ar能够输入“压力正常值。不需要调整”等那样与需要对应的手写记录。

然后，进入图10的处理，判别“关闭”按钮是否被操作(步骤S134)，在判别为“关闭”按钮未被操作时，重复进行图9的从步骤S133的处理。由此，能够继续进行照片编辑处理和手写记录输入处理。

在步骤S134的判别处理中，在判别为“关闭”按钮被操作时，能够判别为对于显示的照片G1的照片编辑处理或手写记录输入处理结束。这种情况下，控制部102控制坐标转换部113，进行将显示画面220上的由电子笔2指示的指示位置P转换成显示图片上的位置的处理(步骤S135)。

图14(B)是用于说明显示图片上的指示位置的图，图15是用于说明将显示画面220上的指示位置转换成显示图片上的位置的处理的图。在图13(A)、(B)所示的例子中，检修对象区域的选择的图片(在该例中，作为区域设计图片的配管图)被放大，在向显示画面220的显示对象区域上移动，处于将目标的图片部分显示于显示画面220的状态。

在该状态下，对照片的建立关联(粘贴)位置P进行指示，因此，如图14(B)所示，在将显示图片的整体显示于显示画面220的情况下，显示图片上的指示位置成为图片右上的压力计的附近的位置。因此，坐标转换部113将图13所示指示的显示画面220上的指示位置P确定作为如图15所示例如以左上端部为原点O(0,0)的显示图片所对应的坐标系上的指示位置ZP。并且，在图15所示的显示图片所对应的坐标系中，确定指示位置ZP的坐标数据(X1,Y1)。由此，如图13所示指示的显示画面上的指示位置P被转换成如图14(B)或图15所示显示图片上的指示位置ZP。

然后，控制部102控制第二建立关联部114，将显示图片、显示图片上的指示位置ZP(X1,Y1)、选择的照片数据这3个建立关联(步骤S136)。具体而言，第二建立关联部114形成将显示图片、显示图片上的指示位置ZP(X1,Y1)、选择的照片数据这3个建立关联的建立关联数据。图16是用于说明第二建立关联部114形成的建立关联数据的例子的图。

如图16所示，第二建立关联部114将设施ID、类别、楼层、区域ID、分支号码向建立关联数据的对应栏输入。如使用图3(B)说明那样，上述的信息是向显示图片的图片数据附加的元数据，能够从形成显示图片的图片数据的图片文件取得。此外，第二建立关联部114将向选择的照片数据附加的照片ID输入到照片ID栏，将转换后的显示图片上的指示位置ZP(X1,Y1)输入到对应的建立关联位置栏。由此，将显示图片、显示图片上的指示位置ZP(X1,Y1)、选择的照片数据这3个建立关联。

另外，在该例中，如使用图14(A)说明那样，对于照片G1输入的手写记录数据存储在使用图4说明的存储该照片数据的照片文件的手写记录数据栏中。向该手写记录数据的照片文件的更新处理例如由第二建立关联部114进行。当然，可以由编辑处理部116等其他的处理部另行进行。这样形成的建立关联数据例如存储保持在存储器部103的规定的区域，根据需要读出而能够重复利用。

然后，控制部102重复进行图8所示的从步骤S115起的处理。由此，对于1个显示图片，也能够将不同的照片数据向不同的指示位置附加。因此，如图16所示，在建立关联数据中，对于1个显示图片，能够两多个照片数据的照片ID与多个不同的建立关联位置建立对应。

并且，通过利用图16所示的建立关联数据，例如图14(B)所示，能够在目标的图片上的指示位置ZP显示建立关联的照片的缩略图像MK，向使用者提供。当然，在图14(B)所示的显示中，利用电子笔指示缩略图像MK，由此能够以图14(A)所示的形态，仅显示照片而提供。而且，在图14(B)所示的显示中，通过将显示放大或移动，能够以图13(A)所示的形态，将显示图片和照片的缩略图像这两方放大显示，并提供。

[第一实施方式的效果]

根据上述的第一实施方式的平板电脑型信息终端1及电子笔2，能够取得与电子笔2建立关联的照片数据。并且，能够将取得的照片数据与由电子笔2指示的显示画面220上的指示位置建立关联。由此，能够将与电子笔2建立关联的照片数据与显示画面上的指示位置建立关联地显示。

另外，在显示画面220上显示有图片的情况下，能够将电子笔2的指示位置转换成显示图片上的指示位置，能够将该显示图片、与电子笔2建立关联的照片数据、显示图片上的指示位置建立关联。由此，能够在显示图片上的指示位置粘贴并显示建立关联的照片。

这样，能够容易将与电子笔2建立关联的照片数据与显示画面上的指示位置建立关联，或者与显示图片上的指示位置建立关联。因此，例如，能够仅将检修作业中拍摄到的照片与使用于检修作业的图片上建立关联而进行管理等，将照片与图片建立关联并管理的情况容易进行。

[第一实施方式的变形例等]

在上述的第一实施方式中，通过进行使用了电子笔2的笔ID的认证，来取得建立关联对象的照片数据即与电子笔2建立关联的照片数据，将与该照片数据所对应的图像与电子笔2的指示位置所对应的显示画面上的位置建立了关联。然而，并不局限于此。

输入装置部300的传感器部320在静电电容方式的传感器的情况下，通过使用者的手指能够进行位置指示。这种情况下，从使用者的手指不发送笔ID等。而且，也存在不具有笔ID的电子笔或在位置指示信号中不包含笔ID的电子笔。在这样的情况下，能够将附加了建立关联图像特定信息的照片数据所对应的图像与通过使用者的手指等指示体指示的传感器部的指示位置所对应的显示画面上的位置建立关联。

需要说明的是，在该说明书中，指示体这样的词语被使用作为包括使用者的手指或不发送笔ID等附加信息作为位置指示信号的电子笔这两方。而且，位置指示器这样的词语主要是指能够送出包含笔ID等附加信息的位置指示信号的电子笔。

这样，即使在未使用笔ID的情况下，基本上，也能够进行使用图7～图10的流程图说明的处理，但是图9所示的步骤S128的处理不同。即，在未通过笔ID进行与电子笔的建立关联时，只要在图9的步骤S128的处理中，从例如照片文件夹104取得附加了规定的建立关联图像特定信息的照片数据即可。这种情况下的建立关联图像特定信息优选使用例如使用者ID或检修码等仅进行检修的人才知晓的信息。

并且，在照片数据中，例如，在存储于照片文件夹104的时刻，使用者附加建立关联图像特定信息。而且，使用者在存储器部103的规定的存储区域预先登记有建立关联图像特定信息。并且，如上所述，在图9的步骤S128的处理中，控制部102只要控制照片取得部106，从照片文件夹104取得附加了与登记于存储器部103的建立关联图像特定信息相同的信息的照片数据即可。

由此，能够迅速地取得建立关联对象的照片等适当的图像，并将其与通过使用者的手指、不具有笔ID的电子笔指示的显示画面上的坐标位置建立关联地利用。即，即便使用了使用者的手指或不具有笔ID的电子笔，也能够仅取得建立关联用的特别的图像，并将该图像与使用者的手指或不具有笔ID的电子笔的指示位置所对应的坐标数据建立关联地利用。

另外，在上述的第一实施方式中，对于通过利用电子笔2的相机单元22拍摄而得到的照片数据附加笔ID作为第二附加信息并输出。而且，在通过电子笔2的电子笔功能部21的功能而生成并发送的位置指示信号也附加笔ID作为第一附加信息并输出。然而，并不局限于此。

作为第一附加信息的笔ID例如可以使用Bluetooth(注册商标)标准的无线通信进行发送。图17是用于说明与位置指示信号另行地通过例如Bluetooth(注册商标)标准的无线通信发送笔ID的电子笔2A的结构例的图。而且，图18是用于说明具备接收通过无线通信发送的笔ID的功能的平板电脑型信息终端与电子笔的连接关系的图。

在图17中，对于与图5所示的电子笔2同样地构成的部分，标注相同的参照符号，由于重复，因此省略关于该部分的详细说明。而且，在图18中，对于与图6所示的平板电脑型信息终端1的部分同样地构成的部分标注相同的参照符号，由于重复，因此省略关于该部分的详细说明。

图17所示的电子笔2A的电子笔功能部21形成位置指示信号并发送，但是形成不包含自身的笔ID的位置指示信号并发送。并且，该例的电子笔2A具备笔ID存储器25、例如bluetooth(注册商标)标准的发送电路26、发送天线27，自身的笔ID通过发送电路26及发送天线27进行发送。需要说明的是，在通过利用相机单元22拍摄而得到的照片数据中，附加笔ID存储器25的笔ID并通过I/F23发送的结构与图5所示的电子笔2的情况相同。

对应于此，如图18所示，在平板电脑型信息终端1侧设置bluetooth(注册商标)标准的接收电路150及接收天线150A。由此，从电子笔2A进行无线发送的作为第一附加信息的笔ID通过上述接收天线150A及接收电路150接收，能够将其在信息处理装置部100使用于适当的照片数据的取得或认证。这样，作为第一附加信息的笔ID能够通过与位置指示信号另行的无线通信路径进行发送。

另外，在上述的第一实施方式中，电子笔2不具备操作按钮。然而，并不局限于此。图19是用于说明电子笔的变形例的图。例如图19的电子笔2B所示，也可以对电子笔设置快门按钮28、侧开关29、30等操作按钮。如电子笔2B所示通过在电子笔侧设置快门按钮28，能够通过设于电子笔2B的快门按钮进行拍摄照片的操作，能够使操作性良好。

图20是用于说明电子笔2B的侧开关29、30的利用方法的例子的图。侧开关29、30在其被按下操作的情况下，对应于被操作的侧开关，改变从电子笔2B发送的位置指示信号的例如频率，由此在输入装置部300侧能够识别哪个侧开关被操作。

因此，在图20(A)中，如涂抹侧开关29所示，在侧开关29被操作的状态下，使电子笔2B与传感器部320上接触而移动。这种情况下，在信息处理装置部100侧判别为对于显示图像的拖拽操作，能够进行显示图片的整体的移动。

另外，在图20(B)中，如涂抹侧开关30所示，在侧开关30被操作的状态下，使电子笔2B与传感器部320上接触。这种情况下，在信息处理装置部100侧判别为照片的建立关联位置的指示操作，能够以指示位置P为基准，将选择的照片数据所对应的缩略图像建立关联(粘贴)。

这样，通过在电子笔设置快门按钮28或侧开关29、30，能够以更简单的操作进行照片拍摄、显示图像的拖拽移动、照片的建立关联位置的指定等。

另外，在上述的第一实施方式中，使电子笔2的前端与传感器部320上接触来指示选择的照片数据所对应的照片的建立关联位置。这种情况下，例如，也能够通过悬浮操作，来确认照片的建立关联位置。图21是用于说明基于悬浮操作的照片的建立关联位置的图。

如图21所示，在照片建立关联模式时，使电子笔2的前端相对于传感器部320不是接触而是接近规定距离以上。这种情况下，在电子笔2相对于传感器部320接近规定距离以上期间，以接收来自电子笔2的位置指示信号的传感器部320上的位置为基准，将与选择的照片数据对应的缩略图像VM显示于显示画面220。

这样，确认将选择的照片数据建立关联的显示画面220上的位置。并且，在认为建立关联位置不良时，通过改变电子笔2的位置而依次改变缩略图像VM的显示位置，能够搜索适当的显示位置。在适当的显示位置能够确定时，使电子笔2与传感器部320上的对应的位置接触，由此能够将该指示位置确定作为照片数据的建立关联位置。

另外，平板电脑型信息终端1也能够从电子笔2的相机单元22以外取得照片数据和附加信息。图22是用于说明照片数据及附加信息的取得目标及取得路径的图。如图22所示，也可以通过外部I/F119与数码相机或搭载有相机功能的智能手机或被称为无人机等的无人飞行体等进行有线连接，从它们取得照片数据和附加信息，或者对它们进行控制。

另外，也可以通过近距离无线通信天线120A及近距离无线通信部120与数码相机或搭载有相机功能的智能手机或无人机等进行无线连接，从它们取得照片数据和附加信息，或者对它们进行控制。此外，还可以通过收发天线101A及无线通信部101取得在互联网上设置的数据中心或由服务器组构成的所谓云中存储的照片数据或附加信息。

需要说明的是，在从数码相机、智能手机、无人机等外部设备取得照片数据或附加信息时，该附加信息不包含为了与电子笔2的建立关联所需的笔ID。因此，在从数码相机、智能手机、无人机等外部设备取得照片数据或附加信息时，能够从后方向附加信息附加电子笔2的笔ID。

另外，不附加笔ID，而是将笔ID与使用者ID建立对应，存储于信息处理装置部100的存储器部103，同样地，将数码相机、智能手机、无人机等外部设备的设备ID与使用者ID建立对应，预先存储于信息处理装置部100的存储器部103。并且，在通过来自电子笔2的笔ID而确定的使用者ID与通过来自外部设备的设备ID而确定的使用者ID相同时，也可以将电子笔2与附加了该设备ID的照片数据建立关联。使用者ID可以使用将使用者姓名、数字列、字母数字等组合的结构等能够确定使用者的各种结构。

另外，在数码相机、智能手机、无人机等外部设备搭载有提供当前日期时间的时钟电路或对于当前位置进行测位的GPS部。因此，在电子笔2也搭载时钟电路或GPS部，能够将当前时刻或当前位置从电子笔2通过输入装置部300向信息处理装置部100提供。并且，来自电子笔2的当前时刻及当前位置、从数码相机、智能手机、无人机等外部设备附加于照片数据的当前时刻及当前位置处于一定的范围内，在判别为电子笔2和外部设备在同一时间带在同一区域使用时，可以将电子笔2与来自外部设备的照片数据建立关联。

另外，也可以不使用当前时刻和当前位置这两方，而仅使用任一方进行电子笔2与照片数据的建立关联。这样，电子笔2与照片数据的建立关联能够使用笔ID、设备ID、当前时刻、当前位置等各种信息进行。而且，可以不是直接建立关联的信息，而将上述的笔ID和设备ID那样与相同信息存在联系的信息使用作为建立关联信息。

另外，在上述的第一实施方式中，说明了平板电脑型信息终端1与电子笔2通过有线进行连接的情况，但是并不局限于此。当然也可以通过无线进行连接。例如，可以通过被称为Wi-Fi(注册商标)标准的无线LAN连接、Bluetooh(注册商标)标准的无线通信、NFC(Near field radio communication)等的各种近距离无线通信或者对它们进行了改良、发展的无线方式，将平板电脑型信息终端1与电子笔2进行无线连接。

另外，在上述的第一实施方式中，在选择了检修对象区域之后，信息处理装置部100使自身转变为照片建立关联模式，将对于操作按钮的操作以外的电子笔2的指示操作看作与照片数据对应的照片的建立关联位置的指示操作。然而并不局限于此。

例如，也可以在快门按钮被操作时，转变为照片建立关联模式。而且，也可以使得能够检测电子笔2相对于传感器部320的倾斜，在电子笔2的倾斜为规定角度以上或规定角度以下时，转变为照片建立关联模式。而且，在电子笔2与照片数据能够建立关联时，可以转变为照片建立关联模式，也可以如使用图18(B)说明那样，在规定的侧开关被按下操作时，转变为照片建立关联模式。而且，也可以在向电子笔2施加的笔压为规定值以上或规定值以下时，转变为照片建立关联模式。

这样，只要为了信息处理装置部100能够识别电子笔2对传感器部320上的指示位置是与照片数据对应的照片的建立关联位置的指示还是除此以外的指示，在规定的现象发生时，转变为照片建立关联模式即可。当然，在使用侧开关时，不转变为照片建立关联模式而仅在此时判别为作出了与照片数据对应的照片的建立关联位置的指示操作即可。

另外，在上述的第一实施方式中，说明了将检修对象区域的各种设计图片显示于显示画面220并将其与照片数据建立关联的情况，但是并不局限于此。例如，可以将被摄体的整体照片与该被摄体的各部分的照片建立关联，或者将作为电子数据而取入的手写图像与照片建立关联。即，成为照片的建立关联对象的图像除了设计图片之外，可以使用各种图像。

另外，在上述的第一实施方式中，说明了将检修对象区域的目标的设计图片显示于显示画面220并将其与检修对象部分的照片数据建立关联的情况。然而，可考虑检修对象为化学成套设备那样的复杂的场所的情况，应取得照片的检修部位(检修部位)无法立即确定的情况。尤其是不熟悉检修的使用者(担当者)进行检修时，存在检修部位的确定花费时间的情况。

因此，预先拍摄检修部位的图像而得到该部位的图像数据，将其与检修对象区域的区域设计图等建立对应地存储保持。并且，在使用者到达目标的检修区域，选择了使用于检修的设计图片之后，在无法立即确定检修部位时，使用检修部位搜索功能。平板电脑型信息终端1的检修部位搜索功能由以下的(1)～(3)这3个步骤构成。

(1)将检修区域的图像通过电子笔2的相机单元22拍摄而取入。(2)进行取入的相机图像和与选择的设计图等建立对应的检修部位的图像数据的图像(检修部位图像)的图像匹配。(3)通过该图像匹配而将与检修部位图像一致的部位(地方)确定作为检修部位，并将其向使用者通知。以下，具体说明该检修部位搜索功能。

图23是用于说明平板电脑型信息终端1具备的检修部位搜索功能的图。图23(A)是表示通过预先拍摄而存储保持的检修部位的图像数据形成的检修部位图像TZ的图。也如上所述，检修部位的图像数据与区域设计图等建立对应地存储保持于图片等DB105。

并且，通过到达检修对象区域的使用者，从例如显示于平板电脑型信息终端1的显示画面220的菜单选择与检修部位搜索功能对应的项目，由此执行检修部位搜索功能。这种情况下，平板电脑型信息终端1的控制部102向电子笔2供给控制信号，使电子笔2的相机单元22起动。

此外，控制部102通过声音消息或显示消息，对于使用者指示检修区域的拍摄。对应于此，使用者使电子笔2的相机单元22的拍摄镜头朝向检修区域而进行拍摄。由此，通过相机单元22拍摄检修区域，将相机图像(拍摄图像)向平板电脑型信息终端1发送而显示于显示装置部200的显示画面220。

图23(B)是表示在平板电脑型信息终端1的显示画面220上显示的相机图像CZ的例子的图。平板电脑型信息终端1的控制部102进行相机图像CZ(图23(B))与检修部位图像TZ(图23(A))的图案匹配，从而进行确定相机图像CZ中的检修部位的处理。简单而言，控制部102确定相机图像CZ中的各物体的轮廓，检测检修部位图像TZ中的与物体的轮廓类似的较高的部分。

在图23(B)所示的相机图像CZ的例子时，在相机图像CZ的右侧检测到与检修部位图像TZ类似的较高的部位，以将该部位包围的方式显示点线，并且也显示箭头YM，将检修部位CP向使用者通知。这样，检修部位搜索功能是利用检修部位图像TZ作为标记器，并将与该标记器一致的部位作为检修部位进行通知的功能。换言之，检修部位搜索功能实现作为所谓AR(Augmented Reality)标记器的功能。由此，即使在不熟悉检修的使用者执行检修的情况下，也能够不会出错地迅速确定检修部位，能够适当地进行检修。

另外，在实际的检修的场面中，例如，在发现了龟裂或变色部位等问题部位时，存在想要适当地掌握该问题部位的尺寸的要求。当然，也可以在对于拍摄问题部位的照片的图像数据能够附加的上述的手写记录中，保留问题部位的尺寸等信息。然而，从拍摄问题部位的照片的图像中，看一眼就能够预先掌握问题部位的尺寸等，更加便利。

然而，仅是拍摄问题部位的话，从拍摄图像中无法准确地掌握问题部位等的大小，具体而言龟裂的长度或变色部位的大小。由于不知道拍摄时的从相机单元22至被摄体(问题部位等)的距离等拍摄时的状态，因此从拍摄图像中无法掌握问题部位等的实际的大小。因此，在该实施方式的由平板电脑型信息终端1和电子笔2构成的装置中，可以向拍摄到的照片的图像自身自动地附加刻度，或者实际使规尺触抵来测量尺寸而向拍摄到的图像上附加手写记录。

图24是用于说明自动地附加了刻度的拍摄图像(图24(A))和使规尺触抵于目标被摄体而掌握被摄体的大小并记入有手写记录的拍摄图像(图24(B))的图。首先，参照图24(A)，说明得到自动地附有刻度的拍摄图像的情况。如图24(A)所示，可考虑拍摄在检修部位的例如壁面产生的龟裂KR和在该龟裂KR的周围产生的变色部位HB的情况。

这种情况下，平板电脑型信息终端1的使用者在通过电子笔2的相机单元22进行拍摄时，例如，进行对于显示画面220上显示的刻度赋予按钮进行指示等的用于向拍摄图像附加刻度的规定的操作。这种情况下，取景器控制部110作为功能，识别通过相机单元22取入的图像中存在的被摄体，将与该被摄体的大小对应的刻度合成到该图像中。

算出被摄体的大小的方法存在各种方法，对其一例进行说明。简单而言，相机单元22的焦点距离f，拍摄到的图像的水平像素数W，如果知晓拍摄到的图像中的被摄体的水平方向的占有像素数N、至被摄体的距离R，则通过“(36R/f)(N/W)”能够求出被摄体的水平方向的大小L(mm)。这种情况下，拍摄元件尺寸的格式是35mm胶片尺寸相当的(水平方向36mm×垂直方向24mm)。

因此，在上述的式子中，利用(36R/f)求出水平方向的倍率，将其以(N/W)乘以照片整体中的被摄体的沿横向占据的比例，由此求出被摄体的水平方向的长度(大小)。需要说明的是，物体的垂直方向的长度(大小)只要取代常数“36”而使用常数“24”，使用拍摄到的图像的垂直像素数和拍摄到的图像中的被摄体的垂直方向的占有像素数，就可以同样地计算。而且，如果拍摄元件尺寸的格式改变，则对应于此而计算式的常数部分的值改变。

这种情况下，焦点距离f是事先知晓的信息，水平像素数W和占有像素数N是在平板电脑型信息终端1侧基于拍摄图像能够掌握的信息。然而，通常不知道从相机单元22至被摄体的距离R。因此，至被摄体的距离R在拍摄时由使用者向平板电脑型信息终端1输入，或者在平板电脑型信息终端1侧算出至被摄体的距离R。

至被摄体的距离R的算出方法也存在各种方法。对其一例进行说明。在该实施方式的利用形态下，在大多数的情况下，从1m以内的近距离拍摄检修部位的情况较多。因此，即使作成焦点距离或聚焦调整时的控制量等的能够取得的信息与至被摄体的距离的对应表格，数据量也不太大。因此，预先准备焦点距离或聚焦调整时的控制量等的能够取得的信息与至被摄体的距离的对应表格，基于此能够求出至被摄体的距离。

另外，平板电脑型信息终端1或电子笔2通过搭载所谓深度传感器也能够计测至被摄体的距离。而且，在相机单元22设为后述的3D相机的结构时，也能够计测至被摄体的距离。在这样的情况下，可以使用通过深度传感器或3D相机计测的至被摄体的距离。

这样，如果可知被摄体的大小，在该例的情况下，可知龟裂KR和变色部位HB的大小，则取景器控制部110将与该被摄体的大小一致的刻度相对于通过相机单元22取入的图像进行重叠。由此，在图24(A)所示的形态下，能够拍摄自动地附有刻度的被摄体的图像。在图24(A)所示的例子时，显示出纵向每1cm的10cm的刻度SC1，横向也每1cm的10cm的刻度SC2。由此，通过该图像能够一目了然地掌握产生了长度为约8cm的龟裂且在其周围存在直径为约8cm的圆形的变色部位的情况。

需要说明的是，在龟裂或变色部位不显眼的情况下，通过电子笔2在龟裂的上进行描绘，或者在变色部位的周围进行描绘而确定该描绘的线上的位置，从而平板电脑型信息终端1掌握图像上的龟裂或变色部位即被摄体的位置或形状。基于该掌握的被摄体的位置或形状，掌握拍摄到的图像的水平像素数W或拍摄到的图像的垂直像素数，能够利用于上述的计算。

接下来，参照图24(B)，说明使规尺触抵于目标被摄体来掌握被摄体的大小，得到记入有手写记录的拍摄图像的情况。在图24(B)中，也与使用图24(A)说明的情况同样，考虑拍摄在检修部位的例如壁面产生的龟裂KR和该龟裂KR的周围的变色部位HB的情况。

在该例的情况下，如图24(B)所示，沿着龟裂KR实际使规尺RL触抵，实际测量龟裂KR或变色部位HB的大小。并且，拍摄该部分，将拍摄到的图像显示于平板电脑型信息终端1的显示画面220，使用电子笔2在该拍摄图像上输入手写记录。在图24(B)的情况下，示出输入了“龟裂长8cm”这样的手写记录HM1和“龟裂的周围为直径约8cm的变色部位”这样的手写记录HM2的状态。

在该例的情况下，可以使手写记录HM1、HM2相对于检修部位的拍摄图像重叠而存储保持为一体的图像数据。而且，也可以与拍摄图像另行地，将手写记录HM1、HM2与表示该拍摄图像上的重叠位置的坐标数据一起存储保持。在后者的情况下，在该拍摄图像的再生时，将该手写记录HM1、HM2与该拍摄图像重叠显示。

由此，与检修部位的图像一起，能够将该检修部位存在的龟裂或变色部位等的问题的地点通过使用者(检修者)的手写记录明确地表示。而且，关于龟裂或变色部位等的问题部位的大小、其他的重要信息也能够通过使用者的手写记录而明确地掌握。

需要说明的是，在使规尺RL触抵于问题部位的状态下，当然也可以拍摄该问题部位的图像。而且，手写记录的内容也可以不仅与问题部位的大小相关，而且通过手写来附加今后的处置方法或紧急性的有无等所需的各种信息。

另外，在分别存储保持拍摄图像和手写记录的情况下，在手写记录数据中也可以预先附加其被输入时使用的电子笔2的笔ID。这样的话，由于如上所述在拍摄图像也附加了电子笔2的笔ID，因此能够容易进行拍摄图像和与之重叠的手写记录数据的建立对应。而且，与拍摄图像的情况同样，对于手写图像数据，也可以将能够对其进行利用的使用者通过笔ID或使用者ID等个别信息进行限制。

[第二实施方式]

在上述的第一实施方式中，在二维的图像数据(区域设计图)的被指示的位置，将通过电子笔2的相机单元22取得并附加了笔ID的图像数据(照片)建立了关联。即，被建立关联的图像数据都是二维的图像数据。然而，并不局限于此。也可以将三维数据作为建立关联的对象。

在该第二实施方式中，作为第一实施例，预先准备3D物体数据，能够将其与通过利用电子笔2的相机单元22拍摄而得到的二维的图像数据建立关联。3D物体数据是用于显示3D物体(三维物体)的数据，是由纹理图像数据或多边形数据等构成的三维数据。

而且，在该第二实施方式中，作为第二实施例，能够将3D(三维)空间图像数据与通过使用3D(三维)相机拍摄而取入的3D物体数据建立关联。3D空间图像数据是用于显示例如屋内的状态等三维空间图像的数据，与3D物体数据同样是由纹理图像数据或多边形数据等构成的三维数据。

这样，在以下说明的第二实施方式的情况下，成为处理对象的数据是3D物体数据或3D空间图像数据，这一点与上述的第一实施方式的情况不同。然而，作为对于3D物体数据或3D空间图像数据进行处理的信息处理装置，可以使用上述的第一实施方式的平板电脑型信息终端1。因此，在以下说明的第二实施方式中，也是使用图1～图6说明的第一实施方式的平板电脑型信息终端1和电子笔2的使用，根据需要参照图1、图2等图片进行说明。

首先，作为第一实施例，说明将预先准备的3D物体数据与二维的图像数据(照片)建立关联的情况。首先，使用市场上提供的各种3D软件，作成用于显示目标的3D物体的3D物体数据，将其存储保持于平板电脑型信息终端1的图片等DB105的规定的存储区域。

这种情况下，使用了3D软件的3D物体数据的作成可以在平板电脑型信息终端1进行，也可以通过其他的个人计算机等进行并将作成的数据存储于平板电脑型信息终端1的图片等DB105。需要说明的是，3D软件是具备建模功能、渲染功能，作成3D物体(三维模型)，并能够对其进行描画(显示)的软件。图25是在第二实施方式中，用于说明图片等DB105的规定的存储区域存储的3D物体数据文件的例子的图。

如图25(A)所示，该例的3D物体数据文件是对于用于显示3D物体的3D物体数据，附加了立体图像ID、分支号码、备注这样的元数据的文件。在该例中，立体图像ID是5位数的数字，分支号码是2位数的数字。通过上述立体图像ID和分支号码，能够唯一地确定3D物体数据。立体图像ID对应于例如圆柱、棱柱、圆锥、棱锥、…这样的代表性的3D物体(立体图像)。在关于通过立体图像ID而确定的3D物体存在变化时，分支号码成为对变化进行确定的信息。

即，圆柱也存在底面或上表面的面积的大小、高度的高低等各种变化，因此将与该变化对应的用于显示3D物体的多个3D物体数据存储于图片等DB105，通过立体图像ID和分支号码，能够对其一个个进行确定。例如，预先决定的基本的圆柱的立体图像ID为“10001”且分支号码为“01”，与之相比上表面、底面小的圆柱如立体图像ID为“10001”且分支号码为“02”等那样能够对于3D物体数据分别唯一地确定。

需要说明的是，在图片等DB105存储保持的3D物体数据文件中，在立体图像ID中，也将通过该立体图像ID确定的通过3D物体数据显示的3D物体(立体图像)的名称建立对应。此外，作为备注，也能够附加与该3D物体数据关联的各种文本信息。

并且，图25(A)所示的3D物体数据文件是立体图像ID为“10001”且该3D物体数据文件中存储的3D物体数据用于显示“圆柱”的文件，示出其分支号码为“01”的情况。而且，在备注附加了“基本的三维图形”的主旨的文本信息。并且，在该例中，通过图25(A)所示的3D物体数据文件存储的3D物体数据，例如图25(B)所示，能够显示圆柱的3D物体GX。

需要说明的是，也如上所述，使用3D软件，事先形成用于显示各种3D物体(立体图形)的多个3D物体数据。并且，对于形成的3D物体数据，赋予立体图像ID、分支号码、备注这样所需的信息，以图25(A)所示的形态存储保持于图片等DB105的规定的存储区域。这样，平板电脑型信息终端1的使用者能够利用存储保持于图片等DB105的3D物体数据文件。

另外，在该例中，也如使用图4说明那样，在照片文件夹104存储保持有通过利用电子笔2的相机单元22拍摄而得到的照片数据(二维的图像数据)。图26是用于说明存储于照片文件夹104的照片文件的具体例的图。在该例中，如图26所示，在照片文件夹104存储保持有在某检修区域拍摄的显示例如压力计的照片PX的照片数据。

并且，虽然用途没有特别限定，但是有时会产生例如为了对通过拍摄而得到的多个照片数据进行整理等而想要将各照片数据与目标的3D物体数据建立关联的情况。这种情况下，在该例的平板电脑型信息终端1中，与对于检修区域的设计图片数据将照片数据建立关联的第一实施方式的情况同样，对于目标的3D物体数据，能够将目标的照片数据建立关联。

图27是用于说明3D物体数据与照片数据的建立关联的图。平板电脑型信息终端1的使用者从显示装置部200的显示画面220上显示的菜单中，选择例如“纹理匹配”等这样的用于进行3D物体数据与照片数据的建立关联的项目。由此，平板电脑型信息终端1的控制部102执行进行3D物体数据与照片数据的建立关联的处理。

这种情况下，控制部102基于图片等DB105的3D物体数据文件，将代表性的3D物体的一览表显示于显示画面220，通过使用者能够选择。使用者从该一览表中选择使用于建立关联的3D物体。在此，选择立体辨别ID为“10001”的圆柱。并且，通过控制部102控制各部，对于由使用者选择的3D物体数据，执行将通过使用者指示的照片数据建立关联的处理。

在该例的情况下，首先，图片取得部111发挥功能，从图片等DB105中提取立体图像ID为“10001”的3D物体数据文件。接下来，图片显示处理部112发挥功能，将提取的立体图像ID为“10001”的3D物体数据文件中的、分支号码为“01”的3D物体数据文件的3D物体数据所对应的3D物体显示于显示画面220。

在该3D物体的显示画面中，例如图27所示，在显示画面220的上端部显示改页按钮LP、RP，并显示立体图像ID、立体图像(3D物体)名称、“1/10”等这样的页编号。需要说明的是，在该3D物体的最初的页上未显示左改页按钮LP，在最后的页未显示右改页按钮。这是为了避免进行无效的操作。并且，在改页按钮LP、RP上通过电子笔2指示而进行改页，能够选择作为建立关联的对象的3D物体。而且，通过页编号，能够掌握该立体图像ID的3D物体数据文件的总数为多少，且当前的显示页为哪页。

并且，使用者使用改页按钮LP、RP将目标的的3D物体显示于显示画面220上时，接下来，通过电子笔2指示与照片数据对应的二维图像的粘贴行位置的例如左上端部PL。这种情况下，控制部102从输入装置部330的传感器部320取得表示指示位置的坐标数据和电子笔2的笔ID。并且，照片取得部106发挥功能，从照片文件夹104读出具有与控制部102取得的笔ID相同的笔ID作为附加信息的照片数据文件。

然后，第一建立关联部107将表示指示位置的坐标数据(表示传感器部上的坐标位置的数据)与照片数据建立对应。接下来，照片建立关联部108发挥功能，如图27所示，以被指示的坐标位置(左上端部PL)为基准，显示与表示该坐标位置的坐标数据建立对应的照片文件的照片数据所对应的照片PX。该照片显示处理部115的照片显示处理是沿着被选择的3D物体即圆柱的表面，粘贴并显示由提取的照片数据形成的照片的处理，使用所谓纹理匹配的手法。由此，如图27所示，沿着被选择的3D物体即圆柱GX的表面(在该例的情况下为侧面)，粘贴与读出的照片数据对应的压力计的照片PX。

并且，使电子笔2与粘贴的照片PX上接触，如果进行拖拽操作，则在3D物体GX上能够使照片PX的粘贴位置移动。因此，也能够进行从3D物体GX的上表面至侧面粘贴照片PX等的操作。而且，使电子笔2与粘贴的照片PX的四条边中的任一条边上接触，如果进行拖拽操作，则使该边移动，能够变更照片PX的宽度或高度。而且，如果使电子笔2与粘贴的照片PX的4个顶点中的任一个顶点接触而进行拖拽操作，则能够使该顶点移动而使照片PX变形。

这样，当对于3D物体粘贴照片时，第二建立关联部114发挥功能。第二建立关联部114生成建立关联数据，该建立关联数据包括由立体图像ID、分支号码、备注构成的与3D物体相关的元数据、由表示照片ID和粘贴场所的坐标数据构成的与照片相关的元数据。在此，照片的粘贴场所是表示照片的最终确定的4个顶点的各自的位置的坐标数据，但不是传感器部320上的位置而被转换成表示粘贴对象的3D物体上的位置的数据。

例如，如果3D物体是圆柱，则这种情况下的转换被转换成以图27的原点O为基准的位置。哪里成为基准(原点O)按照各3D物体来决定。并且，第二建立关联部114将生成的建立关联数据记录于例如存储器部103的规定的存储区域，根据需要能够反复利用。这种情况下的建立关联数据对应于使用图16说明的第一实施方式的建立关联数据。

需要说明的是，通过电子笔2拍摄且附加了电子笔2的电子笔ID的照片数据文件存在多个的情况下，与第一实施方式的情况同样，首先显示多个由照片数据形成的照片的各自的缩略图像。然后，能够从该缩略图像之中选择使用于建立关联的照片数据。

另外，在选择的照片数据不同的情况下，通过使电子笔2与按钮B4上接触而能够重新进行照片数据的选择。而且，在目标的3D物体的目标的的位置能够粘贴目标的照片时，通过使电子笔2与OK按钮B5接触而结束建立关联处理，如上所述生成建立关联数据，并能够将其记录于存储器部103的规定的存储区域。

这样，在该第二实施方式的第一实施例的情况下，以对于3D物体粘贴照片的方式进行操作，由此能够进行3D物体数据与照片数据的建立关联。而且，在照片数据附加了电子笔2的笔ID，因此能够将通过利用电子笔2的相机单元22拍摄而得到的照片数据自动地作为建立关联的对象。

接下来，说明该第二实施方式的第二实施例，即，将预先准备的3D空间图像数据与通过3D相机拍摄而取入的3D物体数据建立关联的情况。首先，例如，使用3D软件，作成用于显示目标的3D空间图像的3D空间图像数据，并将其预先存储保持于平板电脑型信息终端1的图片等DB105的规定的存储区域。3D空间图像数据的作成可以在平板电脑型信息终端1进行，也可以通过其他的个人计算机等进行而将作成的数据存储于平板电脑型信息终端1的图片等DB105。

图28是在该例中，用于说明存储于图片等DB105的3D空间图像数据文件的例子的图。如图28(A)所示，该例的3D空间图像数据文件是对于用于显示3D空间图像的3D空间图像数据而附加了3D空间ID、备注这样的元数据的文件。在该例中，3D空间ID是5位数的数字，能够唯一地确定3D空间图像数据。而且，对应于3D空间ID，将通过该3D空间ID确定的通过3D空间图像数据显示的3D空间图像(立体图像)的名称也建立对应。此外，在备注中存储有与该3D空间图像数据关联的各种文本信息。

并且，图28(A)所示的3D空间图像数据文件是用于显示3D空间ID为“00001”且存储于该3D空间图像数据文件的3D空间图像数据为“室内A”的3D空间图像的文件。而且，在备注附加了“室内的三维空间图像图案”的主旨的文本信息。并且，通过图28(A)所示的3D空间图像数据文件存储的3D空间图像数据，例如图28(B)所示，能够显示放置有表格TB的室内的三维空间图像。

需要说明的是，也如上所述，使用3D软件，事先形成用于显示各种3D空间图像的多个3D空间图像数据。并且，对于形成的3D空间图像数据，赋予3D空间ID、备注这样所需的信息，以图28(A)所示的形态存储保持于图片等DB105。这样，平板电脑型信息终端1的使用者能够利用存储保持于图片等DB105的3D空间图像数据文件。

并且，在该例中，在平板电脑型信息终端1连接搭载有3D相机单元22C的电子笔2C。在使用3D相机来拍摄目标的被摄体(对象物)时，可知从3D相机至被摄体的距离。因此，在平板电脑型信息终端1中，基于通过电子笔2C的3D相机单元22C拍摄的图像，生成将被摄体(对象物)显示为3D物体的3D物体数据，并将其存储保持于照片文件夹104。

图29是用于说明该例的电子笔2C的外观的图。如图29所示，电子笔2C具备的3D相机单元22C具备2个拍摄镜头。并且，虽然未图示，但是具备与2个拍摄镜头分别对应的2个拍摄元件，能够通过2个的各自的拍摄镜头拍摄被摄体。

因此，3D相机单元22C能够拍摄与拍摄人的左右的各自的眼观察的各自的图像同样的图像。并且，2个拍摄镜头间的距离已知。将连结这2个拍摄镜头间的直线作为基线。并且，也可知从该基线的两端(拍摄镜头的中心)分别至目标的被摄体的注目点为止的直线与该基线所成的角的角度。因此，通过三角测量法，可知至该被摄体的注目点的距离。

利用这一点，在平板电脑型信息终端1中，能够算出从来自电子笔2C的3D相机单元22C的照片数据至被摄体的多个注目点为止的距离，基于此生成被摄体(对象物)的3D物体数据。因此，在平板电脑型信息终端1中，例如控制部102发挥功能，除了通过3D相机单元22C拍摄到的2个照片数据之外，也生成被摄体的3D物体数据，并存储保持于照片文件夹104。

图30是用于说明存储于照片文件夹104的被摄体的3D物体数据文件的具体例的图。如图30所示，如上所述，该例的被摄体的3D物体数据文件是对于基于通过3D相机单元22C拍摄到的照片数据而生成的被摄体的3D物体数据，附加被摄体ID和附加信息而形成。

被摄体ID是能够唯一地确定被摄体的3D物体数据的结构，与上述的照片数据文件的情况同样，附加信息是由拍摄日期时间、拍摄场所、笔ID、其他的信息构成的信息。而且，在被摄体的3D物体数据文件，与上述的照片数据文件的情况同样，根据需要也可以附加有使用者使用电子笔2C通过平板电脑型信息终端1输入的手写记录。

通过图30(A)所示的被摄体的3D物体数据文件存储的被摄体的3D物体数据，例如图30(B)所示，能够显示拍摄到的被摄体的3D物体。图30(B)是圆柱形状的例如凳子(椅子)J1的3D物体的图像。

并且，为了确认例如向设定的室内的家具的布局，会产生想要将图片等DB105中准备的3D空间图像数据与存储保持于照片文件夹104的被摄体的3D物体数据建立关系的情况。在这样的情况下，在该例的平板电脑型信息终端1中，如对于检修区域的图片数据将照片数据建立关联那样，对于目标的3D空间图像数据，能够将目标的的被摄体的3D物体数据建立关联。

图31是用于说明3D空间图像数据与被摄体的3D物体数据的建立关联的图。平板电脑型信息终端1的使用者从显示装置部200的显示画面220上显示的菜单中，选择例如“3D空间内布局确认”等这样的用于进行3D空间图像数据与被摄体的3D物体数据的建立关联的项目。由此，在平板电脑型信息终端1的控制部102的控制下，执行进行3D空间图像数据与被摄体的3D物体数据的建立关联的处理。

这种情况下，控制部102基于存储保持于图片等DB105的3D空间图像数据文件，形成3D空间图像的一览表，并将其显示于显示画面220。平板电脑型信息终端1的使用者从显示画面220上显示的一览表中选择目标的3D空间图像。在此，选择3D空间ID为“00001”的“室内A”的3D空间图像数据。并且，控制部102控制各部，进行对于3D空间图像数据将被摄体的3D物体数据建立关联的处理。

首先，图片取得部111发挥功能，从图片等DB105提取3D空间ID为“00001”的3D空间图像数据文件。接下来，图片显示处理部112发挥功能，将提取的3D空间ID为“00001”的3D空间图像数据文件的3D空间图像数据所对应的3D空间图像显示于显示画面220。这种情况下，例如图31所示，在显示画面220的上端部显示改页按钮LP、RP，并显示3D空间ID、3D空间图像的名称、“2/10”等的页编号。需要说明的是，在该3D空间图像的最初的页未显示左改页按钮LP，在最后的页未显示右改页按钮。这是为了避免进行无效的操作。而且，通过页编号，能够掌握3D空间图像数据文件的总数为多少，当前的显示页为哪页。

并且，使用者在选择的3D空间图像不是目标的的图像时，使用改页按钮LP、RP进行改页，将目标的的3D空间图像显示于显示画面220。这样，当将目标的3D空间图像显示于显示画面220上时，接下来，以使电子笔2C与显示画面220接触的方式指示显示(配置)被摄体的3D物体的位置Pt。这种情况下，控制部102从输入装置部330的传感器部320取得表示指示位置的坐标数据和电子笔2C的笔ID。并且，照片取得部106发挥功能，从照片文件夹104读出具有与控制部102取得的笔ID相同的笔ID作为附加信息的被摄体的3D物体数据文件。

然后，第一建立关联部107将表示被指示的坐标位置的坐标数据与读出的被摄体的3D物体数据文件建立关联。接下来，照片建立关联部108发挥功能，以被指示的坐标位置Pt为基准，显示与表示该坐标位置的坐标数据建立对应的被摄体的3D物体数据文件的3D物体数据所对应的3D物体J1。由此，如图31所示，在被选择的3D空间图像内，将提取的被摄体的3D物体数据所对应的3D物体(在该例中为圆柱的凳子)配置(粘贴)在被指示的位置。并且，使电子笔2C与配置的3D物体J1上接触，如果进行拖拽操作，则能够使3D物体(圆柱的凳子)的配置位置移动。

这样，当对3D空间图像配置被摄体的3D物体时，第二建立关联部114发挥功能，生成包括与由2D空间ID和备注构成的3D空间图像相关的元数据、与由被摄体ID和表示粘贴场所的坐标数据构成的被摄体的3D物体相关的元数据的建立关联数据，并将其记录于例如存储器部103的规定的存储区域，根据需要而能够重复利用。

在此，被摄体的3D物体的粘贴场所成为能够对最终确定的被摄体的3D物体的粘贴位置进行确定的坐标数据，而不是传感器部320上的位置，被转换成表示配置对象的3D空间图像上的位置的数据。如果是例如3D空间图像如图31所示的结构，则这种情况下的转换被转换成以图32的原点O为基准的位置。并且，第二建立关联部114将生成的建立关联数据记录于例如存储器部103的规定的存储区域，根据需要能够重复利用。这种情况下的建立关联数据对应于使用图16说明的第一实施方式的建立关联数据。

需要说明的是，基于通过利用电子笔2C的3D相机单元22C拍摄而得到的图像数据来生成的被摄体的3D物体的3D物体数据文件有时存在多个。这种情况下，与第一实施方式的场合同样，首先显示多个被摄体的3D物体的缩略图像，从该缩略图像之中能够选择使用于建立关联的被摄体的3D物体。

另外，如图31所示，在配置了被摄体的3D物体J1之后，通过电子笔2C指示其他的粘贴位置Pt2，由此在该粘贴位置也能够追加配置其他的被摄体的3D物体(在图31中为长方体的凳子)J2。

另外，在选择的被摄体的3D物体数据不同的情况下，通过使电子笔2C与按钮B4上接触，能够重新进行被摄体的3D物体数据的选择。而且，在目标的3D空间图像的目标的位置能够配置目标的被摄体的3D物体的情况下，通过使电子笔2C与OK按钮B5接触而使建立关联处理结束。这种情况下，控制部102能够将如上所述生成的建立关联数据记录于存储器部103的规定的存储区域。

此外，也能够进行配置在3D空间图像内的被摄体的3D物体的放大、缩小。这种情况下，在第二建立关联部114生成的建立关联数据也附加了表示被摄体的3D物体的缩放率的信息。而且，关于被摄体的3D物体，根据对其进行配置的3D空间图像的大小，也能够自动地转换成适当的大小。

这样，在该第二实施方式的第二实施例的情况下，通过进行对于3D空间图像配置被摄体的3D物体的操作，能够进行3D空间图像数据与被摄体的3D物体数据的建立关联。而且，由于在被摄体的3D物体数据附加了电子笔2C的笔ID，因此能够将通过利用电子笔2C的3D相机单元22C拍摄而得到的被摄体的3D物体数据自动地作为建立关联的对象。

[第二实施方式的效果]

根据上述的第二实施方式的第一实施例的平板电脑型信息终端1及电子笔2，能够取得与电子笔2建立关联的照片数据。并且，能够将与取得的照片数据对应的照片(图像)粘贴在成为通过3D物体数据在显示画面220显示的3D物体的目标的位置而进行显示。当然，也可以将粘贴对象的照片数据与所显示的3D物体上的指示位置建立关联地管理。

根据上述的第二实施方式的第二实施例的平板电脑型信息终端1及电子笔2C，能够取得与电子笔2C建立关联的被摄体的3D物体数据。并且，能够将与取得的3D物体数据对应的3D物体粘贴于成为通过3D空间图像数据在显示画面220显示的3D空间图像的目标的位置而进行显示。当然，也可以将粘贴对象的被摄体的3D物体数据与所显示的3D空间图像上的指示位置建立关联地管理。

[第二实施方式的变形例等]

需要说明的是，在该例中，说明了3D空间图像数据是使用3D软件事先作成的数据，但是并不局限于此。例如，在实际上模型室存在等，作为3D空间图像要表现的实际空间存在时，可以使用3D相机来拍摄该实际空间，基于通过拍摄而得到的照片数据，生成3D空间图像数据。该3D空间图像数据的生成可以由控制部102进行，或者另行设置在控制部102的控制下发挥功能的生成部。

另外，在第二实施方式的情况下，也与第一实施方式的情况同样，在输入装置部300的传感器部320为静电电容方式的传感器的情况下，通过使用者的手指能够进行位置指示。而且，也可以使用不送出表示笔ID的信息的电子笔进行位置指示。

另外，在第二实施方式的情况下，照片的粘贴对象的3D物体数据、3D空间图像数据、与3D空间图像建立对应的被摄体的3D物体数据等也可以从外部接受供给。而且，关于附加于它们的附加信息或元数据，也可以与上述的三维数据一起接受提供。这种情况下，可以从与平板电脑型信息终端1优先连接的外部设备接受提供，也可以经由近距离无线通信接受提供。当然，也可以从互联网上存在的服务器，即所谓云接受三维数据或附随于其的信息的提供。

另外，在第二实施方式的第二实施例的情况下，与第一实施方式的区域设计图的选择同样，在持有平板电脑型信息终端1的使用者到达目标的场所时，提取该场所的3D空间图像数据。并且，也可以将与提取的3D空间图像数据对应的3D空间图像自动地显示于显示画面。

这种情况下，与上述的第一实施方式的情况同样，使用来自基站的信标信号能够确定到达的场所。当然，也如上述的第一实施方式中说明那样，能够通过使用与设置在目标的场所的红外线通信装置之间的红外线通信，或者使用通过平板电脑型信息终端1搭载的GPS功能检测到的当前位置来确定当前位置等方法，来判别是否到达目标的场所。

[其他]

需要说明的是，在上述的实施方式中，以在信息处理装置部100、显示装置部200、输入装置部300成为一体的平板电脑型信息终端1中适用本发明的情况为例进行了说明，但是并不局限于此。例如，在分别成为分体的、由个人计算机主体(相当于信息处理装置部)、监控器装置(相当于显示装置部)、受理电子笔的指示输入的数字化转换器(相当于输入装置部)构成的图像信息处理系统中可以适用本发明。

在上述的实施方式的平板电脑型信息终端1的情况下，输入装置部300的传感器部320以与显示装置部200的显示画面220的整面对应的方式设置。因此，传感器部320上的指示位置直接指示显示装置部200的显示画面220上的对应的位置。然而，在显示画面220配置于传感器部320的一部分的情况下，在个人计算机主体中，只要将数字化转换器的传感器区域上的指示位置转换成监控器装置的显示画面上的指示位置(坐标数据)，并将该转换后的坐标数据与建立关联对象的图像数据建立关联即可。因此，能够预先将数字化转换器的传感器区域上的指示位置与建立关联对象的图像数据建立关联，并将它们向个人计算机等信息处理装置供给，将该传感器区域上的指示位置转换成显示画面上的指示位置进行利用。

另外，在上述的实施方式中，通过电子笔2、2C等的相机单元22、22C拍摄到的照片数据每当拍摄时，向平板电脑型信息终端1发送，但是并不局限于此。能够通过在电子笔2、2C预先搭载图像存储用的闪存等非易失性存储器，来预先存储保持多个照片的照片数据。这种情况下，对于各照片数据，也能将电子笔ID等附加信息(第二附加信息)建立对应。

并且，也可以将电子笔2、2C的非易失性存储器存储的多个照片数据向平板电脑型信息终端1发送，能够对其进行利用。这种情况下，从多个照片数据之中确定目标的照片数据的方法可以利用使用图13(B)说明的方法。

另外，在平板电脑型信息终端1具备拍摄部(相机功能)的情况下，能够将通过利用平板电脑型信息终端1的拍摄部拍摄而得到的照片数据利用作为建立关联对象。这种情况下，对于通过利用平板电脑型信息终端1的拍摄部拍摄而得到的照片数据也预先附加笔ID等附加信息(第二附加信息)。由此，对于通过利用平板电脑型信息终端1的拍摄部拍摄而得到的照片数据，也能够与通过电子笔2的相机单元或外部的数码相机或智能手机等拍摄而得到的照片数据同样地处理。

需要说明的是，从上述的实施方式的说明也可知，权利要求书记载的图像信息处理装置(以下，简称为图像信息处理装置。)的第一取得单元、第二取得单元、第一建立关联单元的各功能由实施方式的平板电脑型信息终端1的信息处理装置部(以下，简称为信息处理装置部。)100的I/O140、照片取得部106、第一建立关联部107实现。

另外，图像信息处理装置的附加信息提取单元的功能由信息处理装置部100的I/O端口140或者接收天线150A及接收电路150实现。而且，图像信息处理装置的建立关联单元的功能由信息处理装置部100的照片建立关联部108实现，图像信息处理装置的拍摄控制单元的功能由信息处理装置部100的拍摄控制部109实现。

另外，图像信息处理装置的第一显示处理单元的功能由信息处理装置部100的取景器控制部110实现，图像信息处理装置的受理单元的功能由输入装置部300实现。而且，图像信息处理装置的第三取得单元的功能由信息处理装置部100的图片取得部111实现，图像信息处理装置的第二显示处理单元的功能由信息处理装置部100的图片显示处理部112实现。

另外，图像信息处理装置的坐标转换单元的功能由信息处理装置部100的坐标转换部113实现，图像信息处理装置的第二建立关联单元的功能由信息处理装置部100的第二建立关联部114实现。而且，图像信息处理装置的近距离无线通信单元的功能由信息处理装置部100的近距离无线通信天线120A及近距离无线通信部120实现，图像信息处理装置的第三显示处理单元的功能由信息处理装置部100的照片显示处理部115实现。

另外，图像信息处理装置的编辑处理单元的功能由信息处理装置部100的编辑处理部116实现，图像信息处理装置的模式切换单元的功能由信息处理装置部100的模式切换部117实现。

另外，在上述的实施方式中，使用图7～图10的流程图说明的方法适用了本发明的图像信息处理方法的一实施方式。而且，图2所示的信息处理装置部100的照片取得部106、第一建立关联部107、照片建立关联部108、拍摄控制部109、取景器控制部110、图片取得部111、图片显示处理部112、坐标转换部113、第二建立关联部114、照片显示处理部115、编辑处理部116、模式切换部117的各功能能够通过利用控制部102执行的程序而作为控制部102的功能实现。

Claims (27)

1.一种图像信息处理装置，其特征在于，具备：

第一取得单元，从检测由指示体指示的坐标位置的传感器部，取得表示所述坐标位置的第一坐标数据；

第二取得单元，取得附加了规定的附加信息的第一图像数据；及

第一建立关联单元，将位置数据与通过所述第二取得单元取得的所述第一图像数据建立关联，所述位置数据表示与通过所述第一取得单元取得的所述第一坐标数据对应的显示装置部的显示画面上的位置。

2.根据权利要求1所述的图像信息处理装置，其特征在于，

所述第二取得单元取得通过利用该信息处理装置的外部的拍摄部拍摄而得到的、且附加了所述规定的附加信息的图像数据作为所述第一图像数据。

3.根据权利要求1所述的图像信息处理装置，其特征在于，

所述第二取得单元取得通过利用内置于所述指示体的拍摄部拍摄而得到的、且附加了所述规定的附加信息的图像数据作为所述第一图像数据。

4.根据权利要求1所述的图像信息处理装置，其特征在于，

所述第二取得单元取得保持于网络上的、且附加了所述规定的附加信息的图像数据作为所述第一图像数据。

5.根据权利要求1所述的图像信息处理装置，其特征在于，

所述第二取得单元取得的所述第一图像数据是三维物体数据。

6.根据权利要求1所述的图像信息处理装置，其特征在于，

所述图像信息处理装置具备附加信息取得单元，该附加信息取得单元取得通过从作为所述指示体的位置指示器发送的信号而通知的第一附加信息，

所述第二取得单元通过基于通过所述附加信息取得单元取得的所述第一附加信息和附加于第一图像数据的所述规定的附加信息即第二附加信息而取得认证，由此取得与所述位置指示器建立关联的所述第一图像数据。

7.根据权利要求6所述的图像信息处理装置，其特征在于，

所述附加信息取得单元接收来自所述位置指示器的信号，来检测被指示的坐标位置，并且从提取所述信号所包含的所述第一附加信息的传感器部取得所述第一附加信息。

8.根据权利要求6所述的图像信息处理装置，其特征在于，

所述附加信息取得单元接收从所述位置指示器通过近距离无线通信发送的信号，从该接收到的信号取得所述第一附加信息。

9.根据权利要求6所述的图像信息处理装置，其特征在于，

所述第二取得单元取得通过利用该信息处理装置的外部的拍摄部拍摄而得到的、且附加了能够在与来自所述位置指示器的所述第一附加信息之间建立关联的所述第二附加信息的图像数据作为所述第一图像数据。

10.根据权利要求6所述的图像信息处理装置，其特征在于，

所述第二取得单元取得通过利用内置于所述位置指示器的拍摄部拍摄而得到的、且附加了能够在与来自所述位置指示器的所述第一附加信息之间建立关联的所述第二附加信息的图像数据作为所述第一图像数据。

11.根据权利要求6所述的图像信息处理装置，其特征在于，

所述第二取得单元取得保持于网络上的、且附加了能够在与来自所述位置指示器的所述第一附加信息之间建立关联的所述第二附加信息的图像数据作为所述第一图像数据。

12.根据权利要求6所述的图像信息处理装置，其特征在于，

所述第二取得单元取得的所述第一图像数据是三维物体数据。

13.根据权利要求1或6所述的图像信息处理装置，其特征在于，

所述图像信息处理装置具备建立关联单元，该建立关联单元将通过所述建立关联单元建立了关联的所述位置数据和所述第一图像数据向显示装置部供给，在与所述位置数据对应的所述显示装置部的显示画面上的位置粘贴与所述第一图像数据相应的图像。

14.根据权利要求2、3、9或10所述的图像信息处理装置，其特征在于，

所述图像信息处理装置具备拍摄控制单元，该拍摄控制单元根据来自使用者的操作输入来控制所述拍摄部。

15.根据权利要求2、3、9或10所述的图像信息处理装置，其特征在于，

所述图像信息处理装置具备：

第一显示处理单元，接受来自所述拍摄部的形成被摄体的图像的图像数据的提供，将与所述图像数据相应的图像显示在显示装置部的显示画面的规定的显示区域；及

拍摄控制单元，根据来自使用者的操作输入来控制所述拍摄部。

16.根据权利要求1或6所述的图像信息处理装置，其特征在于，

所述图像信息处理装置具备：

受理单元，受理来自使用者的指示输入；

第三取得单元，根据通过所述受理单元受理的所述指示输入，取得形成在显示装置部的显示画面显示的主图像的第二图像数据；

第二显示处理单元，将与通过所述第三取得单元取得的所述第二图像数据相应的所述主图像显示在所述显示装置部的所述显示画面；

坐标转换单元，将与通过所述第一取得单元取得的所述坐标数据对应的所述显示装置部的所述显示画面上的位置转换成表示在所述显示画面显示的所述主图像上的位置的第二坐标数据；及

第二建立关联单元，将形成在所述显示画面显示了的所述主图像的所述第二图像数据、通过所述坐标转换单元转换后的所述第二坐标数据以及通过所述第二取得单元取得的所述第一图像数据建立关联。

17.根据权利要求16所述的图像信息处理装置，其特征在于，

所述第三取得单元取得的形成所述主图像的所述第二图像数据是形成三维物体的三维物体数据。

18.根据权利要求16所述的图像信息处理装置，其特征在于，

所述第二取得单元取得的所述第一图像数据是形成三维物体的三维物体数据，

所述第三取得单元取得的形成所述主图像的所述第二图像数据是形成三维空间图像的三维空间图像数据。

19.根据权利要求1或6所述的图像信息处理装置，其特征在于，

所述图像信息处理装置具备：

近距离无线通信单元，通过近距离无线通信接收来自附近的基站的信号；

第三取得单元，基于通过所述近距离无线通信单元而接收的信息，取得形成在显示装置部的显示画面显示的主图像的第二图像数据；

第二显示处理单元，将与通过所述第三取得单元取得的所述第二图像数据相应的所述主图像在所述显示装置部的所述显示画面显示；

坐标转换单元，将与通过所述第一取得单元取得的所述坐标数据对应的所述显示装置部的所述显示画面上的位置转换成表示在所述显示画面显示的所述主图像上的位置的第二坐标数据；及

第二建立关联单元，将形成在所述显示画面显示了的所述主图像的所述第二图像数据、通过所述坐标转换单元转换后的所述第二坐标数据以及通过所述第二取得单元取得的所述第一图像数据建立关联。

20.根据权利要求19所述的图像信息处理装置，其特征在于，

所述第二取得单元取得的所述第一图像数据是形成三维物体的三维物体数据，

所述第三取得单元取得的形成所述主图像的所述第二图像数据是形成三维空间图像的三维空间图像数据。

21.根据权利要求1或6所述的图像信息处理装置，其特征在于，

所述图像信息处理装置具备：

第三显示处理单元，将与通过所述第二取得单元取得的所述第一图像数据相应的图像显示在显示装置部的显示画面；及

编辑处理单元，根据通过所述传感器部检测的所述指示体相对于所述传感器部的距离，进行在所述显示装置部的所述显示画面显示的所述图像的缩小/放大。

22.根据权利要求1或6所述的图像信息处理装置，其特征在于，

所述图像信息处理装置具备：

受理单元，受理来自使用者的操作输入；及

模式切换单元，在通过所述受理单元受理了规定的操作的情况下，切换为建立关联模式，该建立关联模式是将通过所述第一取得单元取得的所述第一坐标数据作为基于通过所述第二取得单元取得的所述第一图像数据的图像的建立关联位置而加以利用的模式。

23.根据权利要求1或6所述的图像信息处理装置，其特征在于，

所述图像信息处理装置一体地具备显示装置部和所述传感器部。

24.一种图像信息处理方法，其特征在于，包括：

第一取得工序，第一取得单元从检测由指示体指示的坐标位置的传感器部取得表示所述坐标位置的第一坐标数据；

第二取得工序，第二取得单元取得附加了规定的附加信息的第一图像数据；及

第一建立关联工序，第一建立关联单元将表示与在所述第一取得工序中取得的所述第一坐标数据对应的显示装置部的显示画面上的位置的位置数据与在所述第二取得工序中取得的所述第一图像数据建立关联。

25.根据权利要求24所述的图像信息处理方法，其特征在于，

所述图像信息处理方法包括附加信息取得单元取得通过从作为所述指示体的位置指示器发送的信号而通知的第一附加信息的附加信息取得工序，

在所述第二取得工序中，通过基于在所述附加信息取得工序中取得的所述第一附加信息和附加于第一图像数据的所述规定的附加信息即第二附加信息而取得认证，由此所述第二取得单元取得与所述位置指示器建立关联的所述第一图像数据。

26.根据权利要求24或25所述的图像信息处理方法，其特征在于，

所述图像信息处理方法包括：

受理工序，通过受理单元受理来自使用者的指示输入；

确定工序，确定单元根据在所述受理工序中受理的所述指示输入，来确定形成在显示装置部的显示画面显示的主图像的第二图像数据；

显示处理工序，显示处理单元将与在所述确定工序中确定的所述第二图像数据相应的所述主图像显示在所述显示装置部的所述显示画面；

坐标转换工序，坐标转换单元将与在所述第一取得工序中取得的所述第一坐标数据对应的所述显示装置部的所述显示画面上的位置转换成表示在所述显示画面显示的所述主图像上的位置的第二坐标数据；及

第二建立关联工序，第二建立关联单元将形成在所述显示画面显示了的所述主图像的所述第二图像数据、通过所述坐标转换单元转换后的所述第二坐标数据以及通过所述第二取得单元取得的所述第一图像数据建立关联。

27.根据权利要求22或23所述的图像信息处理方法，其特征在于，

所述图像信息处理方法包括：

近距离无线通信工序，近距离无线通信部通过近距离无线通信接收来自附近的基站的信号；

确定工序，确定单元基于在所述近距离无线通信工序中接收到的信号，来确定形成在显示装置部的显示画面显示的主图像的第二图像数据；

显示处理工序，显示处理单元将与在所述确定工序中确定的所述第二图像数据相应的所述主图像显示于所述显示装置部的所述显示画面；

坐标转换工序，坐标转换单元将与在所述第一取得工序中取得的所述第一坐标数据对应的所述显示装置部的所述显示画面上的位置转换成表示在所述显示画面显示的所述主图像上的位置的第二坐标数据；及

第二建立关联工序，第二建立关联单元将形成在所述显示画面显示的所述主图像的所述第二图像数据、在所述坐标转换工序中转换后的所述第二坐标数据以及在所述第二取得工序中取得的所述第一图像数据建立关联。