CN101489073A - 信息处理装置以及信息处理方法 - Google Patents

Abstract

本发明提供信息处理装置和信息处理方法。该装置连接到将从外部终端输入的注释图像投影到包括物体的投影区域上的投影装置、和捕捉投影区域图像的图像捕捉装置。该装置通过与外部终端的通信来获取向投影装置和图像捕捉装置输入和从其输出的图像数据。该装置包括：存储器，存储包括设计物体使用的CAD数据及该CAD数据的属性信息的数据库；获取单元，获取物体的识别信息；识别单元，基于获取的物体识别信息识别数据库包括的该物体的CAD数据；和控制器，将图像捕捉装置捕捉的图像数据与识别单元识别的物体的CAD数据相关联，并使存储器将所捕捉图像的数据与CAD数据相关联地存储，以使得可以基于识别单元识别的物体的CAD数据的属性信息来查看所捕捉图像的数据。

Description

信息处理装置以及信息处理方法

背景技术

本发明涉及信息处理装置以及信息处理方法。

相关技术

已有的公知远程指示系统各自包括连接到摄像机和投影仪的服务器(例如计算机)和通过网络连接到该服务器的远程客户端(例如计算机)(例如，参见美国专利申请2004/0070674号公报和日本特开2005-33756号公报)。

在这种远程指示系统中，连接到服务器的摄像机捕捉物体的图像，并且该服务器将捕捉的图像通过网络发送给客户端。客户端将捕捉的图像显示在显示装置的显示画面上。当将注释图像写在显示画面上时，客户端将该注释图像通过网络发送到服务器。服务器将所接收到的注释图像发送到投影仪，并且投影仪将该注释图像投影到包括三维物体的投影区域中的(与客户端在图像捕捉区域内写入注释图像的位置对应的)适当位置上。

在这种环境下，期望将在服务器与客户端之间交换的所捕捉图像的数据存储在服务器或者客户端中的存储介质中。

当重新使用物体的CAD数据来重新设计物体时，优选地参照该物体的所捕捉图像的数据。然而，在产品包含大量物体的情况下，大量物体的所捕捉图像的数据存储在存储介质中。因此，不容易找出并查看所需要物体的所捕捉图像的数据。

发明内容

根据本发明的第一方面，提供了一种信息处理装置，该信息处理装置连接到将从外部终端输入的注释图像投影到包括物体的投影区域上的投影装置，并连接到捕捉所述投影区域的图像的图像捕捉装置。所述信息处理装置通过与所述外部终端的通信，获取要向所述投影装置和所述图像捕捉装置输入的图像数据以及要从所述投影装置和所述图像捕捉装置输出的图像数据。该信息处理装置包括：存储器，其存储一数据库，该数据库包括设计所述物体要使用的CAD数据和所述CAD数据的属性信息；获取单元，其获取所述物体的识别信息；识别单元，其基于所获取的所述物体的识别信息，识别所述数据库中包括的所述物体的CAD数据；以及控制器，其将由所述图像捕捉装置捕捉的图像的数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看所捕捉图像的数据。

利用该配置，基于所述物体的CAD数据，可以容易地查看通过与外部终端的通信而获取的物体的所捕捉图像的数据。

所述信息处理装置可以设置成如下：所述信息处理装置连接到向所述外部终端输入声音并从所述外部终端输出声音的音频输入和输出装置，并通过与所述外部终端的通信而获取所述声音的数据。并且所述控制器将所捕捉图像的数据和所述音频数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述音频数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看并收听所述图像捕捉装置捕捉的图像的数据和通过所述音频输入和输出装置输入的音频数据。

利用该配置，基于所述物体的CAD数据，可以容易地查看并收听通过与外部终端的通信而获取的关于物体的所捕捉图像的数据和音频数据。

所述信息处理装置可以设置成如下：所述信息处理装置包括将所述音频数据转换成文本数据的数据转换器。并且所述控制器将所捕捉图像的数据和所述文本数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述文本数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看所述图像捕捉装置捕捉的图像的数据和由所述数据转换器转换的文本数据。

利用该配置，基于所述物体的CAD数据，可以容易地查看通过与外部终端的通信而获取的物体的所捕捉图像的数据和与物体的音频数据相对应的文本数据。

根据本发明的第二方面，提供了一种信息处理装置，该信息处理装置与服务器进行通信，所述服务器连接到将注释图像投影到包括物体的投影区域上的投影装置并连接到捕捉所述投影区域的图像的图像捕捉装置，所述信息处理装置通过与所述服务器的通信而获取要向所述投影装置和所述图像捕捉装置输入的图像数据以及要从所述投影装置和所述图像捕捉装置输出的图像数据。该信息处理装置包括：存储器，其存储一数据库，该数据库包括设计所述物体要使用的CAD数据及其属性信息；获取单元，其获取所述物体的识别信息；识别单元，其基于所获取的所述物体的识别信息，识别所述数据库中包括的所述物体的CAD数据；以及控制器，其将由所述图像捕捉装置捕捉的图像的数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看所捕捉图像的数据。

利用该配置，基于所述物体的CAD数据，可以容易地查看通过与服务器的通信而获取的物体的所捕捉图像的数据。

所述信息处理装置可以设置成如下：输入并输出声音的第一音频输入和输出装置连接到所述信息处理装置；输入并输出声音的第二音频输入和输出装置连接到所述服务器；通过所述信息处理装置与所述服务器之间的通信来获取声音的音频数据；并且所述控制器将所捕捉图像的数据和所述音频数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述音频数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看并收听由所述图像捕捉装置捕捉的图像的数据以及由所述第一音频输入和输出装置而输入或输出的音频数据。

利用该配置，基于所述物体的CAD数据，可以容易地查看并收听通过与服务器的通信而获取的物体的所捕捉图像的数据和音频数据。

所述信息处理装置可以设置成如下：所述信息处理装置包括将通过所述第一音频输入和输出装置输入或输出的音频数据转换成文本数据的数据转换器。并且所述控制器将所捕捉图像的数据和所述文本数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述文本数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看所述图像捕捉装置捕捉的图像的数据和由所述数据转换器转换的文本数据。

利用该配置，基于所述物体的CAD数据，可以容易地查看通过与服务器的通信而获取的物体的所捕捉图像的数据和与物体的音频数据相对应的文本数据。

所述信息处理装置可以设置成如下：当逐一地捕捉多个物体的图像时，所述控制器将由所述图像捕捉装置捕捉的所述多个图像的数据与由所述识别单元最先或最后识别的物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元最先或最后识别的所述物体的CAD数据的属性信息来查看所捕捉图像的数据。

利用该配置，基于最先或最后识别的预定物体的CAD数据，可以容易地查看通过与外部终端或服务器的通信而获取的包括所述预定物体的多个物体的所捕捉图像的数据。由于在处理过程中不必在其他部件与CAD数据等之间设置关联，所以减少了要处理的信息量，并且更容易对信息进行分类。

所述信息处理装置可以设置成如下：当逐一地捕捉多个物体的图像并且在切换物体时切换音频数据文件时，所述控制器将由所述图像捕捉装置捕捉的所述多个图像的数据和通过所述音频输入和输出装置输入或输出的多组音频数据与由所述识别单元最先或最后识别的物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述音频数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元最先或最后识别的所述物体的CAD数据的属性信息来查看并收听所捕捉图像的数据和所述多组音频数据。

利用该配置，基于最先或最后识别的预定物体的CAD数据，可以容易地查看并收听通过与外部终端或者服务器的通信而获取的包括所述预定物体的多个物体的所捕捉图像的数据和所述多个物体的音频数据。由于在处理过程中不必在其他部件与CAD数据等之间设置关联，所以减少了要处理的信息量，并且更容易对信息进行分类。

所述信息处理装置可以设置成如下：所述信息处理装置包括用于输入临时存储指令或最终存储指令的输入单元。当通过所述输入单元输入了所述临时存储指令时，所述控制器使得所述存储器临时存储各个物体的所捕捉图像数据和各个物体的音频数据；并且，当通过所述输入单元输入了所述最终存储指令时，所述控制器将由所述图像捕捉装置捕捉的所述多个图像的数据和通过所述音频输入和输出装置输入或输出的所述多组音频数据与由所述识别单元最先或最后识别的物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述音频数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元最先或最后识别的所述物体的CAD数据的属性信息来查看并收听所捕捉图像的数据和所述多组音频数据。

利用该配置，当输入了临时存储指令时，将各个物体的所捕捉图像和音频数据临时存储在所述存储器中。当输入了最终存储指令时，将包括临时存储的所捕捉图像和音频数据在内的多个物体的所捕捉图像和音频数据与最先或最后识别的预定物体的CAD数据相关联，并可以将其存储在所述存储器中。

根据本发明的第三方面，提供了一种信息处理方法，该信息处理方法使用计算机，所述计算机连接到将从外部终端输入的注释图像投影到包括物体的投影区域上的投影装置，所述计算机还连接到捕捉所述投影区域的图像的图像捕捉装置，所述计算机通过与所述外部终端的通信而获取要向所述投影装置和所述图像捕捉装置输入的图像数据以及要从所述投影装置和所述图像捕捉装置输出的图像数据。所述信息处理方法包括以下步骤：存储一数据库，该数据库包括设计所述物体要使用的CAD数据及其属性信息；获取所述物体的标识信息；基于所获取的所述物体的标识信息，识别所述数据库中包括的所述物体的CAD数据；将由所述图像捕捉装置捕捉的图像的数据与由识别单元识别的所述物体的CAD数据相关联，并使存储器将所捕捉图像的数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看所捕捉图像的数据。

利用该配置，基于所述物体的CAD数据，可以容易地查看通过与外部终端的通信而获取的物体的所捕捉图像的数据。

根据本发明的第四方面，提供了一种信息处理方法，该信息处理方法使用计算机，所述计算机与服务器进行通信，所述服务器连接到将注释图像投影到包括物体的投影区域上的投影装置并连接到捕捉所述投影区域的图像的图像捕捉装置，通过与所述服务器的通信而向所述投影装置和所述图像捕捉装置输入图像数据并从所述投影装置和所述图像捕捉装置输出图像数据。所述信息处理方法包括以下步骤：存储一数据库，该数据库包括设计所述物体要使用的CAD数据及其属性信息；获取所述物体的识别信息；基于所获取的所述物体的识别信息，识别所述数据库中包括的所述物体的CAD数据；将由所述图像捕捉装置捕捉的图像的数据与由识别单元识别的所述物体的CAD数据相关联，并使存储器将所捕捉图像的数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看所捕捉图像的数据。

利用该配置，基于所述物体的CAD数据，可以容易地查看通过与服务器的通信而获取的物体的所捕捉图像的数据。

附图说明

基于以下附图详细描述本发明的示例实施方式，在附图中：

图1是示出根据本发明第一示例性实施方式的远程指示系统的结构的框图；

图2是例示PC的功能结构的框图；

图3A是例示一个PC的硬件结构的框图；

图3B是例示另一个PC的硬件结构的框图；

图4示出了存储在至少一个存储器中的CAD数据库的示例；

图5是要由一个PC执行的操作流程图；

图6示出了CAD数据与所捕捉图像与音频数据之间的关联的示例；

图7A示出了具有物体ID“物体001”的捕捉图像及其属性信息；

图7B示出了一个显示器的画面的变换；

图8是根据第二示例性实施方式的另一个PC执行的操作的流程图；

图9是根据第三示例性实施方式的一个PC执行的操作的流程图；

图10A示出了显示存储指令的对话框的显示器的示例；

图10B示出了显示存储指令的对话框的显示器的示例；

图11示出了将一组CAD数据与两个或更多个所捕捉图像和音频数据相关联的示例性情况；以及

图12是根据第三示例性实施方式的另一个PC执行的操作的流程图。

具体实施方式

以下是参照附图对本发明示例性实施方式的描述。

(第一示例性实施方式)

图1是示出根据本发明示例性实施方式的远程指示系统的结构的框图。

图1的远程指示系统包括用作服务器的个人计算机(PC)1和用作客户端的PC 2(外部终端)。PC 1和PC 2通过网络3彼此连接。PC 1连接有投影仪4(投影装置)和摄像机5(图像捕获装置)。

根据来自PC 1的控制命令，投影仪4经由半镜(half mirror)6向物体8和屏幕12上发射光束或者投影注释图像等。注释图像可包括各种形式的图像，例如，线条、字符、记号、图形、颜色以及字体。

摄像机5由PTZ(摇摄-倾斜-变焦(Pan-Tilt-Zoom))摄像机、网络摄像机或视频摄像机构成，并置于桌子上。摄像机5经由半镜6捕捉屏幕12以及物体8的反射图像，并且向PC 1输出所捕捉的图像。摄像机5捕捉物体8的整体图像。投影仪4的光轴和视场角与摄像机5的光轴和视场角相同。摄像机5根据从PC 2输入的指令或直接向PC 1输入的指令、或者定期(例如，以0.1秒的时间间隔)捕捉物体8的静止图像。包括物体8的ID(识别信息)的QR码7贴附到物体8的表面。

PC 1经由网络3将由摄像机5捕捉的图像输出到PC 2。PC 2连接到显示器205，并且显示器205具有显示区域15和用户接口(UI)14。从PC 1发送的所捕捉图像显示在显示区域15中。PC 2可以是与显示器205一体形成的个人计算机。

麦克风10((第二)语音输入/输出装置)接收PC 1的用户的语音指令等，并向连接到PC 2的扬声器19输出该语音。扬声器11((第二)语音输入/输出装置)输出PC 2的用户的语音指令等，所述语音指令等是通过连接到PC 2的麦克风18而输入的。

UI 14包括一组按钮(例如笔按钮、文本按钮和擦除按钮)以及由线条和色彩限定的图标。在显示区域15中显示由摄像机5捕捉的图像。在图1中，在显示区域15中显示由摄像机5捕捉的包括物体8的屏幕12的图像。

例如，当按下UI 14的笔按钮以在显示区域15中的物体8上绘制图形等时，将关于该图形的信息(更具体地说，坐标信息)从PC 2输出到PC 1。然后PC 1对该图形信息(坐标信息)进行解码并将其转换成将由投影仪4投影的图像，并向投影仪输出该图像。然后投影仪4将该图像投影到物体8上。

同时，PC 2将控制命令输出到PC 1以便控制投影仪4和摄像机5的操作(诸如摄像机5的图像捕捉角度和所捕捉图像的亮度，以及投影仪4所投影的图像的亮度)。

麦克风18((第一)语音输入/输出装置)接收PC 2的用户的语音指令等，并向连接到PC 1的扬声器11输出该语音。扬声器19((第一)语音输入/输出装置)输出PC 1的用户的语音指令等，所述语音指令等是通过连接到PC 1的麦克风10输入的。

在图1中，客户端的数量只有一个(PC 2)，但是远程指示系统可以包括两个或更多个客户端(PC)。

在具有上述结构的远程指示系统中，由摄像机5捕捉的图像显示在PC 2的显示器205上，并通过投影仪4将写在PC 2上的注释图像投影到物体8上。因此，PC 1的用户和PC 2的用户可以利用实物物体8彼此通信。PC 1的用户和PC 2的用户还可以通过麦克风10、扬声器11、麦克风18和扬声器19而在彼此之间进行语音通信。

图2是示出PC 1和PC 2的功能结构的框图。

PC 1包括：控制器101(获取单元、识别单元和控制器)，其控制投影仪4和摄像机5以及整个装置的操作；发送和接收单元102，其经由网络3与PC 2交换信息；存储器103(存储器)，其存储控制程序、数据、信息等；以及接口单元104，其连接到投影仪4、摄像机5、麦克风10和扬声器11。PC 1还可以包括显示捕捉的图像的显示器105和由鼠标、键盘等构成的操作单元106(输入单元)。控制器101连接到发送和接收单元102、存储器103、接口单元104、显示部105和操作单元106。控制器101还经由接口单元104连接到投影仪4、摄像机5、麦克风10和扬声器11。

PC 2包括：控制器201(获取单元、识别单元和控制器)，其控制整个装置；发送和接收单元202，其经由网络3与PC 1交换数据和信息；存储器203(存储器)，其存储控制程序、数据、信息等；操作单元204(输入单元)，其由鼠标、键盘等构成；显示器205；以及接口单元206控制器201连接到发送和接收单元202、存储器203、操作单元204、显示器205和接口单元206。控制器201还经由接口单元206连接到麦克风18和扬声器19。

图3A是示出PC 1的硬件结构的框图，而图3B是示出PC 2的硬件结构的框图。

PC 1包括：CPU 21，其控制整个装置；ROM 22，其存储控制程序；RAM 23，其用作工作区；硬盘驱动器(HDD)24，其存储各种信息和程序；网络接口26，其连接到另一计算机；以及USB(通用串行总线)接口28，其连接到USB装置(未示出)。CPU 21经由系统总线29连接到ROM 22、RAM 23、硬盘驱动器(HDD)24、网络接口26、以及USB接口28。PC 1经由USB接口28连接到投影仪4、摄像机5、麦克风10和扬声器11。PC1还可以包括鼠标和键盘25以及显示器27。

控制器101相当于根据控制程序执行各种操作的CPU 21。发送和接收单元102相当于网络接口26，而存储器103相当于硬盘驱动器(HDD)24。接口单元104相当于USB接口28。显示器105相当于显示器27，操作单元106相当于鼠标和键盘25。

PC 2包括：CPU 31，其控制整个装置；ROM 32，其存储控制程序；RAM 33，其用作工作区；硬盘驱动器(HDD)34，其存储各种信息和程序；鼠标和键盘35；网络接口36，其连接到另一计算机；显示器37，其由液晶监视器或CRT构成；以及USB(通用串行总线)接口38，其连接到USB装置(未示出)。CPU 31经由系统总线39连接到ROM 32、RAM 33、硬盘驱动器(HDD)34、鼠标和键盘35、网络接口36、显示器37以及USB接口38。PC 2经由USB接口38连接到麦克风18和扬声器19。

控制器201相当于根据控制程序执行各种操作的CPU 31。发送和接收单元202相当于网络接口36，而存储器203相当于硬盘驱动器(HDD)34。操作单元204相当于鼠标和键盘35，显示器205相当于显示器37。

图4示出存储在存储器103和存储器203中的至少一个中的CAD数据库的示例。

CAD数据库存储作为用于识别物体(例如物体8)的识别信息的物体ID、CAD数据(文件名)和属性信息。属性信息包括标题、表示CAD数据的创建者的用户名称、和关于CAD数据的创建时间和时期的日期数据。

图5是示出由PC 1执行的操作的流程图。

PC 1的控制器101向投影仪4输出初始投影图像(步骤S1)。该初始投影图像是黑色图像。

然后控制器101经由发送和接收单元102以及网络3将由摄像机5捕捉的图像输出到PC 2(步骤S2)，并开始记录通过麦克风10输入的声音和从扬声器11输出的声音(步骤S3)。

然后控制器101确定摄像机5捕捉的图像是否包括QR码7(步骤S4)。

如果步骤S4的确定结果为“是”，则控制器101对QR码7进行解码以获取物体8的物体ID(步骤S5)，并在存储器103中存储的CAD数据库中搜索与该物体ID对应的CAD数据(步骤S6)。这样，控制器101识别出与物体ID对应的CAD数据(步骤S7)。如果步骤S4的确定结果为“否”，则操作进入步骤S8。

一旦通过发送和接收单元102从PC 2接收到注释图像的坐标数据(步骤S8)，控制器101就根据该坐标数据执行对图像进行投影的处理(步骤S9)。更具体地说，控制器101对注释图像的坐标数据进行解码并将其转换成投影仪4的投影图像。控制器101向投影仪4输出该投影图像。然后投影仪4将该投影图像或者注释图像投影到物体8和屏幕12上。

然后控制器101确定是否接收到存储摄像机5捕捉的图像、通过麦克风10输入的声音和通过扬声器11输出的声音的指令(步骤S10)。可以通过操作单元106或操作单元204输入存储所捕捉图像和声音的指令，或者可以通过摄像机5捕捉包括存储所捕捉图像和声音的指令的QR码来输入存储所捕捉图像和声音的指令。

如果步骤S10的确定结果为“否”，则操作进入步骤S12。如果步骤S10的确定结果为“是”，则控制器101将摄像机5捕捉的图像、通过麦克风10输入的声音和通过扬声器11输出的声音与在步骤S7中通过物体8的物体ID识别的CAD数据相关联，并将图像和声音与CAD数据相关联地存储到存储器103中(步骤S11)。如果步骤S4的确定结果为“否”，则没有找到物体8的物体ID。因此，将摄像机5捕捉的图像、通过麦克风10输入的声音和通过扬声器11输出的声音与在步骤S7中识别的CAD数据分离地存储到存储器103中。

为减小要在步骤S11中存储的由摄像机5捕捉的图像的大小，控制器101可以将摄像机5捕捉的图像(静止图像)与先前的捕捉图像进行比较，并确定是否存在比预定阈值更大的差。在这种情况下，只有当所捕捉图像相对于先前的捕捉图像的差大于阈值时，控制器101才将摄像机5捕捉的图像存储到存储器103中。例如，在构成摄像机5捕捉的图像的点数比构成先前的捕捉图像的点数大或小100个点或者更多的情况下，或者在构成摄像机5捕捉的图像的总点数比构成先前的捕捉图像的总点数大或小3％或更多的情况下，控制器101确定存在大于预定阈值的差，并将所捕捉图像存储到存储器103中。

图6示出CAD数据与所捕捉图像和音频数据之间的关联的示例。在图6中，具有物体ID“物体001”的CAD数据与具有物体ID“物体001”的所捕捉图像和音频数据彼此相关联，并存储在存储器103中。图6中的关于具有物体ID“物体001”的CAD数据的属性信息具有链接栏、以及图4中的关于具有物体ID“物体001”的所捕捉图像和音频数据的属性信息中包括的项目。链接栏中写入了相关联的所捕捉图像和音频数据的文件名。如后面将描述的，当点击关于CAD数据的属性信息中包括的到所捕捉图像和音频数据的链接时，控制器101从存储器103读取并输出与CAD数据相关联的所捕捉图像和音频数据。

图6中所示的添加到所捕捉图像和音频数据的属性信息是关于会议的属性信息，包括标题、会议参与者的用户名称和会议日期。

在步骤S11之后，控制器101确定是否已经执行了所有处理，例如投影处理以及图像和声音存储处理(步骤S12)。如果步骤S12的确定结果为“否”，则操作返回步骤S2。如果步骤S12的确定结果为“是”，则操作结束。

尽管控制器101在步骤S4和S5中通过QR码7获取物体ID，但获取物体ID的处理并不限于此。例如，控制器101可以获取通过操作单元106或操作单元204输入的物体ID。而且，连接到PC 1的RFID标签读取器或者条码读取器(未示出)可以读取附着到物体8的RFID标签或条码，以使得控制器101获取物体ID。

图7A示出了具有物体ID“物体001”的所捕捉图像及其属性信息。图7B示出了显示器105或205的画面的变换。

通过图5中示出的操作，将图7A中示出的所捕捉图像和音频数据存储在存储器103中。

当启动了生成在存储器103或203中存储的CAD数据的应用程序时，在通过操作单元106或204输入了物体ID“物体001”时，控制器101使显示器105或205显示与图7B中左侧示出的物体ID“物体001”对应的CAD数据。此外，当输入了显示关于CAD数据的属性信息的指令时，控制器101使显示器105或205显示关于CAD数据的属性信息，如图7B的中部所示。如果在这种情况下通过操作单元106或204点击了到“图像001—025”和“声音001”的链接，则控制器101使显示器105或205显示在画面上示出所捕捉图像的窗口，如图7B的右侧所示，并且通过扬声器11或19输出“声音001”的声音。这样，当点击关于CAD数据的属性信息中包含的到所捕捉图像和音频数据的链接时，控制器101从存储器103读取并输出与CAD数据相关联的所捕捉图像和音频数据。

如上详细所述，根据本示例性实施方式，存储器103存储包含用于设计物体8的CAD数据及其属性信息的数据库，并且控制器101获取物体8的物体ID(识别信息)。基于物体8的物体ID，控制器101识别数据库中包含的关于物体8的CAD数据。控制器101将所捕捉的图像数据和音频数据与关于物体8的CAD数据相关联，并将所捕捉图像数据和音频数据与CAD数据相关联地存储到存储器103中，从而可以基于所识别的关于物体8的CAD数据的属性信息来查看并收听由摄像机5捕捉的图像的数据以及通过麦克风10和扬声器11输入和输出的音频数据。

这样，可以基于物体8的CAD数据容易地查看并收听通过与PC 2的通信而获取的关于物体8的所捕捉图像和音频数据。

在第一示例性实施方式中，控制器101将所捕捉图像数据和音频数据与所识别的物体的CAD数据相关联，并使存储器103存储所捕捉图像数据和音频数据与CAD数据。然而，也可以仅将所捕捉图像数据与所识别的物体的CAD数据相关联，并使存储器103将所捕捉图像与CAD数据相关联地存储。这样，可以基于物体8的CAD数据容易地查看通过与PC 2的通信而获取的关于物体8的所捕捉图像数据。此外，控制器101(数据转换器)可以通过公知技术将音频数据转换成文本数据。控制器101然后将所捕捉图像数据和文本数据与所识别的物体的CAD数据相关联，并使存储器103将所捕捉图像数据和文本数据与CAD数据相关联地存储。这样，可以基于物体8的CAD数据容易地查看通过与PC 2的通信而获取的关于物体8的所捕捉图像和对应于音频数据的文本数据。

此外，在利用各种测量装置(例如尺寸测量器、温度计、液体比重计(hydrometer)和安培计)测量物体8的情况下，控制器101可以将通过这些测量装置获取的数据与物体的CAD数据相关联，并使存储器103存储所述测量数量和CAD数据。

(第二示例性实施方式)

在第一示例性实施方式中，将CAD数据与所捕捉图像和音频数据相关联，并且将相关联的图像和数据存储在存储器103中。另一方面，在该示例性实施方式中，将CAD数据与所捕捉图像和音频数据相关联，并且将相关联的图像和数据存储在存储器203中。

在第一示例性实施方式中，CAD数据预先存储在存储器103中。另一方面，在该示例性实施方式中，图4中所示的CAD数据库预先存储在存储器203中。

图8是PC 2执行的操作的流程图。

控制器201从PC 1获取捕捉的图像(步骤S21)，并开始记录通过麦克风18输入的声音和从扬声器19输出的声音(步骤S22)。

然后控制器201确定所捕捉图像是否包含QR码7(步骤S23)。

如果步骤S23的确定结果为“是”，则控制器201对QR码7进行解码以获取物体8的物体ID(步骤S24)，并在存储器203中存储的CAD数据库中搜索与该物体ID对应的CAD数据(步骤S25)。这样，控制器101就识别出与该物体ID对应的CAD数据(步骤S26)。如果步骤S23的确定结果为“否”，则操作进入步骤S27。

然后控制器201确定是否已经通过操作单元204接收到绘制注释图像的画面处理命令(步骤S27)。

如果步骤S27的确定结果为“否”，则操作进入步骤S30。如果步骤S27的确定结果为“是”，则控制器101根据该画面处理命令在显示区域15上绘制注释图像(步骤S28)，并将注释图像的坐标数据通过发送和接收单元202发送到PC 1(步骤S29)。在图5的步骤S8中，控制器101通过发送和接收单元202接收向PC 1发送的坐标数据。

然后控制器201确定是否接收到存储所捕捉图像、通过麦克风18输入的声音和通过扬声器18输出的声音的指令(步骤S30)。可以通过操作单元106或操作单元204输入存储所捕捉图像和声音的指令，或者可以通过摄像机5捕捉包括存储所捕捉图像和声音的指令的QR码来输入存储所捕捉图像和声音的指令。

如果步骤S30的确定结果为“否”，则操作进入步骤S32。如果步骤S30的确定结果为“是”，则控制器201将所捕捉图像、通过麦克风18输入的声音和通过扬声器19输出的声音与在步骤S26中通过物体8的物体ID识别的CAD数据相关联，并将图像和声音与CAD数据相关联地存储到存储器203中(步骤S31)。如果步骤S23的确定结果为“否”，则没有找到物体8的物体ID。因此，将所捕捉图像、通过麦克风18输入的声音和通过扬声器19输出的声音与在步骤S26中识别的CAD数据分离地存储到存储器203中。

为减小要在步骤S31中存储的由摄像机5捕捉的图像的大小，控制器201可以将所捕捉图像(静止图像)与先前的捕捉图像进行比较，并确定是否存在比预定阈值更大的差。在这种情况下，只有当所捕捉图像相对于先前的捕捉图像的差大于阈值时，控制器201才将所捕捉图像存储到存储器203中。例如，在构成所捕捉图像的点数比构成先前的捕捉图像的点数大或小100个点或者更多的情况下，或者在构成所捕捉图像的总点数比构成先前的捕捉图像的总点数大或小3％或更多的情况下，控制器201确定存在大于预定阈值的差，并将所捕捉图像存储到存储器203中。

在步骤S31之后，控制器201确定是否已经执行了所有处理，例如注释图像的坐标数据的发送处理以及图像和声音存储处理(步骤S32)。如果步骤S32的确定结果为“否”，则操作返回步骤S12。如果步骤S32的确定结果为“是”，则操作结束。

尽管控制器201在步骤S23和S24中通过QR码7获取物体ID，但获取物体ID的处理并不限于此。例如，控制器201可以获取通过操作单元106或操作单元204输入的物体ID。此外，控制器201可以获取直接从PC 1输入的物体ID。

与参照图7A和7B说明的控制器101一样，当点击了关于CAD数据的属性信息中包括的到所捕捉图像和音频数据的链接时，控制器201从存储器203读取并输出与CAD数据相关联的所捕捉图像和音频数据。

如上详细所述，根据本示例性实施方式，存储器203存储包含用于设计物体8的CAD数据及其属性信息的数据库，并且控制器201获取物体8的物体ID(识别信息)。基于物体8的物体ID，控制器201识别数据库中包含的关于物体8的CAD数据。控制器201将所捕捉图像数据和音频数据与关于物体8的CAD数据相关联，并将所捕捉图像数据和音频数据与CAD数据相关联地存储到存储器203中，从而可以基于所识别的关于物体8的CAD数据的属性信息来查看并收听由摄像机5捕捉的图像的数据以及通过麦克风18和扬声器19输入和输出的音频数据。

这样，可以基于物体8的CAD数据容易地查看并收听通过与PC 1的通信而获得的关于物体8的所捕捉图像和音频数据。

在第二示例性实施方式中，控制器201将所捕捉图像数据和音频数据与所识别的物体的CAD数据相关联，并使存储器203存储所捕捉图像数据和音频数据与CAD数据。然而，也可以仅将所捕捉图像数据与所识别的物体的CAD数据相关联，并使存储器203将所捕捉图像与CAD数据相关联地存储。这样，可以基于物体8的CAD数据容易地查看通过与PC 1的通信而获取的关于物体8的所捕捉图像数据。此外，控制器201(数据转换器)可以通过公知技术将音频数据转换成文本数据。然后控制器201将所捕捉图像数据和文本数据与所识别的物体的CAD数据相关联，并使存储器203将所捕捉图像数据和文本数据与CAD数据相关联地存储。这样，可以基于物体8的CAD数据容易地查看通过与PC 1的通信而获取的关于物体8的所捕捉图像和对应于音频数据的文本数据。

此外，在利用各种测量装置(例如尺寸测量器、温度计、液体比重计和安培计)测量物体8的情况下，控制器201可以将通过这些测量装置获取的数据与物体的CAD数据相关联，并使存储器203存储所述测量数量和CAD数据。

(第三示例性实施方式)

在第一示例性实施方式中，控制器101将与物体8的物体ID对应的CAD数据与物体8的所捕捉图像和音频数据相关联，并将CAD数据与所捕捉图像和音频数据相关联地存储在存储器103中。在物体8是已经完成的产品的部件并且利用CAD数据重新设计物体8的情况下，操作者可能希望不仅参照关于物体8的所捕捉图像和音频数据，而且参照关于与物体8相关的其他部件的所捕捉图像和音频数据。在该示例性实施方式中考虑这种情况，控制器101将与物体8的物体ID对应的CAD数据与物体8和与物体8相关的其他物体的所捕捉图像和音频数据相关联，并将CAD数据与所捕捉图像和音频数据相关联地存储到存储器103中。

图9是PC 1执行的操作的流程图。在图9中，用与图5中的步骤编号相同的步骤编号表示与图5中的处理相同的处理，并在此处省略其说明。

在以下描述中，首先捕捉物体8的图像，之后捕捉与物体8相关的其他部件的图像。

在步骤S9之后，控制器101在显示器105或205上显示存储指令对话框(步骤S41)。

图10A示出了显示存储指令对话框61的显示器105的示例。图10B示出了显示存储指令对话框61的显示器205的示例。

存储指令对话框61包括：用于将各物体的所捕捉图像和音频数据临时存储在存储器103中的临时存储按钮62；用于将物体8和与物体8相关的其他物体的所捕捉图像和音频数据最终存储在存储器103中的最终存储按钮63；以及取消按钮64。

回到参照图9，控制器101确定是否通过操作单元106或者操作单元204按下了临时存储按钮62(步骤S42)。

如果步骤S42的确定结果为“是”，则控制器101将所捕捉图像和音频数据临时存储到存储器103中(S32)，并返回到步骤S2。如果控制器101从步骤S43返回到步骤S2，则控制器101切换到另一声音记录文件，并开始记录声音。如果控制器101从步骤S43返回到步骤S2，则可以捕捉并非物体8的物体的图像。

如果步骤S42的确定结果为“否”，则控制器101确定是否通过操作单元106或者操作单元204按下了最终存储按钮63(步骤S44)。

如果步骤S44的确定结果为“否”，或者当按下了取消按钮64时，操作进入步骤S46。

如果步骤S44的确定结果为“是”，则控制器101将当前正在捕捉的图像和音频数据以及临时存储在存储器103中的所捕捉图像和音频数据与在步骤S7中通过物体8的物体ID而最先识别的物体8的CAD数据相关联，并将这些图像和音频数据与CAD数据相关联地存储到存储器103中(步骤S45)。如果步骤S4的确定结果为“否”，则没有找到物体8的物体ID。因此，将所捕捉图像和音频数据与步骤S7中识别的物体8的CAD数据分离地存储到存储器103中。

为减小将在步骤S43中临时存储的所捕捉图像数据的量和在步骤S45中最终存储的所捕捉图像数据的量，控制器101可以将摄像机5捕捉的图像(静止图像)与先前的捕捉图像进行比较，并确定是否存在比预定阈值更大的差。在这种情况下，只有当所捕捉图像相对于先前的捕捉图像的差大于阈值时，控制器101才将所图像存储到存储器103中。例如，在构成摄像机5捕捉的图像的点数比构成先前的捕捉图像的点数大或小100个点或者更多的情况下，或者在构成摄像机5捕捉的图像的总点数比构成先前的捕捉图像的总点数大或小3％或更多的情况下，控制器101确定存在大于预定阈值的差，并将所捕捉图像存储到存储器103中。

图11示出了将一组CAD数据与两个或更多个所捕捉图像和两组或更多组音频数据相关联的示例性情况。在图11中，具有物体ID“物体001”的CAD数据与两个或更多个所捕捉图像和两组或更多组音频数据相关联，并存储在存储器103中。图11中的关于具有物体ID“物体001”的CAD数据的属性信息具有链接栏、以及图4中的关于具有物体ID“物体001”的CAD数据的属性信息中包括的项目。链接栏中写入了相关联的所捕捉图像和音频数据的文件名。当点击关于CAD数据的属性信息中包括的到所捕捉图像和音频数据的链接时，控制器101从存储器103读取并输出与CAD数据相关联的所捕捉图像和音频数据。

图11中所示的添加到所捕捉图像和音频数据的属性信息是关于会议的属性信息，包括标题、会议参与者的用户名称和会议日期。

在步骤S45之后，控制器101确定是否已经执行了所有处理，例如投影处理以及图像和声音存储处理(步骤S46)。如果步骤S46的确定结果为“否”，则操作返回步骤S2。如果步骤S46的确定结果为“是”，则操作结束。

在步骤S41到S45中，控制器101在显示器105或205上显示存储指令对话框，并确定是否按下了临时存储按钮62或者最终存储按钮63。然而，控制器101可以基于是否进行了与临时存储按钮62对应的预定输入键(例如，Alt+F1)或者与最终存储按钮63对应的预定输入键(例如，Alt+F2)来确定是否按下临时存储按钮62或者最终存储按钮63。

在步骤S45中，控制器101将当前正在捕捉的图像和音频数据以及临时存储在存储器103中的所捕捉图像和音频数据与在步骤S7中通过物体8的物体ID而最先识别的物体8的CAD数据相关联，并将这些图像和音频数据与所述CAD数据相关联地存储到存储器103中。然而，控制器101可以将当前正在捕捉的图像和音频数据以及临时存储在存储器103中的所捕捉图像和音频数据与在步骤S7中通过物体8的物体ID而最后识别的物体8的CAD数据相关联，并将这些图像和音频数据与所述CAD数据相关联地存储到存储器103中。

如图12所示，步骤S41到S46的处理可以添加到步骤S21到S29的处理。这样，PC 2的控制器201可以将与物体8的物体ID对应的CAD数据与物体8和与物体8相关的其他物体的所捕捉图像和音频数据相关联，并将所捕捉图像和音频数据与CAD数据相关联地存储到存储器203中。

如上详细所述，根据本示例性实施方式，在捕捉各物体的图像并且在切换物体时切换音频数据文件的情况下，控制器101将多个物体的所捕捉图像数据和音频数据与最先或最后识别的关于物体8的CAD数据相关联，并将所捕捉图像数据和音频数据与CAD数据相关联地存储到存储器103中，从而可以基于最先或最后识别的物体8的CAD数据的属性信息来查看并收听由摄像机5捕捉的多个物体的图像以及通过麦克风10和扬声器11输入和输出的两组或更多组音频数据。

这样，可以基于最先或最后识别的关于物体8的CAD数据容易地查看并收听通过与PC 2的通信而获取的关于包括物体8的多个物体的所捕捉图像和音频数据。

同样，在捕捉各物体的图像并且在切换物体时切换音频数据文件的情况下，控制器201将多个物体的所捕捉图像数据和音频数据与最先或最后识别的关于物体8的CAD数据相关联，并将所捕捉图像数据和音频数据与CAD数据相关联存储地到存储器203中，从而可以基于最先或最后识别的物体8的CAD数据的属性信息来查看并收听由摄像机5捕捉的多个物体的图像以及通过麦克风18和扬声器19输入和输出的两组或更多组音频数据。

这样，可以基于最先或最后识别的关于物体8的CAD数据容易地查看并收听通过与PC 1的通信而获取的关于包括物体8的多个物体的所捕捉图像和音频数据。

当按下临时存储按钮62时，控制器101或者控制器201使存储器103或存储器203临时存储关于各物体的所捕捉图像数据和关于各物体的音频数据。当按下最终存储按钮63时，控制器101或者控制器201将多个物体的所捕捉图像数据和两组或更多组音频数据与最先或最后识别的物体8的CAD数据相关联，并使存储器103或者存储器203将多个物体的所捕捉图像数据和音频数据与CAD数据相关联地存储，从而可以基于最先或最后识别的物体8的CAD数据的属性信息来查看并收听由摄像机5捕捉的多个物体的图像以及通过麦克风10和扬声器11或者麦克风18和扬声器19输入和输出的两组或更多组音频数据。

因此，当按下了临时存储按钮62时，将各物体的所捕捉图像和音频数据临时存储到存储器103或存储器203中。当按下了最终存储按钮63时，将多个物体的包括临时存储的所捕捉图像和音频数据在内的所捕捉图像和音频数据与物体8的最先或最后识别的CAD数据相关联，并可以将其存储在存储器103或者存储器203中。

在第三示例性实施方式中，控制器101或者控制器201将所捕捉图像数据和音频数据与所识别的物体8的CAD数据相关联，并使存储器103或者存储器203将所捕捉图像数据和音频数据与CAD数据相关联地存储。然而，也可以仅将所捕捉图像数据与所识别的物体8的CAD数据相关联，并使存储器103或者存储器203将所捕捉图像与CAD数据相关联地存储。这样，可以基于物体8的CAD数据容易地查看通过与PC 2或者PC 1的通信而获取的关于物体8的所捕捉图像数据。此外，控制器101或者控制器201(数据转换器)可以通过公知技术将音频数据转换成文本数据。控制器101或者控制器201然后将所捕捉图像数据和文本数据与所识别的物体8的CAD数据相关联，并使存储器103或者存储器203将所捕捉图像数据和文本数据与CAD数据相关联地存储。这样，可以基于物体8的CAD数据容易地查看通过与PC 2或者PC 1的通信而获取的关于物体8的所捕捉图像和对应于音频数据的文本数据。

此外，在利用各种测量装置(例如尺寸测量器、温度计、液体比重计和安培计)测量物体8的情况下，控制器101或者控制器201可以将通过这些测量装置获取的数据与物体的CAD数据相关联，并使存储器103或者存储器203存储所述测量数量和CAD数据。

另选的是，可以向各PC提供其上记录有用于实现PC 1和PC 2的功能的软件程序的记录介质，各PC的CPU可以读取并执行记录在该记录介质上的程序。以这种方式，可以实现与上述示例性实施方式的效果相同的效果。提供该程序的记录介质可以是CD-ROM、DVD、SD卡等。

此外，各PC的CPU可以执行用于实现各PC的功能的软件程序。以这种方式，也可以实现与上述示例性实施方式的效果相同的效果。

应当理解，本发明不限于上述示例性实施方式，可以在不偏离本发明的范围的情况下对它们作出各种修改。

Claims (11)

1.一种信息处理装置，该信息处理装置连接到将从外部终端输入的注释图像投影到包括物体的投影区域上的投影装置，并连接到捕捉所述投影区域的图像的图像捕捉装置，所述信息处理装置通过与所述外部终端的通信，获取要向所述投影装置和所述图像捕捉装置输入的图像数据以及要从所述投影装置和所述图像捕捉装置输出的图像数据，

所述信息处理装置包括：

存储器，其存储一数据库，该数据库包括设计所述物体要使用的CAD数据及其属性信息；

获取单元，其获取所述物体的识别信息；

识别单元，其基于所获取的所述物体的识别信息，识别所述数据库中包括的所述物体的CAD数据；以及

控制器，其将由所述图像捕捉装置捕捉的图像的数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看所捕捉图像的数据。

2.根据权利要求1所述的信息处理装置，其中：

所述信息处理装置连接到向所述外部终端输入声音并从所述外部终端输出声音的音频输入和输出装置，并通过与所述外部终端的通信而获取所述声音的数据；并且

所述控制器将所捕捉图像的数据和所述音频数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述音频数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看并收听由所述图像捕捉装置捕捉的图像的数据以及通过所述音频输入和输出装置输入的音频数据。

3.根据权利要求2所述的信息处理装置，该信息处理装置还包括：

将所述音频数据转换成文本数据的数据转换器，

其中，所述控制器将所捕捉图像的数据和所述文本数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述文本数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看由所述图像捕捉装置捕捉的图像的数据和由所述数据转换器转换的文本数据。

4.一种信息处理装置，该信息处理装置与服务器进行通信，所述服务器连接到将注释图像投影到包括物体的投影区域上的投影装置并连接到捕捉所述投影区域的图像的图像捕捉装置，所述信息处理装置通过与所述服务器的通信，获取要向所述投影装置和所述图像捕捉装置输入的图像数据以及要从所述投影装置和所述图像捕捉装置输出的图像数据，

所述信息处理装置包括：

存储器，其存储一数据库，该数据库包括设计所述物体要使用的CAD数据及其属性信息；

获取单元，其获取所述物体的识别信息；

识别单元，其基于所获取的所述物体的识别信息，识别所述数据库中包括的所述物体的CAD数据；以及

控制器，其将由所述图像捕捉装置捕捉的图像的数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看所捕捉图像的数据。

5.根据权利要求4所述的信息处理装置，其中：

输入并输出声音的第一音频输入和输出装置连接到所述信息处理装置；

输入并输出声音的第二音频输入和输出装置连接到所述服务器；

通过所述信息处理装置与所述服务器之间的通信来获取所述声音的音频数据；并且

所述控制器将所捕捉图像的数据和所述音频数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述音频数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看并收听由所述图像捕捉装置捕捉的图像的数据以及通过所述第一音频输入和输出装置而输入或输出的音频数据。

6.根据权利要求5所述的信息处理装置，该信息处理装置还包括：

数据转换器，其将通过所述第一音频输入和输出装置输入或输出的音频数据转换成文本数据，

其中，所述控制器将所捕捉图像的数据和所述文本数据与由所述识别单元识别的所述物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述文本数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看由所述图像捕捉装置捕捉的图像的数据和由所述数据转换器转换的文本数据。

7.根据权利要求1或4所述的信息处理装置，其中，当逐一地捕捉多个物体的图像时，所述控制器将由所述图像捕捉装置捕捉的所述多个图像的数据与由所述识别单元最先或最后识别的物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元最先或最后识别的所述物体的CAD数据的属性信息来查看所捕捉图像的数据。

8.根据权利要求2或5所述的信息处理装置，其中，当逐一地捕捉多个物体的图像并且在切换物体时切换音频数据文件时，所述控制器将由所述图像捕捉装置捕捉的所述多个图像的数据和通过所述音频输入和输出装置或所述第一音频输入和输出装置输入或输出的多组音频数据与由所述识别单元最先或最后识别的物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述音频数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元最先或最后识别的所述物体的CAD数据的属性信息来查看并收听所捕捉图像的数据和所述多组音频数据。

9.根据权利要求8所述的信息处理装置，该信息处理装置还包括：

输入单元，其用于输入临时存储指令或最终存储指令，

其中：

当通过所述输入单元输入了所述临时存储指令时，所述控制器使得所述存储器临时存储各个物体的所捕捉图像数据和各个物体的音频数据；并且

当通过所述输入单元输入了所述最终存储指令时，所述控制器将由所述图像捕捉装置捕捉的所述多个图像的数据和通过所述音频输入和输出装置或所述第一音频输入和输出装置输入或输出的所述多组音频数据与由所述识别单元最先或最后识别的物体的CAD数据相关联，并使所述存储器将所捕捉图像的数据和所述音频数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元最先或最后识别的所述物体的CAD数据的属性信息来查看并收听所捕捉图像的数据和所述多组音频数据。

10.一种信息处理方法，该信息处理方法使用计算机，所述计算机连接到将从外部终端输入的注释图像投影到包括物体的投影区域上的投影装置，所述计算机还连接到捕捉所述投影区域的图像的图像捕捉装置，所述计算机通过与所述外部终端的通信而获取要向所述投影装置和所述图像捕捉装置输入的图像数据以及要从所述投影装置和所述图像捕捉装置输出的图像数据，

所述信息处理方法包括以下步骤：

存储一数据库，该数据库包括设计所述物体要使用的CAD数据及其属性信息；

获取所述物体的标识信息；

基于所获取的所述物体的标识信息，识别所述数据库中包括的所述物体的CAD数据；以及

将由所述图像捕捉装置捕捉的图像的数据与由识别单元识别的所述物体的CAD数据相关联，并使存储器将所捕捉图像的数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看所捕捉图像的数据。

11.一种信息处理方法，该信息处理方法使用计算机，所述计算机与服务器进行通信，所述服务器连接到将注释图像投影到包括物体的投影区域上的投影装置并连接到捕捉所述投影区域的图像的图像捕捉装置，通过与所述服务器的通信而向所述投影装置和所述图像捕捉装置输入图像数据并从所述投影装置和所述图像捕捉装置输出图像数据，

所述信息处理方法包括以下步骤：

存储一数据库，该数据库包括设计所述物体要使用的CAD数据及其属性信息；

获取所述物体的识别信息；

基于所获取的所述物体的识别信息，识别所述数据库中包括的所述物体的CAD数据；以及

将由所述图像捕捉装置捕捉的图像的数据与由识别单元识别的所述物体的CAD数据相关联，并使存储器将所捕捉图像的数据与所述CAD数据相关联地存储，以使得可以基于由所述识别单元识别的所述物体的CAD数据的属性信息来查看所捕捉图像的数据。

Images