CN101751495B

CN101751495B - 信息处理装置和信息处理系统

Info

Publication number: CN101751495B
Application number: CN2009101409838A
Authority: CN
Inventors: 武田隼一
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2008-12-11
Filing date: 2009-05-15
Publication date: 2012-10-03
Anticipated expiration: 2029-05-15
Also published as: US20100153072A1; CN101751495A; JP5332576B2; JP2010140259A

Abstract

本发明涉及信息处理装置和信息处理系统。信息处理装置包括：获取部，所述获取部获取表示物体的形状的数据、以及关于要投影到所述物体上的部件的绘图数据；检测部，所述检测部从在将所述绘图数据投影到所述物体上的状态下捕捉了对所述部件的仿真组装操作的图像中检测工具或所述部件和用户的手或胳膊的位置；以及确定部，所述确定部基于表示所述物体的形状的所述数据、所述绘图数据、以及所检测到的所述工具或所述部件和所述用户的手或胳膊的位置，确定所述部件是否安装在所述物体上。

Description

信息处理装置和信息处理系统

技术领域

本发明涉及信息处理装置和信息处理系统。

背景技术

常规上已知这样一种技术，所述技术在执行部件组装工作时生成关于手的数据、以及关于组装部件所必要的工作空间的数据，作为CAD(计算机辅助设计)数据，并且在CAD软件中验证部件的组装是否是可能的(例如参见参考文献1和2)。

此外，已知这样一种技术，其中已经穿戴上头盔式显示器或具有加速度传感器的手套的操作员在虚拟空间中仿真对部件的组装(例如参见参考文献3)。

【参考文献1】日本特开平8-185417号公报

【参考文献2】日本特开平10-34458号公报

【参考文献3】日本特开2004-178222号公报

发明内容

本发明的目的在于提供一种信息处理装置和信息处理系统，其可以验证是否可以将部件组装在投影到物体上的该部件的绘图数据上。

根据本发明的一方面，提供有一种信息处理装置，该信息处理装置包括：获取部，所述获取部获取表示物体的形状的数据、以及关于要投影到所述物体上的部件的绘图数据；检测部，所述检测部从在将所述绘图数据投影到所述物体的状态下捕捉了对所述部件的仿真组装操作的图像中检测工具或所述部件和用户的手或胳膊的位置；以及确定部，所述确定部基于表示所述物体的形状的所述数据、所述绘图数据、以及所检测到的所述工具或所述部件和所述用户的手或胳膊的位置，确定所述部件是否安装在所述物体上。

使用上述结构，所述信息处理装置可以验证是否可以将所述部件组装在投影到所述物体上的所述部件的绘图数据上。

在所述信息处理装置的第一变型例中，当所述工具或所述部件的位置与所述绘图数据上的预设位置重叠、并且所述用户的手或胳膊的位置不与所述物体接触时，所述确定部确定所述部件安装在所述物体上，并且，当所述工具或所述部件的位置不与所述绘图数据上的所述预设位置重叠、或者所述用户的手或胳膊的位置与所述物体接触时，所述确定部确定所述部件不安装在所述物体上。

使用上述结构，所述信息处理装置可以基于所述工具或所述部件的位置与所述绘图数据上的所述预设位置之间的关系、以及所述用户的手或胳膊与所述物体之间的接触关系，来验证是否可以组装所述部件。

在所述信息处理装置的第二变型例中，所述信息处理装置还包括设置部，所述设置部向所述绘图数据中设置表示对所述工具或所述部件、或者所述用户的手或胳膊的障碍的障碍区，其中，当所述工具或所述部件的位置与所述绘图数据上的所述预设位置重叠、并且所述用户的手或胳膊的位置不与所述物体和所述障碍区接触时，所述确定部确定所述部件安装在所述物体上，并且，当所述工具或所述部件的位置不与所述绘图数据上的所述预设位置重叠、或者所述用户的手或胳膊的位置与所述物体或所述障碍区接触时，所述确定部确定所述部件不安装在所述物体上。

使用上述结构，所述信息处理装置可以基于所述工具或所述部件的位置与所述绘图数据上的所述预设位置之间的关系、以及所述用户的手或胳膊与所述物体或所述障碍区之间的接触关系，来验证是否可以组装所述部件。

在所述信息处理装置的第三变型例中，所述信息处理装置包括通知部，当所述确定部确定了所述部件不安装在所述物体上时，所述通知部向所述用户通知所述部件不安装在所述物体上。

使用上述结构，所述信息处理装置可以向所述用户通知所述部件的组装是不可能的。

根据本发明的另一方面，提供有一种信息处理系统，该信息处理系统包括：第一信息处理装置，所述第一信息处理装置存储表示物体的形状的数据、以及关于要投影到所述物体上的部件的绘图数据；以及第二信息处理装置，所述第二信息处理装置包括：获取部，所述获取部获取表示所述物体的形状的数据、以及关于要投影到所述物体上的部件的绘图数据；检测部，所述检测部从在将所述绘图数据投影到所述物体的状态下捕捉了对所述部件的仿真组装操作的图像中检测工具或所述部件和用户的手或胳膊的位置；以及确定部，所述确定部基于表示所述物体的形状的所述数据、所述绘图数据、以及所检测到的所述工具或所述部件和所述用户的手或胳膊的位置，确定所述部件是否安装在所述物体上。

使用上述结构，所述信息处理系统可以验证是否可以将所述部件组装在投影到所述物体上的所述部件的绘图数据上。

附图说明

将基于以下附图详细描述本发明的示例性实施方式，在附图中：

图1是示出根据本发明的示例性实施方式的信息处理系统的结构的框图；

图2是示出服务器1和客户端2的硬件结构的框图；

图3是信息处理系统所执行的仿真处理的流程图；

图4A是示出用户使得工具20与螺丝紧固部9a接触的操作的图；

图4B是示出在CAD数据上安装构件21的操作的图；

图4C是示出用户的胳膊与突起部8a接触的操作的图；

图5A是示出将构件22安装在物体8上的示例的图；

图5B是示出其中将构件22的CAD数据23投影到物体8上的状态的图；

图6是示出用服务器1或客户端2执行的CAD应用的图；以及

图7A到7D是示出当用户拧紧螺丝紧固部23a时物体8、CAD数据23和用户胳膊之间的布置关系的图。

具体实施方式

现在将参照附图来描述本发明的示例性实施方式。

图1是示出根据本发明的示例性实施方式的信息处理系统的结构的框图。

图1中的信息处理系统包括作为信息处理装置的服务器1、以及客户端2。这些组件通过网络3互相连接。服务器1和客户端2由计算机构成。

服务器1连接到投影仪4和摄像机5。基于来自服务器1的控制命令，投影仪4通过半镜6将从客户端2输入的注释图像投影到物体8上。应该注意，该注释图像包括任何类型的图像，例如线、字符、符号、图形、颜色和字体。物体8具有如图1所示的突起部8a。

摄像机5由视频摄像机构成，通过半镜6捕捉包括物体8的捕捉区的反射图像，并且将捕捉到的图像输出到服务器1。即，摄像机5捕捉物体8的全像。半镜6使得投影仪4和摄像机5的视角和光轴彼此相同。

服务器1存储摄像机5的捕捉图像。根据来自客户端2的对捕捉图像的传送请求，服务器1将捕捉图像传送到客户端2。此外，服务器1从客户端2获取注释图像，并且将该注释图像输出到投影仪4。

服务器1经由网络3从客户端2输入对投影仪4的控制命令，并且控制投影仪4所投影的图像的亮度、投影仪4的投影位置、等等。另外，服务器1经由网络3从客户端2输入对摄像机5的控制命令，并且控制摄像机5的捕捉角度、捕捉图像的亮度、捕捉定时等等。

显示装置10连接到客户端2，并且显示一显示区11和用户接口(UI)12。客户端2可以是集成有显示装置10的计算机。

UI 12包括一组按钮(例如画笔按钮、文本按钮和擦除按钮)以及由线和颜色所限定的图标。在图1中，摄像机5所捕捉的物体8的图像显示在显示区11。另外，要安装在物体8上的部件的CAD(计算机辅助设计)数据(即绘图数据)9和13显示在显示区11中的物体8上。当用户指定了显示区域、在UI 12中按下了文件按钮、并且选择了所期望部件的CAD数据9和13时，所选择的CAD数据9和13显示在指定的显示区域上。在图1中，标号9a表示螺丝紧固部。显示在显示区11上的CAD数据9和13经由客户端2和服务器1发送到投影仪4。投影仪4将CAD数据9和13投影到物体8上。

例如，当按下了UI 12中的画笔按钮并且在显示区11中的物体8上绘出了注释图像时，关于注释图像的信息(具体来说，坐标数据)从客户端2输出到服务器1。服务器1对关于注释图像的信息进行解码，将解码信息转换为用于投影仪4的投影图像，并且将该投影图像输出到投影仪4。投影仪4将该投影图像投影到物体8上。

在图1中，信息处理系统包括单个客户端2，但是该信息处理系统可以包括两个或更多个客户端(PC)。服务器1可以由两台或更多台计算机构成。

图2是示出服务器1和客户端2的硬件结构的框图。因为服务器1的硬件结构与客户端的硬件结构相同，因此现在将在后面给出服务器1的硬件结构的描述。应该注意，在图2中，标号201到209表示客户端2的组件。

服务器1包括：控制整个服务器1的CPU 101；存储控制程序的ROM102；用作工作区的RAM 103；存储各种信息和程序的硬盘驱动器(HDD)104；连接到鼠标和键盘(未示出)的PS/2接口105；连接到其他计算机的网络接口106；连接到显示装置的视频接口107；以及连接到USB(通用串行总线)装置(未示出)的USB接口108。CPU 101通过系统总线109连接到ROM 102、RAM 103、HDD 104、PS/2接口105、网络接口106、视频接口107和USB接口108。

假设CAD数据9和13存储在HDD 104、HDD 204或连接到网络3的外部存储装置(未示出)中的任一个中。假设表示物体8的形状的坐标数据也存储在HDD 104、HDD 204或连接到网络3的外部存储装置(未示出)中的任一个中。

图3是示出信息处理系统执行的仿真处理的流程图。在该处理中，执行用于将某些部件(螺丝、构件等等)安装到物体8上的仿真。

首先，响应于直接输入的对CAD数据9和13的投影指令或者来自客户端2的对CAD数据9和13的投影指令，服务器1的CPU 101将CAD数据9和13输出到投影仪4，并且使投影仪4将CAD数据9和13投影到物体8(步骤S1)。输出到投影仪4的CAD数据9和13可以是存储在HDD 104中的、从客户端2接收的、或者从连接到网络3的外部存储装置读出的。

接下来，物体8附近的用户向已经投影到物体8的CAD数据9和13执行仿真组装操作(步骤S2)。仿真组装操作例如包括用户使工具20(例如装拆器(driver))与CAD数据9中的螺丝紧固部9a接触的操作(如图4A中所示)、以及将构件21置于CAD数据9上的操作(如图4B中所示)。在这种情况下，预先向工具20或构件21贴附特定标记。此外，还向用户的胳膊或手的位置贴附特定标记。应该注意，工具20包括夹具(jig)作为辅助工具。

接下来，CPU 101将贴附于工具20或构件21的特定标记与仿真组装操作的捕捉图像进行匹配，检测工具20或构件21的位置(即坐标)，并且基于贴附于用户胳膊或手的位置的特定标记而从摄像机5的捕捉图像中检测用户胳膊或手的位置(步骤S3)。

CPU 101可以通过将来自摄像机5的捕捉图像与之前捕捉的工具20或构件21的图像进行匹配来检测工具20或构件21的位置(即坐标)。此外，CPU 101可以通过将来自摄像机5的捕捉图像与之前捕捉的用户胳膊或手的图像进行匹配来检测用户的胳膊或手的位置。

CPU 101基于表示物体8的形状的坐标数据、要投影到物体8上的CAD数据、检测到的工具20或构件21的位置、以及检测到的用户胳膊或手的位置，确定包括螺丝和构件21的部件是否能够安装到物体8上(步骤S4)。

具体来说，当检测到的工具20的坐标与CAD数据9中的螺丝紧固部9a的坐标重叠、并且用户的胳膊或手不与突起部8a接触时，CPU 101确定螺丝能够安装或紧固到物体8上。在这种情况下，CPU 101根据表示物体8的形状的坐标数据(其预先存储在HDD 104等中)来判断突起部8a的位置。

另一方面，检测到的工具20的坐标不与CAD数据9中的螺丝紧固部9a的坐标重叠，或者用户的胳膊或手与突起部8a接触，则CPU 101确定螺丝不能够安装或紧固到物体8上。例如，当用户的胳膊与突起部8a接触时，如图4C所示，工具20的坐标不与投影到物体8上的CAD数据9中的螺丝紧固部9a的坐标重叠。

类似地，在构件21的情况下，当检测到的构件21的坐标与投影到物体8上的CAD数据13(即，与并非构件21的其他部件相对应的CAD数据)的坐标重叠、或者构件21与突起部8a接触时，CPU 101确定该部件(即构件21)不能够安装到物体8上。当检测到的构件21的坐标不与投影到物体8上的CAD数据13(即，与并非构件21的其他部件相对应的CAD数据)的坐标重叠、并且构件21不与突起部8a接触时，CPU101确定该部件(即构件21)能够安装到物体8上。

接下来，当步骤S4的确定答案为“否”时，CPU 101向物体8附近的用户和/或客户端2的用户通知仿真组装操作的失败(步骤S5)。具体来说，CPU 101使投影仪4投影警告图像，将投影到物体8上的CAD数据9和13明灭闪烁，并且从连接到服务器1和客户端2的扬声器(未示出)输出警告音。由此，物体8附近的用户和/或客户端2的用户得知仿真组装操作的失败。当步骤S4的确定答案为“是”时，该进程前进到步骤S6。

最终，CPU 101确定仿真组装操作是否终止(步骤S6)。具体来说，当工具20的坐标已经与所有螺丝紧固部9a的坐标重叠、或者已经向CPU101输入了仿真组装操作的终止指令时，CPU 101确定仿真组装操作终止。

当步骤S6的确定答案为“是”时，本处理终止。另一方面，当步骤S6的确定答案为“否”时，处理返回到步骤S2。

尽管在本示例性实施方式中预先向工具20或构件21贴附特定标记，但是用户也可以从服务器1或客户端2预先向由CPU 101执行的给定应用设置给定位置，并且CPU 101可以通过检测捕捉图像中的设置位置的状态改变(例如关于色度、亮度或饱和度的至少一个颜色信息的改变)来确定部件是否能够安装到物体8上。例如，用户通过使用服务器1的键盘(未示出)预先向由CPU 101执行的给定应用设置CAD数据9中的螺丝紧固部9a的坐标，并且当捕捉图像中的与所设置的螺丝紧固部9a的坐标相对应的颜色信息改变时，CPU 101可以确定该部件能够安装到物体8上。

(变型例)

在变型例中，假设构件22安装在物体8上。

图5A是示出在物体8上安装构件22的实施例的图，图5B是示出构件22的CAD数据23投影到物体8上的状态的图。图6是示出由服务器1或客户端2执行的CAD应用的图。

如图5A中所示，在物体8上设置有突起部8a，在构件22上也设置有突起部22a。在这样的状态下，假设用户将手或胳膊从突起部8a和突起部22a之间的空间30插入到构件22内部。

在图6中的CAD应用中，显示对应于构件22的CAD数据23。在CAD数据23中包括多个螺丝紧固部23a和对应于突起部22a的障碍区24。用户通过使用该CAD应用来产生CAD数据23，并且设置障碍区24。图6中的CAD应用和所产生的CAD数据23存储在HDD 104、HDD 204和连接到网络3的外部存储装置(未示出)中的任一个中。当CPU 101读出CAD数据23时，同时读出障碍区24的设置。

图7A到7D是示出在用户拧紧螺丝紧固部23a时物体8、CAD数据23和用户胳膊之间的布置关系的图。

在该变型例中，也执行图3中的上述处理。在图3的步骤S4中，CPU101从HDD 104、HDD 204和连接到网络3的外部存储装置(未示出)中的任一个中读出表示物体8的形状的坐标数据、CAD数据23和障碍区24的位置，并且基于读出的表示物体8的形状的坐标数据、CAD数据23和障碍区24的位置、以及从捕捉的图像检测到的工具20和用户胳膊或手的位置，来确定部件(例如螺丝)是否能够安装或紧固到物体8上。

例如，在图7A中，用户的胳膊与障碍区24重叠，并且因此CPU 101在图3的步骤S4中确定螺丝不能够安装或紧固在物体8上。尽管在图7B中工具20的坐标与螺丝紧固部23a之一的坐标重叠，但是用户的胳膊与障碍区24重叠。因此，CPU 101在图3的步骤S4中确定螺丝不能够安装或紧固在物体8上。

在图7C中，用户的胳膊与突起部8a重叠，因此CPU 101在图3的步骤S4中确定螺丝不能够安装或紧固在物体8上。在图7D中，用户的胳膊与障碍区24和突起部8a重叠，并且工具20的坐标与螺丝紧固部23a的坐标之一重叠(在这里，假设工具20的坐标与螺丝紧固部23a的其余坐标重叠)。因此，CPU 101在图3的步骤S4中确定螺丝能够安装或紧固在物体8上。

如上面详细描述的，根据本示例性实施方式，CPU 101从HDD 104、HDD 204和连接到网络3的外部存储装置(未示出)中的任一个中获取表示物体8的形状的坐标数据以及要投影到物体8上的CAD数据23，从在CAD数据投影到物体8的状态下捕捉了部件的仿真安装操作的图像中检测工具20或螺丝、构件21以及用户胳膊或手的位置，并且基于表示物体8的形状的坐标数据、要投影到物体8上的CAD数据23(即绘图数据)、以及所检测到的工具20或螺丝、构件21以及用户胳膊或手的位置来确定所述部件是否安装或紧固到物体8上。

因此，服务器1验证部件是否可以组装到投影于物体8上的部件CAD数据上。

当工具20或螺丝和构件21的位置与CAD数据上的预设位置(即螺丝紧固部9a和23a，或者CAD数据9和13)重叠、并且用户的手或胳膊的位置不与物体8接触时，CPU 101确定部件安装到或者紧固到物体8上。另一方面，当工具20或螺丝和构件21的位置不与CAD数据上的预设位置重叠、或者用户的手或胳膊的位置与物体8接触时，CPU 101确定部件不安装到或者紧固到物体8上。因此，CPU 101基于工具20或螺丝和构件21的位置与CAD数据上的预设位置之间的关系、以及用户的手或胳膊与物体8之间的接触关系，来验证是否可以组装部件。

当CPU 101向CAD数据中设置表示对工具20或螺丝、构件21或者用户的手或胳膊的障碍的障碍区24时，如果工具20或螺丝以及构件21的位置与CAD数据上的预设位置(即，螺丝紧固部9a和23a的位置，或者CAD数据9和13)重叠，并且用户的手或胳膊的位置不与物体8和障碍区24接触，则CPU 101确定部件安装到或者紧固到物体8上。另一方面，当CPU 101向CAD数据中设置表示对工具20或螺丝、构件21或者用户的手或胳膊的障碍的障碍区24时，如果工具20或螺丝以及构件21的位置不与CAD数据上的预设位置重叠，或者用户的手或胳膊的位置与物体8或障碍区24接触，则CPU 101确定部件不安装或紧固到物体8上。因此，CPU 101基于工具20或螺丝和构件21的位置与CAD数据上的预设位置之间的关系、以及用户的手或胳膊与物体8或障碍区24之间的接触关系，来验证是否可以组装部件。

可以向服务器1提供其上记录有用于实现服务器1的功能的软件程序的记录介质，并且CPU 101可以读取并执行记录在该记录介质上的程序。以这种方式，可以实现与上面描述的示例性实施方式的效果相同的效果。用于提供所述程序的记录介质例如可以为CD-ROM、DVD或SD卡。

另选的是，服务器1的CPU 101可以执行用于实现服务器1的功能的软件程序，以实现与上面描述的示例性实施方式的效果相同的效果。

应该注意，本发明不限于这些示例性实施方式，并且可以对它们作出各种修改而不脱离本发明的范围。

Claims

1.一种信息处理装置，该信息处理装置包括：

获取部，所述获取部获取表示物体的形状的数据、以及关于要投影到所述物体上的部件的绘图数据；

检测部，所述检测部从在将所述绘图数据投影到所述物体上的状态下捕捉了对所述部件的仿真组装操作的图像中检测工具或所述部件和用户的手或胳膊的位置；以及

确定部，所述确定部基于表示所述物体的形状的所述数据、所述绘图数据、以及所检测到的所述工具或所述部件和所述用户的手或胳膊的位置，确定所述部件是否安装在所述物体上。

2.根据权利要求1所述的信息处理装置，其中，当所述工具或所述部件的位置与所述绘图数据上的预设位置重叠、并且所述用户的手或胳膊的位置不与所述物体接触时，所述确定部确定所述部件安装在所述物体上，并且

当所述工具或所述部件的位置不与所述绘图数据上的所述预设位置重叠、或者所述用户的手或胳膊的位置与所述物体接触时，所述确定部确定所述部件不安装在所述物体上。

3.根据权利要求1所述的信息处理装置，所述信息处理装置还包括设置部，所述设置部向所述绘图数据中设置表示对所述工具或所述部件、或者所述用户的手或胳膊的障碍的障碍区，

其中，当所述工具或所述部件的位置与所述绘图数据上的预设位置重叠、并且所述用户的手或胳膊的位置不与所述物体和所述障碍区接触时，所述确定部确定所述部件安装在所述物体上，并且

当所述工具或所述部件的位置不与所述绘图数据上的预设位置重叠、或者所述用户的手或胳膊的位置与所述物体或所述障碍区接触时，所述确定部确定所述部件不安装在所述物体上。

4.根据权利要求1或2所述的信息处理装置，所述信息处理装置还包括通知部，当所述确定部确定了所述部件不安装在所述物体上时，所述通知部向所述用户通知所述部件不安装在所述物体上。

5.一种信息处理系统，该信息处理系统包括：

第一信息处理装置，所述第一信息处理装置存储表示物体的形状的数据、以及关于要投影到所述物体上的部件的绘图数据；以及

第二信息处理装置，所述第二信息处理装置包括：

获取部，所述获取部获取表示所述物体的形状的所述数据、以及关于要投影到所述物体上的所述部件的所述绘图数据；

检测部，所述检测部从在将所述绘图数据投影到所述物体上的状态下捕捉了对所述部件的仿真组装操作的图像中检测工具或所述部件和用户的手或胳膊的位置；和