CN1662934A

CN1662934A - 操作引导系统

Info

Publication number: CN1662934A
Application number: CN038143763A
Authority: CN
Inventors: 福田登仁
Original assignee: Westunitis Co Ltd
Current assignee: Westunitis Co Ltd
Priority date: 2002-06-20
Filing date: 2003-06-20
Publication date: 2005-08-31
Anticipated expiration: 2023-06-20
Also published as: CN1313980C; AU2003244317A1; JP2004021931A; US20060090135A1; KR20050021996A; KR100597942B1; JP3735086B2; WO2004001677A1

Abstract

本发明公开一种工作引导系统，其包括虚拟图像存储单元(17A)，玻璃单元(11)，虚拟图像重放功能(193A)，以及虚拟图像调整功能(193B)。所述虚拟图像存储单元(17A)存储用于向操作者解释由多个步骤所组成的一工作的每个步骤中的内容的虚拟图像。设置在操作者眼睛前方的所述玻璃单元(11)向操作者显示与操作者前方的真实操作对象相一致的所述虚拟图像。所述虚拟图像重放功能(193A)基于每一步骤的顺序在玻璃单元(111)上重放所述虚拟图像。所述虚拟图像调整功能(193B)调整所述虚拟图像，从而使在虚拟图像中示出的相应操作对象显示在玻璃单元(11)上，同时重叠在真实工作对象上。

Description

操作引导系统

技术领域

本发明涉及一种引导操作者的操作引导系统，从而使操作者可以准确地执行由一系列操作步骤所组成的操作。

背景技术

当某个操作者在制造场地等开始某一操作时，他通常从指导者那里听取所述操作的内容之后才开始所述操作。

但是，当操作者必须执行由一系列操作步骤所组成的操作时，如果他遇到了不清楚的地方或对操作内容有模糊记忆的话，他可能停止所述操作或执行不正确的操作。尽管有方法可以使操作者在从指导者那里听取对所述操作的解释的同时执行操作，但是因指导者必须在操作者的周围，这种方法是没有效率的。

发明内容

对于上述问题，本发明的目的在于提供一种操作引导系统，该系统引导操作者，从而使操作者能够在没有指导者的情况下准确地执行由一系列操作步骤所组成的操作。

根据本发明的操作引导系统包括虚拟图像存储器，显示单元，虚拟图像重放装置和虚拟图像调整装置。相对于由一系列操作步骤所组成的某一操作，所述虚拟图像存储器被设置成存储用于解释每一操作步骤的虚拟图像。所述显示单元被设置成定位在某一操作者眼睛的前面，用于显示与操作者前方的真实操作对象形成对照的所述虚拟图像。所述虚拟图像重放装置被设置成按照所述操作步骤的顺序在所述显示单元上重放所述虚拟图像。所述虚拟图像调整装置被设置成对虚拟图像进行调整，从而使画在每一虚拟图像上并且对应于所述真实操作对象的一虚拟操作对象在所述显示单元上会与所述真实操作对象具有重叠关系。

因此，操作者能够在没有指导者的情况下，仅通过观察在所述显示单元上的虚拟图像并且根据重叠在真实操作对象上的虚拟图像所执行的操作而准确地执行由一系列操作步骤所组成的操作。在观察所有虚拟图像以理解整个操作之后，操作者可以开始所述操作。由于这种操作引导系统包括虚拟图像调整装置，所以不论操作者的位置或操作者眼睛的高度如何，画在所述虚拟图像上的虚拟操作对象可以在所述显示单元上与真实操作对象保持重叠关系。这样操作者能够有效地执行所述操作。

优选地，所述虚拟图像包括勾勒出所述真实操作对象的图线和用于可视地解释所述操作步骤内容的视觉信息标记。所述图线利于所述真实操作对象和所述虚拟操作对象在它们彼此重叠时的可视化，而所述视觉信息标记能够可视并容易地向操作者传送操作者对所述操作应当知道的信息。从而，操作者能够更准确地执行所述操作。

另外，所述操作引导系统优选地包括一视觉信息标记输入装置，其从虚拟图像存储器中提取所述虚拟图像，从而修改在其中的视觉信息标记和/或向其中加入视觉信息标记。即使操作方向改变或出现操作者应该知道的新信息，所包括的视觉信息标记输入装置能使系统灵活改变。在这种情况下，优选的是，所述虚拟图像包括一画有所述图线的层以及画有所述视觉信息标记的层。这种虚拟图像能够防止复杂图线的偶然删除，并且能够提供无忧修改和/或无忧视觉信息标记的添加。

优选地，所述虚拟图像重放装置记录虚拟图像和操作步骤之间的对应，并且具有提取对应于由操作者指定的操作步骤的虚拟图像的功能。这种功能能够使操作者快速地重放他所需的虚拟图像，即使所述操作由许多操作步骤构成。

还是优选的是，所述虚拟图像重放装置记录所述虚拟图像和所述操作步骤之间的对应，并且具有重放由操作者所指定范围内的对应于所述步骤的虚拟图像以及在重放之后回到所述范围中的第一虚拟图像的功能。在这种情况下，为了理解所述整个操作，操作者可以观察他所需的某一范围内的虚拟图像，因为在重放后所述虚拟图像已经回到所述特定范围中的第一步骤，操作者随后可与所述虚拟图像的重放保持一致地快速起动所述操作。

另外，所述操作引导系统优选地包括用于输入操作者语音的语音输入装置，以及识别用所述语音输入装置所输入的语音的语音识别装置。所述虚拟图像重放装置基于操作者语音控制着所述虚拟图像的重放。在这种情况下，操作者可以在手中持满工具等的情况下控制所述虚拟图像的重放，从而使操作效率得到进一步地改善。

另外，所述操作引导系统优选地包括用于存储语音数据的语音存储器，语音数据解释所述操作步骤的内容，以及用于输出所述语音数据的语音输出装置。所述虚拟图像重放装置同步于虚拟图像的重放向所述语音输出装置输出语音数据。在这种情况下，所述操作者除了虚拟图像外还可以收到关于所述操作的语音解释，从而他可以更准确地理解操作的内容。所述语音数据能够解释所述虚拟图像无法表达的信息。

所述虚拟图像调整装置可包括用于取得真实操作对象图像的图像提取装置，以及用于从由图像提取装置得到的所述图像中提取相对于所述操作对象预先所确定的特征点的特征点提取装置，并且，所述虚拟调整装置可以自动地改变显示在显示单元上的虚拟图像的位置和/或尺寸，从而使与由所述特征点提取装置所提取的特征点相对应的所述虚拟操作对象的点的位置会与特征点的位置相一致。在这种情况下，即使在虚拟图像重放过程中操作者改变他的位置，所述虚拟图像也可以被自动地调整，且所述虚拟操作对象可与真实操作对象保持着重叠关系。

可选择地是，所述虚拟图像调整装置可包括手动控制器，通过该控制器操作者可手动地改变显示在所述显示单元上的虚拟图像的位置和/或尺寸。在这种情况下，操作者可用手使虚拟操作对象与真实操作对象形成重叠关系。在这种情况下，所述操作引导系统优选地包括用于追踪操作者头部运动的头部追踪装置，并且所述虚拟图像调整装置基于所述头部追踪装置的输出修正显示在所述显示单元上的虚拟图像的位置。通过所包括的头部追踪装置，一旦操作者通过手动控制器将虚拟操作对象与真实操作对象相重叠，即使操作者移动他的头部，所述虚拟图像中的虚拟操作对象仍可与真实操作对象保持重叠关系。

附图说明

图1是根据本发明第一实施例的操作引导系统的框图；

图2A，2B和2C是用在所述操作引导系统中的虚拟图像的示例；

图3是一照片，作为附图的替代品，其是通过打印示出了作为操作对象的发动机的特征点的图像而获得的；

图4A和4B是一照片，作为附图的替代品，其是通过打印显示在所述操作引导系统显示单元上的图像而获得的；

图5是一照片，作为附图的替代品，其是通过打印显示在所述操作引导系统显示单元上的图像而获得的；

图6是一照片，作为附图的替代品，其是通过打印显示在所述操作引导系统显示单元上的图像而获得的；

图7是示图，其示出所述操作引导系统的玻璃区域的另一结构；

图8是根据本发明第二实施例的操作引导系统的框图；

图9是一照片，作为附图的替代品，其是通过打印显示在所述操作引导系统显示单元上的图像而获得的；

图10是一照片，作为附图的替代品，其是通过打印显示在所述操作引导系统显示单元上的图像而获得的；

图11是一照片，作为附图的替代品，其是通过打印显示在所述操作引导系统显示单元上的图像而获得的。

具体实施方式

在下文中，将会结合附图对本发明做出更加详细的说明。

图1示出根据本发明第一实施例的操作引导系统1。在这个实施例中，所述操作引导系统1被配置成用在组装发动机的制造厂地中，并且该系统引导操作者从而使他或她能够准确地执行发动机组装操作。

所述操作引导系统1包括头部安装式AV(声音和视觉)单元10以及操作引导控制单元15，该单元通过电缆C1电连接到所述AV单元10。

所述AV单元10是一集合体，其包括作为显示单元的玻璃部件11，作为声音输出装置的头部收话器部件12，作为声音输入装置的麦克风部件13，作为图像提取装置的CCD照像机100。所述玻璃部件11象一个所谓的透明头部安装式显示器，并且其具有一对透明液晶面板111。所述头部收话器部件12具有一对头部收话器扬声器121。所述麦克风部件13具有麦克风131。所述CCD照像机100从操作者的视线拍摄作为操作对象的发动机的图像。操作者可以在虚拟图像显示在所述液晶面板111上的状态下，通过透明的液晶面板111看到真实的对象，这一点在下面将会进行说明。换句话说，所述玻璃部件11可以显示对比于真实图像的所述虚拟图像。

操作引导控制单元15包括接口部分16，存储部分17，电源18和控制部分19。

所述接口部分16包括声音输入接口161，图像输入接口162，虚拟图像输出接口163，以及声音输出接口164。所述声音输入接口161放大来自于麦克风131的模拟声音信号并且将该信号转换成数字式声音信号并输出到所述控制部分19。所述图像输入接口162将来自于CCD照像机100的模拟图像信号转换成数字式图像数据并输出到所述控制部分19。所述虚拟图像输出接口163是基于DVI(数字视频接口)标准的，并且它连接在所述控制部分19和所述液晶面板111之间。所述声音输出接口164将来自于所述控制部分19的声音数据转换成模拟声音信号并基于对应于音量控制(未示出)位置的增益放大该信号，并输出到所述头部收话器扬声器121。

所述存储部分17是一诸如硬盘的存储装置，并且它包括虚拟图像存储段17A和声音存储段17B。对于由一系列的多个操作步骤组成的发动机组装操作，所述虚拟图像存储段17A存储用于解释所述操作步骤内容的虚拟图像。每个虚拟图像是基于画出所述操作对象轮廓(换句话说就是外部轮廓)的图线建立的，而用于可视地解释所述内容的视觉信息标记按需加入到所述虚拟图像。所述视觉信息标记是，例如，示出操作顺序的数字、示出执行所述操作方向的箭头、文字信息、由虚线所示的所述操作的完成画面等。图2A，2B和2C示出虚拟图像的示例。它们用于解释发动机组件组装操作中的某一操作，即操作者将一螺钉紧固到发动机机体，并且随后将一发动机盖连接到其上。图2A是一虚拟图像，其中画出在所述操作之前发动机机体的轮廓。图2B是对应于操作者上紧所述螺钉步骤的虚拟图像。图2C是对应于操作者连接发动机盖步骤的虚拟图像。例如参考图2B，虚拟图像是基于画出作为操作对象的发动机轮廓的图线、以及被加入其中的数字和文字信息组成的视觉信息标记I1至I13而建立的。所述视觉信息标记I1至I12示出操作者将要上紧所述螺钉的顺序，并且所述视觉标记I13示出所述螺钉的紧固力矩。所述声音存储段17B存储用来解释每一操作内容的声音数据，诸如操作顺序，涉及产品可靠性法律的信息，注意事项等。例如，与图2B同步重放的所述声音数据是如下内容：“在这个步骤中，你将要按顺序1至6来紧固螺钉。此时，所述紧固力矩是19.5±2.0Nm”。通过适当地使用所述声音数据以及所述视觉信息标记，操作者可以更容易地理解操作内容并且可以更准确地执行所述操作。优选地是，如果操作者听过一次(例如所述操作的概要)，该操作者可以理解的解释就作为声音数据产生，如果仅听过一次(例如，操作顺序，详细的数值等)，操作者无法理解的解释就会作为视觉信息标记而产生。

所述控制部分19被配置成控制整个操作引导系统1，并且它包括用于执行预设程序的CPU(中央处理器)，以及主存储器等。所述控制部分19具有声音识别功能191，特征点提取功能192，虚拟图像控制功能193和声音输出功能194。

所述声音识别功能191识别所述声音数据，所述声音数据是由所述麦克风131所输入的并且通过所述声音输入接口161所采集，并且根据所识别的声音控制虚拟图像重放功能193A。例如，当声音识别功能191识别出“开始重放”一词时，它发出一个指令到所述虚拟图像重放功能193A以开始虚拟图像的重放。

所述特征点提取功能192从通过CCD照像机100所拍摄的以及通过图像输入接口162所采集的图像中提取相对于作为操作对象的发动机的预先确定的特征点。例如，如图3中所示，如果发动机的特征点已经被事先确定为点P1和点P2，则所述特征点提取功能192从CCD照像机所拍摄的图像中提取所述点P1和P2，并且在所述图像中它确定了特征点P1和P2的像素的位置。

所述虚拟图像控制功能193进一步包括所述虚拟图像重放功能193A和虚拟图像调整功能193B。所述虚拟图像重放功能193A从所述虚拟图像存储段17A中提取虚拟图像并按发动机组装的操作顺序将它们显示在液晶面板111上。而且，所述虚拟图像重放功能193A记录每个虚拟图像和每一操作步骤之间的对应，并且它具有所谓的“提示功能”，该功能提取对应于操作者使用语音识别功能191所指定的其中一个操作步骤的虚拟图像，并且它还具有“特定范围重放功能”，该功能重放分别对应于在操作者指定范围内的操作步骤的虚拟图像，并且在所述虚拟图像重放之后返回到所述指定范围内的第一虚拟图像。当然，所述虚拟图像重放功能193A可以快进、倒片和暂停所述虚拟图像。所述虚拟图像调整功能193B调整由所述图像重放功能193A所重放的虚拟图像，从而使画在虚拟图像上的所述发动机的图线与作为真实操作对象的真实发动机具有重叠关系，该发动机可透过玻璃部件11看到。所述调整方法会在下面进行解释。首先，建立将CCD照像机100所拍摄的图像数据的每个像素的位置与所述液晶面板111的每个像素的位置相关联的表。所述表被存储于诸如控制部分19中的ROM(未示出)中。通过参照上面所述的表，所述图像调整功能193B将图像数据中每个特征点P1，P2的像素位置转换成液晶面板111中相应像素的位置，所述特征点P1，P2由特征点提取功能192从所述图像数据所提取。然后，所述图像调整功能193B自动地改变虚拟图像的位置和/或尺寸，从而使显示在所述液晶面板111上的虚拟图像中分别对应于所述特征点P1，P2的特征点A，B分别与液晶面板111上的特征点P1，P2的像素位置相一致。图4A示出在虚拟图像调整功能193B调整虚拟图像之前的真实的发动机和显示在液晶面板111上的虚拟发动机。在图4A中，因为操作者位置等原因，画在虚拟图像上的发动机的图线以与通过液晶面板111看到的真实发动机错位的关系被显示在液晶面板111上。图4B示出在所述虚拟图像调整功能193B调整所述虚拟图像之后的状态。在图4B中，画在虚拟图像上的所述发动机的图线通过虚拟图像调整功能193以与真实发动机相重叠的关系被显示出来。经由虚拟图像调整功能193所执行的虚拟图象调整实时重复执行。

所述声音输出功能194记录每个虚拟图像和存储于所述声音存储段17B中的每个声音数据片断之间的对应，并且它向声音输出接口164以与所述虚拟图像重放同步的方式输出对应于重放的虚拟图像的声音数据片断，所述重放是由虚拟图像控制重放功能193A所实现的。

现在，如上所述构成的操作引导系统1按如下使用。下面，出于理解的目的，所述发动机的组装操作大致被分成“步骤1”，“步骤2”，并且操作者将要执行被称作“步骤2”的操作。所述步骤2进一步包括“步骤2a”和“步骤2b”。在步骤2a中，操作者应将螺钉紧固到所述发动机机体，而在步骤2b中，操作者在步骤2a之后应将发动机盖连接到所述发动机机体。

首先，操作者带上AV单元10并且通过液晶面板111看到未完成的发动机，如图3所示。当操作者朝向麦克风131说“步骤2”时，声音识别功能191识别“步骤2”这个词，随后虚拟图像重放功能193A使用“提示功能”提取一个虚拟图像到液晶面板111上，该虚拟图像是步骤2(即图2A)的预操作图像。在此时，虚拟图像调整功能193调整所述虚拟图像，从而使所述虚拟图像在所述发动机的图线与所述真实的发动机完全重合的状态下显示在液晶面板111上，如图4B所示。下面，当操作者说“开始重放”时，虚拟图像重放功能193A重放对应于根据所述组装操作(步骤2a-步骤2b)顺序中步骤2a(即图2B)的虚拟图像。通过声音输出功能194所述声音解释从头部收话器扬声器121被重放。图5示出在此时通过液晶面板111所看到的视图。操作者在听取声音解释的同时观察液晶面板的显示，并且根据虚拟图像操作者将螺钉紧固到发动机机体。当操作者已经完成螺钉紧固时，他说“下一个操作”，随后，所述声音识别功能191识别出“下一步”这个词，所述虚拟图像重放功能在液晶面板111上重放对应于下一步骤的虚拟图像，也就是“步骤2”(即图2C)。图6示出在此时通过液晶面板111观察到的视图。然后，在观察液晶面板的显示和再一次听取声音解释的同时，操作者将发动机盖连接到所述发动机机体。

操作者可以按需倒片，暂停或快进所述虚拟图像。操作者首先可以使用上述“特定范围重放功能”连续地重放对应于步骤2(即图2A-图2B-图2C)的所有虚拟图像，从而观察整个的操作，这类似于观察动画，并且理解所述整个操作，然后他可以开始所述操作。在这种情况下，因为显示在所述液晶面板上的虚拟图像在操作者观察整个虚拟图像之后会回到步骤2中的第一步骤(即图2A)，所以操作者可以容易地再一次从图2A开始重放虚拟图像并且在保持虚拟图像重放的同时执行所述操作。操作者可通过声音识别功能191在手中持满工具的情况下控制虚拟图像的重放。尽管操作者在所述操作的中间移动他的头部，可所述虚拟图像调整功能193B调整所述虚拟图像，从而使在虚拟图像上的发动机图线与真实发动机保持着重叠关系。如上面所解释的那样，这个操作引导系统1能使操作者在没有指导者的情况下准确地执行所述操作。

尽管在本实施例中，存储部分17被设置在所述操作引导控制单元15中，所述存储部分17可以被设置在通过无线或有线LAN(局域网)连接到所述操作引导控制单元15的服务器中。在这种情况下，所述操作引导控制单元15具有无线或有线LAN接口。所述存储部分17不受限于硬盘，而可以是诸如光盘装置、磁光盘装置，或半导体存储装置。

尽管上述玻璃部件11是透明液晶面板111，可是它可以使用图7所示的棱镜。在图7中，在所述液晶面板111上的所述虚拟图像从棱镜一侧进入棱镜112，并且它由所述棱镜112后表面上的反射表面112a完全地向前反射，随后它由所述棱镜112前表面上的半透镜112b向后反射，并且随后其透射所述反射表面112a。结果，操作者可以观察所述虚拟图像。在另一个方面，所述操作者可以通过从棱镜112的前方贯穿到其后方的光学通路观察到所述操作对象自身。当所述虚拟图像的背景颜色被设置成大约“000000”的黑色(网络安全颜色)或大约“777777”的深灰色，以及所述虚拟图像的图线颜色被设置成大约“00FFFF”的浅蓝色时，所述虚拟图像对比于操作对象自身变得非常清楚。类似地，当所述字符和符号的颜色被设置成大约“00FFFF”的浅蓝色或大约“FFFF00”的黄色时，它们会变得非常清晰。所述玻璃部件11不需要有两个面板，而是可以有一个面板。即，本发明的显示单元并不限于特定的一个，而是它只要将所述虚拟图像和操作者前面的真实操作对象一起显示给操作者。

所述虚拟图像调整功能193不一定要实时调整所述虚拟图像，但是它可以以特定的时间间隔调整所述虚拟图像。

当然，所述“特定范围重放”功能可以重放两个或多个步骤上的虚拟图像。

优选的是，所述系统包括视觉信息标记输入装置(未示出)，其可从虚拟图像存储段17A中提取所述虚拟图像，从而修改包括在虚拟图像中的视觉信息标记和/或将新的视觉信息标记加到所述视觉图像中。所述视觉信息标记输入装置可使系统灵活地响应在工场产生的所述操作的最小改变(例如，拧紧顺序的改变)，从而操作者可更有效地执行所述操作。在这种情况下，优选地是，所述虚拟图像被单独地产生在分开的层中，在一层上画出勾画出真实操作对象的图线，而在一层上画出所述视觉信息标记，从而防止所画复杂线条的误删除，并且提供了视觉信息标记的无忧修改和/或无忧添加。

尽管在本实施例中，所述发动机被拿来作为所述操作对象的示例，可所述操作对象不受限于类似“发动机”的物体，而是它可以是一个人或动物。例如，这个操作引导系统可以被用于教授某人如何穿上和服和/或用于检查在人或动物上某一操作的过程。

图9示出根据本发明第二实施例的操作引导系统2。除了根据手动干涉所述虚拟图像调整功能193B调整所述虚拟图像以外，所述系统2的基本组成与第一实施例相同。所述操作引导系统2新包括作为手动控制器的手持式鼠标20，其连接到所述操作引导控制单元15。所述AV单元10包括在玻璃部件11中替代CCD照像机100的作为头部追踪装置的头部追踪器200。所述头部追踪器200追踪操作者头部的运动。所述操作引导控制单元15在所述接口部分16中新包括手动控制器接口165和头部追踪接口166。所述手动控制器接口165被连接到所述手持式鼠标20，并且所述头部追踪器接口166被连接到所述头部追踪器200。所述图像输出接口162已经从所述接口部分16被移除，并且所述特征点提取功能192已经从所述控制部分19被移除。

现在，将会在下文中对通过虚拟图像调整功能193B调整所述虚拟图像的方法进行说明。所述控制部分19具有虚拟图像重放模式以及虚拟图像调整模式，并且它们通过声音识别功能191或所述手持式鼠标20彼此转换。在所述虚拟图像调整模式中，除了真实的操作对象和虚拟图像外，相对于所述虚拟图像的虚拟操作对象预先确定的特征点被显示在液晶面板111上。例如，在图9中，除了真实的发动机和所述虚拟发动机外，所述虚拟图像的发动机的特征点A，B被显示出来。在图9中，所述真实的发动机和所述虚拟发动机以未对齐的关系被显示出来。在这种状态中，所述操作者使用所述手持式鼠标20将特征点A的位置拖动到通过液晶面板111所观察到的所述真实发动机的相应特征点P1。在此时，所述虚拟图像调整功能193B根据所述拖动操作移动整个虚拟图像。当操作者停止拖动时，特征点A的位置被固定(见图10)。下面，操作者将特征点B的位置拖动至真实发动机的相应特征点P2。在此时，所述虚拟图像调整功能193B参照于特征点A的位置改变整个虚拟图像的尺寸。当操作者已经完成上述操作时，真实的发动机和虚拟图像的虚拟发动机以重叠关系被显示出来，如图11所示。

在虚拟图像调整模式中所执行的调整被应用于存储在存储部分17中的所有虚拟图像，从而一旦操作者在虚拟图像调整模式中调整所述虚拟图像，操作者不需在后续虚拟图像重放模式中、在每次所述虚拟图像发生改变时调整所述虚拟图像。

即使操作者在虚拟图像重放模式中移动他的头部，所述头部追踪器200仍可自动地改正所述虚拟图像的位置，从而使所述虚拟图像可以保持与真实操作对象的重叠关系。具体地讲，如果头部追踪器检测到操作者的头部向左移动，所述虚拟图像调整装置193B将使所述虚拟图像的向右移动与头部的移动相同。作为头部追踪器，可以使用用于头部安装的显示器的应用加速计或陀螺仪的惯性测量单元。

用于调整所述虚拟图像的方法不限于上述的方法。例如，在操作者已经确定了所述特征点A的位置后，所述控制部分19可以自动地移动进入尺寸改变模式。在所述尺寸改变模式中，根据所述手持式鼠标20的移动量和移动方向，所述整个虚拟图像的尺寸参照于特征点A的位置变化。所述虚拟图像能够在除它被重放时之外的任何时间被调整，无需从虚拟图像重放模式到所述虚拟图像调整模式的操作者转换操作。

可以使用游戏棒类型的手动式控制器或各种定向装置来替代所述手持式鼠标20。

Claims

1、一种操作引导系统包括：

虚拟图像存储器，相对于由一系列操作步骤所组成的操作，其被配置成存储用于解释每一操作步骤内容的虚拟图像；

显示单元，其被设置在操作者眼睛的前面用于显示所述虚拟图像，与操作者前面的真实操作对象形成对照；

虚拟图像重放装置，其被配置成按照所述操作步骤的顺序在所述显示单元上重放所述虚拟图像；

虚拟图像调整装置，其被配置成对所述虚拟图像进行调整，从而使画在每个虚拟图像上并且对应于真实操作对象的虚拟操作对象在所述显示单元上与所述真实操作对象有重叠关系。

2、如权利要求1所述的操作引导系统，其中每个虚拟图像包括钩画出真实操作对象的图线以及用来可视地解释每一操作步骤内容的视觉信息标记。

3、如权利要求2所述的操作引导系统，进一步包括一视觉信息标记输入装置，其从所述虚拟图像存储器中提取其中一个虚拟图像以修改和/或增加所述视觉信息标记。

4、如权利要求3所述的操作引导系统，其中每个虚拟图像包括画有图线的层以及画有所述视觉信息标记的层。

5、如权利要求1所述的操作引导系统，其中所述虚拟图像重放装置记录每一虚拟图像和每一操作步骤之间的对应，并且具有提取其中一个对应于由操作者所指定的其中一个操作步骤的虚拟图像的功能。

6、如权利要求1所述的操作引导系统，其中所述虚拟图像重放装置记录每一虚拟图像和每一操作步骤之间的对应，所述虚拟图像重放装置具有一种功能，即重放对应于由操作者指定范围内的所述操作步骤的虚拟图像，并且在重放所述虚拟图像后返回到所述范围内的第一虚拟图像。

7、如权利要求1所述的操作引导系统，进一步包括：

用于输入操作者声音的声音输入装置以及

用于识别由所述声音输入装置输入的声音的声音识别装置；

所述虚拟图像重放装置基于操作者的声音控制所述虚拟图像重放。

8、如权利要求1所述的操作引导系统，进一步包括：

配置成存储用于解释每一操作步骤内容的声音数据的声音存储器以及配置成输出所述声音数据的声音输出装置；

所述虚拟图像重放装置同步于所述虚拟图像的重放将所述声音数据输出到所述声音输出装置。

9、如权利要求1所述的操作引导系统，进一步包括：

图像提取装置，其配置成提取真实操作对象的图像，以及

特征点提取装置，其配置成相对于所述操作对象从所述图像提取装置所提取的图像中提取预先确定的特征点；

所述虚拟图像调整装置自动地改变显示在所述显示单元上的每个虚拟图像的位置和/或尺寸，从而使与由所述特征点提取装置所提取的特征点相对应的所述虚拟操作对象的点与所述特征点的位置相一致。

10、如权利要求1所述的操作引导系统，其中所述虚拟图像调整装置包括手动控制器，通过该手动控制器操作者能够手动地改变在所述显示单元上显示的每个虚拟图像的位置和/或尺寸。

11、如权利要求10所述的操作引导系统，进一步包括：

头部追踪装置，其配置成追踪操作者头部的运动；

所述虚拟图像调整装置基于所述头部追踪装置的输出更正显示在所述显示单元上的每个所述虚拟图像的位置。