CN101572020A - 多媒体输出装置和方法、以及利用照相机的教育设备 - Google Patents

Abstract

本发明涉及一种多媒体输出装置和方法，以及利用照相机的教育设备，使用照相机拍摄对象物，从拍摄的对象物图像中提取特征点，然后从数据库找出并输出特征点最为接近的图像的相关多媒体，可提高多媒体的输出速度。

Description

多媒体输出装置和方法、以及利用照相机的教育设备

技术领域

本发明涉及一种可提高多媒体输出速度的多媒体输出装置和方法、以及利用照相机的教育设备。

背景技术

教育是指教导知识、技术，培养人格的行为。现有的教育多数为，教员的指导、使用教科书以及学习资料进行的自学、通过互联网进行的讲座教育、现场学习教育等。可改变现有的教育现状的、可提高教育效果的教育设备的开发尤为重要。

发明内容

本发明的目的在于，提供一种多媒体输出装置和方法、以及利用照相机的教育设备，通过使用照相机拍摄对象物，从所拍摄的对象物图像中提取特征点，并从数据库输出与其一致的特征点最多的图像的相应多媒体，因此可提高多媒体的输出速度。

本发明的另一目的在于，提供一种多媒体输出装置和方法、以及利用照相机的教育设备，因从对象物的图像提取的特征点以及存储在数据库中的多个对象物中所提取的特征点的数据量较小，故可提高检索速度，从而可提高多媒体输出速度。

为了达到上述目的，作为本发明的第一理想实施例，一种多媒体输出装置包括：

用于拍摄对象物的照相机；

对上述照相机所拍摄的对象物的图像信号进行处理的图像信号处理单元；

特征点图样提取单元，从上述图像信号处理单元所处理的图像信号中，提取由特征点构成的图样(pattern)；

存储单元，预先存储有由多个对象物的图像中提取的特征点(Feature point)所构成的图样和多媒体(Multimedia)分别形成映射关系的数据库，以及上述多媒体；

数据库检索单元，从储存在上述存储单元的数据库中，检索与上述特征点图样提取单元所提取图样的特征点最接近的图样；

多媒体输出单元，输出上述数据库检索单元所检索的图样所映射的多媒体。

为了达到上述目的，作为本发明的第二理想实施例，一种多媒体输出方法，包括：

用照相机拍摄对象物的阶段；

从上述拍摄的对象物图像中，提取由特征点构成的图样的阶段；

在由多个对象物图像中提取的特征点(Feature point)所构成的图样与多媒体(Multimedia)分别形成映射关系的数据库中，找出与上述特征点图样提取单元所提取的图样相比，特征点最接近的图样后，对其映射的多媒体进行输出的阶段。

为了达到上述目的，作为本发明的第三理想实施例，一种利用照相机的教育设备，包括：

用于放置对象物的支撑板；

固定在上述支撑板上并具有规定高度H的支撑架；

设置在上述支撑架上的照相机；

接收上述照相机所拍摄的图像并输出多媒体的驱动部。

如上所述，本发明使用照相机拍摄对象物，并将拍摄的对象物图像中提取特征点后，输出数据库中特征点最为接近的图像的相关多媒体，因此可提高多媒体的输出速度。另外，本发明中，从对象物图像中提取的特征点以及存储在数据库中的、从多个对象物所提取的特征点的数据量很小，因此可提高检索速度，并提高多媒体的输出速度。

另外，本发明中，因输出数据库中特征点最为接近的多媒体，故不需要复杂的比较和运算功能，从而可提高多媒体的输出速度。

而且，本发明中，用户将对象物放置在照相机的拍摄区域，可立即输出多媒体，可提高用户的兴趣和学习效率。

另外，本发明之多媒体输出装置具有文字判读单元和语音转换单元，对对象物上的文字进行判读并以语音方式输出，给用户提供了方便。

附图说明

图1为本发明之多媒体输出装置的结构示意图；

图2a至2c为本发明中，在所拍摄的对象物图像中提取特征点而形成图样的过程示意图；

图3为本发明中，由特征点构成的图样和多媒体形成映射的过程示意图；

图4为本发明中的多媒体输出方法的流程图；

图5为本发明中的多媒体输出例的示意图；

图6a和6b为，本发明中的照相机所拍摄的对象物的状态示意图；

图7为本发明中的利用照相机的教育设备的结构示意图；

图8为本发明之利用照相机的教育设备中，输出语音状态时的示意图；

图9为本发明中的多媒体输出装置的另一实施例的示意图；

图10为本发明中的另一多媒体输出方法的流程图。

具体实施方式

以下，参照附图对本发明之理想实施例进行详细说明。

图1为本发明中的多媒体输出装置的结构示意图，其包括：用于拍摄对象物的照相机100；对上述照相机100所拍摄的对象物的图像信号进行处理的图像信号处理单元110；特征点图样提取单元120，从上述图像信号处理单元110所处理的图像信号中，提取由特征点构成的图样；存储单元140，对预先由多个对象物的图像中提取的特征点所构成的图样和多媒体分别映射的数据库，以及上述多媒体进行存储；数据库检索单元130，从储存在上述存储单元140的数据库中，检索与上述特征点图样提取单元120所提取的图样相比其特征点最接近的图样；多媒体输出单元150，输出上述数据库检索单元130检索的图样所映射的多媒体。

其中，上述图像信号处理单元110、特征点图样提取单元120、存储单元140、数据库检索单元130、多媒体输出单元150由控制单元160进行控制。

具有上述构成的多媒体输出装置，首先使用照相机100拍摄对象物，然后由图像信号处理单元110对上述照相机100所拍摄的对象物的图像信号进行处理。

其次，上述特征点图样提取单元120接收上述图像信号处理单元110处理的图像信号，并提取由特征点所构成的图样。

而上述存储单元140上预先存储有，由多个对象物图像中提取的特征点所图样和多媒体分别映射的数据库。

这样，上述数据库检索单元130在储存在上述存储单元140的数据库中，检索与上述特征点图样提取单元120所提取图样的特征点相比，最接近的图样。

当上述数据库检索单元130在上述数据库中检索出最接近的图样时，上述多媒体输出单元150在上述控制单元160的控制下，对储存在上述存储单元140的、映射在上述图样的多媒体进行输出。

另外，上述多媒体输出单元150优选为扬声器或显示器。

图2a至2c为本发明中，在所拍摄的对象物图像中提取特征点而形成图样的过程示意图。当拍摄对象物得到的图像中包含形象时，将上述图像中的形象的线和线、线和面、面和面相交的点定义为特征点，可从对象物拍摄图像中提取由特征点构成的图样(Pattern)。

具体为，如图2a所示，对象物为画有杯子形象的纸时，照相机所拍摄的纸面图像210所具有的形象为杯子，因此当定义杯子的特征点211时，可提取由特征点所构成的图样。

而当对象物为画有眼镜的纸时，如图2b所示，只要定义眼镜的特征点221，就可在眼镜图像220中提取由特征点构成的图样。

同样，当对象物为写有“A”字的卡片时，如图2c所示，只要对“A”字的特征点231进行定义，可在卡片的图像230中提取由特征点构成的图样。

本发明中的对象物优选为童话书、玩具、文字卡片、绘画、照片中的一种。

但上述对象物并不局限于童话书、玩具、文字卡片、绘画、照片中的一种，包括可用照相机拍摄而获得图像的一切。

图3为本发明中，由特征点构成的图样和多媒体形成映射的过程示意图，由特征点所构成的图样A、B、C、D、E与多媒体1、2、3、4、5形成相应的映射关系。

用这种映射方法，由特征点构成的图样A、B、C、D、E分别映射符合对象物图像的固有特性的多媒体，从而构筑数据库。

图4为本发明中的多媒体输出方法的流程图，首先用照相机拍摄对象物(S100阶段)。

然后，从上述拍摄的对象物图像中提取由特征点构成的图样(S110阶段)。

其次，在由多个对象物的图像中提取的特征点(Feature point)所构成的图样与多媒体(Multimedia)分别形成映射的数据库中，找出与上述特征点图样提取单元所提取的图样相比特征点最接近的图样后，对其映射的多媒体进行输出(S120阶段)。

上述多媒体优选为音频或视频。

图5为本发明中的多媒体输出例的示意图，当对象物为童话书时，本发明之多媒体输出装置中的照相机拍摄童话书，并通过特征点图样提取单元提取由特征点构成的图样。

然后，当从数据库检索到与上述特征点图样提取单元所提取图样的特征点最接近的图样时，多媒体输出单元输出所检索的图样所映射的多媒体。

这时，如图5所示，对象物为童话书，优选输出印在童话书中的文章，即“世上最安静的是虫子吃抹有花生酱的面包的时候...”的语音。

图6a和6b为，本发明中的照相机所拍摄的对象物的状态示意图，本发明之多媒体输出装置及其方法中，首先用照相机拍摄对象物，并从对象物拍摄图像中提取特征点，然后在数据库中选择并输出一致的特征点最多的多媒体，因此可提高多媒体的输出速度。

即，用户将对象物放置在照相机的拍摄区域，多媒体立即被输出。

对象物图像中所提取的特征点，其数据量较小，而预先存储在数据库中的从多个对象物中所提取的特征点的数据量也小，可提高检索速度，从而可提高多媒体的输出速度。

另外，数据库中找出特征点最接近的多媒体进行输出，不需要那些复杂的比较和运算功能，因此可提高多媒体的输出速度。

因此，如图6a所示，即使对象物以不同方向放置在照相机100的拍摄区域(即，190和190a)，也可提取特征点，并立即输出多媒体。

另外，如图6b所示，即使在照相机100拍摄区域放置的对象物为折叠的纸币190b，也可提取特征点，并输出多媒体。

图7为本发明中的利用照相机的教育设备的结构示意图，其包括：具有规定的高度H的支撑架500；设置在上述支撑架500上，用于拍摄对象物的照相机100；接收上述照相机100所拍摄的对象物图像并输出多媒体的驱动部(未图示)。

如图7所示，优选为，还具备可放置上述照相机100拍摄用的对象物，并可固定上述支撑架500的支撑板300。

其中，上述驱动部优选内置于上述支撑板300或上述支撑架500内部。另外，上述支撑架500优选为机器人、木偶、恐龙、宇宙飞船、汽车等玩具形支撑架。

另外，上述照相机100优选设置在上述支撑架500的上部或内部。

例如，当上述支撑架500被做成机器人时，优选在机器人的头部设置照相机。

另外，图7中，放置在上述支撑板300上的对象物为书本191。

另外，上述多媒体优选为读书声、音乐声、动物的声音、效果音、多国语言学习用的音频及视频中的一种。

上述驱动部包括：对上述照相机所拍摄的对象物的图像信号进行处理的图像信号处理单元；在经过上述图像信号处理单元处理的图像信号中，提取由特征点所构成的图样的特征点图样提取单元；预先存储有由多个对象物的图像中提取的特征点所构成的图样和多媒体分别形成映射关系的数据库，以及上述多媒体的存储单元；从储存在上述存储单元的数据库中，检索与上述特征点图样提取单元所提取的图样相比，其特征点最接近的图样的数据库检索单元；输出上述数据库检索单元检索的图样所映射的多媒体的多媒体输出单元。

图8为本发明之利用照相机的教育设备中，输出语音状态时的示意图。在支撑板300上放置汽车600后，照相机100拍摄上述汽车600，扬声器151立即输出“汽车”的语音。

即，本发明之教育设备对对象物的识别速度很快，因此当使用教育设备的儿童在支撑板上防止对象物，多媒体输出单元可立即输出相应的多媒体。

因此，本发明给用户带来了好奇心和兴趣，可提高学习教育的效果。图9为本发明中的多媒体输出装置的另一实施例的示意图。本发明之另一实施例中的多媒体输出装置包括：用于拍摄对象物的照相机100；对上述照相机100所拍摄的对象物的图像信号进行处理的图像信号处理单元110；特征点图样提取单元120，从上述图像信号处理单元110所处理的图像信号中，提取由特征点构成的图样；存储单元140，对预先由多个对象物的图像中提取的特征点所构成的图样和多媒体分别映射的数据库，以及上述多媒体进行存储；数据库检索单元130，从储存在上述存储单元140的数据库中，检索与上述特征点图样提取单元120所提取的图样相比，其特征点最接近的图样；文字判读单元170，从上述图像信号处理单元110所处理的图像信号中判读文字并输出信号；语音转换单元180，接收上述文字判读单元170所输出的信号，并将该信号转换为语音并输出；多媒体输出单元150，对上述数据库检索单元130检索的图样所映射的多媒体以及来自上述语音转换单元180的语音进行输出。

上述多媒体输出装置的动作过程为，首先由上述照相机100拍摄对象物，并将上述照相机100拍摄的对象物图像信号经由图像信号处理单元110处理后，由上述文字判读单元170在上述图像信号处理单元110所处理的图像信号中，判读文字并输出信号。

然后，语音转换单元180接收来自上述文字判读单元170的信号，并将该信号转换成语音输出到上述多媒体输出单元150，上述多媒体输出单元150输出上述对象物上的文字的语音。

因此，本发明另一实施例中的多媒体输出装置与图1中的多媒体输出装置相比，进一步具备了文字判读单元170和语音转换单元180，通过判读对象物上的文字并输出语音，给用户提供了方便。

图10为本发明之另一多媒体输出方法的流程图，首先用照相机拍摄对象物(S210阶段)。

接着，从上述拍摄的对象物图像中判读文字(S220阶段)。

然后，将经过判读的上述文字转换为语音(S230阶段)，输出上述经过转换的语音(S240阶段)。

上述拍摄的对象物图像中判读文字的S220阶段和将上述判读的文字转换为语音的S230阶段优选包括在，图4之多媒体输出方法中的从拍摄对象物图像提取由特征点构成的图样的S110阶段中。

另外，上述输出经过转换的语音的S240阶段优选包含在，图4之多媒体输出方法中的输出多媒体的S120阶段中。

本说明书中，对具体实施例进行了详细说明，但本发明并不限定于此，本领域技术人员可在本发明的技术范围内，对本发明进行各种变形或修改。

Claims (16)

1、一种多媒体输出装置，包括：

用于拍摄对象物的照相机；

图像信号处理单元，对所述照相机所拍摄的对象物的图像信号进行处理；

特征点图样提取单元，从所述图像信号处理单元所处理的图像信号中，提取由特征点构成的图样；

存储单元，预先存储有由多个对象物图像中提取的特征点所构成的图样和多媒体分别形成映射关系的数据库，以及所述多媒体；

数据库检索单元，从储存在所述存储单元的数据库中，检索与所述特征点图样提取单元所提取图样的特征点最接近的图样；

多媒体输出单元，输出所述数据库检索单元所检索的图样所映射的多媒体。

2、如权利要求1所述多媒体输出装置，其特征在于，

还包括，在经过所述图像信号处理单元处理的图像信号中，判读文字并输出信号的文字判读单元；以及接收所述文字判读单元所输出的信号，并将该信号转换为语音并输出的语音转换单元，

其中，所述多媒体输出单元对来自所述语音转换单元的语音进行输出。

3、如权利要求1所述多媒体输出装置，其特征在于，所述多媒体输出单元为扬声器或显示器。

4、如权利要求1所述多媒体输出装置，其特征在于，所述对象物为童话书、玩具、文字卡片、绘画、照片中的一种。

5、一种多媒体输出方法，包括：

用照相机拍摄对象物的阶段；

从所述拍摄的对象物图像中，提取由特征点构成的图样的阶段；

在由多个对象物图像中提取的特征点所构成的图样与多媒体分别形成映射关系的数据库中，找出与上述特征点图样提取单元所提取的图样相比，特征点最接近的图样后，对其映射的多媒体进行输出的阶段。

6、如权利要求5所述多媒体输出方法，其特征在于，

所述从拍摄的对象物图像中提取由特征点构成的图样的阶段还包括，所述拍摄的对象物图像中判读文字，并将所述判读的文字转换为语音的阶段；

在预先由多个对象物图像中提取的特征点所构成的图样与多媒体分别形成映射关系的数据库中，找出与所述特征点图样提取单元所提取的图样相比，特征点最接近的图样后，对其映射的多媒体进行输出的阶段还包括，将所述经过转换的语音进行输出的阶段。

7、如权利要求5所述多媒体输出方法，其特征在于，所述拍摄的对象物图像为包含形象的图像，而所述特征点定义为，包含在所述图像中的形象的线和线、线和面、面和面相交的点。

8、如权利要求5所述多媒体输出方法，其特征在于，所述多媒体为音频或视频。

9、一种利用照相机的教育设备，包括：

具有规定高度H的支撑架；

设置在所述支撑架上并用于拍摄的照相机；

接收所述照相机所拍摄的图像并输出多媒体的驱动部。

10、如权利要求9所述利用照相机的教育设备，其特征在于，还包括：能够放置所述照相机所要拍摄的对象物，并能够固定所述支撑架的支撑板。

11、如权利要求9所述利用照相机的教育设备，其特征在于，所述驱动部包括：

图像信号处理单元，对所述照相机所拍摄的对象物图像信号进行处理；

特征点图样提取单元，在经过所述图像信号处理单元处理的图像信号中，提取由特征点所构成的图样；

存储单元，预先存储有由多个对象物的图像中提取的特征点所构成的图样和多媒体分别形成映射关系的数据库，以及所述多媒体；

数据库检索单元，从存储在所述存储单元的数据库中，检索与所述特征点图样提取单元所提取的图样相比，其特征点最接近的图样；

多媒体输出单元，输出所述数据库检索单元检索的图样所映射的多媒体。

12、如权利要求11所述利用照相机的教育设备，其特征在于，

所述驱动部还包括：从所述图像信号处理单元所处理的图像信号中判读文字并输出信号的文字判读单元；接收所述文字判读单元所输出的信号，将该信号转换为语音并输出的语音转换单元，

所述多媒体输出单元将来自所述语音转换单元的语音进行输出。

13、如权利要求10所述利用照相机的教育设备，其特征在于，所述驱动部内置于所述支撑板或所述支撑架内部。

14、如权利要求10所述利用照相机的教育设备，其特征在于，所述支撑架为玩具形支撑架。

15、如权利要求9所述利用照相机的教育设备，其特征在于，所述照相机设置在所述支撑架上部或内部。

16、如权利要求9所述利用照相机的教育设备，其特征在于，所述多媒体为读书声、音乐声、动物的声音、效果音、多国语言学习用的音频及视频中的一种。

Images