CN105590486A - 一种基于机器视觉的座台式点读机及相关系统装置与方法 - Google Patents

Abstract

一种基于机器视觉的座台式点读机，包括座台式支架、数字视频采集单元、光学图像识别单元、点读位置视觉检测单元、点读控制视觉检测单元、数字语音单元及处理器，所述点读机通过所述采集单元生成与当前读物相关的光学图像，并从光学图像中寻找或识别出相关的文字或图像信息，然后将相关的语音进行输出，从而实现基于机器视觉的点读机功能。一种与手机配合使用并实现所述基于机器视觉的点读机功能的点读机支架系统装置，包括底座、固定支架及反射镜，所述固定支架包括手机支架及反射镜支架，可以将所述反射镜固定于所述手机后方。一种于所述基于机器视觉的座台式点读机上实现增强现实游戏功能的方法。

Description

一种基于机器视觉的座台式点读机及相关系统装置与方法

技术领域

本发明涉及一种点读机，特别是一种基于机器视觉的座台式点读机、相关系统装置及游戏方法。

背景技术

目前数码电子产品越来越多地进入了学童及幼儿教育领域，主流的产品包括电子学习玩具、电子发声字典、早教机、学习机、点读机及点读笔等，这些产品实质上是一种对学习有辅助作用的电子教育器材。

为令学童及幼儿对学习产生兴趣，并能有效开拓其读、写、听的能力，这种辅助电子教育器材的其中一个功能重点是互动学习功能，要产生互动功能，必须有方便的输入装置。早期的产品大多采用键盘式输入(例如电子字典)，但键盘输入有时并不方便，于是后来便有了基于电磁感应的电子点读机产品问世，实现了点哪里读哪里的形象化点读操作功能。

但这种点读操作的前提是必须事先将有关课本读物数字化，并且在使用时要将点读课本放置在点读机的指定位置上，然后再输入所述点读课本的编码信息及页码信息，这样点读机才能和课本同步，并进行正确的点读操作。如果课本没有被数字化，或课本放置的位置不准确，或使用时没有输入课本的相关信息，都会导致点读机无法工作。

为了解决上述问题，市面上又出现了一种基于二维浅码识别的点读笔产品。这种产品无需对课本定位，也无需输入页码信息，基本上可以实现点哪里读哪里的人性化操作。但这个产品需要事先将课本读物数字化，并且还要将二维浅码(或称二维隐码)事先印刷在课本的文字和图案之中才能使用，亦即是说目前一般的课本及读物都不能在这个系统上使用，必须另行购买一套专用的印有二维浅码的课本读物才行，这就大大限制了产品的普及化应用。

发明内容

本发明所要解决的技术问题在于，针对市场上现有产品的技术不足，提供一种不依赖传统键盘输入、电磁感应输入及二维隐码输入的，基于机器视觉的座台式点读机及相关系统装置与方法。

为了解决上述技术问题，本发明实施例提供一种基于机器视觉的座台式点读机，包括座台支架、数字视频采集单元、光学图像识别单元、点读位置视觉检测单元、点读控制视觉检测单元、数字语音单元及处理器，所述点读机通过所述采集单元获取当前书本读物的光学图像，并从所述光学图像中识别出已知的文字或图像信息，然后输出相关的语音信息，从而实现基于机器视觉识别的点读机功能。

其中，所述数字视频采集单元包括面向桌面书本读物的第一数字摄像头，所述摄像头设置于所述支架之上，令摄像头与桌面之间形成一个点读操作空间，并于所述空间内实现对用户水平移动手势的视觉检测。

其中，所述光学图像识别单元包括光学字符识别单元、文字段落起始位置识别单元、文字段落结束位置识别单元，可辨识包含在所述光学图像中的文字及段落信息；及

所述点读控制视觉检测单元包括水平移动手势视觉检测单元，并且所述视觉检测单元包括字/词阅读手势识别单元、单段阅读手势识别单元、多段阅读手势识别单元、整页阅读手势识别单元、停止阅读手势识别单元、原音阅读手势识别单元、译音阅读手势识别单元中的一个或多个组合。

其中，还包括面向用户的显示屏，所述显示屏可显示来自所述第一摄像头的实时视频信息，或显示与所述读物相关的虚拟或增强的文字、图像或视频信息。

其中，还包括第二数字摄像头、垂直移动手势视觉检测单元及虚拟按键识别单元，所述点读机通过所述第一摄像头检测用户手指于虚拟键盘上的水平位置信息，并通过所述第二摄像头检测用户手指于所述虚拟键盘上的垂直点击状态，从而实现虚拟按键信息输入功能。

其中，还包括点读笔、笔尖按键、信号发射单元及信号接收单元，当所述点读笔笔尖按键被触发时，可通过所述信号发射单元向所述点读机发送状态触发信号，所述点读机可通过所述信号接收单元接收所述触发信号，并将接收到所述触发信号时所述点读笔笔尖的位置作为点读位置，从而实现所述点读位置视觉检测功能。

其中，所述数字视频采集单元、光学图像识别单元、点读位置视觉检测单元、点读控制视觉检测单元、数字语音单元、水平移动手势视觉检测单元、处理器及显示屏均设置于智能手机或平板电脑之内，为所述智能手机或平板电脑通过软硬件结合方式构成的特定功能模块或组件。

其中，所述座台式支架包括各种动植物、宠物及人形造型设计，具有传统儿童玩具的外观结构。

其中，还包括电子点读文件存储单元及电子文件比较单元，可将所述第一摄像头获取的当前读物的文字图像信息，与预先存放在电子点读文件存储单元中现有的电子点读文件中的文字图像信息相比较，如果两者相关，则将所述现有的电子点读文件中的发音文件、图像文件、音乐文件、视频文件及互动位置信息文件作为当前点读操作的依据；或

所述点读机还包括互联网接入装置，可从互联网中搜寻、使用或下载现有的与所述第一摄像头获取的当前读物的文字图像信息相关的电子点读文件，并将所述电子点读文件中的发音文件、图像文件、音乐文件、视频文件及互动位置信息文件作为当前点读操作的依据。

本发明实施例还提供一种与手机(包括智能手机及平板电脑)配合使用并实现所述基于机器视觉的点读机功能的点读机支架系统装置，包括底座、固定支架及反射镜，所述固定支架包括手机支架及反射镜支架，可以将所述反射镜固定于所述手机的后方。

其中，所述手机显示屏与桌面呈90°～150°夹角，所述反射镜与桌面呈45°～90°夹角，由此令所述手机的摄像头通过所述反射镜聚焦于桌面的书本读物之上。

其中，所述手机支架包括活动支架，可令所述手机左右移动，从而令所述手机的摄像头与所述书本读物位置对齐；或

所述系统装置包括多组反射镜，并且所述摄像头通过所述多组反射镜聚焦于所述书本读物之上。

其中，所述反射镜为可扩展手机摄像头视角范围的凸面镜。

本发明实施例还提供一种于所述基于机器视觉的座台式点读机上实现增强现实游戏功能的方法，包括以下步骤：

将包含有游戏角色图案的卡片或模型置于点读操作空间之内；

在显示屏中显示所述卡片或模型的实时静态影像；

对所述卡片或模型中的角色进行视觉识别，生成与之相关的虚拟角色动态影像，并将所述动态影像取代所述静态影像于所述显示屏中显示或播放；

将手放进所述点读操作空间之内；

捕捉所述手于所述点读操作空间内之实时手部动态影像；

将所述手部动态影像中除手之外的背景影像过滤掉，或根据所述手部动态影像生成位置相关的虚拟手部动态影像；

将所述手部动态影像与所述虚拟角色动态影像相叠加，并将叠加后的动态影像于所述显示屏中显示或播放；

根据所述叠加后的动态影像中所述手与所述角色之间的位置及时间关系，令所述角色影像跟随所述手部影像实施影像互动。

本发明具有的有益效果在于它提供了提供一种不依赖传统键盘输入、电磁感应输入及二维隐码输入的，基于机器视觉的座台式点读机装置、点读机支架系统及实现增强现实游戏的方法，其为学童和幼儿教育提供一个全新及简易、有益的选择及操作体验。

附图说明

图1是本发明实施例基于机器视觉的座台式点读机的外观结构侧面示意图；

图2是本发明实施例基于机器视觉的座台式点读机的外观结构正面示意图；

图3是本发明实施例基于机器视觉的座台式点读机的功能结构方框图；

图4是本发明实施例基于机器视觉的座台式点读机的又一功能结构方框图；

图5是本发明实施例基于机器视觉的座台式点读机的又一功能结构方框图；

图6是本发明实施例基于机器视觉的座台式点读机的又一功能结构方框图；

图7是本发明实施例基于机器视觉的座台式点读机的增强现实游戏画面的示意图；

图8是本发明实施例基于机器视觉的座台式点读机的增强现实游戏功能结构方框图；

图9是本发明实施例于所述基于机器视觉的座台式点读机上实现增强现实游戏功能的方法流程图；

图10是本发明实施例基于机器视觉的座台式点读机的一个儿童玩具外观设计示意图(正视图)；

图11是本发明实施例与手机配合使用，实现所述基于机器视觉的点读机功能的点读机支架系统装置结构示意图(侧视图)；

图12是本发明实施例与手机配合使用，实现所述基于机器视觉的点读机功能的点读机支架系统装置又一结构示意图(侧视图)；

图13是本发明实施例与手机配合使用，实现所述基于机器视觉的点读机功能的点读机支架系统装置又一结构示意图(侧视图)；

图14是本发明实施例与手机配合使用，实现所述基于机器视觉的点读机功能的点读机支架系统装置又一结构示意图(正视图)

具体实施方式

下面结合附图对本发明作进一步的描述。请参照图1所示，这是本发明实施例基于机器视觉的座台式点读机装置的外观结构侧面示意图。图中10为所述的点读机，11为点读机的座台式支架，12为固定在支架上的数码摄像头(或称为数字摄像头)，13为照明装置，可为摄像头12提供补充光源。图中14为显示面板，可显示从摄像头12获取的书本、课本、教材、图片等读物16的图像信息。读物16可放置在桌面或文稿台15之上，用户可用点读笔(或手指)17在读物16上进行点读操作。所述摄像头12之下及书本读物16之上的空间19在本发明实施例中被称为点读操作空间。

图中的摄像头12呈垂直朝向，面向桌面或文稿台15并聚焦于读物16之上，因此可称为面向读物(或桌面、文稿台)的第一摄像头。在图1中还包括USB接口(或互联网接口)18，令本发明实施例的点读机可与电脑(或互联网)进行连接并进行数据访问。在实际应用中，也可无需文稿台15而直接将书本读物16置于桌面之上，使用者可以直接在桌面上实施所述的点读操作。

下面请再参照图2所示，这是本发明实施例基于机器视觉的座台式点读机的外观结构正面示意图。图中14为显示面板，20为显示面板上的显示屏(例如LCD、OLED等)，21、23为操作控制按键，22为麦克风，25既可以是前述的课本读物16，亦可以是卡片、实物或实物模型等物体，其中包括于卡片上印刷有键盘图案的“虚拟键盘”，下面将以所述虚拟键盘为例进行说明。图中正对着虚拟键盘25的有另一个摄像头24，这个摄像头呈水平朝向并面对使用者，因此被称为面向用户的第二(数字)摄像头，可监测用户在点读操作空间19内发生的垂直移动手势操作，包括在所述虚拟键盘上进行的点击按键的操作。结合所述第一摄像头的水平移动手势视觉检测及第二摄像头的垂直移动手势视觉检测，所述点读机可通过机器视觉方式实现对虚拟键盘按键操作的识别，从而实现虚拟键盘的按键信息输入。

在显示面板14下面则还包括有文稿台15及双声道扬声器26。支架11的主要意义在于固定所述的摄像头，并在摄像头12与桌面/文稿台15之间形成一个适合用户于桌面上操作的点读操作空间19，令所述读物16可以放置在点读操作空间内，并且用户的手指或点读笔17可以伸入到所述的空间内实施所述的点读操作。

下面请再参照图3所示，这是本发明实施例基于机器视觉的座台式点读机装置的功能结构方框图。图中包括书本/读物16，以及在所述读物上进行点读操作的手指或点读笔17。所述16、17的静态及动态图像信息为数字视频采集单元12(即第一摄数字像头)所采集及输入。与数字视频采集单元12相连的有处理器30(包括中央处理器CPU、微处理器MCU、图像处理器GPU、数字处理器DSP等)，所述处理器可对来自12的数字视频信息作进一步处理，并实施对所述视频采集单元的控制。与处理器30相连(物理上或逻辑关系上)的还包括有光学图像识别单元32、点读位置视觉检测单元33、点读控制视觉检测单元35及数字语音单元36。其中光学图像识别单元32主要是针对数字视频采集单元12获取的书本读物16的静态图像信息进行处理分析，并从中识别出包含在所述读物中的已知的文字、符号、图像、图案或编码信息；而点读位置视觉检测单元33及点读控制视觉检测单元35则主要针对数字视频采集单元12获取的手指或点读笔的动态图像信息进行处理分析，分辨出手指/点读笔的位置、指向及移动信息，其中包括水平及垂直的移动手势信息，然后从中分辨/识别出点读位置信息及点读控制信息，从而实施相关的点读操作或控制。具体会在下述图4中作进一步的描述。

下面请再参照图4所示，这是本发明实施例基于机器视觉的座台式点读机的又一功能结构方框图。图中包括光学图像识别单元32，在32中进一步包括文字段落起始位置识别单元42、文字段落结束位置识别单元46及光学字符识别单元(OCR)48，其中42、46根据常规的文字段落分段方式(例如段落开头位置缩入若干字符、段落结束位置包括若干空格等)对获取的读物光学图像进行分析，找出每一文字段落的开始及结束位置信息，然后采用光学字符识别单元(OCR)48对所述段落(被称为阅读区域)的文字进行识别，从而将图像形式的光学字符还原为文本形式的文字信息，然后将所述文字信息通过数字语音单元36(或称为电子语音合成单元、语音引擎等)转化为模拟形式的语音信号，最后通过扬声器26进行语音输出，从而实现了对读物16的点读操作功能。

至于点读位置视觉检测单元33则可根据用户的手指或所握持的点读笔17的移动信息及位置信息而实现视觉检测。当手指/点读笔尚未放入到点读操作空间之内时，第一数字摄像头12获取的是读物16的静态图像信息；而当所述手指/点读笔17伸入到所述点读操作空间之内时，所述摄像头12便可检测到所述手指/点读笔的动态图像信息，并根据所述动态图像信息识别出所述手指/点读笔的指尖/笔尖位置信息，并把所述指尖/笔尖位置信息作为当前的点读位置信息。

进一步地，本发明实施例的点读控制视觉检测单元35还包括有一个水平移动手势视觉检测单元50，所述移动手势视觉检测单元可追踪识别用户的手部(包括所握持的点读笔)姿势及动作(手势)，并根据所述手势发出相关的操作指令去控制所述点读机的操作。例如可定义如下的水平移动手势：

将手或点读笔指向读物中的特定字/词停留超过1秒确认为字/词阅读手势，并发出字/词阅读操作指令，这个功能可由包含在50内的字/词阅读手势识别单元51来实现；

将手指或点读笔从读物某一段落最左边位置划向最右边位置确认为单段阅读手势，并发出单段阅读操作指令，这个功能可由包含在50内的单段阅读手势识别单元52来实现；

将手指或点读笔从读物某一段落中间位置划向另一段落中间位置确认为多段阅读手势，并发出多段阅读操作指令，这个功能可由包含在50内的多段阅读手势识别单元53来实现；

将手指或点读笔从读物页面顶部位置划向底部位置确认为整页阅读手势，并发出整页阅读操作指令，这个功能可由包含在50内的整页阅读手势识别单元55来实现；

将伸开手掌盖在读物上超过1秒确认为停止阅读手势，并发出停止阅读操作指令，这个功能可由包含在50内的停止阅读手势识别单元56来实现；

将伸开手掌从左到右划过读物确认为原音阅读手势，并发出原音阅读操作指令，这个功能可由包含在50内的原音阅读手势识别单元57来实现；

将伸开手掌从右到左划过读物确认为译音阅读手势，并发出译音阅读操作指令，这个功能可由包含在50内的译音阅读手势识别单元58来实现。

至于图中的控制按键21，亦可用来操作或控制所述的点读机，例如开关电源、选择工作模式、调节音量大小、开始/停止阅读操作等。

下面请再参照图5所示，这是本发明实施例基于机器视觉的座台式点读机装置的又一功能结构方框图。图中包括有处理器30、显示屏20，以及面向书本读物16呈垂直朝向的第一摄像头12，面向用户28及虚拟键盘25的呈水平朝向的第二摄像头24。由于第一摄像头呈垂直朝向，令其特别适合作水平方向的移动手势检测，从这个角度上来说，可以说本发明实施例包括有水平移动手势视觉检测单元50，可检测前述的各种水平移动的控制手势。同时由于第二摄像头呈水平朝向，令其特别适合作垂直方向的移动手势监测，例如检测用户手指点击虚拟键盘的情况，从而可以实现虚拟键盘的按键输入功能，从这个角度上来说，可以说本发明实施例包括有垂直移动手势视觉检测单元67，可检测各种垂直移动的控制手势。结合水平移动手势视觉检测单元50及垂直移动手势视觉检测单元67，令本发明实施例的点读机可对点读操作空间区域进行立体的视觉检测，可有效识别虚拟键盘的按键输入，从这个角度上来说，可以说本发明实施例包括有虚拟按键识别单元66。

与图4相比，图5中还包括有一个电子点读文件存储单元60，可存放类似传统点读机的电子点读文件(例如与课本相关的电子文档)，在这些点读文件中，通常包括有文字及图像文件(课本内容)，发音文件(为所述文字的标准发音或外文译音)、音乐文件(与课本内容相关的音乐、歌曲等)、视频文件(与课本内容相关的电影、视频等)，以及有关这些文字、图像、音乐、视频在课本中所对应的经纬位置信息，这个经纬位置信息又称为互动位置信息文件，当用户指向所述的经纬位置时，点读机发出与所述位置内容相对应的声音、图像、音乐或视频信息，从而实现所述的点读功能。

在传统点读机中，点读笔笔尖位置是通过电磁感应来识别的，点读笔中包含有电磁线圈，其可发射特定频率的电磁信号，点读机内的线路板通过对所述点读笔信号的接收而得到笔尖的位置信息，从而令点读机可以在特定点读位置上通过声频及视频与使用者互动，从而实现“点哪里，读哪里”的操作功能。这种通过电磁方式获取点读位置的技术，其主要不足在于所述线路板感应到的点读笔位置与课本上的实际位置通常有一定差异，这个差异与课本的摆放位置、课本的厚度，以及使用者握笔姿势等都有关系，稍为不注意，就容易产生读音错误。另外这种点读机会发射电磁信号，具有一定的电磁辐射并较易受外界的电磁干扰。

本发明实施例采用了与传统点读机完全不同的基于机器视觉识别的点读位置检测，这种检测方式的主要优点是它不但可用点读笔进行操作，还可以用手指进行操作，在使用上无疑更为方便；另外它是完全基于点读笔/手指在读物中的实际位置来判别点读内容的，对课本的摆放、书本的厚度及拿笔的姿势无关，具有较大的容错能力；再者它不需要发射电磁信号，降低了电磁辐射并具有更高的抗电磁干扰能力；最后它还具有独特的手势操作及控制功能，可为用户提供一个全新及有益的操作体验。

与传统点读机相比，本发明实施例还可提供一个方便用户使用的新功能，就是可以自动检测及判别当前点读操作的课本读物的内容，而自动令预先存放在60内的电子点读文件与其同步，而无需像传统点读机那样需要人手输入当前正在使用的书本读物的信息及当前点读的页码信息，这将大大增加使用上的方便性。在本实施例中，上述自动同步功能是通过图中的图像处理单元61、图像比较单元62，以及光学字符识别单元48、文字比较单元63来实现的，即点读机自动将从摄像头12获取的当前书本读物的图像及文字信息与存储在60中的现有的电子点读文件相比较，如果两者相同或相关，就将现有的电子点读文件中的发音文件、音乐文件、视频文件及互动位置信息文件作为当前点读操作的依据。

在图5中还包括有专用点读笔17，所述专用点读笔包含有笔身按键171、笔尖按键172及信号发射单元173，当点读笔的笔尖在读物16上点击时，其笔尖按键172便会被触发，这个笔尖按键的状态触发信号可通过信号发射单元173发射出去，并被点读机中的信号接收单元65所接收。点读机将接收到状态触发信号时所述点读笔的笔尖位置作为点读位置，这可以加快点读操作的反应速度。在前述的手势式点读操作中，手势识别可能需要等待一定时间(例如1秒)，而专用点读笔的使用省掉了这个等待时间，这对用户来说是一个非常有益的选择及操作体验。

为了降低信号发射造成电磁辐射，本发明实施例可采用无电磁辐射的红外线调制信号(或超声波信号)来实现状态触发信号的传输。由于点读笔上的信号发射单元与点读机上的无线接收单元之间没有物体阻隔，这令所述红外线或超声波信号传输可有效实现。

使用专用点读笔的另一个好处是令虚拟键盘25的使用更为方便，用户只要将点读笔在虚拟键盘相应按键位置上点一下便可实现按键输入，在这种情况下还可以省掉第二摄像头24的使用，因为无需检测用户手指点击虚拟键盘的垂直手势了。在这种情况下，点读笔17的笔尖按键触发可视为手指点击输入，而笔身按键则可以用于取消输入(例如删除一个字符)，这为使用带来方便。

下面请再参照图6所示，这是本发明实施例基于机器视觉的座台式点读机的又一功能结构方框图。图中除了包括图像处理单元61、图像比较单元62、光学字符识别单元48、文字比较单元63及电子点读文件存储单元60之外，还包括有互联网接入单元68(例如用Wi-Fi接入)，令点读机可接入到互联网69之中，可以在互联网中搜寻与下载与当前的课本读物16相关的现有的电子点读文件。在用户实际点读操作过程中，点读机会首先在所述的电子点读文件存储单元60中寻找与当前课本读物相关的点读文件，如果找不到，便通过互联网寻找可能存在的(或预先存放在云端的)现有的电子点读文件，然后将有关文件(包括发音文件、音乐文件、视频文件及互动位置信息文件)下载及存放在所述存储单元60之内，并作为当前点读机点读操作的依据，即是说本发明实施例的点读机具有电子点读文件自动同步功能。

在图6中，还包括面向读物的第一摄像头12，面向用户的第二摄影头24，以及麦克风22，扬声器26等装置，这些装置可通过电话拨号单元64或互联网69连接到远方的另一台点读机，这样在两台点读机之间便可建立起一个声/视频通信系统，即可实现视像会议功能。由于有两个摄像头存在，因此本点读机可实现双通道视像会议，其中一个通道用来传送课本读物视像，另一个通道用来传送用户的人像，这种电话会议方式更有利于两个用户之间进行学习交流。另外所述点读机还可通过电话拨号单元64直接连向远方的电话或手机，这样本发明实施例的点读机便可作为一台免提电话来使用。当然将所述点读机亦可作为传真机使用，在这种情况下第一摄像头可用于拍摄传真稿件，然后通过电话拨号单元64将传真发送出去。

至于显示屏20既可显示从摄像头12获取的书本读物视像信息，亦可以用来播放与读物16相关的视频。除此之外，本实施例还包括有一个阅读位置追踪放大单元59，令本发明实施例的点读机可以作为一个智能化电子放大镜来使用，其可在显示屏20上局部放大显示用户手指指尖位置所对应的读物图像，当指尖的位置发生移动时，其所显示的图像亦会跟着移动，从而实现所述的追踪放大阅读功能，这个功能对于视力不佳的人士(例如老年人)有来说犹有价值。至于照明单元13可为所述读物提供照明之用，令其具有更佳显示效果。

从前述的分析中可知道本发明实施例的点读机功能主要基于机器视觉(包括光学图像识别、光学字符识别、移动手势识别等)而实现的。由于现实世界中很多不同的书本读物，并且在某些读物之间还可能存在着相似性，这便有可能导致辨识错误的情况出现。为了解决这个问题，本发明实施例还可在其使用的卡片、课本、书本等读物上预先印刷上可识别及具唯一性的数字编码信息，例如条纹码、二维码等标识，这可大大提高读物的可辨识性，有效防止辨识错误情况的发生。

本发明实施例的点读机除了可以对卡片、课本、书本等读物进行电子化阅读及多媒体互动之外，还可以用于增强现实(AugmentedReality，简称AR)电子游戏的用途。图7是本发明实施例基于机器视觉的座台式点读机的增强现实游戏画面的示意图。图中70为于显示屏20上显示的一个游戏视频画面，72为游戏视频画面的背景(图中为花草、大自然)，74为一个虚拟游戏的角色(图中为蝴蝶)，而76则为使用者的手通过摄像头12生成的一个视频画面。在这个游戏中，所述画面实际上是动态的，作为游戏角色的蝴蝶在大自然中飞舞，所述背景中的大自然景色也会随着蝴蝶的飞舞而变化。

图中手76可以是使用者手部的真实影像，也可以是根据所述影像进行美化后的虚拟手形，但这个虚拟手形必须与使用者的真实手形具有位置及动作上的对应关系，能真实反映其手部在所述摄像头之下的位置、角度及变化。

在玩这个游戏时，使用者可先拿一张包含有游戏角色图案的卡片(例如印有图7所示的游戏主画面图案)或游戏角色模型放置在摄像头12下的点读操作空间之内，这样摄像头12便可获取所述游戏的静态画面(影像)并在显示屏20上显示或播放出来。以此同时，所述装置还可通过所述卡片的角色图案(或模型)识别出所对应的游戏，并进入相应的游戏程序之中，从而可生成虚拟及动态的游戏画面(虚拟角色动态影像)，然后取代所述从摄像头摄取的静态影像进行显示或播放，令所述游戏的画面动起来。

这个时候使用者可以将手伸入摄像头的摄像区间(点读操作空间)内，通过摄像头生成所述的真实或虚拟的手形(手部动态影像)并叠加在所述游戏画面上，并与游戏中的虚拟角色(蝴蝶)进行互动，例如将手慢慢靠近蝴蝶，然后蝴蝶飞过来停靠在手上，形成了图7所示的画面。为了在游戏画面中叠加手形而不影响到游戏中的动态虚拟背景，在系统装置中还包括有一个实体背景屏蔽单元来过滤掉除手形之外的其它视频信号(背景影像)，以免对游戏画面造成干扰。

图8是本发明实施例基于机器视觉的座台式点读机的增强现实游戏功能结构方框图。图中16是所述印有所述游戏主画面图案的游戏卡片/游戏角色模型，12为面向所述游戏卡片或模型的第一摄像头，而使用者的手17处于游戏卡片/模型16与摄像头12之间的点读操作空间内。

图中处理器30控制着整个点读机的运作，与其相连的首先有游戏角色识别单元32，其与前述的光学图像识别单元32在功能结构上是一样的，只是在本实施例中其主要起到游戏角色的识别作用。当识别出所述的游戏角色之后，便可从游戏程序存储单元80中调出相应的游戏程序并加以运行。图中进一步包括有虚拟影像生成单元81，可根据游戏程序生成相关的虚拟游戏画面(虚拟角色动态影像)，包括前述动态的虚拟背景72及虚拟游戏角色74。为了不让实体背景影响到所述虚拟动态背景画面，图中还包括有一个实体背景屏蔽单元82，可以将所述实体背景影像屏蔽掉(即将摄像头12的视频中除用户手部之外的静态背景影像过滤掉)。图中的实体手形捕捉单元83可实时捕捉摄像头12下面的手形影像，并将这个已滤去静态背景信号的手形76通过虚拟/实体叠加单元84与前述的动态虚拟游戏背景72相叠加，实现虚拟与现实的相结合。另外还可以根据实体手型的位置及大小生成相关的虚拟手部动态影像与所述动态虚拟游戏背景72相叠加，这样同样可以实现实体手17与虚拟画面70之间的互动关系。

图中还有一个虚拟/实体互动控制单元85，用于实现所述虚拟游戏角色(例如蝴蝶)与人手的互动。例如将人手慢慢靠近蝴蝶，蝴蝶会飞过来停靠在手上；如果轻轻甩手，蝴蝶便会飞起来离开人手。通过不同的游戏画面、游戏角色及互动控制(涉及预先编制的不同的游戏程序)，可以实现各种不同的增强现实游戏功能。

进一步地，为了更好地让手指和画面产生互动，在图中还包括虚拟按键图案生成单元86，当所述实体手形与所述虚拟按键图案于屏幕上交集并停留超过一定时间后(即满足一定的位置及时间关系)，所述虚拟/实体互动控制单元85被激活，即是说可以用点读操作空间内的手指去“点击”显示屏中的虚拟图案，并激发点读机实施与所述按键图案相关的互动功能。

下面请再参照图9所示，这是本发明实施例于前述基于机器视觉的座台式点读机上实现增强现实游戏功能的方法流程图，是对图7-8所述装置在功能上的一个概括性总结，其主要包括以下步骤：

步骤S901为将包含有游戏角色图案的卡片或模型置于点读操作空间之内；

步骤S902为在显示屏中显示所述卡片或模型的实时静态影像；

步骤S903为对所述卡片或模型中的角色进行视觉识别，生成与之相关的虚拟角色动态影像，并将所述动态影像取代所述静态影像于所述显示屏中显示或播放；

步骤S904为将手放进所述点读操作空间之内；

步骤S905为捕捉所述手于所述点读操作空间内的实时手部动态影像；

步骤S906为将所述手部动态影像中除手之外的背景影像过滤掉，或根据所述手部动态影像生成位置相关的虚拟手部动态影像；

步骤S907为将所述手部动态影像与所述虚拟角色动态影像相叠加，并将叠加后的动态影像于所述显示屏中显示或播放。

步骤S908为根据所述叠加后的动态影像中所述手与所述角色之间的位置及时间关系，令所述角色影像跟随所述手部影像实施影像互动。

前述图1-8描述了本发明实施例的基本构成及功能方框图。在实际应用中可以有各种不同的外观设计。图10是本发明实施例基于机器视觉的座台式点读机的一个儿童玩具外观设计示意图(正视图)。图中本发明实施例的点读机10具有传统麦迪熊玩具的外观设计，这个麦迪熊主要担当着支架11的角色，本发明实施例的其它基本组成部分都可以安装配置在这个麦迪熊玩具10身体上的不同部位之中，例如第一摄像头12安装在麦迪熊下巴的位置，面向麦迪熊脚下前方位置，这个位置可放置所述书本读物。显示屏20配置于麦迪熊的腹部位置，控制按键21则分布于显示屏20的四周。至于麦迪熊脖子中央位置可安装麦克风22，并可在麦迪熊脚部中间位置安装第二摄像头24。上述的这些结构和前述图1及图2所述的基本结构在原理上是一样的，只是其外观设计与传统儿童玩具更为相似。除此之外，其它各种动植物、宠物及人形造型设计都可以用于本发明实施例的外观设计上，令其起到座台式支架的支撑作用之外，还可产生艺术美感，令使用者更易接受及喜爱。

前述图1-10描述了本发明实施例基于机器视觉的点读机的基本外观、结构、功能及方法流程。在实际应用中，还可以采用一些较为现成的部件来构成所述的系统装置，例如采用智能手机或平板电脑(为了方便描述，以下将智能手机/平板电脑简称为手机，即是说在本实施例说到手机时，可理解为智能手机或平板电脑，因为就本实施例来说两者并无区别)来实现前述的数字视频采集单元、光学图像识别单元、点读位置视觉检测单元、点读控制视觉检测单元、数字语音单元、水平移动手势视觉检测单元、处理器及显示屏等相关功能，即可以说前述这些单元部件均可置于所述手机之内，或者可以说这些单元部件均可通过所述手机的软硬件结合方式来实现。

例如可以用一个特别的支架系统来支撑所述的手机令其实现所述基于机器视觉的点读机功能，只要这个支架适合固定所述的手机，并通过一些特定的光学系统装置(例如反射镜、透镜等)来改变手机摄像头的光路，令其摄像头聚焦于书本读物之上便可。

下面请再参照图11所示，这是本发明实施例与手机配合使用，实现所述基于机器视觉的点读机功能的点读机支架系统装置结构示意图(侧视图)。图中15为底座，11为固定支架，所述固定支架包括手机支架93及反射镜支架95，可分别固定手机90及反射镜92，所述反射镜位于所述手机后方，与手机摄像头(后摄像头)12相对应，所述反射镜可改变手机摄像头的光路，令手机摄像头可聚焦于摆放在桌面或底座15上的书本读物16。

图11中的A、B标示了摄像头12的视角范围，在读物16上的范围则为A’、B’。用户的视线来自画面右方，可同时观察手机显示屏20及书本读物16。手机显示屏20与桌面的夹角为a，反射镜92与桌面的夹角为b，图11中的a为90°角，b为45°角。

下面请再参照图12所示，这是本发明实施例与手机配合使用，实现所述基于机器视觉的点读机功能的点读机支架系统装置又一结构示意图(侧视图)。与前述图11最大不同之处在于手机90、反射镜92的摆放位置不同。图中手机90的显示屏20向上倾斜，其与桌面的夹角a大于90°(90°＜a＜＝150°)，令用户可以有更佳的视觉选择。为了配合显示屏向上倾斜的结构，与之配套的反射镜92需要将夹角b同步加大(图中为90°)，其范围可在45°～90°之间选择，其目的是要将手机摄像头的光路集中于(聚焦于)读物16之上。

下面请再参照图13所示，这是本发明实施例与手机配合使用，实现所述基于机器视觉的点读机功能的点读机支架系统装置又一结构示意图(侧视图)。与前述图11、12的不同之处在于图13中的反射镜92采用了凸面镜(球面镜中的一种)来取代之前的平面镜，由于凸面镜具有光线发散作用，可扩大手机摄像头的视角范围，令手机摄像头具有更宽的视野。从图13中可见其视野范围(A’-B’)明显比图11、12的要大一些。

下面请再参照图14所示，这是本发明实施例与手机配合使用，实现所述基于机器视觉的点读机功能的点读机支架系统装置又一结构示意图(正视图)。在本发明实施例的支架系统装置中，主支架11、底座15、反射镜92及反射镜支架95的位置都是相对固定的，由于不同的手机其摄像头12的位置可能有所不同，为了令手机摄像头12能够对准反射镜92及底座15上的书本读物16，便需要一个可以左右移动的活动手机支架93，令手机可以进行左右位置上的移动及调整，以便将内置摄像镜头12与所述反射镜92及书本读物16对齐。

除了采用活动手机支架令手机摄像头聚焦于书本读物之外，在实际应用中还可以采用多组反射镜的多次反射方式来改变镜头光路及实现对不同位置的书本读物的摄像范围覆盖。图11至14所述的支架系统在配上相应的手机之后，便可组成一台完整的基于机器视觉的点读机装置并实现图1至10所示的点读功能。

以上本文所述的装置仅是本发明的部分优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种基于机器视觉的座台式点读机，包括座台式支架，其特征在于，包括数字视频采集单元、光学图像识别单元、点读位置视觉检测单元、点读控制视觉检测单元、数字语音单元及处理器，所述点读机通过所述采集单元获取当前书本读物的光学图像，并从所述光学图像中识别出已知的文字或图像信息，然后输出相关的语音信息，从而实现基于机器视觉识别的点读机功能。

2.如权利要求1所述的点读机，其特征在于，所述数字视频采集单元包括面向桌面书本读物的第一数字摄像头，所述摄像头设置于所述支架之上，令摄像头与桌面之间形成一个点读操作空间，并于所述空间内实现对用户水平移动手势的视觉检测。

3.如权利要求2所述的点读机，其特征在于，所述光学图像识别单元包括光学字符识别单元、文字段落起始位置识别单元、文字段落结束位置识别单元，可辨识包含在所述光学图像中的文字及段落信息；及

所述点读控制视觉检测单元包括水平移动手势视觉检测单元，并且所述视觉检测单元包括字/词阅读手势识别单元、单段阅读手势识别单元、多段阅读手势识别单元、整页阅读手势识别单元、停止阅读手势识别单元、原音阅读手势识别单元、译音阅读手势识别单元中的一个或多个组合。

4.如权利要求2所述的点读机，其特征在于，还包括面向用户的显示屏，所述显示屏可显示来自所述第一摄像头的实时视频信息，或显示与所述读物相关的虚拟或增强的文字、图像或视频信息。

5.如权利要求4所述的点读机，其特征在于，还包括第二数字摄像头、垂直移动手势视觉检测单元及虚拟按键识别单元，所述点读机通过所述第一摄像头检测用户手指于虚拟键盘上的水平位置信息，并通过所述第二摄像头检测用户手指于所述虚拟键盘上的垂直点击状态，从而实现虚拟按键信息输入功能。

6.如权利要求4所述的点读机，其特征在于，还包括点读笔、笔尖按键、信号发射单元及信号接收单元，当所述点读笔笔尖按键被触发时，可通过所述信号发射单元向所述点读机发送状态触发信号，所述点读机可通过所述信号接收单元接收所述触发信号，并将接收到所述触发信号时所述点读笔笔尖的位置作为当前点读位置，从而实现所述点读位置视觉检测功能。

7.如权利要求4所述的点读机，其特征在于，所述数字视频采集单元、光学图像识别单元、点读位置视觉检测单元、点读控制视觉检测单元、数字语音单元、水平移动手势视觉检测单元、处理器及显示屏均设置于智能手机或平板电脑之内，为所述智能手机或平板电脑通过软硬件结合方式构成的特定功能模块或组件。

8.如权利要求1所述的点读机，其特征在于，所述座台式支架包括各种动植物、宠物及人形造型设计，具有传统儿童玩具的外观结构。

9.如权利要求1至8中任一权利要求所述的点读机，其特征在于，还包括电子点读文件存储单元及电子文件比较单元，可将所述第一摄像头获取的当前读物的文字图像信息，与预先存放在电子点读文件存储单元中现有的电子点读文件中的文字图像信息相比较，如果两者相关，则将所述现有的电子点读文件中的发音文件、图像文件、音乐文件、视频文件及互动位置信息文件作为当前点读操作的依据；或

所述点读机还包括互联网接入装置，可从互联网中搜寻、使用或下载现有的与所述第一摄像头获取的当前读物的文字图像信息相关的电子点读文件，并将所述电子点读文件中的发音文件、图像文件、音乐文件、视频文件及互动位置信息文件作为当前点读操作的依据。

10.一种与手机(包括智能手机及平板电脑)配合使用并实现所述基于机器视觉的点读机功能的点读机支架系统装置，其特征在于，包括底座、固定支架及反射镜，所述固定支架包括手机支架及反射镜支架，可以将所述反射镜固定于所述手机的后方。

11.如权利要求10所述的系统装置，其特征在于，所述手机显示屏与桌面呈90°～150°夹角，所述反射镜与桌面呈45°～90°夹角，由此令所述手机的摄像头通过所述反射镜聚焦于桌面的书本读物之上。

12.如权利要求10所述的系统装置，其特征在于，所述手机支架包括活动支架，可令所述手机左右移动，从而令所述手机的摄像头与所述书本读物位置对齐；或

所述系统装置包括多组反射镜，并且所述摄像头通过所述多组反射镜聚焦于所述书本读物之上。

13.如权利要求10所述的系统装置，其特征在于，所述反射镜为可扩展手机摄像头视角范围的凸面镜。

14.一种于所述基于机器视觉的座台式点读机上实现增强现实游戏功能的方法，其特征在于，包括以下步骤：

将包含有游戏角色图案的卡片或模型置于点读操作空间之内；

在显示屏中显示所述卡片或模型的实时静态影像；

对所述卡片或模型中的角色进行视觉识别，生成与之相关的虚拟角色动态影像，并将所述动态影像取代所述静态影像于所述显示屏中显示或播放；

将手放进所述点读操作空间之内；

捕捉所述手于所述点读操作空间内之实时手部动态影像；

将所述手部动态影像中除手之外的背景影像过滤掉，或根据所述手部动态影像生成位置相关的虚拟手部动态影像；

将所述手部动态影像与所述虚拟角色动态影像相叠加，并将叠加后的动态影像于所述显示屏中显示或播放。

15.如权利要求14所述的方法，其特征在于，还包括以下步骤：

根据所述叠加后的动态影像中所述手与所述角色之间的位置及时间关系，令所述角色影像跟随所述手部影像实施影像互动。