CN102522008A - 一种多媒体互动教学方法及其系统、一种电视机 - Google Patents
一种多媒体互动教学方法及其系统、一种电视机 Download PDFInfo
- Publication number
- CN102522008A CN102522008A CN2011103763773A CN201110376377A CN102522008A CN 102522008 A CN102522008 A CN 102522008A CN 2011103763773 A CN2011103763773 A CN 2011103763773A CN 201110376377 A CN201110376377 A CN 201110376377A CN 102522008 A CN102522008 A CN 102522008A
- Authority
- CN
- China
- Prior art keywords
- interactive teaching
- view data
- multimedia interactive
- audio
- learning card
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明公开了一种多媒体互动教学方法及其系统、一种电视机，所述教学方法包括：预先存储多个学习卡片的图像特征信息及音视频文件；摄取用户持有的学习卡片的图像数据；利用归一化算法将摄取的图像数据与预先存储的图像特征信息进行对比，得到相应的相关系数；在相关系数大于预定阈值时，获取最大的相关系数对应的学习卡片的音视频文件进行播放。本发明通过摄取用户持有的学习卡片的图像数据，与预先存储的图像特征信息进行对比，获取相关系数最大的学习卡片的音视频文件进行播放，用户不是被动接受学习内容，而是根据用户持有的学习卡片进行学习，提高了用户的互动效果；而且系统结构简单，不一定需要电脑及其外设支持，成本比较低。
Description
[技术领域]
本发明涉及人机交互领域，尤其涉及一种多媒体互动教学方法及其系统、一种电视机。
[背景技术]
目前市场上利用电视机学习外语的方法一般是，用DVD等多媒体播放机播放音视频多媒体文件，观看者被动接受学习内容，这种学习方式还属于传统的单向填鸭式的教学方式。该学习外语的方法最大的问题是用户属于被动学习，完全没有交互，影响学校效果和效率。
还有一种学习外语的方法，是通过在电脑上运行交互学习软件来学习外语，将电脑的视频输出到电视机上，视觉上达到了通过电视学习的效果，但所有的操作和交互还是要借助电脑来完成，电视机只是起到了显示器的作用，而且一定需要电脑及其外设支持，并不利于客厅环境，且成本较高。
[发明内容]
本发明提供了一种互动教学方法及其系统、一种电视机，其互动学习效果好、成本低。
本发明的技术方案是：
一种多媒体互动教学方法，包括：
预先存储多个学习卡片的图像特征信息及音视频文件；
摄取用户持有的学习卡片的图像数据；
利用归一化算法将摄取的图像数据与预先存储的图像特征信息进行对比，得到相应的相关系数；
在相关系数大于预定阈值时，获取最大的相关系数对应的学习卡片的音视频文件进行播放。
一种多媒体互动教学系统，包括：
数据库单元，用于预先存储多个学习卡片的图像特征信息及音视频文件；
摄像头单元，用于摄取用户持有的学习卡片的图像数据；
图像识别单元，用于利用归一化算法将摄取的图像数据与预先存储的图像特征信息进行对比，得到相应的相关系数；在相关系数大于预定阈值时，获取最大的相关系数对应的学习卡片的音视频文件；
播放单元，用于播放获取的音视频文件。
一种电视机，包括如上所述的多媒体互动教学系统。
本发明多媒体互动教学方法及其系统，通过摄取用户持有的学习卡片的图像数据，与预先存储的图像特征信息进行对比，获取相关系数最大的学习卡片的音视频文件进行播放，用户不是被动接受学习内容，而是根据用户持有的学习卡片进行学习，提高了用户的互动效果；而且系统结构简单，不一定需要电脑及其外设支持，成本比较低。
[附图说明]
图1是本发明多媒体互动教学方法在一实施例中的流程图；
图2是本发明多媒体互动教学系统在一实施例中的结构原理框图；
图3是本发明多媒体互动教学系统在另一实施例中的结构原理框图。
[具体实施方式]
下面结合附图对本发明的具体实施例做一详细的阐述。
实施例一
如图1，本发明的多媒体互动教学方法，其特征在于，包括：
S101、预先存储多个学习卡片的图像特征信息及音视频文件；每个学习卡片上写有字母、文字或其他图案、纹理信息等，将要学习的学习卡片的图像特征信息预先存储起来，每个学习卡片对应有音视频文件，可以是声音文件、视频文件或其他生动形象的多媒体文件，能提高人机互动效果；
S102、摄取用户持有的学习卡片的图像数据；可以通过摄像头或智能电视单元等工具进行摄取，一般学习卡片上带有特征标志，在检测到带有特征标志的学习卡片出现在摄取范围时，进行图像抓取，以提高摄取效率；
S103、利用归一化算法将摄取的图像数据与预先存储的图像特征信息进行对比，得到相应的相关系数；预先存储的图像特征信息有多个，将摄取的图像数据与预先存储的多个图像特征信息一一进行对比，分别得到相应的相关系数；
S104、在相关系数大于预定阈值时，获取最大的相关系数对应的学习卡片的音视频文件进行播放。如果大于预定阈值的相关系数只有一个，则此时的相关系数即是最大的相关系数；如果大于预定阈值的相关系数有多个，则再获取这些相关系数中的最大的相关系数。
由此可见，本发明通过摄取用户持有的学习卡片的图像数据，与预先存储的图像特征信息进行对比，获取相关系数最大的学习卡片的音视频文件进行播放，用户不是被动接受学习内容，而是根据用户持有的学习卡片进行学习，提高了用户的互动效果；而且设计起来比较简单，不一定需要电脑及其外设支持，成本比较低。
由于摄像头等工具直接摄取的图像一般都是用YUV420编码的模拟数据，而能够被一般智能电视芯片处理的图像格式大都是BMP数字图像，而且现在图像处理耗费的资源比较大，影响处理速度；为此，在一较优实施例中，在步骤S102之后，还包括步骤：将该摄取的图像数据转换为数字图像，并对该数字图像进行灰化处理。此时步骤S103是利用归一化算法将摄灰化处理后的图像数据与预先存储的图像特征信息进行对比。通过灰化处理，把32彩色图像处理成8位的灰度图像，才可以进行很好的图像处理，图像不但占用内存数量少，同时也提高了图像处理速度。
另外，在对该数字图像进行灰化处理后，还可以包括步骤：对灰化处理后的数字图像进行去噪处理。此时，步骤S103是利用归一化算法将去噪处理后的图像数据与预先存储的图像特征信息进行对比。这是由于图像数据会有很多的噪音，影响处理，通过去噪处理，为后续步骤进行精确处理做好铺垫。
其中，所述去噪处理是采用二值化去噪方法进行去噪处理。具体过程是先确定识别目标和背景噪音之间的临界值，这个临界值就是二值化的阈值，目前比较公认快速的就是采用大津阈值算法求出的阈值；利用前述求出的二值化阈值，对图像进行二值化处理，将色素点小于阈值的色素变成白色的，通常色素点小于阈值的就是背景以及噪音，把色素点大于阈值的变成黑色，通常这一部分就是我们要得到的实物图像，突出成黑色的更加有利于后面归一化算法的准确率。
实施例二
与实施例一所述的多媒体互动教学方法对应，该实施例公开了一种多媒体互动教学系统，如图2，包括：数据库单元、摄像头单元、图像识别单元、播放单元，图像识别单元分别与数据库单元、摄像头单元和播放单元连接；
数据库单元，用于预先存储多个学习卡片的图像特征信息及音视频文件；每个学习卡片上写有字母、文字或其他图案、纹理信息等，将要学习的学习卡片的图像特征信息预先存储起来，每个学习卡片对应有音视频文件，可以是声音文件、视频文件或其他生动形象的多媒体文件，能提高人机互动效果；
摄像头单元，用于摄取用户持有的学习卡片的图像数据；可以通过摄像头或智能电视单元等工具进行摄取，一般学习卡片上带有特征标志，在检测到带有特征标志的学习卡片出现在摄取范围时，进行图像抓取，以提高摄取效率；
图像识别单元，用于利用归一化算法将摄取的图像数据与预先存储的图像特征信息进行对比，得到相应的相关系数；在相关系数大于预定阈值时，获取最大的相关系数对应的学习卡片的音视频文件；预先存储的图像特征信息有多个，将摄取的图像数据与预先存储的多个图像特征信息一一进行对比，分别得到相应的相关系数；
播放单元，用于播放获取的音视频文件。具体实施时，该播放单元可以采用智能电视单元来实现。
在一较优实施例中，如图3，本发明还包括数据处理单元，连接在摄像头单元和图像识别单元之间，用于将摄取的图像数据转换为数字图像，并对该数字图像进行灰化处理。通过灰化处理，把32彩色图像处理成8位的灰度图像，才可以进行很好的图像处理，图像不但占用内存数量少，同时也提高了图像处理速度。
另外，所述数据处理单元还用于对灰化处理后的图像数据进行去噪处理。这是由于图像数据会有很多的噪音，影响处理，通过去噪处理，为后续步骤进行精确处理做好铺垫。
其中，所述去噪处理是采用二值化去噪方法进行去噪处理。具体过程是先确定识别目标和背景噪音之间的临界值，这个临界值就是二值化的阈值，目前比较公认快速的就是采用大津阈值算法求出的阈值；利用前述求出的二值化阈值，对图像进行二值化处理，将色素点小于阈值的色素变成白色的，通常色素点小于阈值的就是背景以及噪音，把色素点大于阈值的变成黑色，通常这一部分就是我们要得到的实物图像，突出成黑色的更加有利于后面归一化算法的准确率。
实施例三
该实施例公开了一种电视机，其包括如实施例二所述的多媒体互动教学系统。该多媒体互动教学系统与实施例二中的一致，在此不赘述。
以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。
Claims (9)
1.一种多媒体互动教学方法，其特征在于，包括：
预先存储多个学习卡片的图像特征信息及音视频文件；
摄取用户持有的学习卡片的图像数据；
利用归一化算法将摄取的图像数据与预先存储的图像特征信息进行对比，得到相应的相关系数；
在相关系数大于预定阈值时，获取最大的相关系数对应的学习卡片的音视频文件进行播放。
2.根据权利要求1所述的多媒体互动教学方法，其特征在于：在摄取用户持有的学习卡片的图像数据后，还包括步骤：
将该摄取的图像数据转换为数字图像，并对该数字图像进行灰化处理。
3.根据权利要求2所述的多媒体互动教学方法，其特征在于：在对该数字图像进行灰化处理后，还包括步骤：
对灰化处理后的数字图像进行去噪处理。
4.根据权利要求3所述的多媒体互动教学方法，其特征在于：所述去噪处理是采用二值化去噪方法进行去噪处理。
5.一种多媒体互动教学系统，其特征在于，包括：
数据库单元，用于预先存储多个学习卡片的图像特征信息及音视频文件；
摄像头单元，用于摄取用户持有的学习卡片的图像数据；
图像识别单元，用于利用归一化算法将摄取的图像数据与预先存储的图像特征信息进行对比，得到相应的相关系数；在相关系数大于预定阈值时，获取最大的相关系数对应的学习卡片的音视频文件；
播放单元，用于播放获取的音视频文件。
6.根据权利要求5所述的多媒体互动教学系统，其特征在于：还包括数据处理单元，用于将摄取的图像数据转换为数字图像，并对该数字图像进行灰化处理。
7.根据权利要求6所述的多媒体互动教学系统，其特征在于：所述数据处理单元还用于对灰化处理后的图像数据进行去噪处理。
8.根据权利要求7所述的多媒体互动教学系统，其特征在于：所述去噪处理是采用二值化去噪方法进行去噪处理。
9.一种电视机，其特征在于：包括如权利要求5至8任一权利要求所述的多媒体互动教学系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011103763773A CN102522008A (zh) | 2011-11-23 | 2011-11-23 | 一种多媒体互动教学方法及其系统、一种电视机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011103763773A CN102522008A (zh) | 2011-11-23 | 2011-11-23 | 一种多媒体互动教学方法及其系统、一种电视机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102522008A true CN102522008A (zh) | 2012-06-27 |
Family
ID=46292907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011103763773A Pending CN102522008A (zh) | 2011-11-23 | 2011-11-23 | 一种多媒体互动教学方法及其系统、一种电视机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102522008A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104166851A (zh) * | 2014-08-25 | 2014-11-26 | 盛静浩 | 一种纸质教材的多媒体互动式学习系统及方法 |
| CN104202640A (zh) * | 2014-08-28 | 2014-12-10 | 深圳市国华识别科技开发有限公司 | 基于图像识别的智能电视交互控制系统和方法 |
| CN104933910A (zh) * | 2015-07-08 | 2015-09-23 | 杭州问嫂科技有限公司 | 基于实物图文的视听内容播放方法及儿童早教机 |
| CN111062299A (zh) * | 2019-12-11 | 2020-04-24 | 威创集团股份有限公司 | 一种学习方法、装置、设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001242775A (ja) * | 2000-02-24 | 2001-09-07 | Eastman Kodak Co | デジタル化されたインタラクティブ学習法 |
| CN1466092A (zh) * | 2002-07-02 | 2004-01-07 | 李小平 | 运动目标视频检测处理的桩考仪 |
| CN201226189Y (zh) * | 2008-06-17 | 2009-04-22 | 上海沪江虚拟制造技术有限公司 | 多媒体虚拟教学设备 |
| WO2009157733A1 (en) * | 2008-06-27 | 2009-12-30 | Yujin Robot Co., Ltd. | Interactive learning system using robot and method of operating the same in child education |
| CN101799828A (zh) * | 2010-03-11 | 2010-08-11 | 南昌航空大学 | 一种用于视频点读机的基于透视变换的书本查找方法 |
-
2011
- 2011-11-23 CN CN2011103763773A patent/CN102522008A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001242775A (ja) * | 2000-02-24 | 2001-09-07 | Eastman Kodak Co | デジタル化されたインタラクティブ学習法 |
| CN1466092A (zh) * | 2002-07-02 | 2004-01-07 | 李小平 | 运动目标视频检测处理的桩考仪 |
| CN201226189Y (zh) * | 2008-06-17 | 2009-04-22 | 上海沪江虚拟制造技术有限公司 | 多媒体虚拟教学设备 |
| WO2009157733A1 (en) * | 2008-06-27 | 2009-12-30 | Yujin Robot Co., Ltd. | Interactive learning system using robot and method of operating the same in child education |
| CN101799828A (zh) * | 2010-03-11 | 2010-08-11 | 南昌航空大学 | 一种用于视频点读机的基于透视变换的书本查找方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104166851A (zh) * | 2014-08-25 | 2014-11-26 | 盛静浩 | 一种纸质教材的多媒体互动式学习系统及方法 |
| CN104166851B (zh) * | 2014-08-25 | 2018-01-23 | 盛静浩 | 一种纸质教材的多媒体互动式学习系统及方法 |
| CN104202640A (zh) * | 2014-08-28 | 2014-12-10 | 深圳市国华识别科技开发有限公司 | 基于图像识别的智能电视交互控制系统和方法 |
| WO2016029779A1 (zh) * | 2014-08-28 | 2016-03-03 | 深圳市国华识别科技开发有限公司 | 基于图像识别的智能电视交互控制系统和方法 |
| CN104202640B (zh) * | 2014-08-28 | 2016-03-30 | 深圳市国华识别科技开发有限公司 | 基于图像识别的智能电视交互控制系统和方法 |
| US10893316B2 (en) | 2014-08-28 | 2021-01-12 | Shenzhen Prtek Co. Ltd. | Image identification based interactive control system and method for smart television |
| CN104933910A (zh) * | 2015-07-08 | 2015-09-23 | 杭州问嫂科技有限公司 | 基于实物图文的视听内容播放方法及儿童早教机 |
| CN111062299A (zh) * | 2019-12-11 | 2020-04-24 | 威创集团股份有限公司 | 一种学习方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cao et al. | Feature-fused SSD: Fast detection for small objects | |
| US20220309789A1 (en) | Cover image determining method and apparatus, and device | |
| CN105164700B (zh) | 使用概率模型在视觉数据中检测对象 | |
| US20170154204A1 (en) | Method and system of curved object recognition using image matching for image processing | |
| CN107295362B (zh) | 基于图像的直播内容筛选方法、装置、设备及存储介质 | |
| US9535928B2 (en) | Combining information of different levels for content-based retrieval of digital pathology images | |
| CN105451029B (zh) | 一种视频图像的处理方法及装置 | |
| CN104281847A (zh) | 一种点读方法、装置及设备 | |
| CN102522008A (zh) | 一种多媒体互动教学方法及其系统、一种电视机 | |
| CN103412954A (zh) | 一种利用增强现实技术的虚拟动态杂志 | |
| CN111242019B (zh) | 视频内容的检测方法、装置、电子设备以及存储介质 | |
| WO2020092276A1 (en) | Video recognition using multiple modalities | |
| CN112529939A (zh) | 一种目标轨迹匹配方法、装置、机器可读介质及设备 | |
| CN113658065A (zh) | 图像降噪方法及装置、计算机可读介质和电子设备 | |
| Chen et al. | Air-writing for smart glasses by effective fingertip detection | |
| CN116206175A (zh) | 场景分析模型的预训练方法、确定方法、设备及产品 | |
| CN111818364B (zh) | 视频融合方法、系统、设备及介质 | |
| US20170311265A1 (en) | Electronic device and method for controlling the electronic device to sleep | |
| Guo et al. | Research on feature extraction and match method based on the surf algorithm for mobile augmented reality system | |
| CN106063252A (zh) | 用于处理字幕的技术 | |
| CN114419473A (zh) | 一种基于嵌入式设备的深度学习实时目标检测方法 | |
| CN113223185A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| WO2020124390A1 (zh) | 一种面部属性的识别方法及电子设备 | |
| CN110647844A (zh) | 一种儿童用物品拍摄识别方法 | |
| CN108898081A (zh) | 图片处理方法、装置、移动终端及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120627 |