CN106843505B - 一种基于幼儿教育的多媒体交互系统及方法 - Google Patents
一种基于幼儿教育的多媒体交互系统及方法 Download PDFInfo
- Publication number
- CN106843505B CN106843505B CN201710168448.8A CN201710168448A CN106843505B CN 106843505 B CN106843505 B CN 106843505B CN 201710168448 A CN201710168448 A CN 201710168448A CN 106843505 B CN106843505 B CN 106843505B
- Authority
- CN
- China
- Prior art keywords
- animation
- module
- picture
- voice
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000000463 material Substances 0.000 claims abstract description 58
- 230000003068 static effect Effects 0.000 claims abstract description 9
- 230000000875 corresponding effect Effects 0.000 claims description 27
- 238000004519 manufacturing process Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 9
- 230000001149 cognitive effect Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000009417 prefabrication Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 241001270131 Agaricus moelleri Species 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了基于幼儿教育的多媒体交互系统及方法。包括：图片内容识别，该图片来源于可触控手持设备或可触控桌面设备，通过涂鸦软件绘制的静态图；依据识别出来的内容，制作部位材质；依据识别出来的内容，从动画库中提取预制动画；将制作的材质赋给预制动画对应的部位，以确保所得即为所画；将最终形成的智能动画通过屏幕显示；连接Kinect计算机外部设备，通过Kinect与智能动画进行语音交互；通过Kinect与智能动画进行手势交互；连接触控屏幕，通过触控屏幕可以与智能动画交互。本发明让幼儿充分发挥想象力，绘制自己想要的东西，同时看到自己绘制的静态图片变成可进行语音或手势交互的动画，通过与动画的交互学习到相关联的知识。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于幼儿教育的多媒体交互系统及方法。
背景技术
目前，关于幼教的涂鸦产品：AR涂涂乐，儿童发挥自己的想象力在固定的线框内使用涂色笔，将整个线框内的内容涂满颜色，通过移动设备的摄像头扫描涂色区域，并识别出这个图片所对应内置动画素材，通过UV映射，修改动画贴图，完成更换动画皮肤，利用AR技术，将动画与现实环境相结合。
优点：准确将儿童的涂鸦颜色映射到预制动画里。
缺点：由于受图形边框影响，儿童只能在固定范围内涂颜色，限制发挥想象力。
发明内容
本发明的目的是：既要解决由于涂色范围的限制，影响儿童发挥想象力的限制，又要增强生成的动画与儿童交互的能力，能让儿童多方位的体验与动画的互动和学习知识。
本发明提供了一种基于幼儿教育的多媒体交互方法。包括以下步骤：
步骤S100：图片内容识别，该图片来源于可触控手持设备或可触控桌面设备，通过涂鸦软件绘制的静态图。
步骤S200：依据识别出来的内容，制作部位材质。
步骤S300：依据识别出来的内容，从动画库中提取预制动画。
步骤S400：将步骤S200制作的材质赋给S300的预制动画对应的部位，以确保所得即为所画。
步骤S500：将步骤S400最终形成的智能动画通过屏幕显示。
步骤S600：连接Kinect计算机外部设备，通过Kinect与智能动画进行语音交互。
步骤S700：通过Kinect与智能动画进行手势交互。
步骤S800：连接触控屏幕，通过触控屏幕可以与智能动画交互。
所述步骤S100包括步骤S110至步骤S 160：
步骤S110：将图片缩小到8x8的尺寸，总共64个像素，用以去除图片的细节，只保留结构、明暗及其他基本信息，摒弃不同尺寸、比例带来的图片差异；同时备份32x32尺寸图片，总共1024个像素，用于提取图片像素信息。
步骤S120：将缩小后的图片，转为64级灰度，所有像素点总共只有64种颜色。
步骤S130：计算所有64个像素的灰度平均值。
步骤S140：将每个像素的灰度，与平均值进行比较：大于或等于平均值，记为1；小于平均值，记为0。
步骤S150：将步骤S140的比较结果，组合在一起，构成一个64位的整数，这就是这张图片的指纹；保证所有图片都采用同样次序。
步骤S160：将得到的指纹与图片指纹库做比对，64位中有多少位是不一样的，选择不相同位数最少的图片指纹。
所述步骤S200包括步骤S210至步骤S220：
步骤S210：存储动画各部位取颜色位置信息，将原始用于比对的图片缩小到32x32像素尺寸，在图片上相同可活动部位取五个像素坐标，四个是极大值—即上下左右对角线最大值坐标和一个中间值。
步骤S220：用这五个值从步骤S110备份的32x32尺寸图片里取值像素值,环形渐变颜色制作对应位置材质。
所述步骤S600包括步骤S610至步骤S630：
步骤S610：存储每个动画可以语音交互的内容。
步骤S620：通过Kinect麦克监听语音，将语音输入到计算机。
步骤S630：依据输入的语音，从数据库中检索该动画会做怎样的反应，动画或做语音对应的动作，或与用户对话。
所述步骤S700包括步骤S710至步骤S730：
步骤S710：存储每个动画可以手势交互的内容。
步骤S720：通过Kinect将手势输入到计算机。
步骤S730：依据输入的手势，从数据库中检索该动画会做怎样的反应，动画或做手势对应的动作，或与用户对话。
本发明另外提供了一种基于幼儿教育的多媒体交互系统，包括以下模块：
认知图形模块：用于图片内容识别，该图片来源于可触控手持设备或可触控桌面设备，通过涂鸦软件绘制的静态图；
材质制作模块：用于依据识别出来的内容，制作部位材质；
动画制作模块：用于依据识别出来的内容，从动画库中提取预制动画；
材质更换模块：用于将材质制作模块制作的材质赋给动画制作模块的预制动画对应的部位，以确保所得即为所画；
动画显示模块：用于将材质更换模块最终形成的智能动画通过屏幕显示；
语音交互模块：用于连接Kinect计算机外部设备，通过Kinect与智能动画进行语音交互；
手势交互模块：用于通过Kinect与智能动画进行手势交互；
触屏交互模块：用于连接触控屏幕，通过触控屏幕可以与智能动画交互。
所述认知图形模块包括图片缩小模块、图片转灰度模块、灰度平均值计算模块、灰度平均值比较模块、指纹生成模块和图片指纹对比模块：
图片缩小模块：用于将图片缩小到8x8的尺寸，总共64个像素，用以去除图片的细节，只保留结构、明暗及其他基本信息，摒弃不同尺寸、比例带来的图片差异；同时备份32x32尺寸图片，总共1024个像素，用于提取图片像素信息；
图片转灰度模块：用于将缩小后的图片，转为64级灰度，所有像素点总共只有64种颜色；
灰度平均值计算模块：用于计算所有64个像素的灰度平均值；
灰度平均值比较模块：用于将每个像素的灰度，与平均值进行比较：大于或等于平均值，记为1；小于平均值，记为0；
指纹生成模块：将灰度平均值比较模块的比较结果，组合在一起，构成一个64位的整数，这就是这张图片的指纹；保证所有图片都采用同样次序；
图片指纹对比模块：用于将得到的指纹与图片指纹库做比对，64位中有多少位是不一样的，选择不相同位数最少的图片指纹。
所述材质制作模块包括材质颜色取值坐标确定模块和材质颜色取值模块：
材质颜色取值坐标确定模块：用于存储动画各部位取颜色位置信息，将原始用于比对的图片缩小到32x32像素尺寸，在图片上相同可活动部位取五个像素坐标，四个是极大值—即上下左右角坐标和一个中间值；
材质颜色取值模块：用这五个值从图片缩小模块备份的32x32尺寸图片里取值像素值,环形渐变颜色制作对应位置材质。
所述语音交互模块包括动画语音预制模块、语音采集模块和语音交互模块：
动画语音预制模块：存储每个动画可以语音交互的内容；
语音采集模块：通过Kinect麦克监听语音，将语音输入到计算机；
语音交互模块：依据输入的语音，从数据库中检索该动画会做怎样的反应，动画或做语音对应的动作，或与用户对话。
所述手势交互模块包括动画手势预制模块、手势采集模块和手势交互模块：
动画手势预制模块：存储每个动画可以手势交互的内容；
手势采集模块：通过Kinect将手势输入到计算机；
手势交互模块：依据输入的手势，从数据库中检索该动画会做怎样的反应，动画或做手势对应的动作，或与用户对话。
有益效果：本发明用于幼儿园教学过程或幼儿自由活动中，可以让幼儿充分发挥想象力，绘制自己想要的东西，同时看到自己绘制的静态图片变成可进行语音或手势交互的动画，通过与动画的交互学习到相关联的知识。
附图说明
图1为本发明实施例基于幼儿教育的多媒体交互方法步骤S110示意图；其中，兔子的颜色为粉色。
图2为本发明实施例基于幼儿教育的多媒体交互方法步骤S120示意图；
图3为本发明实施例基于幼儿教育的多媒体交互方法步骤S150示意图；
图4为本发明实施例基于幼儿教育的多媒体交互方法步骤S210示意图；
图5为本发明实施例基于幼儿教育的多媒体交互方法步骤S220示意图；
图6为本发明实施例基于幼儿教育的多媒体交互方法步骤S400示意图；
图7为本发明实施例基于幼儿教育的多媒体交互方法步骤S600示意图；
图8为本发明实施例基于幼儿教育的多媒体交互方法步骤S700示意图；
图9为本发明实施例基于幼儿教育的多媒体交互方法步骤S800示意图；
图10为本发明实施例基于幼儿教育的多媒体交互系统的逻辑框图；
图11为本发明实施例认知图形模块的逻辑框图；
图12为本发明实施例材质制作模块的逻辑框图；
图13为本发明实施例语音交互模块的逻辑框图；
图14为本发明实施例手势交互模块的逻辑框图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
本实施例以小兔子为例，提供了一种基于幼儿教育的基于幼儿教育的多媒体交互系统及方法，所述方法包括以下步骤：
步骤S100：图片内容识别，该图片来源于可触控手持设备或可触控桌面设备，通过涂鸦软件绘制的静态图。所述步骤S100包括步骤S110至步骤S 160：
请参照图1，步骤S110：将图片缩小到8x8的尺寸，总共64个像素，用以去除图片的细节，只保留结构、明暗及其他基本信息，摒弃不同尺寸、比例带来的图片差异；同时备份32x32尺寸图片，总共1024个像素，用于提取图片像素信息。
请参照图2，步骤S120：将缩小后的图片，转为64级灰度，所有像素点总共只有64种颜色。
步骤S130：计算所有64个像素的灰度平均值。
步骤S140：将每个像素的灰度，与平均值进行比较：大于或等于平均值，记为1；小于平均值，记为0。
请参照图3，步骤S150：将步骤S140的比较结果，组合在一起，构成一个 64位的整数，这就是这张图片的指纹；保证所有图片都采用同样次序。
步骤S160：将得到的指纹与图片指纹库做比对，64位中有多少位是不一样的，选择不相同位数最少的图片指纹。
步骤S200：依据识别出来的内容，制作部位材质。所述步骤S200包括步骤 S210至步骤S220：
请参照图4，步骤S210：存储动画各部位取颜色位置信息，将原始用于比对的图片缩小到32x32像素尺寸，在图片上相同可活动部位取五个像素坐标，四个是极大值—即上下左右角坐标和一个中间值。
请参照图5，步骤S220：用这五个值从步骤S110备份的32x32尺寸图片里取值像素值,环形渐变颜色制作对应位置材质。
步骤S300：依据识别出来的内容，从动画库中提取预制动画。
请参照图6，步骤S400：将步骤S200制作的材质赋给S300的预制动画对应的部位，以确保所得即为所画。
步骤S500：将步骤S400最终形成的智能动画通过屏幕显示。
请参照图7，步骤S600：连接Kinect计算机外部设备，通过Kinect与智能动画进行语音交互。所述步骤S600包括步骤S610至步骤S630：
步骤S610：存储每个动画可以语音交互的内容。
步骤S620：通过Kinect麦克监听语音，将语音输入到计算机。
步骤S630：依据输入的语音，从数据库中检索该动画会做怎样的反应，动画或做语音对应的动作，或与用户对话。
请参照图8，步骤S700：通过Kinect与智能动画进行手势交互。所述步骤 S700包括步骤S710至步骤S730：
步骤S710：存储每个动画可以手势交互的内容。
步骤S720：通过Kinect将手势输入到计算机。
步骤S730：依据输入的手势，从数据库中检索该动画会做怎样的反应，动画或做手势对应的动作，或与用户对话。
请参照图9，步骤S800：连接触控屏幕，通过触控屏幕可以与智能动画交互。
请参照图10，本实施例的一种基于幼儿教育的多媒体交互系统，包括以下模块：
请参照图11，认知图形模块：用于图片内容识别，该图片来源于可触控手持设备或可触控桌面设备，通过涂鸦软件绘制的静态图；
请参照图12，材质制作模块：用于依据识别出来的内容，制作部位材质；
动画制作模块：用于依据识别出来的内容，从动画库中提取预制动画；
材质更换模块：用于将材质制作模块制作的材质赋给动画制作模块的预制动画对应的部位，以确保所得即为所画；
动画显示模块：用于将材质更换模块最终形成的智能动画通过屏幕显示；
语音交互模块：用于连接Kinect计算机外部设备，通过Kinect与智能动画进行语音交互；
手势交互模块：用于通过Kinect与智能动画进行手势交互；
触屏交互模块：用于连接触控屏幕，通过触控屏幕可以与智能动画交互。
所述认知图形模块包括图片缩小模块、图片转灰度模块、灰度平均值计算模块、灰度平均值比较模块、指纹生成模块和图片指纹对比模块：
图片缩小模块：用于将图片缩小到8x8的尺寸，总共64个像素，用以去除图片的细节，只保留结构、明暗及其他基本信息，摒弃不同尺寸、比例带来的图片差异；同时备份32x32尺寸图片，总共1024个像素，用于提取图片像素信息；
图片转灰度模块：用于将缩小后的图片，转为64级灰度，所有像素点总共只有64种颜色；
灰度平均值计算模块：用于计算所有64个像素的灰度平均值；
灰度平均值比较模块：用于将每个像素的灰度，与平均值进行比较：大于或等于平均值，记为1；小于平均值，记为0；
指纹生成模块：将灰度平均值比较模块的比较结果，组合在一起，构成一个64位的整数，这就是这张图片的指纹；保证所有图片都采用同样次序；
图片指纹对比模块：用于将得到的指纹与图片指纹库做比对，64位中有多少位是不一样的，选择不相同位数最少的图片指纹。
所述材质制作模块包括材质颜色取值坐标确定模块和材质颜色取值模块：
材质颜色取值坐标确定模块：用于存储动画各部位取颜色位置信息，将原始用于比对的图片缩小到32x32像素尺寸，在图片上相同可活动部位取五个像素坐标，四个是极大值—即上下左右角坐标和一个中间值；
材质颜色取值模块：用这五个值从图片缩小模块备份的32x32尺寸图片里取值像素值,环形渐变颜色制作对应位置材质。
请参照图13，所述语音交互模块包括动画语音预制模块、语音采集模块和语音交互模块：
动画语音预制模块：存储每个动画可以语音交互的内容；
语音采集模块：通过Kinect麦克监听语音，将语音输入到计算机；
语音交互模块：依据输入的语音，从数据库中检索该动画会做怎样的反应，动画或做语音对应的动作，或与用户对话。
请参照图14，所述手势交互模块包括动画手势预制模块、手势采集模块和手势交互模块：
动画手势预制模块：存储每个动画可以手势交互的内容；
手势采集模块：通过Kinect将手势输入到计算机；
手势交互模块：依据输入的手势，从数据库中检索该动画会做怎样的反应，动画或做手势对应的动作，或与用户对话。
本发明的特点：
(1)识别出所绘制图片，是什么东西，提取出对应预制动画。
(2)从绘制的图片中提取动画部位对应的颜色，并修改材质颜色。
(3)通过Kinect设备输入的语音及肢体，动画与用户互动。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (2)
1.一种基于幼儿教育的多媒体交互方法，包括以下步骤：
步骤S100：图片内容识别，该图片来源于可触控手持设备或可触控桌面设备，通过涂鸦软件绘制的静态图；
步骤S200：依据识别出来的内容，制作部位材质；
步骤S300：依据识别出来的内容，从动画库中提取预制动画；
步骤S400：将步骤S200制作的材质赋给S300的预制动画对应的部位，以确保所得即为所画；
步骤S500：将步骤S400最终形成的智能动画通过屏幕显示；
步骤S600：连接Kinect计算机外部设备，通过Kenect与智能动画进行语音交互；
步骤S700：通过Kenect与智能动画进行手势交互；
步骤S800：连接触控屏幕，通过触控屏幕可以与智能动画交互；
所述步骤S100包括步骤S110至步骤S 160:
步骤S110：将图片缩小到8x8的尺寸，总共64个像素，用以去除图片的细节，只保留结构、明暗及其他基本信息，摒弃不同尺寸、比例带来的图片差异；同时备份32x32尺寸图片，总共1024个像素，用于提取图片像素信息；
步骤S120：将缩小后的图片，转为64级灰度，所有像素点总共只有64种颜色；
步骤S130：计算所有64个像素的灰度平均值；
步骤S140：将每个像素的灰度，与平均值进行比较：大于或等于平均值，记为1；小于平均值，记为0；
步骤S150：将步骤S140的比较结果，组合在一起，构成一个64位的整数，这就是这张图片的指纹；保证所有图片都采用同样次序；
步骤S 160：将得到的指纹与图片指纹库做比对，64位中有多少位是不一样的，选择不相同位数最少的图片指纹；
所述步骤S200包括步骤S210至步骤S220：
步骤S210：存储动画各部位取颜色位置信息，将原始用于比对的图片缩小到32x32像素尺寸，在图片上相同可活动部位取五个像素坐标，四个是极大值—即上下左右角坐标和一个中间值；
步骤S220：用这五个值从步骤S110备份的32x32尺寸图片里取值像素值,环形渐变颜色制作对应位置材质；
所述步骤S600包括步骤S610至步骤S630：
步骤S610：存储每个动画可以语音交互的内容；
步骤S620：通过Kinect麦克监听语音，将语音输入到计算机；
步骤S630：依据输入的语音，从数据库中检索该动画会做怎样的反应，动画或做语音对应的动作，或与用户对话；
所述步骤S700包括步骤S710至步骤S730：
步骤S710：存储每个动画可以手势交互的内容；
步骤S720：通过Kinect将手势输入到计算机；
步骤S730：依据输入的手势，从数据库中检索该动画会做怎样的反应，动画或做手势对应的动作，或与用户对话。
2.一种基于幼儿教育的多媒体交互系统，其特征在于，包括以下模块：
认知图形模块：用于图片内容识别，该图片来源于可触控手持设备或可触控桌面设备，通过涂鸦软件绘制的静态图；
材质制作模块：用于依据识别出来的内容，制作部位材质；
动画制作模块：用于依据识别出来的内容，从动画库中提取预制动画；
材质更换模块：用于将材质制作模块制作的材质赋给动画制作模块的预制动画对应的部位，以确保所得即为所画；
动画显示模块：用于将材质更换模块最终形成的智能动画通过屏幕显示；
语音交互模块：用于连接Kinect计算机外部设备，通过Kinect与智能动画进行语音交互；
手势交互模块：用于通过Kenect与智能动画进行手势交互；
触屏交互模块：用于连接触控屏幕，通过触控屏幕可以与智能动画交互；
所述认知图形模块包括图片缩小模块、图片转灰度模块、灰度平均值计算模块、灰度平均值比较模块、指纹生成模块和图片指纹对比模块：
图片缩小模块：用于将图片缩小到8x8的尺寸，总共64个像素，用以去除图片的细节，只保留结构、明暗及其他基本信息，摒弃不同尺寸、比例带来的图片差异；同时备份32x32尺寸图片，总共1024个像素，用于提取图片像素信息；
图片转灰度模块：用于将缩小后的图片，转为64级灰度，所有像素点总共只有64种颜色；
灰度平均值计算模块：用于计算所有64个像素的灰度平均值；
灰度平均值比较模块：用于将每个像素的灰度，与平均值进行比较：大于或等于平均值，记为1；小于平均值，记为0；
指纹生成模块：将灰度平均值比较模块的比较结果，组合在一起，构成一个64位的整数，这就是这张图片的指纹；保证所有图片都采用同样次序；
图片指纹对比模块：用于将得到的指纹与图片指纹库做比对，64位中有多少位是不一样的，选择不相同位数最少的图片指纹；
所述材质制作模块包括材质颜色取值坐标确定模块和材质颜色取值模块：
材质颜色取值坐标确定模块：用于存储动画各部位取颜色位置信息，将原始用于比对的图片缩小到32x32像素尺寸，在图片上相同可活动部位取五个像素坐标，四个是极大值—即上下左右角坐标和一个中间值；
材质颜色取值模块：用这五个值从图片缩小模块备份的32x32尺寸图片里取值像素值，环形渐变颜色制作对应位置材质；
所述语音交互模块包括动画语音预制模块、语音采集模块和语音交互模块：
动画语音预制模块：存储每个动画可以语音交互的内容；
语音采集模块：通过Kinect麦克监听语音，将语音输入到计算机；
语音交互模块：依据输入的语音，从数据库中检索该动画会做怎样的反应，动画或做语音对应的动作，或与用户对话；
所述手势交互模块包括动画手势预制模块、手势采集模块和手势交互模块：
动画手势预制模块：存储每个动画可以手势交互的内容；
手势采集模块：通过Kinect将手势输入到计算机；
手势交互模块：依据输入的手势，从数据库中检索该动画会做怎样的反应，动画或做手势对应的动作，或与用户对话。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710168448.8A CN106843505B (zh) | 2017-03-21 | 2017-03-21 | 一种基于幼儿教育的多媒体交互系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710168448.8A CN106843505B (zh) | 2017-03-21 | 2017-03-21 | 一种基于幼儿教育的多媒体交互系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106843505A CN106843505A (zh) | 2017-06-13 |
| CN106843505B true CN106843505B (zh) | 2020-10-16 |
Family
ID=59129853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710168448.8A Active CN106843505B (zh) | 2017-03-21 | 2017-03-21 | 一种基于幼儿教育的多媒体交互系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106843505B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI638318B (zh) * | 2017-08-14 | 2018-10-11 | 勝典科技股份有限公司 | 以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體 |
| CN107610549B (zh) * | 2017-11-07 | 2019-10-25 | 杭州勒格网络科技有限公司 | 寻迹拾色、涂色儿童认知教育卡片及方法 |
| CN108597265A (zh) * | 2018-01-03 | 2018-09-28 | 广州爱易学智能信息科技有限公司 | 基于幼儿教育的动画交互系统 |
| CN108573516B (zh) * | 2018-04-28 | 2019-09-24 | 掌阅科技股份有限公司 | 绘本文件的生成方法、计算设备及计算机存储介质 |
| CN109656357A (zh) * | 2018-11-16 | 2019-04-19 | 保定福日纺织品制造有限公司 | 一种信息处理方法及装置 |
| CN110636320A (zh) * | 2019-09-24 | 2019-12-31 | 网易（杭州）网络有限公司 | 用于直播的动画生成方法、装置、存储介质与电子设备 |
| CN110992745A (zh) * | 2019-12-23 | 2020-04-10 | 英奇源(北京)教育科技有限公司 | 一种基于体感设备辅助幼儿认识四季的互动方法及其系统 |
| CN111309207A (zh) * | 2020-02-06 | 2020-06-19 | 北京一起教育信息咨询有限责任公司 | 一种译文显示方法、装置、电子设备及存储介质 |
| CN114898022B (zh) * | 2022-07-15 | 2022-11-01 | 杭州脸脸会网络技术有限公司 | 图像生成方法、装置、电子装置和存储介质 |
| CN116027945B (zh) * | 2023-03-28 | 2023-06-06 | 深圳市人马互动科技有限公司 | 互动故事中动画信息处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104166851A (zh) * | 2014-08-25 | 2014-11-26 | 盛静浩 | 一种纸质教材的多媒体互动式学习系统及方法 |
| CN105069042A (zh) * | 2015-07-23 | 2015-11-18 | 北京航空航天大学 | 基于内容的无人机侦察图像数据检索方法 |
| CN105809726A (zh) * | 2016-03-04 | 2016-07-27 | 大连米乐宏业科技有限公司 | 一种静态图转成动态图的方法 |
| CN105912643A (zh) * | 2016-04-08 | 2016-08-31 | 浙江理工大学 | 一种基于内容改进型均值哈希的图像检索方法 |
| CN106023692A (zh) * | 2016-05-13 | 2016-10-12 | 广东博士早教科技有限公司 | 一种基于娱乐交互的ar趣味学习系统及方法 |
-
2017
- 2017-03-21 CN CN201710168448.8A patent/CN106843505B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104166851A (zh) * | 2014-08-25 | 2014-11-26 | 盛静浩 | 一种纸质教材的多媒体互动式学习系统及方法 |
| CN105069042A (zh) * | 2015-07-23 | 2015-11-18 | 北京航空航天大学 | 基于内容的无人机侦察图像数据检索方法 |
| CN105809726A (zh) * | 2016-03-04 | 2016-07-27 | 大连米乐宏业科技有限公司 | 一种静态图转成动态图的方法 |
| CN105912643A (zh) * | 2016-04-08 | 2016-08-31 | 浙江理工大学 | 一种基于内容改进型均值哈希的图像检索方法 |
| CN106023692A (zh) * | 2016-05-13 | 2016-10-12 | 广东博士早教科技有限公司 | 一种基于娱乐交互的ar趣味学习系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106843505A (zh) | 2017-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106843505B (zh) | 一种基于幼儿教育的多媒体交互系统及方法 | |
| CN101807114B (zh) | 一种基于三维手势的自然交互方法 | |
| WO2017035971A1 (zh) | 一种生成颜文字的方法和装置 | |
| CN111294665A (zh) | 视频的生成方法、装置、电子设备及可读存储介质 | |
| CN112288665A (zh) | 图像融合的方法、装置、存储介质及电子设备 | |
| CN106530388A (zh) | 一种基于二维图像的3d打印装置及其三维建模方法 | |
| CN105354812B (zh) | 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法 | |
| CN108012091A (zh) | 图像处理方法、装置、设备及其存储介质 | |
| CN111047509A (zh) | 一种图像特效处理方法、装置及终端 | |
| CN111949156A (zh) | 书写装置的汉字书写测试方法及系统、书写装置 | |
| US10401947B2 (en) | Method for simulating and controlling virtual sphere in a mobile device | |
| CN108628455B (zh) | 一种基于触摸屏手势识别的虚拟沙画绘制方法 | |
| CN107862664A (zh) | 一种图像非真实感绘制方法及系统 | |
| Prochazka et al. | Augmented reality implementation methods in mainstream applications | |
| CN115512193A (zh) | 面部表情生成方法和装置 | |
| US20230290132A1 (en) | Object recognition neural network training using multiple data sources | |
| CN113688737B (zh) | 人脸图像处理方法、装置、电子设备、存储介质及程序 | |
| WO2018131230A1 (ja) | 描画装置及び描画方法 | |
| CN207557895U (zh) | 一种应用于大型显示屏幕或投影屏幕的设备定位装置 | |
| CN116958354A (zh) | 一种虚拟现实的营销数字人系统 | |
| CN106708356A (zh) | 提示标签展示方法和装置 | |
| WO2023024536A1 (zh) | 一种绘图方法、装置、计算机设备及存储介质 | |
| CN108156504A (zh) | 一种视频显示方法及装置 | |
| Triki et al. | Imaging and HMI: Fondations and complementarities | |
| CN112950647A (zh) | 图像分割方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |