CN106296710A - 一种教育玩具套件及其敲击动作检测方法 - Google Patents

一种教育玩具套件及其敲击动作检测方法 Download PDF

Info

Publication number
CN106296710A
CN106296710A CN201610697875.0A CN201610697875A CN106296710A CN 106296710 A CN106296710 A CN 106296710A CN 201610697875 A CN201610697875 A CN 201610697875A CN 106296710 A CN106296710 A CN 106296710A
Authority
CN
China
Prior art keywords
small drum
image
represent
drum
prime
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610697875.0A
Other languages
English (en)
Inventor
杜鹏
范旭
暴满粟
孙贤军
宿方琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Putao Technology Co Ltd
Original Assignee
Shanghai Putao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Putao Technology Co Ltd filed Critical Shanghai Putao Technology Co Ltd
Priority to CN201610697875.0A priority Critical patent/CN106296710A/zh
Priority to PCT/CN2016/105736 priority patent/WO2018032629A1/zh
Publication of CN106296710A publication Critical patent/CN106296710A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00—Other toys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1062—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to a type of game, e.g. steering wheel
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toys (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉检测处理技术领域，提供了一种教育玩具套件及其敲击动作检测方法，包括：支架、头盔探测器、底板和手鼓，并且支架安装于底板上，手鼓放置于底板上，头盔探测器安装于支架上，底板上方设置有第一凹槽；支架底部具有凸起，凸起安装在第一凹槽内，顶部具有第二凹槽和第三凹槽，第二凹槽用于放置平板电脑；头盔探测器安装于第三凹槽内；头盔探测器还包括：本体、第四凹槽、2个扇形块和凸面镜，第四凹槽位于本体内，在第四凹槽夹持平板电脑屏幕的端点处设置有凸面镜。本发明开发了手鼓游戏，增强动手能力，能够基于手鼓颜色差异，识别手鼓的面积信息，判断出手鼓是否被敲击的状态，增强游戏的趣味性以及互动性。

Description

一种教育玩具套件及其敲击动作检测方法
技术领域
本发明涉及计算机视觉检测处理技术领域，特别涉及一种教育玩具套件及其敲击动作检测方法。
背景技术
现在平板电脑上有许多有趣的幼教游戏应用程序或者儿童游戏，但往往只是让小朋友在屏幕上指指画画，互动性欠缺，长时间看着屏幕容易对眼睛造成伤害；而当下一些互动性强的传统性游戏玩具已经脱离了时代的发展，形式上无法满足孩子学习、玩耍的需求，也不便于孩子和家长的互动沟通。
为了解决上述问题，计算机视觉与图像处理技术领域成功地开发了一种教育玩具套件，包括：支架、头盔探测器，底板，在平板电脑内安装游戏程序，通过平板电脑的摄像头采集放置于平面上的底板的图像。上述的教育玩具套件虽然解决了平板电脑中游戏的互动性欠缺的问题，动手能力差，游戏模式单一。
因此，计算机视觉与图像处理技术领域急需一种教育玩具套件及其数字的识别方法，开发了手鼓游戏，增强动手能力，能够基于手鼓颜色差异，识别手鼓的面积信息，判断出手鼓是否被敲击的状态，增强游戏的趣味性以及互动性。
发明内容
本发明为了解决上述问题，提供了一种教育玩具套件及其敲击动作检测方法，技术方案如下：
一种教育玩具套件，包括：支架、头盔探测器、底板和手鼓，并且支架安装于底板上，手鼓放置于底板上，头盔探测器安装于支架上，底板上方设置有第一凹槽；支架底部具有凸起，凸起安装在第一凹槽内，顶部具有第二凹槽和第三凹槽，第二凹槽用于放置平板电脑；头盔探测器安装于第三凹槽内；
头盔探测器，还包括：本体、第四凹槽、2个扇形块和凸面镜，并且第四凹槽位于本体内，用于夹持不同型号的平板电脑，在第四凹槽夹持平板电脑屏幕的端点处设置有凸面镜，凸面镜的另一端安装于头盔探测器边缘上，凸面镜与水平面夹角成锐角，第四凹槽夹持平板电脑屏幕的端点高于平板电脑的摄像头位置，2个扇形块位于凸面镜的2个边缘上，用于固定凸面镜和夹持平板电脑。
优选的，在上述的一种教育玩具套件中，还包括：定位孔，设置于第三凹槽侧壁的纵向中心轴上。
优选的，在上述的一种教育玩具套件中，手鼓为2个。
优选的，在上述的一种教育玩具套件中，2个手鼓的颜色分别为紫色与青色。
一种教育玩具套件中敲击动作检测方法，包括如下步骤：
步骤一，在平板电脑中安装游戏程序，再将底板放置于平面上，2个不同颜色的手鼓分别放置于底板表面的左、右两侧，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端；
步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集手鼓的彩色图像，当手放置于手鼓上，未敲击时，则前置摄像头采集到一幅手鼓未被敲击的图像；当手放置于手鼓上进行敲击时，则前置摄像头采集到一幅手鼓处于敲击状态下的图像；
将平板电脑前置摄像头所获取的彩色图像定义为Ixy，Ixy＝f(x，y)；
其中，(x，y)表示图像像素点的位置坐标，f(x，y)表示图像的在(x，y)上的像素值；
由于摄像头采集的图像为彩色图片，因此f(x，y)＝(Rxy，Gxy，Bxy)；
其中，Rxy表示图像像素点在红色通道的色彩值，Gxy表示图像像素点在绿色通道的色彩值，Bxy表示图像像素点在蓝色通道的色彩值；
步骤三，对步骤二中前置摄像头实时采集到的手鼓彩色图像进行检测，得出位于底板上左、右手鼓的敲击状态。
优选的，在上述的一种教育玩具套件中敲击动作检测方法中，步骤三的具体步骤为：
1)由于2个手鼓颜色不同，因此将步骤二中前置摄像头实时采集到的手鼓彩色图像分为左手鼓区域和右手鼓区域2个图像，并且提取出手鼓轮廓信息；
2)通过提取出的手鼓轮廓信息，计算轮廓面积和中心点，并将轮廓面积与该中心点的面积阈值进行比较，得出左、右手鼓是否处于敲击状态。
优选的，在上述的一种教育玩具套件中敲击动作检测方法中，步骤1)的具体步骤为：
a)首先在平板电脑安装的游戏程序中预先定义手鼓可玩区域，然后通过图像分割方法将步骤二中前置摄像头实时采集到的手鼓彩色图像分为左手鼓区域和右手鼓区域2个感兴趣区域图像，左手鼓区域和右手鼓区域都处于预先定义的手鼓可玩区域内；
b)因为手鼓的颜色在RGB颜色空间内不利于分割开来，对光照变化也比较敏感，所以，将提取出来的感兴趣区域图像由RGB颜色空间转换到侧重于色彩表示的HSV颜色空间，具体转换公式为：
V＝max｛C(R′)、C(G′)、C(B′)｝；
其中，H表示色调值，S表示饱和度值，V表示亮度值，max{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最小值，并且H的取值范围位于0-360之间；
c)在HSV颜色空间内，根据手鼓紫色、青色颜色在HSV空间内的先验阈值，将彩色图像进行二值化处理，具体公式如下：
在二进制图像中B(x，y)＝B_H(x，y)&B_S(x，y)&B_V(x，y)，生成二进制图像；
其中，B(x，y)表示图像像素点(x，y)的二进制像素值，H(x，y)、S(x，y)、V(x，y)分别表示图像像素点(x，y)在HSV颜色空间内的色调值、饱和度值、亮度值；B_H(x，y)、B_S(x，y)、B_V(x，y)分别表示图像像素点(x，y)是否分别在指定的H、S、V区域内，如果是，则取值为1，否则，取值为0；Hmin、Hmin分别表示手鼓紫色或者青色在HSV颜色空间内色调的先验最小和最大值；Smin、Smax分别表示手鼓紫色或者青色在HSV颜色空间内饱和度的先验最小和最大值；Vmin、Vmax分别表示手鼓紫色或者青色在HSV颜色空间内亮度的先验最小和最大值；
d)扫描二值化图像，找出所有边缘轮廓；
二值化图像为灰度图像，图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：
首先，计算相邻像素的差分，具体公式为：
Gx＝f[i，j+1]-f[i，j]
Gy＝f[i，j]-f[i+1，j]
其中，Gx表示相邻像素在x方向上的差分，Gy表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；f[i+1，j]表示图像在第i+1行第j列的像素值，
进一步地，计算相邻像素间的梯度，具体公式为：
其中，G(x，y)表示表示图像的在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；
进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；
进一步地，利用手鼓形状、边长比例、大小、角度和位置的先验知识过滤掉不合理的轮廓，具体滤除条件如下：
假设矩形的宽为w，高为h，矩形与水平方向的顺时针旋转角为Q，中心点为A，则计算出边缘轮廓的最小外包矩形，再根据如下规则判断是否需要滤除手鼓轮廓；
①如果宽高比超过宽高比阈值范围，则滤除该手鼓轮廓，优选的，宽高比阈值范围设置为(0.05，20)；
②如果中心点A与矩形的4个角和4条边非常接近，则滤除该手鼓轮廓；
③如果w与h的乘积超过乘积阈值范围，则滤除该手鼓轮廓。
优选的，在上述的一种教育玩具套件中敲击动作检测方法中，步骤2)的具体步骤为：
e)通过步骤d)中提取出的手鼓轮廓信息，计算轮廓面积和中心点；
轮廓面积就是轮廓里面像素点的个数，中心点就是轮廓的质心；
假设一个面积为N的轮廓，则轮廓的质心坐标计算公式为：
其中，X表示中心点(x，y)的x坐标，mi表示i质点的质量，xi表示i质点的x坐标，如果i质点的质量与中心点的质量相等，则mi＝1；
上述公式则可写为
同理，可得出中心点(x，y)的y坐标
Y表示中心点(x，y)的y坐标，yi表示i质点的y坐标，因此中心点(x，y)可以表示为
由最大面积轮廓的中心点(x，y)值根据以下公式估算出该处手鼓的实际面积：
其中，A表示手鼓的实际面积，Amax表示当手鼓放置在可玩区域距离平板电脑最近位置时的手鼓面积，Amin表示当手鼓放置在可玩区域距离平板电脑最远位置时的手鼓面积。Ymax和Ymin分别表示当手鼓放置在可玩区域距离平板电脑最远和最近处点的y坐标，Ymin≤y≤Ymax；
如果Abig<Amax×coff，则认为手鼓被敲击了，否则认为手鼓没有被敲击，其中，Abig表示的手鼓被覆盖后，经过二值化图形处理，没有被覆盖掉的最大的区域的面积，coff表示一个可调节的参数，取值范围为0～1之间，根据实验，得出最优值为0.5。
本发明的有益效果：
1、本发明巧妙的将应用计算机视觉图形识别技术与HSV颜色空间、二值化处理相结合使用，能够判断出手鼓的敲击状态，具有运算速度快，定位准确，将硬件与软件技术很好地统一起来，游戏交互设计巧妙；美观简单，判断更加快速，同时增强了趣味性和直观性。
2、本发明检测算法更加科学、成熟，将图像的色彩空间转换、轮廓检测、形态学处理等算法相结合使用，能够快速的判断出手鼓的敲击状态。
3、本发明计算速度快；每次定位检测耗时在10ms左右，为玩家提供流畅的使用体验。
4、本发明性能稳定，在不同光照、对不同平板电脑安装于教育玩具套件内的情况下，针对3千幅图片进行了采集测试，误识别率和漏检率在0.2％以下。
附图说明
下面结合附图和具体实施方式来详细说明本发明：
图1是本发明一种教育玩具套件的结构示意图。
图2是本发明一种教育玩具套件的支架的后视图。
图3是本发明一种教育玩具套件的支架的立体图。
图4是本发明一种教育玩具套件的底板的结构示意图。
图5是本发明葡萄探索号教育玩具套件的头盔探测器的结构示意图。
图6是本发明葡萄探索号教育玩具套件的应用示意图。
图7是本发明一种教育玩具套件中敲击动作检测方法的流程图。
其中，图1-7中的附图标记与部件名称之间的对应关系为：
支架1，凸起101，第二凹槽102，第三凹槽103，碟状底架104，圆形顶架105，露空提手106，头盔探测器2，本体201，第四凹槽202，2个扇形块203，凸面镜204，固定支点205，底板3，第一凹槽301，手鼓4。
具体实施方式
为了使本发明技术实现的措施、创作特征、达成目的与功效易于明白了解，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
图1是本发明一种教育玩具套件的结构示意图。
图2是本发明一种教育玩具套件的支架的后视图。
图3是本发明一种教育玩具套件的支架的立体图。
图4是本发明一种教育玩具套件的底板的结构示意图。
图5是本发明葡萄探索号教育玩具套件的头盔探测器的结构示意图。
图6是本发明葡萄探索号教育玩具套件的应用示意图。
如图1-6所示，一种教育玩具套件中敲击动作检测方法，包括：支架1、头盔探测器2、底板3和手鼓4，并且支架1安装于底板3上，手鼓4放置于底板3上，头盔探测器2安装于支架1上；底板3上方设置有第一凹槽301；支架1，底部具有凸起101，凸起101安装在第一凹槽301内，顶部具有第二凹槽102和第三凹槽103，第二凹槽102用于放置平板电脑；头盔探测器2，安装于第三凹槽103内；头盔探测器2还包括：本体201、第四凹槽202、2个扇形块203和凸面镜204，并且第四凹槽202位于本体201内，用于夹持不同型号的平板电脑，在第四凹槽202夹持平板电脑屏幕的端点处设置有凸面镜204，凸面镜204的另一端安装于头盔探测器2边缘上，凸面镜204与水平面夹角成锐角，第四凹槽202夹持平板电脑屏幕的端点高于平板电脑的摄像头位置，2个扇形块203位于凸面镜204的2个边缘上，用于固定凸面镜204和夹持平板电脑。
本实施例中，还包括：定位孔104，设置于第三凹槽103侧壁的纵向中心轴上。
本实施例中，手鼓4为2个；优选的，2个手鼓4的颜色分别为紫色与青色。
图7是本发明一种教育玩具套件中敲击动作检测方法的流程图。
如图7所示，一种教育玩具套件中敲击动作检测方法，包括如下步骤：
步骤一，在平板电脑中安装游戏程序，再将底板放置于平面上，2个不同颜色的手鼓分别放置于底板表面的左、右两侧，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端；
步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集手鼓的彩色图像，当手放置于手鼓上，未敲击时，则前置摄像头采集到一幅手鼓未被敲击的图像；当手放置于手鼓上进行敲击时，则前置摄像头采集到一幅手鼓处于敲击状态下的图像；
将平板电脑前置摄像头所获取的彩色图像定义为Ixy，Ixy＝f(x，y)；
其中，(x，y)表示图像像素点的位置坐标，f(x，y)表示图像的在(x，y)上的像素值；
由于摄像头采集的图像为彩色图片，因此f(x，y)＝(Rxy，Gxy，Bxy)；
其中，Rxy表示图像像素点在红色通道的色彩值，Gxy表示图像像素点在绿色通道的色彩值，Bxy表示图像像素点在蓝色通道的色彩值；
步骤三，对步骤二中前置摄像头实时采集到的手鼓彩色图像进行检测，得出位于底板上左、右手鼓的敲击状态，具体步骤为：
1)由于2个手鼓颜色不同，因此将步骤二中前置摄像头实时采集到的手鼓彩色图像分为左手鼓区域和右手鼓区域2个图像，并且提取出手鼓轮廓信息，具体步骤为：
a)首先在平板电脑安装的游戏程序中预先定义手鼓可玩区域，然后通过图像分割方法将步骤二中前置摄像头实时采集到的手鼓彩色图像分为左手鼓区域和右手鼓区域2个感兴趣区域图像，左手鼓区域和右手鼓区域都处于预先定义的手鼓可玩区域内；
b)因为手鼓的颜色在RGB颜色空间内不利于分割开来，对光照变化也比较敏感，所以，将提取出来的感兴趣区域图像由RGB颜色空间转换到侧重于色彩表示的HSV颜色空间，具体转换公式为：
V＝max{C(R′)、C(G′)、C(B′)}；
其中，H表示色调值，S表示饱和度值，V表示亮度值，max{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最小值，并且H的取值范围位于0-360之间；
c)在HSV颜色空间内，根据手鼓紫色、青色颜色在HSV空间内的先验阈值，将彩色图像进行二值化处理，具体公式如下：
在二进制图像中B(x，y)＝B_H(x，y)&B_S(x，y)&B_V(x，y)，生成二进制图像；
其中，B(x，y)表示图像像素点(x，y)的二进制像素值，H(x，y)、S(x，y)、V(x，y)分别表示图像像素点(x，y)在HSV颜色空间内的色调值、饱和度值、亮度值；B_H(x，y)、B_S(x，y)、B_V(x，y)分别表示图像像素点(x，y)是否分别在指定的H、S、V区域内，如果是，则取值为1，否则，取值为0；Hmin、Hmin分别表示手鼓紫色或者青色在HSV颜色空间内色调的先验最小和最大值；Smin、Smax分别表示手鼓紫色或者青色在HSV颜色空间内饱和度的先验最小和最大值；Vmin、Vmax分别表示手鼓紫色或者青色在HSV颜色空间内亮度的先验最小和最大值；
d)扫描二值化图像，找出所有边缘轮廓；
二值化图像为灰度图像，图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：
首先，计算相邻像素的差分，具体公式为：
Gx＝f[i，j+1]-f[i，j]
Gy＝f[i，j]-f[i+1，j]
其中，Gx表示相邻像素在x方向上的差分，Gy表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；f[i+1，j]表示图像在第i+1行第j列的像素值，
进一步地，计算相邻像素间的梯度，具体公式为：
其中，G(x，y)表示表示图像的在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；
进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；
进一步地，利用手鼓形状、边长比例、大小、角度和位置的先验知识过滤掉不合理的轮廓；
假设矩形的宽为w，高为h，矩形与水平方向的顺时针旋转角为Q，中心点为A，则计算出边缘轮廓的最小外包矩形，再根据如下规则判断是否需要滤除手鼓轮廓；
①如果宽高比超过宽高比阈值范围，则滤除该手鼓轮廓，优选的，宽高比阈值范围设置为(0.05，20)；
②如果中心点A与矩形的4个角和4条边非常接近，则滤除该手鼓轮廓；
③如果w与h的乘积超过乘积阈值范围，则滤除该手鼓轮廓；
2)通过提取出的手鼓轮廓信息，计算轮廓面积和中心点，并将轮廓面积与该中心点的面积阈值进行比较，得出左、右手鼓是否处于敲击状态，具体步骤为：
e)通过步骤d)中提取出的手鼓轮廓信息，计算轮廓面积和中心点；
轮廓面积就是轮廓里面像素点的个数，中心点就是轮廓的质心；
假设一个面积为N的轮廓，则轮廓的质心坐标计算公式为：
其中，X表示中心点(x，y)的x坐标，mi表示i质点的质量，xi表示i质点的x坐标，如果i质点的质量与中心点的质量相等，则mi＝1；
上述公式则可写为
同理，可得出中心点(x，y)的y坐标
Y表示中心点(x，y)的y坐标，yi表示i质点的y坐标，因此中心点(x，y)可以表示为
由最大面积轮廓的中心点(x，y)值根据以下公式估算出该处手鼓的实际面积：
其中，A表示手鼓的实际面积，Amax表示当手鼓放置在可玩区域距离平板电脑最近位置时的手鼓面积，Amin表示当手鼓放置在可玩区域距离平板电脑最远位置时的手鼓面积。Ymax和Ymin分别表示当手鼓放置在可玩区域距离平板电脑最远和最近处点的y坐标，Ymin≤y≤Ymax；
如果Abig<Amax×coff，则认为手鼓被敲击了，否则认为手鼓没有被敲击，其中，Abig表示的手鼓被覆盖后，经过二值化图形处理，没有被覆盖掉的最大的区域的面积，coff表示一个可调节的参数，取值范围为0～1之间，根据实验，得出最优值为0.5。
本发明巧妙的将应用计算机视觉图形识别技术与HSV颜色空间、二值化处理相结合使用，能够判断出手鼓的敲击状态，具有运算速度快，定位准确，将硬件与软件技术很好地统一起来，游戏交互设计巧妙；美观简单，判断更加快速，同时增强了趣味性和直观性。
本发明检测算法更加科学、成熟，将图像的色彩空间转换、轮廓检测、形态学处理等算法相结合使用，能够快速的判断出手鼓的敲击状态。
本发明计算速度快；每次定位检测耗时在10ms左右，为玩家提供流畅的使用体验。
本发明性能稳定，在不同光照、对不同平板电脑安装于教育玩具套件内的情况下，针对3千幅图片进行了采集测试，误识别率和漏检率在0.2％以下。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (8)

1.一种教育玩具套件，其特征在于，包括：支架、头盔探测器、底板和手鼓，并且所述支架安装于底板上，所述手鼓放置于底板上，所述头盔探测器安装于支架上，所述底板上方设置有第一凹槽；所述支架底部具有凸起，所述凸起安装在第一凹槽内，顶部具有第二凹槽和第三凹槽，所述第二凹槽用于放置平板电脑；所述头盔探测器安装于第三凹槽内；
所述头盔探测器，还包括：本体、第四凹槽、2个扇形块和凸面镜，并且所述第四凹槽位于本体内，用于夹持不同型号的平板电脑，在所述第四凹槽夹持平板电脑屏幕的端点处设置有凸面镜，所述凸面镜的另一端安装于头盔探测器边缘上，所述凸面镜与水平面夹角成锐角，所述第四凹槽夹持平板电脑屏幕的端点高于平板电脑的摄像头位置，2个所述扇形块位于凸面镜的2个边缘上，用于固定所述凸面镜和夹持平板电脑。
2.根据权利要求1所述的一种教育玩具套件，其特征在于，还包括：定位孔，设置于所述第三凹槽侧壁的纵向中心轴上。
3.根据权利要求1所述的一种教育玩具套件，其特征在于，所述手鼓为2个。
4.根据权利要求3所述的一种教育玩具套件，其特征在于，2个所述手鼓的颜色分别为紫色与青色。
5.一种教育玩具套件中敲击动作检测方法，其特征在于，包括如下步骤：
步骤一，在平板电脑中安装游戏程序，再将底板放置于平面上，2个不同颜色的手鼓分别放置于底板表面的左、右两侧，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端；
步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集手鼓的彩色图像，当手放置于手鼓上，未敲击时，则前置摄像头采集到一幅手鼓未被敲击的图像；当手放置于手鼓上进行敲击时，则前置摄像头采集到一幅手鼓处于敲击状态下的图像；
将平板电脑前置摄像头所获取的彩色图像定义为Ixy，Ixy＝f(x，y)；
其中，(x，y)表示图像像素点的位置坐标，f(x，y)表示图像的在(x，y)上的像素值；
由于摄像头采集的图像为彩色图片，因此f(x，y)＝(Rxy，Gxy，Bxy)；
其中，Rxy表示图像像素点在红色通道的色彩值，Gxy表示图像像素点在绿色通道的色彩值，Bxy表示图像像素点在蓝色通道的色彩值；
步骤三，对步骤二中前置摄像头实时采集到的手鼓彩色图像进行检测，得出位于底板上左、右手鼓的敲击状态。
6.根据权利要求5所述的一种教育玩具套件中敲击动作检测方法，其特征在于，所述步骤三的具体步骤为：
1)由于2个手鼓颜色不同，因此将步骤二中前置摄像头实时采集到的手鼓彩色图像分为左手鼓区域和右手鼓区域2个图像，并且提取出手鼓轮廓信息；
2)通过提取出的手鼓轮廓信息，计算轮廓面积和中心点，并将轮廓面积与该中心点的面积阈值进行比较，得出左、右手鼓是否处于敲击状态。
7.根据权利要求6所述的一种教育玩具套件中敲击动作检测方法，其特征在于，所述步骤1)的具体步骤为：
a)首先在平板电脑安装的游戏程序中预先定义手鼓可玩区域，然后通过图像分割方法将步骤二中前置摄像头实时采集到的手鼓彩色图像分为左手鼓区域和右手鼓区域2个感兴趣区域图像，左手鼓区域和右手鼓区域都处于预先定义的手鼓可玩区域内；
b)因为手鼓的颜色在RGB颜色空间内不利于分割开来，对光照变化也比较敏感，所以，将提取出来的感兴趣区域图像由RGB颜色空间转换到侧重于色彩表示的HSV颜色空间，具体转换公式为：
V＝max{C(R′)、C(G′)、C(B′)}；
S = 0 , V = 0 V - m i n { C ( R &prime; ) , C ( G &prime; ) , C ( B &prime; ) } V , V &NotEqual; 0 ;
H = 60 &lsqb; C ( G &prime; ) - C ( B &prime; ) &rsqb; V - min { C ( R &prime; ) , C ( G &prime; ) , C ( B &prime; ) } , V = C ( R &prime; ) 120 + 60 &lsqb; C ( G &prime; ) - C ( B &prime; ) &rsqb; V - min { C ( R &prime; ) , C ( G &prime; ) , C ( B &prime; ) } , V = C ( G &prime; ) 240 + 60 &lsqb; C ( G &prime; ) - C ( B &prime; ) &rsqb; V - min { C ( R &prime; ) , C ( G &prime; ) , C ( B &prime; ) } , V = C ( B &prime; ) ;
其中，H表示色调值，S表示饱和度值，V表示亮度值，max{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最小值，并且H的取值范围位于0-360(0～360度)之间；
c)在HSV颜色空间内，根据手鼓紫色、青色颜色在HSV空间内的先验阈值，将彩色图像进行二值化处理，具体公式如下：
在二进制图像中B(x，y)＝B_H(x，y)&B_S(x，y)&B_V(x，y)，生成二进制图像；
其中，B(x，y)表示图像像素点(x，y)的二进制像素值，H(x，y)、S(x，y)、V(x，y)分别表示图像像素点(x，y)在HSV颜色空间内的色调值、饱和度值、亮度值；B_H(x，y)、B_S(x，y)、B_V(x，y)分别表示图像像素点(x，y)是否分别在指定的H、S、V区域内，如果是，则取值为1，否则，取值为0；Hmin、Hmin分别表示手鼓紫色或者青色在HSV颜色空间内色调的先验最小和最大值；Smin、Smax分别表示手鼓紫色或者青色在HSV颜色空间内饱和度的先验最小和最大值；Vmin、Vmax分别表示手鼓紫色或者青色在HSV颜色空间内亮度的先验最小和最大值；
d)扫描二值化图像，找出所有边缘轮廓；
二值化图像为灰度图像，图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：
首先，计算相邻像素的差分，具体公式为：
Gx＝f[i，j+1]-f[i，j]
Gy＝f[i，j]-f[i+1，j]
其中，Gx表示相邻像素在x方向上的差分，Gy表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；f[i+1，j]表示图像在第i+1行第j列的像素值；
进一步地，计算相邻像素间的梯度，具体公式为：
G ( x , y ) = G x G y = &part; f &part; x &part; f &part; y ;
其中，G(x，y)表示表示图像的在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；
进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；
进一步地，利用手鼓形状、边长比例、大小、角度和位置的先验知识过滤掉不合理的轮廓，具体滤除条件如下：
假设矩形的宽为w，高为h，矩形与水平方向的顺时针旋转角为Q，中心点为A，则计算出边缘轮廓的最小外包矩形，再根据如下规则判断是否需要滤除手鼓轮廓；
①如果宽高比超过宽高比阈值范围，则滤除该手鼓轮廓，优选的，宽高比阈值范围设置为(0.05，20)；
②如果中心点A与矩形的4个角和4条边非常接近，则滤除该手鼓轮廓；
③如果w与h的乘积超过乘积阈值范围，则滤除该手鼓轮廓。
8.根据权利要求7所述的一种教育玩具套件中敲击动作检测方法，其特征在于，所述步骤2)的具体步骤为：
e)通过所述步骤d)中提取出的手鼓轮廓信息，计算轮廓面积和中心点；
轮廓面积就是轮廓里面像素点的个数，中心点就是轮廓的质心；
假设一个面积为N的轮廓，则轮廓的质心坐标计算公式为：
X = &Sigma;m i x i &Sigma;m i ;
其中，X表示中心点(x，y)的x坐标，mi表示i质点的质量，xi表示i质点的x坐标，如果i质点的质量与中心点的质量相等，则mi＝1；
上述公式则可写为
同理，可得出中心点(x，y)的y坐标
Y表示中心点(x，y)的y坐标，yi表示i质点的y坐标，因此中心点(x，y)可以表示为
由最大面积轮廓的中心点(x，y)值根据以下公式估算出该处手鼓的实际面积：
A = A m a x - A m i n Y m a x - Y min &times; y + A m i n &times; A m a x - A m a x &times; Y m i n Y m a x - Y m i n
其中，A表示该处手鼓的实际面积，Amax表示当手鼓放置在可玩区域距离平板电脑最近位置时的手鼓面积，Amin表示当手鼓放置在可玩区域距离平板电脑最远位置时的手鼓面积；Ymax和Ymin分别表示当手鼓放置在可玩区域距离平板电脑最远和最近处点的y坐标，Ymin≤y≤Ymax；
如果Abig<Amax×coff，则认为手鼓被敲击了，否则认为手鼓没有被敲击，其中，Abig表示手鼓被覆盖后，经过二值化图形处理，没有被覆盖掉的最大的区域面积，coff表示一个可调节的参数，取值范围为0～1之间，根据实验，得出最优值为0.5。
CN201610697875.0A 2016-08-19 2016-08-19 一种教育玩具套件及其敲击动作检测方法 Pending CN106296710A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610697875.0A CN106296710A (zh) 2016-08-19 2016-08-19 一种教育玩具套件及其敲击动作检测方法
PCT/CN2016/105736 WO2018032629A1 (zh) 2016-08-19 2016-11-14 一种教育玩具套件及其敲击动作检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610697875.0A CN106296710A (zh) 2016-08-19 2016-08-19 一种教育玩具套件及其敲击动作检测方法

Publications (1)

Publication Number Publication Date
CN106296710A true CN106296710A (zh) 2017-01-04

Family

ID=57661764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610697875.0A Pending CN106296710A (zh) 2016-08-19 2016-08-19 一种教育玩具套件及其敲击动作检测方法

Country Status (2)

Country Link
CN (1) CN106296710A (zh)
WO (1) WO2018032629A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494060B (zh) * 2022-01-20 2024-02-23 齐鲁工业大学 一种基于Opencv的菲涅尔透镜中心定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158389B1 (en) * 2012-10-15 2015-10-13 Tangible Play, Inc. Virtualization of tangible interface objects
CN105194884A (zh) * 2015-10-27 2015-12-30 上海葡萄纬度科技有限公司 教育玩具套件
CN303606294S (zh) * 2015-10-14 2016-03-02
CN205164140U (zh) * 2015-10-27 2016-04-20 上海葡萄纬度科技有限公司 教育玩具套件
CN105498200A (zh) * 2016-01-26 2016-04-20 上海葡萄纬度科技有限公司 一种教育玩具套件及其七巧板颜色识别方法
CN105709434A (zh) * 2016-01-26 2016-06-29 上海葡萄纬度科技有限公司 一种教育玩具套件及其反光镜位置检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023723B (zh) * 2016-06-15 2018-01-02 上海葡萄纬度科技有限公司 一种教育玩具套件及其凸面镜成像校正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158389B1 (en) * 2012-10-15 2015-10-13 Tangible Play, Inc. Virtualization of tangible interface objects
CN303606294S (zh) * 2015-10-14 2016-03-02
CN105194884A (zh) * 2015-10-27 2015-12-30 上海葡萄纬度科技有限公司 教育玩具套件
CN205164140U (zh) * 2015-10-27 2016-04-20 上海葡萄纬度科技有限公司 教育玩具套件
CN105498200A (zh) * 2016-01-26 2016-04-20 上海葡萄纬度科技有限公司 一种教育玩具套件及其七巧板颜色识别方法
CN105709434A (zh) * 2016-01-26 2016-06-29 上海葡萄纬度科技有限公司 一种教育玩具套件及其反光镜位置检测方法

Also Published As

Publication number Publication date
WO2018032629A1 (zh) 2018-02-22

Similar Documents

Publication Publication Date Title
CN105719318B (zh) 一种教育玩具套件中基于hsv的魔方颜色识别方法
CN106297492B (zh) 一种教育玩具套件及利用颜色和轮廓识别编程模块的方法
CN106097833B (zh) 一种教育玩具套件及其数字识别方法
CN105498200A (zh) 一种教育玩具套件及其七巧板颜色识别方法
CN105513086B (zh) 一种教育玩具套件及其基于形状匹配的魔方检测定位方法
WO2017092431A1 (zh) 基于肤色的人手检测方法及装置
CN106778676B (zh) 一种基于人脸识别及图像处理的注意力评估方法
CN105498253B (zh) 一种教育玩具套件及其定位孔检测定位方法
CN105709434B (zh) 一种教育玩具套件及其反光镜位置检测方法
CN105654445B (zh) 一种基于小波变换边缘检测的手机图像去噪方法
CN104063700B (zh) 自然光照正面人脸图像中的眼睛中心点定位的方法
CN103186904A (zh) 图片轮廓提取方法及装置
CN106355592B (zh) 一种教育玩具套件及其电路元件和电线的识别方法
CN102867313A (zh) 一种融合区域颜色和HoG特征的视觉显著性检测方法
WO2017128607A1 (zh) 一种教育玩具套件及检测七巧板摆放形状、位置的方法
CN109147023A (zh) 基于人脸的三维特效生成方法、装置和电子设备
CN109657612A (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN107154058A (zh) 一种引导使用者还原魔方的方法
CN106267843A (zh) 一种教育玩具套件及其海洋模具识别方法
CN109448131A (zh) 一种基于Kinect的虚拟钢琴弹奏系统的构建方法
CN106296710A (zh) 一种教育玩具套件及其敲击动作检测方法
CN107730487A (zh) 一种图像检测方法及装置
CN106327956B (zh) 一种教育玩具套件及其涂色卡片识别方法
CN106548184A (zh) 一种调整光照平衡的方法和装置
CN101571912B (zh) 基于人类视觉模拟的计算机人脸定位方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170104