CN107392157B - 一种基于机器视觉的中国象棋比赛智能虚拟直播方法 - Google Patents
一种基于机器视觉的中国象棋比赛智能虚拟直播方法 Download PDFInfo
- Publication number
- CN107392157B CN107392157B CN201710614340.7A CN201710614340A CN107392157B CN 107392157 B CN107392157 B CN 107392157B CN 201710614340 A CN201710614340 A CN 201710614340A CN 107392157 B CN107392157 B CN 107392157B
- Authority
- CN
- China
- Prior art keywords
- chessboard
- image
- real
- virtual
- chess
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
- Coloring Foods And Improving Nutritive Qualities (AREA)
Abstract
本发明提出了一种基于机器视觉的中国象棋比赛智能虚拟直播方法。首先,采集静态棋盘图像,进行棋盘坐标标定,建立实物棋盘与虚拟棋盘之间的坐标变换关系;然后,依据棋子在棋盘图像中的位置、名称、颜色等特征信息,建立描述棋盘综合特征的状态信息表;其次,设定棋盘状态变化检测双向基准线,用于棋盘变化动态检测;再次,获取棋盘实时变化图像,确定变化棋子属性及初始及目标位置,实时更新状态信息表;最后,结合象棋比赛规则,实现比赛过程的虚拟直播,包括语音讲解、虚拟联动及比赛回放。使用本发明可以实现中国象棋比赛的现场虚拟直播,该方法具有可靠性高、适应性强、使用方便等优点,本发明也可应用于围棋、五子棋等多种棋类比赛直播。
Description
技术领域
本发明属于图像识别与智能信息处理领域,特别涉及一种基于机器视觉的中国象棋比赛智能虚拟直播方法。
背景技术
蕴含了中华民族传统文化的中国象棋是人们热衷的一种体育竞技项目。通过查询,发现现有大型象棋比赛的直播解说,是主持人在一块竖立的磁性棋盘上手动复现选手对弈棋局并加以解说,没有实现比赛的自动智能直播。本发明的设计目的是提出一种基于机器视觉的中国象棋智能虚拟直播方法,实现象棋比赛的智能化虚拟直播。
现有技术中,有以下参考文献:文献《手持移动终端平台上的围棋比赛图像识别研究》(付世斌,南京大学,2012)提出了一种基于投影方法的围棋棋盘识别算法,通过一种基于Android系统的棋盘识别软件自动统计出黑白棋子个数和比赛结果;文献《基于视觉的中国象棋棋子识别定位技术》(王殿君,清华大学学报(自然科学版).2013,53(8))提出了一种基于视觉的中国象棋棋子识别定位技术,采用视觉传感器结合图像处理的方法来识别棋盘和棋子,并通过计算机向机械臂发出运动指令完成走棋过程;文献《基于视觉的象棋棋盘识别》(杜俊俐,张景飞,黄心汉,计算机工程与应用.2007,43(34))针对棋盘全局二值化存在的问题,提出了基于相邻像素灰度差阈值的棋盘图像二值化方法;针对棋子文字方向任意的现象,提出了3种基于统计特征的棋子文字识别方法;文献《象棋机器人的研究与探索》(张春晖,王骄,徐心和,机器人技术与应.2009,2)介绍了一种象棋机器人,该机器人包括小型六自由度的工业机器手,摄像头,智能棋盘以及嵌入射频识别芯片的棋子,通过各个功能模块的协调合作完成人机对战。
综上,现有研究不具备对象棋比赛实时监控识别,并具备智能化虚拟直播及语音解说的功能,不能应用于象棋比赛的现场智能直播解说。
发明内容
本发明的目的是依靠图像识别及语音合成技术,提供了一种基于机器视觉的中国象棋比赛智能虚拟直播方法,以代替人实现象棋比赛的现场直播解说。
为达到上述目的,本发明采用如下技术方案来实现:
一种基于机器视觉的中国象棋比赛智能虚拟直播方法,包括以下步骤:
1)首先采集实物棋盘图像,进行棋盘坐标标定,建立实物棋盘图像与虚拟棋盘图像之间的多项式变换模型;
2)其次依据棋子在实物棋盘图像中的位置、名称和颜色特征信息,建立描述虚拟棋盘综合特征的状态信息表;
3)再次设定实物棋盘状态变化检测双向基准线,用于实物棋盘操作变化动态检测;
4)然后获取实物棋盘实时变化图像,确定变化棋子属性及初始位置与目标位置,精确识别棋子状态变化,并实时更新状态信息表;
5)最后结合象棋比赛规则,实现比赛过程的高清虚拟直播,包括语音讲解、虚拟联动及比赛回放。
本发明进一步的改进在于,步骤1)中,棋盘坐标标定时,依据实物棋盘图像几何畸变类型,建立实物棋盘图像与虚拟棋盘图像之间的多项式变换模型,采用去均值归一化积算法进行匹配运算,实现特征点的鲁棒精确定位;基于最小二乘最优估计方法,求解多项式变换模型的参数,实现虚拟棋盘图像的快速有效标定;
其中,实物棋盘图像几何畸变类型为:
式(1)中x,y表示校正前图像任一点坐标,u,v表示校正后图像的对应点坐标,aij,bij表示多项式的系数,n为畸变模型阶数;
采用基于最小二乘法的最优估计解算模型参数;设f(u,v)是原图像,f(x,y)是畸变的图像,两者的坐标之间存在的非线性变换Ta,即:
(x,y)=Ta[(u,v)] (2)
采用三次二元变换式来进行几何畸变校正,(x,y)与(u,v)的关系式为:
采用多选控制点对而后按最小二乘法求解系数,使拟合误差平方和ε为最小,也就是使式(4)最小:
令:
式中,L为选取的控制点对的个数,其中s=0,1,2,3;t=0,1,...,3-s;
由此得到:
同理可得:
式(6)和式(7)为两组由10个方程组成的线性方程组,每个方程组包含10个未知数,则通过分别求解上述二式,即可求出aij,bij,再将其代回式(3)就可实现两个坐标系之间的变换;
其中Ta为10阶方阵,a、b、X、Y为10维向量;
a=[a00,a01,a02,a03,a10,a11,a12,a20,a21,a30]T (9)
b=[b00,b01,b02,b03,b10,b11,b12,b20,b21,b30]T (10)
本发明进一步的改进在于,具体实现方法如下:
101)首先采集实物棋盘静态图像,获取特征模板图像;
102)然后手动标定在虚拟棋盘上设定的九个标定点,采用去均值归一化积相关算法进行匹配运算,得到虚拟棋盘与实物棋盘特征点对应关系;
103)代入多项式变换模型,利用最小二乘法求解出坐标标定参数;
104)依据坐标标定参数,将虚拟棋盘中的90个坐标点逆推到实物棋盘图像中,完成标定。
本发明进一步的改进在于,步骤2)中,状态信息表中综合描述了虚拟棋盘包括棋子特征在内每一点的信息,包括以下内容:
a)以表格的形式描述了虚拟棋盘每一个坐标点的相关属性,包括名称、属性、像素坐标、特征、识别位置、状态;
b)状态信息表用于记录实物棋盘状态变化信息。
本发明进一步的改进在于,步骤3)中,实物棋盘变化动态检测时,设计采用加窗中值滤波算法去除噪声的影响,利用背景差分及Sobel边缘检测算法,抑制灰度干扰影响,计算检测线多特征参数,判断基准线状态变化,实现了实物棋盘变化的动态准确检测,增强了对光照周围环境的适应能力;
具体步骤如下:
301)建立实物棋盘状态变化检测双向基准线,将实时图像与模板图像进行背景差分,统计基准线上像素点的灰度值及梯度值;
302)计算检测线多特征参数,与预先设定的阈值相比较,若参数大于阈值,则认为实物棋盘状态发生变化,其中,预设阈值ρ=6;
303)存储当前实时图像,用于下一步棋子状态变化识别,同时更新模板用于下一回合实物棋盘变化检测。
本发明进一步的改进在于,步骤4)中,棋子状态变化识别时,依据建立的多项式变换模型,将虚拟棋盘中的棋子所在位置逆推到实物棋盘图像中;判断颜色特征差分图像,通过模板循环递推方法确定变化棋子初始位置与目标位置;结合虚拟棋盘状态信息表及棋弈对抗规范,精确识别棋子状态变化属性;
其中,首先获取视频中的一幅图像作为基准图g(x,y),实时监控目标场景ft(x,y),将基准图与实时图做差分处理得到差分图像et(x,y):
et(x,y)=ft(x,y)-g(x,y) (13)
当棋子走动时,差分结果明显,利用Sobel边缘检测算法处理差分图像,得到边缘图像edget(x,y);
Sebel边缘检测算法的横向和纵向卷积算子分别为:
去除噪声影响,计算图像重心定位光斑位置:
式中,I(xp,yp)表示图像在(xp,yp)点的灰度值,m表示检测区域大小;
根据变换模型将其投影到虚拟棋盘中,实现棋子的步态检测;
本发明进一步的改进在于,具体步骤如下:
401)利用实时图像特征点亮度及色调多特征参数,与模板图像进行差分,得到差分图像;
402)通过模板循环递推方法用窗口对实物棋盘中90个坐标点逐个搜索,统计窗口中像素灰度值,然后选取灰度值最大的3个位置;
403)若其中2个灰度值明显大于第3个,则认为这2个位置发生棋子变化,然后根据状态信息表判断初始及目标位置;若3个灰度值相差不大,则说明棋手在下棋的过程中较大触碰了周围不相干的棋子,此时结合状态信息表及走步规则判断初始及目标位置,并精确识别变化棋子属性。
本发明进一步的改进在于,步骤5)中,高清虚拟直播时,结合实物棋盘视觉监测需求,基于视频监测技术、智能识别技术、信息融合技术、语音合成技术,完成系统的综合集成,实现中国象棋智能虚拟直播。
本发明进一步的改进在于,具体步骤如下:
501)依据象棋比赛规则进行规范化语音讲解,讲解内容主要包括棋子走步,吃子,将军,获胜象棋比赛中的所有要素;
502)根据走步棋子及变化位置实现虚拟联动,驱动虚拟棋盘棋子完成相应走步,并实时更新状态信息表;
503)结合实时状态信息表历史记录,实现比赛回放。
本发明具有如下的有益效果:
本发明提供的一种基于机器视觉的中国象棋比赛智能虚拟直播方法,可以将主持人从大型象棋比赛的直播中解放出来,开创了一种新型的智能化象棋比赛直播模式,同时直播界面包括正射高清虚拟棋盘、对弈选手现场图像转播、棋子变化状态历史记录,具备语音解说,比赛回放等功能,使观众的观赛体验得到提高。
进一步,本发明在棋盘坐标标定时,采用去均值归一化积相关算法进行匹配运算,实现特征点的鲁棒精确定位;基于最小二乘最优估计方法,实现虚拟棋盘图像的快速有效标定,从而最大限度降低了比赛的误识别,提高了可靠性。
进一步,本发明建立的状态信息表中综合描述了虚拟棋盘包括棋子特征在内每一点的信息,可有效记录棋子变化状态历史记录,针对棋局中关键走步进行回放,进一步提高观众观赛体验。
进一步,本发明建立的实物棋盘状态变化检测双向基准线,采用加窗中值滤波算法去除噪声的影响,利用背景差分及Sobel边缘检测算法,抑制灰度干扰影响,实现了实物棋盘变化的动态准确检测,无需人工发出命令,且增强了对光照等周围环境的适应能力。
进一步,本发明直播系统搭建方便,抗外界干扰强,灵敏度和稳定性高,适用性广,可扩展到围棋、五子棋等多种棋类比赛直播,快速投入现场直播工作。
附图说明
图1为棋子智能检测与定位方法流程图。
图2为差分图像。
图3为Sobel边缘检测结果图。
图4为本发明的结构示意图。
图5为本发明的方法原理示意图,说明了本发明的基本思路。
图6a-6d分别描述了虚拟棋盘标定、实物棋盘变化动态检测、棋子状态识别、高清虚拟直播的流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步详细的描述。
本发明根据棋盘标定监测识别等功能需要,设计了相应的方法及技术,主要包括:
1.基于特征匹配与最小二乘法的虚拟棋盘坐标自适应标定方法。
在本系统,实物棋盘图像几何畸变类型为:
式(1)中x,y表示校正前图像任一点坐标,u,v表示校正后图像的对应点坐标,aij,bij表示多项式的系数,n为畸变模型阶数。
采用基于最小二乘法的最优估计解算模型参数。设f(u,v)是原图像,f(x,y)是畸变的图像,两者的坐标之间存在的非线性变换Ta,即:
(x,y)=Ta[(u,v)] (2)
由于一次变换式只能校正线性失真,如刚性变换、仿射变换,二次多项式不能校正径向畸变,而三次多项式变形技术不仅可校正光学镜头的几何畸变,还可消除透视效果。对于上面提到的第二、三种情况产生的畸变,在本系统中采用三次二元变换式来进行几何畸变校正,校正前图像任一点(x,y)与校正后图像的对应点(u,v)的关系式为:
式(3)中,两个坐标变换方程共有20个未知系数,至少要10个点才能唯一地确定这些系数,在实际中对应点对的测量难免有误差,为了避免个别对应点对的测量误差严重影响所求坐标变换方程系数的精度,通常采用多选控制点对而后按最小二乘法求解系数,使拟合误差平方和ε为最小,也就是使式(4)最小
令:
式中,L为选取的控制点对的个数,其中s=0,1,2,3;t=0,1,...,3-s;
由此得到:
同理可得:
式(6)和式(7)为两组由10个方程组成的线性方程组,每个方程组包含10个未知数.则通过分别求解上述二式,即可求出aij,bij,再将其代回式(3)就可实现两个坐标系之间的变换。
其中Ta为10阶方阵,a、b、X、Y为10维向量。
a=[a00,a01,a02,a03,a10,a11,a12,a20,a21,a30]T (9)
b=[b00,b01,b02,b03,b10,b11,b12,b20,b21,b30]T (10)
标定步骤如下所示:
第一步:采集实物棋盘静态图像,获取特征模板图像;
第二步:手动标定在虚拟棋盘上设定的九个标定点,采用去均值归一化积相关算法进行匹配运算,得到虚拟棋盘与实物棋盘特征点对应关系;
第三步:代入多项式变换模型,利用最小二乘法求解出坐标标定参数;
第四步:依据坐标标定参数,将虚拟棋盘中的90个坐标点逆推到实物棋盘图像中,完成标定。
2.基于多特征融合的实物棋盘变化动态检测方法。
建立实物棋盘状态变化检测双向基准线,设计采用加窗中值滤波算法去除噪声的影响,利用背景差分及Sobel边缘检测算法,抑制灰度干扰影响,计算检测多特征参数,判断基准线状态变化,实现了实物棋盘变化的动态准确检测,增强了对光照等周围环境的适应能力。
具体步骤如下:
第一步:建立实物棋盘状态变化检测双向基准线,将实时图像与模板图像进行背景差分,统计基准线上像素点的灰度值及梯度值;
第二步:计算多特征参数,与预先设定的阈值相比较(预设阈值ρ=6),若参数大于阈值,则认为实物棋盘状态发生变化;
第三步:存储当前实时图像,用于下一步棋子状态变化识别,同时更新模板用于下一回合实物棋盘变化检测。
3.基于坐标逆变换与模板循环递推的棋子识别方法。
如图1所示,设计了基于背景差分的棋子智能检测与定位方法,结合上面求得的变换矩阵,即可实现棋子的步态检测。具体实现原理如下:
如图2所示,首先获取视频中的一幅图像作为基准图g(x,y),实时监控目标场景ft(x,y),将基准图与实时图做差分处理得到差分图像et(x,y):
et(x,y)=ft(x,y)-g(x,y) (13)
如图3所示,当棋子走动时,差分结果明显,利用Sobel边缘检测算法处理差分图像,得到边缘图像edget(x,y);
Sebel边缘检测算法的横向和纵向卷积算子分别为:
去除噪声影响,计算图像重心定位光斑位置:
式中,I(xp,yp)表示图像在(xp,yp)点的灰度值,m表示检测区域大小;
根据变换模型将其投影到虚拟棋盘中,实现棋子的步态检测:
识别步骤如下所示:
第一步:利用实时图像特征点亮度及色调多特征参数,与模板图像进行差分,得到差分图像;
第二步:通过模板循环递推方法用窗口对实物棋盘中90个坐标点逐个搜索,统计窗口中像素灰度值,然后选取灰度值最大的3个位置;
第三步:若其中2个灰度值明显大于第3个,则认为这2个位置发生棋子变化,然后根据状态信息表判断初始及目标位置;若3个灰度值相差不大,则说明棋手在下棋的过程中较大触碰了周围不相干的棋子,此时结合状态信息表及走步规则判断初始及目标位置,并精确识别变化棋子属性。
4.高清虚拟直播技术。
第一步:依据象棋比赛规则进行规范化语音讲解,讲解内容主要包括棋子走步,吃子,将军,获胜等象棋比赛中的所有要素;
第二步:根据走步棋子及变化位置实现虚拟联动,驱动虚拟棋盘棋子完成相应走步,并实时更新状态信息表;
第三步:结合实时状态信息表历史记录,实现比赛回放。
根据本发明,状态信息表综合描述了虚拟棋盘包括棋子特征在内每一点的信息,主要包括以下内容:
a.以表格的形式描述了虚拟棋盘每一个坐标点的相关属性,主要包括名称、属性、像素坐标、特征、识别位置、状态;
b.状态信息表用于记录实物棋盘状态变化信息。
本发明中状态信息表与实物棋盘中每一点是一一对应的,当实物棋盘状态发生变化,状态信息表的信息也会随之更新。
实施例1
如图4所示,介绍了一种适用于本发明的直播系统,包括棋盘基座1、图像采集装置2、支撑架3、计算机4、投影仪5和投影幕6。棋盘基座1用于放置象棋棋面,在棋盘基座1上安装有支撑架3,支撑架3上固定图像采集装置2,图像采集装置2对准棋盘,投影幕6面向投影仪5安放,所述图像采集装置2和投影仪5与计算机4连接。图像采集装置2用于实时采集棋盘上的图像并将图像传递给计算机4,计算机4用于棋盘图像坐标自动标定,棋盘变化自动检测,棋盘棋子状态自动识别,实时将棋子变化状态在虚拟棋盘上更新显示,同时结合棋子变化通过语音合成技术进行实时解说,投影仪5同步投影到投影幕6。
所述图像采集装置2为采用CCD传感器的可见光采集装置,通过USB接口与计算机4相连接,固定于支撑架3上,摄像头垂直向下面向棋盘,其采集到的图像能够包含整个棋盘。
所述计算机4具有棋盘图像坐标自动标定,棋盘变化动态检测,棋子状态变化识别,实时在虚拟棋盘上更新状态,虚拟回播,语音同步解说的功能。
所述投影仪5和投影幕6,所投影像分为3个面积不等区域,从大到小依次为大型正射高清虚拟棋盘、现场图像转播、棋子变化状态历史记录。
如图5及图6a-6d所示,本发明的工作流程如下:
比赛开始前,图像采集装置2采集棋盘图像,用于计算机4进行棋盘坐标标定,通过棋面上的9个标定点,建立实物棋盘与虚拟棋盘之间的对应关系;然后,依据棋子在棋盘图像中的位置、名称、颜色等特征信息,建立描述全棋盘综合特征的状态信息表;接着,建立棋盘状态变化检测双向基准线,用于棋盘变化动态检测。比赛开始后,当一方棋手完成下棋动作,图像采集装置2自动检测棋盘变化并采集棋盘图像传送至计算机,计算机根据采集回来的棋盘图像,识别出棋子特征及其屏幕坐标,生成对应的走棋路线描述文件,更新虚拟棋盘图像,同时通过合成语音结合棋弈对抗规范进行实时解说,实现象棋比赛的高清直播、语音讲解、虚拟联动及比赛回放等综合集成功能。上述过程循环进行,直至比赛结束。
Claims (9)
1.一种基于机器视觉的中国象棋比赛智能虚拟直播方法,其特征在于,包括以下步骤:
1)首先采集实物棋盘图像,进行棋盘坐标标定,建立实物棋盘图像与虚拟棋盘图像之间的多项式变换模型;
2)其次依据棋子在实物棋盘图像中的位置、名称和颜色特征信息,建立描述虚拟棋盘综合特征的状态信息表;
3)再次设定实物棋盘状态变化检测双向基准线,用于实物棋盘操作变化动态检测;
4)然后获取实物棋盘实时变化图像,确定变化棋子属性及初始位置与目标位置,精确识别棋子状态变化,并实时更新状态信息表;
5)最后结合象棋比赛规则,实现比赛过程的高清虚拟直播,包括语音讲解、虚拟联动及比赛回放。
2.根据权利要求1所述的一种基于机器视觉的中国象棋比赛智能虚拟直播方法,其特征在于,步骤1)中,棋盘坐标标定时,依据实物棋盘图像几何畸变类型,建立实物棋盘图像与虚拟棋盘图像之间的多项式变换模型,采用去均值归一化积算法进行匹配运算,实现特征点的鲁棒精确定位;基于最小二乘最优估计方法,求解多项式变换模型的参数,实现虚拟棋盘图像的快速有效标定;
其中,实物棋盘图像几何畸变类型为:
式(1)中x,y表示校正前图像任一点坐标,u,v表示校正后图像的对应点坐标,aij,bij表示多项式的系数,n为畸变模型阶数;
采用基于最小二乘法的最优估计解算模型参数;设f(u,v)是原图像,f(x,y)是畸变的图像,两者的坐标之间存在的非线性变换Ta,即:
(x,y)=Ta[(u,v)] (2)
采用三次二元变换式来进行几何畸变校正,(x,y)与(u,v)的关系式为:
采用多选控制点对而后按最小二乘法求解系数,使拟合误差平方和ε为最小,也就是使式(4)最小:
令:
式中,L为选取的控制点对的个数,其中s=0,1,2,3;t=0,1,...,3-s;
由此得到:
同理可得:
式(6)和式(7)为两组由10个方程组成的线性方程组,每个方程组包含10个未知数,则通过分别求解上述二式,即可求出aij,bij,再将其代回式(3)就可实现两个坐标系之间的变换;
其中Ta为10阶方阵,a、b、X、Y为10维向量;
a=[a00,a01,a02,a03,a10,a11,a12,a20,a21,a30]T (9)
b=[b00,b01,b02,b03,b10,b11,b12,b20,b21,b30]T (10)
3.根据权利要求2所述的一种基于机器视觉的中国象棋比赛智能虚拟直播方法,其特征在于,具体实现方法如下:
101)首先采集实物棋盘静态图像,获取特征模板图像;
102)然后手动标定在虚拟棋盘上设定的九个标定点,采用去均值归一化积相关算法进行匹配运算,得到虚拟棋盘与实物棋盘特征点对应关系;
103)代入多项式变换模型,利用最小二乘法求解出坐标标定参数;
104)依据坐标标定参数,将虚拟棋盘中的90个坐标点逆推到实物棋盘图像中,完成标定。
4.根据权利要求3所述的一种基于机器视觉的中国象棋比赛智能虚拟直播方法,其特征在于,步骤2)中,状态信息表中综合描述了虚拟棋盘包括棋子特征在内每一点的信息,包括以下内容:
a)以表格的形式描述了虚拟棋盘每一个坐标点的相关属性,包括名称、属性、像素坐标、特征、识别位置、状态;
b)状态信息表用于记录实物棋盘状态变化信息。
5.根据权利要求4所述的一种基于机器视觉的中国象棋比赛智能虚拟直播方法,其特征在于,步骤3)中,实物棋盘变化动态检测时,设计采用加窗中值滤波算法去除噪声的影响,利用背景差分及Sobel边缘检测算法,抑制灰度干扰影响,计算检测线多特征参数,判断基准线状态变化,实现了实物棋盘变化的动态准确检测,增强了对光照周围环境的适应能力;
具体步骤如下:
301)建立实物棋盘状态变化检测双向基准线,将实时图像与模板图像进行背景差分,统计双向基准线上像素点的灰度值及梯度值;
302)计算双向基准线多特征参数,与预先设定的阈值相比较,若参数大于阈值,则认为实物棋盘状态发生变化,其中,预设阈值ρ=6;
303)存储当前实时图像,用于下一步棋子状态变化识别,同时更新模板用于下一回合实物棋盘变化检测。
6.根据权利要求5所述的一种基于机器视觉的中国象棋比赛智能虚拟直播方法,其特征在于,步骤4)中,棋子状态变化识别时,依据建立的多项式变换模型,将虚拟棋盘中的棋子所在位置逆推到实物棋盘图像中;判断颜色特征差分图像,通过模板循环递推方法确定变化棋子初始位置与目标位置;结合虚拟棋盘状态信息表及棋弈对抗规范,精确识别棋子状态变化属性;
其中,首先获取视频中的一幅图像作为基准图g(x,y),实时监控目标场景ft(x,y),将基准图与实时图做差分处理得到差分图像et(x,y):
et(x,y)=ft(x,y)-g(x,y) (13)
当棋子走动时,差分结果明显,利用Sobel边缘检测算法处理差分图像,得到边缘图像Sobelt(x,y);
So bel边缘检测算法的横向和纵向卷积算子分别为:
去除噪声影响,计算图像重心定位光斑位置:
式中,I(xp,yp)表示图像在(xp,yp)点的灰度值,m表示检测区域大小;
根据变换模型将其投影到虚拟棋盘中,实现棋子的步态检测;
7.根据权利要求6所述的一种基于机器视觉的中国象棋比赛智能虚拟直播方法,其特征在于,具体步骤如下:
401)利用实时图像特征点亮度及色调多特征参数,与模板图像进行差分,得到差分图像;
402)通过模板循环递推方法用窗口对实物棋盘中90个坐标点逐个搜索,统计窗口中像素灰度值,然后选取灰度值最大的3个位置;
403)若其中2个灰度值明显大于第3个,则认为这2个位置发生棋子变化,然后根据状态信息表判断初始及目标位置;若3个灰度值相差不大,则说明棋手在下棋的过程中触碰了周围不相干的棋子,此时结合状态信息表及走步规则判断初始及目标位置,并精确识别变化棋子属性。
8.根据权利要求1所述的一种基于机器视觉的中国象棋比赛智能虚拟直播方法,其特征在于,步骤5)中,高清虚拟直播时,结合实物棋盘视觉监测需求,基于视频监测技术、智能识别技术、信息融合技术、语音合成技术,完成系统的综合集成,实现中国象棋智能虚拟直播。
9.根据权利要求8所述的一种基于机器视觉的中国象棋比赛智能虚拟直播方法,其特征在于,具体步骤如下:
501)依据象棋比赛规则进行规范化语音讲解,讲解内容主要包括棋子走步,吃子,将军,获胜象棋比赛中的所有要素;
502)根据走步棋子及变化位置实现虚拟联动,驱动虚拟棋盘棋子完成相应走步,并实时更新状态信息表;
503)结合实时状态信息表历史记录,实现比赛回放。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710614340.7A CN107392157B (zh) | 2017-07-25 | 2017-07-25 | 一种基于机器视觉的中国象棋比赛智能虚拟直播方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710614340.7A CN107392157B (zh) | 2017-07-25 | 2017-07-25 | 一种基于机器视觉的中国象棋比赛智能虚拟直播方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107392157A CN107392157A (zh) | 2017-11-24 |
CN107392157B true CN107392157B (zh) | 2020-08-04 |
Family
ID=60337003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710614340.7A Active CN107392157B (zh) | 2017-07-25 | 2017-07-25 | 一种基于机器视觉的中国象棋比赛智能虚拟直播方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107392157B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108337573A (zh) * | 2018-03-26 | 2018-07-27 | 京东方科技集团股份有限公司 | 一种赛事实时解说的实现方法和介质 |
CN108491804B (zh) * | 2018-03-27 | 2019-12-27 | 腾讯科技(深圳)有限公司 | 一种棋局展示的方法、相关装置及系统 |
CN108888947A (zh) * | 2018-05-25 | 2018-11-27 | 南京邮电大学 | 用于中国象棋对弈的解说系统 |
CN109800647A (zh) * | 2018-12-18 | 2019-05-24 | 陈韬文 | 一种棋谱自动生成方法、系统、装置和存储介质 |
CN109803154B (zh) * | 2019-01-17 | 2020-12-11 | 腾讯科技(深圳)有限公司 | 棋类比赛的直播方法、设备及存储介质 |
CN111988635A (zh) * | 2020-08-17 | 2020-11-24 | 深圳市四维合创信息技术有限公司 | 基于ai智能的赛事3d动画直播方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201871223U (zh) * | 2010-10-12 | 2011-06-22 | 广东商学院 | 一种采用投影仪和图像采集装置的虚拟棋盘 |
WO2013159688A1 (en) * | 2012-04-25 | 2013-10-31 | Novel Tech International Limited | Remote, live, multiplayer gaming techniques implemented via computer network |
US20150065221A1 (en) * | 2013-09-03 | 2015-03-05 | Samsung Electronics Co., Ltd. | Method and device for operating 3d virtual chessboard |
CN204996104U (zh) * | 2015-09-07 | 2016-01-27 | 黎志瀛 | 一种虚拟与现实交互的智能棋牌桌盘 |
CN205307764U (zh) * | 2015-12-08 | 2016-06-15 | 马科峰 | 用于人机对战的棋具以及网络对战的棋具系统 |
CN106924961B (zh) * | 2017-04-01 | 2020-06-16 | 哈尔滨工业大学 | 一种智能象棋对弈控制方法及系统 |
-
2017
- 2017-07-25 CN CN201710614340.7A patent/CN107392157B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107392157A (zh) | 2017-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107392157B (zh) | 一种基于机器视觉的中国象棋比赛智能虚拟直播方法 | |
CN107766855B (zh) | 基于机器视觉的棋子定位方法、系统、存储介质及机器人 | |
CN106924961B (zh) | 一种智能象棋对弈控制方法及系统 | |
KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
CN106683070B (zh) | 基于深度相机的身高测量方法及装置 | |
JP2019075156A (ja) | 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード | |
US20140168367A1 (en) | Calibrating visual sensors using homography operators | |
US20080101693A1 (en) | Video image based tracking system for identifying and tracking encoded color surface | |
CN100461820C (zh) | 图像处理装置及图像处理中的登录数据生成方法 | |
AU2012231931A1 (en) | Virtual golf simulation apparatus and sensing device and method used for same | |
CN106875341B (zh) | 畸变图像校正方法及其定位方法 | |
CN109752855A (zh) | 一种光斑发射装置和检测几何光斑的方法 | |
CN111080776A (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
CN112017210A (zh) | 目标物体跟踪方法及装置 | |
KR101469099B1 (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
KR101932525B1 (ko) | 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법 | |
KR101019829B1 (ko) | 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치 | |
CN109876417B (zh) | 基于计算机视觉检测技术的羽毛球发球助理裁判系统 | |
CN107087219B (zh) | 人体姿势识别装置 | |
CN111798511A (zh) | 一种棋盘棋子定位方法及装置 | |
JP6533073B2 (ja) | ボール個別位置判別装置 | |
CN106713960B (zh) | 一种基于人脸识别的智能视频监控系统 | |
CN115580716A (zh) | 一种基于实物模块的投影画面输出方法、系统及设备 | |
CN112597929B (zh) | 一种台球位置确定方法和系统 | |
Legg et al. | Intelligent filtering by semantic importance for single-view 3D reconstruction from Snooker video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |