CN112507926B - 一种基于视频图像分析的围棋复盘方法 - Google Patents

一种基于视频图像分析的围棋复盘方法 Download PDF

Info

Publication number
CN112507926B
CN112507926B CN202011488341.XA CN202011488341A CN112507926B CN 112507926 B CN112507926 B CN 112507926B CN 202011488341 A CN202011488341 A CN 202011488341A CN 112507926 B CN112507926 B CN 112507926B
Authority
CN
China
Prior art keywords
image
frame
chessboard
chess
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011488341.XA
Other languages
English (en)
Other versions
CN112507926A (zh
Inventor
孟继成
李秘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011488341.XA priority Critical patent/CN112507926B/zh
Publication of CN112507926A publication Critical patent/CN112507926A/zh
Application granted granted Critical
Publication of CN112507926B publication Critical patent/CN112507926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • A63F3/02—Chess; Similar board games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频图像分析的围棋复盘方法。该方法包括采集对弈时的棋盘视频图像；基于采集的视频图像识别棋盘位置；判断图像是否有手部遮挡，若是，则舍弃该帧图像，基于识别的棋盘位置识别各帧图像棋子位置；基于识别的各帧图像棋子位置完成复盘。本发明为了解决现有技术中通过视频图像来进行围棋复盘的方法会被棋手手部所干扰和存在误识别现象的问题，提供了一种添加了人手检测功能的新型视频图像分析围棋复盘方法，排除了包含人手的图像帧，同时在完成复盘过程时还通过规则来判断并纠正了误识别现象，相较于现有技术具有更高的准确度。

Description

一种基于视频图像分析的围棋复盘方法
技术领域
本发明涉及一种围棋复盘方法，尤其涉及一种基于视频图像分析的围棋复盘方法。
背景技术
围棋，一种策略型两人棋类游戏。流行于东亚国家(中、日、韩、朝)，属琴棋书画四艺之一。围棋起源于中国，传为帝尧所作，春秋战国时期即有记载。隋唐时经朝鲜传入日本，流传到欧美各国。围棋蕴含着中华文化的丰富内涵，它是中国文化与文明的体现。
复盘，围棋术语，也称“复局”，指对局完毕后，复演该盘棋的记录，以检查对局中招法的优劣与得失关键。一般用以自学，或请高手给予指导分析。如按照棋谱排演，类如复盘，称“打谱”或、“研阅棋谱”。下围棋的高手都有复盘的习惯。复盘就是每次博弈结束以后，双方棋手把刚才的对局再重复一遍，这样可以有效地加深对这盘对弈的印象，也可以找出双方攻守的漏洞，是提高自己水平的好方法。棋手平时在训练的时候大多数时间并不是在和别人搏杀，而应该把大量的时间用在复盘上。复盘就是把当时“走”的表面的过程重复一遍，从内容上看，可以对双方的心理活动有一个比较全面的把握。
传统的复盘方法采用人工记录的方式进行，人工成本和出错率较高，因此产生了通过视频图像识别分析来进行围棋复盘的方法，但现有技术中通过视频图像进行围棋复盘的方法存在会受棋手手部影响和存在误识别的问题，准确率并不高。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于视频图像分析的围棋复盘方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于视频图像分析的围棋复盘方法，包括以下步骤：
S1、采集对弈时的棋盘视频图像；
S2、基于步骤S1采集的视频图像识别棋盘位置；
S3、判断图像是否有手部遮挡，若是，则舍弃该帧图像，否则执行步骤S4；
S4、基于步骤S2识别的棋盘位置识别各帧图像棋子位置；
S5、基于步骤S4识别的各帧图像棋子位置完成复盘。
本发明具有以下有益效果：在通过视频图像进行围棋复盘的过程中加入了人手检测和规则纠正功能，避免了棋手下棋时手部被摄像头拍到和误识别影响复盘结果的准确性，提高了通过视频图像进行围棋复盘的准确率，具有实用性。
优选地，步骤S2包括以下分步骤：
S21、从步骤S1采集的视频图像中获取一张对弈前空白棋盘的图像，对该图像进行二值化处理；
S22、通过形态学操作腐蚀膨胀消除网格线，得到各星点位置；
S23、取中心的星点位置为整个棋盘的中心坐标，根据左上角和右下角的星点坐标计算出棋盘每一小格的宽和高，根据中心坐标和棋盘每一小格的宽和高定位整个棋盘的所有交点位置坐标。
该优选方案具有以下有益效果：定位了棋盘各交点的位置，便于对后续图像中各交点是否下有棋子进行分析处理。
优选地，步骤S3中采用基于帧差法的运动检测法判断当前图像是否有手部遮挡，该方法包括以下步骤：
S311、根据视频图像序列中前一帧Fk-1和后一帧FK对应所有像素点的灰度值计算得到各像素点灰度差Dk(x,y)，各像素点灰度差Dk(x,y)计算公式为：
Dk(x,y)＝|Fk(x,y)-Fk-1(x,y)|
其中Dk(x,y)为两帧图像中坐标值为(x,y)的像素点灰度差，Fk(x,y)为后一帧中坐标值为(x,y)的像素点对应灰度值，Fk-1(x,y)为前一帧中坐标值为(x,y)的像素点对应灰度值；
S312、设定阈值T，对灰度差进行二值化处理得到二值化像素点Rk(x,y)，处理过程为：
Figure BDA0002839995590000031
集合二值化像素点Rk(x,y)，得到二值化图像Rk，其中，灰度值为0的点视为背景，灰度值为255的点视为运动物体。
S313、对二值化图像Rk中的所有像素值求和，若和大于预设阈值M，则判定此两帧图像存在手部遮挡。
该优选方案具有以下有益效果：采用帧差法使用当前图像与前一帧图像进行比较即可快捷有效的得出运动物体形状从而判断当前图像是否存在手部遮挡。
优选地，步骤S3中采用基于FCN语义分割检测法判断当前图像是否有手部遮挡，该方法包括以下步骤：
S321、输入原始图像；
S322、原始图像通过第一个卷积层和池化层计算得到pool1；
S323、pool1通过第二个卷积层和池化层计算得到pool2；
S324、pool2通过第三个卷积层和池化层计算得到pool3；
S325、pool3通过第四个卷积层和池化层计算得到pool4；
S326、pool4通过第五个卷积层和池化层计算得到pool5；
S327、pool5通过第6个卷积层计算得到conv6；
S328、将conv6四倍上采样、pool4二倍上采样和pool3进行融合再八倍上采样得到最后的预测结果图FCN_8S。
S329、对预测结果图FCN_8S中的所有像素值求和，若和大于预设阈值M，则判定此帧图像存在手部遮挡。
该优选方案具有以下有益效果：FCN全卷积神经网络可以接受任意尺寸的输入图像，并采用多层融合的手段将浅层的局部特征与深层的全局特征进行融合，最后反卷积得到与输入图像尺寸一致的输出图像。
优选地，步骤S322到步骤S327中的卷积计算公式为：
Figure BDA0002839995590000041
其中X为输入矩阵，Y为卷积后的输出矩阵，k为卷积核大小，W为卷积核，(i,j)为矩阵中的坐标，m和n为计算过程变量。
该优选方案具有以下有益效果：卷积计算方法简单方便。
优选地，步骤S4包括以下分步骤：
S41、将各帧的视频图像由RGB色彩空间转换到HSV色彩空间；
S42、求取各帧图像中以步骤S23确定的棋盘所有交点为中心，二分之一网格宽度为半径的圆形区域HSV值；
S43、根据各帧图像中各交点区域HSV值判断该交点为黑子、白子或无子状态及其状态转化。
该优选方案具有以下有益效果：HSV色彩空间较RGB色彩空间对颜色的区分更加友好。
优选地，步骤S5包括以下分步骤：
S51、若出现在一种棋子没有增加的情况下另一种棋子中的一个从一个交点转移到另一个交点，舍弃其在之前交点的图像；
S52、若识别到同时增加两种不同的棋子，判断下一副图像中增加的棋子是否还存在，如果存在，保留该图像，否则舍弃该图像。
S53、若识别到某棋子在某幅图像消失后又在下一副图像出现，舍弃该棋子消失的图像。
S54、舍弃掉相应图像后根据时间顺序排列剩余各帧图像完成复盘。
该优选方案具有以下有益效果：在完成复盘前还提供了规则纠正功能防止了通过视频图像进行围棋复盘过程中误识别现象的发生，提高了复盘准确率。
附图说明
图1是本发明的流程示意图；
图2是用于定位棋盘的对弈前空白棋盘图像；
图3是定位完成后的棋盘示意图；
图4是帧差法流程示意图；
图5是帧差法判断运动物体的实例示意图；
图6是FCN网络结构示意图；
图7是规则纠正情况1示意图；
图8是规则纠正情况2示意图；
图9是规则纠正情况3示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参照图1，本发明提供了一种基于视频图像分析的围棋复盘方法，该方法包括以下步骤：
S1、采集对弈时的棋盘视频图像；
该步骤采集的视频图像应为对弈前的空白棋盘到对弈结束的棋盘这个过程时间中的所有图像，采集方法为用摄像头放于棋盘上方正对棋盘进行录像。
S2、基于步骤S1采集的视频图像识别棋盘位置；
本发明实施例中，步骤S2包括以下分步骤：
S21、从步骤S1采集的视频图像中获取一张对弈前空白棋盘的图像，如图2所示，对该图像二值化处理，只保留黑色网格线和星点区域；
S22、通过形态学操作腐蚀膨胀消除网格线只保留星点区域，得到各星点位置；
S23、取中心的星点位置为整个棋盘的中心坐标，根据左上角和右下角的星点坐标计算出棋盘每一小格的宽和高，根据中心坐标和棋盘每一小格的宽和高定位整个棋盘的所有交点位置坐标。
围棋棋盘是一个19X19的纵横交错的网格线组成，共有361个交点，在棋盘中有9个特殊的点称为星点，本发明就是基于这9个星点为特征点定位棋盘的，定位后的棋盘示意图请参照图3。
S3、判断图像是否有手部遮挡，若是，则舍弃该帧图像，否则执行步骤S4；
在识别棋子的过程中，人手经常会出现在视频画面中导致遮挡一部分棋子，导致识别的结果不正确。所以本发明采取检测视频棋盘区域中是否有人手存在，如果有人手存在就不对该帧图像进行识别，直到该帧图像中没有手。
本发明实施例中，步骤S3中采用基于帧差法的运动检测法判断当前图像是否有手部遮挡，请参照图4，该方法包括以下步骤：
S311、根据视频图像序列中前一帧Fk-1和后一帧FK对应所有像素点的灰度值计算得到各像素点灰度差Dk(x,y)，各像素点灰度差Dk(x,y)计算公式为：
Dk(x,y)＝|Fk(x,y)-Fk-1(x,y)|
其中Dk(x,y)为两帧图像中坐标值为(x,y)的像素点灰度差，Fk(x,y)为后一帧中坐标值为(x,y)的像素点对应灰度值，Fk-1(x,y)为前一帧中坐标值为(x,y)的像素点对应灰度值；
S312、设定阈值T，对灰度差进行二值化处理得到二值化像素点Rk(x,y)，处理过程为：
Figure BDA0002839995590000071
集合二值化像素点Rk(x,y)，得到二值化图像Rk，其中，灰度值为0的点视为背景，灰度值为255的点视为运动物体。
请参照图5，用帧差法处理一只动物的运动视频，左边和中间为一只动物运动视频中的相邻两帧，右边是两帧做差再阈值化后的图像，这样就能得到视频中的运动物体的轮廓。
S313、对二值化图像Rk中的所有像素值求和，若和大于预设阈值M(M取值一般为100000)，则判定此两帧图像存在手部遮挡。
本发明实施例中，步骤S3中采用基于FCN语义分割检测法判断当前图像是否有手部遮挡，请参照图6，该方法包括以下步骤：
S321、输入原始图像；
S322、原始图像通过第一个卷积层和池化层计算得到pool1；
S323、pool1通过第二个卷积层和池化层计算得到pool2；
S324、pool2通过第三个卷积层和池化层计算得到pool3；
S325、pool3通过第四个卷积层和池化层计算得到pool4；
S326、pool4通过第五个卷积层和池化层计算得到pool5；
S327、pool5通过第6个卷积层计算得到conv6；
S328、将conv6四倍上采样、pool4二倍上采样和pool3进行融合再八倍上采样得到最后的预测结果图FCN_8S。
FCN_8S的计算公式如下：
FCN_8S＝8x_upsampled(pool3+2x_upsampled(pool4)
+4x_upsampled(conv6))
其中upsampled为上采样。
S329、对预测结果图FCN_8S中的所有像素值求和，若和大于预设阈值M(M取值一般为100000)，则判定此帧图像存在手部遮挡。
FCN全卷积神经网络主要用于语义分割场景，该网络是像素级别的分割。该网络与CNN卷积神经网络最大的不同之处就是它可以接受任意尺寸的输入图像，而CNN只能接受固定输入大小的图像。CNN卷积神经网络只能对一个图像进行单一的分类任务，而FCN通过将CNN卷积神经网络的最后一层全连接层替换为反卷积层，并采用多层融合的手段将浅层的局部特征与深层的全局特征进行融合，最后反卷积得到与输入图像尺寸一致的输出图像。
卷积前后的尺寸变换为：
Figure BDA0002839995590000081
其中M为卷积后的边长大小，N为原图像大小，Padding为填充数，kernal为卷积核大小，stride为移动步长。
本发明实施例中，步骤S322到步骤S327中的卷积计算公式为：
Figure BDA0002839995590000082
其中X为输入矩阵，Y为卷积后的输出矩阵，k为卷积核大小，W为卷积核，(i,j)为矩阵中的坐标，m和n为计算过程变量。
当一个普通深度的网络计算一个普通的非线性函数，一个网络只有这种形式的层计算非线性滤波，我们称之为深度滤波或全卷积网络。FCN理应可以计算任意尺寸的输入并产生相应的输出。一个实值损失函数有FCN定义了task。如果损失函数是一个最后一层的空间维度总和：
Figure BDA0002839995590000091
他的梯度将是他的每层空间组成空间总和。
S4、基于步骤S2识别的棋盘位置识别各帧图像棋子位置；
本发明实施例中，步骤S4包括以下分步骤：
S41、将各帧视频图像由RGB色彩空间转换到HSV色彩空间；
围棋的棋子分为黑棋和白棋，一般的摄像头采集到的视频图像是RGB色彩空间的，而RGB色彩空间对颜色的区分不够友好，所以本发明是将获取到的视频由RGB色彩空间转换到HSV色彩空间进行识别检测。
S42、求取各帧图像中以步骤S23确定的棋盘所有交点为中心，二分之一网格宽度为半径的圆形区域HSV值；
S43、根据各帧图像中各交点区域HSV值判断该交点为黑子、白子或无子状态及其状态转化。
HSV的颜色范围参考表如下：
Figure BDA0002839995590000092
表1.HSV颜色范围参考表
从表1中可看出，黑色的HSV颜色空间范围为(0，0，0)到(180，255，46)，白色的HSV颜色空间范围为(0，0，221)到(180，30，255)，若各交点所在圆形区域的HSV均值处于此区域则可判断该交点为黑子状态或白子状态，否则该交点为无子状态。
S5、基于步骤S4识别的各帧图像棋子位置完成复盘。
根据以上方法能在绝大多数情况下正确识别棋盘中的棋子，但是在少部分情况下可能会出现误识别的现象，所以在完成复盘时还需通过规则纠正来判断是否出现了误识别，以及纠正误识别。
本发明实施例中，步骤S5包括以下分步骤：
S51、若出现在一种棋子没有增加的情况下另一种棋子中的一个从一个交点转移到另一个交点，舍弃其在之前交点的图像；
请参照图7，下棋过程中由于运动检测排除人手的不足，导致棋子在下的过程中被识别到了(图7中间1号棋子)，当由左图到中间图棋子增加时，判断中间图中增加的棋子(1号)在后续图中是否还存在，如果不存在则舍弃该图。
S52、若识别到同时增加两种不同的棋子，判断下一副图像中增加的棋子是否还存在，如果存在，保留该图像，否则舍弃该图像。
请参照图8，下棋过程中由于一方下完手还没有完全收回去，另一方就开始落子，导致识别到增加两颗棋子；判断在下一辐图中增加的棋子是否还存在，如果存在，则保留该图。
S53、若识别到某棋子在某幅图像消失后又在下一副图像出现，舍弃该棋子消失的图像。
请参照图9，下棋中由于手的遮挡问题(运动检测并不能完全去除有手的图像)导致出现中间图中某些棋子未识别出；基于中间图判断相对于上一幅图减少的棋子，查看在下一幅中该棋子是否存在，如果存在，舍弃该幅图。(区别于吃子情况，吃子情况也是在某个时刻突然就有棋子消失，但不会像上图所示在下一幅图中又会出现)。
S54、舍弃掉相应图像后根据时间顺序排列剩余各帧图像完成复盘。
综上所述，本发明提供了一种基于视频图像分析的围棋复盘方法，通过采集对弈前的空白棋盘图像确定棋盘各交点位置，判断采集的各时间段图像是否被手部遮挡，舍弃被手部遮挡的图像，确定各时间段棋盘上各交点的落子情况，进行规则纠正舍弃误识别图像，根据识别的各时间段图像落子状态按照时间顺序排列即可完成复盘过程，本发明提供的围棋复盘方式方便简单，准确率高，具有实用性。
本领域的普通技术人员将会意识到，这里所描述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.一种基于视频图像分析的围棋复盘方法，其特征在于，包括以下步骤：
S1、采集对弈时的棋盘视频图像；
S2、基于所述步骤S1采集的视频图像识别棋盘位置；
S3、判断图像是否有手部遮挡，若是，则舍弃该帧图像，否则执行步骤S4；具体采用基于帧差法的运动检测法判断当前图像是否有手部遮挡，包括以下分步骤：
S311、根据视频图像序列中前一帧Fk-1和后一帧FK对应所有像素点的灰度值计算得到各像素点灰度差Dk(x，y)，各像素点灰度差Dk(x，y)计算公式为：
Dk(x，y)＝|Fk(x，y)-Fk-1(x，y)|
其中Dk(x，y)为两帧图像中坐标值为(x，y)的像素点灰度差，Fk(x，y)为后一帧中坐标值为(x，y)的像素点对应灰度值，Fk-1(x，y)为前一帧中坐标值为(x，y)的像素点对应灰度值；
S312、设定阈值T，对灰度差进行二值化处理得到二值化像素点Rk(x，y)，处理过程为：
Figure FDA0003649596840000011
集合二值化像素点Rk(x，y)，得到二值化图像Rk，其中，灰度值为0的点视为背景，灰度值为255的点视为运动物体；
S313、对二值化图像Rk中的所有像素值求和，若和大于预设阈值M，则判定此两帧图像存在手部遮挡；
S4、基于所述步骤S2识别的棋盘位置识别各帧图像棋子位置；
S5、基于所述步骤S4识别的各帧图像棋子位置完成复盘，包括以下分步骤：
S51、若出现在一种棋子没有增加的情况下另一种棋子中的一个从一个交点转移到另一个交点，舍弃其在之前交点的图像；
S52、若识别到同时增加两种不同的棋子，判断下一帧图像中增加的棋子是否还存在，如果存在，保留该图像，否则舍弃该图像；
S53、若识别到某棋子在某幅图像消失后又在下一帧图像出现，舍弃该棋子消失的图像；
S54、舍弃掉相应图像后根据时间顺序排列剩余各帧图像完成复盘。
2.如权利要求1所述的一种基于视频图像分析的围棋复盘方法，其特征在于，所述步骤S2包括以下分步骤：
S21、从所述步骤S1采集的视频图像中获取一张对弈前空白棋盘的图像，对该图像进行二值化处理；
S22、通过形态学操作腐蚀膨胀消除网格线，得到各星点位置；
S23、取中心的星点位置为整个棋盘的中心坐标，根据左上角和右下角的星点坐标计算出棋盘每一小格的宽和高，根据中心坐标和棋盘每一小格的宽和高定位整个棋盘的所有交点位置坐标。
3.如权利要求2所述的一种基于视频图像分析的围棋复盘方法，其特征在于，所述步骤S3中采用基于FCN语义分割检测法判断当前图像是否有手部遮挡，该方法包括以下步骤：
S321、输入原始图像；
S322、原始图像通过第一个卷积层和池化层计算得到pool1；
S323、pool1通过第二个卷积层和池化层计算得到pool2；
S324、pool2通过第三个卷积层和池化层计算得到pool3；
S325、pool3通过第四个卷积层和池化层计算得到pool4；
S326、pool4通过第五个卷积层和池化层计算得到pool5；
S327、pool5通过第6个卷积层计算得到conv6；
S328、将conv6四倍上采样、pool4二倍上采样和pool3进行融合再八倍上采样得到最后的预测结果图FCN_8S；
S329、对预测结果图FCN_8S中的所有像素值求和，若和大于预设阈值M，则判定此帧图像存在手部遮挡。
4.如权利要求3所述的一种基于视频图像分析的围棋复盘方法，其特征在于，所述步骤S322到步骤S327中卷积层的卷积计算公式为：
Figure FDA0003649596840000031
其中X为输入矩阵，Y为卷积后的输出矩阵，k为卷积核大小，W为卷积核，(i,j)为矩阵中的坐标，m和n为计算过程变量。
5.如权利要求1或3所述的一种基于视频图像分析的围棋复盘方法，其特征在于，所述步骤S4包括以下分步骤：
S41、将各帧的视频图像由RGB色彩空间转换到HSV色彩空间；
S42、求取各帧图像中以所述步骤S23确定的棋盘所有交点为中心，二分之一网格宽度为半径的圆形区域HSV值；
S43、根据各帧图像中各交点区域HSV值判断该交点为黑子、白子或无子状态及其状态转化。
CN202011488341.XA 2020-12-16 2020-12-16 一种基于视频图像分析的围棋复盘方法 Active CN112507926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011488341.XA CN112507926B (zh) 2020-12-16 2020-12-16 一种基于视频图像分析的围棋复盘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011488341.XA CN112507926B (zh) 2020-12-16 2020-12-16 一种基于视频图像分析的围棋复盘方法

Publications (2)

Publication Number Publication Date
CN112507926A CN112507926A (zh) 2021-03-16
CN112507926B true CN112507926B (zh) 2022-07-01

Family

ID=74972750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011488341.XA Active CN112507926B (zh) 2020-12-16 2020-12-16 一种基于视频图像分析的围棋复盘方法

Country Status (1)

Country Link
CN (1) CN112507926B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114425773B (zh) * 2021-11-18 2024-03-26 南京师范大学 基于深度学习及龙芯派的对弈机器人系统及其对弈方法
CN114734456A (zh) * 2022-03-23 2022-07-12 深圳市商汤科技有限公司 摆棋方法、装置、电子设备、对弈机器人及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7286689B2 (en) * 2003-06-07 2007-10-23 Hewlett-Packard Development Company, L.P. Motion estimation for compression of calibrated multi-view image sequences
US9304743B1 (en) * 2014-06-03 2016-04-05 The Mathworks, Inc. Converting from incorrect program code to correct program code
CN107506701A (zh) * 2017-08-08 2017-12-22 大连万和海拓文化体育产业有限公司 一种基于视频识别技术的围棋自动记谱方法
CN109002801A (zh) * 2018-07-20 2018-12-14 燕山大学 一种基于视频监控的人脸遮挡检测方法及系统
WO2019080229A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 基于机器视觉的棋子定位方法、系统、存储介质及机器人

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US9390329B2 (en) * 2014-04-25 2016-07-12 Xerox Corporation Method and system for automatically locating static occlusions
US11587304B2 (en) * 2017-03-10 2023-02-21 Tusimple, Inc. System and method for occluding contour detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7286689B2 (en) * 2003-06-07 2007-10-23 Hewlett-Packard Development Company, L.P. Motion estimation for compression of calibrated multi-view image sequences
US9304743B1 (en) * 2014-06-03 2016-04-05 The Mathworks, Inc. Converting from incorrect program code to correct program code
CN107506701A (zh) * 2017-08-08 2017-12-22 大连万和海拓文化体育产业有限公司 一种基于视频识别技术的围棋自动记谱方法
WO2019080229A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN109002801A (zh) * 2018-07-20 2018-12-14 燕山大学 一种基于视频监控的人脸遮挡检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Adaptive Fusion of RGBD Data for two-stream FCN-based Level Set Tracking";Yang Jie 等;《2019 IEEE Visual Communications and Image Processing》;20200123;1-4 *
"Two dimensional PCA using matrix volume measure in face recognition";Meng Jicheng;《光电工程》;20071015;第34卷(第10期);83-87 *
"基于帧差法与Mean-shift算法相结合的";张赛钰;《上海交通大学学报》;20161028;第50卷(第10期);1605-1608 *
"运动目标检测(2)—帧间差分法";斩铁剑圣;《https://zhuanlan.zhihu.com/p/42940310》;20180825;1-8 *

Also Published As

Publication number Publication date
CN112507926A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
WO2020151489A1 (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
CN112507926B (zh) 一种基于视频图像分析的围棋复盘方法
CN107019901B (zh) 基于图像识别及自动化控制的棋牌类游戏自动博弈机器人的建立方法
CN110210360B (zh) 一种基于视频图像目标识别的跳绳计数方法
WO2017128605A1 (zh) 一种教育玩具套件及其基于hsv的魔方颜色识别方法
CN107506701B (zh) 一种基于视频识别技术的围棋自动记谱方法
CN111626284B (zh) 一种手写字体去除的方法、装置、电子设备和存储介质
CN111161313B (zh) 一种视频流中的多目标追踪方法及装置
CN110472625B (zh) 一种基于傅里叶描述子的象棋棋子视觉识别方法
CN115063421B (zh) 极片区域检测方法及系统及装置及介质及缺陷检测方法
WO2017128604A1 (zh) 一种教育玩具套件及其基于形状匹配的魔方检测定位方法
CN107392157B (zh) 一种基于机器视觉的中国象棋比赛智能虚拟直播方法
JP2010522926A (ja) 色分割および形状解析によってサッカービデオの関心対象を検出するための方法と装置
CN111696057B (zh) 一种深度图像去噪方法及装置
CN107154058B (zh) 一种引导使用者还原魔方的方法
CN108875623B (zh) 一种基于图像特征融合对比技术的人脸识别方法
CN111062331B (zh) 图像的马赛克检测方法、装置、电子设备及存储介质
JP2007034733A (ja) 対象物領域検出装置、方法およびプログラム
CN112949464A (zh) 基于人脸三维形状的换脸伪造检测方法、系统及设备
CN111667509B (zh) 目标与背景颜色相似下的运动目标自动跟踪方法及系统
Gao et al. Design of an efficient multi-objective recognition approach for 8-ball billiards vision system
CN112597868A (zh) 基于无定位点的试卷识别和矫正方法
JP4181313B2 (ja) シーン内容情報付加装置及びシーン内容情報付加プログラム
CN105844641A (zh) 一种动态环境下的自适应阈值分割方法
CN115984178A (zh) 伪造图像检测方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant