CN107648833A - 一种基于机器视觉的非接触式人机对弈控制方法及系统 - Google Patents
一种基于机器视觉的非接触式人机对弈控制方法及系统 Download PDFInfo
- Publication number
- CN107648833A CN107648833A CN201710833280.8A CN201710833280A CN107648833A CN 107648833 A CN107648833 A CN 107648833A CN 201710833280 A CN201710833280 A CN 201710833280A CN 107648833 A CN107648833 A CN 107648833A
- Authority
- CN
- China
- Prior art keywords
- chessboard
- chess
- image
- images
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F3/00—Board games; Raffle games
- A63F3/00643—Electric board games; Electric features of board games
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F3/00—Board games; Raffle games
- A63F3/00895—Accessories for board games
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F3/00—Board games; Raffle games
- A63F2003/00996—Board games available as video games
Abstract
本发明公开了一种基于机器视觉的非接触式人机对弈控制方法及系统，该方法通过提出人手肤色检测、背景建模、背景差分和棋子位置检测相结合的象棋棋子运动检测方法，实现对棋盘无接触式的检测，获得棋子运动轨迹；该系统由普通中国象棋、uArm四自由度机械臂、吸盘、摄像头、光源以及控制单元构成，整个系统结构简单、操作简便，使得在人机对弈过程中，人在走完己方棋步后无需接触任何按键即可自动触发象棋机器人执行对应的对局棋步动作，实现非接触式的人机对弈，并且在相对复杂的环境下也有较好的稳定性。
Description
技术领域
本发明属于机器视觉检测领域，特别涉及一种基于机器视觉的非接触式人机对弈控制方法及系统。
背景技术
随着机器人技术的发展，机器人的功能越来越丰富。当前，娱乐机器人之一的象棋机器人已成为机器人研究的重要方向。传统的象棋机器人在棋局识别定位方面通常以棋盘作为传感器来识别棋子，这种方法工作量大、场景布置复杂，造成了象棋机器人难以推广，同时，用于象棋机器人人机对弈的方法是通过添加外置传感器，或者增加外置按键作为触发装置。
经查阅相关文献，论文“智能型失误棋盘人机对弈象棋机器人的制作”(黄双，陈路，沈鑫，江兴方)中提出了结合物理学原理，通过磁场变化引起的电压变化来获取棋子移动信息；专利“一种基于实物棋盘人机对弈象棋机器人装置”(江兴方，徐瑞平，陈路等)给棋盘上的每个棋位添加霍尔元件，通过棋子移动带来的电平输出高低不同来获取棋子移动信息；专利“象棋机器人的棋盘识别装置”(林颖，庄剑毅)公开了在象棋棋位上添加电阻与相应的二极管、普通电阻等相关电子器件，通过棋子移动引起的电压电流变化来判断下棋的信息；专利“一种下棋机器人”(丛德宏，孙双福，常皓等)公开了通过添加传感器来记录棋子信息。但是都存在的不足之处具体体现在以下几个方面：
(1)象棋机器人系统中的棋盘或者棋子需要为特制材料，有了一定的局限性；
(2)象棋机器人系统中需要添加额外的传感器或者电子器件和电子线路，增加了系统复杂度和开发成本；
(3)象棋机器人人机对弈智能化程度不高。
发明内容
针对现有象棋机器人人机对弈存在的棋子读取问题，本发明提供了一种基于机器视觉的非接触式象棋机器人控制方法，实现非接触式的人机对弈功能，即：在无需人为干预人机对弈过程控制，实现从检测识别棋步信息到机械臂执行棋子移动的全自动控制过程。
一种基于机器视觉的非接触式人机对弈控制方法，包括以下步骤：
步骤1：构建象棋机器人图像采集单元；
所述图像采集单元包括平面光源和摄像头，将平面光源设置于棋盘一侧，摄像头设置于棋盘正上方，所述摄像头和平面光源均受控于象棋机器人的控制单元；
步骤2：利用图像采集单元实时采集的无人手皮肤的棋盘图像序列构建棋盘背景模型；
步骤3：基于棋盘背景模型，将实时采集的棋盘图像与前一帧棋盘判断图像对比，进行棋子运动检测；
步骤4：若检测到棋子发生运动，则利用两帧图像的差值，确定人脑方的棋子的运动位置，否则，采集下一帧棋盘图像，重复步骤3；
步骤5：将棋子的运动位置传输至象棋机器人控制单元，判断当前棋局是否结束，若结束，则输出当前棋局结束，否则，输出象棋机器人的下一步棋子运动轨迹指令，象棋机器人的手臂执行端依据棋子运动轨迹指令移动棋子，并采集下一组无人手皮肤的棋盘图像序列，重复步骤2，更新棋盘背景模型。
进一步地，所述棋盘背景模型的构建过程如下：
步骤2.1：利用图像采集单元连续采集20帧棋盘图像；
步骤2.2：对所采集20帧棋盘图像进行人手肤色检测，若20帧图像中存在人手皮肤的图像，则继续采集下一组20帧棋盘图像，否则，将当前的20帧棋盘图像作为样本集，得到棋盘背景模型，并将当前的20帧棋盘图像中的首帧作为第一帧棋盘判断图像。
进一步地，所述对所采集20帧棋盘图像进行人手肤色检测的过程如下：
步骤2.2.1：将所采集20帧棋盘图像依次进行滤波预处理和BGR通道分离；
步骤2.2.2：对所有经过BGR通道分离后的图像均进行光照补偿处理；
首先，计算每幅图像的B、G、R三个通道的分量平均值和图像平均灰度avgGray：
其中，n为每幅图像的总像素个数，Bi、Gi、Ri分别表示每幅图像的B、G、R三个通道中第i个像素点的分量值；
其次，再计算平均灰度与各个通道分量值的比值ar、ag、ab；
接着，通过ar、ag、ab调整各个通道分量，得到新的各个通道分量值；
B′＝B*ab，G′＝G*ag，R′＝R*ar；
最后，将得到的新的三个通道图像融合为新的BGR彩色图像，得到经过光照补偿处理后的图像；
步骤2.2.3：将所有光照补偿处理后的图像转换到YCrCb颜色空间进行像素遍历，将满足132<Cr<150且76<Cb<127之间的像素的像素值置为255，不满足的像素的像素值置为0，得到阈值处理后的二值化图像，其中，Cr表示像素色调值，Cb表示像素饱和度；
步骤2.2.4：对二值化图像进行轮廓处理并统计轮廓区域个数，对各个轮廓区域进行面积大小判断，当面积大于400个像素时，表明当前图像中有人手的存在。
为了排除红色棋子的颜色对于人手检测的干扰，因为红色的YCrCb颜色空间分量范围也在132<Cr<150且76<Cb<127之间。
进一步地，所述人脑方的棋子的运动位置的获取过程如下：
步骤3.1：获取前后两帧棋盘判断图像；
步骤3.2：运用Hough圆检测方法对前后两帧棋盘判断图像中进行棋子圆心定位和棋子个数识别；
步骤3.3：比较两帧棋盘判断图像中棋子圆心坐标与棋盘角点坐标，获取两帧棋盘判断图像中棋子在棋盘上的对应位置，令两帧棋盘判断图像中棋盘矩阵有棋子的地方置1，反之置0，得到两帧位置特征图像；
步骤3.4：将两帧位置特征图像相减，判断棋子运动，并获取棋子运动轨迹；
若两帧图像上棋子数量相等，则位置值为-1的地方为棋子起始位置，为1的地方为棋子终止位置；
若两帧图像上棋子数量不相等，对两帧棋盘判断图像进行棋子颜色识别，将红色棋子位置置为2，黑色位置置为1，得到两帧颜色特征图像，再将两帧颜色特征图像相减，则位置值为-1的地方为棋子起始位置，颜色发生变化的地方为棋子终止位置。
进一步地，在进行棋子运动检测前，判断当前采集的实时棋盘图像是否为人脑方开始进行走棋操作对应的图像，具体过程如下：
将实时采集的棋盘图像像素点依次与背景模型中各图像的对应像素点的像素值进行比较，若像素点之间的差值未超过设定第一阈值，则当前实时棋盘图像中的棋子未发生运动变化，继续采集下一帧棋盘图像，直到存在像素点之间的像素值差值超过设定第一阈值，则当前实时棋盘图像中的棋子发生运动。
当前实时棋盘图像中的棋子发生运动，即表明人脑方开始操作棋子；
进一步地，当棋子发生运动后，判断将实时采集的棋盘图像与前一帧棋盘判断图像进行差值比较，判断差值是否超过设定第二阈值，若超过，则继续采集下一帧棋盘图像，判断与前一帧棋盘判断图像之间的差值，否则，将当前棋盘图像作为最新的一帧棋盘判断图像进入棋子运动位置获取过程。
若差值未超过第二阈值，表明当前人脑方操作完成，且人手离开棋盘上方，机器人方可以开始进行下棋操作；
整个运动检测过程是为了找出人脑方棋子运动前的那帧图像和人脑方棋子运动完成后的那帧图像，为棋步检测做准备；是从检测到静止(人手进入之前)到检测到运动(人手正在移动棋子)到检测到静止(人手操作完成)。第一次检测到静止时得到棋子运动前图像，第二次检测到静止时得到棋子运动完成后的图像。
一种基于机器视觉的非接触式人机对弈控制系统，包括棋盘、图像采集单元、机器人手臂执行单元以及控制单元；
所述图像采集单元包括平面光源和摄像头，将平面光源设置于棋盘一侧，摄像头设置于棋盘正上方，所述摄像头、平面光源以及机器人手臂执行单元均受控于控制单元；
所述控制单元采用上述的一种基于机器视觉的非接触式象棋机器人控制方法对图像采集单元采集的图像进行处理后，对机器人手臂执行单元发出控制指令，进行人机对弈控制。
所述机器人手臂执行单元采用uArm四自由度机械臂，且机械臂末端设置有吸盘。
有益效果
与现有技术相比，本发明的优点在于：
(1)系统硬件平台简易
本发明提出的控制系统，只需要利用摄像头实时的图像采集和图像检测得出棋局和棋子的相关信息，无需外加电子元件，更无需特制材料的棋子或棋盘。使得系统不复杂，平台的搭建工作容易完成。
(2)稳定性较强
本发明所提出的控制方法，通过加入人手皮肤检测和背景建模后的运动检测，双重算法检测使得在正常光照情况下人机对弈的视觉处理有较强的稳定性。
(3)智能化程度较高、实时性强
本发明所提出的控制方法，利用摄像头实时的图像采集和图像检测，以及算法的优化处理，使得人机对弈的棋局能够实时的得到计算机处理并迅速得出处理结果，通过视觉检测处理，使得在人机对弈过程中无需外加传感器，机械手即可自动完成对应棋步移动动作。
附图说明
图1为本发明所述控制系统的硬件结构图；
图2为本发明所述控制方法流程总图；
图3是人手肤色检测的具体流程示意图；
图4是背景建模和运动检测的具体流程示意图；
图5是棋步检测的具体流程示意图。
具体实施方式
下面将结合附图和实施例对本发明做进一步地说明。
一种基于机器视觉的非接触式人机对弈控制方法，总体流程如图2所示，包括以下步骤：
步骤1：构建象棋机器人图像采集单元；
所述图像采集单元包括平面光源和摄像头，将平面光源设置于棋盘一侧，摄像头设置于棋盘正上方，所述摄像头和平面光源均受控于象棋机器人的控制单元；
步骤2：利用图像采集单元实时采集的无人手皮肤的棋盘图像序列构建棋盘背景模型，如图3所示；
所述棋盘背景模型的构建过程如下：
步骤2.1：利用图像采集单元连续采集20帧棋盘图像；
步骤2.2：对所采集20帧棋盘图像进行人手肤色检测，若20帧图像中存在人手皮肤的图像，则继续采集下一组20帧棋盘图像，否则，将当前的20帧棋盘图像作为样本集，得到棋盘背景模型，并将当前的20帧棋盘图像中的首帧作为第一帧棋盘判断图像。
所述对所采集20帧棋盘图像进行人手肤色检测的过程如下：
步骤2.2.1：将所采集20帧棋盘图像依次进行滤波预处理和BGR通道分离；
步骤2.2.2：对所有经过BGR通道分离后的图像均进行光照补偿处理；
首先，计算每幅图像的B、G、R三个通道的分量平均值和图像平均灰度avgGray：
其中，n为每幅图像的总像素个数，Bi、Gi、Ri分别表示每幅图像的B、G、R三个通道中第i个像素点的分量值；
其次，再计算平均灰度与各个通道分量值的比值ar、ag、ab；
接着，通过ar、ag、ab调整各个通道分量，得到新的各个通道分量值；
B′＝B*ab，G′＝G*ag，R′＝R*ar；
最后，将得到的新的三个通道图像融合为新的BGR彩色图像，得到经过光照补偿处理后的图像；
步骤2.2.3：将所有光照补偿处理后的图像转换到YCrCb颜色空间进行像素遍历，将满足132<Cr<150且76<Cb<127之间的像素的像素值置为255，不满足的像素的像素值置为0，得到阈值处理后的二值化图像，其中，Cr表示像素色调值，Cb表示像素饱和度；
步骤2.2.4：对二值化图像进行轮廓处理并统计轮廓区域个数，对各个轮廓区域进行面积大小判断，当面积大于400个像素时，表明当前图像中有人手的存在。
步骤3：基于棋盘背景模型，将实时采集的棋盘图像与前一帧棋盘判断图像对比，进行棋子运动检测，如图4所示；
在进行棋子运动检测前，判断当前采集的实时棋盘图像是否为人脑方开始进行走棋操作对应的图像，具体过程如下：
将实时采集的棋盘图像像素点依次与背景模型中各图像的对应像素点的像素值进行比较，若像素点之间的差值未超过设定第一阈值，则当前实时棋盘图像中的棋子未发生运动变化，继续采集下一帧棋盘图像，直到存在像素点之间的像素值差值超过设定第一阈值，则当前实时棋盘图像中的棋子发生运动。
当棋子发生运动后，判断将实时采集的棋盘图像与前一帧棋盘判断图像进行差值比较，判断差值是否超过设定第二阈值，若超过，则继续采集下一帧棋盘图像，判断与前一帧棋盘判断图像之间的差值，否则，将当前棋盘图像作为最新的一帧棋盘判断图像进入棋子运动位置获取过程。
所述人脑方的棋子的运动位置的获取如图5所示，其过程如下：
步骤3.1：获取前后两帧棋盘判断图像；
步骤3.2：运用Hough圆检测方法对前后两帧棋盘判断图像中进行棋子圆心定位和棋子个数识别；
步骤3.3：比较两帧棋盘判断图像中棋子圆心坐标与棋盘角点坐标，获取两帧棋盘判断图像中棋子在棋盘上的对应位置，令两帧棋盘判断图像中棋盘矩阵有棋子的地方置1，反之置0，得到两帧位置特征图像；
步骤3.4：将两帧位置特征图像相减，判断棋子运动，并获取棋子运动轨迹；
若两帧图像上棋子数量相等，则位置值为-1的地方为棋子起始位置，为1的地方为棋子终止位置；
若两帧图像上棋子数量不相等，对两帧棋盘判断图像进行棋子颜色识别，将红色棋子位置置为2，黑色位置置为1，得到两帧颜色特征图像，再将两帧颜色特征图像相减，则位置值为-1的地方为棋子起始位置，颜色发生变化的地方为棋子终止位置。
步骤4：若检测到棋子发生运动，则利用两帧图像的差值，确定人脑方的棋子的运动位置，否则，采集下一帧棋盘图像，重复步骤3；
步骤5：将棋子的运动位置传输至象棋机器人控制单元，判断当前棋局是否结束，若结束，则输出当前棋局结束，否则，输出象棋机器人的下一步棋子运动轨迹指令，象棋机器人的手臂执行端依据棋子运动轨迹指令移动棋子，并采集下一组无人手皮肤的棋盘图像序列，重复步骤2，更新棋盘背景模型。
如图1所示，一种基于机器视觉的非接触式人机对弈控制系统，包括棋盘、图像采集单元、机器人手臂执行单元以及控制单元；
所述图像采集单元包括平面光源和摄像头，将平面光源设置于棋盘一侧，摄像头设置于棋盘正上方，所述摄像头、平面光源以及机器人手臂执行单元均受控于控制单元；
所述控制单元采用上述的一种基于机器视觉的非接触式象棋机器人控制方法对图像采集单元采集的图像进行处理后，对机器人手臂执行单元发出控制指令，进行人机对弈控制。
所述机器人手臂执行单元采用uArm四自由度机械臂，且机械臂末端设置有吸盘。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (8)
1.一种基于机器视觉的非接触式人机对弈控制方法，其特征在于，包括以下步骤：
步骤1：构建象棋机器人图像采集单元；
所述图像采集单元包括平面光源和摄像头，将平面光源设置于棋盘一侧，摄像头设置于棋盘正上方，所述摄像头和平面光源均受控于象棋机器人的控制单元；
步骤2：利用图像采集单元实时采集的无人手皮肤的棋盘图像序列构建棋盘背景模型；
步骤3：基于棋盘背景模型，将实时采集的棋盘图像与前一帧棋盘判断图像对比，进行棋子运动检测；
步骤4：若检测到棋子发生运动，则利用两帧图像的差值，确定人脑方的棋子的运动位置，否则，采集下一帧棋盘图像，重复步骤3；
步骤5：将棋子的运动位置传输至象棋机器人控制单元，判断当前棋局是否结束，若结束，则输出当前棋局结束，否则，输出象棋机器人的下一步棋子运动轨迹指令，象棋机器人的手臂执行端依据棋子运动轨迹指令移动棋子，并采集下一组无人手皮肤的棋盘图像序列，重复步骤2，更新棋盘背景模型。
2.根据权利要求1所述的方法，其特征在于，所述棋盘背景模型的构建过程如下：
步骤2.1：利用图像采集单元连续采集20帧棋盘图像；
步骤2.2：对所采集20帧棋盘图像进行人手肤色检测，若20帧图像中存在人手皮肤的图像，则继续采集下一组20帧棋盘图像，否则，将当前的20帧棋盘图像作为样本集，得到棋盘背景模型，并将当前的20帧棋盘图像中的首帧作为第一帧棋盘判断图像。
3.根据权利要求2所述的方法，其特征在于，所述对所采集20帧棋盘图像进行人手肤色检测的过程如下：
步骤2.2.1：将所采集20帧棋盘图像依次进行滤波预处理和BGR通道分离；
步骤2.2.2：对所有经过BGR通道分离后的图像均进行光照补偿处理；
首先，计算每幅图像的B、G、R三个通道的分量平均值和图像平均灰度avgGray：
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>B</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>&Sigma;</mi>
<mi>B</mi>
<mi>i</mi>
</mrow>
<mi>n</mi>
</mfrac>
<mo>,</mo>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>G</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>&Sigma;</mi>
<mi>G</mi>
<mi>i</mi>
</mrow>
<mi>n</mi>
</mfrac>
<mo>,</mo>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>R</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>&Sigma;</mi>
<mi>R</mi>
<mi>i</mi>
</mrow>
<mi>n</mi>
</mfrac>
<mo>;</mo>
</mrow>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>G</mi>
<mi>r</mi>
<mi>a</mi>
<mi>y</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>B</mi>
<mo>+</mo>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>G</mi>
<mo>+</mo>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>R</mi>
</mrow>
<mn>3</mn>
</mfrac>
<mo>;</mo>
</mrow>
其中，n为每幅图像的总像素个数，Bi、Gi、Ri分别表示每幅图像的B、G、R三个通道中第i个像素点的分量值；
其次，再计算平均灰度与各个通道分量值的比值ar、ag、ab；
<mrow>
<mi>a</mi>
<mi>r</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>G</mi>
<mi>r</mi>
<mi>a</mi>
<mi>y</mi>
</mrow>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>R</mi>
</mrow>
</mfrac>
<mo>,</mo>
<mi>a</mi>
<mi>g</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>G</mi>
<mi>r</mi>
<mi>a</mi>
<mi>y</mi>
</mrow>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>G</mi>
</mrow>
</mfrac>
<mo>,</mo>
<mi>a</mi>
<mi>b</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>G</mi>
<mi>r</mi>
<mi>a</mi>
<mi>y</mi>
</mrow>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
<mi>B</mi>
</mrow>
</mfrac>
</mrow>
接着，通过ar、ag、ab调整各个通道分量，得到新的各个通道分量值；
B′＝B*ab，G′＝G*ag，R′＝R*ar；
最后，将得到的新的三个通道图像融合为新的BGR彩色图像，得到经过光照补偿处理后的图像；
步骤2.2.3：将所有光照补偿处理后的图像转换到YCrCb颜色空间进行像素遍历，将满足132<Cr<150且76<Cb<127之间的像素的像素值置为255，不满足的像素的像素值置为0，得到阈值处理后的二值化图像，其中，Cr表示像素色调值，Cb表示像素饱和度；
步骤2.2.4：对二值化图像进行轮廓处理并统计轮廓区域个数，对各个轮廓区域进行面积大小判断，当面积大于400个像素时，表明当前图像中有人手的存在。
4.根据权利要求3所述的方法，其特征在于，所述人脑方的棋子的运动位置的获取过程如下：
步骤3.1：获取前后两帧棋盘判断图像；
步骤3.2：运用Hough圆检测方法对前后两帧棋盘判断图像中进行棋子圆心定位和棋子个数识别；
步骤3.3：比较两帧棋盘判断图像中棋子圆心坐标与棋盘角点坐标，获取两帧棋盘判断图像中棋子在棋盘上的对应位置，令两帧棋盘判断图像中棋盘矩阵有棋子的地方置1，反之置0，得到两帧位置特征图像；
步骤3.4：将两帧位置特征图像相减，判断棋子运动，并获取棋子运动轨迹；
若两帧图像上棋子数量相等，则位置值为-1的地方为棋子起始位置，为1的地方为棋子终止位置；
若两帧图像上棋子数量不相等，对两帧棋盘判断图像进行棋子颜色识别，将红色棋子位置置为2，黑色位置置为1，得到两帧颜色特征图像，再将两帧颜色特征图像相减，则位置值为-1的地方为棋子起始位置，颜色发生变化的地方为棋子终止位置。
5.根据权利要求1-4任一项所述的方法，其特征在于，在进行棋子运动检测前，判断当前采集的实时棋盘图像是否为人脑方开始进行走棋操作对应的图像，具体过程如下：
将实时采集的棋盘图像像素点依次与背景模型中各图像的对应像素点的像素值进行比较，若像素点之间的差值未超过设定第一阈值，则当前实时棋盘图像中的棋子未发生运动变化，继续采集下一帧棋盘图像，直到存在像素点之间的像素值差值超过设定第一阈值，则当前实时棋盘图像中的棋子发生运动。
6.根据权利要求5所述的方法，其特征在于，当棋子发生运动后，判断将实时采集的棋盘图像与前一帧棋盘判断图像进行差值比较，判断差值是否超过设定第二阈值，若超过，则继续采集下一帧棋盘图像，判断与前一帧棋盘判断图像之间的差值，否则，将当前棋盘图像作为最新的一帧棋盘判断图像进入棋子运动位置获取过程。
7.一种基于机器视觉的非接触式人机对弈控制系统，其特征在于，包括棋盘、图像采集单元、机器人手臂执行单元以及控制单元；
所述图像采集单元包括平面光源和摄像头，将平面光源设置于棋盘一侧，摄像头设置于棋盘正上方，所述摄像头、平面光源以及机器人手臂执行单元均受控于控制单元；
所述控制单元采用权利要求1-6任一项所述的一种基于机器视觉的非接触式象棋机器人控制方法对图像采集单元采集的图像进行处理后，对机器人手臂执行单元发出控制指令，进行人机对弈控制。
8.根据权利要求7所述的系统，其特征在于，所述机器人手臂执行单元采用uArm四自由度机械臂，且机械臂末端设置有吸盘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710833280.8A CN107648833B (zh) | 2017-09-15 | 2017-09-15 | 一种基于机器视觉的非接触式人机对弈控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710833280.8A CN107648833B (zh) | 2017-09-15 | 2017-09-15 | 一种基于机器视觉的非接触式人机对弈控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107648833A true CN107648833A (zh) | 2018-02-02 |
| CN107648833B CN107648833B (zh) | 2019-11-19 |
Family
ID=61130175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710833280.8A Active CN107648833B (zh) | 2017-09-15 | 2017-09-15 | 一种基于机器视觉的非接触式人机对弈控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107648833B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108671534A (zh) * | 2018-05-21 | 2018-10-19 | 湖南大学 | 一种基于目标轮廓与骨架特征的机器人象棋开局摆棋方法和系统 |
| CN109173234A (zh) * | 2018-09-15 | 2019-01-11 | 刘井敏 | 智能棋盘 |
| CN109227555A (zh) * | 2018-09-18 | 2019-01-18 | 浙江工业大学 | 一种用于Quoridor对弈的智能机器人 |
| CN109432759A (zh) * | 2018-10-31 | 2019-03-08 | 中央民族大学 | 实现八皇后棋子摆放的方法及装置 |
| CN111136669A (zh) * | 2020-01-17 | 2020-05-12 | 沈阳航空航天大学 | 一种基于全局视觉的下棋机器人及其控制方法 |
| CN112180377A (zh) * | 2020-09-22 | 2021-01-05 | 湖南大学 | 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质 |
| CN113427489A (zh) * | 2021-08-06 | 2021-09-24 | 佛山隆深机器人有限公司 | 一种基于下棋工作台的机械手下棋控制规划方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7780513B2 (en) * | 2007-03-02 | 2010-08-24 | National Taiwan University Of Science And Technology | Board game system utilizing a robot arm |
| CN102915543A (zh) * | 2012-09-12 | 2013-02-06 | 西安电子科技大学 | 基于提取函数和三通道分离的人物运动变化检测方法 |
| CN106313019A (zh) * | 2015-07-30 | 2017-01-11 | 江苏华明科教设备有限公司 | 一种象棋游戏机器人及其工作方法 |
| CN106422295A (zh) * | 2016-09-27 | 2017-02-22 | 珠海格力智能装备有限公司 | 对弈难度等级的处理方法及装置、机器人 |
| CN106426165A (zh) * | 2016-09-29 | 2017-02-22 | 陕西科技大学 | 一种人机对弈五子棋机器人控制方法 |
| CN106924961A (zh) * | 2017-04-01 | 2017-07-07 | 哈尔滨工业大学 | 一种智能象棋对弈控制方法及系统 |
-
2017
- 2017-09-15 CN CN201710833280.8A patent/CN107648833B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7780513B2 (en) * | 2007-03-02 | 2010-08-24 | National Taiwan University Of Science And Technology | Board game system utilizing a robot arm |
| CN102915543A (zh) * | 2012-09-12 | 2013-02-06 | 西安电子科技大学 | 基于提取函数和三通道分离的人物运动变化检测方法 |
| CN106313019A (zh) * | 2015-07-30 | 2017-01-11 | 江苏华明科教设备有限公司 | 一种象棋游戏机器人及其工作方法 |
| CN106422295A (zh) * | 2016-09-27 | 2017-02-22 | 珠海格力智能装备有限公司 | 对弈难度等级的处理方法及装置、机器人 |
| CN106426165A (zh) * | 2016-09-29 | 2017-02-22 | 陕西科技大学 | 一种人机对弈五子棋机器人控制方法 |
| CN106924961A (zh) * | 2017-04-01 | 2017-07-07 | 哈尔滨工业大学 | 一种智能象棋对弈控制方法及系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108671534A (zh) * | 2018-05-21 | 2018-10-19 | 湖南大学 | 一种基于目标轮廓与骨架特征的机器人象棋开局摆棋方法和系统 |
| CN108671534B (zh) * | 2018-05-21 | 2020-10-02 | 湖南大学 | 一种基于目标轮廓与骨架特征的机器人象棋开局摆棋方法和系统 |
| CN109173234A (zh) * | 2018-09-15 | 2019-01-11 | 刘井敏 | 智能棋盘 |
| CN109227555A (zh) * | 2018-09-18 | 2019-01-18 | 浙江工业大学 | 一种用于Quoridor对弈的智能机器人 |
| CN109432759A (zh) * | 2018-10-31 | 2019-03-08 | 中央民族大学 | 实现八皇后棋子摆放的方法及装置 |
| CN111136669A (zh) * | 2020-01-17 | 2020-05-12 | 沈阳航空航天大学 | 一种基于全局视觉的下棋机器人及其控制方法 |
| CN111136669B (zh) * | 2020-01-17 | 2022-09-20 | 沈阳航空航天大学 | 一种基于全局视觉的下棋机器人及其控制方法 |
| CN112180377A (zh) * | 2020-09-22 | 2021-01-05 | 湖南大学 | 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质 |
| CN112180377B (zh) * | 2020-09-22 | 2023-07-14 | 湖南大学 | 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质 |
| CN113427489A (zh) * | 2021-08-06 | 2021-09-24 | 佛山隆深机器人有限公司 | 一种基于下棋工作台的机械手下棋控制规划方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107648833B (zh) | 2019-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107648833A (zh) | 一种基于机器视觉的非接触式人机对弈控制方法及系统 | |
| US7515734B2 (en) | Device, system and method for determining compliance with a positioning instruction by a figure in an image | |
| US9460339B2 (en) | Combined color image and depth processing | |
| US8611587B2 (en) | Device, system and method for determining compliance with an instruction by a figure in an image | |
| CN1324529C (zh) | 对场景中的物体进行分类的系统及其方法 | |
| CN106886216B (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和系统 | |
| CN103345644B (zh) | 在线训练的目标检测方法及装置 | |
| CN106909911A (zh) | 图像处理方法、图像处理装置和电子装置 | |
| US20080101693A1 (en) | Video image based tracking system for identifying and tracking encoded color surface | |
| CN109045676B (zh) | 一种象棋识别学习算法和基于该算法的机器人智动化系统与方法 | |
| CN110347266B (zh) | 一种基于机器视觉的空间手势控制装置 | |
| JP4313758B2 (ja) | ステレオ画像中のエッジを結び付けてチェインにする方法 | |
| JP2001101429A (ja) | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 | |
| Xu et al. | Integrated approach of skin-color detection and depth information for hand and face localization | |
| CN110378946A (zh) | 深度图处理方法、装置以及电子设备 | |
| CN106650628B (zh) | 一种基于三维k曲率的指尖检测方法 | |
| Neufeld et al. | Probabilistic location of a populated chessboard using computer vision | |
| JP4390487B2 (ja) | 頭部領域抽出装置 | |
| CN106484081A (zh) | 一种基于计算机视觉的五子棋人机对弈的解决方案 | |
| KR101744863B1 (ko) | 영상을 이용한 2차원 감성 추정 방법 및 시스템 | |
| Martins et al. | Poker vision: Playing cards and chips identification based on image processing | |
| Hadi et al. | Fusion of thermal and depth images for occlusion handling for human detection from mobile robot | |
| Wang et al. | Human behavior imitation for a robot to play table tennis | |
| CN109961010A (zh) | 一种基于智能机器人的手势识别方法 | |
| CN107977675A (zh) | 一种视觉模板自动提取方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |