CN117063209A - 用于跟踪游戏活动的系统和方法 - Google Patents

用于跟踪游戏活动的系统和方法 Download PDF

Info

Publication number
CN117063209A
CN117063209A CN202180055170.8A CN202180055170A CN117063209A CN 117063209 A CN117063209 A CN 117063209A CN 202180055170 A CN202180055170 A CN 202180055170A CN 117063209 A CN117063209 A CN 117063209A
Authority
CN
China
Prior art keywords
camera
game
network
physical
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180055170.8A
Other languages
English (en)
Inventor
A·布尔萨茨基
V·卡赞
A·凯宾斯基
A·G·斯托尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARB Labs Inc
Original Assignee
ARB Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ARB Labs Inc filed Critical ARB Labs Inc
Publication of CN117063209A publication Critical patent/CN117063209A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3225—Data transfer within a gaming system, e.g. data sent between gaming machines and users
    • G07F17/3232—Data transfer within a gaming system, e.g. data sent between gaming machines and users wherein the operator is informed
    • G07F17/3237—Data transfer within a gaming system, e.g. data sent between gaming machines and users wherein the operator is informed about the players, e.g. profiling, responsible gaming, strategy/behavior of players, location of players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Pinball Game Machines (AREA)

Abstract

一种用于监测与游戏表面相关联的游戏活动的系统，所述系统包括具有所述游戏表面的游戏装备和连接到所述游戏装备的显示系统，诸如改进的限制指示牌。所述系统还包括连接在所述显示系统上的设备摄像机，所述设备摄像机具有跟踪例如游戏标示物、游戏代币、游戏参与者和所述游戏表面的第一视场。所述系统可以与其他摄像机系统交互操作以建立公共坐标空间，用于基于使用所述公共坐标空间的空间的模型表示来进行协调图像处理和机器学习。可以动态地进行校准以自动地调整摄像机重新配置。

Description

用于跟踪游戏活动的系统和方法
交叉引用
本申请是2020年07月07日提交的、题为“System and Methods for trackinggaming activity”的第63/049061号美国申请的非临时申请，并要求享有所述美国申请的所有权益——包括优先权，所述美国申请的全部内容通过引用并入本文。
技术领域
本公开内容的实施方案总体上涉及跟踪游戏活动的领域，并且更具体地，实施方案涉及用视频数据跟踪游戏活动。
背景技术
跟踪游戏活动的现有方法依赖于人类参与者查看视频数据以确定是否发生违规。
确定游戏参与者游戏动作的方法包括雇员确认在游戏中所使用的姿势，例如“拿牌(hit)”或“停牌(stand)”姿势。
通过视频数据准确地跟踪游戏活动的系统和方法是期望的。
发明内容
使用图像或视频数据来跟踪游戏活动的自动化系统在障碍(故意的或无意的)、改变照明环境、有限的计算和网络资源方面面临技术挑战。这些挑战阻碍了系统准确地并且有效地生成各种事件已经发生的基于计算机的估计确定的能力。
然而，这样的系统也是期望的，因为改进的分析在提供自动化工具中是有用的，该自动化工具自动地促进公平游戏并且防止恶意行为者进行恶意活动，诸如偷窃、伪造或修改游戏赔率等。自动化工具是特别有用的，因为记录的证据和信息可以被用作基线证据(baselineevidence)，用于在发生争议的情况下断言已经发生的事件的特定序列，并且还可以被用来提供附加级别的健全性检查(sanity checking)，以确保各种和解(reconciliation)发生以确保伪造代币不被插入到流通中，并且游戏代币(诸如扑克牌)不被更改或修改以供使用。
如在本文的多个实施方案中所描述的，描述了基于视频的摄像机系统，所述系统利用自动地观察特定视场并且跟踪在所述视场内发生的游戏活动的成像部件。在第一方面，多个视频摄像机被耦合以通过电子通信一起交互操作，使得在一个特定区域处重叠的至少两个视场可以使用一个校准表面或有助于所述重叠区域用于校准它们的内部空间表示，使得当来自摄像机的信息被处理以进行事件/伪像提取时，所述多个视频摄像机可以基于一个公共坐标和/或颜色系统来操作。
例如，所述公共坐标或颜色系统可以被表示在为每个摄像机周期性地或动态地建立的维持的变换矩阵中，使得所述变换矩阵可以被用来矫正从各种视角捕获的图像和摄像机特性(例如，失真、颜色空间像差)，使得经协调的空间表示然后可以被利用，用于在传输到后端监测系统之前进行本地处理，或通过后端监测系统在公共二维或三维表示中建立游戏设施和游戏活动的各方面的空间表示。本地处理对于减少网络通信量是有用的，但是一个挑战是需要在表级提供增强的硬件。相反，如果在后端级进行处理，则带宽要求可能是高的(例如，足以传送高分辨率视频)，但是可以在本地级使用相对简单的计算过程。
根据多个实施方案，所述系统可以针对跟踪接近游戏表面的物理对象，诸如游戏标示物(例如，游戏标示物、扁平筹码)、游戏代币(例如，扑克牌)、玩家、发牌者，并且观察这些物理对象随时间的移动和移位。机器学习表示被利用以通过使用透视和/或颜色变换对原始图像数据进行变换来建立物理对象的地理空间特性的时间点表示，并且这些表示可以被用于进一步处理，其中所述表示可以被处理以确定例如是否已经发生违规(例如，附肢已经进入了游戏区域周围的接近区域，该投注区域在不允许修改游戏代币放置的持续时间期间内在其内放置游戏代币。在这段时间内，游戏区域中的代币数目发生变化。
因为多个摄像机可以在公共坐标系中互相协调地一起操作，所以恶意用户更难以故意地阻碍或妨碍摄像机，因为协作的摄像机可以被嵌入例如在观察放置在游戏区域中的游戏标示物的发牌者托盘中、在观察布置在其中的通道中的游戏标示物的发牌者托盘中、在顶置摄像机中、在嵌入在网络使能的数字标牌(例如限制指示牌)中的摄像机中等。此外，摄像机使能的设备(诸如数字标牌)可以相对于彼此在空间上定位成使得摄像机使能的设备也能够监视其他游戏表面，并且因此为特定游戏表面提供附加的参考点或视角(例如，在游戏桌的一个娱乐室(pit)中的一个游戏桌，由安装在三个最接近的游戏桌中的三个摄像机系统覆盖，所述摄像机系统中的每个相互交互操作以在发生妨碍时提供冗余覆盖。
当游戏比赛进行时，摄像机连续地监视事件，并且可以生成计算机预测的事件输出，诸如正被玩的各局、当游戏标示物和游戏代币进入/退出比赛或被放置在游戏区域中时游戏标示物和游戏代币的移动等。此外，所述事件可以包括激活事件和去激活事件，诸如骰子的滚动、指示特定局或场的开始或停止的姿势等，所述事件然后可以被用来跟踪比赛状态，所述比赛状态然后可以被用来评估是否发生违规。
所述系统还可以被配置为跟踪人类以及其部分，例如通过骨骼表，所述骨骼表示可以被覆盖或以其他方式扩充到图像上，使得可以基于公共坐标空间中的图像数据来单独地跟踪手臂、腿、手、手指等，并且类似地，骨骼移动数据可以被用于基于机器的确定，诸如关联特定的游戏标示物是否由特定的个人拥有，跟踪以查看该个人是否引起违规等。在一些实施方案中，骨骼运动数据还可以被用来跟踪其他类型的姿势信息，诸如是否在违规之前存在移动数据，所述移动数据可以指示存在可以使用的预先存在的意图，这取决于特定游戏机构的规则和策略，以允许轻微的违规等。
本文所描述的实施方案介绍了一种用于监测与游戏表面相关联的游戏活动的系统，所述系统包括具有游戏表面的游戏装备和连接到所述游戏装备的显示系统。所述系统还包括：连接在所述显示系统上的成像设备，所述成像设备具有游戏参与者和所述游戏表面的第一视场，所述成像设备被配置为生成帧数据；以及至少一个处理器，其与至少一个计算机存储器和所述成像设备进行通信、被配置为从所述成像设备接收所述帧数据。所述处理器通过从所述帧数据的第一帧中提取所述游戏参与者的特征来处理所述帧数据，并且用所述第一视场中的所述游戏参与者的所述特征来更新所述游戏活动的模型表示。所述处理器还基于更新的模型表示来确定是否满足违规阈值。
在示例实施方案中，所述处理器还被配置为处理所述帧数据的第二帧以更新所述第一视场中的所述游戏参与者的所述特征，并且更新所述模型表示以包括所述第一视场中的所述游戏参与者的更新的特征。确定是否满足所述违规阈值是基于所述更新的模型表示。
在示例实施方案中，所述游戏参与者的所述特征是附肢(appendage)，并且所述处理器还被配置为确定所述帧是否在游戏持续时间内，并且基于将所述游戏表面的预定游戏区域初始化为所述模型表示来确定是否满足所述违规阈值。响应于确定所述附肢与所述预定游戏区域重叠，所述处理器确定满足所述违规阈值。
在示例实施方案中，所述游戏参与者的所述特征是附肢，并且所述处理器还被配置为基于确定所述帧是否在游戏持续时间内来确定是否满足所述违规阈值，基于初始化所述游戏表面的预定游戏区域来确定是否满足所述违规阈值，并且响应于确定在第一帧或第二帧中所述附肢与所述预定游戏区域重叠，确定满足所述违规阈值。
在示例实施方案中，所述处理器被配置为通过处理所述第一帧以确定是否存在游戏开始对象来确定所述帧是否与游戏持续时间相关联。
在示例实施方案中，所述处理器被配置为通过确定所述第一帧中是否不存在游戏开始对象以及所述第二帧中是否存在游戏开始对象来确定所述帧是否与游戏持续时间相关联。
在示例实施方案中，所述特征是附肢，并且所述处理器还被配置为处理所述第一帧以提取游戏代币特征、处理所述第二帧以更新所述游戏代币特征，以及用所述游戏代币特征的所述特征和更新的游戏代币特征来更新所述模型表示。在一些情况下，确定是否满足所述违规阈值包括确定所述更新的游戏代币特征是否被陌生人附肢重叠。
在示例实施方案中，所述特征是游戏参与者的手，并且所述计算机处理器还被配置为检索具有与相继的帧上的特征改变相关联的一个或多个姿势定义的姿势定义数据库。在一些情况下，确定是否满足所述违规阈值包括确定所述模型表示的特征和更新的特征是否满足与所述一个或多个姿势定义中的任何一个类似的标准。
在示例实施方案中，游戏姿势是拿牌姿势或停牌姿势。
在示例实施方案中，所述游戏参与者的特征是所述游戏参与者的凝视，并且所述计算机处理器确定是否满足所述违规阈值包括确定所述凝视是否指示参与。
在示例实施方案中，所述计算机处理器还被配置为使用姿态识别器来处理所述游戏参与者的特征和更新的特征，以识别所述游戏参与者的姿态，并且基于识别的姿态是指示可疑行为还是不合格行为来确定是否满足所述违规阈值。
在示例实施方案中，所述系统还包括相对于所述游戏表面以第二定向安装在所述显示系统上的红外成像设备，所述红外成像设备生成具有所述游戏表面和所述游戏参与者的表示的红外帧数据。所述至少一个处理器还被配置为从所述红外成像设备接收所述红外帧数据，并且通过从所述红外帧数据的第一红外帧中提取所述游戏参与者的红外特征来处理所述红外帧数据。
在示例实施方案中，所述红外特征是所述游戏参与者的手，并且所述计算机处理器还被配置为处理所述红外帧数据的第二红外帧，以识别所述游戏参与者的更新的手，并且检索具有与相继的帧上的特征改变相关联的一个或多个姿势定义的姿势定义数据库。所述处理器用游戏申请者的手和更新的手来更新模型表示，其中确定是否满足所述违规阈值包括确定所述模型表示的手和更新的手是否满足与所述一个或多个姿势定义中的任何一个类似的标准。
在示例实施方案中，所述计算机处理器还被配置为使所述红外帧数据与所述帧数据在时间上同步。
在示例实施方案中，所述计算机处理器还被配置为处理所述第一红外帧以确定游戏代币对象红外特征，并且处理第二红外帧以更新所述红外特征和所述游戏代币对象红外特征。基于更新的模型表示确定是否满足所述违规阈值包括确定所述更新的游戏代币对象红外特征是否从所述游戏代币对象红外特征改变而所述红外特征不与所述游戏代币对象红外特征重叠。
在示例实施方案中，所述系统还包括相对于所述游戏表面处于附加定向的第二成像设备，所述第二成像设备从第二视场生成附加的帧数据。所述至少一个处理器被配置为从所述第二成像设备接收所述附加的帧数据、基于在所述附加的帧数据和所述帧数据二者中可见的参考对象来确定附加的游戏装备校准参数、以及基于所述附加的游戏装备校准参数来扩充所述模型表示以将所述第二视场的所述附加的帧数据包括为与所述第一视场的所述帧数据相关联。所述处理器通过响应于确定所述帧数据中的所述游戏参与者从所述第一视场消失并且已经表现出朝向所述第二视场移动的指示，从所述附加的帧中提取与所述游戏参与者具有一定程度的相似性的附加的特征，并且用所述第二视场中的所述游戏参与者的附加的特征来更新所述模型表示。确定是否满足所述违规阈值是基于所述更新的模型表示。
在示例实施方案中，所述计算机还被配置为响应于确定满足所述违规阈值而向安全系统发送警报。
在一个方面，公开了一种用于监视游戏活动的系统，所述系统包括：游戏装备，其具有使游戏参与者启动游戏活动的游戏表面；显示系统，其连接到所述游戏装备；以及成像设备，其相对于所述游戏表面以第一定向安装在所述显示系统上，所述成像设备从第一视场生成具有游戏对象和游戏表面的表示的帧数据。所述系统包括与至少一个计算机存储器和所述成像设备进行通信的至少一个处理器，所述至少一个处理器被配置为从所述成像设备接收帧数据，并且通过处理所述帧数据的第一帧以提取所述游戏对象的特征并且用在所述第一视场中所述游戏对象的所述特征来更新所述游戏活动的模型表示，来处理所述帧数据。基于所述更新的模型表示来确定是否满足所述违规阈值。
在示例实施方案中，所述游戏对象是游戏代币，并且是否满足所述违规阈值是基于在所述游戏活动的第一持续时间内初始化所述模型表示内的游戏代币的开始预期位置、从所述成像设备接收第二帧数据、以及基于所述第二帧数据扩充所述模型表示以包括所述游戏代币的预期最终位置。是否满足所述违规阈值还基于处理所述帧数据的第二帧以提取所述游戏对象的最终位置，并且确定所述游戏对象的最终位置是否在所述预期最终位置的一阈值距离内。
在示例实施方案中，开始预期位置在游戏区域内，并且预期最终位置表示游戏代币容器。
在示例实施方案中，所述游戏对象是游戏代币容器盖，并且所述违规阈值是基于包括篡改指示的模型表示。
在另一方面，公开了一种用于监测游戏活动的系统，所述系统包括：多个成像设备，其连接在一个或多个显示系统上、具有多个视场，所述多个成像设备捕获至少一个游戏参与者和至少一个游戏表面的成像数据；以及至少一个处理器，其与至少一个计算机存储器和所述多个成像设备进行通信。所述处理器被配置为将所述多个成像设备校准到游戏空间的模型表示，以提取独立于视场的特征，并且从所述多个成像设备接收成像数据。所述处理器通过提取所述至少一个游戏参与者的一个或多个特征、用所述至少一个游戏参与者的所述特征来更新所述模型表示、以及基于更新的模型表示确定是否满足违规阈值来处理接收的帧数据。
在示例实施方案中，所述处理器还被配置为生成时间同步数据、将时间同步数据传输到所述多个成像设备。在一些情况下，更新所述模型表示包括将与提取的一个或多个特征相关联的数据条目和与相应的成像流相关联的定时元数据合并。
在示例实施方案中，所述处理器还被配置为接收同步数据、将接收的同步数据与在接收的成像数据中具有提取的一个或多个特征的成像流的相应的定时元数据进行比较，以及响应于确定接收的同步数据和相应的定时元数据匹配，用提取的一个或多个特征来更新所述模型表示。
在示例实施方案中，所述处理器被配置为提取一个或多个视场特征标识符，基于提取的一个或多个视场特征标识符来确定预期的布局。所述处理器将所述多个成像设备校准到所述游戏空间的模型表示以提取独立于所述视场的特征包括基于相应的预期的布局将所述多个成像设备校准到所述模型表示中的一个相应的位置。
在示例实施方案中，所述一个或多个视场特征标识符是快速响应代码，并且所述预期的布局是二十一点游戏装备配置。
在示例实施方案中，提取的特征是游戏参与者的骨骼特征，并且所述多个成像设备包括距游戏区域第一距离的第一成像设备和距游戏区域第二距离的第二成像设备，并且用所述至少一个游戏参与者的所述特征来更新所述模型表示还包括确定所述第一距离是否大于所述第二距离。响应于确定所述第二距离大于所述第一距离，所述处理器将与在第一成像设备成像数据中检测到的骨骼特征相比更低的证明值分配给在第二成像设备成像数据中检测到的骨骼特征，并且基于所述证明值更新所述模型表示。
设想了对应的系统、方法和非暂时性计算机可读介质。
附图说明
在附图中，通过示例的方式例示了实施方案。应明确地理解，说明书和附图仅用于例示的目的并且作为对理解的帮助。
现在将参考所附附图仅以示例的方式描述实施方案，其中在附图中：
图1是用于跟踪游戏活动的示例系统的示意性块图。
图2是根据一些实施方案的用于跟踪游戏活动的示例系统的侧视图。
图3是根据一些实施方案的用于跟踪游戏活动的另一个示例系统的侧视图。
图4是根据一些实施方案的用于跟踪游戏活动的另一个示例系统的侧视图。
图5A和图5B是根据一些实施方案的用于跟踪游戏活动的又一个示例系统的侧视图。
图6A、图6B和图6C是根据一些实施方案的用于跟踪游戏活动的示例显示器安装系统的立体视图。
图7是根据一些实施方案的用于反射折射摄像机的摄像机校准的图解。
图8是根据一些实施方案的用于折射摄像机的摄像机校准的图解。
图9是根据一些实施方案的用以用于跟踪游戏活动的系统的游戏表面校准的图解。
图10A是根据一些实施方案的用于跟踪用于相关游戏表面的游戏活动的系统的游戏表面校准的图解。
图10B是根据一些实施方案的使用具有已知几何形状和顶点检测的对象的用于校准的替代方法的立体例示。
图10C是根据一些实施方案的用于校准的替代方法的立体例示，示出了在矫正变换之前检测到示例游戏代币。
图10D是根据一些实施方案的矫正图像的示例图像捕获。
图10E是根据一些实施方案的背景被移除的被检测的牌的示例图像捕获。
图10F是根据一些实施方案的由系统检测的外来对象的透视呈现。
图11是根据一些实施方案的具有多个成像设备的用于跟踪游戏活动的系统的游戏表面校准的图。
图12A-图12C示出根据一些实施方案的具有多个摄像机的用于跟踪游戏活动的示例系统的另一些图解。
图13A-图13C是根据多个实施方案的用于跟踪多个游戏表面上的游戏活动的示例系统的图解。
图14是例示了根据一些实施方案的用于检测游戏违规的方法的流程图。
图15是例示了根据一些实施方案的用于检测用户特征的方法的流程图。
图16A-图16B是例示了根据一些实施方案的检测到的游戏参与者骨骼特征的图解。
图17是根据示例实施方案的示例计算系统的部件图解。
图18是根据示例实施方案的示例计算系统的另一个部件图解。
具体实施方式
在下文的一些实施方案中描述了一种改进的摄像机系统，所述摄像机系统已经被适配用于视觉跟踪游戏活动，包括，例如，玩家采取的活动以及物理游戏对象(例如，扑克牌、多米诺骨牌、位置标示物、托盘)和物理游戏标示物(例如，筹码、价值标示物、游戏扁平筹码)的移动。使用计算机系统和图像识别在视觉上跟踪游戏活动可能是困难的，由于视场中的物理障碍物(例如，对于静态定位的摄像机)，以及记录装备不一致和光学失真。
本文所描述的改进的摄像机系统被配置为使得多个摄像机系统能够协同地或一致地操作，使得所述计算机系统能够利用对应的摄像机的重叠和非重叠视场，以关于具有共同空间坐标空间的共同空间模型，对物理对象进行物理定向和定位。设备的显示屏幕本身可以是产生盲点的障碍物，并且其他接近的摄像机设备可以被定位成使得盲点通过其他摄像机设备的视场而被覆盖。
摄像机系统可以包括：同质系统，诸如安装到数字标牌上、直接耦合到数字标牌或接近数字标牌的摄像机(例如，每个游戏桌上的限制指示牌)；或异质系统，诸如协同地操作的多种多样的不同类型的摄像机，诸如与发牌者托盘摄像机或游戏区域摄像机配合操作的限制指示牌摄像机。
到公共坐标空间和/或公共颜色空间中的变换是重要的，因为摄像机根据各种各样的角度以及灯光(例如，阴影、外部照明、可控照明)和失真(例如，鱼眼镜头、微距镜头、变焦距镜头)状况来观察物理对象。此外，即使在同质摄像机装备中，快门速度、颜色空间、光圈大小、噪声水平(例如ISO水平)中也可能存在差异。
与用于跟踪游戏活动的系统和方法相关联的技术挑战包括在系统内包括模块化或可移动成像设备的同时实现对游戏活动的准确跟踪。通常，跟踪系统被配置用于特定的成像设备几何形状，并且校准是基于成像设备的预期位置。包括可移动成像设备或允许现有成像设备的重新定位或移除的模块化系统可以降低先前校准的游戏系统的准确度。这在游戏设施中尤其普遍，其中游戏桌被周期性地重新布置以改变游戏设施的布景或容量，并且因此摄像机不可能在延长的时间段内位于静态位置。然而，考虑到桌和摄像机的数目，手动校准快速变得不切实际并且不可行。摄像机它们本身还可以具有可以基于灯光水平、用于游戏表面的游戏类型的改变(例如，被用于二十一点的桌现在被重新用于无限制德州扑克(Texas Hold′em))等而被周期性地调整的光学特性，诸如焦距、视场、颜色空间、光圈大小等。
此外，另一个技术挑战可以包括相互依赖的成像设备校准。在一些跟踪系统中，一个成像设备的校准依赖于第二成像设备的校准。因此，移除一个成像设备或更改该成像设备的几何形状可能随后使系统内的其它成像设备不对准，从而使准确度恶化。在本文的一些实施方案中描述了改进的校准方法。所提出的校准方法适于利用具有已知几何特性(诸如顶点、形状(例如，网格图案)、尺寸(例如，A4纸、8.5“x11”纸)和/或颜色配置(例如，“亮白”))的参考视觉对象来建立公共坐标系和对应的所需变换(例如，作为变换矩阵存储在计算机存储器中)，所述变换可以被利用以将在摄像机图像数据中跟踪的对象有效地转变成空间表示(例如，欧几里得空间、或其它类型的三维空间，诸如基于柱面或球面坐标的空间)中的物理对象表示。校准事件可以随着摄像机特性被改变、灯光状况被检测为已经改变、摄像机位置已经改变或周期性地而周期性地或动态地发生，并且可以对具有参考校准对象的重叠视图的摄像机进行校准。在一些实施方案中，尽管不具有参考校准对象的重叠视图，但是仍然可以发生校准事件，但是准确度水平可能降低。
与用于跟踪游戏活动的系统和方法相关联的另一个技术挑战包括从有限的可用的一组视场获得期望的准确度。
游戏顾客可以讨厌存在于游戏表面处的许多成像设备，并且试图妨碍或以其他方式在视觉上遮挡成像设备，并且因此尽管具有来自不同视点的一定量的数据，但是顾客可以试图限制可得的信息的量，从而限制跟踪系统的准确度。对于某些桌游戏，诸如Craps或Baccarat，也可能存在常规顾客在桌周围的高水平的运动活动，从而使在特定时间通过任何一个摄像机(或监测个人，诸如娱乐室老板)获得游戏表面的无妨碍的视图更困难。
恶意用户甚至可能试图故意阻挠发牌者或其他雇员观察事件的能力，例如故意妨碍视角，或使用电子或光学反制，诸如有意地被设计为使摄像机过饱和的设备(例如，安装在太阳镜、帽子中的红外发射器)。
在一些实施方案中，本文所描述的系统适于通过如下摄像机来提供摄像机覆盖中的一定水平的冗余，所述摄像机一起一致地工作使得恶意用户变得越来越难以禁用或阻止能够观察关于每个摄像机的视场内的可见物理对象而发生的活动的所有潜在摄像机，即使它不是用于该特定摄像机的感兴趣的特定视场。累积的地理空间信息还可以被用于改进的分析，或提供即时重放类型系统，以根据记录的事件示出特定的移动来帮助解决争议。例如，如果顾客能够示出虽然在放置游戏代币时在技术上存在违规，但是顾客可以能够指示顾客已经在放置游戏代币的动作中(例如，已经掏出钱包、伸手拿钱)，并且在确保顺利游戏的精神下，违规应被原谅。
与使用广角成像设备来跟踪游戏活动的系统和方法相关联的一个技术挑战包括难以校准广角成像设备以与其它成像设备的附近视场集成，因为广角成像设备的视场的边缘可能包括较大量的失真。摄像机中的每个也将被不同地定位并且具有不同的光学特性和环境以及不同的视角。
与包括多个成像设备的用于跟踪游戏活动的系统和方法相关联的一些技术挑战包括多个成像设备的同步。例如，在使用机器学习方法来处理顺序数据的情况下，并且来自单独的成像设备的成像数据可以被无序地接收，或具有延迟，并且机器学习模型内的顺序关系建模器可以检测假肯定(false positive，误报)。替代地，机器学习模型可以经历准确度的普遍降低。
用于跟踪游戏活动的系统和方法被公开在本文中，并且包括与一个或多个处理器进行通信的一个或多个成像设备，所述一个或多个处理器被配置为处理捕获的图像数据以提取特征并且生成游戏空间的模型表示。通过将提取的特征与所述模型表示相关联，而不是与成像设备位置相关联，本文所公开的系统可以能够避免由于新的摄像机位置而导致的准确度恶化，因为可以独立于摄像机位置来查看特征。在一个具体实施方案中，所述系统被设置为改进的数字限制指示牌，所述数字限制指示牌除了提供数字标牌之外，诸如除了提供屏幕——在所述屏幕中玩家能够观察桌规则、特性(例如，桌最小值和最大值、游戏室规则、游戏的类型)——之外，还可以提供自动摄像机系统，所述自动摄像机系统跨其他摄像机系统被校准以提供改进的自动游戏活动跟踪，例如，通过提供自动地提供机器视觉辅助方法来识别玩家违规、恶意比赛以及调和游戏代币放置事件和游戏事件的发生来改进游戏事件的安全性和增强公平比赛。
此外，本文所公开的系统还可以包括基于与正被跟踪的游戏表面相关联的参考对象来确定用于所述系统内的一个或多个成像设备中的每个的校准参数，并且基于所述校准参数来更新或生成模型表示。以此方式，本文所公开的系统生成独立于成像设备类型、位置和定向的模型表示。集成新类型的成像设备可以包括确定用于各个成像设备而不是用于整个系统的新的参数。以此方式，可以避免相互地相互依赖的成像设备对准的问题。例如，校准可以包括使用校准表面，诸如具有已知的物理特性的网格或纸，进行顶点检测和/或颜色检测，并且利用这些已知的物理特性来建立校准变换矩阵，所述校准变换矩阵然后可以被存储并且根据需要作为参考模型被利用。在来自摄像机的非均匀失真影响的情况下，可以利用多个参考点来提供冗余。以这样的方式存储的校准参数可能需要在例如光学特性改变时或当摄像机设备简单地从一个位置移动到另一个位置(例如，桌重新布置)时而被周期性地更新。校准还可以包括红外参考，例如，如果设备与红外游戏区域跟踪单元配对，则它可以使用距离红外校准点来进行自校准。游戏区域跟踪单元可以包括具有红外发射器的模块，所述红外发射器被发射到已知距离或图案，并且所述红外发射器可以由能够观察校准区域或图案的其它摄像机利用以进行校准。
当桌被在周围移动时，所述设备还可以包括红外发射器以建立覆盖区或区域，覆盖区或区域其指示例如在其中指示牌可以足够密度覆盖的区域。因此，在一些实施方案中，所述设备它们本身具有内置的自校准工具，所述自校准工具可以帮助改进或自动化部署速度和设置。
本文所公开的系统和方法还可以包括红外成像设备，所述红外成像设备并入在红外谱中检测到的特征与来自其它成像设备的特征的其它表示。并入在红外谱中检测到的特征可以包括基于预期位置和与其它成像设备特征检测的一定程度的相似性来分类红外特征。通过将在红外谱中检测到的特征并入到是否已经发生违规的检测中，所述系统可以能够获得新的有效视场，而不具有实质上不同的物理定向。例如，由红外成像设备检测到的心率特征对于附近的RGB成像设备可能是不明显的，并且可以允许所述系统确定例如安全阈值是否被违反，所述安全阈值指示游戏参与者具有严重的医学状况。以此方式，本文所公开的系统和方法可以允许在不使用新的物理定向的情况下根据新的视场生成数据。
另一个技术挑战包括在不使用几何传感器的情况下跟踪游戏活动，同时维持准确度。
图1是根据一些实施方案的用于跟踪游戏活动的示例系统的块示意图100。
图100示出了经由网络106连接到成像设备104的系统102，用于接收具有由成像设备104捕获的帧数据(例如，图像)的视频数据。替代地，由成像设备104捕获的视频数据在本文中可以被称为帧数据、附加的帧数据、红外帧数据等。系统102可以在计算单元的内部或外部，并且可以例如被安装在游戏表面(例如，游戏桌)下面、被安装在屏幕硬件内部等。系统102被配置为耦合到游戏后端系统116，该游戏后端系统116可以协调来自各种各样的摄像机和摄像机系统(诸如游戏区域摄像机、发牌者托盘摄像机等)的图像馈送。
系统102的多个单元可以协同地操作，使得重叠的可视区域可以由系统102的不同单元记录，以提高精准确度或避免妨碍。在一些实施方案中，由于系统102的不同单元具有关于不同物理对象的不同视觉区域和敏锐度(例如，距特定摄像机较近的对象可以具有较高量的可观察像素)，在来自系统102的协同操作的不同单元的确定中存在差异的情况下，可以朝向具有较高量的可观察像素的摄像机加权置信度分数和对象分数。
成像设备104可以包括一个或多个成像设备。例如，成像设备104可以包括附接到多个游戏表面(例如，二十一点桌)的多个成像设备。
成像设备104可以是能够生成视频数据或视频数据集的各种各样的成像设备类型。在一个非限制性示例变体中，成像设备104是RGB摄像机。在另一个非限制性示例变型中，成像设备是红外摄像机。
在示例实施方案中，成像设备104是广角摄像机或360°视场摄像机。根据一些实施方案，例如，成像设备104包括至少一个成像设备，所述至少一个成像设备包括具有以背对背方式布置的两个180°视场的摄像机，从而提供360°视场。摄像机可以具有例如来自每个摄像机的两个馈送以提供360°视场，它可以具有两个光学器件、四个光学器件、偏移镜头(竖向的或并排的)等。
在游戏场环境中，宽动态范围成像设备104对于提高图像和颜色质量是特别有用的。处理器112可以基于成像设备104的摄像机响应函数(CRF)来配置，所述摄像机响应函数将图像/帧平面处的图像/帧辐照度测量为测量的强度值。各种应用——例如颜色恒定性(colorconstancy)、光度立体(photometric stereo)以及从明暗恢复形状(shapefromshading)——要求对象辐射而不是图像/帧强度被设想。
在一个示例实施方案中，在Debevec和/或Robertson方法中阐述的方法被用来根据曝光序列生成和显示HDR图像，并且曝光融合(Mertens[1]产生低动态范围图像，并且因此不需要曝光时间数据。
成像设备104可以包括各种各样的成像设备类型的成像设备的各种组合。例如，成像设备104可以包括是红、绿、蓝(RGB)摄像机的第一成像设备104-1以及是另一个RGB摄像机的第二成像设备104-2。在一些实施方案中，成像设备104可以包括是RGB摄像机的第一成像设备104-1以及是红外摄像机的第二成像设备104-2。
成像设备104中的一个或多个被安装到一个或多个显示系统106上。所述一个或多个显示系统可以包括安装在显示系统的多个位置上的成像设备104中的一个或多个。
用于跟踪游戏活动的系统还包括游戏装备108。在示例实施方案中，游戏装备108包括显示器系统附接到的附接构件(诸如游戏场游戏桌表面)。游戏装备108可以是允许用户与游戏活动交互并且进行游戏活动的任何装备(诸如投币机)，或便于玩游戏活动的装备(诸如二十一点桌)。
现在参考图2，示出了根据示例实施方案的用于跟踪游戏活动的系统200的侧视图。例如，所述系统可以是独立的产品，所述产品可以通过为玩家提供观看现场或记录的事件的能力、用于本地商业的广告等来向游客提供激励以增加他们在游戏桌处的比赛的长度。
一些实施方案的系统是物理的、网络使能的桌限制指示牌，所述桌限制指示牌具有机器学习增强的全方向光学器件，用于控制和查看桌游戏(如下文在一些情况下所描述的，以及接近的桌)，从而增加安全性并且提供关于游戏活动的更多数据，以及提供自动机制来跟踪姿势移动(例如，通过减少在游戏回合完成之后晚游戏代币放置的倾来自动跟踪违规以确保公平比赛)以增强比赛体验。因为所述系统是自动化的，所以可靠性是重要的考虑因素，因为所述系统可能需要在没有人类干预或维持的情况下在尽可能多的正常运行时间内是可操作的(例如，在正常操作温度下，在3年的寿命内24/7操作)。
在所示出的实施方案中，系统200包括安装构件202，其中成像设备104-1被安装在安装构件202的顶表面上，并且成像设备104-2被安装在安装构件202的第二表面上。可以设想成像设备和安装构件202上的安装位置的各种组合。例如，第三成像设备(未示出)可以被安装在与安装构件202的第二表面相对的表面上。安装构件202为包括显示器204的壳体提供中心支撑，并且在一个物理实施方式中，可以包括具有安装板的1.5″管，所述安装板具有用于与安装盖(例如，塑料的或磁性的)安装在一起的螺纹孔。例如，摄像机壳体可以被设置在构件202的顶处在104-1处。
所述系统可以从一个桌移动到另一个桌，并且在一些实施方案中，位置也可以在单个桌的配置之间改变(例如，限制指示牌，对于二十一点，可以在右手侧，而对于Baccarat的一致性，可以在左手侧)。在一些实施方案中，指示牌的物理配置和位置被故意地移动以提供多个桌之间的游戏表面的重叠覆盖(例如，在正方形配置中紧密接近的四个桌可以具有安装在每个的附近拐角处的系统，使得限制指示牌摄像机能够覆盖其他桌的部分或全部。重叠覆盖在鉴于外来对象或障碍物的存在而需要冗余的情况下或在由于盛行的环境状况(例如，空气中的雾霾/烟雾、阴影、来自外部光源的过/欠饱和)等而可能需要提高准确度的情况下是有用的。
部件可以通过各种各样的方式安装在安装构件202上。例如，显示器204可以经由附接构件208安装在安装部件202上。在一些实施方案中，使用公连接件和母连接件或VESATM安装件等将显示器204安装到安装构件202。安装构件202可以与电力(例如，120V NEMA北美插头)耦合，所述电力可以耦合到适于支撑屏幕、集线器、附件、网卡、计算机处理器等的电力源或电力分配单元。在一些实施方案中，所述系统具有内置的处理器和板上存储器，并且在其它实施方案中，所述系统包括例如可以安装在桌下面的单独的控制处理器或设备。可以例如通过附接到内部电力板、电力USB 3集线器的电力电缆来提供电力，并且可以通过HDMI和/或母板GPIO连接件来提供数据连接件。
显示器204还可以包括诸如物理或虚拟按钮的按钮，和/或LED指示器(例如，RGBLED)。显示器204例如可以被用来提供指示器颜色，所述指示器颜色指示桌是打开的、关闭的，很可能已经发生违规，已经发生计数错误(例如，底牌(cards in)与被销毁的牌(cardsdestroyed)的比率偏离1：1)，已经发生异常状况(例如，游戏表面上太多的外来障碍物，并且系统监视活动的能力已经变得受阻碍，或已经注意到扑克牌上的异常视觉伪像)等。
根据示例实施方案，系统200是模块化的，并且部件可以被互换、移除或添加到系统。例如，各种成像设备104可以可移除地连接到安装构件202，并且连接到处理器206。处理器206可以包括例如Raspberry Pi 4TM或Newmaytech Mini pCTM等。在将经处理的信息发送到后端监测服务器之前在本地级处处理计算上费力要求的情况下，可以利用甚至更有能力的处理器206。
处理器206可以连接到网络接口适配器，所述网络接口适配器例如与跟踪多个桌的游戏监视服务器后端进行通信并且互连不同的系统，使得不同的摄像机系统能够相互交互操作。如在本文的多个实施方案中所描述的，可能需要建立用于进行变换的公共坐标系，使得图像数据可以首先被变换和处理以映射到公共坐标空间(例如，欧几里得空间中的公共三维模型)，并且针对这样的事件描述了校准方法。
在一些实施方案中，所述网络接口适配器允许不止一个摄像机一致地操作并且基于从它们的对应的视场捕获的图像来将游戏区域或表面的模型“拼接在一起”。
游戏监测服务器后端可以提供用户界面(例如，在limitvueTM标签下的web界面或web应用程序上，其中可以通过单独的桌、通过娱乐室组、通过随机组、通过目标组(例如，高容量桌、标记用于高容量可疑交易的桌、其支出未被恰当地调和的桌)在不同的时间段内跟踪原始或经处理的事件数据，并且用户界面还可以被用作向游戏设施雇员或管理者通知指示由系统已经估计的各种桌状态(例如，关闭、打开、安全、等待需要的工作人员/服务人员、医疗等)的机制。在一些实施方案中，用户界面还被配置为生成视觉输出，诸如条形图、线图表，其指示系统为何已经估计特定状态已经发生(例如，示出了分对数(logit)概率的条形图，其指示哪个摄像机系统对个体已经进行晚代币放置或计数未被加起来的准确度读数贡献最大)。
在存在事件的情况下，例如，可以基于保存的记录(例如，在事件之前和之后30秒)、跟踪的发牌者ID和桌ID、跟踪的玩家ID和玩家地点#、目标事件回放等来自动地生成评论。可以利用在特定时间戳或事件期间由设备估计的概率——例如，当用户的手的骨架表示在游戏关闭时间戳事件之后1秒进入游戏区域接近围栏时的红色状态——来扩充评论，并且增加或减少在对应的游戏区域中观察到的游戏标示物(例如，筹码)的数目。
可以跟踪和注释所述评论，使得基于个人、游戏标示物或游戏代币的移动的维持的表示来提供“即时重放”特征。无论何时生成违规信号都可以生成并且维持记录，并且所述系统可以被配置为记录和存储在生成违规信号之前和之后一时间段内发生的事件数据。在一些实施方案中，使用来自机器学习引擎的概率值或分对数来注释记录，并且注释可以包括重叠的数字、颜色等，或哪个身体附肢产生违规的指示等。
在一些实施方案中，活动和状态的估计在系统的处理器上本地进行，并且在其它实施方案中，活动和状态的估计在游戏监测服务器后端处理器上远程进行。本地处理的益处在于，它可以减少传输到游戏监视服务器后端所需的总带宽，因为数据可以在传输之前被压缩和矫正。本地处理的缺点在于，由于体积、成本和热限制，本地可用的处理器可能具有有限的处理能力、速度和存储器。在一些实施方案中，进行预处理和后处理的混合。
这些工具对于安全工作人员来说是有用的，以帮助执行和确保公平比赛，同时为游戏设施提供灵活性，以动态地重新定位、重新配置和重新定位设备，同时减少每次移动或重新定位摄像机时的对校准、定制配置的手动要求，如在一些实施方案中所描述的，校准可以自动地发生，并且公共坐标系变换的重新校准和重新生成可以发生。可以使用陀螺仪或加速度计或信标/GPS定位单元来跟踪移动，并且自动地触发重新校准。在一些实施方案中，当相对于未被移动的其它设备存在许多异常或不一致的读数时，也可以触发重新校准。例如，如果四个设备相互接近地操作，并且读数是一致的，并且然后所述设备中的一个突然具有看起来与其它设备不同步/对准的定位数据，则有可能一个设备例如被玩家意外地或发牌者撞击/推动/移动，并且一个设备可以自动地触发重新校准事件以确保其能够映射到与其它设备相同的坐标空间。
显示器204可以被安装在安装构件202上以面向游戏参与者。显示器204可以是允许游戏参与者与显示器204交互以及向显示器204提供指令的交互式显示器。
为此，显示器204可以连接到处理器206。处理器206可以被配置为解释与交互式显示器204的游戏参与者交互。响应于接收游戏参与者输入，处理器206可以控制显示器204呈现新的界面。根据一些实施方案，例如，处理器206被配置为将从交互式显示器204接收的信息传输到外部处理器(未示出)。
处理器206可以连接到成像设备104-1和104-2以接收捕获的视频数据或帧数据。成像设备可以包括具有不同类型的光学特性(其也可以随时间改变)的高分辨率摄像机，并且可以被用于牌检测、代币检测(例如，筹码、扁平筹码)、人类身体部分检测/姿势检测(例如，维持骨骼表示)。在一个具体实施方案中，成像设备是全方向的360度摄像机，并且这可以通过使用两个耦合的180度摄像机或可以被配置为枢转以查看不同位置的摄像机来实现。在一些实施方案中，代替摄像机枢转，摄像机壳体代替地枢转。
处理器可以被配置为例如跟踪接近游戏表面或在游戏表面上的物理对象以及其移动，例如游戏标示物(例如，筹码、扁平筹码)、游戏代币(例如，扑克牌)。例如，对于游戏代币，处理器被配置为使用机器学习模型或图案识别引擎来跟踪牌的特性，诸如牌值(例如，Ace、1、2、3)、花色(例如，梅花)、不同变体、设计图案、视觉伪像/缺陷、磨损水平(例如，弯曲的拐角、相对于游戏表面不平坦)等。虽然经常性的磨损水平是可能的，尤其是在一定持续时间内重复使用牌的游戏机构中，但是可以跟踪异常的磨损量或可以跟踪异常的损坏，以产生违规警报。
对于某些游戏，具有用于游戏的等效值的牌，例如人头牌和二十一点中的10s(都具有10的值)，可以最终被矫正为相同类型的对象，使得降低带宽要求。然而，由于这些牌通常是用于更改和修改的目标，因此机器学习引擎可以被调整以应用更多的计算资源来跟踪所有人头牌和10s的异常磨损图案，例如，使得这些牌类型尤其是针对图案识别。类似地，对于花色与游戏结果无关的游戏，可以相应地去除花色。
摄像机可以被配置为跟踪和计数在一个会话中正被消费/使用/玩的牌的数目，或对照骨架表示跟踪特定牌是否已经由玩家在特定时间内触摸或保持。在一些实施方案中，牌可以被指定用于销毁或从游戏中移除，并且可以引入新的牌，并且处理器或后端游戏监视服务器可以被配置为以计算机存储器中的递增计数器值保持被销毁的和新的牌的数目，以确保始终维持1：1比率，否则发出违规警告。
在一些实施方案中，处理器206如本文所描述的那样处理接收的捕获的视频数据。替代地，处理器206响应于从成像设备104-1和104-2接收视频数据而将接收的视频数据发送到外部处理器(未图示)。在一些实施方案中，处理器206可以处理视频数据的一些部分以跟踪游戏活动并且将跟踪的游戏活动和捕获的视频数据的一些组合发送到外部处理器。成像设备可以被设置在距桌一高度(例如，400mm-600mm)处，使得可以在600-1500mm的工作距离处获得靠近但在上方的立体视图。例如，成像设备可以包括具有以大的视场(到目标中心～1000mm)的景深的第一高分辨率摄像机，并且可以跟踪例如在300mm一650mm之间的对象，在1500mm处具有≥3个像素/mm的分辨率，以及7.9mm(例如)的焦距。可以提供例如具有1080p分辨率/传感器、具有小轮廓等的第二360度摄像机。在一些实施方案中，利用定制摄像机，其适于进一步板载处理改进。
根据一些实施方案，处理器206执行本文所描述的系统102的功能。
现在参考图3，示出了显示器安装的跟踪游戏活动系统300的侧横截面视图。
在所示出的实施方案中，第一显示器302和第二显示器304被安装在安装构件202的相对侧。可以设想相对于安装构件或游戏表面的各种显示器组合以及显示器定向。
在图3中，第二显示器304被安装成面向游戏雇员游戏参与者，并且包括输入输出模块306。在一些实施方案中，第二显示器304不具有输入输出模块306。替代地，系统200可以具有任何数目的输入模块306，该输入模块306被并入到显示器中、单独地安装在安装构件202上、或以其他方式。
现在参考图4，示出了用于跟踪游戏活动的系统400的侧横截面视图。
在所示出的实施方案中，安装构件202被安装到游戏装备的附接构件404-1(例如，游戏场游戏桌)。安装构件202被附接到游戏装备，使得安装构件之上的成像设备104-1相对于游戏装备的游戏表面404-2处于第一定向，从而具有第一视场。在示例实施方案中，第一定向可以由成像设备104与游戏装备表面404-2之间的焦距表示。可以设想表示第一定向的各种其它手段。
如在图4中所示出的，安装构件202可以经由附接凹槽附接到游戏装备的附接构件404-1。安装构件202可以各种各样的方式附接到附接构件404，包括例如用用紧固器、胶水等。
成像设备104可以可移除地安装到安装构件202。例如，成像设备104可以用夹具安装到安装构件202。在另一个非限制性变体中，成像设备104通过使用VelcroTM、公-母连接器等可移除地安装到安装构件202。
在图5A中所示出的实施方案中，用于跟踪游戏活动的系统500A包括在游戏表面404-2上的第一位置中被安装成面向游戏雇员游戏参与者的第二显示器304，以及在第二位置中被安装在游戏表面404-2的顶上的第一显示器302。
在图5B中所示出的实施方案中，用于跟踪游戏活动的系统500B包括安装在第一显示器302下方的第二显示器304，并且可以被安装成准许围绕安装构件202旋转。
图6A至图6C是用于跟踪游戏活动的示例显示器安装系统600的立体视图。图6A示出了系统600的后立体视图，并且图6B示出了系统600的前立体视图，所述系统包括安装构件202，第一显示器204和成像设备104-1。图6C示出了系统100的成像设备104-1的前视图。
再次参考图1，系统102包括一个或多个处理器112，并且可以包括分别用于处理或存储视频数据的一个或多个数据库114。在下文中，为了易于参考，一个或多个处理器112将以单数提到。
系统102从成像设备104接收视频数据，并且接收的视频数据可以与唯一或重叠的视场相关联。成像设备104的唯一或重叠的视场可以是基于成像设备104相对于游戏表面的定向、其在游戏空间中的位置等。
所述系统的处理器112被配置为处理来自成像设备104的接收的视频数据并且生成游戏活动的模型表示。在示例实施方案中，所述模型表示包括在接收的视频数据中表示的一个或多个游戏参与者的表示。所述模型表示可以是游戏空间的表示，该游戏空间包括游戏表面、游戏代币和参与游戏活动的游戏参与者。根据一些实施方案，例如，所述模型表示可以是在各个成像设备的视场中示出的空间的表示。
处理器112可以将所述模型表示存储在本地存储器(未示出)中，或处理器112可以将所述模型表示存储在数据库114中。在一些实施方案中，处理器112存储传输到外部计算机116(替代地被称为后端计算机116)的局部模型表示，外部计算机116将所述局部模型表示与全局模型表示相互关联。
所述模型表示可以是二维模型表示。例如，所述模型表示可以跟踪特征在视频数据中的位置。根据一些示例实施方案，所述模型表示存储提取的特征和提取的特征的相关联的像素位置。
根据一些实施方案，所述模型表示是三维模型表示。例如，三维模型表示可以存储游戏参与者相对于其在成像设备的视场中的位置的提取的特征。在一些实施方案中，三维模型表示存储游戏参与者相对于参考位置(例如x、y、z坐标)或替代地陈述的独立于成像设备视场的提取的特征。
模型表示还可以基于与提取的特征的帧数据相关联的时间来存储提取的特征。例如，模型表示可以与在其中检测到提取的特征的时间相关联地或附加地存储提取的特征信息(例如，特征类型、对游戏参与者的眼睛特征属性等)。
模型表示可以将来自一个或多个成像设备视频数据集的提取的特征存储在单个模型表示中。例如，处理器112可以通过将来自各种成像设备视频数据或帧数据的各种提取的特征拼接在一起来更新模型表示。
将各种提取的特征拼接在一起可以包括校准一个或多个成像设备。
参考图7，图7是用于校准图像设备104-1以生成用于模型表示的帧数据的技术的图解700。在一些实施方案中，游戏桌可以包括一个或多个参考对象，诸如包括快速响应(QR)码的预定表面图案(如在图7中所示出的)或非表面对象(例如，背景中的另一个桌或柱的视图，未示出)，并且所述系统可以基于参考对象或参考表面来确定校准参数。
在一些情况下，使用单个参考对象或参考表面来校准多个成像设备，其中视场是重叠的。例如，可能期望的是校准成像设备以参考校准具有宽视场的成像设备，因为宽视场成像设备可以能够从更大一组位置观察参考对象。
在将图案化表面用作参考对象的情况下，图案化表面的位置提供关于查看图案化表面的成像设备的位置、长度、宽度和轴线角的信息。图案表面不必是特定的大小或形状，而是需要存在于游戏表面或相关联的装备上。替代校准特征的实施例，随机生成的点、QR码、图片、集合类型文本或布局本身。
在示例实施方案中，参考对象是对成像设备可见的游戏空间内的特征。在成像设备不是RGB设备的实施方案中，参考对象是对非RGB设备可见的对象。例如，为了确定用于红外成像摄像机的装备校准参数，参考对象是能够生成由红外成像摄像机可观察到的温度的对象。
在一些实施方案中，成像设备可以包括本征参数K(包括焦距、偏斜和/或主点)和外在参数P(包括旋转和平移)。图像捕获设备校准参数可以是基于以下变换：
校准可以是基于提供的由成像设备捕获的布局信息。例如，成像设备可以包括关于成像设备视场中的游戏装备的元数据(诸如用于被查看的桌的参考模型数据)——该游戏(例如，二十一点)在此桌上、玩家位置的数目、奖励游戏代币位置以及毛毡(felt)造型(用于颜色平衡参考)。当成像设备具有改变的特性(例如，改变的焦距、光圈、快门速度、改变的环境状况(例如，改变的光照、打开的窗)等时可以动态地生成变换矩阵，并且变换矩阵可以动态地更新使得用于将物理对象数据校准和输入/更新到模型中的公共坐标系可以保持一致，即使存在在配置或位置上不必同质的一起操作的许多摄像机系统。在一些实施方案中，变换矩阵更新由相对于其他摄像机的跟踪差异触发，或可以每当摄像机在位置上移动或移位时被自动地触发。
存在可能的不同类型的变换矩阵，包括例如透视变换矩阵、颜色变换矩阵等，并且这些是根据基于校准设备参考对象——诸如静态或印刷的棋盘设计、QR码或甚至具有已知尺寸、颜色等的放置对象——的已知几何结构来建立的。为每个摄像机维持颜色变换矩阵，以帮助将颜色值转换到公共颜色系统，从而解决每个摄像机之间的颜色空间的差异以及周围或环境状况的变化，诸如雾霾，烟雾等。
在存在不止两个摄像机的情况下(例如，在50个摄像机设置中)，只要在摄像机的链接对或组之间存在成像视场中的重叠，就可以为所有摄像机建立公共坐标系(尽管可能存在误差值)。这在建立并且维持在空间模型中定向的物理对象的全局表示以及跟踪由于发生在游戏设施内的游戏事件和活动中是特别有用的，因为所有被跟踪的数据对象具有共同的参考和时间戳，使得可以进行协调分析。
例如，然后可以利用所述系统来解决障碍物的存在(例如，摄像机1、2被妨碍，但是来自限制指示牌的摄像机3具有覆盖)，自动调整周围的光状况的改变(例如，百叶窗打开、夜灯打开)等。这在自动地执行公平比赛要求中是特别有用的，其中恶意行为者可能故意试图妨碍或以其他方式阻碍摄像机设备的准确度。设备图像可以被用来彼此扩充和支持，以提高机器学习数据模型输出的准确度和置信度，例如，可以在两个或更多个摄像机确认物理对象在特定位置或具有特定特性的分对数输出中表示更高的置信度。
如果参考对象是临时的，则可以有利地使用多个源来执行捕获，以获得此时多个成像视图的益处。在事实之后使用临时参考对象进行校准在计算上是有挑战性的，因为位置可能改变。
临时参考对象(替代地被称为临时校准对象)也可以用作指向另一个校准图像的指针以进行搜索。例如，如果在校准异议中参考游戏布局图像，则在移除校准对象之后，桌的布局可以用作用于成像设备参考的固定校准对象。在非限制性示例实施方案中，在校准的第一步骤中，成像设备在游戏表面上查找并且定位QR码。在校准的第二步骤期间，QR码被处理以确定(或QR码指向)指示与视场相关联的游戏装备处于二十一点布局55中的链接。在第三步骤期间，成像设备处理捕获的图像以确定是否存在现有的二十一点布局55。在第四步骤期间，其中游戏装备处于二十一点布局55中，所述布局用作参考对象。
临时参考对象表面图案可以用作用以定向摄像机以及其位置的装置，并且可以更容易地定位在忙碌场景中。临时参考对象可以更好地将成像设备的参考提供到用于跟踪的特定区域。例如，临时参考对象表面图案可以提供用于机器学习的近似图像坐标，以更精确地对准平行图像数据点。
在参考对象固定到游戏表面(印刷或蚀刻在游戏毛毡或桌上)的情况下，可以在任何时间捕捉用于校准的图像，包括在比赛期间或比赛之间桌是空的(没有玩家或发牌者)的帧数据中。
在一些实施方案中，例如，如果参考对象永久地被固定到游戏表面或附近的相关联游戏装备，则校准过程可以被常规地或连续地重新检查以保持校准中的图像馈送。
在示例实施方案中，成像设备是固定的，并且成像设备校准计算具有一些已知参数的益处，例如成像设备的光学器件，以及用于游戏表面的z轴偏移(安装到传感器高度)。通过已知成像设备规格，进一步限定某些光学变量，并且可能更准确地解释图像(非常一般地，针孔对全方向)。
校准360°/全方向成像设备还可以包括校准相应的成像设备而不需参考在传统成像设备中使用的图像点，而是代替地可以包括全方向视觉中的表面点。
根据一些实施方案，当读取校准图像时，在读取时或读取之前已知参考对象的物理大小时，并且填充图案宽度(patternWidth)和图案高度(patternHeight)变量。校准帧的矢量图像被存储并且被用来确定用于存储的每个校准图像的旋转值。生成用于每个校准图像的平移，并且随后，系统可以生成失真系数并且生成由成像设备查看的对每个参考对象的估计。
在校准多个成像设备中，处理包括在多摄像机图像中寻找重叠区域。在一些实施方案中，透视被校正并且在一些情况下被移除。此后，组合的成像设备源变成一个协调系统中的数据。
来自多个成像设备的多个图像可以被用于校准，或替代地，来自单个成像设备的单个帧可以被用来校准成像设备。用于校准的图像的索引可以与模型表示分开存储，或它们可以被并入到模型表示中。
参考图8，其例示了根据本申请的一个实施方案的全方向摄像机模块800。全方向摄像机可以是反射折射的。
在一些实施方案中，处理器112可以被配置为确定用于成像设备的校准参数，并且随后扩充由成像设备捕获的图像以进行360度鱼眼变换。在一些实施方案中，图像捕获设备可以进行等矩形投影的操作。
参考图9，其例示了根据本申请的另一个实施方案的全方向摄像机模型900。全方向摄像机可能是折射的。
在一些实施方案中，成像设备可以基于全方向摄像机校准参数和基于运动的结构进行校准。在一些实施例中，摄像机模型是否为折射反射的或摄像机模型是否为折射的可能并不是关键的。在一些实施例中，诸如焦距、偏斜或主点的因素可能不是关键参数。在一些实施例中，摄像机建模可能是基于秦勒级数展开：
f(ρ)＝a0+a1ρ+a2p2+…+aNpN
其中，校准参数为：秦勒展开系数α，旋转R，平移t。
替代地陈述的，其中第一成像设备104-1与第一视点相关联，并且第二成像设备104-2与第二视点相关联，并且其中两个成像设备捕获具有一个参考对象的视频数据，处理器112可以被配置为基于可见参考对象来确定校准参数以基于参考对象将两个视点相互关联。
随后，处理器112可以基于或参考成像设备的校准参数，使用从各种成像设备提取的特征来填充模型表示。进一步描述这样的示例实施方案，处理器112可以在与来自第一摄像机的视频数据相关联的第一帧中检测游戏参与者的第一特征(例如，手)，使用用户的手在游戏空间中的x、y、z坐标(例如，手的质心)更新模型表示，并且当游戏参与者将该特征移动到第二摄像机的第二视场中的第二位置时，处理器112可以使用第二组用户坐标x2、y2、z2更新模型表示，其中所述坐标是基于参考对象的位置的同一坐标系的一部分。
生成、填充和更新模型表示可以包括检测游戏参与者的特征，或经由处理器112检测成像设备帧数据中的游戏参与者它们本身。
根据非限制性变体，处理器112使用一个或多个机器学习模型来处理接收的视频数据，以基于视频数据内帧的像素区域中的相似性分数来检测游戏参与者。例如，机器学习模型可以包括一个或多个卷积神经网络，其聚合视频数据帧的各个区域中的特征。
在一些实施方案中，机器学习模型可以包括在先前图像上预训练的编码器-解码器配置，以基于视频中的特征的矢量映射来检测游戏参与者的特征的存在。
一旦处理器112在接收的视频数据的一帧(例如，第一帧)中检测到游戏参与者，处理器112被配置为提取检测到的游戏参与者的特征。在示例实施方案中，处理器112利用与用于检测游戏参与者相同的机器学习模型来提取特征。处理器112可以基于使用单独的机器学习模型处理接收的视频数据以用于在检测到时识别特定特征来确定提取的特征。例如，处理器112可以实施单独的机器学习模型，以用于在检测到游戏参与者时检测面部。
根据一些实施方案，例如，处理器112实施机器学习模型，其独立于检测游戏参与者来识别和提取特征。例如，处理器112可以被配置为使用视频数据帧确定所有手特征，而不考虑识别游戏参与者。
处理器112可以被配置为为每个特征分配属于预测的游戏参与者的可能性。在示例实施方案中，属于预测的游戏参与者的可能性基于手特征与其它检测到的手特征的相对定向之间的距离。例如，具有定向和间隔开肩宽的手特征可以被确定为属于同一游戏参与者。在示例实施方案中，其中特征是对象特征，诸如饮料或吸烟设备(例如，电子烟设备)，处理器112可以被配置为基于最近的游戏参与者分配可能性。
提取的特征可以是指示身体附肢的特征，诸如手、手臂等。在一些示例实施方案中，该特征是面部特征，诸如凝视(用于确定积极参与)、可能的情绪等。
检测到的游戏参与者的提取的特征可以是参与者的骨骼特征。例如，提取的特征可以是与身体附肢(诸如手、手臂等)相关联的骨骼结构。
提取骨骼特征可以包括使用具有不同视角的多个摄像机完成的骨骼校准。例如，可以通过以一个人在所有玩家座位上旋转按顺序捕获图像数据来完成校准。通过姿态估计处理按顺序的玩家帧，并且基于相对于每个摄像机的姿态定向选择性地求平均，可以用于校准确定骨骼特征的模型。骨骼特征可以包括，例如，通过叠加骨骼框架来跟踪玩家骨骼或骨骼表示，以提供以每秒特定帧处理速率定位的玩家的参考。突出显示，违规成员-标记哪个身体部分去了？用红色突出显示手，示出他们违反的区域——为了易于可解释性和解释，还可以覆盖其他信息、概率、数字等。一些覆盖信息可以链接到玩家数据，诸如玩家X，可以提高根据图像确定的游戏代币的量等增强现实类型的东西。
确定骨骼特征还可以包括对来自不同成像设备的不同视场的相对确定进行加权。在一个非限制性示例实施方案中，如果在三维空间中，由于人从该FOV向左转，因此左手臂对一个成像设备完全不可见，则在对该左手臂姿态的总体估计中可以在很大程度上忽略该成像设备对左手臂坐标的估计。
在一些实施方案中，托盘成像设备(例如，图11中的成像设备1104)成像数据，用于校准成像设备104-1以用于进行骨骼校准。托盘成像设备可以结合成像设备104-1为骨骼跟踪提供准确的距离，因为它可以是深度摄像机，具有重叠的视场以生成与成像设备104-1生成的成像数据重叠的成像数据，并且托盘成像设备与成像设备104-1之间的偏移可以被精确地预配置或调整。
根据一些实施方案，例如，骨骼校准基于游戏持续时间是否处于活动状态，为不同的骨骼确定分配不同的权重。例如，游戏位置(例如，游戏代币)和围绕所述代币移动的姿态之间的骨骼定向在游戏持续时间内需要极其准确，并且处理器112在指向游戏代币位置的定向中参考确定的骨骼特征。为了促进该实施例，检测到的更靠近游戏代币地点(例如，游戏表面的第一区域)的骨骼姿势比检测到的距该游戏地点更远的骨骼姿势被更重地加权。例如，在一个视场中检测到的骨骼姿势(包括触摸游戏代币(例如，循环游戏代币)与在第二视场中检测到的游戏参与者与饮料服务员交谈的骨骼姿势相比被高得多地加权。骨骼姿态最初可能锚定到由骨骼姿态表示的游戏参与者尚未登录、购买或开始在游戏地点玩游戏的游戏装备上。
在一些示例实施方案中，提取的特征是检测到的游戏参与者的位置或姿态。该位置或姿态可以相对于视频数据帧中的另一个对象来确定，诸如，例如，游戏顾客处于太靠近游戏雇员游戏参与者的位置。在一些实施方案中，例如，提取的姿态是游戏活动姿态，例如指示游戏顾客游戏参与者在手上拿牌或停牌的姿态。
一个或多个机器学习模型可以包括分类器机器学习模型，该模型被预训练以在帧数据和视频中检测手。在另一个非限制性变体中，一个或多个机器学习模型可以包括用于检测游戏参与者面部的情绪的多类分类器。
在一些示例实施方案中，一个或多个机器学习模型包括用于生成与视频帧中的对象相关联的边界框的机器学习模型。边界框机器学习模型可以被配置为围绕游戏参与者的每个手指的手指特征生成边界框，该边界框被用来进行游戏。随后，边界框可以用于增加提取的特征对审阅用户的可见性。
在示例实施方案中，响应于处理器112在视频数据集的第一帧中检测到游戏参与者，处理器112被配置为在视频数据集的第二帧中检测同一游戏参与者。在下文中，在讨论视频数据集的多个帧的情况下，理解所述帧是按顺序的，如其描述所表示的。例如，第二帧被理解为按顺序在视频数据的第一帧之后。
例如，可以跟踪骨骼以建立玩家不应越过的预定义“边界/线/界限/边缘/禁止区域”。在一些实施方案中，该区域被动态地确定为在游戏会话已经开始后接近筹码的区域)(例如，在75-100mm内，其可以变化，例如，基于桌的大小)。在一些实施方案中，边界是基于特定游戏或桌的极限水平动态建立的(例如，对于相对低的投注额(stake)，边界可以相对较小)。在一些实施方案中，边界是基于特定游戏桌或游戏的违规/偷窃数据动态并且自动调整的(例如，当接收到可操作数据时，边界被自动调整)。
在另外的实施方案中，处理器被配置为自动地进行策略以忽略或逐步降级某些类型的被跟踪的违规，其中跟踪的姿势活动指示在违规之前已经做出的意图，尽管实际的游戏事件或游戏区域违规发生在状态转变到不允许游戏代币的放置的状态之后。例如，如果一个人明显伸进以提供游戏代币来与发牌员建立游戏代币放置，并且在向发牌员提供对象的过程中，则可以原谅违规。例如，可以通过将对象保持在游戏区域或发牌员方向上的人的附肢的定义的运动矢量来表示此意图。在一些实施方案中，对违规的原谅可以是自由裁量的，并且系统被配置为提供用户界面，通过该用户界面可以向裁判员(例如娱乐室老板)显示重播，从而显示记录的运动(在一些实施方案中，由于带宽和存储空间的考虑，变换到公共坐标空间中并且基于空间表示而不是实际的原始记录示出)，并且裁判员可以做出决策并且触发系统根据需要忽略违规。对于诸如二十一点的游戏，其中玩家有特定的习惯运动和姿势，可以跟踪和利用这些姿势来建立用于游戏和相应违规的时间段的开始或结束(例如，点击或挥手以用于拿牌/跳过)。
例如，在非常繁忙的桌游戏中，例如，当掷骰子者开始掷骰子时，游戏可以结束(例如，当骰子已经发出或在骰子在空中时的晚游戏代币放置)。系统可以通过各种摄像机自动跟踪放置游戏代币的人和掷骰子者的骨骼表示，这些摄像机能够观察放置游戏代币的人和掷骰子者的对应的附肢，并且基于协调的时间戳数据确定何时关闭放置游戏代币的时间段以及何时做出游戏代币放置。例如，当掷骰子者的投掷速度非常快(例如，激进的掷骰子者)时，这对于玩家来说尤其具有挑战性，并且在一些实施方案中，为了保持桌游戏的势头和氛围，娱乐室老板可以选择放弃违规或在放弃违规之前审查违规。因此，系统提供做出决策所需的信息，但可以被配置为避免不期望地阻碍游戏的势头或氛围。在一些实施方案中，系统可以被配置用于基于特定规则的自动容差，并且该容差还可以包括关于所涉及的玩家的附加信息或元数据，诸如豪客状态、玩家的身份是否已知以及玩家是否具有长期的可信游戏历史、特定游戏的特定限制等。
在另一个实施方案中，鉴于诸如附肢显示在游戏停止事件时间戳(例如，掷骰子)之前至少预定数目的帧开始的意图运动的记号等，系统被配置为为轻微违规提供特定的容差。其他类型的记号可以包括伸入钱包等。相反地，可能存在诸如发牌员的特定姿势的记号，该记号指示特定时间之后的游戏代币放置无论如何都是无效的(例如，挥动的被跟踪的骨骼表示)。
处理器112可以实施顺序关系模型，诸如长短期记忆(LSTM)或门控循环单元(GRU)，以用于基于处理视频数据中的先前帧序列来提取特征。顺序关系模型可以预训练，以从顺序帧数据提取游戏参与者或游戏对象的特征。例如，处理器112可以基于视频数据的先前顺序帧从视频数据确定或提取手特征，该视频数据显示游戏参与者在游戏表面上移动肘部。
在一些实施方案中，例如，处理器112使用顺序关系模型处理所有接收的视频数据，以便检测或提取视频数据内的特征。例如，由处理器112用于检测游戏参与者的机器学习模型可以包括或合并顺序关系模型，该模型被训练为基于游戏参与者在帧之间表现出的顺序关系来检测视频数据中的游戏参与者。
处理器112可以利用各种机器学习模型，其包括各种模型部件。例如，处理器112可以被配置为实施机器学习模型，该模型被配置为使用分类器检测游戏参与者，并且随后基于顺序关系模型检测特征。
一旦游戏参与者的特征被处理器112提取，处理器112更新模型表示并且确定更新的模型表示是否满足违规阈值。
违规阈值可以是在视频数据的单个帧中检测到特征或在特定位置中检测到特征时满足的预配置阈值。
在一些实施方案中，例如，处理器112可以被预配置为在游戏持续时间期间在预定义的游戏区域内检测到手或附肢特征时确定满足违规阈值。预定义的游戏区域可以是需要游戏参与者放置他们的筹码以便参与游戏的区。例如，在处理器112在已经放下游戏代币后在游戏区域中检测到手特征的情况下，处理器112可以确定满足违规阈值。处理器112可以自动假设游戏参与者正在尝试偷窃，即在意识到输掉游戏代币放置时移除放置的游戏代币(诸如，在二十一点游戏的情况下，当发牌员没有在看时，游戏参与者移除游戏代币，或在三牌扑克的情况下，在游戏参与者的手牌(牌)弱的情况下，使用轻弹姿势，游戏参与者可能使用一张牌以单一姿势从一堆中敲出筹码，同时看起来要放弃他们的手牌(从而减少输掉游戏代币的量)，或封顶(capping)，即在意识到获胜游戏代币放置后增加游戏代币的量(诸如在二十一点中，在知道玩家或发牌员牌后将筹码添加到当前游戏代币中，或在三牌扑克的情况下，一旦玩家知道他们的牌，就将游戏代币添加到原游戏代币的量中，以便可以增加主游戏代币的量(主游戏代币的量不能大于投注物))。
在另一个非限制性实施例中，在处理器112检测到游戏雇员游戏参与者的醉酒特征时可以满足违规阈值。醉酒特征可以由实施机器学习模型的处理器112来检测，该模型使用分类器来确定游戏参与者的面部区域，并且随后使用自动编码器来确定所识别的面部是否表现出与训练醉酒实施例的相似性。
处理器112可以处理来自视频数据的两个或更多个顺序帧(例如，第一帧和第二帧)，以便确定是否满足违规阈值。
根据一些实施方案，处理器112可以被配置为单独处理每一帧，并使用从所处理的单个帧提取的特征来更新模型表示。例如，模型表示可以包括与单个帧中检测的每个特征相关联的记录。因此，模型表示可以包括跨不同帧的单个特征的多个表示。
在示例实施方案中，处理器112可以被配置为使用过去位置的特征表示来更新模型表示。例如，模型表示可以随着特征(例如，手)的位置不断更新，然而，该手所属于的所预测的游戏参与者可以是固定的。因此，模型表示除了一些固定参数之外，还可以包括检测到的特征的最新表示。
在示例实施方案中，处理器112可以被配置为基于2个或更多个顺序帧来检测偷窃或封顶。例如，处理器112可以使用机器学习模型处理包含第一帧和第二帧的手特征信息的更新的模型表示。在处理器112确定第一帧与游戏回合前持续时间重合，并且第二帧与游戏回合后持续时间重合，并且手特征不存在于第一帧中的游戏区域中，而是存在于第二帧中的游戏区域中的情况下，处理器112可以确定满足违规阈值。
确定手特征位于游戏区域中可以包括确定手特征与三维模型表示中的游戏区域重叠。在示例实施方案中，确定手特征位于游戏区域中是基于在视频数据中占据预定位置的游戏区域，使得任何特征与游戏区域之间的任何重叠都满足违规阈值。
确定帧与游戏回合前或游戏回合后持续时间重合可以包括从检测源接收游戏开始输入。例如，牌传感器可以被配置为基于缺牌来检测游戏回合前持续时间，并与系统102通信以通知处理器112缺牌。根据一些实施方案，例如，处理器112基于从交互式显示器304接收的输入来确定帧与游戏回合前或游戏回合后持续时间重合，其中游戏雇员可以输入游戏回合后持续时间已经开始。
在示例实施方案中，确定帧与游戏回合后或游戏回合前持续时间重合包括处理器112处理顺序帧数据以检测游戏代币(例如，牌、骰子)——替代地称为游戏开始对象——的缺失或存在。处理器112可以将代币缺失的帧分配给游戏回合前持续时间，并且将具有代币存在的帧分配给游戏回合后持续时间。
根据一些实施方案，处理器112可以被配置为在游戏参与者被检测为在放弃游戏代币的量后试图从事游戏活动的情况下确定满足违规阈值。例如，处理器112可以被配置为维持日志，对于每个游戏活动，其中玩家已将自己排除在游戏活动之外(例如，弃牌)。如果处理器确定玩家正在尝试下新游戏代币，则可能满足违规阈值。
处理器112可以被配置为在确定游戏参与者正在与不属于游戏参与者的对象交互时确定满足违规阈值。
在一个示例实施方案中，处理器112被配置为从顺序帧数据提取游戏代币特征，并针对每个提取的游戏代币将可能的所有权价值分配给游戏参与者。例如，处理器112可以通过序列帧数据将与最接近游戏参与者的游戏代币相关的提高的所有权价值分配给该游戏参与者。
根据一些实施方案，例如，处理器112被配置为始终检测游戏代币特征，并将高可能的所有权价值分配给首先检测到的在游戏代币附近的游戏参与者。例如，处理器112可以将带着游戏代币进入帧的游戏参与者确定为游戏代币的可能所有者。
类似地，处理器112可以被配置为基于预配置或预训练序列将高可能的所有权价值分配给游戏参与者。例如，处理器112可以被配置为为从游戏雇员游戏参与者接收游戏代币的游戏顾客游戏参与者分配高可能的所有权价值。
响应于确定具有游戏代币的低所有权价值的游戏参与者与所述代币重叠或接触，处理器112可以确定满足违规阈值。例如，处理器112可以确定旁观者触摸游戏参与者的筹码游戏代币满足违规阈值。
在示例实施方案中，处理器112将动态所有权价值分配给检测到的游戏代币。例如，处理器112可以在游戏回合前持续时间期间将牌游戏代币的高所有权价值分配给雇员，并且随后在游戏回合后持续时间期间将低所有权价值分配给雇员。因此，例如，尝试在一轮中间期间重新排列一副牌的雇员，可以使处理器112确定已经满足违规阈值。
处理器112可以处理顺序帧数据以确定由游戏参与者执行的姿势。例如，处理器112可以处理第一帧和第二帧，检索姿势定义或具有一个或多个与连续帧上的特征改变相关联的一个或多个姿势定义的姿势定义数据库，并且确定模型表示的该特征和更新的特征(即，与存储在模型表示中的第二帧相关联的特征)满足与一个或多个姿势表示中的任何一个相似的标准。在一非限制性示例实施方案中，处理器112可以确定检测到的游戏参与者的手特征是否与存储在姿势数据库中的拿牌或停牌姿势定义足够相似。
处理器112可以处理顺序帧数据以确定游戏参与者的凝视特征，以确定是否满足违规阈值。例如，在游戏参与者的眼睛特征被确定为在最小凝视阈值期间指向第一方向的情况下，该第一方向不包括玩游戏所需的游戏代币的视场(例如，玩家不看牌并做出主动选择)，处理器112可以确定满足违规阈值。
根据一些实施方案，处理器112可以处理顺序帧数据以确定游戏参与者的姿态特征以确定是否满足违规阈值。在姿态特征与预确定的醉酒姿态共享足够的相似性的情况下，处理器112可以确定已经满足违规阈值。
姿态特征可以用于确定游戏参与者是否可能作弊或与另一个游戏参与者协调，从而满足违规阈值。例如，在处理器112确定游戏参与者具有与游戏活动内的事件(诸如咳嗽或其它)相关重复的姿态的情况下，处理器112可以确定姿态特征满足违规阈值。
在示例实施方案中，处理器112结合红外成像设备104-2的红外帧数据处理来自RGB成像设备104-1的帧数据。根据一些示例实施方案，用于跟踪游戏活动的系统仅包括红外成像设备104-2，并且处理器112专门处理来自红外成像摄像机104-2的红外帧数据。
处理器112从红外帧数据的第一红外帧提取游戏参与者的红外特征。类似于从第一成像设备104-1的帧数据提取特征，处理器112可以使用卷积神经网络或其它机器学习架构或算法来检测游戏参与者。例如，处理器112可以处理第一红外帧以确定手特征。在示例实施方案中，处理器112以类似于从帧数据提取游戏参与者的特征的方式提取游戏参与者的红外特征。
在示例实施方案中，处理器112被配置为将从属于单个游戏参与者的第一帧和红外第一帧提取的特征相关联。例如，处理器112可以将从第一红外帧提取的手特征与第一帧中提取的手特征相关联，其中提取的手特征属于同一游戏参与者。
在示例实施方案中，处理器112基于一定程度的相似性确定特征是否彼此相关联。例如，在提取的手特征和提取的红外手特征足够相似(例如，手指长度足够相似、手指厚度足够相似、定向足够相似等)的情况下，处理器112可以确定这两个特征满足一定程度的相似性，并将这两个特征彼此相关联。
在一些实施方案中，例如，一定程度的相似性可以基于提取的特征的先前位置来满足。例如，处理器112可以确定红外特征和代表手特征的特征在它们包括相似的像素表示的情况下是足够相似的，并且与先前在模型表示中检测到或存储的手特征的位置相比基本上处于相似的位置。
在一些变体中，其中成像设备104基于相同的参考对象进行校准，在提取的特征被确定为在同一位置的情况下，可以满足一定程度的相似性。例如，处理器112可以确定红外特征和特征在它们在模型表示内位于同一位置(或位于基本相似的位置)的情况下足够相似。
根据一些实施方案，例如，处理器112可以被配置为接收、或处理、并且同步接收的帧数据(例如，帧数据、红外帧数据等)。根据一些实施方案，处理器112被配置为将接收的帧数据发送到同步器120以用于处理。
在示例实施方案中，成像设备104可以被配置为根据相应的成像设备104的内部时钟对帧数据进行时间戳处理。相应的成像设备104可以被预配置为在初始配置期间共享同步的时间。在一些实施方案中，例如，相应的成像设备104被配置为基于从处理器112或同步器120接收的主时间周期性地查询和更新其内部时钟。
在一些实施方案中，例如，处理器112和成像设备104连接到同步器120，并且从同步器120接收参考时间(或时间戳)以与所接收或捕获的帧数据相关联。在另一个非限制性示例实施方案中，同步器120可以被校准以向处理器112提供参考时间，该参考时间解释从成像设备104到处理器112的帧数据传输的延迟(即，包括偏移时间)，并向成像设备104提供用于进行时间戳处理的第二参考时间。同步器120可以经由专用或共享的同步电缆连接到成像设备。
随后，处理器112可以被配置为根据时间戳、基于该帧数据的时间戳是否与从同步器120接收的参考时间匹配来按时间顺序处理接收的帧数据。
在一个非限制性实施例中，成像设备104可以被配置为直接将捕获的帧数据流式传输到处理器112，并且处理器112可以被配置为使用来自同步器120的参考时间戳来对所有接收的成像数据进行时间戳处理。
与特征相关联的模型表示中的每个数据条目可以包括与检测到特征的时间相关联的时间戳数据。例如，在红外特征和来自两个不同成像设备的特征满足一定程度的相似性的情况下，如果从帧数据提取的特征共享相同的时间戳，则提取的特征表示可以被存储在与特定时间戳相关联的模型表示数据条目中。在另一个非限制性实施例中，其中特征是从具有不同时间戳的帧数据提取的，提取的特征表示可以单独被存储在模型表示中，并且与两个不同的时间戳相关联。
在红外成像设备104-2与RGB成像设备104-1结合使用的实施方案中，提取的红外特征可以被并入以确定是否满足违规阈值。
根据一些示例实施方案，处理器112被配置为提取游戏参与者的红外特征，该红外特征与从帧数据提取的游戏参与者的特征相似，以便具有同一特征的两个单独表示，其可以在模型表示内相关联。结合红外帧数据和帧数据可以有益地允许系统跟踪游戏活动，以减少与违规阈值相关联的误报量。
因此，在红外特征是红外手表示的情况下，处理器112可以被配置为处理从帧数据提取的手特征和与游戏参与者的手相关联的红外手特征并更新模型表示以确定手的模型表示是否在预定义的游戏区域内。例如，RGB成像设备104-1的定向和分辨率可以指示游戏参与者的手在预定义的游戏区域中，然而，红外手表示，作为第二定向的结果，可以确定该手不在预定义的游戏区域中。
在另一个非限制性示例实施方案中，检测到的红外手特征可以类似地与检测到的手的特征一起合并到更新的模型表示中，以确定所述特征是否与姿势定义数据库内的姿势定义相关联。例如，通过提供同时期观察，检测到的红外手特征可以提高基于姿势定义检测姿势(例如，拿牌、或跳过等)的准确度。
根据一些示例实施方案，处理器112提取原本对RGB成像设备104-1不可见的特征，以并入以确定是否满足违规阈值。例如，处理器112可以提取与游戏参与者的身体区域的温度相关联的游戏参与者的红外特征。提取的红外特征可以是面部或用户面部的特定区域——诸如前额——的温度或温度派生的度量，诸如心率。以这种方式，提取的红外特征可以允许用于跟踪游戏活动的系统检测原本对RGB成像设备104-1不可见的特征，并将所述红外特征并入以确定是否满足违规阈值。
在一非限制性示例实施方案中，提取的红外特征是确定的游戏参与者的身体区域的心率。例如，处理器112可以被配置为确定游戏参与者的前额的位置，并且基于红外帧数据之间的温度变化，通过将红外帧数据之间的温度变化与泵血的心脏相关联来确定游戏参与者的心跳。
提取的红外特征也可以用于确定是否已经满足安全阈值。例如，在玩家的心率和温度与休克或疾病相关联的情况下，处理器112可以确定已经满足安全阈值，并警告附近的医务人员或其它游戏工作人员跟进游戏参与者以查看是否需要进一步的医疗援助。有益的是，提取的红外特征可以允许检测原本对RGB摄像机不可见的条件。
在一些实施方案中，例如，处理器112可以被配置为将提取的心率特征合并到用于确定是否满足违规阈值的更新的模型表示中。例如，处理器112处理更新的模型表示可以确定在没有游戏活动或没有即将发生的游戏活动期间的时间段内游戏参与者的突然心率增加满足违规阈值。以这种方式，违规阈值可以用于可能检测个人在游戏活动开始之前对从事作弊或其他非法行为的担忧。
处理器112可以被配置为确定提取的心率的红外特征是否满足取消资格阈值。取消资格阈值可以基于检测到的心率与醉酒或受损的心跳具有足够程度的相似性。例如，在处理器112确定检测到的游戏参与者的温度低于与极端醉酒相关联的阈值的情况下，可以满足取消资格阈值。
根据一些实施方案，例如，提取的红外特征是对象红外特征，与游戏参与者不相关联。
在一些实施方案中，对象红外特征用于补充关于游戏参与者的信息。例如，将检测到的对象红外特征合并到模型表示中可以允许处理器112确定现有的提取的特征，该特征先前未被分类，是拿着啤酒或其它冷饮的手特征，作为提取的对象红外特征的结果。在另一个非限制性示例实施方案中，对象红外特征可以是点燃香烟的温度，或烟雾的红外表示，并且如果用于跟踪游戏活动的系统在游戏场所的非吸烟区中检测到点燃的香烟，则可以满足违规阈值。
在一些实施方案中，温度红外对象特征用于确定游戏参与者是否与所讨论的对象交互。例如，处理器112可以被配置为处理更新的模型表示并搜索其中第一帧(或第一红外帧)具有温度红外对象特征的实例，该特征指示所讨论的对象未被触摸(例如，该对象处于室温)。处理器112还可以处理从第二后续帧提取的特征的更新的模型表示，其中温度红外对象特征指示所讨论的对象被触摸(例如，对象具有大于先前室温的温度)。处理器112可以确定由于游戏参与者与游戏对象交互而发生的热传递，并且通过确定在温度变化之间哪个游戏参与者最接近游戏对象来确定负责该传递的游戏参与者。
处理器112，响应于确定负责触摸对象的游戏参与者，可以确定已经满足违规阈值。例如，在负责触摸该对象的游戏参与者不是被确定为拥有所讨论的该对象的游戏参与者的情况下，可以满足违规阈值。在另一个非限制性实施方案中，在游戏参与者被确定为在游戏回合持续时间期间已经触摸了该对象(例如，偷窃或封顶)的情况下，可以满足违规阈值。
替代地，对象红外特征可以独立于其与游戏参与者的关系而被使用。例如，在对象红外特征是饮料的温度的情况下，处理器112可以确定在饮料太热(例如，热啤酒)的情况下满足违规阈值，其中违规阈值用于衡量顾客的满意度。
在另一个非限制性示例实施方案中，对象红外特征是游戏装备的温度。游戏装备温度可以基于处理器112测量与帧数据中的游戏装备相关联的温度特征来确定，或可以基于帧数据中的靠近游戏装备的温度特征来确定该温度。例如，游戏装备温度可以通过检测游戏装备的排气口附近的空气温度来确定。
响应于确定游戏装备温度高于制造商推荐的操作温度，处理器112可以确定已经满足违规阈值。根据一些实施方案，例如，响应于确定游戏装备温度指示待处理的故障，处理器112可以确定满足违规阈值。
在一些变体中，用于跟踪游戏活动的系统包括具有不同视场的一个或多个RGB成像设备104以及一个或多个红外成像设备，从而允许跨扩展的视场跟踪游戏对象和游戏参与者。
在一些实施方案中，例如，红外成像设备104-2可以具有游戏场所内的酒吧的视场，并且RGB成像设备104-1可以具有游戏表面的视场。用于跟踪游戏活动的系统可以被配置为经由红外成像设备104-2并且随后通过RGB成像设备104-1跟踪从酒吧分配的所有饮料，以确保饮料在被带到游戏参与者之前不会被篡改，其中使用红外摄像机检测一距离处的变化可能更准确。
根据另外的非限制性示例实施方案，红外成像设备104-2可以具有指向与游戏活动相关联的照明不足区域(诸如游戏表面的下侧)的视场，并且RGB成像设备104-1可以具有指向与游戏活动相关联的光线良好区域的视场。例如，RGB成像设备104-1可以用于跟踪玩家，并且在光线良好游戏表面上，高质量的红外成像设备104-2可以用于跟踪在游戏表面下方书写不佳光线区域中的游戏参与者的手。
用于跟踪游戏活动的系统的示例实施方案还包括一个以上的RGB摄像机104-1。
现在参考图10A，用于跟踪游戏活动的示例系统1000包括安装在显示系统1004上的成像设备1002。
系统1000包括游戏表面上的多个参考对象，即参考对象表面1006和参考对象表面1008，它们用于基于游戏装备1010的游戏表面的不同轮廓来校准成像设备1002。
图10B是根据一些实施方案的使用具有已知几何形状和顶点检测的对象进行校准的替代方法的立体视图示1000B。在此实施例中，代替一些实施方案中所示出的基于棋盘的方法，由于已知纸的几何形状，因此可以利用一张纸。
这是一种简化的方法，其可以降低部署的复杂性。
这些步骤可以包括：
(A)在桌上放置一张与ROI区域具有预定义2D关系的新纸，(B)系统通过颜色过滤、轮廓检测和多边形拟合检测纸的四个顶点，然后使用这些坐标以及纸的已知尺寸来计算图像透视变换矩阵，(C)，通过从步骤B获得的变换，获得桌的矫正图像以及图像中的牌。在(D)处，可以通过背景去除来检测牌区域，并且在(E)处，通过使用从步骤C获得的矫正图像进行图案识别来完成牌等级和价值识别。
图10C是用于校准的替代方法的立体视图示1000C，其示出了根据一些实施方案的在矫正变换之前检测到的示例游戏代币1014。在此实施例中，在已经建立步骤B中的转换矩阵后，现在可以使用它来根据2D或三维空间模型建立游戏牌的坐标。在此实施例中，游戏代币1014是十个梅花牌。
图10D是根据一些实施方案的矫正图像1014的示例图像捕获1000D。注意在此实施例中，图像已被矫正，使得使用矩阵变换透视以校正颜色和/或定向/失真，并且矫正后的图像1014现在捕获相对于笛卡尔/欧几里得模型的物理几何形状，而不管来自摄像机的透视和失真。矫正后的图像1014具有物理属性，例如，该属性可以与其它摄像机和其它设备结合使用，因为它们具有共同的颜色空间或坐标空间。
图10E是根据一些实施方案的检测到的具有去除背景的牌1016的示例图像捕获100E。在此实施例中，背景已被移除，并且现在可以使用图案识别方法处理牌，以确定牌等级、牌花色，并跟踪其他方面，诸如异常磨损以及是否被玩家触摸(例如，然后需要将其标示为用于丢弃)等。
图10F是根据一些实施方案的由系统检测到的外来对象1018的透视渲染1000F。
类似地，由于桌的指定区域上预计不会有筹码和牌以外的外来对象，因此系统也可以被配置为检测外来对象，并且例如在检测到外来对象时发出违规告警信号。
用于外来对象检测的示例步骤可以包括：
a.构建目标卓子区域的背景模型
b.通过背景去除获取桌上的所有对象
c.检测牌并将其过滤掉(使用上文所提及的方法)
d.检测筹码并将其过滤掉。
在第一种方法中，使用摄像机内在参数和上文所提及的桌平面变换矩阵来构建相对于摄像机的所有可能的筹码平面(在世界坐标中，它们可以被建立为平行于桌平面的平面层，其中筹码高度作为它们彼此之间的垂直距离)并分别计算它们的变换矩阵。
在另一种方法中，对于每个对象，使用上述矩阵对其进行变换，并根据指定的筹码尺寸和筹码表面上的图案识别它们是否是筹码。
e.如果存在剩余的未识别对象超过最小尺寸，则标示估计的外来对象，并且系统可以被配置为发送或生成警告，或可以被配置为记录跟踪的外来对象标示的时间戳周围的参数或事件。
现在参考图11，根据一些实施方案，例如，用于跟踪游戏活动的系统包括第一RGB成像设备1102(安装在显示系统1110上)、第二RGB成像设备1104和第三RGB成像设备1106。在所示出的实施方案中，第二RGB成像设备1104和第三RGB成像设备1106被嵌入在具有游戏表面1108的视场的筹码托盘1112中(例如，在图11中被示出为具有校准表面)。
来自RGB摄像机(第一RGB成像设备1102、第二RGB成像设备1104和第三RGB成像设备1106)中的每一个的帧数据可以用于使用检测到的特征更新模型表示。例如，在成像设备中的每一个检测到游戏参与者的手特征的情况下，帧数据以及与检测到的特征相关联的数据可以用于更新模型表示以包括单独的检测。
处理器112可以被配置为合并与多个成像设备的提取的特征相关联的数据，以确定是否已经满足违规阈值。例如，处理器112可以被配置为确定从特定成像设备提取的权威特征。在示例实施方案中，处理器112基于与同一区域内先前提取的特征的一定程度的相似性来确定提取的权威特征。在一些变体中，处理器112通过对来自不同帧数据集的所有可用的提取的特征求平均来生成提取的权威特征。设想了确定提取的权威特征信息的各种组合，包括同一特征的各种提取的特征的加权求平均。
图12A-图12C示出了根据一些实施方案的具有多个摄像机的用于跟踪游戏活动的系统1200的示意图。
在所示出的实施方案中，系统1200包括：成像设备1204，其安装在显示器单元1202上相对于游戏表面的第一高度处；以及托盘成像设备1206、1208、1210、1212，其安装在进入筹码托盘1214的第二高度处。
各种成像设备可以被布置为确保整个游戏表面1216处于至少一个成像设备的视场内。根据一些实施方案，成像设备被布置在游戏表面1216周围，使得游戏表面上的每个区域被一个以上成像设备的重叠视场所捕获。设想了相对于游戏表面1216的各种重叠或独立的视场，诸如游戏表面1216的第一区域被多个成像设备捕获，并且游戏表面1216的第二区域被单个成像设备捕获的实施方案。
显示器安装的成像设备1204可以被安装在显示器1202上以具有包含其它成像设备的盲点的视场。例如，在图12B和图12C中所示出的实施方案中，托盘成像设备1206、1208、1210、1212中的每一个的视场包括盲点(例如，由盲点1218A和盲点1218B示出)，并且第一成像设备104被安装在显示系统1202上以具有包括盲点的视场。
在系统1200内校准多个成像设备可以包括在托盘成像设备1206、1208、1210、1212的视场中使用校准图案，如图12C中所示出的。
图13A-图13C是根据多个实施方案的用于跟踪多个游戏表面(例如，第一游戏表面1310和第二游戏表面1312)上的游戏的示例系统1300的示意图。
在所示出的实施方案中，成像设备1302具有与校准表面1303的边界重合的视线1304和1306，从而允许第一成像设备1302被校准到第一游戏表面1310。类似地，并且可能有利地，由于被安装在显示系统上，成像设备1302具有第二校准表面1313的视线(例如被示出为视线1308)，从而允许第一成像设备1302被校准到第二游戏表面1312。
第一成像设备1302被示出在第一游戏表面1310的角落中，使得第一成像设备1302具有第二游戏表面1312的视线，这不太可能受到在第一游戏表面1310处参与游戏的玩家的阻碍。在具有第二游戏表面1312的多成像设备系统中使用时，第一成像设备1302可以优选地被安装在具有第二游戏表面1312的不间断视线的位置中。
成像设备1302可以被校准到其视场内的各种游戏表面。例如，成像设备1302可以以类似于校准成像设备13用于两个游戏表面的方式校准到三个游戏表面。
现在参考图13B，在所示出的实施方案中，系统1300包括第一成像设备1302和第二成像设备1320。相应的成像设备包括第一校准表面1303和第二校准表面1313两者的视线。
有利地，图13B的系统1300可以允许改进的游戏活动监测，因为具有两个成像设备具有能够提取相对于视场内的特征的重复数据的视场。
现在参考图13C，在所示出的实施方案中，系统1300包括显示器安装的成像设备1302和1320，以及空中安装的成像设备1330和1332。成像设备中的每一个具有第一游戏表面1310和第二游戏表面1312的独特视场。
有利地，图13C的系统1300可以允许改进的游戏活动监测，因为成像设备具有能够提取相对于视场内的特征的重复数据的视场。
图14是根据一些实施方案的用于检测游戏违规的方法的流程图。
在步骤1402处，处理器112从成像设备(例如，第一成像设备104-1)捕获帧数据。捕获帧数据可以是视频数据的形式，诸如，MP4视频数据文件。
在步骤1404处，将捕获的帧数据(其可以包括来自与相似或重叠或离散感兴趣的区域相关联的多个成像设备的帧数据)保存到存储器(例如，在数据库114处)。处理器112可以被配置为在接收到捕获帧数据后立即存储它，或替代地，处理器112可以被配置为在存储之前对捕获帧数据进行预处理或压缩。
捕获的帧数据可以由处理器112处理并通过参考通过并入到模型表示中而被存储。根据一些实施方案，例如，捕获的帧数据被处理并且仅提取的特征被存储在模型表示中。模型表示可以包括用于描述帧数据的相对序列的元数据、帧数据的源、捕获帧数据的源的物理属性(例如，分辨率)等。
在步骤1406处，处理器112可以被配置为从存储器检索用于提取的特征的帧数据的子集。例如，处理器112可以被配置为检索具有特征存在的最近10秒的帧数据。根据一些非限制性示例实施方案，处理器112被配置为检索存储在存储器中的最新特征表示(例如，前一秒的帧数据和检测到的特征)。
从存储器检索到的帧数据(和模型表示条目)子集的大小可以被预配置、基于用户输入进行调整或动态更新。例如，在处理器112不确定是否已经满足违规阈值的情况下，处理器112可以被配置为从存储在存储器中的帧数据寻找较旧的帧数据(和模型表示条目)。
根据示例实施方案，在步骤1406处，处理器112仅检索与帧数据的子集相关联的模型表示。例如，处理器112可以从模型表示检索提取的特征的最后4个存储的表示。
在步骤1408处，处理器112将所检索到的帧数据的子集(或模型表示)与步骤1404中存储在存储器中的捕获的帧数据(或从捕获的数据帧提取的特征)进行比较，以确定改变是否发生在感兴趣的区域内。例如，在存在单个游戏表面的示例实施方案中(例如如图11中所示出的)，处理器112将捕获的帧数据与所检索到的帧数据的子集进行比较，以确定感兴趣的区域内的任何特征是否已经改变。
响应于确定感兴趣的区域内没有改变，处理器112可以将在步骤1402中捕获的帧数据和特征作为更新的模型表示存储到存储器中。
响应于确定在感兴趣的区域内已经发生改变，处理器112可以被配置为从帧数据提取特征并且确定是否已经满足相关阈值。确定是否已经满足相关阈值可以包括处理器112将所检索到的数据发送到监测系统内的处理器。在一些实施方案中，处理器206确定是否已违反相关阈值。
在步骤1410处，处理器112创建由步骤1402捕获帧数据触发的相关阈值的记录。例如，记录可以包括事件的时间、事件的类型(例如，如由分类器确定)、由处理器112提供的通知的细节(例如，何时以及向谁发送警报)等。
根据一些实施方案，例如，在处理器112已经记录了触发事件之后，处理器关闭事件捕获。例如，系统1300可以被配置为在检测到指示在游戏期间发生的作弊的特征时关闭。
处理器112可能能够生成记录的事件的报告，如由步骤1416所示出的。所述报告可以包括存储在事件记录中的任何元数据，例如在步骤1410中的集合。
处理器112可以被配置为自动将报告发送到预配置的个人或实体列表。例如，处理器112可以被配置为在一天结束时将事件日志发送到娱乐室老板。
响应于在步骤1410处处理器112生成事件记录，处理器112可以被配置为在步骤1414处将事件发送到监测系统(未示出)。
监测系统可以被配置为跟踪与特定游戏参与者相关联的所有事件，并向处理器112提供反馈，以用于确定与该特定参与者相关联的后续违规或阈值。例如，在监测系统得出结论存在针对特定用户检测到的多个偷窃阈值的情况下，监测系统可以指示处理器112降低用于确定偷窃的阈值以保持对所述个人的提高警惕性。
在示例实施方案中，监测系统可以聚合报告数据以确定趋势。例如，监测系统可以确定检测到的偷窃事件是否存在增加，并向游戏雇员提供警告(例如，经由面向游戏雇员的显示系统)以对偷窃保持高度戒备。
图15是示出根据一些实施方案的用于检测用户特征的方法1500的流程图。
可选地，在步骤1502处，处理器112确定是否开始游戏回合持续时间。例如，发牌者可以按下并入显示系统的按钮，该按钮指示将开始游戏回合持续时间(例如，牌游戏手牌开始)。
在步骤1504处，可以启动成像设备(例如，商业摄像机和整副牌(deck)传感器1504-1、360°摄像机1504-2、红外摄像机、1504-3和闭路电视1504-4)以捕获帧数据。在示例实施方案中，成像设备连续地捕获帧数据，而不参考游戏回合持续时间是否已经开始。
在步骤1506处，捕获来自一个或多个成像设备的帧数据。
在步骤1508处，将捕获的帧数据存储在存储器中在模型表示内。
在步骤1510处，用机器学习模型处理存储的帧数据，以确定帧数据内的任何提取的游戏参与者特征的骨骼位置。
可选地，如步骤1510-1中所示出的，机器学习模型可以被配置为基于融合来自多个成像设备源的多个提取的特征来生成由帧数据表示的时间窗内的骨骼位置。
在示例实施方案中，处理器112用预先训练的分类器机器学习模型来处理存储的帧数据，以检测和分类个体的附肢。处理器112还被配置为根据从多个视点检测到的分类的身体附肢，将身体附肢的可能骨骼位置估计为在检测到的附肢的中间。
在一些实施方案中，处理器112基于解剖数据库(未示出)和分类的身体附肢来确定骨骼位置。例如，处理器112可以被配置为部分地基于鼻子的位置相对于眼睛特征的位置的现有解剖信息来确定个体的鼻子的位置。
在步骤1512处，处理器将确定的骨骼位置保存到存储器。存储器可以是系统102本地的数据库114，或存储器可以在系统102外部，例如外部数据库。
在步骤1524处，可选地，类似于步骤1406和方法1400，处理器112可以被配置为检索或生成存储在存储器中的骨骼位置的子集。
在步骤1514处，处理器112比较存储在存储器中的骨骼位置数据的子集，以确定是否已经满足阈值。例如，阈值可以是违规阈值。在示例实施方案中，阈值可以是姿势阈值或安全阈值。
类似于方法1400中的步骤1410，在步骤1516处，处理器112响应于确定已经满足阈值而创建由捕获帧数据触发的相关阈值的记录。
类似于步骤1414，步骤1518包括处理器112将创建的记录发送到监视系统。
在步骤1520处，处理器112可以被配置为生成并且发送警报。在示例实施方案中，警报是用于控制致动器的控制信号。例如，警报可以触发安全办公室中铃声的响铃。在一些实施方案中，例如，警报是通知，诸如显示屏幕消息的指令，或发送到预先配置的接收者的SMS等。
在步骤1522处，处理器112可以被配置为暂停任何新的游戏代币的放置(例如，拒绝接受非接触式支付方案的新的支付)。在示例实施方案中，处理器112将识别在检测到违规时存在的游戏参与者的警报和游戏中的放置的游戏代币的量发送到安全办公室，在安全办公室中可以锁定游戏代币，直到在允许参与者兑换游戏代币之前进一步解决。
图16A和图16B是例示根据一些实施方案的检测到的游戏参与者骨骼特征的图解。
在所示出的实施方案中，发牌者游戏参与者被示出为在图16A和图16B之间的游戏活动的促进中画出另一张牌。为游戏参与者检测的骨骼特征包括眉毛、眼睛、鼻子和嘴。示出了另外的骨骼特征，包括在成像设备的视场中可见的所有身体骨骼特征。
图17是根据示例实施方案的示例计算系统1700的部件图解。
图17所示出的系统1700包括连接到母板1704的显示器1702。母板1704可以与各种成像设备和计算机或网络部件进行通信，例如通过使用成像传感器端口1708、360°摄像机输入端口1710和以太网端口1712。
系统1700还可以包括用户可操作的接口，例如电源开关1714和按钮面板1706。
图18是根据示例实施方案的系统102的示意图。
如所描绘的，系统102包括至少一个处理器1802、存储器1804、至少一个I/O接口1806和至少一个网络接口1808。
每个处理器1802可以是例如微处理器或微控制器(例如专用微处理器或微控制器)、数字信号处理(DSP)处理器、集成电路、现场可编程门阵列(FPGA)、、可重新配置处理器、可编程只读存储器(PROM)或其组合。
存储器1804可以包括位于内部或外部的计算机存储器的适当组合，例如随机存取存储器(RAM)、只读存储器(ROM)、光盘只读存储器(CDROM)、、电光存储器、磁光存储器、可擦除可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM)、铁电RAM(FRAM)等。
每个I/O接口1806使系统102能够与诸如键盘、鼠标、摄像机、触摸屏和麦克风的一个或多个输入设备互连，或与诸如显示屏和扬声器的一个或多个输出设备互连。
每个网络接口1808使系统102能够与其它部件通信、与其它部件交换数据、访问并连接到网络资源、服务应用、以及通过连接到能够传送数据的网络(或多个网络)来执行其它计算应用，所述网络包括因特网、以太网、普通老式电话服务(POTS)线路、公共交换电话网(PSTN)、综合服务数字网(ISDN)、数字用户线路(DSL)、同轴电缆、光纤、卫星、移动、无线(例如Wi-Fi、WiMAX)、SS7信令网络、固定线路、局域网、广域网等，包括这些的组合。
仅为了简单起见，示出了一个系统102，但是用于跟踪游戏活动的系统可以包括多个服务器102。服务器102可以是相同或不同类型的设备。服务器102可以以各种方式连接，包括直接耦合、经由网络间接耦合、以及分布在广阔的地理区域上并经由网络连接(其可以被称为“云计算”)。
例如但不限于，系统102可以是计算系统、网络设备、机顶盒、嵌入式设备、计算机扩展模块、个人计算机、膝上型计算机、个人数据助理、蜂窝电话、智能电话设备、UMPC平板计算机、视频显示终端、游戏控制台或能够被配置为执行本文所描述的方法的任何其他计算设备。
术语“连接”或“耦合到”可以包括直接耦合(其中相互耦合的两个元件彼此接触)和间接耦合(其中至少一个附加元件位于两个元件之间)。
虽然已经详细描述了实施方案，但是应理解，在不脱离本发明的范围的情况下，可以进行各种改变、替换和更改。此外，本申请的范围不意在限于说明书中所描述的过程、机器、制造、物质组成、装置、方法和步骤的具体实施方案。
如本领域普通技术人员从本公开内容将容易理解的，可以利用当前存在的或以后将开发的，执行与本文所描述的对应的实施方案基本上相同的功能或实现基本上相同的结果的过程、机器、制造、物质组成、装置、方法或步骤。因此，所述实施方案意在在其范围内包括这样的过程、机器、制造、物质组成、装置、方法或步骤。
可以理解的是，上文所描述的和所示出的实施例意在仅是示例性的。
参考文献：
[1]Tom Mertens、Jan Kautz和Frank Van Reeth.2007.Exposure Fusion.InProceedings of the 15th Pacific Conference on Computer Graphics andApplications(PG′07).IEEE Computer Society，Washington，DC，USA，382-390.DOI：https：//doi.org/10.1109/PG.2007.23。

Claims (41)

1.一种用于监测游戏活动的网络使能的数字标牌设备，所述网络使能的数字标牌设备包括：
网络接口适配器，所述网络接口适配器被配置用于与具有对应的至少一个其他视场的至少一个其他摄像机进行电子通信；
至少具有广角摄像机的摄像机，所述摄像机在第一视场中跟踪放置在游戏表面上或接近游戏表面放置的物理对象；
计算机处理器，所述计算机处理器被配置用于通过以下方式来校准所述摄像机和所述至少一个其他摄像机：
识别所述第一视场和所述至少一个其他视场中的至少一个重叠区域，所述重叠区域捕获校准表面的至少一部分；
基于所述校准表面来校准所述摄像机；
基于所述校准表面来校准所述至少一个其他摄像机；以及
建立用于定位由所述摄像机或所述至少一个其他摄像机、或所述摄像机和所述至少一个其他摄像机二者捕获的物理对象的公共坐标系。
2.根据权利要求1所述的网络使能的数字标牌设备，其中所述校准表面是具有已知尺寸和几何形状的正多边形，并且其中对所述摄像机和所述至少一个其它摄像机的校准包括：为所述摄像机和所述至少一个其它摄像机中的每个，建立对应的透视变换矩阵，所述对应的透视变换矩阵将被存储在计算机存储器中并且被用于将坐标值转换到所述公共坐标系中。
3.根据权利要求2所述的网络使能的数字标牌设备，其中所述校准表面具有一种或多种颜色，并且其中对所述摄像机和所述至少一个其它摄像机的校准包括：为所述摄像机和所述至少一个其它摄像机中的每个，建立对应的颜色变换矩阵，对应的透视颜色矩阵将被存储在计算机存储器中并且被用于将颜色值转换到公共颜色系统中。
4.根据权利要求1-3中任一项所述的网络使能的数字标牌设备，其中所述摄像机和所述至少一个其它摄像机协同操作以在所述第一视场或所述至少一个其它视场中跟踪物理对象，并且使用所述公共坐标系将所述物理对象的视觉特性从捕获的图像转换到空间模型中。
5.根据权利要求3所述的网络使能的数字标牌设备，其中所述摄像机和所述至少一个其它摄像机协同操作以在所述第一视场或所述至少一个其它视场中跟踪物理对象，并且使用所述公共坐标系和所述公共颜色系统将所述物理对象的视觉特性从捕获的图像转换到空间和颜色校正的模型中。
6.根据权利要求1-5中任一项所述的网络使能的数字标牌设备，其中所述第一视场或所述至少一个其它视场捕获一个或多个物理游戏对象，每个物理游戏对象具有一个或多个相关联的视觉特性，包括至少一个游戏值，并且其中所述一个或多个物理游戏对象的对应的矫正图像基于所述公共坐标系，并且所述对应的矫正图像被用于图案识别以计算地估计对应的物理游戏对象的一个或多个相关联的视觉特性。
7.根据权利要求6所述的网络使能的数字标牌设备，其中所述一个或多个物理游戏对象是扑克牌，并且其中所述一个或多个相关联的视觉特性包括至少牌值、牌定向、牌面、物理尺寸、或物理表面视觉伪像。
8.根据权利要求7所述的网络使能的数字标牌设备，其中所述一个或多个相关联的视觉特性包括所述物理表面视觉伪像，并且对应于一个物理游戏对象的所述物理表面视觉伪像被利用以基于所述物理游戏对象与参考物理游戏对象的自动比较来生成指示磨损、损坏或修改中的至少一个的分数。
9.根据权利要求7所述的网络使能的数字标牌设备，其中所述一个或多个物理游戏对象的移动或与所述一个或多个物理游戏对象的交互被记录，并且移动的或交互的一个或多个物理游戏对象被标示为已使用的。
10.根据权利要求9所述的网络使能的数字标牌设备，其中被标示为已使用的所述一个或多个物理游戏对象被从比赛移除，并且所述处理器被配置为对移除的游戏对象和新的游戏对象进行计数，以确定是否维持移除的牌与新的牌的1∶1比率，并且如果未维持移除的牌与新的牌的1∶1比率，则所述处理器还被配置为触发异常警报。
11.根据权利要求1所述的网络使能的数字标牌设备，其中所述第一视场或所述至少一个其它视场捕获对应于一个或多个玩家的一个或多个身体部分，并且所述计算机处理器还被配置为维持和跟踪表示一个或多个玩家骨骼表示的数据模型架构，每个玩家骨骼表示或所述一个或多个玩家骨骼表示对应于所述一个或多个玩家中的每个玩家。
12.根据权利要求1所述的网络使能的数字标牌设备，其中所述一个或多个玩家骨骼表示在所述第一摄像机或所述至少一个或多个其他摄像机上被跟踪，以确定所述一个或多个玩家骨骼表示在所述公共坐标系中的一个或多个物理位置，并且其中所述处理器被配置为，如果所述一个或多个玩家骨骼表示在所述公共坐标系中的所述一个或多个物理位置进入所述公共坐标系中的被指定为边界外区域的区域，则触发违规告警。
13.根据权利要求10所述的网络使能的数字标牌设备，其中所述第一视场或所述至少一个其它视场捕获一个或多个物理游戏标示物对象，每个物理游戏标示物对象具有相关联的面额和基于所述透视变换矩阵在所述公共坐标系中确定的物理位置；并且
其中在不准许游戏交互的持续时间期间，在一个或多个物理游戏标示物对象周围动态地确定边界外区域。
14.根据权利要求1所述的网络使能的数字标牌设备，其中所述至少一个其它摄像机耦合到至少一个其它网络使能的数字标牌设备，所述至少一个其它网络使能的数字标牌设备定位在一个游戏表面处、物理上接近所述网络使能的数字标牌设备。
15.根据权利要求12所述的网络使能的数字标牌设备，其中所述游戏表面在来自所述至少一个其他网络使能的数字标牌设备的第一视场和一个或多个其他视场内，使得所述游戏表面上的物理对象被协同操作的多个网络使能的数字标牌设备观察到，使得尽管所述第一视场或所述一个或多个其他视场中的至少一个受到妨碍，所述物理对象仍然能够被观察到。
16.根据权利要求1所述的网络使能的数字标牌设备，其中所述至少一个其它摄像机是托盘成像设备，所述托盘成像设备安装在发牌者托盘上并且具有适于获得驻留在所述发牌者托盘内的游戏标示物的图像的对应的视场。
17.根据权利要求1所述的网络使能的数字标牌设备，其中所述至少一个其它摄像机是游戏代币放置区域成像设备，所述游戏代币放置区域成像设备安装在发牌者托盘上并且具有适于被配置为在所述视场内获得定位在游戏区域中的游戏标示物的图像的对应的视场。
18.根据权利要求16或17中任一项所述的网络使能的数字标牌设备，其中所述处理器被配置为发起激活或去激活事件，用于发信号通知所述托盘成像设备或所述游戏代币放置区域成像设备的对应的激活或去激活。
19.根据权利要求16或17中任一项所述的网络使能的数字标牌设备，其中所述处理器被配置为基于所述公共坐标系来观察所述发牌者托盘中或所述游戏区域中的所述游戏标示物，并且如果在所述摄像机与所述至少一个其它摄像机之间存在对所述发牌者托盘中或所述游戏区域中的游戏标示物的计数之间的差异，则触发异常警报。
20.根据权利要求1-19中任一项所述的网络使能的数字标牌设备，其中所述广角摄像机是适于提供全方向光学记录的360度摄像机，并且其中所述360度摄像机安装在安装构件的顶部分处，使得所述360度摄像机具有足够的竖向间隙以监视所述游戏表面，所述游戏表面被定位在所述360度摄像机下方。
21.一种用于通过控制具有至少一个广角摄像机的摄像机来监视游戏活动的网络使能的方法，所述摄像机在第一视场中跟踪放置在游戏表面上或接近游戏表面放置的物理对象，所述摄像机与具有对应的至少一个其他视场的至少一个其他摄像机进行电子通信，所述网络使能的方法包括：
通过以下方式校准所述摄像机和所述至少一个其他摄像机：
识别所述第一视场和所述至少一个其他视场中的至少一个重叠区域，所述重叠区域捕获校准表面的至少一部分；
基于所述校准表面来校准所述摄像机；
基于所述校准表面来校准所述至少一个其他摄像机；以及
建立用于定位由所述摄像机或所述至少一个其他摄像机、或所述摄像机和所述至少一个其他摄像机二者捕获的物理对象的公共坐标系。
22.根据权利要求21所述的网络使能的方法，其中所述校准表面是具有已知尺寸和几何形状的正多边形，并且其中对所述摄像机和所述至少一个其它摄像机的校准包括：为所述摄像机和所述至少一个其它摄像机中的每个，建立对应的透视变换矩阵，所述对应的透视变换矩阵将被存储在计算机存储器中并且被用于将坐标值转换到所述公共坐标系中。
23.根据权利要求22所述的网络使能的方法，其中所述校准表面具有一种或多种颜色，并且其中对所述摄像机和所述至少一个其它摄像机的校准包括：为所述摄像机和所述至少一个其它摄像机中的每个，建立对应的颜色变换矩阵，对应的透视颜色矩阵将被存储在计算机存储器中并且被用于将颜色值转换到公共颜色系统中。
24.根据权利要求21-23中任一项所述的网络使能的方法，其中所述摄像机和所述至少一个其它摄像机协同操作以在所述第一视场或所述至少一个其它视场中跟踪物理对象，并且使用所述公共坐标系将所述物理对象的视觉特性从捕获的图像转换到空间模型中。
25.根据权利要求23所述的网络使能的方法，其中所述摄像机和所述至少一个其它摄像机协同操作以在所述第一视场或所述至少一个其它视场中跟踪物理对象，并且使用所述公共坐标系和所述公共颜色系统将所述物理对象的视觉特性从捕获的图像转换到空间和颜色校正的模型中。
26.根据权利要求21-25中任一项所述的网络使能的方法，其中所述第一视场或所述至少一个其它视场捕获一个或多个物理游戏对象，每个物理游戏对象具有一个或多个相关联的视觉特性，包括至少一个游戏值，并且其中所述一个或多个物理游戏对象的对应的矫正图像基于所述公共坐标系，并且所述对应的矫正图像被用于图案识别以计算地估计对应的物理游戏对象的一个或多个相关联的视觉特性。
27.根据权利要求26所述的网络使能的方法，其中所述一个或多个物理游戏对象是扑克牌，并且其中所述一个或多个相关联的视觉特性包括至少牌值、牌定向、牌面、物理尺寸、或物理表面视觉伪像。
28.根据权利要求27所述的网络使能的方法，其中所述一个或多个相关联的视觉特性包括所述物理表面视觉伪像，并且对应于一个物理游戏对象的所述物理表面视觉伪像被利用以基于所述物理游戏对象与参考物理游戏对象的自动比较来生成指示磨损、损坏或修改中的至少一个的分数。
29.根据权利要求27所述的网络使能的方法，其中所述一个或多个物理游戏对象的移动或与所述一个或多个物理游戏对象的交互被记录，并且移动的或交互的一个或多个物理游戏对象被标示为已使用的。
30.根据权利要求29所述的网络使能的方法，其中被标示为已使用的所述一个或多个物理游戏对象被从比赛移除，并且所述处理器被配置为对移除的游戏对象和新的游戏对象进行计数，以确定是否维持移除的牌与新的牌的1：1比率，并且如果未维持移除的牌与新的牌的1：1比率，则所述处理器还被配置为触发异常警报。
31.根据权利要求21所述的网络使能的方法，其中所述第一视场或所述至少一个其它视场捕获对应于一个或多个玩家的一个或多个身体部分，并且所述计算机处理器还被配置为维持和跟踪表示一个或多个玩家骨骼表示的数据模型架构，每个玩家骨骼表示或所述一个或多个玩家骨骼表示对应于所述一个或多个玩家中的每个玩家。
32.根据权利要求21所述的网络使能的方法，其中所述一个或多个玩家骨骼表示在所述第一摄像机或所述至少一个或多个其他摄像机上被跟踪，以确定所述一个或多个玩家骨骼表示在所述公共坐标系中的一个或多个物理位置，并且其中所述处理器被配置为，如果所述一个或多个玩家骨骼表示在所述公共坐标系中的所述一个或多个物理位置进入所述公共坐标系中的被指定为边界外区域的区域，则触发违规告警。
33.根据权利要求30所述的网络使能的方法，其中所述第一视场或所述至少一个其它视场捕获一个或多个物理游戏标示物对象，每个物理游戏标示物对象具有相关联的面额和基于所述透视变换矩阵在所述公共坐标系中确定的物理位置；并且
其中在不准许游戏交互的持续时间期间，在一个或多个物理游戏标示物对象周围动态地确定边界外区域。
34.根据权利要求21所述的网络使能的方法，其中所述至少一个其它摄像机耦合到至少一个其它网络使能的数字标牌设备，所述至少一个其它网络使能的数字标牌设备定位在一个游戏表面处、物理上接近所述网络使能的数字标牌设备。
35.根据权利要求32的网络使能的方法，其中所述游戏表面在来自所述至少一个其他网络使能的数字标牌设备的第一视场和一个或多个其他视场内，使得所述游戏表面上的物理对象被协同操作的多个网络使能的数字标牌设备观察到，使得尽管所述第一视场或所述一个或多个其他视场中的至少一个受到妨碍，所述物理对象仍然能够被观察到。
36.根据权利要求21所述的网络使能的方法，其中所述至少一个其它摄像机是托盘成像设备，所述托盘成像设备安装在发牌者托盘上并且具有适于获得驻留在所述发牌者托盘内的游戏标示物的图像的对应的视场。
37.根据权利要求21所述的网络使能的方法，其中所述至少一个其它摄像机是游戏代币放置区域成像设备，所述游戏代币放置区域成像设备安装在发牌者托盘上并且具有适于被配置为在所述视场内获得定位在游戏区域中的游戏标示物的图像的对应的视场。
38.根据权利要求36或37中任一项所述的网络使能的方法，其中所述处理器被配置为发起激活或去激活事件，用于发信号通知所述托盘成像设备或所述游戏代币放置区域成像设备的对应的激活或去激活。
39.根据权利要求36或37中任一项所述的网络使能的方法，其中所述处理器被配置为基于所述公共坐标系来观察所述发牌者托盘中或所述游戏区域中的所述游戏标示物，并且如果在所述摄像机与所述至少一个其它摄像机之间存在对所述发牌者托盘中或所述游戏区域中的游戏标示物的计数之间的差异，则触发异常警报。
40.根据权利要求21-39中任一项所述的网络使能的方法，其中所述广角摄像机是适于提供全方向光学记录的360度摄像机，并且其中所述360度摄像机安装在安装构件的顶部分处，使得所述360度摄像机具有足够的竖向间隙以监视所述游戏表面，所述游戏表面被定位在所述360度摄像机下方。
41.一种非暂时性计算机可读介质，其存储机器可解释指令，所述指令在由处理器执行时使得所述处理器执行根据权利要求21-40中任一项所述的方法。
CN202180055170.8A 2020-07-07 2021-07-07 用于跟踪游戏活动的系统和方法 Pending CN117063209A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063049061P 2020-07-07 2020-07-07
US63/049,061 2020-07-07
PCT/CA2021/050933 WO2022006674A1 (en) 2020-07-07 2021-07-07 Systems and methods for tracking gaming activity

Publications (1)

Publication Number Publication Date
CN117063209A true CN117063209A (zh) 2023-11-14

Family

ID=79553491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180055170.8A Pending CN117063209A (zh) 2020-07-07 2021-07-07 用于跟踪游戏活动的系统和方法

Country Status (6)

Country Link
US (1) US20230260363A1 (zh)
EP (1) EP4179502A1 (zh)
CN (1) CN117063209A (zh)
AU (1) AU2021305841A1 (zh)
CA (1) CA3189080A1 (zh)
WO (1) WO2022006674A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948421B2 (en) * 2017-06-14 2024-04-02 Arb Labs Inc. Systems, methods and devices for monitoring gaming tables
US11288508B2 (en) * 2017-10-02 2022-03-29 Sensen Networks Group Pty Ltd System and method for machine learning-driven object detection

Also Published As

Publication number Publication date
CA3189080A1 (en) 2022-01-13
US20230260363A1 (en) 2023-08-17
WO2022006674A1 (en) 2022-01-13
AU2021305841A1 (en) 2023-03-16
EP4179502A1 (en) 2023-05-17

Similar Documents

Publication Publication Date Title
US11648465B1 (en) Gaming device for controllably viewing secret messages
US10719134B2 (en) Interactive object tracking mirror-display and entertainment system
ES2718493T3 (es) Procedimiento de captura y visualización de aspectos
US9092663B2 (en) Monitoring apparatus, method, and program
JP6550460B2 (ja) 眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証
US9691221B2 (en) Gaming social communication
US7898504B2 (en) Personal theater display
CN109086726A (zh) 一种基于ar智能眼镜的局部图像识别方法及系统
AU2017220404A1 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US20120262558A1 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
US20060177109A1 (en) Combination casino table game imaging system for automatically recognizing the faces of players--as well as terrorists and other undesirables-- and for recognizing wagered gaming chips
US20130272584A1 (en) Monitoring apparatus, method, and program
CN102419631A (zh) 虚拟内容到现实内容中的融合
CN101815227A (zh) 图像处理设备和方法
CN106843460A (zh) 基于多摄像头的多目标位置捕获定位系统及方法
WO2014199786A1 (ja) 撮影システム
CN107533600A (zh) 用于跟踪生物特征数据的增强现实系统和方法
WO2018153369A1 (zh) 虚拟现实头戴设备
CN115413354A (zh) 游戏状态对象跟踪
CN106599656A (zh) 显示方法、装置及电子设备
ZA200707765B (en) Peripheral device of gaming machine, server, and game system
CN109155055A (zh) 关注区域图像生成装置
CA3033833A1 (en) Systems, methods and devices for monitoring betting activities
JP7432192B2 (ja) ゲーム装置、ゲーム装置の制御方法及び制御プログラム
CN108139876A (zh) 用于沉浸式和交互式多媒体生成的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination