CN112703505A - 目标对象的识别系统、方法、装置、电子设备及存储介质 - Google Patents
目标对象的识别系统、方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112703505A CN112703505A CN202080000826.1A CN202080000826A CN112703505A CN 112703505 A CN112703505 A CN 112703505A CN 202080000826 A CN202080000826 A CN 202080000826A CN 112703505 A CN112703505 A CN 112703505A
- Authority
- CN
- China
- Prior art keywords
- target object
- target
- image
- player
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000013507 mapping Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种目标对象的识别系统。所述系统包括第一图像采集装置、第二图像采集装置以及处理器。第一图像采集装置可以采集第一目标区域的图像。第二图像采集装置可以同步采集第二目标区域的图像。第二目标区域包括第一目标区域的部分或全部。第一图像采集装置的解像力高于第二图像采集装置的解像力,第二图像采集装置的视场大于第一图像采集装置的视场。所述处理器可以根据第一目标区域的图像识别各个第一目标对象,根据第二目标区域的图像识别各个第二目标对象,并且可以确定第一目标区域的图像中的各个第一目标对象和同步采集的第二目标区域的图像中的各个第二目标对象之间的关联关系。
Description
相关申请的交叉引用
本申请为2020年3月12日提交的题为“目标对象的识别系统、方法、装置、电子设备及存储介质”、申请号为PCT/IB2020/052192的PCT申请的国家阶段申请,并且该PCT申请要求2019年12月23日提交的题为“目标对象的识别系统、方法、装置、电子设备及存储介质”、申请号为10201913024Q的新加坡专利申请的优先权,以上申请的全部内容通过引用并入本文。
技术领域
本公开涉及计算机视觉技术,具体涉及一种目标对象的识别系统、方法、装置、电子设备及存储介质。
背景技术
近年来,随着人工智能技术的不断发展,人工智能技术在计算机视觉、语音识别等方面均取得了比较好的效果。在一些相对特殊的场景(例如桌面游戏场景)中,由于摄像头拍摄在视野范围和清晰度上的限制,无法对游戏者下注情况、游戏者输赢情况进行准确地识别和监控。
发明内容
根据本公开的一方面,提供了一种目标对象的识别系统,所述系统包括:第一图像采集装置、第二图像采集装置以及处理器;所述第一图像采集装置用于采集第一目标区域的图像,所述第二图像采集装置用于同步采集第二目标区域的图像,且所述第二目标区域包括所述第一目标区域的部分或全部;所述第一图像采集装置的解像力高于所述第二图像采集装置的解像力,所述第二图像采集装置的视场大于所述第一图像采集装置的视场;以及所述处理器,用于根据所述第一目标区域的图像识别各个第一目标对象,并根据所述第二目标区域的图像识别各个第二目标对象;以及确定所述第一目标区域的图像中的各个第一目标对象和同步采集的第二目标区域的图像中的各个第二目标对象之间的关联关系;其中,所述第一目标对象为所述第一目标区域中的目标对象,所述第二目标对象为所述第二目标区域中的目标对象。
根据本公开的一方面,提供了一种目标对象的识别方法,所述方法包括:根据第一目标区域的图像识别各个第一目标对象,并根据与所述第一目标区域的图像同步采集的第二目标区域的图像识别各个第二目标对象;以及确定所述第一目标区域的图像中的各个第一目标对象和所述第二目标区域的图像中的各个第二目标对象之间的关联关系,其中,所述第一目标对象为所述第一目标区域中的目标对象,所述第二目标对象为所述第二目标区域中的目标对象,所述第二目标区域包括所述第一目标区域的部分或全部;所述第一目标区域的图像通过第一图像采集装置采集,所述第二目标区域的图像通过第二图像采集装置采集;以及所述第一图像采集装置的解像力高于所述第二图像采集装置的解像力,所述第二图像采集装置的视场大于所述第一图像采集装置的视场。
根据本公开的一方面,提供了一种目标对象的识别装置,所述装置包括:识别单元,用于根据第一目标区域的图像识别各个第一目标对象,并根据与所述第一目标区域的图像同步采集的第二目标区域的图像识别各个第二目标对象;以及确定单元,用于确定所述第一目标区域的图像中的各个第一目标对象和所述第二目标区域的图像中的各个第二目标对象之间的关联关系,其中,所述第一目标对象为所述第一目标区域中的目标对象,所述第二目标对象为所述第二目标区域中的目标对象,所述第二目标区域包括所述第一目标区域的部分或全部;所述第一目标区域的图像通过第一图像采集装置采集,所述第二目标区域的图像通过第二图像采集装置采集;以及所述第一图像采集装置的解像力高于所述第二图像采集装置的解像力,所述第二图像采集装置的视场大于所述第一图像采集装置的视场。
根据本公开的一方面,提供了一种电子设备,所述设备包括存储器以及处理器,所述存储器可以存储所述处理器可执行的指令,所述处理器可以执行所述指令时实现本公开任一实施方式所述的目标对象的识别方法。
根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时使所述处理器实现本公开任一所述的目标对象的识别方法。
在本公开的一个或多个实施例中,通过第二图像采集装置采集大视场(全局范围)对应的图像,通过第一图像采集装置采集小视场(重点区域)对应的图像。由于所述第一图像采集装置的解像力高于所述第二图像采集装置的解像力,因此,通过第一图像采集装置采集的图像可以更好地分辨原物细节,也就是说,第二图像采集装置关注于采集更大视野范围内的图像,第一图像采集装置关注于重点区域中目标对象的分辨。因此,使得本公开的目标对象的识别系统兼顾大视野范围和重点区域的图像的高解析度,进而提升目标对象的识别精度和环境鲁棒性。
附图说明
图1为根据本公开至少一个实施例的目标对象的识别系统的示意图;
图2A示出了根据本公开至少一个实施例的目标对象的识别系统中通过第一图像采集装置采集的第一目标区域的图像的示意图;
图2B示出了根据本公开至少一个实施例的目标对象的识别系统中通过第二图像采集装置采集的第二目标区域的图像的示意图,其中包括了图2A中的与第一目标对象对应的映射目标对象;
图2C示出了根据本公开至少一个实施例的目标对象的识别系统中通过第二图像采集装置采集的第二目标区域的图像的示意图,其中包括了与游戏物相关的目标对象;
图3A为根据本公开至少一个实施例的目标对象的识别系统获取的人体关键点信息的示意图;
图3B为根据本公开至少一个实施例的目标对象的识别系统获取的人手关键点信息的示意图;
图4为根据本公开至少一个实施例的目标对象的识别方法的流程图;
图5为根据本公开至少一个实施例的目标对象的识别装置的框图;
图6为根据本公开至少一个实施例的电子设备的框图。
具体实施方式
为了使本领域技术人员更好地理解本公开,下面将结合附图,对本公开的一些实施例进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分的可能实施例。基于本公开的一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本公开保护的范围。
本公开至少一个实施例提出一种目标对象的识别系统。所述目标对象的识别系统包括第一图像采集装置、第二图像采集装置以及处理器。
所述第一图像采集装置用于采集第一目标区域的图像,所述第二图像采集装置用于同步采集第二目标区域的图像,且所述第二目标区域包括所述第一目标区域的部分或全部。其中,第一目标区域的图像和第二目标区域的图像可以是视频流中的一帧,也可以是实时获取的图像。
所述第一图像采集装置的解像力高于所述第二图像采集装置的解像力,所述第二图像采集装置的视场大于所述第一图像采集装置的视场。
所述处理器通过以下步骤实现目标对象的识别。
首先,根据所述第一目标区域的图像识别各个第一目标对象,并根据所述第二目标区域的图像识别各个第二目标对象。其中,第一目标对象为所述第一目标区域中的目标对象,所述第二目标对象为所述第二目标区域中的目标对象。
为了提高监控第一目标对象的准确度和精确度,并且由于第一目标区域视野范围集中,可以采用长焦距、小像元尺寸、高分辨率的第一图像采集装置来采集第一目标区域的图像,从而可以获得高解析度、颜色还原度高、景深范围大的第一目标区域的图像。
由于第二目标区域的视野范围要求高,并且由于游戏场通常照度较低,因此对于采集第二目标区域的图像的装置的低照度能力要求高、宽动态适应能力高,因而可以采用短焦距、大像元尺寸、中分辨率的第二图像采集装置采集第二目标区域的图像。
接下来,确定所述第一目标区域的图像中的各个第一目标对象和同步采集的第二目标区域的图像中的各个第二目标对象之间的关联关系。
在本公开实施例中,第一图像采集装置采集第一目标区域的图像,第二图像采集装置采集第二目标区域的图像。第二目标区域包括所述第一目标区域的部分或者全部,所述第二图像采集装置的视场大于所述第一图像采集装置的视场,也就是说,通过第二图像采集装置采集大视场(全局范围)对应的图像,通过第一图像采集装置采集小视场(重点区域)对应的图像。由于所述第一图像采集装置的解像力高于所述第二图像采集装置的解像力,因此,通过第一图像采集装置采集的图像可以更好地分辨原物细节,也就是说,第二图像采集装置关注于采集更大视野范围内的图像,第一图像采集装置关注于重点区域中目标对象的分辨(如游戏筹码、兑换物等的价值和数量的分辨),然后再将第一目标区域的图像中的各个第一目标对象和同步采集的第二目标区域的图像中的各个第二目标对象关联起来,从而使得目标对象的识别系统兼顾大视野范围和重点区域的图像的高解析度,进而提升目标对象的识别精度和环境鲁棒性。
图1为根据本公开至少一个实施例的目标对象的识别系统的示意图,该系统包括第一图像采集装置111、第二图像采集装置112和处理器(未示出)。第一图像采集装置111用于采集第一目标区域的图像。第一目标区域的图像,可以是相关对象位于其上的游戏桌100的图像。根据所述第一目标区域的图像识别的各个第一目标对象,可以是与游戏物相关的目标对象,例如被兑换物(例如游戏筹码141~142等)、兑换物(例如兑换物150)、卡牌160~170等物品之一。第二图像采集装置112用于同步采集第二目标区域的图像。第二目标区域的图像,例如可以是游戏桌100和游戏桌周围的人(例如玩家121~123和荷官130)的图像,根据所述第二目标区域的图像识别的各个第二目标对象,可以是玩家或者荷官。
其中,第一图像采集装置111和第二图像采集装置112可以相邻设置,二者可以在任意视角上根据需要对场景进行图像采集,例如,二者都在俯视视角上进行图像采集,或者二者都在侧视视角上进行图像采集。
在游戏场景中,通常情况下游戏桌区域的照度高,而游戏桌周围环境的照度低。因此,利用一个图像采集装置同时采集游戏桌和游戏桌周围的人的图像,在该图像中无法在识别游戏桌面的游戏相关目标的细节的同时,又覆盖游戏桌周围的玩家或荷官,并准确地对下注位、下注动作、下注游戏者进行识别。
在一些实施例中,可以采用长焦距摄像头采集第一目标区域的图像,采用短焦距摄像头同步采集第二目标区域的图像。通过长焦距摄像头拍摄游戏桌区域所获得的第一目标区域的图像,具有高解析度和颜色还原度,因此从第一目标区域的图像中可以检测出游戏桌上的游戏相关目标的细节,例如被兑换物、兑换物、卡牌等等的细节。利用长焦距摄像头拍摄游戏桌及游戏桌周围的人,视野范围广、低照度能力高,因此通过长焦距摄像头采集第二目标区域的图像,可以更好地识别游戏桌周围的人及动作。通过长焦距和短焦距摄像头的组合,解决了采用单一摄像头采集包括游戏桌区域和人的图像时,产生的中心热区图像密度不足,且周边热区亮度不足的问题。
在一些实施例中,可以采用小像元尺寸摄像头采集第一目标区域的图像,采用大像元尺寸摄像头同步采集第二目标区域的图像。通过小像元尺寸摄像头拍摄游戏桌区域所获得的第一目标区域的图像,具有高分辨率和大景深范围,因此从第一目标区域的图像中可以检测出游戏桌上的游戏相关目标的细节,例如被兑换物、兑换物、卡牌等等的细节。利用大像元尺寸摄像头拍摄游戏桌及游戏桌周围的人,视野范围广、低照度能力高,因此通过大像元尺寸摄像头采集第二目标区域的图像,可以更好地识别游戏桌周围的人及动作。通过小像元尺寸摄像头和大像元尺寸摄像头的组合,解决了采用单一摄像头采集包括游戏桌区域和人的图像时,发生中心热区景深不足,且周边热区图像照度不足的问题。
在一些实施例中,可以采用高分辨率摄像头采集第一目标区域的图像,采用低分辨率摄像头同步采集第二目标区域的图像,其中,高分辨率摄像头为中心摄像头,低分辨率摄像头为广角摄像头。通过高分辨率中心摄像头拍摄游戏桌区域所获得的第一目标区域的图像,具有高解析度和高分辨率,因此从第一目标区域的图像中可以检测出游戏桌上的游戏相关目标的细节,例如被兑换物、兑换物、卡牌等等的细节。利用低分辨广角摄像头拍摄游戏桌及游戏桌周围的人,视野范围广。因此通过低分辨率广角摄像头采集第二目标区域的图像,可以更好地识别游戏桌周围的人及动作。通过高分辨率中心摄像头和低分辨率广角摄像头的组合,解决了采用单一摄像头采集包括游戏桌区域和人的图像时,中心区域解析度与视野覆盖度不能同时满足的问题。
在一些实施例中,可以利用分类器对所述第一目标区域的图像进行检测,识别所述第一目标区域的图像中的各个第一目标对象,即与游戏物相关的目标对象,例如被兑换物、兑换物、卡牌等等,并可以通过检测框在第一目标区域的图像中标注出各个第一目标对象对应的区域。同时,分类器可以对各个第一目标对象分别对应的区域进行分类,将所述与游戏物相关的第一目标对象归属为被兑换物、兑换物、卡牌中等多个类别。其中,所述分类器可例如为深度卷积神经网络等。
在一些实施例中,可以利用分类器对所述第二目标区域的图像进行检测,识别所述第二目标区域的图像中出现的人的躯体,包括人脸、人手、人体域,并可以通过检测框在第二目标区域的图像中标注出各个第二目标对象对应的区域。同时,分类器可以对各个第二目标对象分别对应的区域进行分类,将各个第二目标对象归属为人脸、人体、人手等多个类别。
在第一目标对象包括与游戏物相关的目标对象,第二目标对象包括与游戏者相关的目标对象的情况下,可以通过以下方式确定第一目标对象和第二目标对象之间的关联关系。
首先,根据所述第一图像采集装置和所述第二图像采集装置的位置关系,将所述第一目标对象映射至所述第二目标区域的图像中,获得对应的各个映射目标对象。
在已知第一图像采集装置和第二图像采集装置的位置关系的情况下,根据所述第一图像采集装置的内部参数和所述第二图像采集装置的内部参数,可以将所述第一目标对象映射到所述第二目标区域的图像中,获得对应的各个映射目标对象。第二目标区域的图像中,各个与游戏者相关的目标对象与各个映射目标对象之间的位置关系,能够反应出实际空间中各个第一目标对象所对应的游戏物与游戏者之间的位置关系。因而,根据所述第二目标区域的图像中各个与游戏者相关的目标对象的位置以及与各个第一目标对象对应的映射目标对象的位置,确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系。
图2A示出了通过第一图像采集装置采集的第一目标区域的图像,根据所述第一目标区域的图像识别得到与游戏物相关的目标对象201,在图2A中该与游戏物相关的目标对象201为游戏筹码。图2B示出了通过第二图像采集装置采集的第二目标区域的图像,第二目标区域包括了第一目标区域的游戏桌区域,还包括了游戏桌区域周围的玩家、荷官区域。根据第二目标区域的图像进行识别得到两个与游戏者相关的目标对象211和212。
根据第一图像采集装置和第二图像采集装置的位置关系,以及第一图像采集装置和第二图像采集装置的内部参数,可以将与图2A中的游戏物相关的目标对象201映射到第二目标区域的图像中,以获得如图2B所示的第二目标区域的图像中对应的映射目标对象202(虚线框)。在第二目标区域的图像中,根据目标对象211、212的各自的位置以及映射目标对象202的位置,则可以确定与游戏者相关的目标对象211、212和与游戏物相关的目标对象201之间的关联关系。
在一些实施例中,可以根据以下方法确定各个与游戏物相关的第一目标对象和与各个与游戏者相关的第二目标对象之间的关联关系:在第二目标区域的图像中,一个与游戏者相关的目标对象和与一个第一目标对象对应的映射目标对象之间的距离小于或等于第一距离阈值的情况下,确定该第一目标对象与该与游戏者相关的目标对象相关联。该距离例如可以基于与游戏者相关的目标对象的检测框的中心位置和映射目标对象的区域中心位置来确定。例如,在图2B中,与游戏者相关的目标对象211和与游戏物相关的目标对象201对应的映射目标对象202之间的距离小于第一距离阈值,因而可以确定游戏者相关的目标对象211与游戏物相关的目标对象201是相关联的。第一距离阈值的具体数值可以依据第二目标区域所包含的目标对象类型和数量来确定。
在第一目标对象包括与游戏物相关的目标对象,第二目标对象包括与游戏物相关的目标对象以及与游戏者相关的目标对象的情况下,可以通过以下方式确定第一目标对象和第二目标对象之间的关联关系。
首先,根据所述第一图像采集装置和所述第二图像采集装置的位置关系,获得各个第一目标对象与所述第二目标区域的图像中各个与游戏物相关的目标对象的对应关系。例如,可以将各个第一目标对象映射到第二目标区域的图像中,获得各个第一目标对象的对应位置,并根据在第二目标区域的图像中,各个游戏物相关的目标对象与各个第一目标对象的对应位置之间的距离,可确定各个第一目标对象与所述第二目标区域的图像中各个与游戏物相关的目标对象的对应关系。
接下来,根据所述第二目标区域的图像中各个与游戏物相关的目标对象的位置和所述第二目标区域的图像中各个与游戏者相关的目标对象的位置,以及各个第一目标对象与所述第二目标区域的图像中各个与游戏物相关的目标对象的对应关系,确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系。
在一些实施例中,可以通过以下方法确定各个第一目标对象与各个与游戏者相关的目标对象的关联关系:在所述第二目标区域的图像中,一个与游戏者相关的目标对象和一个与游戏物相关的目标对象之间的距离小于或等于第二距离阈值的情况下,确定该与游戏者相关的目标对象与该与游戏物相关的目标对象所对应的第一目标对象相关联。
图2C示出了通过第二图像采集装置采集的第二目标区域的图像,第二目标区域的图像包括了第一目标区域中的游戏桌区域,还包括了游戏桌区域周围的玩家、荷官区域。根据第二目标区域的图像进行识别得到两个与游戏者相关的目标对象211和212,以及与游戏物(例如,游戏筹码)相关的目标对象203。根据第一图像采集装置和第二图像采集装置的位置关系,以及第一图像采集装置和第二图像采集装置的内部参数,可以获得图2A中各个第一目标对象,和图2C中各个与游戏物相关的目标对象的对应关系。
在一个示例中,可以将图2A中的各个第一目标对象映射到第二目标区域的图像中,获得各个第一目标对象的对应位置。在第二目标区域的图像中,根据各个与游戏物相关的目标对象和与各个第一目标对象的对应位置之间的距离,可以确定第二目标区域的图像中第一目标对象和与游戏物相关的目标对象的对应关系。例如,在将图2A中所有第一目标对象映射到第二目标区域的图像后如图2C所示,与游戏物相关的目标对象203与图2C中的第一目标对象201的对应位置距离最近的情况下,即可以确定与游戏物相关的目标对象203与第一目标对象201是对应的。
在与游戏者相关的目标对象211和与游戏物相关的目标对象203之间的距离小于或等于第二距离阈值的情况下,可以确定与游戏者相关的目标对象211和与游戏物相关的目标对象203所对应的第一目标对象201相关联。第二距离阈值的具体数值可以依据第二目标区域所包含的目标对象类型和数量来确定。
在一些实施例中,与游戏者相关的目标对象可以包括人脸、人体、人手中的一项或多项,所述处理器还用于通过人脸、人体、人手中的一项或多项获得对应的游戏者的身份信息,并基于与所述与游戏者相关的目标对象与第一目标对象之间的关联关系,将各个第一目标对象与游戏者的身份信息相关联。
图3A为根据本公开至少一个实施例的目标对象的识别系统获得的人体关键点信息的示意图。图3B为根据本公开至少一个实施例的目标对象的识别系统获得的人手关键点信息的示意图。如图3A所示,人体可有关键点0~17,包括4个头部关键点、肘部关键点3和6、手部关键点4和7等。如图3B所示,人手可有16或21个人手关键点,包括人手关键点31和32。
响应于与游戏者相关的目标对象为人脸,可以通过人脸获得对应的游戏者的身份信息,并基于与游戏者相关的目标对象与第一目标对象之间的关联关系,将各个第一目标对象与游戏者的身份信息相关联。
在一些实施例中,可以通过以方法获得人脸对应的游戏者的身份信息:获得所述第二目标区域的图像中的各个人脸的人脸关键点信息,根据所述人脸关键点信息,来确定各个人脸对应的游戏者的身份信息。在已知与所述人脸相关联的第一目标对象的情况下,可以确定将该第一目标对象与该游戏者的身份信息相关联。例如,在确定出第二目标区域的图像中识别出的人脸属于某一个游戏者,并已知该游戏者的姓名、性别、联系方式等等身份信息时,则将人脸相关联的第一目标对象与该身份信息相关联,也即将该第一目标对象对应的与游戏物相关的目标对象,例如被兑换物、兑换物、卡牌等等,与该身份信息相关联。
在一个示例中,可以通过以下方法根据所述人脸关键点信息,来确定各个人脸对应的游戏者的身份信息:根据所述人脸关键点信息,在数据库中与参考人员的人脸图像和/或人脸特征信息进行比对,并将与该人脸关键点信息匹配的参考人员的身份,确定为该人脸对应的人的身份。同时,可将人脸关键点信息和相应的身份信息确定为关于该人脸的识别结果。例如,与人脸A的人脸关键点信息匹配(例如相似度大于或等于预设的相似度阈值)的参考人员为游戏者M,则将人脸A确定为游戏者M的人脸。通过这种方式,可确定与人脸对应的人的人脸特征及身份。
在一些实施例中,可在游戏的开始阶段确定各个人脸对应的身份信息。例如如果识别到游戏者接近游戏桌并坐在座位上时,可认为该游戏者即将参与游戏,可识别并录入该游戏者的身份,并在之后对该游戏者进行追踪。
在一些实施例中,可通过人脸识别网络对第二目标区域的图像进行人脸识别。该人脸识别网络可例如为深度卷积神经网络,至少包括卷积层及池化层(或softmax层)。本公开对人脸识别网络的网络类型及网络结构不作限制。
在本公开实施例中,通过将各个第一目标对象与各个游戏者的身份信息相关联,可以更有效地对第一目标对象进行监测。
响应于与游戏者相关的目标对象包括人脸和人体,可以通过人体获得对应的游戏者的身份信息,并基于与所述与游戏者相关的目标对象与第一目标对象之间的关联关系,将各个第一目标对象与游戏者的身份信息相关联。
在一些实施例中,可以通过以下方法获得人体对应的游戏者的身份信息:获得所述第二目标区域的图像中的各个人脸的人脸关键点信息,根据所述人脸关键点信息,来确定各个人脸对应的游戏者的身份信息;获得所述第二目标区域的图像中的各个人体的人体关键点信息,根据各个人脸的人脸关键点信息以及各个人体的人体关键点信息,确定与各个人体相关联的人脸;之后根据与各个人体相关联的人脸对应的游戏者的身份信息,确定各个人体对应的游戏者的身份信息。因此,根据各个第一目标对象与各个人体之间的关联关系以及各个人体对应的游戏者的身份信息,将各个第一目标对象与各个游戏者的身份信息相关联。
对于人体,可通过对第二目标区域的图像进行人体识别,获得各个人体对应的人体关键点信息,如图3A所示的14个关节部分分别对应的人体关键点0~13,作为人体识别结果。
在一些实施例中,可通过人体识别网络对第二目标区域的图像进行处理,得到人体识别结果。该人体识别网络可例如为深度卷积神经网络。本公开对人体识别网络的网络类型及网络结构不作限制。
在得到各个人脸的人脸关键点信息和各个人体的人体关键点信息后,可以对各个人脸和各个人体进行关联。例如,如果人脸A的人脸关键点所在区域与人体B的人体关键点所在区域之间的重合区域的面积大于或等于预设的面积阈值,则可认为人脸A与人体B相关联,也即人脸A与人体B对应于同一个游戏者M。在该情况下,可将人脸A对应的身份信息确定为人体B对应的身份信息,也即人体B为游戏者M的人体。通过这种方式,实现了人脸和人体之间的关联,从而能够根据人脸对应的身份信息确定人体对应的身份信息,提高了识别的效率和准确性。
在一些实施例中,可以根据以下方式对人脸和人体关联:在一个人脸的人脸关键点所在区域与一个人体的人体关键点所在区域之间的重叠区域的面积大于或等于第一面积阈值的情况下,确定该人脸与该人体相关联。本领域技术人员可根据实际情况设定该第一面积阈值,本公开对该第一面积阈值的具体取值不作限制。
在本公开实施例中,通过确定各个第一目标对象与各个人体之间的关联关系以及各个人体对应的游戏者的身份信息,从而将各个第一目标对象与各个游戏者的身份信息相关联。通常,游戏者的人体相较于游戏者的人脸与游戏物相关的第一目标对象距离更近,因而能够提高第一目标对象与游戏者的身份信息关联的准确性。
响应于与游戏者相关的目标对象包括人脸和人手,可以通过人手获得对应的游戏者的身份信息,并基于与所述与游戏者相关的目标对象与第一目标对象之间的关联关系,将各个第一目标对象与游戏者的身份信息相关联。
在一些实施例中,可以通过以下方法获得人手对应的游戏者的身份信息:获得所述第二目标区域的图像中的各个人脸的人脸关键点信息,根据所述人脸关键点信息,来确定各个人脸对应的游戏者的身份信息;根据所述第二目标区域的图像中各个人脸的位置以及各个人手的位置,确定与各个人脸相关联的人手;之后根据与各个人手相关的人脸对应的游戏者的身份信息,确定各个人手对应的游戏者的身份信息。因此,根据各个第一目标对象与各个人手之间的关联关系以及各个人手对应的游戏者的身份信息,将各个第一目标对象与各个游戏者的身份信息相关联。
在一些实施例中,可以根据以下方式对人脸和人手进行彼此关联:在一个人脸的位置与一个人手的位置之间的距离小于或等于第三距离阈值的情况下,确定该人脸与该人手相关联。本领域技术人员可根据实际情况设定该第三距离阈值,本公开对该第三距离阈值的具体取值不作限制。
在本公开实施例中,通过确定各个第一目标对象与各个人手之间的关联关系以及各个人手对应的游戏者的身份信息,将各个第一目标对象与各个游戏者的身份信息相关联。通常,游戏者的人手相较于游戏者的人脸与游戏物相关的第一目标对象距离更近,因而能够提高第一目标对象与游戏者的身份信息关联的准确性。
响应于与游戏者相关的目标对象包括人脸、人体、人手,可以通过人手获得对应的游戏者的身份信息,并基于与所述与游戏者相关的目标对象与第一目标对象之间的关联关系以及各个人手对应的游戏者的身份信息,将各个第一目标对象与游戏者的身份信息相关联。
在一些实施例中,可以通过以下方法获得人手对应的游戏者的身份信息:如上所述,获得所述第二目标区域的图像中的各个人脸的人脸关键点信息,根据所述人脸关键点信息,来确定各个人脸对应的游戏者的身份信息;获得所述第二目标区域的图像中的各个人体的人体关键点信息,以及所述第二目标区域的图像中的各个人手的人手关键点信息;根据各个人脸的人脸关键点信息以及各个人体的人体关键点信息,确定与各个人体相关联的人脸;根据与各个人体关联的人脸对应的游戏者的身份信息,确定各个人体对应的游戏者的身份信息;根据各个人体的人体关键点信息以及各个人手的人手关键点信息,确定与各个人手相关联的人体;之后,根据与各个人手关联的人体对应的游戏者的身份信息,确定各个人手对应的游戏者的身份信息。因此,根据各个第一目标对象与各个人手之间的关联关系以及各个人手对应的游戏者的身份信息,将各个第一目标对象与各个游戏者的身份信息相关联。
对于人手,可通过对第二目标区域的图像进行手识别,获得各个人手对应的人手关键点信息,如图3B所示,并将该人手关键点信息作为人手识别结果。
在一些实施例中,可通过人手识别网络对第二目标区域的图像进行处理,得到人手识别结果。该人手识别网络可例如为深度卷积神经网络。本公开对人手识别网络的网络类型及网络结构不作限制。
根据人体的人体关键点信息和人手的人手关键点信息,可以对各个人体和各个人手进行关联。例如,如果人体B的人体关键点信息与人手C的人手关键点信息满足预设的条件,则可认为人体B与人手C相关联,也即人体B与人手C对应于同一个游戏者M。在该情况下,可将人体B对应的身份信息确定为人手C对应的身份信息,也即人手C为游戏者M的人手。
例如,该预设的条件可以为人体B的人体关键点所在区域与人手C的人手关键点所在区域之间的重叠区域的面积大于或等于预设的面积阈值;人体B的人体关键点所在区域与人手C的人手关键点所在区域之间的距离小于或等于预设的距离阈值;或人体B的人体关键点中的肘部关键点(例如,图3A中的肘部关键点3或6)与手部关键点(例如,图3A中的手部关键点4或7)之间的第一连线,和人手C的人手关键点(例如,图3B中的手部关键点31和32)之间的第二连线之间的夹角在预设的角度范围内。本公开对判断人体与人手关联的预设条件不作限制。
在一些实施例中,预设的条件可以为以下至少一种:一个人体的人体关键点所在区域与一个人手的人手关键点所在区域之间的重叠区域的面积大于或等于第二面积阈值;一个人体的人体关键点所在区域与一个人手的人手关键点所在区域之间的距离小于或等于第四距离阈值;一个人体的第一连线与一个人手的第二连线的夹角小于或等于夹角阈值,其中,所述第一连线为该人体的人体关键点中的肘部关键点与手部关键点之间的连线,所述第二连线为该人手的人手关键点之间的连线。
举例来说,对于任意一个人体以及任意一个人手,可分析在所述人体的人体关键点信息与所述人手的人手关键点信息之间的关系。
在一种情况下,可计算所述人体的人体关键点所在区域与所述人手的人手关键点所在区域之间的重叠区域的面积。如果该面积小于或等于预设的第二面积阈值,则可确定所述人体与所述人手相关联。本领域技术人员可根据实际情况设定该第二面积阈值,本公开对该第二面积阈值的具体取值不作限制。
在一种情况下,可计算所述人体的人体关键点信息所在区域与所述人手的人手关键点所在区域之间的距离(例如,所述人体的中心点与所述人手的中心点之间的距离)。如果该距离小于或等于预设的第四距离阈值,则可确定所述人体与所述人手相关联。本领域技术人员可根据实际情况设定该第四距离阈值,本公开对该第四距离阈值的具体取值不作限制。
在一种情况下,可计算所述人体的人体关键点(例如,肘部关键点和手部关键点)的第一连线与所述人手的人手关键点的第二连线的夹角。如果该夹角小于或等于预设的夹角阈值,则可确定该人体与该人手相关联。本领域技术人员可根据实际情况设定该夹角阈值,本公开对该夹角阈值的具体取值不作限制。
在一些实施例中,可根据各个人手的位置以及各个第一目标对象的位置,确定与各个第一目标对象相关联的人手。进而,根据人手和第一目标对象之间的关联,确定出各个第一目标对象对应的游戏者的身份信息。
例如,如果人手C的位置与第一目标对象D的位置之间的距离小于或等于预设的距离阈值,则可认为人手C与第一目标对象D相关联,也即人手C与第一目标对象D对应于同一个游戏者。在该情况下,可将该第一目标对象D确定为人手C所对应的游戏者M,例如第一目标对象D对应的被兑换物为游戏者M下注的被兑换物。
在本公开实施例中,基于人手与人体之间的关联关系,以及人体与人脸之间的关联关系来获得相应的游戏者的身份信息。通常,人手与人体之间的关联相较于与人脸之间的关联更为紧密,因而能够提高第一目标对象与游戏者的身份信息关联的准确性。
在一些实施例中,将第二目标区域的图像中的各个与游戏者相关的第二目标对象进一步与所述游戏桌对应的座位区域相关联,并将各个所述第一目标对象进一步与各个所述第二目标对象对应的座位区域相关联。
在游戏桌对应的座位区域与游戏者是一一对应的场景下,可以将各个第二目标对象与各个座位区域相关联。例如,游戏桌对应于8个座位区域,可以依次将其编号为第1号、第2号…第8号。对于在第二目标区域的图像中识别的第二目标对象,可以依据各个第二目标对象的位置以及座位区域的位置,确定第二目标对象与该8个座位区域中的各个座位区域的对应关系。在一个第二目标对象所对应于第2号座位区域的情况下,则可以将该第二目标对象与第2号座位区域关联了起来,也即与该游戏桌的第2号游戏者关联了起来。
图4为根据本公开至少一个实施例的目标对象的识别方法的流程图。所述目标对象的识别方法可以由参考图1至图3B所描述的目标对象的识别系统执行。可选地,所述目标对象的识别方法可以由终端设备或服务器等电子设备执行,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。例如,所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现,具体实现方式可以参照前述的目标对象的识别系统,此处不再赘述。
如图4所示,该方法包括步骤401~402。
在步骤401中,根据第一目标区域的图像识别各个第一目标对象,并根据与所述第一目标区域的图像同步采集的第二目标区域的图像识别各个第二目标对象。第一目标对象为第一目标区域中的目标对象,第二目标对象为第二目标区域中的目标对象。
例如,所述第一目标区域的图像通过第一图像采集装置采集,所述第二目标区域的图像通过第二图像采集装置采集,且所述第二目标区域包括所述第一目标区域的部分或全部,所述第一图像采集装置的解像力高于所述第二图像采集装置的解像力,所述第二图像采集装置的视场大于所述第一图像采集装置的视场。
在步骤402中,确定所述第一目标区域的图像中的各个第一目标对象和第二目标区域的图像中的各个第二目标对象之间的关联关系。
在一些实施例中,第一目标对象包括与游戏物相关的目标对象,第二目标对象包括与游戏者相关的目标对象,所述确定所述第一目标区域的图像中的各个第一目标对象和同步采集的第二目标区域的图像中的各个第二目标对象之间的关联关系,包括:根据所述第一图像采集装置和所述第二图像采集装置的位置关系,将所述第一目标对象映射至所述第二目标区域的图像中,获得对应的各个映射目标对象;根据所述第二目标区域的图像中各个与游戏者相关的目标对象的位置以及与各个第一目标对象对应的映射目标对象的位置,确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系。例如,在第二目标区域的图像中,一个与游戏者相关的目标对象与一个第一目标对象对应的映射目标对象之间的距离小于或等于第一距离阈值的情况下,确定该第一目标对象与该与游戏者相关的目标对象相关联。
在一些实施例中,第一目标对象包括与游戏物相关的目标对象,第二目标对象包括与游戏物相关的目标对象以及与游戏者相关的目标对象;所述确定所述第一目标区域的图像中的各个第一目标对象和同步采集的第二目标区域的图像中的各个第二目标对象之间的关联关系,包括:根据所述第一图像采集装置和所述第二图像采集装置的位置关系,获得各个第一目标对象与所述第二目标区域的图像中各个与游戏物相关的目标对象的对应关系;根据所述第二目标区域的图像中各个与游戏物相关的目标对象的位置和所述第二目标区域的图像中各个与游戏者相关的目标对象的位置,以及各个第一目标对象与所述第二目标区域的图像中各个与游戏物相关的目标对象的对应关系,确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系。例如,在所述第二目标区域的图像中,在一个与游戏者相关的目标对象,与一个与游戏物相关的目标对象之间的距离小于或等于第二距离阈值的情况下,确定该与游戏者相关的目标对象与该与游戏物相关的目标对象所对应的第一目标对象相关联。
在一些实施例中,所述与游戏者相关的目标对象为人脸;所述确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系,包括:确定各个第一目标对象与各个人脸之间的关联关系;获得所述第二目标区域的图像中的各个人脸的人脸关键点信息,以及根据所述人脸关键点信息,确定各个人脸对应的游戏者的身份信息;根据各个第一目标对象与各个人脸之间的关联关系以及各个人脸对应的游戏者的身份信息,将各个第一目标对象与各个游戏者的身份信息相关联。
在一些实施例中,所述与游戏者相关的目标对象包括人脸和人体;所述确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系,包括:确定各个第一目标对象与各个人体之间的关联关系;获得所述第二目标区域的图像中的各个人脸的人脸关键点信息;根据所述人脸关键点信息,确定各个人脸对应的游戏者的身份信息;获得所述第二目标区域的图像中的各个人体的人体关键点信息;根据各个人脸的人脸关键点信息以及各个人体的人体关键点信息,确定与各个人体相关联的人脸;根据与各个人体相关联的人脸对应的游戏者的身份信息,确定各个人体对应的游戏者的身份信息;根据各个第一目标对象与各个人体之间的关联关系以及各个人体对应的游戏者的身份信息,将各个第一目标对象与各个游戏者的身份信息相关联。
在一些实施例中,所述与游戏者相关的目标对象包括人脸和人手;所述确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系,包括:确定各个第一目标对象与各个人手之间的关联关系;获得所述第二目标区域的图像中的各个人脸的人脸关键点信息;根据所述人脸关键点信息,确定各个人脸对应的游戏者的身份信息;根据所述第二目标区域的图像中各个人脸的位置以及各个人手的位置,确定与各个人脸相关联的人手;根据与各个人手关联的人脸对应的游戏者的身份信息,确定各个人手对应的游戏者的身份信息;根据各个第一目标对象与各个人手之间的关联关系以及各个人手对应的游戏者的身份信息,将各个第一目标对象与各个游戏者的身份信息相关联。
在一些实施例中,在所述第二目标区域的图像中一个人脸的位置与一个人手的位置之间的距离小于或等于第三距离阈值的情况下,确定该人脸与该人手相关联。
在一些实施例中,所述游戏者相关的目标对象包括人脸、人体、人手;所述确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系,包括:确定各个第一目标对象与各个人手之间的关联关系;获得所述第二目标区域的图像中的各个人脸的人脸关键点信息;根据所述人脸关键点信息,确定各个人脸对应的游戏者的身份信息;获得所述第二目标区域的图像中的各个人体的人体关键点信息;获得所述第二目标区域的图像中的各个人手的人手关键点信息;根据各个人脸的人脸关键点信息以及各个人体的人体关键点信息,确定与各个人体相关联的人脸;根据各个人脸对应的游戏者的身份信息以及与各个人体相关联的人脸,确定各个人体对应的游戏者的身份信息;根据各个人体的人体关键点信息以及各个人手的人手关键点信息,确定与各个人手相关联的人体;根据与各个人手相关联的人体对应的游戏者的身份信息,确定各个人手对应的游戏者的身份信息;根据各个第一目标对象与各个人手之间的关联关系以及各个人手对应的游戏者的身份信息,将各个第一目标对象与各个游戏者的身份信息相关联。
在一些实施例中,在一个人脸的人脸关键点所在区域与一个人体的人体关键点所在区域之间的重叠区域的面积大于或等于第一面积阈值的情况下,确定该人脸与该人体相关联。
在一些实施例中,在一个人体的人体关键点信息与一个人手的人手关键点信息满足预设条件的情况下,确定该人体与该人手相关联。例如,所述预设条件包括以下至少一种:一个人体的人体关键点所在区域与一个人手的人手关键点所在区域之间的重叠区域的面积大于或等于第二面积阈值;一个人体的人体关键点所在区域与一个人手的人手关键点所在区域之间的距离小于或等于第四距离阈值;一个人体的第一连线与一个人手的第二连线的夹角小于或等于夹角阈值,其中,所述第一连线为该人体的人体关键点中的肘部关键点与手部关键点之间的连线,所述第二连线为该人手的人手关键点之间的连线。
图5为根据本公开至少一个实施例的目标对象的识别装置的框图。所述装置用于执行上述参考图4的目标对象识别方法,所述装置包括识别单元501和确定单元502。
识别单元501用于根据第一目标区域的图像识别各个第一目标对象,并根据与所述第一目标区域的图像同步采集第二目标区域的图像识别各个第二目标对象。所述第一目标对象是第一目标区域中的目标对象,所述第二目标对象是第二目标区域中的目标对象。
例如,所述第一目标区域的图像通过第一图像采集装置采集,所述第二目标区域的图像通过第二图像采集装置采集,且所述第二目标区域包括所述第一目标区域的部分或全部,所述第一图像采集装置的解像力高于所述第二图像采集装置的解像力,所述第二图像采集装置的视场大于所述第一图像采集装置的视场。
确定单元502用于确定所述第一目标区域的图像中的各个第一目标对象和同步采集的第二目标区域的图像中的各个第二目标对象之间的关联关系。
图6为根据本公开至少一个实施例的电子设备的框图。所述电子设备包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以执行至少一个实施例所述的目标对象的识别方法。
本公开还提出了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现至少一个实施例所述的目标对象的识别方法。
本领域技术人员应明白,本公开一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本公开一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本公开一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开实施例还提供一种计算机可读存储介质,该存储介质上可以存储有计算机程序,所述程序被处理器执行时实现本公开任一实施例描述的目标对象的识别方法的步骤,和/或,实现本说明书任一实施例描述的目标对象的神经网络的训练方法的步骤。其中,所述的“和/或”表示至少具有两者中的其中一个,例如,“A和/或B”包括三种方案:A、B、以及“A和B”。
本公开中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于数据处理设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中描述的主题及功能操作的实施例可以在以下中实现:数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序,即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地,程序指令可以被编码在人工生成的传播信号上,例如机器生成的电、光或电磁信号,该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行,以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行,并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括,例如通用和/或专用微处理器,或任何其他类型的中央处理单元。通常,中央处理单元将从只读存储器(ROM)和/或随机存取存储器(RAM)接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘等,或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据,抑或两种情况兼而有之。然而,计算机不是必须具有这样的设备。此外,计算机可以嵌入在另一设备中,例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备,仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制本公开所要求保护的范围,而是主要用于描述本公开的具体实施例的特征。本说明书在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
以上所述为本公开的一些实施例,并不用以限制本公开,基于本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开的范围之内。
Claims (20)
1.一种目标对象的识别系统,包括:第一图像采集装置、第二图像采集装置以及处理器,其中,
所述第一图像采集装置用于采集第一目标区域的图像,所述第二图像采集装置用于同步采集第二目标区域的图像,且所述第二目标区域包括所述第一目标区域的部分或全部;
所述第一图像采集装置的解像力高于所述第二图像采集装置的解像力,所述第二图像采集装置的视场大于所述第一图像采集装置的视场;以及
所述处理器用于:
根据所述第一目标区域的图像识别各个第一目标对象,并根据所述第二目标区域的图像识别各个第二目标对象;以及
确定所述第一目标区域的图像中的各个第一目标对象和同步采集的所述第二目标区域的图像中的各个第二目标对象之间的关联关系,
其中,所述第一目标对象为所述第一目标区域中的目标对象,所述第二目标对象为所述第二目标区域中的目标对象。
2.根据权利要求1所述的系统,其特征在于,所述第一目标对象包括与游戏物相关的目标对象,所述第二目标对象包括与游戏者相关的目标对象;以及
所述确定所述第一目标区域的图像中的各个第一目标对象和同步采集的所述第二目标区域的图像中的各个第二目标对象之间的关联关系包括:
根据所述第一图像采集装置和所述第二图像采集装置的位置关系,将各个第一目标对象映射至所述第二目标区域的图像中,获得与各个第一目标对象对应的映射目标对象;
根据所述第二目标区域的图像中各个与游戏者相关的目标对象的位置以及与各个第一目标对象对应的映射目标对象的位置,确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系。
3.根据权利要求2所述的系统,其特征在于,所述确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系包括:
若在所述第二目标区域的图像中,一个与游戏者相关的目标对象和与一个第一目标对象对应的映射目标对象之间的距离小于或等于第一距离阈值,则确定该第一目标对象和该与游戏者相关的目标对象相关联。
4.根据权利要求1所述的系统,其特征在于,所述第一目标对象包括与游戏物相关的目标对象,所述第二目标对象包括与游戏物相关的目标对象以及与游戏者相关的目标对象;以及
所述确定所述第一目标区域的图像中的各个第一目标对象和同步采集的所述第二目标区域的图像中的各个第二目标对象之间的关联关系包括:
根据所述第一图像采集装置和所述第二图像采集装置的位置关系,获得各个第一目标对象与所述第二目标区域的图像中各个与游戏物相关的目标对象的对应关系;
根据所述第二目标区域的图像中各个与游戏物相关的目标对象的位置,所述第二目标区域的图像中各个与游戏者相关的目标对象的位置,以及各个第一目标对象与所述第二目标区域的图像中各个与游戏物相关的目标对象的所述对应关系,确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系。
5.根据权利要求4所述的系统,其特征在于,所述确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系包括:
若在所述第二目标区域的图像中,一个与游戏者相关的目标对象和一个与游戏物相关的目标对象之间的距离小于或等于第二距离阈值,则确定该与游戏者相关的目标对象和该与游戏物相关的目标对象所对应的第一目标对象相关联。
6.根据权利要求2至5中任一项所述的系统,其特征在于,
所述与游戏者相关的目标对象包括人脸;以及
所述处理器还用于:
获得所述第二目标区域的图像中的各个人脸的人脸关键点信息,并根据所述人脸关键点信息,确定各个人脸对应的游戏者的身份信息;以及
根据各个第一目标对象与各个人脸之间的所述关联关系以及各个人脸对应的游戏者的身份信息,将各个第一目标对象与游戏者的身份信息相关联。
7.根据权利要求2至5中任一项所述的系统,其特征在于,
所述与游戏者相关的目标对象包括人脸和人体;以及
所述处理器还用于:
获得所述第二目标区域的图像中的各个人脸的人脸关键点信息,并根据所述人脸关键点信息,确定各个人脸对应的游戏者的身份信息;
获得所述第二目标区域的图像中的各个人体的人体关键点信息;
根据各个人脸的所述人脸关键点信息以及各个人体的所述人体关键点信息,确定与各个人体相关联的人脸;
根据与各个人体相关联的人脸对应的游戏者的身份信息,确定各个人体对应的游戏者的身份信息;以及
根据各个第一目标对象与各个人体之间的所述关联关系以及各个人体对应的游戏者的身份信息,将各个第一目标对象与游戏者的身份信息相关联。
8.根据权利要求2至5中任一项所述的系统,其特征在于,
所述与游戏者相关的目标对象包括人脸和人手;以及
所述处理器还用于:
获得所述第二目标区域的图像中的各个人脸的人脸关键点信息,并根据所述人脸关键点信息,确定各个人脸对应的游戏者的身份信息;
根据所述第二目标区域的图像中各个人脸的位置以及各个人手的位置,确定与各个人脸相关联的人手;
根据与各个人手相关联的人脸对应的游戏者的身份信息,确定各个人手对应的游戏者的身份信息;以及
根据各个第一目标对象与各个人手之间的所述关联关系以及各个人手对应的游戏者的身份信息,将各个第一目标对象与游戏者的身份信息相关联。
9.根据权利要求8所述的系统,其特征在于,所述确定与各个人脸相关联的人手包括:
若在所述第二目标区域的图像中,一个人脸的位置与一个人手的位置之间的距离小于或等于第三距离阈值,则确定该人脸与该人手相关联。
10.根据权利要求2至5中任一项所述的系统,其特征在于,
所述与游戏者相关的目标对象包括人脸、人体和人手;以及
所述处理器还用于:
获得所述第二目标区域的图像中的各个人脸的人脸关键点信息,并根据所述人脸关键点信息,确定各个人脸对应的游戏者的身份信息;
获得所述第二目标区域的图像中的各个人体的人体关键点信息;
获得所述第二目标区域的图像中的各个人手的人手关键点信息;
根据各个人脸的所述人脸关键点信息以及各个人体的所述人体关键点信息,确定与各个人体相关联的人脸;
根据与各个人体相关联的人脸对应的游戏者的身份信息,确定各个人体对应的游戏者的身份信息;
根据各个人体的所述人体关键点信息以及各个人手的所述人手关键点信息,确定与各个人手相关联的人体;
根据与各个人手相关联的人体对应的游戏者的身份信息,确定各个人手对应的游戏者的身份信息;
根据各个第一目标对象与各个人手之间的所述关联关系以及各个人手对应的游戏者的身份信息,将各个第一目标对象与游戏者的身份信息相关联。
11.根据权利要求7或10所述的系统,其特征在于,所述确定与各个人体相关联的人脸包括:
若一个人脸的人脸关键点所在区域与一个人体的人体关键点所在区域之间的重叠区域的面积大于或等于第一面积阈值,则确定该人脸与该人体相关联。
12.根据权利要求10或11所述的系统,其特征在于,所述确定与各个人手相关联的人体包括:
若一个人体的人体关键点信息与一个人手的人手关键点信息满足预设条件,则确定该人体与该人手相关联,
其中,所述预设条件包括以下至少一种:
所述人体的人体关键点所在区域与所述人手的人手关键点所在区域之间的重叠区域的面积大于或等于第二面积阈值;
所述人体的人体关键点所在区域与所述人手的人手关键点所在区域之间的距离小于或等于第四距离阈值;
所述人体的第一连线与所述人手的第二连线的夹角小于或等于夹角阈值,其中,所述第一连线为该人体的人体关键点中的肘部关键点与手部关键点之间的连线,所述第二连线为该人手的人手关键点之间的连线。
13.一种目标对象的识别方法,所述方法包括:
根据第一目标区域的图像识别各个第一目标对象,并根据与所述第一目标区域的图像同步采集的第二目标区域的图像识别各个第二目标对象;以及
确定所述第一目标区域的图像中的各个第一目标对象和所述第二目标区域的图像中的各个第二目标对象之间的关联关系,
其中,所述第一目标对象为所述第一目标区域中的目标对象,所述第二目标对象为所述第二目标区域中的目标对象,所述第二目标区域包括所述第一目标区域的部分或全部;
所述第一目标区域的图像通过第一图像采集装置采集,所述第二目标区域的图像通过第二图像采集装置采集;以及
所述第一图像采集装置的解像力高于所述第二图像采集装置的解像力,所述第二图像采集装置的视场大于所述第一图像采集装置的视场。
14.根据权利要求13所述的方法,其特征在于,所述第一目标对象包括与游戏物相关的目标对象,所述第二目标对象包括与游戏者相关的目标对象;以及
所述确定所述第一目标区域的图像中的各个第一目标对象和所述第二目标区域的图像中的各个第二目标对象之间的关联关系包括:
根据所述第一图像采集装置和所述第二图像采集装置的位置关系,将各个第一目标对象映射至所述第二目标区域的图像中,获得与各个第一目标对象对应的映射目标对象;
根据所述第二目标区域的图像中各个与游戏者相关的目标对象的位置以及与各个第一目标对象对应的映射目标对象的位置,确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系。
15.根据权利要求14所述的方法,其特征在于,所述确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系包括:
若在所述第二目标区域的图像中,一个与游戏者相关的目标对象和与一个第一目标对象对应的映射目标对象之间的距离小于或等于第一距离阈值,则确定该第一目标对象和该与游戏者相关的目标对象相关联。
16.根据权利要求13所述的方法,其特征在于,所述第一目标对象包括与游戏物相关的目标对象,所述第二目标对象包括与游戏物相关的目标对象以及与游戏者相关的目标对象;以及
所述确定所述第一目标区域的图像中的各个第一目标对象和所述第二目标区域的图像中的各个第二目标对象之间的关联关系包括:
根据所述第一图像采集装置和所述第二图像采集装置的位置关系,获得各个第一目标对象与所述第二目标区域的图像中各个与游戏物相关的目标对象的对应关系;
根据所述第二目标区域的图像中各个与游戏物相关的目标对象的位置,所述第二目标区域的图像中各个与游戏者相关的目标对象的位置,以及各个第一目标对象与所述第二目标区域的图像中各个与游戏物相关的目标对象的所述对应关系,确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系。
17.根据权利要求16所述的方法,其特征在于,所述确定各个第一目标对象与各个与游戏者相关的目标对象之间的关联关系包括:
若在所述第二目标区域的图像中,一个与游戏者相关的目标对象和一个与游戏物相关的目标对象之间的距离小于或等于第二距离阈值,则确定该与游戏者相关的目标对象和该与游戏物相关的目标对象所对应的第一目标对象相关联。
18.一种目标对象的识别装置,所述装置包括:
识别单元,用于根据第一目标区域的图像识别各个第一目标对象,并根据与所述第一目标区域的图像同步采集的第二目标区域的图像识别各个第二目标对象;以及
确定单元,用于确定所述第一目标区域的图像中的各个第一目标对象和所述第二目标区域的图像中的各个第二目标对象之间的关联关系,
其中,所述第一目标对象为所述第一目标区域中的目标对象,所述第二目标对象为所述第二目标区域中的目标对象,所述第二目标区域包括所述第一目标区域的部分或全部;
所述第一目标区域的图像通过第一图像采集装置采集,所述第二目标区域的图像通过第二图像采集装置采集;以及
所述第一图像采集装置的解像力高于所述第二图像采集装置的解像力,所述第二图像采集装置的视场大于所述第一图像采集装置的视场。
19.一种电子设备,所述设备包括:
处理器;以及
用于存储所述处理器可执行的指令的存储器,
其中,所述处理器用于执行所述指令,以实现根据权利要求13至17中任一项所述的方法。
20.一种计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时,使所述处理器实现根据权利要求13至17中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SG10201913024Q | 2019-12-23 | ||
SG10201913024QA SG10201913024QA (en) | 2019-12-23 | 2019-12-23 | Target Object Identification System, Method And Apparatus, Electronic Device And Storage Medium |
PCT/IB2020/052192 WO2021130546A1 (en) | 2019-12-23 | 2020-03-12 | Target object identification system, method and apparatus, electronic device and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112703505A true CN112703505A (zh) | 2021-04-23 |
Family
ID=75514808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080000826.1A Pending CN112703505A (zh) | 2019-12-23 | 2020-03-12 | 目标对象的识别系统、方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112703505A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003134375A (ja) * | 2001-10-26 | 2003-05-09 | Matsushita Electric Works Ltd | 画像撮影システム |
US20050272501A1 (en) * | 2004-05-07 | 2005-12-08 | Louis Tran | Automated game monitoring |
JP2007036756A (ja) * | 2005-07-27 | 2007-02-08 | Kazuo Iwane | 視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム |
JP2010244089A (ja) * | 2009-03-31 | 2010-10-28 | Sogo Keibi Hosho Co Ltd | 人物検出装置、人物検出方法、及び人物検出プログラム |
CN105531715A (zh) * | 2013-06-26 | 2016-04-27 | 亚马逊科技公司 | 检测物品交互和移动 |
CN107066977A (zh) * | 2017-04-18 | 2017-08-18 | 胡渐佳 | 基于出门状态识别的电子设备监测提醒系统 |
CN109190454A (zh) * | 2018-07-17 | 2019-01-11 | 北京新唐思创教育科技有限公司 | 用于识别视频中的目标人物的方法、装置、设备及介质 |
CN109872297A (zh) * | 2019-03-15 | 2019-06-11 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110348335A (zh) * | 2019-06-25 | 2019-10-18 | 平安科技(深圳)有限公司 | 行为识别的方法、装置、终端设备及存储介质 |
-
2020
- 2020-03-12 CN CN202080000826.1A patent/CN112703505A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003134375A (ja) * | 2001-10-26 | 2003-05-09 | Matsushita Electric Works Ltd | 画像撮影システム |
US20050272501A1 (en) * | 2004-05-07 | 2005-12-08 | Louis Tran | Automated game monitoring |
JP2007036756A (ja) * | 2005-07-27 | 2007-02-08 | Kazuo Iwane | 視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム |
JP2010244089A (ja) * | 2009-03-31 | 2010-10-28 | Sogo Keibi Hosho Co Ltd | 人物検出装置、人物検出方法、及び人物検出プログラム |
CN105531715A (zh) * | 2013-06-26 | 2016-04-27 | 亚马逊科技公司 | 检测物品交互和移动 |
CN107066977A (zh) * | 2017-04-18 | 2017-08-18 | 胡渐佳 | 基于出门状态识别的电子设备监测提醒系统 |
CN109190454A (zh) * | 2018-07-17 | 2019-01-11 | 北京新唐思创教育科技有限公司 | 用于识别视频中的目标人物的方法、装置、设备及介质 |
CN109872297A (zh) * | 2019-03-15 | 2019-06-11 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110348335A (zh) * | 2019-06-25 | 2019-10-18 | 平安科技(深圳)有限公司 | 行为识别的方法、装置、终端设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7261296B2 (ja) | 目標対象認識システム、方法、装置、電子デバイス、及び記録媒体 | |
Martinel et al. | Re-identify people in wide area camera network | |
Fan et al. | Identifying first-person camera wearers in third-person videos | |
CN103530599B (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
CN109635686B (zh) | 结合人脸与外观的两阶段行人搜索方法 | |
CN110264493B (zh) | 一种针对运动状态下的多目标对象追踪方法和装置 | |
CN107438173A (zh) | 视频处理装置、视频处理方法和存储介质 | |
CN111325141B (zh) | 交互关系识别方法、装置、设备及存储介质 | |
CN110796100B (zh) | 步态识别方法、装置、终端及存储装置 | |
Akbulut et al. | Deep learning based face liveness detection in videos | |
US9323989B2 (en) | Tracking device | |
CN109697444A (zh) | 基于深度图像的对象识别方法及装置、设备、存储介质 | |
US11307668B2 (en) | Gesture recognition method and apparatus, electronic device, and storage medium | |
CN113557546B (zh) | 图像中关联对象的检测方法、装置、设备和存储介质 | |
CN114519863A (zh) | 人体重识别方法、人体重识别装置、计算机设备及介质 | |
KR101715782B1 (ko) | 물체 인식 시스템 및 그 물체 인식 방법 | |
CN112166435A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN112703505A (zh) | 目标对象的识别系统、方法、装置、电子设备及存储介质 | |
Han et al. | Connecting the complementary-view videos: joint camera identification and subject association | |
CN111753796A (zh) | 图像中关键点的识别方法、装置、电子设备及存储介质 | |
CN112711964A (zh) | 一种人脸追踪监控系统和方法 | |
Takeuchi et al. | Multimodal soft biometrie verification by hand shape and handwriting motion in the air | |
CN114374903B (zh) | 拾音方法和拾音装置 | |
CN115767424A (zh) | 一种基于rss与csi融合的视频定位方法 | |
CN113673449A (zh) | 一种数据存储方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |