CN103886573B - 物体检测方法和物体检测装置 - Google Patents

Abstract

提供了物体检测方法和物体检测装置。该物体检测方法用于检测显示屏幕上放置的物体，其中，该显示屏幕上显示背景图像，该物体检测方法包括：获取第一图像，其中，所述第一图像包含所述显示屏幕上的第一背景图像和所述物体的图像；获取第二图像，其中，所述第二图像包含所述显示屏幕上的第二背景图像和所述物体的图像，且所述第二背景图像为所述第一背景图像向第一方向移位一预定距离所产生的图像；以及，对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体。通过根据本发明实施例的物理检测方法和物理检测装置，可以在显示复杂图像的显示屏幕上检测物体，从而有效地识别并提取物体，提高了系统的整体性能。

Description

物体检测方法和物体检测装置

技术领域

本发明涉及物体检测方法和物体检测装置。

背景技术

当将显示屏幕放置在诸如桌面等平面上时，显示屏幕上可能会另外放置一些物体，并且同时，显示屏幕上也可能会显示图像。

在诸如互动游戏之类的场景中，可能需要使用相机来从显示屏幕上显示的图像当中识别上述不属于屏幕显示内容的物体。

即，在上述情况下，在显示屏幕上显示背景图像的同时，相机需要从上述背景图像中识别出该物体并进行提取，这时，就需要通过分离背景图像来识别并提取物体，但是，由于这种情况下背景一般比较复杂，并且存在灯光干扰，这使得提取过程很困难。

在现有技术中，可以通过相机来捕获包括显示屏幕上所显示的背景图像和物体的图像，再使用算法从相机捕获的图像中分割背景，之后通过二值化来得到物体，但是，这受到的复杂背景和灯光的影响较为明显。

此外，可以将由相机捕获的包括显示屏幕上所显示的背景图像和物体的图像与显示屏幕上所显示的背景图像进行差值化，例如，通过显示屏幕的截屏得到上述背景图像，这样，通过将得到的差值图进行二值化也可以得到物体，但是，这同样会受到的复杂背景和灯光的影响。

因此，对于上述场景，需要一种改进的物体检测方法和物体检测装置，从而能够准确地检测到复杂的背景图像下的物体。

发明内容

因此，针对上述现有技术中存在的问题和需求做出本发明。

本发明实施例的目的是提供一种物体检测方法和物体检测装置，其能够从显示图像的显示屏幕上准确地检测到物体。

根据本发明实施例的一个方面，提供了物体检测方法，用于检测显示屏幕上放置的物体，其中，该显示屏幕上显示背景图像，该物体检测方法包括：获取第一图像，其中，所述第一图像包含所述显示屏幕上的第一背景图像和所述物体的图像；获取第二图像，其中，所述第二图像包含所述显示屏幕上的第二背景图像和所述物体的图像，且所述第二背景图像为所述第一背景图像向第一方向移位一预定距离所产生的图像；以及，对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体。

在上述物体检测方法中，所述获取第二图像的步骤具体为：控制所述显示屏幕以将所述第一背景图像向所述第一方向移位所述预定距离；移除移位后的图像移出所述显示屏幕的区域之外的部分；填充所述第一背景图像移位后在所述显示屏幕的区域中留下的空白部分以形成所述第二背景图像；以及，获取包含所述第二背景图像和所述物体的图像的所述第二图像。

在上述物体检测方法中，所述对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体的步骤具体为：对所述第一图像和所述第二图像进行差值化处理以从所述显示屏幕上检测到物体。

在上述物体检测方法中，所述对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体的步骤具体为：处理第二图像以获取第三图像，其中，所述第三图像为所述第二图像向与所述第一方向相反的第二方向移位所述预定距离所产生的图像；以及，对所述第一图像和所述第三图像进行差值化处理以从所述显示屏幕上检测到物体。

在上述物体检测方法中，所述预定距离以像素为单位。

在上述物体检测方法中，所述预定距离是一个像素。

根据本发明实施例的另一方面，提供了物体检测装置，用于检测显示屏幕上放置的物体，其中，该显示屏幕上显示背景图像，该物体检测装置包括：图像获取单元，用于获取第一图像和第二图像，其中，所述第一图像包含所述显示屏幕上的第一背景图像和所述物体的图像，且所述第二图像包含所述显示屏幕上的第二背景图像和所述物体的图像；图像移位单元，用于将所述第一背景图像向第一方向移位一预定距离以形成所述第二背景图像；以及，图像处理单元，用于对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体。

在上述物体检测装置中，所述图像移位单元具体包括：移位控制模块，用于控制所述显示屏幕以将所述第一背景图像向所述第一方向移位所述预定距离；图像移除模块，用于移除移位后的图像移出所述显示屏幕的区域之外的部分；以及，图像填充模块，用于填充所述第一背景图像移位后在所述显示屏幕的区域中留下的空白部分以形成所述第二背景图像。

在上述物体检测装置中，所述图像处理单元具体用于对所述第一图像和所述第二图像进行差值化处理以从所述显示屏幕上检测到物体。

在上述物体检测装置中，所述图像处理单元具体包括：图像移动模块，用于处理第二图像以获取第三图像，其中，所述第三图像为所述第二图像向与所述第一方向相反的第二方向移位所述预定距离所产生的图像；以及，差值处理模块，用于对所述第一图像和所述第三图像进行差值化处理以从所述显示屏幕上检测到物体。

在上述物体检测装置中，所述预定距离以像素为单位。

在上述物体检测装置中，所述预定距离是一个像素。

通过根据本发明实施例的物理检测方法和物理检测装置，可以在显示复杂图像的显示屏幕上检测物体，从而有效地识别并提取物体，提高了系统的整体性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的物理检测方法的应用场景的示意图；

图2是示出根据本发明实施例的物体检测方法的示意性流程图；

图3是根据本发明实施例的物体检测方法的实施示例的示意图；

图4是示出根据本发明实施例的物体检测装置的示意性框图。

具体实施方式

下面，将结合附图详细描述根据本发明实施例的物体检测方法和物体检测设备。

如上所述，在某些诸如互动游戏的场景中，可能需要从显示图像的显示屏幕上检测物体。图1是根据本发明实施例的物理检测方法的应用场景的示意图。如图1所示，用户通过在显示屏幕上掷骰子来玩游戏，这时，由于骰子是不同于在显示屏幕上显示的图像的实体，游戏需要在屏幕上提取实体骰子。此外，除了骰子之外，还可能需要在屏幕上提取其它物体，比如上述游戏中可以采用实体棋子，等等。

根据本发明实施例的一个方面，提供了一种物体检测方法，用于检测显示屏幕上放置的物体，其中，该显示屏幕上显示背景图像，该物体检测方法包括：获取第一图像，其中，该第一图像包含显示屏幕上的第一背景图像和该物体的图像；获取第二图像，其中，该第二图像包含显示屏幕上的第二背景图像和该物体的图像，且第二背景图像为第一背景图像向第一方向移位一预定距离所产生的图像；以及，对第一图像和第二图像进行图像处理以从显示屏幕上检测到所述物体。

通过根据本发明实施例的物体检测方法，可以从显示图像的显示屏幕上识别并提取物体，从而满足系统的需求。

图2是根据本发明实施例的物体检测方法的示意性流程图。如图1所示，根据本发明实施例的物体检测方法用于检测显示屏幕上放置的物体，其中，该显示屏幕上显示背景图像，该方法包括：S1，获取第一图像，其中，该第一图像包含显示屏幕上的第一背景图像和该物体的图像；S2，获取第二图像，其中，该第二图像包含显示屏幕上的第二背景图像和该物体的图像，且第二背景图像为第一背景图像向第一方向移位一预定距离所产生的图像；以及S3，对第一图像和第二图像进行图像处理以从显示屏幕上检测到所述物体。

在根据本发明实施例的物体检测方法中，为了精确地从背景图像中检测物体，获取包含背景图像和物体的两张图像，如上所述，通过将第一背景图像以一方向移位一定距离，可以得到与第一背景图像不同的第二背景图像。但是，在以上情况中，由于是将显示屏幕上显示的背景图像进行移动，显示屏幕上放置的物体本身的位置并不会变动，因此，在获取的第一图像和第二图像中，实际上包含不同的第一背景图像和第二背景图像的图像以及相同的物体的图像。这样，通过对第一图像和第二图像进行图像处理，就可以从显示屏幕上检测到该物体。例如，通过将第一图像和第二图像之间相同的像素进行比较和识别，就可以确定物体在显示屏幕上的位置以及物体本身的轮廓，从而检测到在显示屏幕上放置的物体。

另外，在根据本发明实施例的物体检测方法中，优选地通过相同的图像拾取设备，例如相机或者摄像头来获取第一图像和第二图像，从而保证除了第一背景图像和第二背景图像由于移位引起的本身的图像的变化以外，由于图像拾取设备本身的性能引起的图像变化尽可能地小，从而保证物体检测的精确性。而且，在采用相同图像拾取设备获取第一图像和第二图像时，应该保证图像拾取设备处于静止状态，从而避免由于拍摄角度的差异所产生的图像的变化。

并且，在根据本发明实施例的物体检测方法中，优选地在相同的环境条件下，例如环境光亮条件下获取第一图像和第二图像，从而尽量避免由于灯光等外部因素的影响而造成物体检测的偏差。

此外，在根据本发明实施例的物体检测方法中，第二背景图像可以是将第一背景图像向一方向平移一预定距离产生的，也可以是将第一背景图像以一方向旋转一预定角度而产生的。这里，本领域技术人员可以理解，产生第二背景图像是为了与第一背景图像进行区分，这里的术语“移位”应该按照这种技术目的来进行广义的理解。

在上述物体检测方法中，所述获取第二图像的步骤具体为：控制所述显示屏幕以将所述第一背景图像向所述第一方向移位所述预定距离；移除移位后的图像移出所述显示屏幕的区域之外的部分；填充所述第一背景图像移位后在所述显示屏幕的区域中留下的空白部分以形成所述第二背景图像；以及，获取包含所述第二背景图像和所述物体的图像的所述第二图像。

如上所述，当通过平移第一背景图像以产生第二背景图像时，由于显示设备的显示屏幕的区域是固定的，当将第一背景图像平移一定距离时，第一背景图像会有一部分被移出显示屏幕的屏幕区域以外，同时会在显示屏幕的屏幕区域的一部分留下空白。例如，当将第一背景图像向上平移一距离，例如两行像素时，第一背景图像的上部的两行像素被移出显示屏幕的屏幕区域以外，而在显示屏幕的屏幕区域的下部会留下两行像素的空白，这时，通过移除第一背景图像的上部的两行像素并填充显示屏幕的下部的两行像素的空白，就可以形成第一背景图像向上移位两行像素之后产生的第二背景图像。以上操作可以由根据本发明实施例的物体检测方法通过例如有线或者无线方的通信方式控制显示设备来完成。

在上述物体检测方法中，所述对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体的步骤具体为：对所述第一图像和所述第二图像进行差值化处理以从所述显示屏幕上检测到物体。

在图像处理领域中，可以通过两个图像的差值化处理来找到两个图像的不同之处。在根据本发明实施例的物体检测方法中，由于在第一图像和第二图像中，显示屏幕上放置的物体未发生变化，而物体之外的第一背景图像和第二背景图像由于图像的移位而产生变化，因此通过差值化处理可以找到第一图像和第二图像之间的差异，从而通过第一图像和第二图像中相同的部分检测到物体。

在上述物体检测方法中，所述对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体的步骤具体为：处理第二图像以获取第三图像，其中，所述第三图像为所述第二图像向与所述第一方向相反的第二方向移位所述预定距离所产生的图像；以及，对所述第一图像和所述第三图像进行差值化处理以从所述显示屏幕上检测到物体。

如上所述，通过差值化处理，可以找到两个图像的不同之处，对于根据本发明实施例的物体检测方法来说，是要检测到显示屏幕上放置的物体，因此，通过如上所述的示例中将第一图像和第二图像进行差值化，可以得到背景图像之间的差异，从而间接地检测到物体，这在某些特定情况下可能会具有一定的误差。

因此，在根据本发明实施例的物体检测方法的另一示例中，将图像拾取设备获取的第二图像进行图像处理，具体地说，将第二图像以与所述第一方向相反的第二方向移位上述预定距离，以使得第三图像中的背景图像部分与上述第一图像中的背景图像部分相同。但是，由于在第二图像中的物体图像部分相对于第一图像中的物体图像部分是相同的，因此在第三图像中，物体图像部分会相对于第一图像的物体图像部分在第二方向上移位所述预定距离，从而形成在第一图像和第三图像之间背景图像部分相同而物体图像部分不同的情况。这样，通过差值化处理，可以通过第一图像和第三图像之间的差异部分之间检测到物体，提高了物体检测的精度。

这里，本领域技术人员可以理解，第三图像是以与将第一背景图像移位而形成第二背景图像相同的移位方式移位第二图像而产生的。具体地说，当将第一背景图像向一方向，例如向上平移一预定距离产生第二背景图像时，应该将第二图像以相反方向，即，向下平移该预定距离而产生第三图像，另外，当将第一背景图像以一方向，例如顺时针方向旋转一预定角度而产生第二背景图像时，应该将第二图像以相反方向，即，逆时针方向旋转该预定角度而产生第二图像。

在上述物体检测方法中，所述预定距离以像素为单位。并且，在上述物体检测方法中，所述预定距离是一个像素。

如上所述，在根据本发明实施例的物体检测方法中，主要是通过检测图像之间的差异来检测显示屏幕上放置的物体，因此，优选地以像素为单位来将第一背景图像改变为第二背景图像，和/或将第二图像改变为第三图像，这样，可以保证物体检测的精确度。

并且，由于在进行本发明实施例的物体检测时，用户可能仍然在看显示屏幕，为了不给用户带来不适的感觉，优选地以用户不易于察觉的方式改变图像，例如，通过将第一背景图像向某方向平移一个或几个像素，或者将第一背景图像向某方向旋转一很小的角度，可以体现出图像之间的差异，但是用户不易于察觉到图像的变化，减少或者甚至消除了图像变化给用户带来的不适的感觉，提高了用户的便利。

图3是根据本发明实施例的物体检测方法的实施示例的示意图。如图3所示，当将实体骰子放置在PC的屏幕上时，PC的屏幕上正在显示某棋盘，并且用户通过实体骰子所掷出的点数来在棋盘上进行游戏，这就需要从包含PC的屏幕的图像中识别出实体骰子。这时，诸如相机的图像拾取设备获取如图3的左侧所示的PC屏幕和实体骰子的第一图像，其中，该第一图像分别包含此时的PC屏幕的第一背景图像和实体骰子的图像。之后，通过将PC屏幕上的屏幕图像向上移动来改变屏幕上的背景图像，此时，原背景图像中的一部分，具体地说，屏幕图像的上部移出了屏幕区域，而在屏幕区域的下方则形成了空白。这样，通过去除移出屏幕区域的屏幕图像的上部，并填充屏幕区域下方的空白区域，可以在PC屏幕上形成第二背景图像，而此时，由于实体骰子在PC屏幕上保持静止而未发生任何变化，当通过图像拾取设备获取第二图像时，第二图像变化了的第二背景图像和未变化的实体骰子图像，这样，通过图像处理就可以检测到PC屏幕上放置的实体骰子，从而继续进行游戏中的接下来的处理。

根据本发明实施例的另一方面，提供了物体检测装置，用于检测显示屏幕上放置的物体，其中，该显示屏幕上显示背景图像，该物体检测装置包括：图像获取单元，用于获取第一图像和第二图像，其中，所述第一图像包含所述显示屏幕上的第一背景图像和所述物体的图像，且所述第二图像包含所述显示屏幕上的第二背景图像和所述物体的图像；图像移位单元，用于将所述第一背景图像向第一方向移位一预定距离以形成所述第二背景图像；以及，图像处理单元，用于对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体。

图4是示出根据本发明实施例的物体检测装置的示意性框图。如图4所示，根据本发明实施例的物体检测装置100用于检测显示屏幕200上放置的物体，其中，该显示屏幕200上显示背景图像，物理检测装置100包括：图像获取单元101，用于获取第一图像和第二图像，其中，第一图像包含显示屏幕200上的第一背景图像和物体的图像，且第二图像包含显示屏幕200上的第二背景图像和物体的图像；图像移位单元102，用于将第一背景图像向第一方向移位一预定距离以形成第二背景图像；以及，图像处理单元103，用于对第一图像和第二图像进行图像处理以从显示屏幕200上检测到物体。

在上述物体检测装置中，所述图像移位单元具体包括：移位控制模块，用于控制所述显示屏幕以将所述第一背景图像向所述第一方向移位所述预定距离；图像移除模块，用于移除移位后的图像移出所述显示屏幕的区域之外的部分；以及，图像填充模块，用于填充所述第一背景图像移位后在所述显示屏幕的区域中留下的空白部分以形成所述第二背景图像。

在上述物体检测装置中，所述图像处理单元具体用于对所述第一图像和所述第二图像进行差值化处理以从所述显示屏幕上检测到物体。

在上述物体检测装置中，所述图像处理单元具体包括：图像移动模块，用于处理第二图像以获取第三图像，其中，所述第三图像为所述第二图像向与所述第一方向相反的第二方向移位所述预定距离所产生的图像；以及，差值处理模块，用于对所述第一图像和所述第三图像进行差值化处理以从所述显示屏幕上检测到物体。

在上述物体检测装置中，所述预定距离以像素为单位。

在上述物体检测装置中，所述预定距离是一个像素。

这里，本领域技术人员可以理解，上述根据本发明实施例的物体检测装置的其它细节与之前所述的根据本发明实施例的物体检测方法的相应细节相同，为了避免冗余便不再赘述。

通过根据本发明实施例的物理检测方法和物理检测装置，可以在显示复杂图像的显示屏幕上检测物体，从而有效地识别并提取物体，提高了系统的整体性能。

本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。

Claims (12)

1.一种物体检测方法，用于检测显示屏幕上放置的物体，其中，该显示屏幕上显示背景图像，该物体检测方法包括：

获取第一图像，其中，所述第一图像包含所述显示屏幕上的第一背景图像和所述物体的图像；

获取第二图像，其中，所述第二图像包含所述显示屏幕上的第二背景图像和所述物体的图像，且所述第二背景图像为所述第一背景图像向第一方向移位一预定距离所产生的图像；以及

对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体。

2.如权利要求1所述的物体检测方法，其中，所述获取第二图像的步骤具体为：

控制所述显示屏幕以将所述第一背景图像向所述第一方向移位所述预定距离；

移除移位后的第一背景图像移出所述显示屏幕的区域之外的部分；

填充所述第一背景图像移位后在所述显示屏幕的区域中留下的空白部分以形成所述第二背景图像；

获取包含所述第二背景图像和所述物体的图像的所述第二图像。

3.如权利要求2所述的物体检测方法，其中，所述对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体的步骤具体为：

对所述第一图像和所述第二图像进行差值化处理以从所述显示屏幕上检测到物体。

4.如权利要求2所述的物体检测方法，其中，所述对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体的步骤具体为：

处理第二图像以获取第三图像，其中，所述第三图像为所述第二图像向与所述第一方向相反的第二方向移位所述预定距离所产生的图像；以及

对所述第一图像和所述第三图像进行差值化处理以从所述显示屏幕上检测到物体。

5.如权利要求1到4中任意一个所述的物体检测方法，其中，所述预定距离以像素为单位。

6.如权利要求5所述的物体检测方法，其中，所述预定距离是一个像素。

7.一种物体检测装置，用于检测显示屏幕上放置的物体，其中，该显示屏幕上显示背景图像，该物体检测装置包括：

图像获取单元，用于获取第一图像和第二图像，其中，所述第一图像包含所述显示屏幕上的第一背景图像和所述物体的图像，且所述第二图像包含所述显示屏幕上的第二背景图像和所述物体的图像；

图像移位单元，用于将所述第一背景图像向第一方向移位一预定距离以形成所述第二背景图像；以及

图像处理单元，用于对所述第一图像和所述第二图像进行图像处理以从所述显示屏幕上检测到物体。

8.如权利要求7所述的物体检测装置，其中，所述图像移位单元具体包括：

移位控制模块，用于控制所述显示屏幕以将所述第一背景图像向所述第一方向移位所述预定距离；

图像移除模块，用于移除移位后的第一背景图像移出所述显示屏幕的区域之外的部分；

图像填充模块，用于填充所述第一背景图像移位后在所述显示屏幕的区域中留下的空白部分以形成所述第二背景图像。

9.如权利要求8所述的物体检测装置，其中，所述图像处理单元具体用于对所述第一图像和所述第二图像进行差值化处理以从所述显示屏幕上检测到物体。

10.如权利要求8所述的物体检测装置，其中，所述图像处理单元具体包括：

图像移动模块，用于处理第二图像以获取第三图像，其中，所述第三图像为所述第二图像向与所述第一方向相反的第二方向移位所述预定距离所产生的图像；以及

差值处理模块，用于对所述第一图像和所述第三图像进行差值化处理以从所述显示屏幕上检测到物体。

11.如权利要求7到10中任意一个所述的物体检测装置，其中，所述预定距离以像素为单位。

12.如权利要求11所述的物体检测装置，其中，所述预定距离是一个像素。