CN113473074B - 一种检测方法、电子设备、检测设备以及存储介质 - Google Patents

Abstract

本发明公开了一种检测方法、电子设备、检测设备以及存储介质，用以提供一种能够在紧急情况发生时进行预警提醒的方法。本发明实施例接收图像采集设备采集的包含与被监测对象关联的目标物体的待检测图像，并对待检测图像进行物体分割处理，得到待检测图像对应的深度图；从深度图中识别出目标物体对应的深度区域，并从目标物体对应的深度区域中确定安全区域；通过目标检测算法确定被监测对象的位置，若确定被监测对象在安全区域内，且与安全区域的至少一个边界之间的距离小于预设阈值，则触发预警信息。本发明实施例能够判断被监测对象是否有脱离安全区域发生危险的情况，并能及时触发预警信息提醒用户，为用户提供了个性化的安全预警服务。

Description

一种检测方法、电子设备、检测设备以及存储介质

技术领域

本发明涉及通信领域，尤其涉及一种检测方法、电子设备、检测设备以及存储介质。

背景技术

视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。

在视频监控应用在家庭场景中时，用户可以通过通信终端查看视频监控内容，能够实时观察家庭成员的位置以及状态，例如，安置在卧室的摄像头可以监控独自在卧室床上的婴儿的活动状态，看护人可以通过移动终端查看摄像头拍摄的婴儿状态，而无需时刻监护在婴儿身边。

但是现有的视频监控只能为用户提供监控摄像头拍摄的画面，而并没有一种能够在紧急情况发生时进行预警提醒的方法。

发明内容

本发明示例性的实施方式中提供一种检测方法及通信终端，用以提供一种能够在紧急情况发生时进行预警提醒的方法。

根据示例性的实施方式中的第一方面，提供一种检测方法，该方法包括：

通信终端接收图像采集设备采集的包含与被监测对象关联的目标物体的待检测图像，并对所述待检测图像进行物体分割处理，得到所述待检测图像对应的用于表示所述待检测图像中各物体几何形状的深度图；

从所述深度图中识别出所述目标物体对应的深度区域，并从所述目标物体对应的深度区域中确定安全区域；

通过目标检测算法确定所述被监测对象的位置，若根据所述被监测对象的位置确定所述被监测对象在所述安全区域内，且所述被监测对象与所述安全区域的至少一个边界之间的距离小于预设阈值，则触发预警信息。

上述实施例中，通信终端能够对图像采集设备发送的待检测图像进行物体分割处理，获得待检测图像对应的表示各物体几何形状的深度图，能够确定各物体的类别与形状，从而能够识别出目标物体对应的深度区域；由于本发明实施例在确定出目标物体的深度区域后，能够确定目标物体的深度区域中的安全区域，从而在确定被监测对象位置后，能够根据被监测对象的位置以及安全区域监测被监测对象的状态，在检测到被监测对象与安全区域的边界的距离小于预设阈值时，确定被监测对象有从安全区域坠落的危险，触发预警信息；本发明实施例提供的检测方法，改变了监控系统仅具有查看监控画面的单一功能，增加了安全预警功能，能够通过检测图像采集设备采集的待检测图像中的安全区域以及被监测对象的位置，判断被监测对象是否有脱离安全区域发生危险的情况，并能及时触发预警信息提醒用户，为用户提供了个性化的安全预警服务，提升用户体验。

根据示例性的实施方式中的第二方面，提供一种电子设备，所述电子设备被配置为执行如上述第一方面所述的检测方法。

根据示例性的实施方式中的第三方面，提供一种检测设备，包括存储器和处理器；其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器被配置为执行如上述第一方面所述的检测方法。

根据示例性的实施方式中的第四方面，提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行如上述第一方面所述的检测方法。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实施例。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本发明实施例提供的一种检测系统示意图；

图2为本发明实施例提供的第一种场景示意图；

图3为本发明实施例提供的第二种场景示意图；

图4为本发明实施例提供的第二种场景示意图；

图5为本发明实施例提供的一种通信终端的结构示意图；

图6示例性示出了本发明实施例提供的一种通信终端的软件架构示意图；

图7示例性示出了本发明实施例提供的通信终端的用户界面示意图；

图8示例性示出了本发明实施例提供的一种检测方法的流程图；

图9示例性示出了本发明实施例提供的一种待检测图像示意图；

图10示例性示出了本发明实施例提供的一种待检测图像对应的深度图示意图；

图11示例性示出了本发明实施例提供的一种目标物体对应的深度区域示意图；

图12示例性示出了本发明实施例提供的一种深度图对应的理想坐标系示意图；

图13示例性示出了本发明实施例提供的一种目标物体对应的深度区域中的安全区域示意图；

图14示例性示出了本发明实施例提供的一种目标检测算法检测被监测对象示意图；

图15示例性示出了本发明实施例提供的一种完整的检测方法流程图；

图16示例性示出了本发明实施例提供的一种通信终端的结构示意图；

图17示例性示出了本发明实施例提供的一种检测装置的结构示意图。

具体实施方式

下面将结合附图对本发明实施例中的技术方案进行清除、详尽地描述。其中，在本发明实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本发明实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本发明实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

下面对文中出现的一些术语进行解释：

1、本发明实施例中术语“语义分割”，是计算机视觉中的基本任务，在语义分割中需要将视觉输入分为不同的语义可解释类别，其中，语义的可解释类别在真实世界中是有意义的。例如，区分图像中属于汽车的所有像素，并把这些像素涂成预设颜色，以将汽车从图像中分割出来。

2、本发明实施例中术语“三维测量技术”，图像处理的三维测量技术是从计算机视觉领域发展而来的非接触测量技术，它以图像为载体，检测和传递图像的信息，测量图像的深度，提取图像的特征，具有精度高、处理速度快、非接触测量、稳定性好的特点，在数字化、智能化设备中得到广泛应用。

3、本发明实施例中术语“目标检测算法”，可以通过绘制图像中物体的边框，识别出图像中物体的物理类别并且输出物体的位置参数，其中，位置参数为能够框出物体的矩形框在图像中的对应参数，可以包括物体中心点的坐标以及矩形框的尺寸信息。

视频监控可以应用在家居场景中时，用户可以通过通信终端查看视频监控内容，能够实时观察家庭成员的位置以及状态，例如，安置在卧室的摄像头可以监控独自在卧室床上的婴儿的活动状态，看护人可以通过移动终端查看摄像头拍摄的婴儿状态，而无需时刻监护在婴儿身边。

但是现有的视频监控只能为用户提供监控摄像头拍摄的画面，而并没有一种能够在紧急情况发生时进行预警提醒的方法。

基于上述问题，本发明实施例提供一种检测系统，如图1所示，包括电子设备11和图像采集设备12，图像采集设备12实时采集拍摄到的图像，并将采集到的待检测图像上传给电子设备11，电子设备11接收到待检测图像后，对待检测图像进行物体分割处理，得到待检测图像对应的用于表示物体几何形状的深度图；电子设备11从深度图中识别出目标物体对应的深度区域，并从该深度区域中确定安全区域；电子设备11通过目标检测算法确定被监测对象的位置，在确定被监测对象在安全区域内且与安全区域的至少一个边界之间的距离小于预设阈值时，触发预警信息，提醒用户确认被监测对象的状态。

本发明实施例中电子设备11可以是通信终端、智能显示设备、智能家居管理设备中的一种，图像采集设备12可以为安装在室内的摄像头、摄像机或相机等具有图像采集功能的设备；

其中，通信终端可以是个人计算机、手机、平板电脑、笔记本等具有一定计算能力并且具有通信功能的计算机设备；智能显示设备可以是智能电视、智能显示器等设备；智能家居管理设备可以为智能管家等能够控制电子家居设备的管理设备。

例如，如图2所示，本发明实施例的电子设备11为通信终端，则通信终端接收图像采集设备12上传的待检测图像，并对待检测图像进行检测，在检测到被监测对象在安全区域内且与安全区域的至少一个边界之间的距离小于预设阈值时，触发预警信息，具体可以播放报警音或触发提醒用户的通知信息。

如图3所示，本发明实施例的电子设备11为智能显示设备，则智能显示设备接收图像采集设备12上传的待检测图像，并对待检测图像进行检测，在检测到被监测对象在安全区域内且与安全区域的至少一个边界之间的距离小于预设阈值时，触发预警信息，具体可以播放报警音或触发提醒用户的通知信息。

如图4所示，本发明实施例的电子设备11为智能家居管理设备，则智能家居管理设备接收图像采集设备12上传的待检测图像，并对待检测图像进行检测，在检测到被监测对象在安全区域内且与安全区域的至少一个边界之间的距离小于预设阈值时，向预设的用户的通信终端或智能显示设备发送预警信息，由通信终端或智能显示设备通知用户，具体可以为通信终端或智能显示设备播放报警音或触发提醒用户的通知信息。

本发明一些实施例中，被监测对象可以为独自在卧室床上的婴儿，图像采集设备12将采集到的包括婴儿以及婴儿所在的床在内的待检测图像发送给电子设备11，电子设备11对待检测图像进行物体分割处理，得到待检测图像对应的深度图，并从深度图中识别出床对应的深度区域，将婴儿所在的床的上表面确定为安全区域，电子设备11通过目标检测算法确定婴儿的位置，在确定婴儿与床的上表面的至少一个边界的距离小于预设阈值时，确定婴儿有从床面坠落的危险，触发预警信息提醒婴儿的看护人。

在本发明实施例中电子设备11为通信终端时，通信终端的结构示意图可以如图5所示。

下面以通信终端500为例对实施例进行具体说明。应该理解的是，图5所示通信终端500仅是一个范例，并且通信终端500可以具有比图5中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

图5中示例性示出了根据示例性实施例中通信终端500的硬件配置框图。如图5所示，通信终端500包括：射频(radio frequency，RF)电路510、存储器520、显示单元530、摄像头540、传感器550、音频电路560、无线保真(Wireless Fidelity，Wi-Fi)模块570、处理器580、蓝牙模块581、以及电源590等部件。

RF电路550可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器580处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。

存储器520可用于存储软件程序及数据。处理器580通过运行存储在存储器520的软件程序或数据，从而执行通信终端500的各种功能以及数据处理。存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器520存储有使得通信终端500能运行的操作系统。本发明中存储器520可以存储操作系统及各种应用程序，还可以存储执行本发明实施例所述方法的代码。

显示单元530可用于接收输入的数字或字符信息，产生与通信终端500的用户设置以及功能控制有关的信号输入，具体地，显示单元530可以包括设置在通信终端500正面的触摸屏531，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

显示单元530还可用于显示由用户输入的信息或提供给用户的信息以及终端500的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元530可以包括设置在通信终端500正面的显示屏532。其中，显示屏532可以采用液晶显示器、发光二极管等形式来配置。显示单元530可以用于显示本发明中所述的各种图形用户界面。

其中，触摸屏531可以覆盖在显示屏532之上，也可以将触摸屏531与显示屏532集成而实现通信终端500的输入和输出功能，集成后可以简称触摸显示屏。本发明中显示单元530可以显示应用程序以及对应的操作步骤。

摄像头540可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器180转换成数字图像信号。

通信终端500还可以包括至少一种传感器550，比如加速度传感器551、距离传感器552、指纹传感器553、温度传感器554。通信终端500还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路560、扬声器561、麦克风562可提供用户与通信终端500之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号，传输到扬声器561，由扬声器561转换为声音信号输出。通信终端500还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风562将收集的声音信号转换为电信号，由音频电路560接收后转换为音频数据，再将音频数据输出至RF电路510以发送给比如另一终端，或者将音频数据输出至存储器520以便进一步处理。本发明中麦克风562可以获取用户的语音。

Wi-Fi属于短距离无线传输技术，通信终端500可以通过Wi-Fi模块570帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。

处理器580是通信终端500的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器520内的软件程序，以及调用存储在存储器520内的数据，执行通信终端500的各种功能和处理数据。在一些实施例中，处理器580可包括一个或多个处理单元；处理器580还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器580中。本发明中处理器580可以运行操作系统、应用程序、用户界面显示及触控响应，以及本发明实施例所述的处理方法。另外，处理器580与显示单元530耦接。

蓝牙模块581，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，通信终端500可以通过蓝牙模块581与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

通信终端500还包括给各个部件供电的电源590(比如电池)。电源可以通过电源管理系统与处理器580逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。通信终端500还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。

图6是本发明实施例的通信终端500的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图6所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图6所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供通信终端500的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，通信终端振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合捕获拍照场景，示例性说明通信终端500软件以及硬件的工作流程。

当触摸屏531接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头540捕获静态图像或视频。

本发明实施例中的通信终端500可以为手机、平板电脑、可穿戴设备、笔记本电脑以及电视等。

图7是用于示出通信终端(例如图5的通信终端500)上的用户界面的示意图。在一些具体实施中，用户通过触摸用户界面上的应用图标可以打开相应的应用程序，或者通过触摸用户界面上的文件夹图标可以打开相应的文件夹。

如图8所示，为本发明实施例提供的一种检测方法的流程图，具体步骤如下：

步骤S801、接收图像采集设备采集的包含与被监测对象关联的目标物体的待检测图像，并对待检测图像进行物体分割处理，得到待检测图像对应的用于表示待检测图像中各物体几何形状的深度图；

步骤S802、从深度图中识别出目标物体对应的深度区域，并从目标物体对应的深度区域中确定安全区域；

步骤S803、通过目标检测算法确定被监测对象的位置，若根据被监测对象的位置确定被监测对象在安全区域内，且被监测对象与安全区域的至少一个边界之间的距离小于预设阈值，则触发预警信息。

本发明实施例提供的一种检测方法，能够对图像采集设备发送的待检测图像进行物体分割处理，获得待检测图像对应的表示各物体几何形状的深度图，能够确定各物体的类别与形状，从而能够识别出目标物体对应的深度区域；由于本发明实施例在确定出目标物体的深度区域后，能够确定目标物体的深度区域中的安全区域，从而在确定被监测对象位置后，能够根据被监测对象的位置以及安全区域监测被监测对象的状态，在检测到被监测对象与安全区域的边界的距离小于预设阈值时，确定被监测对象有从安全区域坠落的危险，触发预警信息；本发明实施例提供的检测方法，改变了监控系统仅具有查看监控画面的单一功能，增加了安全预警功能，能够通过检测图像采集设备采集的待检测图像中的安全区域以及被监测对象的位置，判断被监测对象是否有脱离安全区域发生危险的情况，并能及时触发预警信息提醒用户，为用户提供了个性化的安全预警服务，提升用户体验。

本发明一些实施例中，图像采集设备采集到的待检测图像中包括被监测对象以及与被监测对象关联的目标物体，其中，与被监测对象关联的目标物体可以为被监测对象所在的目标物体，例如，居家环境中，目标物体可以为被监测对象所在的床、桌、窗台等具有高度的物体。

本发明一些实施例中，通信终端对图像采集设备采集到的待检测图像进行物体分割处理，得到待检测图像对应的用于表示待检测图像中各物体几何形状的深度图，在一些实施例中，根据下列方式对待检测图像进行物体分割处理：

将待检测图像输入到已训练的实时语义分割模型中，获取已训练的实时语义分割模型输出的待检测图像对应的深度图的像素类别矩阵；根据像素类别矩阵确定待检测图像对应的深度图。

具体的，已训练的实时语义分割模型能够对输入的待检测图像进行像素级的分割处理，对识别到属于同一物体类别的像素点进行标注，将待检测图像中的各个不同物体分别使用预设的类别标注其对应的像素点，从而实现对待检测图像中各个物体的分割处理，并输出待检测图像对应的深度图的像素类别矩阵。

在一些实施例中，通信终端根据像素类别矩阵，将类别相同的像素点划分为一个物体，确定待检测图像对应的深度图。

例如，假设图像采集设备采集到的待检测图像为如图9所示的卧室图像，通信终端对该卧室图像进行物体分割处理后，得到的卧室图像对应的深度图如图10所示，分割出了卧室中的床头柜、床、枕头、相框、地毯等物体。

本发明一些实施例中，还提供一种实时语义分割模型的训练方式：

根据NYUv2数据集对初始实时语义分割模型进行训练，其中，NYUv2数据集包括原图以及其对应的像素类别矩阵，将NYUv2数据集中的原图作为初始实时语义分割模型的输入，将NYUv2数据集中原图对应的像素类别矩阵作为初始实时语义分割模型的输出，对初始实时语义分割模型进行训练；

根据损失函数计算训练中初始实时语义分割模型输出的预测的像素类别矩阵以及原图对应的像素类别矩阵之间的损失值，根据损失值对初始实时语义分割模型的参数进行调整，重复训练过程直至损失值在预设的收敛范围时，确定实时语义分割模型训练完成。

其中，损失函数可以为LogSoftmax函数。

本发明一些实施例中，通信终端得到待检测图像对应的深度图后，从深度图中识别出目标物体对应的深度区域；具体的，将深度图中除目标物体以外的其它物体的像素值设置为预设值，例如，将其它物体的像素值均设为0，则将其它物体设置为背景，从而能够从深度图中提取出目标物体对应的深度区域。

例如，对如图10所示的深度图，将床作为目标物体，则将床以外的其它物体的像素值设置为0，获得如图11所示的床对应的深度区域。

本发明一些实施例中，通信终端从目标物体对应的深度区域中确定安全区域；具体的，通信终端采用三维测量技术测量深度图中目标物体的轮廓参数，其中，轮廓参数包括目标物体对应的深度区域中属于安全区域边界的边界线的位置以及长度数据，根据轮廓参数确定用于构建深度图对应的理想坐标系的坐标原点；

例如，对如图11所示的深度区域，床的上表面为该深度区域中的安全区域，为提取安全区域，需要对床的上表面进行分割，采用三维测量技术测量深度图中床的轮廓参数，确定深度区域中属于安全区域的边界线的位置以及长度数据，也就是说，测量图11所示的深度区域中属于床上表面的两条边界线的位置以及长度，并根据测量得到的深度区域中属于床上表面的两条边界线的位置以及长度确定深度图对应的理想坐标系的原点。

本发明一些实施例中，在采用三维测量技术测量深度图中目标物体的轮廓参数的过程中，标定用于构建理想坐标系的z轴方向；其中，标定的用于构建理想坐标系的z轴方向为深度图中与地面垂直的方向。

在确定出用于构建深度图对应的理想坐标系的坐标原点以及标定出z轴方向后，根据图像采集设备对应的原始坐标系中z轴的方向，以及标定的用于构建理想坐标系的z轴方向，确定用于将原始坐标系转换到理想坐标系的旋转矩阵。

具体实施中，确定将原始坐标系中z轴调整为标定的用于构建理想坐标系的z轴的方向时，原始坐标系中x轴与y轴旋转的角度，根据确定出的原始坐标系中x轴与y轴旋转的角度，确定用于将原始坐标系转换到理想坐标系的旋转矩阵；

一些实施例中，根据下列公式确定旋转矩阵：

其中，R为用于将原始坐标系转换到理想坐标系的旋转矩阵，α为将原始坐标系中z轴调整为标定的用于构建理想坐标系的z轴的方向时，原始坐标系中x轴旋转的角度，β为将原始坐标系中z轴调整为标定的用于构建理想坐标系的z轴的方向时，原始坐标系中y轴旋转的角度。

根据原始坐标系以及确定出的旋转矩阵构建的理想坐标系为：

其中，

为理想坐标系。

例如，对图11所示的目标物体对应的深度区域，确定深度图对应的理想坐标系如图12所示。

本发明一些实施例中，将目标物体对应的深度区域中位于理想坐标系的x、y轴所在平面的区域作为安全区域；例如，将图12所示的理想坐标系中x、y轴所在平面与目标物体对应的深度区域中重合的区域作为安全区域，则将床的上表面作为安全区域提取出来，得到如图13所示的安全区域。

从目标物体对应的深度区域中确定出安全区域之后，通过目标检测算法确定被监测对象的位置；

目标检测算法在对被监测对象进行检测时，需要通过绘制被监测对象的边框作为目标检测框，确定被监测对象的位置；具体的，通过目标检测算法获取目标检测框的中心点坐标以及目标检测框的尺寸信息；例如，如图14所示，假设被监测对象为床上的婴儿，通过目标检测算法获取目标检测框的中心点坐标为(x，y)，目标检测框的尺寸信息为目标检测框的宽和高。

需要说明的是，获取到的目标检测框的中心点坐标是以理想坐标系的原点为原点，以理想坐标系的x、y轴为x、y轴构建的二维坐标系中的坐标。

根据获取到的目标检测框中心点的坐标，在确定待检测对象与安全区域的至少一个边界之间的距离小于预设阈值时，触发预警信息。

本发明一些实施例中，根据下列方式确定预设阈值：

方式1、将预设的数值作为预设阈值；

方式2、根据下列方式确定预设阈值：

其中，r为预设阈值，w为目标检测框的宽，h为目标检测框的高。

本发明一些实施例中，触发预警信息可以为通信终端播放警报声，也可以为通信终端将预警信息发送给云平台，由云平台将预警消息转发给看护人的通信终端进行提醒。

如图15所示，为本发明实施例一种完整的检测方法流程图，包括以下步骤：

步骤S1501、接收图像采集设备采集的包含与被监测对象关联的目标物体的待检测图像；

步骤S1502、将待检测图像输入到已训练的实时语义分割模型中，获取已训练的实时语义分割模型输出的待检测图像对应的深度图的像素类别矩阵；

步骤S1503、根据像素类别矩阵确定待检测图像对应的深度图；

步骤S1504、将深度图中出除目标物体以外的其它物体的像素值设置为预设值，从深度图中提取出目标物体对应的深度区域；

步骤S1505、采用三维测量技术测量深度图中目标物体的轮廓参数，根据深度图中目标物体的轮廓参数确定用于构建深度图对应的理想坐标系的坐标原点，并标定用于构建理想坐标系的z轴方向；

步骤S1506、根据图像采集设备对应的原始坐标系中z轴的方向，以及标定的用于构建理想坐标系的z轴方向，确定用于将原始坐标系转换到理想坐标系的旋转矩阵；

步骤S1507、根据原始坐标系以及确定出的旋转矩阵构建理想坐标系；

步骤S1508、将目标物体对应的深度区域中位于理想坐标系的x、y轴所在平面的区域作为安全区域；

步骤S1509、通过目标检测算法获取用于检测被监测对象位置的目标检测框的中心点坐标和/或尺寸信息；

步骤S1510、根据目标检测框的尺寸信息确定预设阈值；

步骤S1511、确定被监测对象在安全区域内，且被监测对象与安全区域的至少一个边界之间的距离小于预设阈值，则触发预警信息。

基于同一发明构思，本发明实施例中还提供了一种通信终端，由于该通信终端解决问题的原理与本发明实施例的检测方法相似，因此该通信终端的实施可以参见方法的实施，重复之处不再赘述。

如图16所示，本发明实施例提供一种检测设备，包括存储器1601和处理器1602；

其中，所述存储器1601存储有程序代码，当所述程序代码被所述处理器1602执行时，使得所述处理器1602被配置为：

接收图像采集设备采集的包含与被监测对象关联的目标物体的待检测图像，并对所述待检测图像进行物体分割处理，得到所述待检测图像对应的用于表示所述待检测图像中各物体几何形状的深度图；

从所述深度图中识别出所述目标物体对应的深度区域，并从所述目标物体对应的深度区域中确定安全区域；

通过目标检测算法确定所述被监测对象的位置，若根据所述被监测对象的位置确定所述被监测对象在所述安全区域内，且所述被监测对象与所述安全区域的至少一个边界之间的距离小于预设阈值，则触发预警信息。

本发明一些实施例中，所述处理器1602具体被配置为：

将所述待检测图像输入到已训练的实时语义分割模型中，获取所述已训练的实时语义分割模型输出的所述待检测图像对应的深度图的像素类别矩阵；

根据所述像素类别矩阵确定所述待检测图像对应的深度图；

其中，所述已训练的实时语义分割模型是根据NYUv2数据集通过实时语义分割算法训练得到的。

本发明一些实施例中，所述处理器1602具体被配置为：

将所述深度图中出除所述目标物体以外的其它物体的像素值设置为预设值，从所述深度图中提取出所述目标物体对应的深度区域。

本发明一些实施例中，所述处理器1602具体被配置为：

采用三维测量技术测量所述深度图中所述目标物体的轮廓参数，根据所述深度图中所述目标物体的轮廓参数确定用于构建所述深度图对应的理想坐标系的坐标原点；以及

在采用三维测量技术测量所述深度图中所述目标物体的轮廓参数的过程中，标定用于构建理想坐标系的z轴方向；

根据确定出的坐标原点以及标定的z轴方向构建所述理想坐标系，并将所述目标物体对应的深度区域中位于所述理想坐标系的x、y轴所在平面的区域作为所述安全区域。

本发明一些实施例中，所述处理器1602具体被配置为：

根据所述图像采集设备对应的原始坐标系中z轴的方向，以及标定的用于构建理想坐标系的z轴方向，确定用于将所述原始坐标系转换到所述理想坐标系的旋转矩阵；

根据所述原始坐标系以及确定出的旋转矩阵构建所述理想坐标系。

本发明一些实施例中，所述处理器1602具体被配置为：

通过目标检测算法获取用于检测被监测对象位置的目标检测框的中心点坐标和/或尺寸信息；

在所述通过目标检测算法确定所述被监测对象的位置之后，所述根据所述被监测对象的位置确定所述被监测对象在所述安全区域内，且所述被监测对象与所述安全区域的至少一个边界之间的距离小于预设阈值，则触发预警信息之前，所述处理器还被配置为：

根据所述目标检测框的尺寸信息确定所述预设阈值。

如图17所示，本发明实施例提供一种检测装置，包括：

分割模块1701，被配置为接收图像采集设备采集的包含与被监测对象关联的目标物体的待检测图像，并对所述待检测图像进行物体分割处理，得到所述待检测图像对应的用于表示所述待检测图像中各物体几何形状的深度图；

确定模块1702，被配置为从所述深度图中识别出所述目标物体对应的深度区域，并从所述目标物体对应的深度区域中确定安全区域；

检测模块1703，被配置为通过目标检测算法确定所述被监测对象的位置，若根据所述被监测对象的位置确定所述被监测对象在所述安全区域内，且所述被监测对象与所述安全区域的至少一个边界之间的距离小于预设阈值，则触发预警信息。

本发明一些实施例中，所述分割模块1701具体被配置为：

将所述待检测图像输入到已训练的实时语义分割模型中，获取所述已训练的实时语义分割模型输出的所述待检测图像对应的深度图的像素类别矩阵；

根据所述像素类别矩阵确定所述待检测图像对应的深度图；

其中，所述已训练的实时语义分割模型是根据NYUv2数据集通过实时语义分割算法训练得到的。

本发明一些实施例中，所述确定模块1702具体被配置为：

将所述深度图中出除所述目标物体以外的其它物体的像素值设置为预设值，从所述深度图中提取出所述目标物体对应的深度区域。

本发明一些实施例中，所述确定模块1702具体被配置为：

采用三维测量技术测量所述深度图中所述目标物体的轮廓参数，根据所述深度图中所述目标物体的轮廓参数确定用于构建所述深度图对应的理想坐标系的坐标原点；以及

在采用三维测量技术测量所述深度图中所述目标物体的轮廓参数的过程中，标定用于构建理想坐标系的z轴方向；

根据确定出的坐标原点以及标定的z轴方向构建所述理想坐标系，并将所述目标物体对应的深度区域中位于所述理想坐标系的x、y轴所在平面的区域作为所述安全区域。

本发明一些实施例中，所述确定模块1702具体被配置为：

根据所述图像采集设备对应的原始坐标系中z轴的方向，以及标定的用于构建理想坐标系的z轴方向，确定用于将所述原始坐标系转换到所述理想坐标系的旋转矩阵；

根据所述原始坐标系以及确定出的旋转矩阵构建所述理想坐标系。

本发明一些实施例中，所述检测模块1703具体被配置为：

通过目标检测算法获取用于检测被监测对象位置的目标检测框的中心点坐标和/或尺寸信息；

在所述通过目标检测算法确定所述被监测对象的位置之后，所述根据所述被监测对象的位置确定所述被监测对象在所述安全区域内，且所述被监测对象与所述安全区域的至少一个边界之间的距离小于预设阈值，则触发预警信息之前，所述检测模块1703还被配置为：

根据所述目标检测框的尺寸信息确定所述预设阈值。

本发明实施例还提供一种计算机可存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种检测方法，其特征在于，该方法包括：

接收图像采集设备采集的包含与被监测对象关联的目标物体的待检测图像，并对所述待检测图像进行物体分割处理，得到所述待检测图像对应的用于表示所述待检测图像中各物体几何形状的深度图；

从所述深度图中识别出所述目标物体对应的深度区域，并从所述目标物体对应的深度区域中确定安全区域；其中，所述从所述目标物体对应的深度区域中确定安全区域，包括：采用三维测量技术测量所述深度图中所述目标物体的轮廓参数，根据所述深度图中所述目标物体的轮廓参数确定用于构建所述深度图对应的理想坐标系的坐标原点；以及在采用三维测量技术测量所述深度图中所述目标物体的轮廓参数的过程中，标定用于构建理想坐标系的z轴方向；根据确定出的坐标原点以及标定的z轴方向构建所述理想坐标系，并将所述目标物体对应的深度区域中位于所述理想坐标系的x、y轴所在平面的区域作为所述安全区域；

通过目标检测算法确定所述被监测对象的位置，若根据所述被监测对象的位置确定所述被监测对象在所述安全区域内，且所述被监测对象与所述安全区域的至少一个边界之间的距离小于预设阈值，则触发预警信息。

2.如权利要求1所述的方法，其特征在于，所述对所述待检测图像进行物体分割处理，得到所述待检测图像对应的用于表示所述待检测图像中各物体几何形状的深度图，包括：

将所述待检测图像输入到已训练的实时语义分割模型中，获取所述已训练的实时语义分割模型输出的所述待检测图像对应的深度图的像素类别矩阵；

根据所述像素类别矩阵确定所述待检测图像对应的深度图；

其中，所述已训练的实时语义分割模型是根据NYUv2数据集通过实时语义分割算法训练得到的。

3.如权利要求1所述的方法，其特征在于，所述从所述深度图中识别出所述目标物体对应的深度区域，包括：

将所述深度图中除所述目标物体以外的其它物体的像素值设置为预设值，从所述深度图中提取出所述目标物体对应的深度区域。

4.如权利要求1所述的方法，其特征在于，所述根据确定出的坐标原点以及标定的z轴方向构建所述理想坐标系，包括：

根据所述图像采集设备对应的原始坐标系中z轴的方向，以及标定的用于构建理想坐标系的z轴方向，确定用于将所述原始坐标系转换到所述理想坐标系的旋转矩阵；

根据所述原始坐标系以及确定出的旋转矩阵构建所述理想坐标系。

5.如权利要求1所述的方法，其特征在于，所述通过目标检测算法确定所述被监测对象的位置，包括：

通过目标检测算法获取用于检测被监测对象位置的目标检测框的中心点坐标和/或尺寸信息；

在所述通过目标检测算法确定所述被监测对象的位置之后，所述根据所述被监测对象的位置确定所述被监测对象在所述安全区域内，且所述被监测对象与所述安全区域的至少一个边界之间的距离小于预设阈值，则触发预警信息之前，还包括：

根据所述目标检测框的尺寸信息确定所述预设阈值。

6.一种检测设备，其特征在于，包括存储器和处理器；

其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器被配置为执行权利要求1～5任一所述的检测方法。

7.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1～5任一所述的检测方法。

Images