具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1为本申请实施例提供一种设备监测系统的场景示意图,该设备监测系统可以包括多个前端设备11和服务器12,前端设备11之间、服务器12之间、以及前端设备11和服务器12之间通过网络或者网关连接通信,不再赘述,其中:
前端设备11包括但不局限于嵌入式高清摄像机、高清相机、移动终端、具有摄像功能的穿戴设备、具有摄像功能的平板电脑、具有摄像功能的个人计算机等,用于对待监测设备和载体进行摄像。
服务器12包括本地服务器和/或远程服务器,该服务器12可以是独立的服务器,也可以是服务器组成的服务器网络或者服务器集群,例如,本申请实施例所描述的服务器12,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。
服务器12接收前端设备发送的待处理图像;根据所述待处理图像以及第一分割模型,确定所述载体与所述待监测设备结合的目标边缘部分;根据所述待处理图像以及第二分割模型,确定所述待监测设备的标准坐标点,并根据所述标准坐标点和所述目标边缘部分,确定所述待监测设备的标准坐标线;根据所述待处理图像、所述标准坐标线以及第三分割模型,确定所述标准坐标线上的标准坐标参数,并根据所述标准坐标参数以及所述目标边缘部分,确定所述待监测设备的位置信息;根据多个待处理图像中所述待监测设备的多个位置信息、各待处理图像对应的时间信息以及转换模型,确定所述待监测设备与所述载体的相对速度。
需要说明的是,图1所示的系统场景示意图是一个示例,本申请实施例描述的服务器以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样使用,以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
图2为本申请实施例提供的设备监测方法的第一种流程示意图,请参阅图2,该设备监测方法包括以下步骤:
201:接收前端设备发送的待处理图像;所述待处理图像包括待监测设备和与待监测设备结合的载体。
在一种实施例中,为了对待监测设备的工作过程进行监测,需要对待监测设备和载体的工作过程进行照片或者视频采集,则可以通过前端设备对待监测设备和载体进行拍照或者摄像,从而得到待监测设备和载体对应的视频数据或者照片数据,即得到待处理图像。在得到待监测设备和载体对应的待处理图像后,前端设备可以存储待处理图像或者直接将待处理图像发送至服务器存储。
在一种实施例中,服务器接收前端设备发送的待处理图像,可以是服务器与前端设备通信后从前端设备获取待处理图像,也可以是前端设备在采集图像后自动发送待处理图像至前端设备。
在本申请实施例中,每一待处理图像包括视频数据分割的单张图像、也可以是视频数据分割的动态图像;待处理图像可以是经过预处理的图像,例如图像的放大、缩小、图像的对比度的调节等,也可以是原图像。
在一种实施例中,待监测设备包括肠镜。
在一种实施例中,载体包括人体、人体模型。
202:根据待处理图像以及第一分割模型,确定载体与待监测设备结合的目标边缘部分。
在一种实施例中,第一分割模型指识别载体与待监测设备结合的目标边缘部分的模型,该模型可以通过深度学习获取,在输入待处理图像后,通过第一分割模型可以从待处理图像中确定载体的图像,并在载体的图像中确定载体与待监测设备结合的目标边缘部分。
具体的,以肠镜进行检查为例,考虑到肠镜的工作过程中由退镜时肠镜的实际移动速度决定肠镜的实际检查效果,则需要判断肠镜的各部分在人体内的停留时间,从而可以判断对人体的各个部分的检查效果。因此,通过确定载体与待监测设备结合的目标边缘部分,则可以根据该目标边缘部分来确定待监测设备的移动速度,以肠镜为例,则可以判断肠镜与人体的相对速度;此时目标边缘部分指人体上与肠镜结合的边缘,即人体未与肠镜结合的部分和人体与肠镜结合的部分的交界部分。
在一种实施例中,在所述根据该所述待处理图像以及所述第一分割模型,确定所述载体与所述待监测设备结合的目标边缘部分的步骤之前,还包括:获取参考视频数据;所述参考视频数据包括参考载体与参考设备结合的参考边缘部分;获取第一初始分割模型,并根据所述第一初始分割模型和所述参考视频数据,确定所述参考视频数据中初始边缘部分;根据所述初始边缘部分和所述参考边缘部分,对所述第一初始分割模型进行修正,确定所述第一分割模型。
具体的,在使用第一分割模型对目标边缘部分进行识别前,需要训练第一初始分割模型才能得到深度学习后的第一分割模型,以准确判断载体与待监测设备结合的目标边缘部分。具体通过采用参考视频数据进行训练,并比对参考边缘部分和第一初始分割模型确定的初始边缘部分,从而在初始边缘部分与参考边缘部分存在差别时,对第一初始分割模型进行修正得到第一分割模型。
在一种实施例中,为了提高第一分割模型对目标边缘部分的准确性,可以对图像进行放大处理,此步骤包括:根据所述待处理图像以及所述第一分割模型,对所述待处理图像中所述载体与所述待监测设备结合的部分进行放大处理,从所述载体中确定所述载体与所述待监测设备结合的目标边缘部分。
具体的,在获取到待处理图像后,在需要采用第一分割模型确定载体与待监测设备结合的目标边缘部分时,可以对待处理图像进行处理,通过第一分割模型识别载体,并对载体与待监测设备结合的部分进行放大处理,则可以准确找到载体与待监测设备结合的目标边缘部分,从而准确定待监测设备与载体的相对速度。
具体的,在对第一初始分割模型进行训练时,也可以是第一初始分割模型首先识别载体,对载体与待监测设备结合的部分进行放大,然后确定参考视频数据中的初始边缘部分,从而可以在训练时进行使第一初始分割模型预先确定载体的部分以及需要进行放大的程度,从而在后续采用第一分割模型进行处理时,能够准确找到载体与待监测设备结合的目标边缘部分。
具体的,例如在图像放大过大或者过小时,均会导致识别准确率降低,因此,在对第一初始分割模型进行训练时,同时可以确定需要对图像的放大程度,从而使得第一分割模型确定的载体与待监测设备结合的目标边缘部分更加准确。
在一种实施例中,所述根据所述待处理图像以及所述第一分割模型,确定所述载体与所述待监测设备结合的目标边缘部分的步骤,包括:根据所述待处理图像以及所述第一分割模型,确定所述载体的图像;根据所述载体的图像以及所述待处理图像,查找位于所述载体外的待监测设备;在查找到所述载体外的待监测设备时,确定所述载体与所述待监测设备的交界区域;根据所述载体的图像以及所述载体与所述待监测设备的交界区域,确定所述载体与所述待监测设备结合的目标边缘部分。
具体的,在使用第一分割模型确定载体与待监测设备的目标边缘部分时,由于载体的特征与待监测设备的特征不同,因此,可以先确定载体的图像,然后从载体的图像向外找到待监测设备,则可以在找到待监测设备后,确定载体和待监测设备的交界区域,为了进一步准确找到载体和待监测设备结合的目标边缘部分,则可以放大交界区域的图像,从而准确确定载体和待监测设备结合的目标边缘部分。
203:根据待处理图像以及第二分割模型,确定待监测设备的标准坐标点,并根据标准坐标点和目标边缘部分,确定待监测设备的标准坐标线。
在本申请实施例中,在待处理图像中均包括载体与待监测设备结合的目标边缘部分时,第二分割模型处理的待处理图像为所有的待处理图像,在待处理图像中部分图像包括载体与待监测设备结合的目标边缘部分时,第二分割模型处理的待处理图像为包括载体与待监测设备结合的目标边缘部分的待处理图像,从而避免对无目标边缘部分的待处理图像进行处理,提高效率。
在一种实施例中,在待监测设备与载体结合时,由于待监测设备会存在弯曲部分,因此按照垂直距离来判断待监测设备的移动距离并不准确。本申请通过确定待监测设备的标准坐标点,并根据标准坐标点和目标边缘部分,确定待监测设备的标准坐标线,从而可以准确监测待监测设备的移动距离,从而确定待监测设备的移动速度。
在一种实施例中,待监测设备的标准坐标点可以为待监测设备的中轴点,即位于待监测设备的中轴线上的点,相应的标准坐标线为待监测设备的中轴线。以肠镜为例,肠镜会存在弯曲的部分,而肠镜在人体内实际的移动距离以肠镜的中轴线的长度为标准较为准确,因此需要先判断肠镜的中轴点,然后确定肠镜的中轴线,从而可以准确判断肠镜实际的移动距离。
如图3所示,以载体为人体31、待监测设备为肠镜32为例,在通过待处理图像和第二分割模型确定人体31和肠镜32结合的目标边缘部分311后,根据第二分割模型,确定肠镜32的标准坐标点321,然后根据标准坐标点321和目标边缘部分311,确定肠镜的标准坐标线322。
具体的,确定标准坐标点的方式包括采用几何建模的横径测量法确定标准坐标点,或者通过Andrew凸包算法和旋转卡壳法得到标准坐标点。
具体的,可以通过第二分割模型从待处理图像中分割出肠镜的图像,并通过将该图像进行二值化,然后得到轮廓图,然后获取标准坐标点,得到标准坐标线。
在一种实施例中,在根据所述待处理图像以及第二分割模型,确定所述待监测设备的标准坐标点,并根据所述标准坐标点和所述目标边缘部分,确定所述待监测设备的标准坐标线的步骤之前,还包括:获取第二初始分割模型;获取所述参考视频数据中包含参考载体与参考设备结合的参考边缘部分的第一参考图像数据;所述第一参考图像数据包括参考坐标点和参考坐标线;根据第一参考图像数据以及所述第二初始分割模型,确定所述参考设备的初始坐标点,并根据所述初始坐标点和所述参考边缘部分,确定所述参考设备的初始坐标线;根据所述初始坐标点、初始坐标线、参考坐标点和参考坐标线,对所述第二初始分割模型进行修正,确定所述第二分割模型。
具体的,在采用第二分割模型处理待处理图像前,需要线先对第二初始分割模型进行训练,为了提高训练的效率,直接训责具有参考载体和参考设备结合的参考边缘部分的第一参考图像数据进行训练,通过采用第一参考图像数据以及第二初始分割模型,得到初始坐标点以及初始坐标线,然后比对初始坐标点、初始坐标线、参考坐标点和参考坐标线,对第二初始分割模型进行修正,则可以得到训练后的第二分割模型。
在一种实施例中,所述根据所述待处理图像以及第二分割模型,确定所述待监测设备的标准坐标点,并根据所述标准坐标点和所述目标边缘部分,确定所述待监测设备的标准坐标线的步骤,包括:根据所述待处理图像以及第二分割模型,确定所述待监测设备的两个侧边;根据所述待监测设备的两个侧边以及所述第二分割模型,确定所述待监测设备的两个侧边中的平行部分;根据各平行部分以及所述第二分割模型,确定所述待监测设备的标准坐标点;根据所述标准坐标点和所述目标边缘部分,确定所述待监测设备的标准坐标线。
具体的,以图3为例,根据待处理图像和第二分割模型,确定肠镜32的两个侧边,则可以根据肠镜32的两个侧边和第二分割模型,确定两个侧边中多个平行部分,即多段平行的部分,然后根据平行部分以及第二分割模型,确定肠镜的标准坐标点321(图3中示出了3个标准坐标点),例如图3中肠镜32存在三段平行部分,则对三段平行部分分别处理得到多个标准坐标点,而此时确定了目标边缘部分,则可以根据多个标准坐标点和目标边缘部分,确定待监测设备的标准坐标线。
在一种实施例中,所述根据各平行部分以及所述第二分割模型,确定所述待监测设备的标准坐标点的步骤,包括:根据各平行部分以及第二分割模型,确定各平行部分的垂线;根据所平行部分的垂线以及所述第二分割模型,确定各垂线的中点;根据各垂线的中点确定所述待监测设备的标准坐标点。
具体的,确定标准坐标点的方式包括通过确定两个侧边的平行部分的垂线,并通过第二分割模型确定该垂线的中点,将该垂线的中点作为标准坐标点,然后将标准坐标点连接并连接至目标边缘部分,确定标准坐标线。
204:根据待处理图像、标准坐标线以及第三分割模型,确定标准坐标线上的标准坐标参数,并根据标准坐标参数以及目标边缘部分,确定待监测设备的位置信息。
在一种实施例中,在确定标准坐标线后,还需要确定标准坐标参数后才能确定待监测设备的位置,从而确定待监测设备的移动距离,因此,采用第三分割模型确定标准坐标参数,从而确定待监测设备的位置信息。
具体的,标准坐标参数为刻度值,此处以标准坐标参数会设置在标准坐标线侧为例进行说明,在标准坐标参数不在标准坐标线侧时,由于确定的待监测设备的移动距离是通过两个坐标确定,因此,只要标准坐标参数的标准准确,仍然可以通过标准坐标线和标准坐标参数确定准确的移动距离。
在一种实施例中,在所述根据所述待处理图像、所述标准坐标线以及第三分割模型,确定所述标准坐标线上的标准坐标参数,并根据所述标准坐标参数以及所述目标边缘部分,确定所述待监测设备的位置信息的步骤之前,还包括:获取第三初始分割模型;获取所述第一参考图像数据中包含参考坐标点和参考坐标线的第二参考图像数据;所述第二参考图像数据包括参考设备的参考位置信息;根据所述第二参考图像数据、所述参考坐标线以及所述第三初始分割模型,确定所述参考坐标线上的初始坐标参数,并根据所述初始坐标参数以及所述参考边缘部分,确定所述参考设备的初始位置信息;根据所述初始位置信息和所述参考位置信息,对所述第三初始分割模型进行修正,确定第三分割模型。
具体的,在使用第三分割模型处理待处理图像前,先对第三初始分割模型进行训练得到深度学习后的第三分割模型。同时为了提高训练的速度,直接选择包含参考坐标点和参考坐标线的第二参考图像数据进行训练,同时,可以训练对第二参考图像数据的放大程度,例如待监测设备上的坐标参数难以看清,可以对该区域进行放大一定程度,从而便于查看,使得训练后的第三分割模型能够较好的处理第三初始分割模型,得到准确的标准坐标参数。
在一种实施例中,所述根据所述待处理图像、所述标准坐标线以及第三分割模型,确定所述标准坐标线上的标准坐标参数,并根据所述标准坐标参数以及所述目标边缘部分,确定所述待监测设备的位置信息的步骤,包括:根据所述待处理图像、所述标准坐标线以及第三分割模型,确定所述标准坐标线上的标准坐标参数;在所述标准坐标线存在多个标准坐标参数时,根据所述目标边缘部分,确定各标准坐标参数与所述目标边缘部分的距离;从各标准坐标参数中选择与所述目标边缘部分距离最近的标准坐标参数,根据与所述目标边缘部分距离最近的标准坐标参数以及目标边缘部分,确定所述待监测设备的位置信息。
具体的,以图3为例,在通过第一分割模型和第二分割模型确定目标边缘部分311、肠镜32的标准坐标线322后,通过第三分割模型对待处理图像进行分割,分割出肠镜32的图像并可以进行放大处理,从而确定标准坐标线322上的标准坐标参数(例如图3中的坐标a和坐标b),然后采用第三分割模型确定每一标准坐标参数与目标边缘部分的距离,例如在图3中,标准坐标参数a与目标边缘部分311的距离为c,标准坐标参数b与目标边缘部分311的距离为d,由于c小于d,则可以确定与目标边缘部分距离最近的标准坐标参数为a,然后根据标准坐标参数以及目标边缘部分,确定待监测设备的位置信息,例如确定此时肠镜的标准坐标参数a距离目标边缘部分的距离为c,并记录上述数据。
205:根据多个待处理图像中待监测设备的多个位置信息、各待处理图像对应的时间信息以及转换模型,确定待监测设备与载体的相对速度。
在一种实施例中,转换模型可以将第一分割模型、第二分割模型、第三分割模型确定的数值转换为文本,从而便于确定待监测设备与载体的相对速度。
在一种实施例中,在使用转换模型确定待监测设备和载体的相对速度时,需要先对转换模型进行训练,得到训练后的转换模型,具体的,获取初始转换模型;获取所述第二参考图像数据中包含参考设备的参考位置信息的第三参考图像数据;所述第三参考图像数据包括参考设备的参考相对速度;根据所述多个第三参考图像数据中第三参考图像数据的多个参考位置信息、各第三参考图像数据对应的参考时间信息以及初始转换模型,确定所述参考设备与所述载体的初始相对速度;根据所述初始相对速度和所述参考相对速度,对所述初始转换模型进行修正,确定转换模型。
具体的,参考视频数据中的参考边缘部分、参考坐标点、参考坐标线、参考位置信息均可以通过人工标定。
在一种实施例中,各待处理图像对应的时间信息可以是通过转换模型从待处理图像上获取,也可以是从视频数据对应的数据中获取。
在一种实施例中,所述根据多个待处理图像中所述待监测设备的多个位置信息、各待处理图像对应的时间信息以及转换模型,确定所述待监测设备与所述载体的相对速度的步骤,包括:根据多个待处理图像中所述待监测设备的多个位置信息,确定所述待监测设备的相邻位置信息;根据所述待监测设备的相邻位置信息、所述待处理图像中包含相邻位置信息的各待处理图像的时间信息以及转换模型,确定所述待监测设备与所述载体的相对速度。
具体的,以图3为例,假设a为30厘米刻度值,b为40厘米刻度值,这时会存在两种情况:
一种情况为30厘米至40厘米刻度值之间的退镜速度已经确定,则需要根据具有20厘米刻度值的画面来确定肠镜的退镜速度,具体的,可以通过根据30厘米刻度值时肠镜的位置信息以及相邻的20厘米刻度值的位置信息,以及这两个位置信息对应的时间信息和转换模型,确定肠镜与载体的相对速度,即肠镜的退镜速度,此时,也会存在两种情况:
一种情况为30厘米刻度值时肠镜的位置信息与20厘米刻度值的位置信息相同,即30厘米刻度值距离目标边缘部分的距离为c,20厘米刻度值距离目标边缘部分的距离也为c,两者出现的时间差距为30秒,则可以确定30厘米刻度值至20厘米刻度值这一时间段的平均退镜速度为20厘米/分钟。
一种情况是30厘米刻度值时肠镜的位置信息与20厘米刻度值的位置信息不同,即30厘米刻度值距离目标边缘部分的距离为c,20厘米刻度值距离目标边缘部分的距离不为c,两者出现的时间差距为30秒,则此时需要查找其他刻度值,通过大量的刻度值的方式确定同一距离上的两个刻度值,然后根据时间确定平均退镜速度。
上述两种情况分别可以通过增加图像数量和刻度数量准确确定退镜速度。
另一种情况是30厘米至40厘米刻度值之间的退镜速度还未确定,没有30厘米和40厘米刻度值分别出现的两张画面,则可以根据30厘米刻度值和20厘米刻度值之间的退镜速度、40厘米刻度值与20厘米刻度值之间的退镜速度以及时间确定30厘米至40厘米刻度值之间的退镜速度。
具体的,在这一情况下,考虑到30厘米刻度值至40厘米刻度值的退镜速度过快,则可以直接判定退镜过快以进行处理,无需准确确定退镜速度。
根据上述实施例可知,本申请实施例通过在获取到待监测设备和载体的待处理图像后,通过第一分割模型、第二分割模型、第三分割模型和转换模型确定待监测设备与载体的相对速度,从而可以对待监测设备的速度进行监测,以肠镜为例,可以监测肠镜的退镜速度,从而根据退镜速度对执行的医师进行提醒或者监管,以提高肠镜检测的效果。
具体的,例如在监测到30厘米刻度值至20厘米刻度值时肠镜的退镜速度较快,可以通过提示的方式告知医师,以便于及时降低退镜速度,保证肠镜检查的效果。
本申请实施例提供一种设备监测方法,该设备监测方法通过在设备工作时,获取待监测设备的待处理图像,例如肠镜工作的待处理图像,则可以通过待处理图像以及第一分割模型、第二分割模型和第三分割模型,依次确定载体与待监测设备结合的目标边缘部分、待监测设备的标准坐标线、待监测设备的位置消息,则可以通过待监测设备在不同时间的位置消息以及转换模型,确定待监测设备与载体的相对速度,即在肠镜工作时,能够确定肠镜的退镜速度,且由于该方案通过肠镜的实际长度来确定肠镜的退镜速度,即使在肠镜退镜过程中存在晃动、冲水等干扰因素,仍然可以准确确定肠镜的退镜速度,实现了对肠镜检查过程的退镜速度的监管。
图4为本申请实施例提供的设备监测方法的第二种流程示意图,请参阅图4,该设备监测方法包括以下步骤:
401:接收前端设备发送的待处理图像;所述待处理图像包括肠镜和设置肠镜的人体。
具体的,通过摄像装置对人体进行检测的过程进行摄像,并得到待处理图像,使得待处理图像中包括肠镜和设置肠镜的人体。
402:根据待处理图像以及第一分割模型,确定人体上与肠镜结合的边缘部分。
具体的,在得到待处理图像后,首先可以分割该待处理图像得到人体的图像,然后根据人体与肠镜结合的部分确定人体的边缘部分,例如肠镜一般从人体臀部进入,则可以确定人体的臀部边缘。
403:根据待处理图像以及第二分割模型,确定肠镜的中轴点,并根据肠镜的中轴点和人体的边缘部分,确定肠镜的中轴线。
具体的,在确定人体与肠镜结合的边缘部分后,对待处理图像进行分割得到肠镜的图像,由于肠镜具有一定的宽度,确定肠镜的中轴点,然后连接肠镜的中轴点和人体的边缘部分,确定肠镜的中轴线。
404:根据待处理图像、中轴线以及第三分割模型,确定中轴线上的坐标值,并根据坐标值以及边缘部分,确定肠镜的位置信息。
具体的,在确定肠镜的中轴线后,分割得到肠镜的图像,并找到肠镜上的坐标值,根据肠镜上的坐标值找到与人体的边缘部分最接近的坐标值,确定肠镜的位置消息。
405:根据多个待处理图像中肠镜的多个位置信息、各待处理图像对应的事件消息以及转换模型,确定肠镜与人体的相对速度。
具体的,在确定肠镜的多个位置信息后,即可通过时间学习和位置学习以及转换模型确定肠镜的退镜速度,以判断肠镜的检查效果,并进行相应的处理。
相应的,图5为本申请实施例提供的设备监测装置的结构示意图;请参阅图5,该设备监测装置包括以下模块:
图像获取单元501,用于接收前端设备发送的待处理图像;所述待处理图像包括待监测设备和与待监测设备结合的载体;
第一目标检测单元502,用于根据所述待处理图像以及所述第一分割模型,确定所述载体与所述待监测设备结合的目标边缘部分;
第二目标检测单元503,用于根据所述待处理图像以及所述第二分割模型,确定所述待监测设备的标准坐标点,并根据所述标准坐标点和所述目标边缘部分,确定所述待监测设备的标准坐标线;
第三目标检测单元504,用于根据所述待处理图像、所述标准坐标线以及所述第三分割模型,确定所述标准坐标线上的标准坐标参数,并根据所述标准坐标参数以及所述目标边缘部分,确定所述待监测设备的位置信息;
分析单元505,用于根据多个待处理图像中所述待监测设备的多个位置信息、各待处理图像对应的时间信息以及转换模型,确定所述待监测设备与所述载体的相对速度。
在一种实施例中,设备监测装置还包括第一训练模块,第一训练模块用于获取参考视频数据;所述参考视频数据包括参考载体与参考设备结合的参考边缘部分;获取第一初始分割模型,并根据所述第一初始分割模型和所述参考视频数据,确定所述参考视频数据中初始边缘部分;根据所述初始边缘部分和所述参考边缘部分,对所述第一初始分割模型进行修正,确定所述第一分割模型。
在一种实施例中,设备监测装置还包括第二训练模块,第二训练模块用于获取第二初始分割模型;获取所述参考视频数据中包含参考载体与参考设备结合的参考边缘部分的第一参考图像数据;所述第一参考图像数据包括参考坐标点和参考坐标线;根据第一参考图像数据以及所述第二初始分割模型,确定所述参考设备的初始坐标点,并根据所述初始坐标点和所述参考边缘部分,确定所述参考设备的初始坐标线;根据所述初始坐标点、初始坐标线、参考坐标点和参考坐标线,对所述第二初始分割模型进行修正,确定所述第二分割模型。
在一种实施例中,设备监测装置还包括第三训练模块,第三训练模块用于获取第三初始分割模型;获取所述第一参考图像数据中包含参考坐标点和参考坐标线的第二参考图像数据;所述第二参考图像数据包括参考设备的参考位置信息;根据所述第二参考图像数据、所述参考坐标线以及所述第三初始分割模型,确定所述参考坐标线上的初始坐标参数,并根据所述初始坐标参数以及所述参考边缘部分,确定所述参考设备的初始位置信息;根据所述初始位置信息和所述参考位置信息,对所述第三初始分割模型进行修正,确定第三分割模型。
在一种实施例中,第一目标检测单元502用于根据所述待处理图像以及第一分割模型,确定所述载体的图像;根据所述载体的图像以及所述待处理图像,查找位于所述载体外的待监测设备;在查找到所述载体外的待监测设备时,确定所述载体与所述待监测设备的交界区域;根据所述载体的图像以及所述载体与所述待监测设备的交界区域,确定所述载体与所述待监测设备结合的目标边缘部分。
在一种实施例中,第二目标检测单元503用于根据所述待处理图像以及第二分割模型,确定所述待监测设备的两个侧边;根据所述待监测设备的两个侧边以及所述第二分割模型,确定所述待监测设备的两个侧边中的平行部分;根据各平行部分以及所述第二分割模型,确定所述待监测设备的标准坐标点;根据所述标准坐标点和所述目标边缘部分,确定所述待监测设备的标准坐标线。
在一种实施例中,第二目标检测单元503用于根据各平行部分以及第二分割模型,确定各平行部分的垂线;根据所平行部分的垂线以及所述第二分割模型,确定各垂线的中点;根据各垂线的中点确定所述待监测设备的标准坐标点。
在一种实施例中,第三目标检测单元504用于根据所述待处理图像、所述标准坐标线以及第三分割模型,确定所述标准坐标线上的标准坐标参数;在所述标准坐标线存在多个标准坐标参数时,根据所述目标边缘部分,确定各标准坐标参数与所述目标边缘部分的距离;从各标准坐标参数中选择与所述目标边缘部分距离最近的标准坐标参数,根据与所述目标边缘部分距离最近的标准坐标参数以及目标边缘部分,确定所述待监测设备的位置信息。
在一种实施例中,分析单元505用于根据多个待处理图像中所述待监测设备的多个位置信息,确定所述待监测设备的相邻位置信息;根据所述待监测设备的相邻位置信息、所述待处理图像中包含相邻位置信息的各待处理图像的时间信息以及转换模型,确定所述待监测设备与所述载体的相对速度。
相应的,本申请实施例还提供一种服务器,如图6所示,该服务器可以包括射频(RF,Radio Frequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(WiFi,WirelessFidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解,图6中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部分,或者不同的部件布置。其中:
RF电路601可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器608处理;另外,将涉及上行的数据发送给基站。存储器602可用于存储软件程序以及模块,处理器608通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及数据处理。输入单元603可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
服务器还可包括至少一种传感器605,比如光传感器、运动传感器以及其他传感器。音频电路606包括扬声器,扬声器可提供用户与服务器之间的音频接口。
WiFi属于短距离无线传输技术,服务器通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块607,但是可以理解的是,其并不属于服务器的必须构成,完全可以根据需要在不改变申请的本质的范围内而省略。
处理器608是服务器的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行服务器的各种功能和处理数据,从而对手机进行整体监控。
服务器还包括给各个部件供电的电源609(比如电池),优选的,电源可以通过电源管理系统与处理器608逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,服务器还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,服务器中的处理器608会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器608来运行存储在存储器602中的应用程序,从而实现以下功能:
接收前端设备发送的待处理图像;根据所述待处理图像以及第一分割模型,确定所述载体与所述待监测设备结合的目标边缘部分;根据所述待处理图像以及第二分割模型,确定所述待监测设备的标准坐标点,并根据所述标准坐标点和所述目标边缘部分,确定所述待监测设备的标准坐标线;根据所述待处理图像、所述标准坐标线以及第三分割模型,确定所述标准坐标线上的标准坐标参数,并根据所述标准坐标参数以及所述目标边缘部分,确定所述待监测设备的位置信息;根据多个待处理图像中所述待监测设备的多个位置信息、各待处理图像对应的时间信息以及转换模型,确定所述待监测设备与所述载体的相对速度。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文的详细描述,此处不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以实现以下功能:
接收前端设备发送的待处理图像;根据所述待处理图像以及第一分割模型,确定所述载体与所述待监测设备结合的目标边缘部分;根据所述待处理图像以及第二分割模型,确定所述待监测设备的标准坐标点,并根据所述标准坐标点和所述目标边缘部分,确定所述待监测设备的标准坐标线;根据所述待处理图像、所述标准坐标线以及第三分割模型,确定所述标准坐标线上的标准坐标参数,并根据所述标准坐标参数以及所述目标边缘部分,确定所述待监测设备的位置信息;根据多个待处理图像中所述待监测设备的多个位置信息、各待处理图像对应的时间信息以及转换模型,确定所述待监测设备与所述载体的相对速度。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种方法中的步骤,因此,可以实现本申请实施例所提供的任一种方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上对本申请实施例所提供的一种设备监测方法和设备监测装置、服务器和计算机刻度存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想;本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。