CN114821987B - 提醒方法、装置及终端设备 - Google Patents
提醒方法、装置及终端设备 Download PDFInfo
- Publication number
- CN114821987B CN114821987B CN202110062574.1A CN202110062574A CN114821987B CN 114821987 B CN114821987 B CN 114821987B CN 202110062574 A CN202110062574 A CN 202110062574A CN 114821987 B CN114821987 B CN 114821987B
- Authority
- CN
- China
- Prior art keywords
- position information
- dimensional position
- dimensional
- detected
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013507 mapping Methods 0.000 claims description 54
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 22
- 238000009434 installation Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 244000052616 bacterial pathogen Species 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
- G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于数据处理技术领域,提供了提醒方法、装置及终端设备,包括:获取待检测图像中的人员的二维位置信息;获取所述二维位置信息对应的三维位置信息;根据同一待检测图像中两个人员的三维位置信息计算所述两个人员的社交距离,若所述两个人员的社交距离小于预设的距离阈值,则发出提醒。通过上述方法,能够实现对参与社交的人员的准确提醒。
Description
技术领域
本申请属于数据处理技术领域,尤其涉及提醒方法、装置、终端设备及计算机可读存储介质。
背景技术
病菌会透过咳嗽和打喷嚏的方式传播,但其传播距离有限,因此当人与人之间的社交距离被足够拉开,病毒将无法在人与人之间横越,进而可以有效降低人员被病菌传染的概率。
目前,为了有效降低人们被病菌传染的概率,通常是由安保人员主动去告知参与社交的人们要保持社交距离,或者,通过语音循环播报的方式提醒人们要保持社交距离。由于通过安保人员主动告知的方式需要增加人工成本且难以及时对不同区域的参与社交的人们进行提醒,而循环语音播报的方式又难以实现准确提醒。
故,需要提供一种新的方法以解决上述技术问题。
发明内容
本申请实施例提供了提醒方法,可以解决现有方法难以对参与社交的人们进行及时、准确的提醒的问题。
第一方面,本申请实施例提供了一种提醒方法,包括:
获取待检测图像中的人员的二维位置信息;
获取所述二维位置信息对应的三维位置信息;
根据同一待检测图像中两个人员的三维位置信息计算所述两个人员的社交距离,若所述两个人员的社交距离小于预设的距离阈值,则发出提醒。
第二方面,本申请实施例提供了一种提醒装置,包括:
二维位置信息获取单元,用于获取待检测图像中的人员的二维位置信息;
三维位置信息获取单元,用于获取所述二维位置信息对应的三维位置信息;
提醒发出单元,用于根据同一待检测图像中两个人员的三维位置信息计算所述两个人员的社交距离,若所述两个人员的社交距离小于预设的距离阈值,则发出提醒。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面所述的方法。
本申请实施例与现有技术相比存在的有益效果是:
本申请实施例中,在获取待检测图像中的人员的位置信息之后,确定该位置信息对应的三维坐标,再根据同一待检测图像中的两个人员的三维坐标计算这两个人员的社交距离,也即,由于没有直接采用表示该位置信息的二维坐标进行社交距离的计算,而是采用二维坐标对应的三维坐标计算对应的社交距离,因此,使得计算的社交距离更准确,进而使得提醒更准确。同时,由于确定人员的位置信息的计算量以及确定对应社交距离的计算量较小,因此,确定是否发出提醒的时长较短,进而能够实现对参与社交的人员的及时提醒。在另一方面,由于只有在社交距离过小时才发出提醒,因此,能够实现对参与社交的人员的准确提醒。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请一实施例提供的一种提醒方法的流程图;
图2是本申请一实施例提供的一种人形的检测框的示意图;
图3是本申请一实施例提供的摄像机在高处的一种安装示意图;
图4是本申请一实施例提供的一种拍摄范围的投影示意图;
图5是本申请另一实施例提供的另一种拍摄范围的投影示意图;
图6是本申请一实施例提供的不同视角对应的投影范围的示意图;
图7是本申请实施例提供的另一种提醒方法的流程图;
图8是本申请实施例提供的一种待检测图像中3个人员的位置的示意图;
图9是本申请实施例提供的另一种待检测图像中3个人员的位置的示意图;
图10是本申请实施例提供的一种提醒装置的结构示意图;
图11是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
现有的社交距离提醒方法中,通常是由安保人员主动对社交距离较近的人员进行提醒,或者,由语音循环播报进行提醒。但由于安保人员不可能同时对不同区域的人员进行提醒,因此,存在提醒不及时的问题。而由于语音循环播报时只是机械循环播报,也即在语音循环播报时,可能并不存在社交距离较近的人员,因此语音循环播报存在提醒不准确的问题。
为了解决上述技术问题,本申请实施例提供了一种提醒方法,在该提醒方法中,获取待检测图像中的人员的位置信息后,确定该位置信息对应的三维坐标,进而根据同一待检测图像中的两个人员的三维坐标计算对应的社交距离,只有该社交距离小于预设的距离阈值,才发出提醒。由于确定人员的位置信息的计算量以及确定对应社交距离的计算量较小,因此,确定是否发出提醒的时长较短,进而能够实现对参与社交的人员的及时提醒。在另一方面,由于只有在社交距离过小时才发出提醒,因此,能够实现对参与社交的人员的准确提醒。
下面结合附图对本申请实施例提供的提醒方法进行描述。
图1示出了本申请实施例提供的一种提醒方法的流程图,详述如下:
步骤S11,获取待检测图像中的人员的二维位置信息。
其中,待检测图像可以是某一张RGB图像,也可以是视频流中的某一帧RGB图像。
本申请实施例中,终端设备(如摄像机、本地服务器、云端服务器等)获取待检测图像后,比如,若终端设备为本地服务器,则在本地服务器获取摄像机发送的待检测图像后,检测该待检测图像是否存在“人”,若存在,则确定该“人”的二维位置信息。其中,该二维位置信息是以待检测图像建立坐标系,并用二维坐标表示的“人”在待检测图像中的位置信息。
在一些实施例中,人员的二维位置信息可通过人形检测得到,此时,上述步骤S11包括:
A1、对待检测图像进行人形检测。
A2、若检测到人形,则根据上述人形的检测框的坐标确定人员的二维位置信息。
上述A1和A2中,终端设备可通过已训练的神经网络模型对待检测图像进行人形检测,若检测到人形,则该已训练的神经网络模型将输出该人形的检测框,终端设备根据该检测框的坐标确定人员的二维位置信息,若没有检测到人形,则继续对视频流的下一帧图像进行人形检测。如图2所示,图2示出了本申请实施例提供的一种人形的检测框的示意图。在图2中,加粗的虚线为人形的检测框。由于已训练的神经网络模型在进行人形检测后会输出检测框,因此,直接根据检测框的坐标确定人员的二维位置信息,无需再对人形进行其他检测,从而减少了计算量,并且,由于检测框的位置即为人员的位置,因此,根据检测框的坐标确定人员的二维位置信息也能保证得到的二维位置信息的准确性。
在一些实施例中,将人形的检测框中底下的那条边框线中的点的坐标作为人员的二维位置信息,如将图2中人员脚底下的黑点的坐标作为人员的二维位置信息。由于该黑点为检测框中底下的边框线中的点,也即,该黑点的坐标可以认为是人员踩在地面上的脚的坐标,因此,后续采用该黑点的坐标进行社交距离的计算时能够保证得到的社交距离的准确性。
步骤S12,获取上述二维位置信息对应的三维位置信息。
本实施例中,考虑到二维信息缺乏深度信息,因此,仅根据二维信息不能知道物体(如人员)距离摄像机多远,也不知道该物体是小的还是大的,因此,需要确定二维位置信息对应的包含深度信息的三维位置信息。
步骤S13,根据同一待检测图像中两个人员的三维位置信息计算上述两个人员的社交距离,若上述两个人员的社交距离小于预设的距离阈值,则发出提醒。
本实施例中,可对同一待检测图像中的任意两个人员进行社交距离的计算,或者,只对某些区域的任意两个人员进行社交距离的计算,或者,对特定的两个人员进行社交距离的计算等等。
本实施例中,当两个人员的社交距离过小时,则通过语音播报的方式发出提醒,比如,在摄像机旁边设置一个音箱,终端设备将提醒信息发送至该音箱播报。比如,在终端设备发出语音提醒。由于对社交距离过小的两个人员发出提醒,因此,有利于各个人员及时调整社交距离,从而降低被病菌传染的概率。
在一些实施例中,若在终端设备显示视频流,则在该视频流上显示两个人员的社交距离,例如,在视频流中的两个人员之间进行连线,该连线作为对应的社交距离,以将该社交距离可视化。进一步地,在该连线旁边显示社交距离对应的数值,以便管理员查看。当该连线指示的社交距离小于预设的距离阈值时,该连线采用鲜艳的颜色,如采用红色显示,以达到提醒的目的;当该连线指示的社交距离大于或等于预设的距离阈值时,该连线采用非鲜艳的颜色(比如黑色、棕色等)显示。由于采用不同颜色区分存在风险的社交距离和不存在风险的社交距离,因此,便于管理员快速、直观地判断出哪些人员需要重点关注、提醒,从而进一步降低参与社交的人员被病菌感染的风险。
本申请实施例中,在获取待检测图像中的人员的位置信息之后,确定该位置信息对应的三维坐标,再根据同一待检测图像中的两个人员的三维坐标计算这两个人员的社交距离,也即,由于没有直接采用表示该位置信息的二维坐标进行社交距离的计算,而是采用二维坐标对应的三维坐标计算对应的社交距离,因此,使得计算的社交距离更准确,进而使得提醒更准确。同时,由于确定人员的位置信息的计算量以及确定对应社交距离的计算量较小,因此,确定是否发出提醒的时长较短,进而能够实现对参与社交的人员的及时提醒。在另一方面,由于只有在社交距离过小时才发出提醒,因此,能够实现对参与社交的人员的准确提醒。
在一些实施例中,在确定出二维位置信息之后再计算对应的三维位置信息,此时,上述步骤S12,包括:
根据上述待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系,获取上述二维位置信息对应的三维位置信息。
本实施例中,上述的实际场景为摄像机拍摄的场景,当摄像机对实际场景进行拍摄后,得到待检测图像。由于公共场所的摄像机的位置通常是固定的,也即,待检测图像与实际场景的映射关系也是固定的,因此,可以预先确定摄像机拍摄得到的图像中的二维坐标与实际场景的三维坐标的映射关系,这样,当终端设备获取到待检测图像后,再根据该映射关系确定该待检测图像中的二维位置信息对应的三维位置信息。
在一些实施例中,上述的映射关系通过以下方式确定,即在上述根据上述待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系,获取上述二维位置信息对应的三维位置信息之前,包括:
B1、根据得到上述待检测图像的摄像机的焦距、安装高度以及视角确定上述摄像机的拍摄范围。
具体地,考虑到摄像机通常是安装在高处进行拍摄,如图3所示,因此,这里的视角通常指摄像机的俯角。
B2、计算上述摄像机的拍摄范围从三维投影到二维的映射关系,上述映射关系为待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系。
当安装高度不同时,同一摄像机的拍摄范围也不同,故,为了保证得到合适的拍摄范围,需要对安装高度进行调整。如图4所示,在图4中的黑色点为摄像机,左边的正方体为实际场景,右边的椭圆为摄像机的拍摄范围的二维投影,椭圆内的梯形为实际场景被摄像机拍摄到的范围的二维投影,在图4中,假设摄像机的安装高度为5米,则该摄像机的能够拍摄的实际场景的二维投影为10米*10米。当摄像机的安装高度变为2米时,则实际场景与对应的拍摄范围的示意图如图5所示。在图5中,右边图中,在椭圆之外的梯形的范围为没有拍摄到的实际场景所对应的二维投影。对同一摄像机来说,当该摄像机的视角不同时,相当于根据该摄像机的视角对得到的拍摄范围进行相应角度的旋转,如图6所示,故,对同一摄像机来说,在确定出待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系之后,若摄像机的视角发生改变,则可根据改变后的视角以及已得到的映射关系快速确定新的映射关系。
上述B1和B2中,由于摄像机的拍摄范围考虑到该摄像机的焦距、安装高度和视角,因此,能够提高得到的拍摄范围的准确性。
在一些实施例中,考虑到拍摄范围可能存在不需要进行投影计算的范围,因此,为了提高得到映射关系的速度,则先从拍摄范围中划分出待投影空间之后,再计算该投影空间从三维投影到二维所对应的映射关系,此时,上述步骤B2,包括:
从上述摄像机的拍摄范围中确定出待投影空间,计算上述待投影空间从三维投影到二维的映射关系。
本实施例中,由于待投影空间是从拍摄范围划分得到,也即待投影空间的大小小于拍摄范围的大小,因此,在计算待投影空间从三维投影到二维的映射关系时,其所需的计算量小于直接计算拍摄范围从三维投影到二维的映射关系所需的计算量,进而有利于提高得到映射关系的速度。
在一些实施例中,由于摄像机的拍摄范围通常是固定的,因此,可预先确定不同二维位置信息对应的三维位置信息,此时,上述步骤S12,包括:
在预设的坐标映射表中查找与上述二维位置信息对应的三维位置信息,上述预设的坐标映射表用于对应存储上述待检测图像的二维位置信息和上述三维位置信息。
本实施例中,当获取到二维位置信息之后,可从预设的坐标映射表中直接查找与该二维位置信息对应的三维位置信息,也即,一旦二维位置信息确定,即可快速确定出对应的三维位置信息,从而提高得到三维位置信息的速度。需要指出的是,与二维位置信息对应的三维位置信息可根据上述的映射关系计算得到。
图7示出了本申请实施例提供的另一种提醒方法的流程图,在本实施例中,主要对上述的步骤S13进行细化,详述如下:
步骤S71,获取待检测图像中的人员的二维位置信息。
在一些实施例中,由于相邻图像帧中人员的位置变化较小,因此,为了减少社交距离的计算量,则在步骤S71之前,包括:
将按照预设间隔时长从视频帧中选取的图像帧作为待检测图像。
本实施例中,可根据摄像机的帧率设置预设间隔时长,例如,当摄像机的帧率越大,则预设间隔时长越小,否则,预设间隔时长越大。当然,为了避免对人员进行漏检,则预设间隔时长应小于2秒。由于没有对视频流中的每一个图像帧进行检测,因此减少了需检测的人员的计算量。
在一些实施例中,考虑到病菌在室内区域和室外区域的传播有区别,则上述预设间隔时长根据以下方式确定:
根据得到上述视频帧的摄像机的帧率和上述摄像机的安装区域确定上述预设间隔时长。
本实施例中,可对安装区域和摄像机的帧率设置不同的权重,并根据该权重确定预设间隔时长。进一步地,若都为室外区域,但人流量不同时,人流量大的室外区域对应的权重小于人流量小的室外区域对应的权重,即当安装区域和摄像机的帧率较小时,得到的预设间隔时长也较小,进而能够提取到更多的待检测图像,以为后续的社交距离计算做准备。也即对于人流量大的安装区域,设置更小的预设间隔时长,以降低人员被病菌传染的概率。
步骤S72,获取上述二维位置信息对应的三维位置信息。
步骤S73,若同一待检测图像中存在至少M个人员,则根据第一目标人员和第二目标人员分别对应的三维位置信息计算上述第一目标人员和第二目标人员的社交距离,其中,M为大于或等于3的整数,第一目标人员和第二目标人员为从上述至少3个人员中选取的任意的2个人员。
具体地,假设第一目标人员的三维坐标为(x1,y1,z1),第二目标人员的三维坐标为(x2,y2,z2),则第一目标人员和第二目标人员的社交距离d为:
步骤S74,将上述社交距离与预设的距离阈值比较。
步骤S75,若上述社交距离小于预设的距离阈值,则发出提醒。
步骤S76,从M个人员中选取需要参与社交距离计算的人员,根据该被选取的人员的三维位置信息和上一次参与社交距离计算的2个目标人员的三维位置信息,分别计算该被选取的人员和上一次参与社交距离计算的2个目标人员之间的社交距离,之后,返回步骤S74以及后续步骤,直到M个人员均被选取过。
步骤S77,若上述社交距离不小于上述预设的距离阈值,则不发出提醒。
步骤S78,从M个人员中选取需要参与社交距离计算的人员,若被选取的人员处于上一次参与社交距离计算的2个目标人员的连线之外,则不计算该被选取的人员和远离该被选取的人员的目标人员之间的社交距离,但根据该被选取的人员的三维位置信息和靠近该被选取的人员的目标人员的三维位置信息,计算该被选取的人员和靠近该被选取的人员的目标人员之间的社交距离;若被选取的人员处于上一次参与社交距离计算的2个目标人员的连线之内,则根据该被选取的人员的三维位置信息和上一次参与社交距离计算的2个目标人员的三维位置信息,分别计算该被选取的人员和上一次参与社交距离计算的2个目标人员之间的社交距离,之后,返回步骤S74以及后续步骤,直到M个人员均被选取过。
其中,没有经过选取的人员均为需要参与社交距离计算的人员,而经过选取但经过判断不进行社交距离计算的人员为不需要参与社交距离计算的人员。
如图8所示,假设待检测图像A中存在3个人员,人员C1、C2和C3,已计算C1和C2的社交距离,且该社交距离不小于预设的距离阈值,由于C3在C1和C2的连线之外,且靠近C2,因此,计算该C3和C2之间的社交距离,但不计算该C3和C1之间的社交距离,从而减少了计算量。
如图9所示,假设待检测图像A中存在3个人员,人员C1、C2和C3,已计算C1和C2的社交距离,且该社交距离不小于预设的距离阈值,由于C3在C1和C2的连线之内,因此,计算该C3和C2之间的社交距离,以及,计算该C3和C1之间的社交距离。
在一些实施例中,上述预设的距离阈值通过以下方式确定:
获取上述摄像机的安装区域,根据上述安装区域确定对应的距离阈值作为上述预设的距离阈值。
本实施例的安装区域是指室内区域、室外区域,且室外区域也可以根据人流量进行进一步地细分。考虑到病菌在不同区域的传播特性,可设置摄像机的在不同的安装区域对应不同的距离阈值。其中,室内区域对应的距离阈值小于室外区域对应的距离阈值,人流量大的区域对应的距离阈值小于人流量小的区域对应的距离阈值。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例上述的提醒方法,图10示出了本申请实施例提供的提醒装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图10,该提醒装置10可应用于终端设备中,包括:二维位置信息获取单元101、三维位置信息获取单元102、提醒发出单元103。其中:
二维位置信息获取单元101,用于获取待检测图像中的人员的二维位置信息。
在一些实施例中,上述二维位置信息获取单元101,包括:
人形检测模块,用于对待检测图像进行人形检测。
二维位置信息确定模块,用于若检测到人形,则根据上述人形的检测框的坐标确定人员的二维位置信息。
在一些实施例中,将人形的检测框中底下的那条边框线中的点的坐标作为人员的二维位置信息,如将图2中人员脚底下的黑点的坐标作为人员的二维位置信息。
三维位置信息获取单元102,用于获取上述二维位置信息对应的三维位置信息。
提醒发出单元103,用于根据同一待检测图像中两个人员的三维位置信息计算上述两个人员的社交距离,若上述两个人员的社交距离小于预设的距离阈值,则发出提醒。
在一些实施例中,若在终端设备显示视频流,则在该视频流上显示两个人员的社交距离,例如,在视频流中的两个人员之间进行连线,该连线作为对应的社交距离,以将该社交距离可视化。进一步地,在该连线旁边显示社交距离对应的数值,以便管理员查看。当该连线指示的社交距离小于预设的距离阈值时,该连线采用鲜艳的颜色,如采用红色显示,以达到提醒的目的;当该连线指示的社交距离大于或等于预设的距离阈值时,该连线采用非鲜艳的颜色(比如黑色、棕色等)显示。
本申请实施例中,在获取待检测图像中的人员的位置信息之后,确定该位置信息对应的三维坐标,再根据同一待检测图像中的两个人员的三维坐标计算这两个人员的社交距离,也即,由于没有直接采用表示该位置信息的二维坐标进行社交距离的计算,而是采用二维坐标对应的三维坐标计算对应的社交距离,因此,使得计算的社交距离更准确,进而使得提醒更准确。同时,由于确定人员的位置信息的计算量以及确定对应社交距离的计算量较小,因此,确定是否发出提醒的时长较短,进而能够实现对参与社交的人员的及时提醒。在另一方面,由于只有在社交距离过小时才发出提醒,因此,能够实现对参与社交的人员的准确提醒。
在一些实施例中,三维位置信息获取单元102,具体用于:
根据上述待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系,获取上述二维位置信息对应的三维位置信息。
在一些实施例中,该提醒装置10还包括:
拍摄范围确定单元,用于根据得到上述待检测图像的摄像机的焦距、安装高度以及视角确定上述摄像机的拍摄范围。
映射关系计算单元,用于计算上述摄像机的拍摄范围从三维投影到二维的映射关系,上述映射关系为待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系。
在一些实施例中,上述映射关系计算单元具体用于:
从上述摄像机的拍摄范围中确定出待投影空间,计算上述待投影空间从三维投影到二维的映射关系。
在一些实施例中,上述三维位置信息获取单元102,具体用于:
在预设的坐标映射表中查找与上述二维位置信息对应的三维位置信息,上述预设的坐标映射表用于对应存储上述待检测图像的二维位置信息和上述三维位置信息。
在一些实施例中,上述预设的距离阈值通过以下方式确定:
获取上述摄像机的安装区域,根据上述安装区域确定对应的距离阈值作为上述预设的距离阈值。
在一些实施例中,由于相邻图像帧中人员的位置变化较小,因此,为了减少社交距离的计算量,则该提醒装置10还包括:
待检测图像获取单元,用于将按照预设间隔时长从视频帧中选取的图像帧作为待检测图像。
本实施例中,可根据摄像机的帧率设置预设间隔时长,例如,当摄像机的帧率越大,则预设间隔时长越小,否则,预设间隔时长越大。当然,为了避免对人员进行漏检,则预设间隔时长应小于2秒。由于没有对视频流中的每一个图像帧进行检测,因此减少了需检测的人员的计算量。
在一些实施例中,考虑到病菌在室内区域和室外区域的传播有区别,则上述预设间隔时长根据以下方式确定:
根据得到上述视频帧的摄像机的帧率和上述摄像机的安装区域确定上述预设间隔时长。
本实施例中,可对安装区域和摄像机的帧率设置不同的权重,并根据该权重确定预设间隔时长。进一步地,若都为室外区域,但人流量不同时,人流量大的室外区域对应的权重小于人流量小的室外区域对应的权重,即当安装区域和摄像机的帧率较小时,得到的预设间隔时长也较小,进而能够提取到更多的待检测图像,以为后续的社交距离计算做准备。也即对于人流量大的安装区域,设置更小的预设间隔时长,以降低人员被病菌传染的概率。
在一些实施例中,提醒发出单元103还包括:
2个目标人员的社交距离计算模块,用于若同一待检测图像中存在至少M个人员,则根据第一目标人员和第二目标人员分别对应的三维位置信息计算上述第一目标人员和第二目标人员的社交距离,其中,M为大于或等于3的整数,第一目标人员和第二目标人员为从上述至少3个人员中选取的任意的2个人员。
社交距离比较模块,用于将上述社交距离与预设的距离阈值比较。
提醒模块,用于若上述社交距离小于预设的距离阈值,则发出提醒。
第一其他目标人员的社交距离计算模块,用于从M个人员中选取需要参与社交距离计算的人员,根据该被选取的人员的三维位置信息和上一次参与社交距离计算的2个目标人员的三维位置信息,分别计算该被选取的人员和上一次参与社交距离计算的2个目标人员之间的社交距离,之后,返回社交距离比较模块以及后续模块,直到M个人员均被选取过。
不提醒模块,用于若上述社交距离不小于上述预设的距离阈值,则不发出提醒。
第二其他目标人员的社交距离计算模块,用于从M个人员中选取需要参与社交距离计算的人员,若被选取的人员处于上一次参与社交距离计算的2个目标人员的连线之外,则不计算该被选取的人员和远离该被选取的人员的目标人员之间的社交距离,但根据该被选取的人员的三维位置信息和靠近该被选取的人员的目标人员的三维位置信息,计算该被选取的人员和靠近该被选取的人员的目标人员之间的社交距离;若被选取的人员处于上一次参与社交距离计算的2个目标人员的连线之内,则根据该被选取的人员的三维位置信息和上一次参与社交距离计算的2个目标人员的三维位置信息,分别计算该被选取的人员和上一次参与社交距离计算的2个目标人员之间的社交距离,之后,返回社交距离比较模块以及后续模块,直到M个人员均被选取过。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图11为本申请一实施例提供的终端设备的结构示意图。如图11所示,该实施例的终端设备11包括:至少一个处理器110(图11中仅示出一个处理器)、存储器111以及存储在上述存储器111中并可在上述至少一个处理器110上运行的计算机程序112,上述处理器110执行上述计算机程序112时实现上述任意各个方法实施例中的步骤:
获取待检测图像中的人员的二维位置信息;
获取上述二维位置信息对应的三维位置信息;
根据同一待检测图像中两个人员的三维位置信息计算上述两个人员的社交距离,若上述两个人员的社交距离小于预设的距离阈值,则发出提醒。
可选地,上述获取上述二维位置信息对应的三维位置信息,包括:
根据上述待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系,获取上述二维位置信息对应的三维位置信息。
可选地,在上述根据上述待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系,获取上述二维位置信息对应的三维位置信息之前,包括:
根据得到上述待检测图像的摄像机的焦距、安装高度以及视角确定上述摄像机的拍摄范围;
计算上述摄像机的拍摄范围从三维投影到二维的映射关系,上述映射关系为待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系。
可选地,上述计算上述摄像机的拍摄范围从三维投影到二维的映射关系,包括:
从上述摄像机的拍摄范围中确定出待投影空间,计算上述待投影空间从三维投影到二维的映射关系。
可选地,上述获取上述二维位置信息对应的三维位置信息,包括:
在预设的坐标映射表中查找与上述二维位置信息对应的三维位置信息,上述预设的坐标映射表用于对应存储上述待检测图像的二维位置信息和上述三维位置信息。
可选地,上述获取待检测图像中的人员的二维位置信息,包括:
对待检测图像进行人形检测;
若检测到人形,则根据上述人形的检测框的坐标确定人员的二维位置信息。
可选地,上述预设的距离阈值通过以下方式确定:
获取上述摄像机的安装区域,根据上述安装区域确定对应的距离阈值作为上述预设的距离阈值。
上述终端设备11可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器110、存储器111。本领域技术人员可以理解,图11仅仅是终端设备11的举例,并不构成对终端设备11的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器110可以是中央处理单元(Central Processing Unit,CPU),该处理器110还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器111在一些实施例中可以是所述终端设备11的内部存储单元,例如终端设备11的硬盘或内存。所述存储器111在另一些实施例中也可以是所述终端设备11的外部存储设备,例如所述终端设备11上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器111还可以既包括所述终端设备11的内部存储单元也包括外部存储设备。所述存储器111用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种网络设备,该网络设备包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (8)
1.一种提醒方法,其特征在于,包括:
获取待检测图像中的人员的二维位置信息;
获取所述二维位置信息对应的三维位置信息;
根据同一待检测图像中两个人员的三维位置信息计算所述两个人员的社交距离,若所述两个人员的社交距离小于预设的距离阈值,则发出提醒;
所述获取所述二维位置信息对应的三维位置信息,包括:
根据所述待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系,获取所述二维位置信息对应的三维位置信息;
在所述根据所述待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系,获取所述二维位置信息对应的三维位置信息之前,包括:
根据得到所述待检测图像的摄像机的焦距、安装高度以及视角确定所述摄像机的拍摄范围,所述视角为所述摄像机的俯角;
计算所述摄像机的拍摄范围从三维投影到二维的映射关系,所述映射关系为待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系。
2.如权利要求1所述的提醒方法,其特征在于,所述计算所述摄像机的拍摄范围从三维投影到二维的映射关系,包括:
从所述摄像机的拍摄范围中确定出待投影空间,计算所述待投影空间从三维投影到二维的映射关系。
3.如权利要求1所述的提醒方法,其特征在于,所述获取所述二维位置信息对应的三维位置信息,包括:
在预设的坐标映射表中查找与所述二维位置信息对应的三维位置信息,所述预设的坐标映射表用于对应存储所述待检测图像的二维位置信息和所述三维位置信息。
4.如权利要求1所述的提醒方法,其特征在于,所述获取待检测图像中的人员的二维位置信息,包括:
对待检测图像进行人形检测;
若检测到人形,则根据所述人形的检测框的坐标确定人员的二维位置信息。
5.如权利要求1所述的提醒方法,其特征在于,所述预设的距离阈值通过以下方式确定:
获取所述摄像机的安装区域,根据所述安装区域确定对应的距离阈值作为所述预设的距离阈值。
6.一种提醒装置,其特征在于,包括:
二维位置信息获取单元,用于获取待检测图像中的人员的二维位置信息;
三维位置信息获取单元,用于根据所述待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系,获取所述二维位置信息对应的三维位置信息;
提醒发出单元,用于根据同一待检测图像中两个人员的三维位置信息计算所述两个人员的社交距离,若所述两个人员的社交距离小于预设的距离阈值,则发出提醒;
拍摄范围确定单元,用于根据得到所述待检测图像的摄像机的焦距、安装高度以及视角确定所述摄像机的拍摄范围,所述视角为所述摄像机的俯角;
映射关系计算单元,用于计算所述摄像机的拍摄范围从三维投影到二维的映射关系,所述映射关系为待检测图像的二维坐标与对应的实际场景的三维坐标的映射关系。
7.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110062574.1A CN114821987B (zh) | 2021-01-18 | 2021-01-18 | 提醒方法、装置及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110062574.1A CN114821987B (zh) | 2021-01-18 | 2021-01-18 | 提醒方法、装置及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114821987A CN114821987A (zh) | 2022-07-29 |
CN114821987B true CN114821987B (zh) | 2024-04-30 |
Family
ID=82523762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110062574.1A Active CN114821987B (zh) | 2021-01-18 | 2021-01-18 | 提醒方法、装置及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114821987B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115880643B (zh) * | 2023-01-06 | 2023-06-27 | 之江实验室 | 一种基于目标检测算法的社交距离监测方法和装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875724A (zh) * | 2017-05-09 | 2018-11-23 | 联想(新加坡)私人有限公司 | 用于计算社交区域距离的设备和方法 |
WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
CN111582052A (zh) * | 2020-04-17 | 2020-08-25 | 深圳市优必选科技股份有限公司 | 一种人群密集的预警方法、装置及终端设备 |
CN111583336A (zh) * | 2020-04-22 | 2020-08-25 | 深圳市优必选科技股份有限公司 | 一种机器人及其巡检方法和装置 |
CN111815754A (zh) * | 2019-04-12 | 2020-10-23 | Oppo广东移动通信有限公司 | 一种三维信息确定方法、三维信息确定装置及终端设备 |
CN111885490A (zh) * | 2020-07-24 | 2020-11-03 | 深圳市元征科技股份有限公司 | 一种社交距离提醒的方法、系统、设备及可读存储介质 |
CN112001339A (zh) * | 2020-08-27 | 2020-11-27 | 杭州电子科技大学 | 一种基于YOLO v4的行人社交距离实时监测方法 |
CN112153352A (zh) * | 2020-10-20 | 2020-12-29 | 上海理工大学 | 一种基于深度学习的无人机疫情监测辅助方法及其装置 |
-
2021
- 2021-01-18 CN CN202110062574.1A patent/CN114821987B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875724A (zh) * | 2017-05-09 | 2018-11-23 | 联想(新加坡)私人有限公司 | 用于计算社交区域距离的设备和方法 |
WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
CN111815754A (zh) * | 2019-04-12 | 2020-10-23 | Oppo广东移动通信有限公司 | 一种三维信息确定方法、三维信息确定装置及终端设备 |
CN111582052A (zh) * | 2020-04-17 | 2020-08-25 | 深圳市优必选科技股份有限公司 | 一种人群密集的预警方法、装置及终端设备 |
CN111583336A (zh) * | 2020-04-22 | 2020-08-25 | 深圳市优必选科技股份有限公司 | 一种机器人及其巡检方法和装置 |
CN111885490A (zh) * | 2020-07-24 | 2020-11-03 | 深圳市元征科技股份有限公司 | 一种社交距离提醒的方法、系统、设备及可读存储介质 |
CN112001339A (zh) * | 2020-08-27 | 2020-11-27 | 杭州电子科技大学 | 一种基于YOLO v4的行人社交距离实时监测方法 |
CN112153352A (zh) * | 2020-10-20 | 2020-12-29 | 上海理工大学 | 一种基于深度学习的无人机疫情监测辅助方法及其装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114821987A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109064390B (zh) | 一种图像处理方法、图像处理装置及移动终端 | |
CN108875531B (zh) | 人脸检测方法、装置、系统及计算机存储介质 | |
CN112689221B (zh) | 录音方法、录音装置、电子设备及计算机可读存储介质 | |
CN113807451B (zh) | 全景图像特征点匹配模型的训练方法、装置以及服务器 | |
CN108776800B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
CN116567410B (zh) | 基于场景识别的辅助拍照方法及系统 | |
CN116582653B (zh) | 一种基于多摄像头数据融合的智能视频监控方法及系统 | |
AU2020309094B2 (en) | Image processing method and apparatus, electronic device, and storage medium | |
CN114821987B (zh) | 提醒方法、装置及终端设备 | |
CN110248165B (zh) | 标签显示方法、装置、设备及存储介质 | |
CN114220119A (zh) | 人体姿态检测方法、终端设备及计算机可读存储介质 | |
WO2021190331A1 (zh) | 确定相机布局位置的方法、装置、终端设备及存储介质 | |
CN114627186A (zh) | 一种测距方法及测距装置 | |
CN112529006B (zh) | 全景图片的检测方法、装置、终端及存储介质 | |
CN115880643B (zh) | 一种基于目标检测算法的社交距离监测方法和装置 | |
CN108040244A (zh) | 基于光场视频流的抓拍方法及装置、存储介质 | |
CN105423916A (zh) | 一种物体尺寸的测量方法和测量系统 | |
CN112629828B (zh) | 一种光学信息检测方法、装置及设备 | |
CN115271435A (zh) | 适用于耕地智保的数据处理方法及装置 | |
CN113947795A (zh) | 口罩佩戴检测方法、装置、设备及存储介质 | |
CN116152932A (zh) | 活体检测方法以及相关设备 | |
CN112860360A (zh) | 一种画面拍摄方法、装置、存储介质及电子设备 | |
CN111582243B (zh) | 逆流检测方法、装置、电子设备和存储介质 | |
JP2017010555A (ja) | 画像処理方法及び画像処理装置 | |
TWI739601B (zh) | 圖像處理方法、電子設備和儲存介質 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |