CN113793380A - 一种基于单目相机的头部三维坐标的摔倒检测方法 - Google Patents
一种基于单目相机的头部三维坐标的摔倒检测方法 Download PDFInfo
- Publication number
- CN113793380A CN113793380A CN202110995023.0A CN202110995023A CN113793380A CN 113793380 A CN113793380 A CN 113793380A CN 202110995023 A CN202110995023 A CN 202110995023A CN 113793380 A CN113793380 A CN 113793380A
- Authority
- CN
- China
- Prior art keywords
- head
- coordinate system
- camera
- dimensional
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000001133 acceleration Effects 0.000 claims description 8
- 102220098472 rs878853116 Human genes 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 206010000117 Abnormal behaviour Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于单目相机的头部三维坐标的摔倒检测方法,首先估计单目视频中头部三维坐标,再根据头部三维坐标的变化检测人员是否摔倒。单目头部三维坐标估计通过相机标定获得相机内参矩阵,通过头部检测获得头部在图像中的矩形框,利用相机内参、头部矩形框和预设的头部基本几何参数构建头部三维坐标求解方程,求解在相机坐标系下的头部三维坐标。通过系统标定获得世界坐标系到相机坐标系的变换矩阵,经过坐标变换,得到在世界坐标系下的头部三维坐标。当头部坐标z分量小于一定阈值时判定人员为摔倒状态。本方法利用单个摄像头即可估计头部的三维坐标,并判断人员是否摔倒,硬件成本低,可广泛应用于智能监控等领域。
Description
技术领域
本发明涉及计算机视觉领域,尤其是涉及一种基于单目相机的头部三维坐标的摔倒检测方法。
背景技术
在智能监控领域,及时检测出人员异常行为(如摔倒)是一项基本的监控需求。作为异常行为检测的数据源,头部的三维坐标信息可有效辅助检测算法提高异常行为的检出率。在室内监控应用中,过低的头部高度和过大的头部加速度说明有较大的概率出现了摔倒行为。
常见的获取头部三维坐标的方法有深度相机、双目相机等。但在实际的安防应用中,由于成本问题很难部署深度相机和双目相机。
发明内容
为解决现有技术的不足,实现不改变原有单目相机的现有监控方案,在节约成本的同时,保证检测正确率的目的,本发明采用如下的技术方案:
一种基于单目相机的头部三维坐标的摔倒检测方法,包括如下步骤:
S1,在单目图像中,计算头部在世界坐标系下的三维坐标,包括如下步骤:
S11,使用棋盘板进行相机标定,获得内参矩阵M;
S12,进行系统标定,获得世界坐标系到相机坐标系的变换矩阵 w T c ;
S13,将头部近似为长方体,并给定其基本几何参数,包括头部的长、宽、高和朝向;
S14,使用目标检测算法检测头部,获得表征头部位置的矩形框;
S15,利用内参矩阵、矩形框、基本几何参数,构建用于头部三维坐标求解的线性方程,包括如下步骤:
S151,建立头部三维坐标系,其齐次坐标为Q,定义头部图像坐标系的齐次坐标为q;
S152,根据投影变换,构建头部在相机坐标系下的三维坐标求解方程,投影变换公式为:
q=MWQ (3)
其中M为内参矩阵,W=[Rt]为相机坐标系到头部三维坐标系的变换矩阵,考虑到头部转动不影响头部的三维坐标,直接设定头部的朝向沿世界坐标系,即头部三维坐标系的坐标轴方向与世界坐标系一致,故旋转矩阵R由所述S12中的系统标定结果直接给出,平移向量t为所求头部在相机坐标系下的三维坐标;
S153,整理投影变换公式的形式:
S154,建立q和的对应点对,由于监控摄像头一般位于头部的斜上方,q和的对
应点对定义如下(xmin,)、(xmax,)、(ymin,)、(ymax,),其中xmin、xmax、ymin、ymax由所述
S14获得的头部位置的矩形框给出,分别表示矩形框的4个点坐标,、、、由所述
S13给定长方体的尺寸参数给出,分别表示、、、,其中L、W、H分别表示头部的长、宽、高;
S155,将对应点对带入式(4)中,简化得到线性方程:
At=b (5)
其中A为数据矩阵,b为观测向量;
S16,通过线性方程,获得相机坐标系下的头部三维坐标;
S17,将头部三维坐标和变换矩阵,进行矩阵相乘,获得世界坐标系下的头部三维坐标;
S2,基于单目图像连续帧差分计算头部的加速度,当世界坐标系下的头部三维坐标中,分量z小于分量阈值,且近一小段预设时间内,头部的加速度大于过加速度阈值时,判定人员为摔倒状态,所述分量z表示头部到地面的距离。
进一步地,所述S155中简化线性方程的扩展形式如下:
进一步地,所述S16中通过求解线性方程,得到头部在相机坐标系下的三维坐标t=(A T A)-1 A T b。
进一步地,所述S17中通过坐标变换,得到头部在世界坐标系下的三维坐标T w = w T c t。
进一步地,所述S151中的建立头部三维坐标系,其XYZ轴分别与世界坐标系的XYZ轴平行,其原点在头部中心,头部三维坐标系中,一点的齐次坐标为:
Q=[XYZ 1] T (1)
进一步地,所述S151中的头部在图像坐标系中对应的齐次坐标为:
q=[x,y,w] T (2)
进一步地,所述S12包括如下步骤:
S121,将世界坐标系建立在地面上,取地面一点作为原点,世界坐标系的X、Y、Z轴通过原点且彼此垂直,X轴和Y轴位于地面,Z轴垂直于地面;
S122,在地面上布置不共线的一组点(9个点),并记录其在世界坐标系下的三维坐标和在图像坐标系下的二维坐标;
S123,利用PnP算法,求解世界坐标系到相机坐标系的变换矩阵 w T c 。
进一步地,所述S13中头部的长、宽、高,考虑到不同人的头部几何尺寸接近,直接预设给定。
本发明的优势和有益效果在于:
本发明在不改变现有监控硬件设备的情况下,通过单目相机估计了头部三维坐标,并通过头部三维坐标及其加速度判定是否摔倒,节约了应用成本的同时,保证了检测的精度。
附图说明
图1是本发明的方法流程图。
图2是本发明中系统标定示意图。
图3是本发明中对应点对示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
如图1所示,一种基于单目相机的头部三维坐标的摔倒检测方法,包括以下步骤:
步骤一:在单目图像中,计算头部在世界坐标系下的三维坐标,包括如下步骤:
步骤1.2:如图2所示,将摄像头固定于墙上,按3×3阵列,间距2米在地面上布置标
志点,以其中一个阵列点为原点,阵列的两垂直方向为XY轴,Z轴垂直于地面建立世界坐标
系,摄像头抓拍一张包含该阵列的图像,利用PnP算法求解世界坐标系到相机坐标系的变换
矩阵 w T c ,例如。
步骤1.3:如图3所示,给定头部长宽高LWH均为0.2m,给定头部坐标系坐标轴方向
与世界坐标系一致,、、、分别为[-0.1 -0.1 0.1] T 、[0.1 0.1 0.1] T 、[-0.1 0.1
0.1] T 、[-0.1 -0.1 -0.1] T 。
步骤1.4:使用目标检测算法YOLO进行头部检测,获得头部矩形框[xmin, xmax,ymin, ymax],例如[150, 165, 300, 315]。
步骤1.5:利用内参矩阵、矩形框、基本几何参数,构建用于头部三维坐标求解的线性方程,包括如下步骤:
步骤1.5.1:建立头部三维坐标系,其齐次坐标为:
Q=[XYZ 1] T (1)
定义头部图像坐标系的齐次坐标为:
q=[x,y,w] T (2)
步骤1.5.2:根据投影变换,构建头部在相机坐标系下的三维坐标求解方程,投影变换公式为:
q=MWQ (3)
其中M为内参矩阵,W=[Rt]为相机坐标系到头部三维坐标系的变换矩阵,考虑到头部转动不影响头部的三维坐标,直接设定头部的朝向沿世界坐标系,即头部三维坐标系的坐标轴方向与世界坐标系一致,故旋转矩阵R由步骤1.2中的系统标定结果直接给出,平移向量t为所求头部在相机坐标系下的三维坐标。
步骤1.5.3:整理投影变换公式的形式:
步骤1.5.4:建立q和的对应点对,如图3所示,由于监控摄像头一般位于头部的
斜上方,将q和的对应点对坐标(xmin,)、(xmax,)、(ymin,)、(ymax,)带入式(4),、、、由步骤1.3给定长方体的尺寸参数给出,分别表示、、、,其中L、W、H分别表示头部的长、宽、
高,例如得到。
步骤1.5.5:将对应点对带入式(4)中,简化得到线性方程:
At=b (5)
其中A为数据矩阵,b为观测向量,简化线性方程的扩展形式如下:
步骤1.6:求解上式,获得相机坐标系下的头部三维坐标,通过求解线性方程,得到头部在相机坐标系下的三维坐标t=(A T A)-1 A T b,例如[-0.88 -0.33 1.83] T 。
步骤1.7:利用系统标定结果进行坐标变换,得到头部在世界坐标系下的三维坐标T w = w T c t,例如[1.42 0.98 1.44] T 。
步骤二:连续帧差分计算头部的加速度,当步骤1.7中头部三维坐标z分量小于阈值0.2米,且近1秒内头部加速度大于过2m/s2时判定为摔倒状态,否则为非摔倒状态。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (9)
1.一种基于单目相机的头部三维坐标的摔倒检测方法,其特征在于包括如下步骤:
S1,在单目图像中,计算头部在世界坐标系下的三维坐标,包括如下步骤:
S11,使用棋盘板进行相机标定,获得内参矩阵M;
S12,进行系统标定,获得世界坐标系到相机坐标系的变换矩阵 w T c ;
S13,将头部近似为长方体,并给定其基本几何参数,包括头部的长、宽、高和朝向;
S14,使用目标检测算法检测头部,获得表征头部位置的矩形框;
S15,利用内参矩阵、矩形框、基本几何参数,构建用于头部三维坐标求解的线性方程,包括如下步骤:
S151,建立头部三维坐标系,其齐次坐标为Q,定义头部图像坐标系的齐次坐标为q;
S152,根据投影变换,构建头部在相机坐标系下的三维坐标求解方程,投影变换公式为:
q=MWQ (3)
其中M为内参矩阵,W=[Rt]为相机坐标系到头部三维坐标系的变换矩阵,设定头部三维坐标系的坐标轴方向与世界坐标系一致,旋转矩阵R由所述S12中的系统标定结果给出,平移向量t为所求头部在相机坐标系下的三维坐标;
S153,整理投影变换公式的形式:
S154,建立q和的对应点对,定义如下(xmin, )、(xmax, )、(ymin, )、(ymax,
),其中xmin、xmax、ymin、ymax由所述S14获得的头部位置的矩形框给出,分别表示矩形框的4个
点坐标,、、、由所述S13给定长方体的尺寸参数给出,分别表示
、、、,其中L、W、H分别表示头部的长、宽、
高;
S155,将对应点对带入式(4)中,简化得到线性方程:
At=b (5)
其中A为数据矩阵,b为观测向量;
S16,通过线性方程,获得相机坐标系下的头部三维坐标;
S17,将头部三维坐标和变换矩阵,进行矩阵相乘,获得世界坐标系下的头部三维坐标;
S2,基于单目图像连续帧差分计算头部的加速度,当世界坐标系下的头部三维坐标中,分量z小于分量阈值,且近一小段预设时间内,头部的加速度大于过加速度阈值时,判定人员为摔倒状态,所述分量z表示头部到地面的距离。
4.根据权利要求1所述的一种基于单目相机的头部三维坐标的摔倒检测方法,其特征在于所述S16中通过求解线性方程,得到头部在相机坐标系下的三维坐标t=(A T A)-1 A T b。
5.根据权利要求1所述的一种基于单目相机的头部三维坐标的摔倒检测方法,其特征在于所述S17中通过坐标变换,得到头部在世界坐标系下的三维坐标T w = w T c t。
6.根据权利要求1所述的一种基于单目相机的头部三维坐标的摔倒检测方法,其特征在于所述S151中的建立头部三维坐标系,其XYZ轴分别与世界坐标系的XYZ轴平行,其原点在头部中心,头部三维坐标系中,一点的齐次坐标为:
Q=[XYZ 1] T (1)。
8.根据权利要求1所述的一种基于单目相机的头部三维坐标的摔倒检测方法,其特征在于所述S12包括如下步骤:
S121,将世界坐标系建立在地面上,取地面一点作为原点,世界坐标系的X、Y、Z轴通过原点且彼此垂直,X轴和Y轴位于地面,Z轴垂直于地面;
S122,在地面上布置不共线的一组点,并记录其在世界坐标系下的三维坐标和在图像坐标系下的二维坐标;
S123,利用PnP算法,求解世界坐标系到相机坐标系的变换矩阵 w T c 。
9.根据权利要求1所述的一种基于单目相机的头部三维坐标的摔倒检测方法,其特征在于所述S13中头部的长、宽、高,直接预设给定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110995023.0A CN113793380B (zh) | 2021-08-27 | 2021-08-27 | 一种基于单目相机的头部三维坐标的摔倒检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110995023.0A CN113793380B (zh) | 2021-08-27 | 2021-08-27 | 一种基于单目相机的头部三维坐标的摔倒检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113793380A true CN113793380A (zh) | 2021-12-14 |
CN113793380B CN113793380B (zh) | 2024-04-26 |
Family
ID=79182231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110995023.0A Active CN113793380B (zh) | 2021-08-27 | 2021-08-27 | 一种基于单目相机的头部三维坐标的摔倒检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113793380B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2985070A1 (fr) * | 2011-12-21 | 2013-06-28 | Orme | Procede et systeme de detection de chutes de personnes |
CN111457886A (zh) * | 2020-04-01 | 2020-07-28 | 北京迈格威科技有限公司 | 距离确定方法、装置及系统 |
CN112489135A (zh) * | 2020-11-27 | 2021-03-12 | 深圳市深图医学影像设备有限公司 | 一种虚拟三维人脸面部重建系统的标定方法 |
-
2021
- 2021-08-27 CN CN202110995023.0A patent/CN113793380B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2985070A1 (fr) * | 2011-12-21 | 2013-06-28 | Orme | Procede et systeme de detection de chutes de personnes |
CN111457886A (zh) * | 2020-04-01 | 2020-07-28 | 北京迈格威科技有限公司 | 距离确定方法、装置及系统 |
CN112489135A (zh) * | 2020-11-27 | 2021-03-12 | 深圳市深图医学影像设备有限公司 | 一种虚拟三维人脸面部重建系统的标定方法 |
Non-Patent Citations (1)
Title |
---|
杨帆;谢靖;周余;王自强;: "基于头部运动轨迹和3D视觉的跌倒检测系统", 现代电子技术, 15 January 2012 (2012-01-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN113793380B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110285793B (zh) | 一种基于双目立体视觉系统的车辆智能测轨迹方法 | |
CN102353340B (zh) | 缸盖毛坯加工尺寸识别方法及装置 | |
CN108038886B (zh) | 双目摄像系统标定方法、装置及其汽车 | |
CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
WO2021129305A1 (zh) | 光学动捕系统中标定杆检测方法、装置、设备和存储介质 | |
JP2011179908A (ja) | 3次元計測装置、その処理方法及びプログラム | |
CN105118021A (zh) | 基于特征点的图像配准方法及系统 | |
CN112348869B (zh) | 通过检测和标定恢复单目slam尺度的方法 | |
CN112652020B (zh) | 一种基于AdaLAM算法的视觉SLAM方法 | |
CN109656033A (zh) | 一种区分液晶显示屏灰尘和缺陷的方法及装置 | |
CN106033614A (zh) | 一种强视差下的移动相机运动目标检测方法 | |
CN111915651B (zh) | 基于数字影像地图与特征点跟踪的视觉位姿实时估计方法 | |
CN114170317B (zh) | 泳池防溺水人头位置判断方法、装置及计算机设备 | |
CN114998447A (zh) | 多目视觉标定方法及系统 | |
WO2016123813A1 (zh) | 一种智能设备的姿态关系计算方法和智能设备 | |
CN111105467A (zh) | 一种图像标定方法、装置及电子设备 | |
CN110796710A (zh) | 基于流形空间的快速在线标定相机外参的方法和模块 | |
CN113793380B (zh) | 一种基于单目相机的头部三维坐标的摔倒检测方法 | |
CN112598736A (zh) | 一种基于地图构建的视觉定位方法及装置 | |
CN115880643A (zh) | 一种基于目标检测算法的社交距离监测方法和装置 | |
CN107274449B (zh) | 一种光学照片对物体的空间定位系统及方法 | |
CN113592934B (zh) | 一种基于单目相机的目标深度与高度测量方法及装置 | |
CN108510553A (zh) | 一种基于机器视觉的运动装置标定方法及其装置 | |
CN110363818A (zh) | 双目视觉系统的异常检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |