CN105354825A - 自动识别读写场景中读物位置的智能装置及其应用 - Google Patents

自动识别读写场景中读物位置的智能装置及其应用 Download PDF

Info

Publication number
CN105354825A
CN105354825A CN201510642372.9A CN201510642372A CN105354825A CN 105354825 A CN105354825 A CN 105354825A CN 201510642372 A CN201510642372 A CN 201510642372A CN 105354825 A CN105354825 A CN 105354825A
Authority
CN
China
Prior art keywords
read
write
scene
reading matter
dimensional coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510642372.9A
Other languages
English (en)
Other versions
CN105354825B (zh
Inventor
李乔亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
李乔亮
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 李乔亮 filed Critical 李乔亮
Priority to CN201510642372.9A priority Critical patent/CN105354825B/zh
Publication of CN105354825A publication Critical patent/CN105354825A/zh
Application granted granted Critical
Publication of CN105354825B publication Critical patent/CN105354825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms

Abstract

一种能在青少年读写场景中与青少年身体无任何接触的状态下,自动、准确判断青少年读写姿势正确与否的自动识别读写场景中读写元素位置的智能装置及其应用。其由至少一个二维或三维图像传感器、与该图像传感器连接的微处理器、报警模块和电源模块构成。其可有效获取青少年读书写字时的体态和姿势并对不正确的体态或姿势予以提示。其具如下优点:1)非接触式,无需穿戴在身上,无身体负担。2)能精确测量人眼到书本的距离。3)可安装在读写人前方1~3米范围,测量范围大,且无需校准。4)算法具有基于人脸三维坐标进行跟踪测量,读写中的头部和肩部无意的摇动,不会影响测量精度。

Description

自动识别读写场景中读物位置的智能装置及其应用
技术领域
本发明涉及一种对青少年读书写字时的姿势正确与否进行自动判断的提醒装置,特别涉及一种通过二维或三维图像传感器采集的图像信息对青少年读写姿势进行智能识别的预警装置。
背景技术
我国现有近视患者已超过3亿人,占世界近视人数的33%,远远高于世界平均值22%的比例。我国每年会出现低视力135万,即约每分钟就会出现三个低视力患者。如果不采取有力措施,到2020年我国视力残疾人数将为目前的4倍。全世界每年视力损害的花费已高达250亿美元。综上所述,视力损害已成为我国乃至全球的严重公共卫生问题。我国8~12岁的小学生近视发病率约为23%,中学生约为55%,大学生约为76%,全国近视眼约为3亿人,其中青少年约为2亿人。全国近视眼发病人数位居世界首位。
青少年近视眼的形成原因包括先天遗传和后天环境因素。前者占20%,后者占80%。青少年处于生长发育旺盛时期,眼的生理功能和组织结构有与其他时期不同的特点,易受环境不良影响而形成近视眼。不正确的看书、写作业姿势是造成青少年近视的重要原因。
现有技术中,人们想出多种方法,使青少年在看书或写字时,其眼睛距书本(又称读物)保持一定的距离,这些方法包括机械方法、电子方法等。
通常,机械方法是在人的头部或肩部,佩戴复杂的机械部件,其需与身体直接接触,增加佩戴者的体力负担,由此受到了限制(主要是佩戴者不喜欢使用)。
电子方法是以超声波或红外线做为测试媒介,将其对准人的头面部,或者将超声波或红外线测试装置佩戴在头部或耳部,并将测量传感器对准书本。这两种方法,传感器位置在安装时都需要事先校准,其只能测量传感器到头部(或传感器到书本)的单点距离,并进行几何推算,估算出头部到书本的距离。不能精确测量人眼到书本的距离。由于基于单点测量,所以,测量精度会随头部在读写过程中的摇动而降低。
发明内容
本发明要解决的技术问题是提供一种能在青少年读写场景中与青少年身体无任何接触的状态下,自动、准确判断青少年读写姿势正确与否的自动识别读写场景中读物位置的智能装置及其应用。
为了解决上述技术问题,本发明采用的技术方案为:
本发明的自动识别读写场景中读物位置的智能装置,其特征在于:其由至少一个二维或三维图像传感器、与该图像传感器连接的微处理器、报警模块和电源模块构成,其中,
二维图像传感器,将以不同位置或视角获取至少二幅青少年读写场景中包括读写人貌姿、读写的读物和/或依托该读物的桌面为物理点在内的二维原始图像传送给所述微处理器;或者由三维图像传感器获取包括所述物理点在内的深度图像传送给所述微处理器;
微处理器,针对获取的二维原始图像,采用立体匹配方法获得与至少一幅原始图像对应的深度图像;存储所述图像传感器实时采集的图像信息;依据所述深度图像采用切片扫描方法获取所述读物的三维坐标:实时计算所述物理点中读物的三维坐标和具有关联性的二个目标物理点之间的动态距离或动态时差并保存;
报警模块,当读写场景中的某个物理点的三维坐标或所述的动态距离偏离设定的正常值时发出报警信号;
电源模块,为图像传感器、微处理器和报警模块提供工作电压。
所述的图像传感器为二个黑白或彩色图像传感器。
所述物理点的三维坐标包括读写场景中读写人双眼和置于读写状态下的读物的三维坐标,所述动态距离为由所述微处理器动态跟踪并自动读出读写人双眼到所述读物的直线距离。
所述物理点的三维坐标包括读写人处于标准读写状态时对应的标准身姿的三维坐标,所述动态距离为由所述微处理器动态跟踪并获取读写人动态读写姿势时对应的动态身姿的三维坐标与所述标准身姿的三维坐标偏离值。
所述物理点的三维坐标包括读写人处于标准读写状态时对应的标准身姿的三维坐标,所述动态时差为由微处理器动态跟踪并获取读写人处于该标准身姿下的连续累积时间。
所述报警模块还包括读写场景中环境光线亮度报警和WIFI通信连接模块。
本发明的智能防近视台灯,包括光源、灯杆和灯座,在灯杆或灯座上安装有一个本发明的所述的自动识别读写场景中读物位置的智能装置。
本发明的防近视智能平板,包括触摸式液晶屏和中央处理器,在其上还设有一个本发明的所述的自动识别读写场景中读物位置的智能装置,所述的中央处理器为该智能装置中的微处理器。
本发明的智能装置由至少一个二维或三维图像传感器、与该图像传感器连接的微处理器、报警模块和电源模块构成。其采用成本较低且结构简单的二维或三维图像传感器,获取青少年读写场景中与青少年读写时相关的物理点(如青少年的身体姿态、头面部状态、读写的书本、依托该书本的桌面、光线明暗度等)的原始图像,再将原始图像信息存入中央处理器,由中央处理器基于该图像传感器标定参数,通过立体匹配方法获得与原始图像对应的深度图像(或者由三维图像传感器直接获取包括所述物理点在内的深度图像)。之后,依据深度图像对所述物理点赋予单位空间内所含的点云密度值;通过设定空间原点及边界定义三维扫描体,在Z方向上,将扫描体等间隔划分为大小相同位置不同的子扫描体,再沿Z轴方向扫描所述子扫描体,当扫描到的某个子扫描体的点云密度达到所述读物的设定阈值时,则判定当前子扫描体的中心位置为该物理点的空间位置。本发明通过合理设置图像信息采集的频度,由中央处理器计算可以精确获知该读写场景中任意二个物理点之间静态或动态情况下的距离以及读写场景中读物所处的三维坐标,并且由此可以延伸获知读写场景中青少年处于一种读写状态维持的时间长短及其读写姿态是否正常。本发明简单、快捷、准确,而且投资成本较低。
本发明的装置可有效获取青少年读书写字时的体态和姿势并对不正确的体态或姿势予以提示。该装置还具有如下优点:1)非接触式,无需穿戴在身上,无身体负担。2)能精确测量人眼到书本的距离,测量误差<1cm。3)测量装置可安装在读写人前方1~3米范围,测量范围大,且无需校准。4)算法具有基于人脸三维坐标进行跟踪测量,读写中的头部和肩部无意的摇动,不会影响测量精度。5)能以影像的方式保存图像与对应的测量结果,对近视的预防具有积极意义。
附图说明
图1为本发明装置的方框示意图。
图2为图像获取原理图。
图3为头面部三维定位流程图。
图4为物理点的三维坐标定位流程图。
具体实施方式
如图1所示,本发明的自动识别读写场景中读物位置的智能装置,由至少一个二维或三维图像传感器、与该图像传感器连接的微处理器、报警模块和电源模块构成,其中,
二维图像传感器,将以不同位置或视角获取至少二幅青少年读写场景中包括读写人貌姿、读写的读物和/或依托该读物的桌面为读物在内的二维原始图像传送给所述微处理器;或者由三维图像传感器直接获取包括所述物理点在内的深度图像传送给所述微处理器。
微处理器,针对获取的所述原始图像,采用立体匹配方法获得与至少一幅原始图像对应的深度图像并获得所述读物中任一目标读物的三维坐标;存储所述图像传感器实时采集的图像信息;实时计算所述读物中目标读物的三维坐标和具有关联性的二个目标读物之间的动态距离或动态时差并保存。
报警模块,当读写场景中的某个读物的三维坐标或所述的动态距离偏离设定的正常值时发出报警信号。所述报警模块还包括读写场景中环境光线亮度报警和WIFI通信连接模块。
电源模块,为图像传感器、微处理器和报警模块提供工作电压。
将本发明的装置设置于台灯上,即可构成一部智能防近视台灯,由于其所用的图像传感器、微处理器及其它模块体积均小,因此整个装置体积小重量轻,可将其随意安装于台灯的灯杆、灯座或灯罩上均可。
将本发明的装置设置于平板电脑上,即可构成一部防近视智能平板。在此情况下,本发明的智能装置可与平板电脑共用一个中央处理器。
本发明的智能装置对读写场景中读物的空间位置能够自动识别主要采用如下的方法:
其采用二维或三维图像传感器,获得青少年(也称读写人)读书时所在的读写场景中的原始图像信息,之后再将该信息存入计算机(包括电脑、嵌入式的微处理器或含CPU的单片机等中央处理器,下同)。通过对图像传感器标定相机参数、立体匹配获得与原始图像对应的深度图像,继而获取所述读写场景中包括读写人貌姿、读写的读物、依托该读物的桌面等与青少年读写时相关的任一物理点(对这些物理点中指定的某个读物简称为目标读物,下同)的三维坐标。
该方法可使计算机自动精确识别所获得的深度图像信息中各物理点之间的空间位置关系、读写人的实时三维状态与设定的该读写人的标准三维状态之间的变化值以及读写人处于一种三维状态时持续的时间等等。
通过编程设计,将本发明的方法应用于预防青少年近视的相关装置中,通过设置于该装置中的图像传感器就可以很容易的获知处于读写场景中的青少年的读写姿势是否正常、其双眼距离书本的距离如何及读写持续的时间是否过长等信息,继而通过报警部件发出提示信息。
所述方法具体如下:
一、针对采用至少一个与中央处理器连接的图像传感器获取的深度图像,按以下步骤获取读写人在读写状态时对应的读物的三维坐标:
1)依据获取的深度图像对所述读物赋予单位空间内所含的点云密度值;
2)通过设定空间原点及边界定义三维扫描体,该扫描体为在Z方向上具有设定厚度的矩形体;
3)在Z方向上,将扫描体等间隔划分为大小相同位置不同的子扫描体;
4)沿Z轴方向(从大值到小值或者反向)逐层扫描所述子扫描体,当扫描到的某个子扫描体的点云密度达到读物的设定阈值时,则判定当前子扫描体的中心位置为该读物的空间位置。
本发明所用图像传感器可为二维图像传感器,也可为深度图像传感器。由于二维图像传感器价格便宜,安装方便,所以本发明优选使用二维图像传感器。
本发明的方法中优选的所述空间原点为读写人面部轮廓的嘴巴中心点,在该空间原点以下0cm-80cm内采用所述扫描体逐层扫描认定读写场景中以书本为目标读物的三维坐标。0cm-80cm是指认定一个人在正常读写状态时,通常放置在桌面上的书本与其下巴之间的垂直距离落在这个范围内。
二、本发明可通过以下方式获取以读写人嘴巴中心点为空间原点的三维坐标:
1、当仅采用一个深度图像传感器(即三维图像传感器)时,采用以下方法获取空间原点的三维坐标:
以摄像头为原点,设定Z为上下方向,XY方向为水平面,其中Y方向从摄像头原点指向人面部。
1)定义三维扫描体,该扫描体为在Y方向上具有设定厚度的矩形体;
2)在Y方向上,将扫描体等间隔划分为大小相同位置不同的子扫描体;
3)沿Y轴方向扫描所述子扫描体,当扫描到的某个子扫描体的点云密度达到设定阈值时,则判定当前子扫描体的中心位置为人面部的空间位置。
4)基于人面部的三维空间位置,同时利用嘴巴和面部的相对几何关系,估计出嘴巴中心点的位置。(该空间原点的作用是定义扫描空间的范围,因此不需要非常精确。)
2、当采用一个二维图像传感器(优选彩色)和一个三维图像传感器时,采用以下方法获取空间原点的三维坐标:
1)采用haar特征和adaboost分类器模式的识别方法,在获取的二维原始图像中定位人面部轮廓的二维坐标。
2)在人脸的二维区域内,采用针对嘴巴对象的adaboost分类器检测嘴巴。检测限定在人面部区域,提高了可靠性。
3)基于深度图像与原始图像的对应关系,求出面部轮廓,嘴巴及其中心点的三维坐标。其中深度图像直接由三维传感器获得。
3、当仅采用二维图像传感器时,采用以下方法获取空间原点的三维坐标:
1)采用haar特征和adaboost分类器模式的识别方法,在获取的二维原始图像中定位人面部轮廓的二维坐标。
2)在人脸的二维区域内,采用针对嘴巴对象的adaboost分类器检测嘴巴。检测限定在人面部区域,提高了可靠性。
3)基于深度图像与原始图像的对应关系,求出面部轮廓,嘴巴及其中心点的三维坐标,其中深度图像直接由立体匹配获得。
三、采用二维图像传感器获取深度图像的方法如下:
采用与计算机连接的二维图像传感器,以不同位置或视角获取至少二幅青少年读写场景原始图像,分别为第一幅原始图像和第二幅原始图像,再由计算机基于该图像传感器标定参数,采用立体匹配方法获得与二幅原始图像中至少一幅相对应的深度图像。
二维图像传感器可以为一个黑白或彩色的图像传感器,也可以为二个黑白或彩色的图像传感器,其获取深度图像的方法分述如下:
1、一个黑白或彩色图像传感器
1)设定该图像传感器的几何位置或焦距,根据确定的标定物标定图像传感器的相机参数。
相机标定的概念如下:
在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定(或摄像机标定)。
本发明采用以下步骤进行相机标定:
a.设定方格纸板为标定物,设定图像传感器的焦距及其他光学参数。
b.若只采用一个图像传感器,则需移动图像传感器从不同几何位置、角度上对标定物进行多次拍摄(若采用二个图像传感器,可将二个传感器固定在不同的几何位置上同时进行拍摄)。
c.基于拍摄的图像序列,利用几何约束关系采用角点匹配标定算法,求取该图像传感器的内外参数矩阵,存储为标定参数。
2)对包含所述目标读物所在的场景进行成像,获取第一幅原始图像并保存;
3)改变传感器的几何位置或焦距,对包含所述目标读物所在的场景再次进行成像,获取与第一幅原始图像成极几何约束关系的第二幅原始图像并保存;
4)采用局部(local)、半全局(Semi-global)或全局(global)的立体匹配方法获取视差图并转换为深度图像。
为了提高计算效率,此实例中可通过采用blockmatching的局部立体匹配方法获取视差图并转换为深度图像。
2、二个黑白或彩色图像传感器
1)将二个图像传感器以左右方位分布,根据确定的标定物标定图像传感器的相机参数(标定方法同上)。
2)使用二个图像传感器分别对包含目标读物所在的场景进行成像,获取左向图像和右向图像并保存,所述左向图像与右向图像成极几何约束关系。
3)采用局部(local)、半全局(Semi-global)或全局(global)的立体匹配方法获取视差图并转换为深度图像。
同样,为了提高计算效率,本实例中也可通过采用blockmatching的局部立体匹配方法获取视差图并转换为深度图像。
四、所述方法至少有如下三种应用:
1、自动测量读写场景中读写人的双眼到读物之间的距离
通过设置图像采集的频度,按本发明的方法实时获取读写人双眼和置于读写状态下的读物的三维坐标,先由计算机自动读出读写人双眼到所述读物的直线距离,再将该实时数据与事先存入计算机中的正确读写状态对应的标准距离相比较,就可以获知该读写人是否处于正确的读写状态(当然在实际应用中,还应考虑给予该读写人处于不正确读写状态时允许持续的时间值)。
2、自动测量读写人读写姿态
即当读写人在读写时,其身姿是否正确。不正确的身姿有:歪着头看书、扭着身看书等(有时,在这种不正确的身姿状态下,其双眼距读物的距离却在合理范围内)。
首先在读写人的面部、头部或肩部设置特征识别点构成三维身姿网,通过设置图像采集的频度,按本发明的方法实时获取该三维身姿网的三维坐标,之后再与事先存入计算机中的处于正确读写状态时对应的标准身姿的三维坐标进行比对,就可获知该读写人读书时是否处于正常的姿势(同上,在实际应用中,还应考虑给予该读写人处于不正常读写姿势时允许持续的时间值)。
3、自动测量读写人读写姿态持续时间
即便读写人读写距离、姿势都正确,但读书持续的时间太长,也会损坏青少年的视力,因此,与前二个应用相同,通过设置图像采集的频度,按本发明的方法实时获取读写人处于标准身姿、正确距离状态下的连续累积时间。当超出设定时间时,就可提醒读写人适当休息。
五、本发明涉及的基础原理如下(主要与二维图像有关的原理):
立体视觉(StereoVision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,这个差别,我们称作视差(Disparity)图像。
图像获取
图像获取过程可分为单传感器获取和双传感器获取,其中单个传感器可在移动位置获取,而两个传感器可固定在不同几何位置上获取。两个方法的原理类似,都是在目标物体的不同位置或不同视角上进行采集,从而获得如图2所示的左右视图。
极几何概念:
其是机器视觉中摄像机标定中的技术名词,在世界坐标系,观察坐标系,像素坐标系等坐标系转换中是很重要的一个概念。
对于双目视觉系统,即有两个摄像机,定义两个摄像机的光学中心点为C1、C2,在三维空间中存在一个场景点P(x,y,z),这个点与两个摄像机光学中心点共同构成的平面就是对极平面,每个摄像机都有一个图像平面,分别为左图像平面和右图像平面,C1、P点连线与左图像平面交于p1点,C2、P点连线与右图像平面交于p2点,而C1、C2连线分别与左图像平面和右图像平面交于e1和e2点;这两个点称为极点,C1、C2连线称为基线。对极平面与左图像平面和右图像平面分别相交于两条极线L和R,这两条极线的关系是对应的,而p1和e1点落于L极线上,p2和e2点落于R极线上。
随着三维场景点P(x,y,z)的移动,极平面将绕着基线转动,这些极平面共同构成一个对极平面束,这些对极平面与图像平面所交汇成的极线族分别都交于两个极点e1和e2。
假如我们只知道P(x,y,z)投射在左图像平面上的投射点p1,我们如何去获知p1点在右图像平面上的相应点p2呢,这个相应点p2符合什么样一种几何规则呢?我们知道,对极平面是由基线、p1和P共同构成的,因此,相应点p2也一定位于该对极平面上,即可以得出p2点位于对极平面与另一个图像平面(即右图像平面)的交线R上,也即p2点是投射点p1点的反向投影在第二个视角(即右图像平面)上的图像。这种关系在立体对应算中有很大的好处,那就是不需要在整幅图像上寻找P(x,y,z)的对应点,而只需要把范围限定在极线R上即可。
标定与视差计算原理
物体表面点的三维几何位置与其在图像中对应点之间的相互关系由摄像机成像的几何模型决定,标定是指通过实验和计算获得这些传感器参数的过程。现有技术中摄像机标定方法一般包括传统标定方法和自标定方法。本发明采用传统标定方法,将具有己知形状、尺寸的标定参照物作为传感器的捕捉对象。利用空间变换求取传感器模型的内部和外部参数。其中,内部参数是指相机内部几何、光学参数,外部参数是指相机坐标系与世界坐标系的转换参数。
这里,我们设定B为基线距离,相机焦距为f。设两摄像机在同一时刻观看空间物体的同一特征点P(xc,yc,zc),分别在左图和右图上获取了点P的图像,它们的图像坐标分别为pleft=(Xleft,Yleft),pright=(Xright,Yright),由三角几何关系得到:
则视差为:Disparity=Xleft-Xright。由此可计算出点P在相机坐标系下的三维坐标为:
因此,左相机像面(即所述的左图像平面)上的任意一点只要能在右相机像面(即所述的右图像平面)上找到对应的匹配点,就可以确定出该点的三维坐标。
图像校正
要计算目标点在左右两个视图上形成的视差,需要在二维空间上匹配对应点。为了减少匹配搜索范围,我们利用极线约束使得对应点的匹配由二维搜索降为一维搜索。图像校正的作用就是把两幅图像严格地进行对应,使得两幅图像的对极线在同一水平线上,一幅图像上任意一点与其在另一幅图像中同一行的某个点对应,只需在该行进行一维搜索即可匹配到对应点。本发明采用外极线约束将搜索范围可以限制在外极线上的一个很小区间内,提高搜索速度,同时减少假匹配点的数量。
立体匹配
立体匹配从图对中的一幅图像中选择一种图像特征(如图像灰度),在另一幅图像中确定出同一物理结构的对应图像特征,从而获取这两个特征之间的相对位置,计算出视差,进而可根据式(2)计算三维坐标。根据约束方式的不同,已有立体匹配算法大致分为三类;一类为局部(Local)匹配算法,包括基于区域的立体匹配算法(blockmatching,BM)、基于特征的立体匹配算法;另一类为全局(Global)最优算法,该算法将匹配过程看为寻找能量方程最小值的过程,包括基于动态规划算法、图割法(graphcuts)、置信度传播算法(beliefpropagation)等,最后还有一类是介于局部与全局之间的半全局算法(Semi-global)。本设计采用BM局部匹配算法,同时对校正后的图像进行金字塔多分辨率分解,进一步降低计算复杂度,提高实时性。本设计采用下式作为匹配测度。
其中:dmin和dmax是最小和最大视差,m是模板尺寸,Iright和Ileft是右边和左边的图像。
读写场景中人头面部的三维坐标定位
如图3所示,读写人头面部的三维定位有两类方法。1)可从原始图像中检测人脸,获取头面部的二维坐标,然后基于深度图像,找到对应的z坐标后,从而将头面部映射到三维空间。2)直接在三维空间中,基于3DAAM等人脸模型定位人脸。
本发明为了提高实时性,对第一类方法进行改进。在adaboost分类之前,采用肤色模型检测备选人脸区域,缩小adaboost的检测范围,流程图如图3所示。
读写场景中读物(书或桌面)的三维坐标定位
如图4所示,读写场景中,读物(读物或桌面)的颜色、形状、摆放具有很多不确定性。直接利用模式识别方法识别读物或桌面,其鲁棒性不能保证。本发明针对读写场景的特殊性,提出一种可靠的检测算法:
1)定义人脸下方的某一个封闭三维空间Q为读物(书或桌面)的待检测区域,定义上下方向为z方向。
2)在z方向上,以deltaZ为间隔,将空间Q等分为n个大小相同位置不同的三维子空间{Q1,Q2,…Qn}。
3)基于原始图像和深度图像,求取三维子空间{Q1,Q2,…Qn}的点云密度。
4)从上向下的方向(z减少)扫描上述子空间,当所述子空间的点云密度达到目标读物的设定阈值时,则判定当前子空间的中心位置为该目标读物的位置。
鲁棒性注释:
鲁棒是Robust的音译,也就是健壮和强壮的意思。它是在异常和危险情况下系统生存的关键。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,是指控制系统在一定(结构,大小)的参数摄动下,维持其它某些性能的特性。

Claims (8)

1.一种自动识别读写场景中读物位置的智能装置,其特征在于:其由至少一个二维或三维图像传感器、与该图像传感器连接的微处理器、报警模块和电源模块构成,其中,
二维图像传感器,将以不同位置或视角获取至少二幅青少年读写场景中包括读写人貌姿、读写的读物和/或依托该读物的桌面为物理点在内的二维原始图像传送给所述微处理器;或者由三维图像传感器获取包括所述物理点在内的深度图像传送给所述微处理器;
微处理器,针对获取的二维原始图像,采用立体匹配方法获得与至少一幅原始图像对应的深度图像;存储所述图像传感器实时采集的图像信息;依据所述深度图像采用切片扫描方法获取所述读物的三维坐标:实时计算所述物理点中读物的三维坐标和具有关联性的二个目标物理点之间的动态距离或动态时差并保存;
报警模块,当读写场景中的某个物理点的三维坐标或所述的动态距离偏离设定的正常值时发出报警信号;
电源模块,为图像传感器、微处理器和报警模块提供工作电压。
2.根据权利要求1所述的自动识别读写场景中读物位置的智能装置,其特征在于:所述的图像传感器为二个黑白或彩色图像传感器。
3.根据权利要求1或2所述的自动识别读写场景中读物位置的智能装置,其特征在于:所述物理点的三维坐标包括读写场景中读写人双眼和置于读写状态下的读物的三维坐标,所述动态距离为由所述微处理器动态跟踪并自动读出读写人双眼到所述读物的直线距离。
4.根据权利要求1或2所述的自动识别读写场景中读物位置的智能装置,其特征在于:所述物理点的三维坐标包括读写人处于标准读写状态时对应的标准身姿的三维坐标,所述动态距离为由所述微处理器动态跟踪并获取读写人动态读写姿势时对应的动态身姿的三维坐标与所述标准身姿的三维坐标偏离值。
5.根据权利要求1或2所述的自动识别读写场景中读物位置的智能装置,其特征在于:所述物理点的三维坐标包括读写人处于标准读写状态时对应的标准身姿的三维坐标,所述动态时差为由微处理器动态跟踪并获取读写人处于该标准身姿下的连续累积时间。
6.根据权利要求1或2所述的自动识别读写场景中读物位置的智能装置,其特征在于:所述报警模块还包括读写场景中环境光线亮度报警和WIFI通信连接模块。
7.一种智能防近视台灯,包括光源、灯杆和灯座,其特征在于:在灯杆或灯座上安装有一个如权利要求1-6中任一项所述的自动识别读写场景中读物位置的智能装置。
8.一种防近视智能平板,包括触摸式液晶屏和中央处理器,其特征在于:在其上还设有一个如权利要求1-6中任一项所述的自动识别读写场景中读物位置的智能装置,所述的中央处理器为该智能装置中的微处理器。
CN201510642372.9A 2015-09-30 2015-09-30 自动识别读写场景中读物位置的智能装置及其应用 Active CN105354825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510642372.9A CN105354825B (zh) 2015-09-30 2015-09-30 自动识别读写场景中读物位置的智能装置及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510642372.9A CN105354825B (zh) 2015-09-30 2015-09-30 自动识别读写场景中读物位置的智能装置及其应用

Publications (2)

Publication Number Publication Date
CN105354825A true CN105354825A (zh) 2016-02-24
CN105354825B CN105354825B (zh) 2018-06-22

Family

ID=55330792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510642372.9A Active CN105354825B (zh) 2015-09-30 2015-09-30 自动识别读写场景中读物位置的智能装置及其应用

Country Status (1)

Country Link
CN (1) CN105354825B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251592A (zh) * 2016-08-19 2016-12-21 浙江大学 一种用于预防近视的可穿戴设备
CN106448086A (zh) * 2016-08-30 2017-02-22 河海大学常州校区 基于tof深度相机检测阅读姿态的保护视力装置及方法
CN106781324A (zh) * 2017-01-09 2017-05-31 海南易成长科技有限公司 一种护眼护脊椎提醒系统及灯具
CN107230226A (zh) * 2017-05-15 2017-10-03 深圳奥比中光科技有限公司 人体关联关系的判断方法、装置及存储装置
CN109389809A (zh) * 2018-11-07 2019-02-26 四川长虹电器股份有限公司 一种智能手机坐姿监督与报警系统及方法
CN109984412A (zh) * 2019-04-30 2019-07-09 吕岩 一种用于远程视频量体的号衣工具及量体方法
CN110251070A (zh) * 2019-06-13 2019-09-20 苏毅 一种用眼健康情况监测方法及系统
CN110290349A (zh) * 2019-06-17 2019-09-27 苏州佳世达电通有限公司 灯具及侦测使用者的坐姿状态的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0573661A4 (zh) * 1991-12-26 1994-04-13 Fanuc Ltd.
JP2004030011A (ja) * 2002-06-24 2004-01-29 Seiichi Uchinami 3次元形状データ取得システムおよび方法
CN101308018A (zh) * 2008-05-30 2008-11-19 汤一平 基于双目全方位视觉传感器的立体视觉测量装置
CN101833759A (zh) * 2010-04-01 2010-09-15 复旦大学 一种基于连续视频的机器人场景深度判别方法
CN102542294A (zh) * 2011-12-29 2012-07-04 河海大学常州校区 双视觉信息融合的集控式足球机器人识别系统及识别方法
CN102592117A (zh) * 2011-12-30 2012-07-18 杭州士兰微电子股份有限公司 三维物体识别方法及系统
CN202362833U (zh) * 2011-12-08 2012-08-01 长安大学 基于双目立体视觉移动车辆的三维重建装置
CN103226693A (zh) * 2013-03-21 2013-07-31 浙江工业大学 基于全景立体视觉的捕捞对象的识别和空间定位装置及方法
CN104732586A (zh) * 2015-03-24 2015-06-24 中国人民解放军国防科学技术大学 一种三维人体动态形体和三维运动光流快速重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0573661A4 (zh) * 1991-12-26 1994-04-13 Fanuc Ltd.
JP2004030011A (ja) * 2002-06-24 2004-01-29 Seiichi Uchinami 3次元形状データ取得システムおよび方法
CN101308018A (zh) * 2008-05-30 2008-11-19 汤一平 基于双目全方位视觉传感器的立体视觉测量装置
CN101833759A (zh) * 2010-04-01 2010-09-15 复旦大学 一种基于连续视频的机器人场景深度判别方法
CN202362833U (zh) * 2011-12-08 2012-08-01 长安大学 基于双目立体视觉移动车辆的三维重建装置
CN102542294A (zh) * 2011-12-29 2012-07-04 河海大学常州校区 双视觉信息融合的集控式足球机器人识别系统及识别方法
CN102592117A (zh) * 2011-12-30 2012-07-18 杭州士兰微电子股份有限公司 三维物体识别方法及系统
CN103226693A (zh) * 2013-03-21 2013-07-31 浙江工业大学 基于全景立体视觉的捕捞对象的识别和空间定位装置及方法
CN104732586A (zh) * 2015-03-24 2015-06-24 中国人民解放军国防科学技术大学 一种三维人体动态形体和三维运动光流快速重建方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251592A (zh) * 2016-08-19 2016-12-21 浙江大学 一种用于预防近视的可穿戴设备
CN106448086A (zh) * 2016-08-30 2017-02-22 河海大学常州校区 基于tof深度相机检测阅读姿态的保护视力装置及方法
CN106781324A (zh) * 2017-01-09 2017-05-31 海南易成长科技有限公司 一种护眼护脊椎提醒系统及灯具
CN107230226A (zh) * 2017-05-15 2017-10-03 深圳奥比中光科技有限公司 人体关联关系的判断方法、装置及存储装置
CN109389809A (zh) * 2018-11-07 2019-02-26 四川长虹电器股份有限公司 一种智能手机坐姿监督与报警系统及方法
CN109984412A (zh) * 2019-04-30 2019-07-09 吕岩 一种用于远程视频量体的号衣工具及量体方法
CN110251070A (zh) * 2019-06-13 2019-09-20 苏毅 一种用眼健康情况监测方法及系统
CN110251070B (zh) * 2019-06-13 2021-08-03 苏毅 一种用眼健康情况监测方法及系统
CN110290349A (zh) * 2019-06-17 2019-09-27 苏州佳世达电通有限公司 灯具及侦测使用者的坐姿状态的方法
CN110290349B (zh) * 2019-06-17 2022-03-08 苏州佳世达电通有限公司 灯具及侦测使用者的坐姿状态的方法
US11568561B2 (en) 2019-06-17 2023-01-31 Qisda Corporation Lamp and method for detecting a sitting posture of a user

Also Published As

Publication number Publication date
CN105354825B (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN105354825B (zh) 自动识别读写场景中读物位置的智能装置及其应用
US9265414B2 (en) Methods and systems for measuring interpupillary distance
CN105354822B (zh) 自动识别读写场景中读写元素位置的智能装置及应用
Morimoto et al. Detecting eye position and gaze from a single camera and 2 light sources
CN106022304B (zh) 一种基于双目相机的实时人体坐姿情况检测方法
CN104173054B (zh) 基于双目视觉技术的人体身高测量方法及其装置
CN102812416B (zh) 指示输入装置、指示输入方法、程序、记录介质以及集成电路
CN105335699B (zh) 读写场景中读写元素三维坐标的智能认定方法及其应用
CN109690553A (zh) 执行眼睛注视跟踪的系统和方法
CN104685541B (zh) 用于确定三维对象上注视点的方法和装置
CN105139447A (zh) 基于双摄像头的坐姿实时检测方法
CN107169405A (zh) 基于双目摄像机活体识别的方法及装置
CN104634276A (zh) 三维测量系统、拍摄设备和方法、深度计算方法和设备
JP2010259605A (ja) 視線測定装置および視線測定プログラム
CN104902246A (zh) 视频监视方法和装置
CN104154898B (zh) 一种主动测距方法及系统
CN106214118A (zh) 一种基于虚拟现实的眼球运动监测系统
US10620454B2 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
CN104036488A (zh) 一种基于双目视觉的人体姿态动作研究方法
CN113808160B (zh) 视线方向追踪方法和装置
CN105913013A (zh) 双目视觉人脸识别算法
CN105354828B (zh) 读写场景中读物三维坐标的智能认定方法及其应用
CN107016697A (zh) 一种高度测量方法及装置
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
CN114360043B (zh) 模型参数标定方法、视线追踪方法、装置、介质及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160927

Address after: 518000 Nanhai Road, Guangdong, Shenzhen, No. 3688, No.

Applicant after: Shenzhen University

Address before: 518000 Department of medicine, Shenzhen University, Nanhai Avenue, Guangdong, Shenzhen, 3688, China

Applicant before: Li Qiaoliang

GR01 Patent grant
GR01 Patent grant