CN102143315B - 摄影机控制系统、方法及具有该控制系统的调整装置 - Google Patents

摄影机控制系统、方法及具有该控制系统的调整装置 Download PDF

Info

Publication number
CN102143315B
CN102143315B CN201010301097.1A CN201010301097A CN102143315B CN 102143315 B CN102143315 B CN 102143315B CN 201010301097 A CN201010301097 A CN 201010301097A CN 102143315 B CN102143315 B CN 102143315B
Authority
CN
China
Prior art keywords
user
face
video camera
dimensional model
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010301097.1A
Other languages
English (en)
Other versions
CN102143315A (zh
Inventor
李后贤
李章荣
罗治平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Electronics Tianjin Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN201010301097.1A priority Critical patent/CN102143315B/zh
Publication of CN102143315A publication Critical patent/CN102143315A/zh
Application granted granted Critical
Publication of CN102143315B publication Critical patent/CN102143315B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

一种摄影机调整装置包括一TOF摄影机、一轨道及一摄影机控制系统。所述TOF摄影机用于拍摄用户的影像以及得到用户身上各点与TOF摄影机之间的距离信息。所述摄影机控制系统用于接收摄影机所拍摄的用户的影像以及用户身上各点与TOF摄影机之间的距离信息,并据此得到用户的脸部立体模型,还用于对得到的脸部立体模型进行运算,以得知脸部立体模型的特征数据,并根据得到的脸部立体模型的特征数据发送对应的控制信号,以对应控制所述摄影机。本发明还提供了一种摄影机控制系统及方法。

Description

摄影机控制系统、方法及具有该控制系统的调整装置
技术领域
本发明涉及一种摄影机控制系统及方法,还涉及一种包括该控制系统的摄影机调整装置
背景技术
传统摄影机在需要改变镜头视角时,只能通过操作专属控制器来实现。在医疗领域,医生在对患者进行手术时,经常需要对患部进行多角度的观察,如此将给医生带来极大的不便
发明内容
鉴于以上内容,有必要提供一种摄影机控制系统及方法,所述控制系统及方法可使得用户能方便的控制摄影机。还有必要提供一种摄影机调整装置。
一种摄影机控制系统,用于控制一摄影机,包括:
一脸部侦测模块,用于接收来自一TOF摄影机所拍摄的用户的影像,并对其进行侦测以得到该影像中的脸部区域,所述TOF摄影机还用于得到用户身上各点与TOF摄影机之间的距离信息;
一立体模型建立模块,用于根据用户的影像以及用户身上各点与TOF摄影机之间的距离信息建立用户的脸部立体模型;
一第一计算模块,用于对得到的脸部立体模型进行运算,以得知用户的头部倾斜角度;以及
一控制模块,用于根据得到的头部倾斜角度发送对应的控制信号,以对应控制所述摄影机移动至一轨道的对应位置。
一种摄影机控制系统,用于控制一摄影机,包括:
一立体模型建立模块,用于根据由一TOF摄影机所得到的用户所在的场景内每一点与TOF摄影机之间的距离信息得到用户所在场景的立体模型,所述TOF摄影机还用于得到用户所在场景的图像;
一脸部侦测模块,用于侦测来自所述TOF摄影机的图像以得到图像中的脸部区域;
一背景去除模块,用于以图像中脸部区域内各点与TOF摄影机之间的距离信息为基准,将用户所在场景的立体模型中的背景以及用户的其他部位去除,以得到用户的脸部立体模型
一第一计算模块,用于对得到的脸部区域进行运算,以得知用户的头部倾斜角度;以及
一控制模块,用于根据得到的头部倾斜角度发送对应的控制信号,以对应控制所述摄影机移动至一轨道的对应位置。
一种摄影机控制方法,用于控制一摄影机,所述摄影机控制方法包括:
侦测步骤:接收来自一TOF摄影机所拍摄的用户的影像,并对其进行侦测以得到该影像中的脸部区域,所述TOF摄影机同时还得到用户身上各点与TOF摄影机之间的距离信息;
立体模型建立步骤:根据用户的影像以及用户身上各点与TOF摄影机之间的距离信息建立用户的脸部立体模型;
第一运算步骤:对得到的脸部区域进行运算,以得知用户的头部倾斜角度;以及
第一控制步骤:根据得到的头部倾斜角度发送对应的控制信号,以对应控制所述摄影机移动至一轨道的对应位置。
一种摄影机控制方法,用于控制一摄影机,所述摄影机控制方法包括:
立体模型建立步骤:根据由一TOF摄影机对用户进行拍摄时所得到的用户所在场景内各点与TOF摄影机之间的距离信息建立用户所在场景的立体模型,所述TOF摄影机还得到用户所在场景的图像;
侦测步骤:侦测来自所述TOF摄影机的图像以得到图像中的脸部区域;
背景去除步骤:以图像中脸部区域内各点与TOF摄影机之间的距离信息为基准,将用户所在场景的立体模型中的背景以及用户的其他部位去除,以得到用户的脸部立体模型;
第一运算步骤:对得到的脸部区域进行运算,以得知用户的头部倾斜角度;以及
第一控制步骤:根据得到的头部倾斜角度发送对应的控制信号,以对应控制所述摄影机移动至一轨道的对应位置。
一种摄影机调整装置,用于调整一摄影机,所述摄影机调整装置包括:
一TOF摄影机,用于拍摄用户的影像以及得到用户身上各点与TOF摄影机之间的距离信息;
一轨道,所述摄影机设置于所述轨道上且可在所述轨道上移动;以及
一摄影机控制系统,用于接收摄影机所拍摄的用户的影像以及用户身上各点与TOF摄影机之间的距离信息,并据此得到用户的脸部立体模型,还用于对得到的脸部立体模型进行运算,以得知脸部立体模型的特征数据,并根据得到的脸部立体模型的特征数据发送对应的控制信号,以对应控制所述摄影机。
上述摄影机调整装置、摄影机控制系统及摄影机控制方法通过对TOF摄影机所拍摄得到的用户的影像以及用户身上各点与TOF摄影机之间的距离信息进行处理,以得到用户的脸部立体模型,并通过对脸部立体模型进行运算以得知用户的脸部倾斜角度,从而发出对应的控制信号以控制摄影机作出对应的动作,避免通过专属控制器来控制摄影机的动作。当该摄影机控制系统及摄影机控制方法利用在医疗等领域时,将会给医疗人员带来极大的方便。
附图说明
图1是利用本发明摄影机调整装置的较佳实施方式的示意图。
图2是图1中摄影机控制系统的第一较佳实施方式的示意图。
图3A-3C为用户的头部倾斜时的示意图。
图4A-4C为用户的头部旋转时的示意图。
图5A-5C为用户抬头或低头时的示意图。
图6A是通过图1中摄影机调整装置调整摄影机的第一示意图。
图6B是通过图1中摄影机调整装置调整摄影机的第二示意图。
图6C是通过图1中摄影机调整装置调整摄影机的第三示意图。
图7是图1中摄影机控制装置的第二较佳实施方式的示意图。
图8是本发明摄影机控制方法的第一较佳实施方式的示意图。
图9是本发明摄影机控制方法的第二较佳实施方式的示意图。
主要元件符号说明
具体实施方式
下面结合附图及较佳实施方式对本发明作进一步详细描述:
请参考图1,本发明摄影机调整装置用于调整一摄影机10,如改变该摄影及10的镜头视角等。该摄影机调整装置的较佳实施方式包括一摄影机控制系统20、一TOF(Time-of-Flight)摄影机30及一轨道40。
所述TOF摄影机30用于拍摄用户50的影像以及用户50身上各点与TOF摄影机30之间的距离信息,并将该影像及距离信息传送至摄影机控制系统20。所述摄影机控制系统20对影像及距离信息进行处理之后,根据用户50的头部旋转角度、头部倾斜角度及脸部与TOF摄影机30之间的距离的远近对应控制摄影机10的镜头视角、镜头位置及缩放比例等。其中,所述摄影机10的镜头位置可通过控制摄影机10在轨道40上移动来实现。
本实施方式中,所述TOF摄像机30可将用户50身上各点均设置一二维坐标值,即将用户50的正面看作一二维平面,该二维平面内每一点均具有一二维坐标值。由于TOF摄影机30在拍摄用户50时,其将发射一定波长的信号,当信号遇到目标时即会反射至TOF摄影机30,信号发射与接收之间的时间差即表示了目标与TOF摄影机30之间的距离信息,因此所述TOF摄影机30即可得到每一二维坐标值所对应的点与TOF摄影机30之间的距离信息。
请继续参考图2,所述摄影机控制系统20的第一较佳实施方式包括一脸部侦测模块200、一立体模型建立模块205、一第一计算模块210、一第二计算模块220、一第三计算模块230、一第四计算模块250及一控制模块260。
所述脸部侦测模块200用于接收来自TOF摄影机30所拍摄的用户50的影像,并对其进行侦测以得到该影像中的脸部区域。其中,所述脸部侦测模块200可利用Adaboost算法对影像进行脸部侦测。
所述立体模型建立模块205用于建立用户50的脸部立体模型。本实施方式中,根据得到的脸部区域的坐标值范围内每一点与TOF摄影机30之间的距离信息即可生成一曲面,该曲面即可被当作是用户50的脸部立体模型。
所述第一计算模块210用于对得到的脸部立体模型进行运算,以得知此时用户50的头部的倾斜角度。本实施方式中,以用户50的脸部正对摄影机30为参考,即当用户50的脸部正对摄影机30时,用户50的头部的倾斜角度为0度。其中,所述第一计算模块210可通过计算得到的脸部立体模型与当用户50的脸部正对摄影机30时脸部区域之间的夹角来得到用户50的头部的倾斜角度。当然,其他实施方式中,所述第一计算模块210可利用更加复杂的计算方式,如通过复杂的算法得知用户50的视线方向,从而可以更精确地得到用户50的头部倾斜角度。如图3A-3C所示,图3A中用户50的头部倾斜角度为0度、图3B中用户50的头部倾斜角度为左侧X度、图3C中用户50的头部倾斜角度为右侧X度。
所述第二计算模块220用于对得到的脸部立体模型进行运算,以得知此时用户50的头部旋转角度。本实施方式中,以用户50的脸部正对TOF摄影机30为参考,即当用户50的脸部正对TOF摄影机30时,用户50的头部的旋转角度为0度。其中,所述第二计算模块220可通过计算脸部立体模型中眼球与TOF摄影机30的连线与当用户50的脸部正对TOF摄影机30时脸部区域中眼球与TOF摄影机30的连线之间的夹角来得到用户50的头部的旋转角度。当然,其他实施方式中,所述第二计算模块220可利用更加复杂的计算方式,如通过复杂的算法得知用户50的视线方向,从而可以更精确地得到用户50的头部的旋转角度。如图4A-4C所示,图4A中用户50的头部旋转角度为0度、图4B中用户50的头部旋转角度为向左X度、图4C中用户50的头部旋转角度为向右X度。
所述第三计算模块230用于对得到的脸部立体模型进行运算,以得知此时用户50的头部处于抬头或低头的状态。本实施方式中,以用户50的脸部正对TOF摄影机30为参考,即当用户50的脸部正对TOF摄影机30时,用户50既不抬头也不低头。其中,所述第三计算模块230可通过计算脸部立体模型中眼球的位置来得知用户50的头部为抬头或低头。当然,其他实施方式中,所述第三计算模块230甚至可利用更加复杂的计算方式,以得到用户50抬头或低头的角度。如图5A-5C所示,图5A中用户50既不抬头也不低头、图5B中用户50的头部为抬头、图5C中用户50的头部为低头。
所述第四计算模块250用于对得到的脸部立体模型进行运算,以得知此时用户50的脸部与TOF摄影机30之间的距离。本实施方式中,以用户50的脸部与TOF摄影机30之间的距离为50厘米为参考,即当用户50的脸部与TOF摄影机30之间的距离为50厘米时,所述第四计算模块250将此时用户50的脸部与TOF摄影机30之间的距离记为0厘米。其中,所述第四计算模块250可通过计算脸部立体模型的尺寸与当用户50的脸部与TOF摄影机30之间的距离为50厘米时脸部立体模型的尺寸之间的比例来得到用户50的脸部与TOF摄影机30之间的距离。当然,其他实施方式中,所述第四计算模块250可利用更加复杂的计算方式,以更精确地得到用户50的脸部距离。并且,其他实施方式中亦可以其他物体作为参照物,所述第四计算模块250用于计算用户50的脸部与参照物之间的距离。
其中,上述第一至第四计算模块210、220、230及250等特征处理模块也可以通过对脸部立体模型进行运算以得到其他数据,甚至可以包括用户50的眨眼次数,从而判断用户50此时的动作。在该情况下,可以自定义用户50脸部立体模型的某种特征即表示用户50的某一动作。
所述控制模块260用于根据得到的头部的倾斜角度、头部的旋转角度、用户50抬头或低头的角度以及脸部与参照物之间的距离发出对应的控制信号。该控制信号可通过自行设置,如当得知头部的倾斜角度为左侧10度时,所述控制模块260发送第一控制信号,以控制摄影机10沿轨道40逆时针运动10度;当得知头部的旋转角度为向左10度时,所述控制模块260发送第二控制信号,以控制摄影机10的镜头向左转动10度;当得知用户抬头10度时,所述控制模块260发送第三控制信号,以控制摄影机10的镜头上仰10度;当得知脸部与参照物之间的距离为向前10厘米时,所述控制模块260发送第四控制信号,以控制摄影机10的镜头焦距放大一倍。
本实施方式中,所述摄影机10还包括一驱动单元(图未示),所述驱动单元用于根据控制信号对应控制摄影机10的运动,如沿轨道40运动、镜头向左或向右转动、镜头上仰与下俯及镜头焦距的缩放等。其他实施方式中,所述摄影机控制系统20还包括一网络模块270。所述网络模块270用于将所述控制模块260得到的控制信号传送至驱动单元。
下面将以一实例对本发明摄影机控制系统20中的第一计算模块210的原理进行说明。其他计算模块的原理与此类似,在此不再赘述。
请参考图6A,当用户50的脸部正对TOF摄影机30时,所述TOF摄影机30对用户50进行拍摄以得到一影像,该影像经过脸部侦测模块200侦测之后得到用户的脸部区域,如图6A中图像510。之后经过立体模型建立模块205即可得到此时用户50的脸部立体模型。该脸部立体模型可被看作是参考模型,该参考模型所对应的用户的头部倾斜角度为0度。此时,所述摄影机10位于原点位置,即所述轨道40的A点处。
请继续参考图6B,当用户50的头部向左倾斜45度时,所述TOF摄影机30对用户50进行拍摄以得到一影像,该影像经过脸部侦测模块200侦测之后得到用户50的脸部区域,如图6B中图像520。之后经过立体模型建立模块205即可得到此时用户50的脸部立体模型。此时,所述第二计算模块210根据参考模型对得到的脸部立体模型进行运算,得知此时用户50的头部左倾45度。所述控制模块260根据得到的头部的倾斜角度为左倾45度发送控制信号至摄影机10的驱动单元,该驱动单元则对应控制摄影机10沿轨道40顺时针运动45度,即位于图6B中轨道40的B点处。
请继续参考图6C,当用户50的头部向右倾斜45度时,所述TOF摄影机30对用户50进行拍摄以得到一影像,该影像经过脸部侦测模块200侦测之后得到用户50的脸部区域,如图6C中图像530。之后经过立体模型建立模块205即可得到此时用户50的脸部立体模型。此时,所述第二计算模块210根据参考模型对得到的脸部立体模型进行运算,得知此时用户50的头部右倾45度。所述控制模块260根据得到的脸部的倾斜角度为右倾45度发送控制信号至摄影机10的驱动单元,该驱动单元则对应控制摄影机10沿轨道40逆时针运动45度,即位于图6C中轨道40的C点处。
请参考图7,本发明摄影机控制系统的第二较佳实施方式22包括脸部侦测模块200、立体模型建立模块205、第一计算模块210、第二计算模块220、第三计算模块230、第四计算模块250、控制模块260及一背景去除模块280。
所述立体模型建立模块205用于利用由TOF摄影机30所得到的用户50所在的场景内每一点与TOF摄影机30之间的距离信息得到用户50所在场景的立体模型,该用户50所在场景的立体模型不仅包括用户50的脸部,还包括用户50的脖子、胳膊等以及用户50身后的背景。
所述脸部侦测模块200用于侦测来自TOF摄影机30的图像,以得到图像中的脸部区域。所述背景去除模块280以图像中脸部区域内各点与TOF摄影机30之间的距离信息为基准,将用户50所在场景的立体模型中的背景以及用户50的其他部位去除,从而可得到用户50的脸部立体模型。由于TOF摄影机30在拍摄时可以得到用户50所在的场景内各点与TOF摄影机30之间的距离,因此,在后期处理时可仅保留用户50脸部区域内各点与TOF摄影机30之间的距离数据,从而删除用户50身后不必要的背景以及用户50的其他部位,如脖子、胳膊等。
所述第一计算模块210、第二计算模块220、第三计算模块230、第四计算模块250、控制模块260与第一较佳实施方式相同。在此不再赘述。
请参考图8,本发明摄影机控制方法的第一较佳实施方式包括以下步骤:
步骤S81:所述脸部侦测模块200接收来自TOF摄影机30所拍摄的用户的影像,并对其进行侦测以得到该影像中的脸部区域。其中,所述脸部侦测模块200可利用Adaboost算法对影像进行脸部侦测,并得到所述脸部区域510的坐标值范围。本实施方式中,所述TOF摄影机30拍摄用户50的图像的同时,还对用户50发射一定波长的信号,以通过信号发射与接收之间的时间差得到用户50身上各点与TOF摄影机30之间的距离信息。
步骤S82:所述立体模型建立模块205根据得到的脸部区域所对应的坐标值范围内各点到TOF摄影机30之间的距离信息生成一曲面,即可建立用户的脸部立体模型。
步骤S83:所述第一计算模块210对得到的脸部立体模型进行运算,以得知此时用户50的头部倾斜角度。本实施方式中,以用户50的脸部正对TOF摄影机30为参考,即当用户50的脸部正对TOF摄影机30时,用户50的头部的倾斜角度为0度。其中,所述第一计算模块210可通过计算得到的脸部立体模型与当用户50的脸部正对TOF摄影机30时脸部立体模型之间的夹角来得到用户50的头部的倾斜角度。当然,其他实施方式中,所述第一计算模块210可利用更加复杂的计算方式,以更精确地得到用户50的头部的倾斜角度。
步骤S84:所述第二计算模块220对得到的脸部立体模型进行运算,以得知此时用户50的头部旋转角度。本实施方式中,以用户50的脸部正对TOF摄影机30为参考,即当用户50的脸部正对TOF摄影机30时,用户50的头部的旋转角度为0度。其中,所述第二计算模块220可通过计算脸部立体模型中眼球与TOF摄影机30的连线与当用户50的脸部正对TOF摄影机30时脸部立体模型中眼球与TOF摄影机30的连线之间的夹角来得到用户50的头部的旋转角度。当然,其他实施方式中,所述第二计算模块220可利用更加复杂的计算方式,以更精确地得到用户50的头部的旋转角度。
步骤S85:所述第三计算模块230对得到的脸部立体模型进行运算,以得知此时用户50的头部处于抬头或低头的状态。本实施方式中,以用户50的脸部正对TOF摄影机30为参考,即当用户50的脸部正对TOF摄影机30时,用户50既不抬头也不低头。其中,所述第三计算模块230可通过计算脸部立体模型中眼球的位置来得知用户50的头部为抬头或低头。当然,其他实施方式中,所述第三计算模块230甚至可利用更加复杂的计算方式,以得到用户50抬头或低头的角度。
步骤S86:所述第四计算模块250对得到的脸部立体模型进行运算,以得知此时用户50的脸部与TOF摄影机30之间的距离。本实施方式中,以用户50的脸部与TOF摄影机30之间的距离为50厘米为参考,即当用户50的脸部与TOF摄影机30之间的距离为50厘米时,所述第四计算模块250将此时用户50的脸部与TOF摄影机30之间的距离记为0厘米。其中,所述第四计算模块250可通过计算脸部立体模型的尺寸与当用户50的脸部与TOF摄影机30之间的距离为50厘米时脸部立体模型的尺寸之间的比例来得到用户50的脸部与TOF摄影机30之间的距离。当然,其他实施方式中,所述第四计算模块250可利用更加复杂的计算方式,以更精确地得到用户50的脸部与TOF摄影机30之间的距离。并且,其他实施方式中亦可以其他物体为参照物,所述第四计算模块250用于计算得到用户50的脸部与参照物之间的距离。
其中,上述步骤S83、S84、S85及S86同时执行,即当立体模型建立模块205得到用户50的脸部立体模型之后,所述第一至第四计算模块210、220、230及250则对得到的脸部立体模型进行运算,以得知此时用户50的头部倾斜角度、头部旋转角度、用户50抬头或低头的角度以及脸部与参照物之间的距离。另外,上述第一至第四计算模块210、220、230及250也可以通过对脸部立体模型进行运算以得到其他数据,甚至可以包括用户50的眨眼次数,从而判断用户50此时的动作。在该情况下,可以自定义用户50脸部区域的某种特征即表示用户50的某一动作。在得知用户50的动作之后执行步骤S87。
步骤S87:所述控制模块260根据得到的头部的倾斜角度、头部的旋转角度、用户50抬头或低头的角度以及脸部与参照物之间的距离发出对应的控制信号。该控制信号可通过自行设置,如当得知头部的倾斜角度为右侧45度时,所述控制模块260发送控制信号以控制摄影机10沿轨道40顺时针运动45度;当得知头部的旋转角度为向右45度时,所述控制模块260发送控制信号以控制摄影机10的镜头向右转动45度;当得知用户50低头45度时,所述控制模块260发送控制信号以控制摄影机10的镜头下俯45度;当得知脸部与参照物之间的距离为向后10厘米时,所述控制模块260发送控制信号以控制摄影机10的镜头焦距缩小一倍。
请参考图9,本发明摄影机控制方法的第二较佳实施方式包括以下步骤:
步骤S91:所述立体模型建立模块205根据TOF摄影机30所得到的用户50身上每一点与TOF摄影机30之间的距离信息建立用户50所在场景的立体模型,该用户50所在场景的立体模型不仅包括用户50的脸部,还包括用户50的脖子、胳膊等以及用户50身后的背景。
步骤S92:所述脸部侦测模块200侦测来自TOF摄影机30的图像,以得到图像中的脸部区域。其中,所述脸部侦测模块200可利用Adaboost算法进行脸部侦测。
步骤S93:所述背景去除模块280以图像中脸部区域内各点与TOF摄影机30之间的距离信息为基准,将用户50所在场景的立体模型中的背景以及用户50的其他部位去除,从而可得到用户50的脸部立体模型。由于TOF摄影机30在拍摄时可以得到用户50所在的场景内各点与TOF摄影机30之间的距离,因此,在后期处理时可仅保留用户50脸部区域内各点与TOF摄影机30之间的距离数据,从而删除用户50身后不必要的背景以及用户50的其他部位,如脖子、胳膊等。
步骤S94:所述第一计算模块210对得到的脸部立体模型进行运算,以得知此时用户50的头部倾斜角度。本实施方式中,以用户50的脸部正对TOF摄影机30为参考,即当用户50的脸部正对TOF摄影机30时,用户50的头部的倾斜角度为0度。其中,所述第一计算模块210可通过计算得到的脸部立体模型与当用户50的脸部正对TOF摄影机30时脸部立体模型之间的夹角来得到用户50的头部的倾斜角度。当然,其他实施方式中,所述第一计算模块210可利用更加复杂的计算方式,以更精确地得到用户50的头部的倾斜角度。
步骤S95:所述第二计算模块220对得到的脸部立体模型进行运算,以得知此时用户50的头部旋转角度。本实施方式中,以用户50的脸部正对TOF摄影机30为参考,即当用户50的脸部正对TOF摄影机30时,用户50的头部的旋转角度为0度。其中,所述第二计算模块220可通过计算脸部立体模型中眼球与TOF摄影机30的连线与当用户50的脸部正对TOF摄影机30时脸部立体模型中眼球与TOF摄影机30的连线之间的夹角来得到用户50的头部的旋转角度。当然,其他实施方式中,所述第二计算模块220可利用更加复杂的计算方式,以更精确地得到用户50的头部的旋转角度。
步骤S96:所述第三计算模块230对得到的脸部立体模型进行运算,以得知此时用户50的头部处于抬头或低头的状态。本实施方式中,以用户50的脸部正对TOF摄影机30为参考,即当用户50的脸部正对TOF摄影机30时,用户50既不抬头也不低头。其中,所述第三计算模块230可通过计算脸部立体模型中眼球的位置来得知用户50的头部为抬头或低头。当然,其他实施方式中,所述第三计算模块230甚至可利用更加复杂的计算方式,以得到用户50抬头或低头的角度。
步骤S97:所述第四计算模块250对得到的脸部立体模型进行运算,以得知此时用户50的脸部与参照物之间的距离。本实施方式中,以用户50的脸部与TOF摄影机30之间的距离为50厘米为参考,即当用户50的脸部与TOF摄影机30之间的距离为50厘米时,所述第四计算模块250将此时用户50的脸部与TOF摄影机30之间的距离记为0厘米。其中,所述第四计算模块250可通过计算脸部立体模型的尺寸与当用户50的脸部与TOF摄影机30之间的距离为50厘米时脸部立体模型的尺寸之间的比例来得到用户50的脸部与参照物之间的距离。当然,其他实施方式中,所述第四计算模块250可利用更加复杂的计算方式,以更精确地得到用户50的脸部与参照物之间的距离。
其中,上述步骤S94、S95、S96及S97同时执行,即当得到用户50的脸部立体模型之后,所述第一至第四计算模块210、220、230及250则对得到的脸部立体模型进行运算,以得知此时用户50的头部倾斜角度、头部旋转角度、用户50抬头或低头的角度以及脸部与参照物之间的距离。另外,上述第一至第四计算模块210、220、230及250也可以通过对脸部立体模型进行运算以得到其他数据,甚至可以包括用户50的眨眼次数,从而判断用户50此时的动作。在该情况下,可以自定义用户50脸部区域的某种特征即表示用户50的某一动作。在得知用户50的动作之后执行步骤S98。
步骤S98:所述控制模块260根据得到的头部的倾斜角度、头部的旋转角度、用户50抬头或低头的角度以及脸部与参照物之间的距离发出对应的控制信号。该控制信号可通过用户50自行设置,如当得知头部的倾斜角度为右侧45度时,所述控制模块260发送控制信号以控制摄影机10沿轨道40顺时针运动45度;当得知头部的旋转角度为向右45度时,所述控制模块260发送控制信号以控制摄影机10的镜头向右转动45度;当得知用户50低头45度时,所述控制模块260发送控制信号以控制摄影机10的镜头下俯45度;当得知脸部与参照物之间的距离为向后10厘米时,所述控制模块260发送控制信号以控制摄影机10的镜头焦距缩小一倍。
上述摄影机控制系统20及摄影机控制方法通过对TOF摄影机30所拍摄得到的用户50的影像以及用户50身上各点与TOF摄影机30之间的距离信息进行处理,以得到用户50的脸部立体模型,并通过对脸部立体模型进行运算以得知用户50的头部倾斜角度、头部旋转角度、用户50抬头或低头的角度以及脸部与参照物之间的距离,从而发出对应的控制信号以控制摄影机10作出对应的动作,避免通过专属控制器来控制摄影机10的动作。当该摄影机控制系统20及摄影机控制方法利用在医疗等领域时,将会给医疗人员带来极大的方便。

Claims (25)

1.一种摄影机控制系统,用于控制一摄影机,包括:
一脸部侦测模块,用于接收来自一TOF摄影机所拍摄的用户的影像,并对其进行侦测以得到该影像中的脸部区域,所述TOF摄影机还用于得到用户身上各点与TOF摄影机之间的距离信息;
一立体模型建立模块,用于根据用户的影像以及用户身上各点与TOF摄影机之间的距离信息建立用户的脸部立体模型;
一第一计算模块,用于对得到的脸部立体模型进行运算,以得知用户的头部倾斜角度;以及
一控制模块,用于根据得到的头部倾斜角度发送对应的控制信号,以对应控制所述摄影机移动至一轨道的对应位置。
2.如权利要求1所述的摄影机控制系统,其特征在于:所述摄影机控制系统还包括一第二计算模块,所述第二计算模块用于对得到的脸部立体模型进行运算,以得知用户的头部旋转角度;所述控制模块还用于根据得到的头部旋转角度发送对应的控制信号,以对应控制所述摄影机的镜头向左或向右旋转至对应的位置。
3.如权利要求1所述的摄影机控制系统,其特征在于:所述摄影机控制系统还包括一第三计算模块,所述第三计算模块用于对得到的脸部立体模型进行运算,以得知用户抬头或低头的角度;所述控制模块还用于根据得到的用户抬头或低头的角度发送对应的控制信号,以对应控制所述摄影机的镜头上仰或下俯至对应的位置。
4.如权利要求1所述的摄影机控制系统,其特征在于:所述摄影机控制系统还包括一第四计算模块,所述第四计算模块用于对得到的脸部立体模型进行运算,以得知用户的脸部与一参照物之间的距离;所述控制模块还用于根据得到的脸部与参照物之间的距离发送对应的控制信号,以对应控制所述摄影机的镜头至对应的放大倍数。
5.一种摄影机控制系统,用于控制一摄影机,包括:
一立体模型建立模块,用于根据由一TOF摄影机所得到的用户所在的场景内每一点与TOF摄影机之间的距离信息得到用户所在场景的立体模型,所述TOF摄影机还用于得到用户所在场景的图像;
一脸部侦测模块,用于侦测来自所述TOF摄影机的图像以得到图像中的脸部区域;
一背景去除模块,用于以图像中脸部区域内各点与TOF摄影机之间的距离信息为基准,将用户所在场景的立体模型中的背景以及用户的其他部位去除,以得到用户的脸部立体模型;
一第一计算模块,用于对得到的脸部立体模型进行运算,以得知用户的头部倾斜角度;以及
一控制模块,用于根据得到的头部倾斜角度发送对应的控制信号,以对应控制所述摄影机移动至一轨道的对应位置。
6.如权利要求5所述的摄影机控制系统,其特征在于:所述摄影机控制系统还包括一第二计算模块,所述第二计算模块用于对得到的脸部立体模型进行运算,以得知用户的头部旋转角度;所述控制模块还用于根据得到的头部旋转角度发送对应的控制信号,以对应控制所述摄影机的镜头向左或向右旋转至对应的位置。
7.如权利要求5所述的摄影机控制系统,其特征在于:所述摄影机控制系统还包括一第三计算模块,所述第三计算模块用于对得到的脸部立体模型进行运算,以得知用户抬头或低头的角度;所述控制模块还用于根据得到的用户抬头或低头的角度发送对应的控制信号,以对应控制所述摄影机的镜头上仰或下俯至对应的位置。
8.如权利要求5所述的摄影机控制系统,其特征在于:所述摄影机控制系统还包括一第四计算模块,所述第四计算模块用于对得到的脸部立体模型进行运算,以得知用户的脸部与一参照物之间的距离;所述控制模块还用于根据得到的脸部与参照物之间的距离发送对应的控制信号,以对应控制所述摄影机的镜头至对应的放大倍数。
9.一种摄影机控制方法,用于控制一摄影机,所述摄影机控制方法包括:
侦测步骤:接收来自一TOF摄影机所拍摄的用户的影像,并对其进行侦测以得到该影像中的脸部区域,所述TOF摄影机同时还得到用户身上各点与TOF摄影机之间的距离信息;
立体模型建立步骤:根据用户的影像以及用户身上各点与TOF摄影机之间的距离信息建立用户的脸部立体模型;
第一运算步骤:对得到的脸部立体模型进行运算,以得知用户的头部倾斜角度;以及
第一控制步骤:根据得到的头部倾斜角度发送对应的控制信号,以对应控制所述摄影机移动至一轨道的对应位置。
10.如权利要求9所述的摄影机控制方法,其特征在于:所述立体模型建立步骤之后还包括:
对得到的脸部立体模型进行运算,以得知用户的头部旋转角度;以及
根据得到的头部旋转角度发送对应的控制信号,以对应控制所述摄影机的镜头向左或向右旋转至对应的位置。
11.如权利要求9所述的摄影机控制方法,其特征在于:所述立体模型建立步骤之后还包括:
对得到的脸部立体模型进行运算,以得知用户抬头或低头的角度;以及
根据得到的用户抬头或低头的角度发送对应的控制信号,以对应控制所述摄影机的镜头上仰或下俯至对应的位置。
12.如权利要求9所述的摄影机控制方法,其特征在于:所述立体模型建立步骤之后还包括:
对得到的脸部立体模型进行运算,以得知用户的脸部与一参照物之间的距离;以及
根据得到的脸部与参照物之间的距离发送对应的控制信号,以对应控制所述摄影机的镜头至对应的放大倍数。
13.一种摄影机控制方法,用于控制一摄影机,所述摄影机控制方法包括:
立体模型建立步骤:根据由一TOF摄影机对用户进行拍摄时所得到的用户所在场景内各点与TOF摄影机之间的距离信息建立用户所在场景的立体模型,所述TOF摄影机还得到用户所在场景的图像;
侦测步骤:侦测来自所述TOF摄影机的图像以得到图像中的脸部区域;
背景去除步骤:以图像中脸部区域内各点与TOF摄影机之间的距离信息为基准,将用户所在场景的立体模型中的背景以及用户的其他部位去除,以得到用户的脸部立体模型;
第一运算步骤:对得到的脸部立体模型进行运算,以得知用户的头部倾斜角度;以及
第一控制步骤:根据得到的头部倾斜角度发送对应的控制信号,以对应控制所述摄影机移动至一轨道的对应位置。
14.如权利要求13所述的摄影机控制方法,其特征在于:所述第一运算步骤包括:
对得到的脸部立体模型进行运算,以得知用户的头部旋转角度;以及
根据得到的头部旋转角度发送对应的控制信号,以对应控制所述摄影机的镜头向左或向右旋转至对应的位置。
15.如权利要求13所述的摄影机控制方法,其特征在于:所述背景去除步骤之后还包括:
对得到的脸部立体模型进行运算,以得知用户抬头或低头的角度;以及
根据得到的用户抬头或低头的角度发送对应的控制信号,以对应控制所述摄影机的镜头上仰或下俯至对应的位置。
16.如权利要求13所述的摄影机控制方法,其特征在于:所述背景去除步骤之后还包括:
对得到的脸部立体模型进行运算,以得知用户的脸部与一参照物之间的距离;以及
根据得到的脸部与参照物之间的距离发送对应的控制信号,以对应控制所述摄影机的镜头至对应的放大倍数。
17.一种摄影机调整装置,用于调整一摄影机,所述摄影机调整装置包括:
一TOF摄影机,用于拍摄用户的影像以及得到用户身上各点与TOF摄影机之间的距离信息;
一轨道,所述摄影机设置于所述轨道上且可在所述轨道上移动;以及
一摄影机控制系统,用于接收摄影机所拍摄的用户的影像以及用户身上各点与TOF摄影机之间的距离信息,并据此得到用户的脸部立体模型,还用于对得到的脸部立体模型进行运算,以得知脸部立体模型的特征数据,并根据得到的脸部立体模型的特征数据发送对应的控制信号,以对应控制所述摄影机。
18.如权利要求17所述的摄影机调整装置,其特征在于:所述摄影机控制系统包括:
一脸部侦测模块,用于接收来自TOF摄影机所拍摄的用户的影像,并对其进行侦测以得到该影像中的脸部区域;
一立体模型建立模块,用于根据用户的影像以及用户身上各点与TOF摄影机之间的距离信息建立用户的脸部立体模型;
一第一计算模块,用于对得到的脸部立体模型进行运算,以得知用户的头部倾斜角度;以及
一控制模块,用于根据得到的头部倾斜角度发送对应的控制信号,以对应控制所述摄影机移动至轨道的对应位置。
19.如权利要求18所述的摄影机调整装置,其特征在于:所述摄影机控制系统还包括一第二计算模块,所述第二计算模块用于对得到的脸部立体模型进行运算,以得知用户的头部旋转角度;所述控制模块还用于根据得到的头部旋转角度发送对应的控制信号,以对应控制所述摄影机的镜头向左或向右旋转至对应的位置。
20.如权利要求18所述的摄影机调整装置,其特征在于:所述摄影机控制系统还包括一第三计算模块,所述第三计算模块用于对得到的脸部立体模型进行运算,以得知用户抬头或低头的角度;所述控制模块还用于根据得到的用户抬头或低头的角度发送对应的控制信号,以对应调整所述摄影机的镜头上仰或下俯至对应的位置。
21.如权利要求18所述的摄影机调整装置,其特征在于:所述摄影机控制系统还包括一第四计算模块,所述第四计算模块用于对得到的脸部立体模型进行运算,以得知用户的脸部与一参照物之间的距离;所述控制模块还用于根据得到的脸部与参照物之间的距离发送对应的控制信号,以对应调整所述摄影机的镜头至对应的放大倍数。
22.如权利要求17所述的摄影机调整装置,其特征在于:所述摄影机控制系统包括:
一立体模型建立模块,用于根据由TOF摄影机所得到的用户所在的场景内每一点与TOF摄影机之间的距离信息得到用户所在场景的立体模型;
一脸部侦测模块,用于侦测来自所述TOF摄影机的图像以得到图像中的脸部区域;
一背景去除模块,用于以图像中脸部区域内各点与TOF摄影机之间的距离信息为基准,将用户所在场景的立体模型中的背景以及用户的其他部位去除,以得到用户的脸部立体模型;
一第一计算模块,用于对得到的脸部立体模型进行运算,以得知用户的头部倾斜角度;以及
一控制模块,用于根据得到的头部倾斜角度发送对应的控制信号,以对应控制所述摄影机移动至轨道的对应位置。
23.如权利要求22所述的摄影机调整装置,其特征在于:所述摄影机控制系统还包括一第二计算模块,所述第二计算模块用于对得到的脸部立体模型进行运算,以得知用户的头部旋转角度;所述控制模块还用于根据得到的头部旋转角度发送对应的控制信号,以对应控制所述摄影机的镜头向左或向右旋转至对应的位置。
24.如权利要求22所述的摄影机调整装置,其特征在于:所述摄影机控制系统还包括一第三计算模块,所述第三计算模块用于对得到的脸部立体模型进行运算,以得知用户抬头或低头的角度;所述控制模块还用于根据得到的用户抬头或低头的角度发送对应的控制信号,以对应调整所述摄影机的镜头上仰或下俯至对应的位置。
25.如权利要求22所述的摄影机调整装置,其特征在于:所述摄影机控制系统还包括一第四计算模块,所述第四计算模块用于对得到的脸部立体模型进行运算,以得知用户的脸部与一参照物之间的距离;所述控制模块还用于根据得到的脸部与参照物之间的距离发送对应的控制信号,以对应调整所述摄影机的镜头至对应的放大倍数。
CN201010301097.1A 2010-02-02 2010-02-02 摄影机控制系统、方法及具有该控制系统的调整装置 Expired - Fee Related CN102143315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010301097.1A CN102143315B (zh) 2010-02-02 2010-02-02 摄影机控制系统、方法及具有该控制系统的调整装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010301097.1A CN102143315B (zh) 2010-02-02 2010-02-02 摄影机控制系统、方法及具有该控制系统的调整装置

Publications (2)

Publication Number Publication Date
CN102143315A CN102143315A (zh) 2011-08-03
CN102143315B true CN102143315B (zh) 2017-08-04

Family

ID=44410515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010301097.1A Expired - Fee Related CN102143315B (zh) 2010-02-02 2010-02-02 摄影机控制系统、方法及具有该控制系统的调整装置

Country Status (1)

Country Link
CN (1) CN102143315B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985225B (zh) * 2018-07-13 2021-12-14 北京猎户星空科技有限公司 焦点跟随方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226407A (zh) * 2008-01-24 2008-07-23 北京中星微电子有限公司 一种显示装置角度自动调整系统及方法
CN101470446A (zh) * 2007-12-27 2009-07-01 佛山普立华科技有限公司 显示方向自动调整的显示装置及其方法
CN101616310A (zh) * 2009-07-17 2009-12-30 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2406000A1 (en) * 2000-04-12 2001-10-25 Thomas D. Laing Interactive video device and method of use
US20030169906A1 (en) * 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470446A (zh) * 2007-12-27 2009-07-01 佛山普立华科技有限公司 显示方向自动调整的显示装置及其方法
CN101226407A (zh) * 2008-01-24 2008-07-23 北京中星微电子有限公司 一种显示装置角度自动调整系统及方法
CN101616310A (zh) * 2009-07-17 2009-12-30 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法

Also Published As

Publication number Publication date
CN102143315A (zh) 2011-08-03

Similar Documents

Publication Publication Date Title
JP6858650B2 (ja) 画像レジストレーションの方法及びシステム
US20220004758A1 (en) Eye pose identification using eye features
CN107813310A (zh) 一种基于双目视觉多手势机器人控制方法
CN106570899B (zh) 一种目标物体检测方法及装置
WO2023071884A1 (zh) 注视检测方法、电子设备的控制方法及相关设备
CN108510545B (zh) 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN107958479A (zh) 一种移动端3d人脸增强现实实现方法
CN106709895A (zh) 图像生成方法和设备
JP2007219765A (ja) 画像処理装置、その方法、および画像処理用プログラム
CN104939793A (zh) 基于液体透镜的可调焦3-d胶囊内窥镜系统
KR20150107597A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN109785373B (zh) 一种基于散斑的六自由度位姿估计系统及方法
US20130057652A1 (en) Handheld Scanning Device
US20200098118A1 (en) Image processing apparatus and image processing method
WO2020181506A1 (zh) 一种图像处理方法、装置及系统
CN108007426A (zh) 一种摄像头测距方法和系统
WO2023236508A1 (zh) 一种基于亿像素阵列式相机的图像拼接方法及系统
WO2021065265A1 (ja) 大きさ推定装置、大きさ推定方法および記憶媒体
Perra et al. Adaptive eye-camera calibration for head-worn devices
TW201129084A (en) Controlling system and method for camera, adjusting apparatus for camera including the same
CN102143315B (zh) 摄影机控制系统、方法及具有该控制系统的调整装置
TW201128444A (en) Controlling system and method for camera, adjusting apparatus for camera including the same
CN113902721A (zh) 一种工件位置的调整方法、控制处理装置及调整系统
US11054659B2 (en) Head mounted display apparatus and distance measurement device thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180202

Address after: Haiyun Tianjin economic and Technological Development Zone, Tianjin street, No. 80

Patentee after: Hongfujin Precision Electronics (Tianjin) Co., Ltd.

Address before: 518109 Guangdong city of Shenzhen province Baoan District Longhua Town Industrial Zone tabulaeformis tenth East Ring Road No. 2 two

Co-patentee before: Hon Hai Precision Industry Co., Ltd.

Patentee before: Hongfujin Precise Industry (Shenzhen) Co., Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170804

Termination date: 20180202

CF01 Termination of patent right due to non-payment of annual fee