CN102143316A - Ptz摄影机控制系统、方法及具有该控制系统之调整装置 - Google Patents
Ptz摄影机控制系统、方法及具有该控制系统之调整装置 Download PDFInfo
- Publication number
- CN102143316A CN102143316A CN2010103011014A CN201010301101A CN102143316A CN 102143316 A CN102143316 A CN 102143316A CN 2010103011014 A CN2010103011014 A CN 2010103011014A CN 201010301101 A CN201010301101 A CN 201010301101A CN 102143316 A CN102143316 A CN 102143316A
- Authority
- CN
- China
- Prior art keywords
- video camera
- face
- user
- dimensional model
- obtains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
一种PTZ摄影机调整装置，用于调整一PTZ摄影机。所述PTZ摄影机调整装置包括一摄影机及一摄影机控制系统。所述摄影机用于拍摄用户的影像。所述摄影机控制系统用于接收摄影机所拍摄的用户的影像，并对其进行侦测以得到该影像中的脸部区域，还用于对得到的脸部区域进行运算，以得知脸部区域的特征数据，并根据得到的脸部区域的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。本发明还提供了一种PTZ摄影机控制系统及方法。
Description
技术领域
本发明涉及一种摄影机控制系统及方法，特别涉及一种PTZ摄影机的控制系统及方法。还涉及一种PTZ摄影机调整装置。
背景技术
PTZ摄影机是一种监控用摄影机，其镜头具有左右转动(Pan)、上下转动(Tile)与放大(Zoom)等功能，从而控制PTZ摄影机镜头改变拍摄角度与焦距。传统PTZ摄影机在需要改变镜头视角时，只能通过操作专属控制器来实现。如此则对于手脚活动不方便的人士而言非常不便。
发明内容
鉴于以上内容，有必要提供一种PTZ摄影机控制系统及方法，所述控制系统及方法可使得用户不需要通过操作专属控制器即可对PTZ摄影机进行控制。
一种PTZ摄影机控制系统，用于控制一PTZ摄影机，包括：
一脸部侦测模块，用于接收来自一TOF摄影机所拍摄的用户的影像，并对其进行侦测以得到该影像中的脸部区域，所述TOF摄影机还用于得到用户身上各点与TOF摄影机之间的距离信息；
一立体模型建立模块，用于根据用户的影像以及用户身上各点与TOF摄影机之间的距离信息建立用户的脸部立体模型；
一特征处理模块，用于对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据；以及
一控制模块，用于根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。
一种PTZ摄影机控制系统，用于控制一PTZ摄影机，包括：
一立体模型建立模块，用于根据由一TOF摄影机所得到的用户所在的场景内每一点与TOF摄影机之间的距离信息得到用户所在场景的立体模型，所述TOF摄影机还用于得到用户所在场景的图像；
一脸部侦测模块，用于侦测来自所述TOF摄影机的图像以得到图像中的脸部区域；
一背景去除模块，用于以图像中脸部区域内各点与TOF摄影机之间的距离信息为基准，将用户所在场景的立体模型中的背景以及用户的其他部位去除，以得到用户的脸部立体模型；
一特征处理模块，用于对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据；以及
一控制模块，用于根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。
一种PTZ摄影机控制方法，用于控制一PTZ摄影机，所述PTZ摄影机控制方法包括：
侦测步骤：接收来自一TOF摄影机所拍摄的用户的影像，并对其进行侦测以得到该影像中的脸部区域，所述TOF摄影机同时还得到用户身上各点与TOF摄影机之间的距离信息；
立体模型建立步骤：根据用户的影像以及用户身上各点与TOF摄影机之间的距离信息建立用户的脸部立体模型；
运算步骤：对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据；以及
控制步骤：根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。
一种PTZ摄影机控制方法，用于控制一PTZ摄影机，所述PTZ摄影机控制方法包括：
立体模型建立步骤：根据由一TOF摄影机对用户进行拍摄时所得到的用户所在场景内各点与TOF摄影机之间的距离信息建立用户所在场景的立体模型，所述TOF摄影机还得到用户所在场景的图像；
侦测步骤：侦测来自所述TOF摄影机的图像以得到图像中的脸部区域；
背景去除步骤：以图像中脸部区域内各点与TOF摄影机之间的距离信息为基准，将用户所在场景的立体模型中的背景以及用户的其他部位去除，以得到用户的脸部立体模型；
运算步骤：对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据；以及
控制步骤：根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。
一种PTZ摄影机调整装置，用于调整一PTZ摄影机，所述PTZ摄影机调整装置包括：
一TOF摄影机，用于拍摄用户的影像以及得到用户身上各点与TOF摄影机之间的距离信息；以及
一PTZ摄影机控制系统，用于接收摄影机所拍摄的用户的影像以及用户身上各点与TOF摄影机之间的距离信息，并据此得到用户的脸部立体模型，还用于对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据，并根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。
上述PTZ摄影机调整装置、PTZ摄影机控制系统及PTZ摄影机控制方法通过对TOF摄影机所拍摄得到的用户的影像以及距离信息进行处理，以得到用户的脸部立体模型，并通过对脸部立体模型进行运算以得知脸部立体模型的特征数据，从而发出对应的控制信号以控制PTZ摄影机作出对应的动作，避免通过专属控制器来控制PTZ摄影机的动作，将会给手脚不方便的人士带来极大的方便。
附图说明
图1是利用本发明PTZ摄影机调整装置的较佳实施方式的示意图。
图2是图1中PTZ摄影机控制系统的第一较佳实施方式的示意图。
图3是用户的脸部旋转时TOF摄影机拍摄所得到的图像的示意图。
图4是用户抬头或低头时TOF摄影机拍摄所得到的图像的示意图。
图5是用户远离或靠近TOF摄影机时TOF摄影机拍摄所得到的图像的示意图。
图6A为一房间的全景视图。
图6B为用户的脸部正对TOF摄影机时TOF摄影机拍摄所得到的图像以及PTZ摄影机所得到的图像。
图6C为用户的脸部左转时TOF摄影机拍摄所得到的图像以及PTZ摄影机所得到的图像。
图6D为用户的脸部右转时TOF摄影机拍摄所得到的图像以及PTZ摄影机所得到的图像。
图7A为用户抬头时TOF摄影机拍摄得到的图像以及PTZ摄影机所得到的图像。
图7B为用户低头时TOF摄影机拍摄得到的图像以及PTZ摄影机所得到的图像。
图8A为用户远离TOF摄影机时TOF摄影机拍摄得到的图像以及PTZ摄影机所得到的图像。
图8B为用户靠近TOF摄影机时TOF摄影机拍摄得到的图像以及PTZ摄影机所得到的图像。
图9是图1中PTZ摄影机控制系统的第二较佳实施方式的示意图。
图10是本发明PTZ摄影机控制方法的第一较佳实施方式的示意图。
图11是本发明PTZ摄影机控制方法的第二较佳实施方式的示意图。
主要元件符号说明
具体实施方式
下面结合附图及较佳实施方式对本发明作进一步详细描述：
请参考图1，本发明PTZ摄影机调整装置用于调整一PTZ摄影机10，如改变该PTZ摄影机10的镜头视角等。该PTZ摄影机调整装置的较佳实施方式包括一PTZ摄影机控制系统20及一TOF(Time-of-Flight)摄影机30。
所述TOF摄影机30用于拍摄用户50的影像以及用户50身上各点与TOF摄影机30之间的距离信息，并将该影像及距离信息传送至PTZ摄影机控制系统20。所述PTZ摄影机控制系统20对影像及距离信息进行处理之后，根据用户50的头部旋转角度、抬头或低头以及脸部与TOF摄像机30之间的距离对应控制PTZ摄影机10的镜头，如控制PTZ摄影机10的镜头旋转与伸缩等。本实施方式中，所述PTZ摄影机10安装于一房间60的天花板上，所述TOF摄影机30则位于用户的办公室，如此用户50即可在办公室远程监控房间60内的状况。
本实施方式中，所述TOF摄像机30可将用户50身上各点均设置一二维坐标值，即将用户50的正面看作一二维平面，该二维平面内每一点均具有一二维坐标值。由于TOF摄影机30在拍摄用户50时，其将发射一定波长的信号，当信号遇到目标时即会反射至TOF摄影机30，信号发射与接收之间的时间差即表示了目标与TOF摄影机30之间的距离信息，因此所述TOF摄影机30即可得到每一二维坐标值所对应的点与TOF摄影机30之间的距离信息。
请继续参考图2，所述PTZ摄影机控制系统20的第一较佳实施方式包括一脸部侦测模块200、一立体模型建立模块210、一第一计算模块220、一第二计算模块230、一第三计算模块250及一控制模块260。
所述脸部侦测模块200用于接收来自TOF摄影机30所拍摄的用户50的影像，并对其进行侦测以得到该影像中的脸部区域。其中，所述脸部侦测模块200可利用Adaboost算法对影像进行脸部侦测。
所述立体模型建立模块210用于建立用户50的脸部立体模型。本实施方式中，根据得到的脸部区域的坐标值范围内每一点与TOF摄影机30之间的距离信息即可生成一曲面，该曲面即可被当作是用户50的脸部立体模型。
所述第一计算模块220用于对得到的脸部立体模型进行运算，以得知此时用户50的头部旋转角度。本实施方式中，以用户50的脸部正对TOF摄影机30为参考，即当用户50的脸部正对TOF摄影机30时，用户50的头部的旋转角度为0度。其中，所述第一计算模块220可通过计算脸部立体模型中眼球与TOF摄影机30的连线与当用户50的脸部正对TOF摄影机30时脸部立体模型中眼球与TOF摄影机30的连线之间的夹角来得到用户50的头部旋转角度。当然，其他实施方式中，所述第一计算模块220可利用更加复杂的计算方式，如通过复杂的算法得知用户50的视线方向，从而可以更精确地得到用户50的头部旋转角度。如图3所示，当用户50的脸部正对所述TOF摄影机30时得到图像500，所述立体模型建立模块210根据图像500以及用户50身上各点与TOF摄影机30之间的距离信息可得到对应的脸部立体模型(图未示)，该脸部立体模型可被看作是参考模型，该参考模型所对应的用户的头部旋转角度为0度。当用户50的头部向右或向左旋转时则会分别得到图像501及502，所述立体模型建立模块210对图像501、502以及用户50身上各点与TOF摄影机30之间的距离信息分别得到对应的脸部立体模型(图未示)。所述第一计算模块220将得到的脸部立体模型与参考模型进行比对之后即可得知，图像501所对应的脸部立体模型为用户50的头部向右旋转时所得到的立体模型，此时用户50的头部旋转角度为向右X度；图像502所对应的脸部立体模型为用户50的头部向左旋转时所得到的立体模型，此时用户50的头部旋转角度为向左X度。
所述第二计算模块230用于对得到的脸部立体模型进行运算，以得知此时用户50的头部处于抬头或低头的状态。本实施方式中，以用户50的脸部正对TOF摄影机30为参考，即当用户50的脸部正对TOF摄影机30时，用户50既不抬头也不低头。其中，所述第二计算模块230可通过计算脸部立体模型中眼球的位置来得知用户50的头部为抬头或低头。当然，其他实施方式中，所述第二计算模块230甚至可利用更加复杂的计算方式，如通过复杂的算法得知用户50的视线方向，从而可以得到用户50抬头或低头的角度。如图4所示，当用户50既不抬头也不低头时得到图像510，所述立体模型建立模块210根据图像510以及用户50身上各点与TOF摄影机30之间的距离信息可得到对应的脸部立体模型(图未示)，该脸部立体模型可被看作是参考模型，该参考模型所对应的用户50为既不抬头也不低头。当用户50抬头或低头时则会分别得到图像511及512，所述立体模型建立模块210根据图像511、512以及用户50身上各点与TOF摄影机30之间的距离信息分别得到对应的脸部立体模型(图未示)。所述第二计算模块230将得到的脸部立体模型与参考模型进行比对之后即可得知，图像511所对应的脸部立体模型为用户50抬头时所得到的立体模型；图像512所对应的脸部立体模型为用户50低头时所得到的立体模型。
所述第三计算模块250用于对得到的脸部立体模型进行运算，以得知此时用户50的脸部与TOF摄影机30之间的距离。本实施方式中，以用户50的脸部与TOF摄影机30之间的距离为50厘米为参考，即当用户50的脸部与TOF摄影机30之间的距离为50厘米时，所述第三计算模块250将此时用户50的脸部与TOF摄影机30之间的距离记作0厘米。其中，所述第三计算模块250可通过计算脸部立体模型的尺寸与当用户50的脸部与TOF摄影机30之间的距离为50厘米时脸部立体模型的尺寸之间的比例来得到用户50的脸部与TOF摄影机30之间的距离。当然，其他实施方式中，所述第三计算模块250可利用更加复杂的计算方式，以更精确地得到用户50的脸部与TOF摄影机30之间的距离。另外，其他实施方式也可以计算用户50的脸部与其他参照物之间的距离。如图5所示，当用户50的脸部与TOF摄影机30之间的距离为50厘米时得到图像520，所述立体模型建立模块210根据图像520以及用户50身上各点与TOF摄影机30之间的距离信息可得到对应的脸部立体模型(图未示)，该脸部立体模型可被看作是参考模型，该参考模型所对应的用户的脸部与TOF摄影机30之间的距离为0厘米。当用户50靠近或远离TOF摄影机30时则会分别得到图像521及522，所述立体模型建立模块210根据图像521、522以及用户50身上各点与TOF摄影机30之间的距离信息分别得到对应的脸部立体模型(图未示)。所述第三计算模块250将得到的脸部立体模型与参考模型进行比对之后即可得知，图像521所对应的脸部立体模型为用户50的脸部与TOF摄影机30之间的距离为向前X厘米时所得到的立体模型；图像522所对应的脸部立体模型为用户50的脸部与TOF摄影机30之间的距离为向后X厘米时所得到的立体模型。
其中，上述第一至第三计算模块220、230及250等特征处理模块也可以通过对脸部立体模型进行运算以得到其他数据，甚至可以包括用户50的眨眼次数，从而判断用户50此时的动作。在该情况下，可以自定义用户50脸部立体模型的某种特征即表示用户50的某一动作。
所述控制模块260用于根据得到的头部的旋转角度、用户50抬头或低头的角度以及脸部与TOF摄影机30之间的距离发出对应的控制信号。该控制信号可通过自行设置，如当得知头部旋转角度为向左10度时，所述控制模块260发送第一控制信号，以控制摄影机10的镜头向左转动10度；当得知用户50抬头10度时，所述控制模块260发送第二控制信号，以控制摄影机10的镜头上仰10度；当得知脸部与TOF摄影机30之间的距离为向前10厘米时，所述控制模块260发送第三控制信号，以控制摄影机10的镜头放大一倍。
其他实施方式中，所述PTZ摄影机控制系统20还包括一网络模块270。所述网络模块270用于将所述控制模块260得到的控制信号传送至PTZ摄影机10，以对应控制PTZ摄影机10的镜头。
下面将分别以三个实例分别对本发明PTZ摄影机控制系统20中的第一计算模块220、第二计算模块230及第三计算模块250的原理进行说明。
第一计算模块220：
请参考图6A，所示为所述房间60的全景视图。所述PTZ摄影机10用于对该房间60进行拍摄。
请继续参考图6B，当用户50的脸部正对TOF摄影机30时，所述TOF摄影机30对用户50进行拍摄以得到一影像，该影像经过脸部侦测模块200侦测之后得到用户的脸部区域，如图6B中图像600。之后经过立体模型建立模块210即可得到此时用户50的脸部立体模型(图未示)。此时，所述PTZ摄影机10的镜头正对房间60进行拍摄，得到如图中的影像601。
请继续参考图6C，当用户50的头部向左旋转X度时，所述摄影机30对用户50进行拍摄以得到一影像，该影像经过脸部侦测模块200侦测之后得到用户50的脸部区域，如图6C中图像602。之后经过立体模型建立模块210即可得到此时用户50的脸部立体模型(图未示)。此时，所述第一计算模块220对由图像602及距离信息得到的脸部立体模型进行运算，得知此时用户50的头部向左旋转X度。所述控制模块260根据得到的头部的旋转角度为左转X度发送控制信号至PTZ摄影机10，以对应控制PTZ摄影机10的镜头向左旋转X度，以得到如图6C中的影像603。
请继续参考图6D，当用户50的头部向右旋转X度时，所述摄影机30对用户50进行拍摄以得到一影像，该影像经过脸部侦测模块200侦测之后得到用户的脸部区域，如图6D中图像605。之后经过立体模型建立模块210即可得到此时用户的脸部立体模型(图未示)。此时，所述第一计算模块220对由图像605及距离信息得到的脸部立体模型进行运算，得知此时用户50的头部向右旋转X度。所述控制模块260根据得到的头部的旋转角度为向右旋转X度发送控制信号至PTZ摄影机10，以对应控制PTZ摄影机10的镜头向右旋转X度，以得到如图6D中的影像606。
第二计算模块230：
当用户50的脸部正对TOF摄影机30，即用户50既不抬头也不低头时，所述PTZ摄影机10所拍摄得到的影像与图6B中影像601相同。
请参考图7A，当用户50低头时，所述TOF摄影机30对用户50进行拍摄以得到一影像，该影像经过脸部侦测模块200侦测之后得到用户的脸部区域，如图7A中图像702。之后经过立体模型建立模块210即可得到此时用户50的脸部立体模型(图未示)。此时，所述第二计算模块230对得到的脸部立体模型进行运算，得知此时用户50处于低头状态。所述控制模块260据此发送控制信号至PTZ摄影机10，以对应控制PTZ摄影机10的镜头下俯，以得到如图7A中的影像703。
请继续参考图7B，当用户50抬头时，所述TOF摄影机30对用户50进行拍摄以得到一影像，该影像经过脸部侦测模块200侦测之后得到用户50的脸部区域，如图7B中图像705。之后经过立体模型建立模块210即可得到此时用户50的脸部立体模型。此时，所述第二计算模块230对得到的脸部立体模型进行运算，得知此时用户50处于抬头状态。所述控制模块260据此发送控制信号至PTZ摄影机10，以对应控制PTZ摄影机10的镜头上仰，以得到如图7B中的影像706。
第三计算模块250：
当用户50的脸部与TOF摄影机30之间的距离为50厘米，即第三计算模块250计算得到用户50的脸部与TOF摄影机30之间的距离为0厘米时，所述PTZ摄影机10所拍摄得到的影像与图6B中影像601相同。
请参考图8A，当用户50靠近TOF摄影机30时，所述TOF摄影机30对用户50进行拍摄以得到一影像，该影像经过脸部侦测模块200侦测之后得到用户50的脸部区域，如图8A中图像802。之后经过立体模型建立模块210即可得到此时用户50的脸部立体模型。此时，所述第三计算模块250对得到的脸部立体模型进行运算，得知此时用户50与TOF摄影机30之间的距离为向前X厘米。所述控制模块260据此发送控制信号至PTZ摄影机10，以对应控制PTZ摄影机10的镜头放大，以得到如图8A中的影像803。
请继续参考图8B，当用户50远离TOF摄影机30时，所述TOF摄影机30对用户50进行拍摄以得到一影像，该影像经过脸部侦测模块200侦测之后得到用户50的脸部区域，如图8B中图像805。之后经过立体模型建立模块210即可得到此时用户50的脸部立体模型。此时，所述第三计算模块250对得到的脸部立体模型进行运算，得知此时用户50与TOF摄影机30之间的距离为向后X厘米。所述控制模块260据此发送控制信号至PTZ摄影机10，以对应控制PTZ摄影机10的镜头焦距缩小，以得到如图8B中的影像806。
请参考图9，PTZ摄影机控制系统22的第二较佳实施方式包括脸部侦测模块200、立体模型建立模块210、第一计算模块220、第二计算模块230、第三计算模块250、控制模块260及一背景去除模块280。
所述立体模型建立模块210用于利用由TOF摄影机30所得到的用户50所在的场景内每一点与TOF摄影机30之间的距离信息得到用户50所在场景的立体模型，该用户50所在场景的立体模型不仅包括用户50的脸部，还包括用户50的脖子、胳膊等以及用户50身后的背景。
所述脸部侦测模块200用于侦测来自TOF摄影机30的图像，以得到图像中的脸部区域。所述背景去除模块280以图像中脸部区域内各点与TOF摄影机30之间的距离信息为基准，将用户50所在场景的立体模型中的背景以及用户50的其他部位去除，从而可得到用户50的脸部立体模型。由于TOF摄影机30在拍摄时可以得到用户50所在的场景内各点与TOF摄影机30之间的距离，因此，在后期处理时可仅保留用户50脸部区域内各点与TOF摄影机30之间的距离数据，从而删除用户50身后不必要的背景以及用户50的其他部位，如脖子、胳膊等。
所述第一计算模块220、第二计算模块230、第三计算模块250、控制模块260与第一较佳实施方式相同。在此不再赘述。
请参考图10，本发明PTZ摄影机控制方法的第一较佳实施方式包括以下步骤：
步骤S101：所述脸部侦测模块200接收来自TOF摄影机30所拍摄的用户50的影像，并对其进行侦测以得到该影像中的脸部区域。其中，所述脸部侦测模块200可利用Adaboost算法对影像进行脸部侦测，并得到所述脸部区域510的坐标值范围。本实施方式中，所述TOF摄影机30拍摄用户50的图像的同时，还对用户50发射一定波长的信号，以通过信号发射与接收之间的时间差得到用户50身上各点与TOF摄影机30之间的距离信息。
步骤S102：所述立体模型建立模块210根据得到的脸部区域所对应的坐标值范围内各点到TOF摄影机30之间的距离信息生成一曲面，即可建立用户50的脸部立体模型。
步骤S103：所述第一计算模块220对得到的脸部立体模型进行运算，以得知此时用户50的头部旋转角度。本实施方式中，以用户50的脸部正对TOF摄影机30为参考，即当用户50的脸部正对TOF摄影机30时，用户50的头部的旋转角度为0度。其中，所述第一计算模块220可通过计算脸部立体模型中眼球与TOF摄影机30的连线与当用户50的脸部正对TOF摄影机30时脸部立体模型中眼球与TOF摄影机30的连线之间的夹角来得到用户50的头部的旋转角度。当然，其他实施方式中，所述第一计算模块220可利用更加复杂的计算方式，以更精确地得到用户50的头部的旋转角度。
步骤S104：所述第二计算模块230对得到的脸部立体模型进行运算，以得知此时用户50的头部处于抬头或低头的状态。本实施方式中，以用户50的脸部正对TOF摄影机30为参考，即当用户50的脸部正对TOF摄影机30时，用户50既不抬头也不低头。其中，所述第二计算模块230可通过计算脸部立体模型中眼球的位置来得知用户50的头部为抬头或低头。当然，其他实施方式中，所述第二计算模块230甚至可利用更加复杂的计算方式，以得到用户50抬头或低头的角度。
步骤S105：所述第三计算模块250对得到的脸部立体模型进行运算，以得知此时用户50的脸部与TOF摄影机30之间距离。本实施方式中，以用户50的脸部与TOF摄影机30之间的距离为50厘米为参考，即当用户50的脸部与TOF摄影机30之间的距离为50厘米时，所述第三计算模块250计算得到此时用户50的脸部与TOF摄影机30之间距离为0厘米。其中，所述第三计算模块250可通过计算脸部立体模型的尺寸与当用户50的脸部与TOF摄影机30之间的距离为50厘米时脸部立体模型的尺寸之间的比例来得到用户50的脸部与TOF摄影机30之间的距离。当然，其他实施方式中，所述第三计算模块250可利用更加复杂的计算方式，以更精确地得到用户50的脸部与TOF摄影机30之间的距离。
其中，上述步骤S103、S104及S105同时执行，即当立体模型建立模块210得到用户50的脸部立体模型之后，所述第一至第三计算模块220、230及250则对得到的脸部立体模型进行运算，以得知此时用户50的头部旋转角度、用户50抬头或低头的角度以及脸部与TOF摄影机30之间的距离。另外，上述第一至第三计算模块220、230及250也可以通过对脸部立体模型进行运算以得到其他数据，甚至可以包括用户50的眨眼次数，从而判断用户50此时的动作。在该情况下，可以自定义用户50脸部立体模型的某种特征即表示用户50的某一动作。在得知用户50的动作之后执行步骤S106。
步骤S106：所述控制模块260根据得到的头部的旋转角度、用户50抬头或低头的角度以及脸部与TOF摄影机30之间的距离发出对应的控制信号。该控制信号可通过自行设置，如当得知头部的旋转角度为向右X度时，所述控制模块260发送控制信号以控制PTZ摄影机10的镜头向右转动X度；当得知用户50低头X度时，所述控制模块260发送控制信号以控制PTZ摄影机10的镜头下俯X度；当得知脸部与TOF摄影机30之间距离为向后X厘米时，所述控制模块260发送控制信号以控制PTZ摄影机10的镜头焦距缩小一倍。
请参考图11，本发明PTZ摄影机控制方法的第二较佳实施方式包括以下步骤：
步骤S111：所述立体模型建立模块210根据TOF摄影机30所得到的用户50身上每一点与TOF摄影机30之间的距离信息建立用户50所在场景的立体模型，该用户50所在场景的立体模型不仅包括用户50的脸部，还包括用户50的脖子、胳膊等以及用户50身后的背景。
步骤S112：所述脸部侦测模块200侦测来自TOF摄影机30的图像，以得到图像中的脸部区域。其中，所述脸部侦测模块200可利用Adaboost算法进行脸部侦测。
步骤S113：所述背景去除模块280以图像中脸部区域内各点与TOF摄影机30之间的距离信息为基准，将用户50所在场景的立体模型中的背景以及用户50的其他部位去除，从而可得到用户50的脸部立体模型。由于TOF摄影机30在拍摄时可以得到用户50所在的场景内各点与TOF摄影机30之间的距离，因此，在后期处理时可仅保留用户50脸部区域内各点与TOF摄影机30之间的距离数据，从而删除用户身后不必要的背景以及用户50的其他部位，如脖子、胳膊等。
步骤S114：所述第一计算模块220对得到的脸部立体模型进行运算，以得知此时用户50的头部旋转角度。本实施方式中，以用户50的脸部正对TOF摄影机30为参考，即当用户50的脸部正对TOF摄影机30时，用户50的头部的旋转角度为0度。其中，所述第一计算模块220可通过计算脸部立体模型中眼球与TOF摄影机30的连线与当用户50的脸部正对TOF摄影机30时脸部立体模型中眼球与TOF摄影机30的连线之间的夹角来得到用户50的头部的旋转角度。当然，其他实施方式中，所述第一计算模块220可利用更加复杂的计算方式，以更精确地得到用户50的头部的旋转角度。
步骤S115：所述第二计算模块230对得到的脸部立体模型进行运算，以得知此时用户50的头部处于抬头或低头的状态。本实施方式中，以用户50的脸部正对TOF摄影机30为参考，即当用户50的脸部正对TOF摄影机30时，用户50既不抬头也不低头。其中，所述第二计算模块230可通过计算脸部立体模型中眼球的位置来得知用户50的头部为抬头或低头。当然，其他实施方式中，所述第二计算模块230甚至可利用更加复杂的计算方式，以得到用户50抬头或低头的角度。
步骤S116：所述第三计算模块250对得到的脸部立体模型进行运算，以得知此时用户50的脸部与TOF摄影机30之间的距离。本实施方式中，以用户50的脸部与TOF摄影机30之间的距离为50厘米为参考，即当用户50的脸部与TOF摄影机30之间的距离为50厘米时，所述第三计算模块250计算得到此时用户50的脸部与TOF摄影机30之间的距离为0厘米。其中，所述第三计算模块250可通过计算脸部立体模型的尺寸与当用户50的脸部与TOF摄影机30之间的距离为50厘米时脸部立体模型的尺寸之间的比例来得到用户50的脸部与TOF摄影机30之间的距离。当然，其他实施方式中，所述第三计算模块250可利用更加复杂的计算方式，以更精确地得到用户50的脸部与TOF摄影机30之间距离。
其中，上述步骤S114、S115及S116同时执行，即当立体模型建立模块210得到用户50的脸部立体模型之后，所述第一至第三计算模块220、230及250则对得到的脸部立体模型进行运算，以得知此时用户50的头部旋转角度、用户50抬头或低头的角度以及脸部与TOF摄影机30之间的距离。另外，上述第一至第三计算模块220、230及250也可以通过对脸部立体模型进行运算以得到其他数据，甚至可以包括用户50的眨眼次数，从而判断用户50此时的动作。在该情况下，可以自定义用户50脸部立体模型的某种特征即表示用户50的某一动作。在得知用户50的动作之后执行步骤S117。
步骤S117：所述控制模块260根据得到的头部的旋转角度、用户50抬头或低头的角度以及脸部与TOF摄影机30之间的距离发出对应的控制信号。该控制信号可通过自行设置，如当得知头部的旋转角度为向右X度时，所述控制模块260发送控制信号以控制PTZ摄影机10的镜头向右转动X度；当得知用户50低头X度时，所述控制模块260发送控制信号以控制PTZ摄影机10的镜头下俯X度；当得知脸部与TOF摄影机30之间的距离为向后X厘米时，所述控制模块260发送控制信号以控制PTZ摄影机10的镜头焦距缩小一倍。
上述PTZ摄影机控制系统20及PTZ摄影机控制方法通过对TOF摄影机30所拍摄得到的用户50的影像进行侦测，以得到影像中的脸部区域并进而得到用户50的脸部立体模型，并通过对脸部立体模型进行运算以得知用户50的头部旋转角度、用户50抬头或低头的角度以及脸部与TOF摄影机之间的距离，从而发出对应的控制信号以控制PTZ摄影机10作出对应的动作，避免通过专属控制器来控制PTZ摄影机10的动作，将会给手脚不方便的人士带来极大的方便。
Claims (25)
1.一种PTZ摄影机控制系统，用于控制一PTZ摄影机，包括：
一脸部侦测模块，用于接收来自一TOF摄影机所拍摄的用户的影像，并对其进行侦测以得到该影像中的脸部区域，所述TOF摄影机还用于得到用户身上各点与TOF摄影机之间的距离信息；
一立体模型建立模块，用于根据用户的影像以及用户身上各点与TOF摄影机之间的距离信息建立用户的脸部立体模型；
一特征处理模块，用于对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据；以及
一控制模块，用于根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。
2.如权利要求1所述的PTZ摄影机控制系统，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户的头部旋转角度；所述控制模块用于根据得到的头部旋转角度发送对应的控制信号，以对应控制所述PTZ摄影机的镜头向左或向右旋转至对应的位置。
3.如权利要求1所述的PTZ摄影机控制系统，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户抬头或低头的角度；所述控制模块用于根据得到的用户抬头或低头的角度发送对应的控制信号，以对应控制所述PTZ摄影机的镜头上仰或下俯至对应的位置。
4.如权利要求1所述的PTZ摄影机控制系统，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户的脸部与TOF摄影机之间的距离；所述控制模块用于根据得到的脸部与TOF摄影机之间的距离发送对应的控制信号，以对应控制所述PTZ摄影机的镜头至对应的放大倍数。
5.一种PTZ摄影机控制系统，用于控制一PTZ摄影机，包括：
一立体模型建立模块，用于根据由一TOF摄影机所得到的用户所在的场景内每一点与TOF摄影机之间的距离信息得到用户所在场景的立体模型，所述TOF摄影机还用于得到用户所在场景的图像；
一脸部侦测模块，用于侦测来自所述TOF摄影机的图像以得到图像中的脸部区域；
一背景去除模块，用于以图像中脸部区域内各点与TOF摄影机之间的距离信息为基准，将用户所在场景的立体模型中的背景以及用户的其他部位去除，以得到用户的脸部立体模型；
一特征处理模块，用于对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据；以及
一控制模块，用于根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。
6.如权利要求5所述的PTZ摄影机控制系统，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户的脸部旋转角度；所述控制模块用于根据得到的脸部旋转角度发送对应的控制信号，以对应控制所述PTZ摄影机的镜头向左或向右旋转至对应的位置。
7.如权利要求5所述的PTZ摄影机控制系统，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户抬头或低头的角度；所述控制模块用于根据得到的用户抬头或低头的角度发送对应的控制信号，以对应控制所述PTZ摄影机的镜头上仰或下俯至对应的位置。
8.如权利要求5所述的PTZ摄影机控制系统，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户的脸部与TOF摄影机之间的距离；所述控制模块用于根据得到的脸部与TOF摄影机之间的距离发送对应的控制信号，以对应控制所述PTZ摄影机的镜头至对应的放大倍数。
9.一种PTZ摄影机控制方法，用于控制一PTZ摄影机，所述PTZ摄影机控制方法包括：
侦测步骤：接收来自一TOF摄影机所拍摄的用户的影像，并对其进行侦测以得到该影像中的脸部区域，所述TOF摄影机同时还得到用户身上各点与TOF摄影机之间的距离信息；
立体模型建立步骤：根据用户的影像以及用户身上各点与TOF摄影机之间的距离信息建立用户的脸部立体模型；
运算步骤：对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据；以及
控制步骤：根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。
10.如权利要求9所述的PTZ摄影机控制方法，其特征在于：所述运算步骤包括：
对得到的脸部立体模型进行运算，以得知用户的头部旋转角度；
所述控制步骤包括：
根据得到的头部旋转角度发送对应的控制信号，以对应控制所述PTZ摄影机的镜头向左或向右旋转至对应的位置。
11.如权利要求10所述的PTZ摄影机控制方法，其特征在于：所述运算步骤包括：
对得到的脸部立体模型进行运算，以得知用户抬头或低头的角度；
所述控制步骤包括：
根据得到的用户抬头或低头的角度发送对应的控制信号，以对应控制所述PTZ摄影机的镜头上仰或下俯至对应的位置。
12.如权利要求10所述的PTZ摄影机控制方法，其特征在于：所述运算步骤包括：
对得到的脸部立体模型进行运算，以得知用户的脸部与TOF摄影机之间的距离；
所述控制步骤包括：
根据得到的脸部与TOF摄影机之间的距离发送对应的控制信号，以对应控制所述PTZ摄影机的镜头至对应的放大倍数。
13.一种PTZ摄影机控制方法，用于控制一PTZ摄影机，所述PTZ摄影机控制方法包括：
立体模型建立步骤：根据由一TOF摄影机对用户进行拍摄时所得到的用户所在场景内各点与TOF摄影机之间的距离信息建立用户所在场景的立体模型，所述TOF摄影机还得到用户所在场景的图像；
侦测步骤：侦测来自所述TOF摄影机的图像以得到图像中的脸部区域；
背景去除步骤：以图像中脸部区域内各点与TOF摄影机之间的距离信息为基准，将用户所在场景的立体模型中的背景以及用户的其他部位去除，以得到用户的脸部立体模型；
运算步骤：对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据；以及
控制步骤：根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。
14.如权利要求13所述的PTZ摄影机控制方法，其特征在于：所述运算步骤包括：
对得到的脸部立体模型进行运算，以得知用户的头部旋转角度；
所述控制步骤包括：
根据得到的头部旋转角度发送对应的控制信号，以对应控制所述PTZ摄影机的镜头向左或向右旋转至对应的位置。
15.如权利要求13所述的PTZ摄影机控制方法，其特征在于：所述运算步骤包括：
对得到的脸部立体模型进行运算，以得知用户抬头或低头的角度；
所述控制步骤包括：
根据得到的用户抬头或低头的角度发送对应的控制信号，以对应控制所述PTZ摄影机的镜头上仰或下俯至对应的位置。
16.如权利要求13所述的PTZ摄影机控制方法，其特征在于：所述运算步骤包括：
对得到的脸部立体模型进行运算，以得知用户的脸部与TOF摄影机之间的距离；
所述控制步骤包括：
根据得到的脸部与TOF摄影机之间的距离发送对应的控制信号，以对应控制所述PTZ摄影机的镜头至对应的放大倍数。
17.一种PTZ摄影机调整装置，用于调整一PTZ摄影机，所述PTZ摄影机调整装置包括：
一TOF摄影机，用于拍摄用户的影像以及得到用户身上各点与TOF摄影机之间的距离信息；以及
一PTZ摄影机控制系统，用于接收摄影机所拍摄的用户的影像以及用户身上各点与TOF摄影机之间的距离信息，并据此得到用户的脸部立体模型，还用于对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据，并根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。
18.如权利要求17所述的PTZ摄影机调整装置，其特征在于：所述PTZ摄影机控制系统包括：
一脸部侦测模块，用于接收来自TOF摄影机所拍摄的用户的影像，并对其进行侦测以得到该影像中的脸部区域；
一立体模型建立模块，用于根据用户的影像以及用户身上各点与TOF摄影机之间的距离信息建立用户的脸部立体模型；
一特征处理模块，用于对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据；以及
一控制模块，用于根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应调整所述PTZ摄影机。
19.如权利要求18所述的PTZ摄影机调整装置，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户的头部旋转角度；所述控制模块用于根据得到的头部旋转角度发送对应的控制信号，以对应调整所述PTZ摄影机的镜头向左或向右旋转至对应的位置。
20.如权利要求18所述的PTZ摄影机调整装置，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户抬头或低头的角度；所述控制模块用于根据得到的用户抬头或低头的角度发送对应的控制信号，以对应调整所述PTZ摄影机的镜头上仰或下俯至对应的位置。
21.如权利要求18所述的PTZ摄影机调整装置，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户的脸部与TOF摄影机之间的距离；所述控制模块用于根据得到的脸部与TOF摄影机之间的距离发送对应的控制信号，以对应调整所述PTZ摄影机的镜头至对应的放大倍数。
22.如权利要求17所述的PTZ摄影机调整装置，其特征在于：所述PTZ摄影机控制系统包括：
一立体模型建立模块，用于根据由TOF摄影机所得到的用户所在的场景内每一点与TOF摄影机之间的距离信息得到用户所在场景的立体模型，所述TOF摄影机还用于得到用户所在场景的图像；
一脸部侦测模块，用于侦测来自所述TOF摄影机的图像以得到图像中的脸部区域；
一背景去除模块，用于以图像中脸部区域内各点与TOF摄影机之间的距离信息为基准，将用户所在场景的立体模型中的背景以及用户的其他部位去除，以得到用户的脸部立体模型；
一特征处理模块，用于对得到的脸部立体模型进行运算，以得知脸部立体模型的特征数据；以及
一控制模块，用于根据得到的脸部立体模型的特征数据发送对应的控制信号，以对应控制所述PTZ摄影机。
23.如权利要求22所述的PTZ摄影机调整装置，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户的头部旋转角度；所述控制模块用于根据得到的头部旋转角度发送对应的控制信号，以对应调整所述PTZ摄影机的镜头向左或向右旋转至对应的位置。
24.如权利要求22所述的PTZ摄影机调整装置，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户抬头或低头的角度；所述控制模块用于根据得到的用户抬头或低头的角度发送对应的控制信号，以对应调整所述PTZ摄影机的镜头上仰或下俯至对应的位置。
25.如权利要求22所述的PTZ摄影机调整装置，其特征在于：所述特征处理模块包括一计算模块，所述计算模块用于对得到的脸部立体模型进行运算，以得知用户的脸部与TOF摄影机之间的距离；所述控制模块用于根据得到的脸部与TOF摄影机之间的距离发送对应的控制信号，以对应调整所述PTZ摄影机的镜头至对应的放大倍数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010103011014A CN102143316A (zh) | 2010-02-02 | 2010-02-02 | Ptz摄影机控制系统、方法及具有该控制系统之调整装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010103011014A CN102143316A (zh) | 2010-02-02 | 2010-02-02 | Ptz摄影机控制系统、方法及具有该控制系统之调整装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102143316A true CN102143316A (zh) | 2011-08-03 |
Family
ID=44410516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010103011014A Pending CN102143316A (zh) | 2010-02-02 | 2010-02-02 | Ptz摄影机控制系统、方法及具有该控制系统之调整装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102143316A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105635657A (zh) * | 2014-11-03 | 2016-06-01 | 航天信息股份有限公司 | 基于人脸检测的摄像机云台全方位交互方法和装置 |
| CN106412445A (zh) * | 2016-11-29 | 2017-02-15 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN109031329A (zh) * | 2018-07-02 | 2018-12-18 | 昆山丘钛微电子科技有限公司 | 一种飞行时间测距模组及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030169906A1 (en) * | 2002-02-26 | 2003-09-11 | Gokturk Salih Burak | Method and apparatus for recognizing objects |
| CN1618079A (zh) * | 2002-01-16 | 2005-05-18 | 虹膜技术公司 | 利用立体人脸识别的虹膜识别系统和方法 |
| CN101226407A (zh) * | 2008-01-24 | 2008-07-23 | 北京中星微电子有限公司 | 一种显示装置角度自动调整系统及方法 |
| CN101301236A (zh) * | 2008-06-27 | 2008-11-12 | 北京中星微电子有限公司 | 基于三维摄像的视力保护系统及方法 |
| CN101470446A (zh) * | 2007-12-27 | 2009-07-01 | 佛山普立华科技有限公司 | 显示方向自动调整的显示装置及其方法 |
-
2010
- 2010-02-02 CN CN2010103011014A patent/CN102143316A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1618079A (zh) * | 2002-01-16 | 2005-05-18 | 虹膜技术公司 | 利用立体人脸识别的虹膜识别系统和方法 |
| US20030169906A1 (en) * | 2002-02-26 | 2003-09-11 | Gokturk Salih Burak | Method and apparatus for recognizing objects |
| CN101470446A (zh) * | 2007-12-27 | 2009-07-01 | 佛山普立华科技有限公司 | 显示方向自动调整的显示装置及其方法 |
| CN101226407A (zh) * | 2008-01-24 | 2008-07-23 | 北京中星微电子有限公司 | 一种显示装置角度自动调整系统及方法 |
| CN101301236A (zh) * | 2008-06-27 | 2008-11-12 | 北京中星微电子有限公司 | 基于三维摄像的视力保护系统及方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105635657A (zh) * | 2014-11-03 | 2016-06-01 | 航天信息股份有限公司 | 基于人脸检测的摄像机云台全方位交互方法和装置 |
| CN106412445A (zh) * | 2016-11-29 | 2017-02-15 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN109031329A (zh) * | 2018-07-02 | 2018-12-18 | 昆山丘钛微电子科技有限公司 | 一种飞行时间测距模组及电子设备 |
| CN109031329B (zh) * | 2018-07-02 | 2024-01-16 | 昆山丘钛微电子科技有限公司 | 一种飞行时间测距模组及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11480291B2 (en) | Camera system using stabilizing gimbal | |
| WO2018076573A1 (zh) | 一种图像采集方法及电子设备、存储介质 | |
| WO2018214078A1 (zh) | 拍摄控制方法及装置 | |
| US20150116502A1 (en) | Apparatus and method for dynamically selecting multiple cameras to track target object | |
| US20140200060A1 (en) | Interaction display system and method thereof | |
| CN110035218B (zh) | 一种图像处理方法、图像处理装置及拍照设备 | |
| CN102221887A (zh) | 互动投影系统及方法 | |
| WO2023071884A1 (zh) | 注视检测方法、电子设备的控制方法及相关设备 | |
| WO2018103233A1 (zh) | 基于虚拟现实技术的观景方法、装置及系统 | |
| WO2018214077A1 (zh) | 拍摄方法及装置、图像处理方法及装置 | |
| WO2019227333A1 (zh) | 集体照拍摄方法和装置 | |
| JP2017072986A (ja) | 自律飛行装置、自律飛行装置の制御方法及びプログラム | |
| WO2015000418A1 (zh) | 调整移动终端摄像头取景界面显示图像的系统及方法 | |
| US20210042513A1 (en) | Information processing apparatus, information processing method, and program | |
| WO2022041014A1 (zh) | 云台及其控制方法、设备，拍摄装置、系统和存储介质 | |
| JP6921031B2 (ja) | 制御装置及び撮影方法 | |
| US20110084915A1 (en) | Adjustment system and method for camera lens | |
| CN109002059A (zh) | 一种多旋翼无人机目标实时跟踪拍摄系统及方法 | |
| CN102143316A (zh) | Ptz摄影机控制系统、方法及具有该控制系统之调整装置 | |
| WO2020220204A1 (zh) | 一种云台控制方法、云台及拍摄装置 | |
| KR101410985B1 (ko) | 감시카메라를 이용한 감시시스템 및 감시장치와 그 감시방법 | |
| TW201635250A (zh) | 室內監控系統及其方法 | |
| TWI737588B (zh) | 拍照系統及方法 | |
| CN102143314A (zh) | Ptz摄影机控制系统、方法及具有该控制系统之调整装置 | |
| JP2004128646A (ja) | 監視システムおよび制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110803 |