CN102855629A - 一种目标对象定位方法及装置 - Google Patents
一种目标对象定位方法及装置 Download PDFInfo
- Publication number
- CN102855629A CN102855629A CN2012102980293A CN201210298029A CN102855629A CN 102855629 A CN102855629 A CN 102855629A CN 2012102980293 A CN2012102980293 A CN 2012102980293A CN 201210298029 A CN201210298029 A CN 201210298029A CN 102855629 A CN102855629 A CN 102855629A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- image
- topography
- reference mark
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种目标对象定位方法及装置。所述目标对象定位方法包括:分别确定平面场景所对应全局图像中一参考点和一目标对象在全局图像对应直角坐标系中的坐标,其中,全局图像为至少两幅第一局部图像经过两次灭点校正处理后所形成的第二局部图像拼接而成;利用平面场景中所预设的四个控制点在所述平面场景中所构成正方形的边长的长度以及边长在全局图像中对应的像素点数,确定全局图像中每一像素点对应的实际尺寸;构建以参考点为原点的参考直角坐标系;确定目标对象在参考直角坐标系的参考坐标;确定目标对象相对于参考点的X方向物理偏移距离及Y方向物理偏移距离。可见,通过利用本方案,可以实现对目标对象的准确定位。
Description
技术领域
本发明涉及视频监控技术领域,特别是涉及一种目标对象定位方法及装置。
背景技术
视频监控作为安全防范系统的重要组成成分,其是一种防范能力较强的综合系统,视频监控以其直观、准确、及时和信息内容丰富的优势而广泛应用于许多场合。近年来,随着计算机、网络以及图像处理、传输技术的飞速发展,视频监控技术得到长足的发展。
而由于摄像头,例如:单目摄像头等,所采集的图像具有近大远小的特点,使得摄像头拍摄到的平面场景,会出现一点透视或两点透视。其中,如图1所示,当摄像头的拍摄姿态合适时,所拍摄到平面场景中的顶点为A、B、C、D的正方形对应有一个灭点m,构成了一点透视;而在实际应用场景中,由于摄像头的安装存在不同程度的倾角和转角,所拍摄到平面场景中的顶点为A、B、C、D的正方形对应有两个灭点m1、m2,构成了两点透视。
在实际视频监控中,通常采用多个摄像头以不同的拍摄角度同时拍摄一平面场景,并将每一摄像头所拍摄的局部图像拼接成全局图像,进而利用该全局图像实现对该平面场景中一目标对象(火源、犯罪人员等)的定位。而由于每一摄像头所拍摄的局部图像具有近大远小的特点,造成两点透视,因此,在利用两幅局部图像所拼接成的全局图像进行目标对象(火源、犯罪人员等)定位时准确性较低。
发明内容
为解决上述技术问题,本发明实施例提供了一种目标对象定位方法及装置,以实现对目标对象的准确定位,技术方案如下:
一种目标对象定位方法,包括:
分别确定平面场景所对应全局图像中一参考点和一目标对象在所述全局图像对应直角坐标系中的坐标,其中,所述全局图像为至少两幅第一局部图像经过两次灭点校正处理后所形成的第二局部图像拼接而成;
利用所述平面场景中所预设的四个控制点在所述平面场景中所构成正方形的边长的长度以及所述边长在全局图像中所对应的像素点数,确定所述全局图像中每一像素点对应的实际尺寸;
构建以所述参考点为原点的参考直角坐标系;
根据分别确定出的参考点和目标对象在所述全局图像对应直角坐标系中的坐标,确定所述目标对象在参考直角坐标系的参考坐标;
利用所述参考坐标以及每一像素点对应的实际尺寸,确定所述目标对象相对于所述参考点的X方向物理偏移距离及Y方向物理偏移距离,进而实现目标对象相对于所述参考点的定位。
相应的,本发明实施例还提供一种目标对象定位装置,包括:
第一坐标确定模块,用于分别确定平面场景所对应全局图像中一参考点和一目标对象在所述全局图像对应直角坐标系中的坐标;其中,所述全局图像为至少两幅第一局部图像经过两次灭点校正处理后所形成的第二局部图像拼接而成;
像素点实际尺寸确定模块,用于利用所述平面场景中所预设的四个控制点在所述平面场景中所构成正方形的边长的长度以及所述边长在全局图像中所对应的像素点数,确定所述全局图像中每一像素点对应的实际尺寸;
参考直角坐标系确定模块,用于构建以所述参考点为原点的参考直角坐标系;
第二坐标确定模块,用于根据分别确定出的参考点和目标对象在所述全局图像对应直角坐标系中的坐标,确定所述目标对象在参考直角坐标系的参考坐标;
定位模块,用于利用所述参考坐标以及每一像素点对应的实际尺寸,确定所述目标对象相对于所述参考点的X方向物理偏移距离及Y方向物理偏移距离,进而实现目标对象相对于所述参考点的定位。
与现有技术相比,本发明实施例所提供方案中,平面场景对应的全局图像为至少两幅第一局部图像经过两次灭点校正处理后所形成的第二局部图像拼接而成;而进行目标对象定位时,分别确定出参考点和目标对象在该全局图像对应直角坐标系的坐标,构建以该参考点为原点的参考直角坐标系,并确定出该目标对象在该参考直角坐标系的参考坐标,进而利用该参考坐标以及每一像素点对应的实际尺寸,确定该目标对象相对于该参考点的X方向物理偏移距离及Y方向物理偏移距离,进而可以实现对目标对象的准确定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为一点透视示意图;
图2为两点透视示意图;
图3为本发明实施例所提供的全局图像确定方法的流程图;
图4为本发明实施例所提供的目标对象定位方法的流程图;
图5为全局图像对应的直角坐标系的示意图;
图6为以参考点作为原点的参考直角坐标系的示意图;
图7为本发明实施例所提供的控制点坐标确定方法的第一种流程图;
图8为本发明实施例所提供的一次灭点校正的第一种流程图;
图9为本发明实施例所提供的控制点坐标确定方法的第二种流程图;
图10为本发明实施例所提供的一次灭点校正的第二种流程图;
图11为本发明实施例所提供的两幅第二局部图像拼接为宽角度图像的示意图;
图12为本发明实施例所提供的三幅第二局部图像拼接为宽角度图像的示意图;
图13为本发明实施例所提供的一种目标对象定位装置的结构示意图。
具体实施方式
为了实现对目标对象的准确定位,本发明实施例提供了一种目标对象定位方法及装置。
本发明实施例所提供的一种目标对象定位方法,可以包括:
分别确定平面场景所对应全局图像中一参考点和一目标对象在所述全局图像对应直角坐标系中的坐标,其中,所述全局图像为至少两幅第一局部图像经过两次灭点校正处理后所形成的第二局部图像拼接而成;
利用所述平面场景中所预设的四个控制点在所述平面场景中所构成正方形的边长的长度以及所述边长在全局图像中所对应的像素点数,确定所述全局图像中每一像素点对应的实际尺寸;
构建以所述参考点为原点的参考直角坐标系;
根据分别确定出的参考点和目标对象在所述全局图像对应直角坐标系中的坐标,确定所述目标对象在参考直角坐标系的参考坐标;
利用所述参考坐标以及每一像素点对应的实际尺寸,确定所述目标对象相对于所述参考点的X方向物理偏移距离及Y方向物理偏移距离,进而实现目标对象相对于所述参考点的定位。
本发明实施例所提供方案中,平面场景对应的全局图像为至少两幅第一局部图像经过两次灭点校正处理后所形成的第二局部图像拼接而成;而进行目标对象定位时,分别确定出参考点和目标对象在该全局图像对应直角坐标系的坐标,构建以该参考点为原点的参考直角坐标系,并确定出该目标对象在该参考直角坐标系的参考坐标,进而利用该参考坐标以及每一像素点对应的实际尺寸,确定该目标对象相对于该参考点的X方向物理偏移距离及Y方向物理偏移距离,进而可以实现对目标对象的准确定位。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面首先对本发明实施例所提供的目标对象定位方法进行介绍。
需要说明的是,本发明实施例所提供的目标对象定位方法所适用的平面场景中预先设置有至少两个摄像头和构成一正方形的四个控制点,其中,该平面场景可以为大型场馆、仓库、厂房等,该摄像头通常可以为单目摄像头,而所需定位的目标对象可以为火源、运动物体、嫌疑犯等。在实际应用中,所述四个控制点的每一控制点可以为在平面场景中所预设的相应双色规则圆的重心,该双色规则圆中内圆区域设置有第一颜色,外圆环区域设置有不同于第一颜色的第二颜色;或者,所述四个控制点可以分别对应于平面场景中所预设的厚度不大于厚度阈值的正方形黑色参照板的一顶点,且每一顶点设置有以特定频率闪烁的光源,且各个光源的闪烁频率不同。
由于摄像头从不同角度拍摄平面场景,使得存在至少两幅第一局部图像,而在进行目标对象定位时,需要利用至少两幅第一局部图像拼接成一全局图像,以实现局部坐标系至全局坐标系的转换。因此,为了便于理解及清楚,首先对平面场景所对应全局图像的形成过程进行介绍。
如图3所示,平面场景所对应全局图像的形成过程,可以包括:
S101,分别获取至少两个摄像头从不同角度所拍摄的包含目标对象和四个控制点的第一局部图像;
S102,分别将每一第一局部图像呈现在一直角坐标系中;
S103,确定每一第一局部图像相应四个控制点的坐标;
可以理解的是,由于在实际应用中,所述四个控制点中的每一控制点可以为在平面场景中所预设的相应双色规则圆的重心,或者,可以分别对应于平面场景中所预设的厚度不大于厚度阈值的正方形黑色参照板的一顶点,因此,在确定每一第一局部图像相应四个控制点的坐标时,需要采用不同的方式。
S104,根据每一第一局部图像中所确定出的四个控制点所形成的不规则四边形,对相应第一局部图像进行两次灭点校正,以形成所述平面场景对应的至少两幅第二局部图像;相应的,当采用不同的方式设置四个控制点时,对第一局部图像进行灭点校正的方式将不同。
S105,对所述至少两幅第二局部图像进行图像拼接,以形成所述平面场景对应的全局图像。
由于至少两个摄像头从不同角度拍摄该平面场景,因此,可以获得至少两幅第一局部图像,而在对第一局部图像进行灭点校正而得到相应的第二局部图像后,则可以将至少两幅第二局部图像进行拼接处理,以得到一全局图像,从而实现了局部坐标系到全局坐标系的转换。
本领域技术人员可以理解的是,图像拼接技术是将至少两张有重叠部分的图像(可能是不同时间、不同视角或不同摄像头获得的)拼接成一幅大型的无缝的高分辨率图像的技术。图像配准和图像融合是图像拼接的两个关键技术。本发明实施例所述图像拼接是在对图像透视校正的基础上,将至少两个第二局部图像拼接成一幅全局图像。
下面简单介绍图像拼接的实现过程:
(1)图像配准:
图像处理中,图像拼接技术的关键是精确找出相邻两张图像中重叠部分的位置,然后确定两张图像的变换关系,即图像配准,即采用一定的匹配策略,找到待拼接图像中与基准图像匹配的位置,进而确定两幅图像之间的变换关系。
(2)图像融合:
图像融合是图像拼接的另一个关键技术,其为将两幅已配准图像中的有用信息综合到一幅图像中并以可视化方法显示的技术。通过利用图像融合技术,可以实现局部坐标系到全局坐标系的转换,并且改善由于分辨率和视角的不同以及光照因素所引起的不佳视觉效果。
其中,图11为将两幅第二局部图像拼接成一全局图像的效果图,该全局图像中包含四个控制点a、b、c、d;图12为将三幅第二局部图像拼接成一全局图像的效果图,该全局图像中包含四个控制点a、b、c、d。
本领域人员可以理解的是,在确定出经过灭点校正处理的至少两幅第二局部图像后,可以利用现有的多种图像拼接方法进行图像拼接处理,在此不再赘述。
可见,对每一第一局部图像进行灭点校正处理,并利用至少两幅经过灭点校正所形成的第二局部图像拼接成全局图像,实现了局部坐标系至全局坐标系的转换,进而可以利用该全局图像实现对目标对象的准确定位。
需要说明的是,由于在图像拼接过程中,至少两幅第二局部图像中的在平面场景中相同位置的控制点需要相对应,即:假设平面场景中存在控制点A、B、C、D,在图像拼接过程中,至少两幅第二局部图像中的各个A点相对应,各个B点相对应、各个C点相对应、各个D点相对应,因此,需要确定出第二局部图像中各个控制点在平面场景中所对应的实际位置。也就是,当四个控制点分别对应平面场景中一双色规则圆时,需要根据双色规则圆所具有的第一颜色和第二颜色确定出第二局部图像中各个控制点在平面场景中所对应的实际位置点;当四个控制点分别对应平面场景中正方形黑色参照板的一顶点时,需要根据顶点所设置光源的闪烁频率,确定出第二局部图像中各个控制点在平面场景中所对应的实际位置点。
下面介绍基于上述由至少两幅第二局部图像拼接而成的全局图像,对本发明实施例所提供的目标对象定位方法进行介绍。
可以理解的是,本发明实施例所提供的目标定位方法可以适用于火灾源定位、运动物体定位、嫌疑犯快速定位等。
如图4所示,一种目标对象定位方法,可以包括:
S201,分别确定平面场景所对应全局图像中一参考点和一目标对象在所述全局图像对应直角坐标系中的坐标;
其中,所述全局图像为至少两幅第一局部图像经过两次灭点校正处理后所形成的第二局部图像拼接而成。
需要说明的是,该参考点可以为平面场景中的一控制点,或者,平面场景中的其他点,这都是合理的。
S202,利用所述平面场景中所预设的四个控制点在所述平面场景中所构成正方形的边长的长度以及所述边长在全局图像中所对应的像素点数,确定所述全局图像中每一像素点对应的实际尺寸;
其中,该全局图像中每一像素点对应的实际尺寸为一边长的长度除以该边长在全局图像中所对应的像素点数。
S203,构建以所述参考点为原点的参考直角坐标系;
S204,根据分别确定出的参考点和目标对象在所述全局图像对应直角坐标系中的坐标,确定所述目标对象在参考直角坐标系的参考坐标;
该目标对象对应的参考坐标为目标对象与参考点在全局图像对应直角坐标系的坐标之差。
S205,利用所述参考坐标以及每一像素点对应的实际尺寸,确定所述目标对象相对于所述参考点的X方向物理偏移距离及Y方向物理偏移距离,进而实现目标对象相对于所述参考点的定位。
在确定出目标对象相对于该参考点的X方向物理偏移距离及Y方向物理偏移距离后,则可以确定出目标对象相对于参考点的物理距离,进而实现目标对象的定位。
其中,目标对象相对于参考点的X方向物理偏移距离为:
可以理解的是,当所确定的参考点不同时,该目标对象相对于参考点的X方向物理偏移距离及Y方向物理偏移距离将不同,进而目标对象相对于参考点的物理距离不同。
本发明实施例所提供方案中,平面场景对应的全局图像为至少两幅第一局部图像经过图像透视校正处理后所形成的第二局部图像拼接而成;而进行目标对象定位时,分别确定出参考点和目标对象在全局图像对应直角坐标系的坐标,构建以该参考点为原点的参考直角坐标系,并确定出该目标对象在该参考直角坐标系的参考坐标,进而利用该参考坐标以及每一像素点对应的实际尺寸,确定该目标对象相对于该参考点的X方向物理偏移距离及Y方向物理偏移距离,进而可以实现对目标对象准确定位。
下面结合附图5和6以一控制点作为参考点作为一应用示例,对本发明实施例所提供的一种目标对象定位方法进行介绍。当然,参考点并不局限于控制点,在实际应用中,还可以选择平面场景中的其他点作为参考点,这都是合理的。
(1)假设控制点C为参考点,点P为目标对象,其中,控制点C在全局图像对应直角坐标系的坐标为(x0,y0),P点在全局图像对应的直角坐标系的坐标为(x1,y1);
(2)确定出平面场景中四个控制点所构成正方形的边长的长度为L,边长在全局图像中对应M个像素点,进而得到全局图像中每一像素点对应的实际尺寸为L/M;
(3)构建以控制点C为原点的参考直角坐标系;
(4)确定点P在参考直角坐标系的参考坐标为(x2,y2);
其中,x2=x1-x0;y2=y1-y0。
(5)确定点P相对于控制点C的X方向物理偏移距离及Y方向物理偏移距离;
(6)确定点P相对于控制点C的物理距离S为:
可见,通过上述方法,可以确定出点P相对于控制点C的X方向物理偏移距离及Y方向物理偏移距离,进而确定出点P相对于控制点C的物理距离,最终实现目标对象点P相对于参考点的定位。
更进一步的,对于上述平面场景所对应全局图像的形成方式而言,当每一控制点为在平面场景中所预设的相应双色规则圆的重心,且所述双色规则圆的内圆区域设置有第一颜色,外圆环区域设置有不同于第一颜色的第二颜色时,可以利用具有第一颜色和第二颜色的双色规则圆,通过静态方式确定出每一第一局部图像中四个控制点的坐标。
可以理解的是,一双色规则圆的内圆区域所设置的第一颜色和其外圆环区域所设置的第二颜色相比,具有较大的色彩差异,并且,同时具有该第一颜色和第二颜色的物体在外界环境中极为罕见,例如:内圆区域设置为蓝色,相应外圆环区域设置为红色,或者,内圆区域设置为绿色,相应外圆环区域设置为蓝色等,这都是合理的;同时,在保证双色规则圆的内圆区域和外圆环区域具有不同颜色的情况下,所述四个控制点所对应双色规则圆的内圆区域可以设置为相同的第一颜色,而外圆环区域可以设置为不同的第二颜色;或者,所述四个控制点所对应双色规则圆的内圆区域可以设置为不同的第一颜色,而外圆环区域可以设置为相同的第二颜色;或者,所述四个控制点所对应双色规则圆的内圆区域可以设置为不同的第一颜色,而外圆环区域也可以设置为不同的第二颜色。在实际应用中,四个控制点对应的双色规则圆的内圆区域可以均设置为蓝色,外圆环区域可以依次设置为红色、绿色、黄色、紫色;或者,四个控制点对应的双色规则圆的内圆区域依次设置为红色、绿色、黄色、紫色,而外圆环区域设置为可以均设置为蓝色,当然并不局限于此。
其中,如图7所示,利用具有第一颜色和第二颜色的双色规则圆,确定第一局部图像中一控制点的坐标,具体可以为:
S301,将所包含像素点的饱和度和色调分别符合第一颜色对应的饱和度和色调、数量不低于第一像素点数量阈值,并且,相邻外部区域所包含像素点的饱和度和色调分别符合第二颜色对应的饱和度和色调、数量不低于第二像素点数量阈值的区域确定为一双色规则圆的内圆区域;
S302,将所述相邻外部区域确定为所述双色规则圆的外圆环区域;
可以理解的是,在确定双色规则圆时,需要确定出该第一图像中所有像素点对应的饱和度及色调。其中,在确定双色规则圆的内圆区域时,将所包含像素点的饱和度和色调分别符合第一颜色对应的饱和度和色调、数量不低于第一像素点数量阈值,并且,相邻外部区域所包含像素点的饱和度和色调分别符合第二颜色对应的饱和度和色调、数量不低于第二像素点数量阈值的区域确定为一双色规则圆的内圆区域;并且,将所述相邻外部区域确定为所述双色规则圆的外圆环区域。
需要说明的是,双色规则圆的内圆区域的所有像素点的饱和度和色调都分别符合相应第一颜色对应的饱和度和色调,且所述双色规则圆的外圆环区域的所有像素点的饱和度和色调都分别符合相应第二颜色对应的饱和度和色调;同时,第一像素点数量阈值和第二像素点数量阈值可以通过多次试验得到;并且上述确定双色规则圆的内圆区域和外圆环区域的方法仅仅作为一种示例,并不应该构成对本发明实施例的限定。
S303,计算所确定出的双色规则圆的重心的坐标;
其中,计算所确定出的双色规则圆的重心的坐标所利用的公式可以为:
S304,将所确定的重心的坐标作为相应控制点的坐标。
通过上述方法,可以确定出同时满足内部具有第一颜色而外部具有第二颜色的区域,并利用该区域中像素点的坐标,依次确定出第一局部图像中四个控制点的坐标,进而利用所确定的四个控制点在第一局部图像中所构成的不规则四边形对第一局部图像进行透视校正。
可以理解的是,在确定出四个控制点的坐标后,可以根据坐标值,确定出四个控制点的相对位置关系,进而构成后续的四个控制点作为顶点的四边形,例如:x、y值均最小的坐标对应当前图像中左下位置的控制点,x、y值均最大的坐标对应当前图像中右上位置的控制点。
需要说明的是,由于在图像拼接过程中,需要确定出第二局部图像中四个控制点在平面场景中的实际位置,因此,为了提高处理效率,可以在上述确定出四个控制点的坐标后,根据平面场景中各个控制点对应的双色规则圆的第一颜色和第二颜色,确定出第一局部图像中四个控制点在平面场景中对应的实际位置点,进而后续直接确定出第二局部图像中四个控制点在平面场景中所对应的实际位置点。
相应的,当每一控制点为在平面场景中所预设的相应双色规则圆的重心,且所述双色规则圆的内圆区域设置有第一颜色,外圆环区域设置有不同于第一颜色的第二颜色时,如图8所示,根据所确定出的四个控制点在第一局部图像内所形成的不规则四边形,对所述第一局部图像进行一次灭点校正处理,可以包括:
S401,确定当前的第一局部图像中四个控制点所形成不规则四边形的待校正灭点;
S402,将所述第一局部图像在所述直角坐标系中旋转重定位,并将旋转重定位后的第一局部图像作为待处理图像;
其中,所述不规则四边形中与所述待校正灭点相对的且距离较远的一边平行于所述直角坐标系的x轴。
S403,利用具有第一颜色和第二颜色的双色规则圆,确定所述待处理图像中所述四个控制点的坐标;
由于对第一局部图像进行了旋转重定位,因此,需要重新确定第一局部图像旋转重定位后所形成待处理图像中的四个控制点的坐标。其中,利用双色规则圆确定待处理图像中四个控制点的坐标的方式与上述利用双色规则圆,确定出第一局部图像中四个控制点的坐标的方式相同,在此不再赘述。
S404,利用所确定的控制点的坐标,确定所述待处理图像中待校正灭点的坐标;
由于四个控制点与待校正灭点具有一定的几何关系,因此,可以对所确定的控制点的坐标进行特定的几何运算,确定出该待处理图像中待校正灭点的坐标。
S405,利用该待校正灭点的坐标,对所述待处理图像进行X方向校正;
S406,对经过X方向校正的待处理图像进行Y方向校正,以此实现对所述第一局部图像进行一次灭点校正处理。
可以理解的是,对该第一局部图像进行一次灭点校正处理后,该经过一次灭点校正处理后的第一局部图像仍对应有一灭点,因此,需要将该经过一次灭点校正处理的第一局部图像作为当前的第一局部图像,并利用上述灭点校正方式进行剩余灭点的校正处理,进而达到消除两点透视下两个灭点的目的。
更进一步的,对该待处理图像进行X方向校正所利用的公式为:
其中,(j,i)为所述第一局部图像中任意一像素点的坐标,(j0,i0)为X方向校正后的待处理图像中相应像素点坐标,H为所述待处理图像的高度,(mx,my)为所述待处理图像中待校正灭点的坐标;
对经过X方向校正的待处理图像进行Y方向校正所利用的公式为:
其中,(j,i)为经过X方向校正的待处理图像中任意一像素点的坐标,(j0,i0)为经过Y方向校正后的待处理图像中相应像素点的坐标,H为经过X方向校正的待处理图像的高度,(mx,my)为经过X方向校正的待处理图像中待校正灭点的坐标。
更进一步的,对于上述平面场景所对应全局图像的形成方式而言,当所述四个控制点分别对应于平面场景中所预设的厚度不大于厚度阈值的正方形黑色参照板的一顶点,且每一顶点设置有以特定频率闪烁的光源时,可以利用光源的闪烁频率,通过动态方式确定出每一第一局部图像中四个控制点的坐标。
可以理解的是,可以通过单片机来控制光源开关以及闪烁频率;黑色且厚度不大于厚度阈值的参照板能够达到无反射或无漫反射的效果,进而可以保证光源在闪烁时所发出的光较为稳定且位于一发光区域内;同时,四个光源以固定频率闪烁,即均匀闪烁,可以区别于其他不均匀运动的物体,而四个光源的闪烁频率各不相同,可以根据不同的闪烁频率确定不同位置的光源。
其中,如图9所示,所述确定第一局部图像中四个控制点的坐标,具体可以为:
S501,获取预定时间段内所采集的包含第一局部图像的多帧图像,所述图像中包含所述参照板;
S502,对所述多帧图像进行图像分析,确定多帧图像中设置有光源的位置;
S503,确定多帧图像中设置有光源的位置对应的光源闪烁频率;
S504,根据所确定的光源闪烁频率,确定四个光源所对应的位置;
S505,确定每一光源所在位置对应的发光区域的重心的坐标;
S506,将所确定的重心的坐标作为相应控制点的坐标。
其中,确定所述发光区域的重心的坐标所利用的公式为:
可以理解的是,为了减小误差,需要在较长一段时间内,例如:50s、100s等,采集视频帧,进而获取到多帧图像;其中,在采集时,四个光源不断的闪烁。假设以均匀地出现相邻两帧为光源一开一关或是一关一开,视为光源闪烁一次。统计所有视频帧内光源出现的次数,即计算出光源闪烁频率;进而根据事先实验测得的光源的闪烁频率,确定四个光源的位置;并统计光源对应发光区域内的像素点,即发光区域内的像素点,计算其重心。在实际应用中,通常视频是25帧/秒,在采集视频帧时,至少每隔0.04秒采集一帧,即至少在视频相邻两帧之间的间隔时间以上采集图像。
需要说明的是,由于在图像拼接过程中,需要确定出第二局部图像中四个控制点在平面场景中的实际位置,因此,为了提高处理效率,可以在上述确定出四个控制点的坐标后,根据平面场景中各个控制点对应的不同的闪烁频率,确定出第一局部图像中四个控制点在平面场景中对应的实际位置点,进而后续直接确定出第二局部图像中四个控制点在平面场景中所对应的实际位置点。
相应的,当所述四个控制点分别对应于平面场景中所预设的厚度不大于厚度阈值的正方形黑色参照板的一顶点,且每一顶点设置有以特定频率闪烁的光源时,如图10所示,根据所确定出的四个控制点在第一局部图像内所形成的不规则四边形,对所述第一局部图像进行一次灭点校正处理,可以包括:
S601,确定当前的第一局部图像中四个控制点所形成不规则四边形的待校正灭点;
S602,将所述第一局部图像在所述直角坐标系中旋转重定位,并将旋转重定位后的第一局部图像作为待处理图像;
其中,所述不规则四边形中与所述待校正灭点相对的且距离较远的一边平行于所述直角坐标系的x轴。
S603,利用以特定频率闪烁的光源,确定所述待处理图像中所述四个控制点的坐标;
由于对第一局部图像进行了旋转重定位,因此,需要重新确定第一局部图像旋转重定位后所形成待处理图像中的四个控制点的坐标。其中,利用以特定频率闪烁的光源确定待处理图像中四个控制点的坐标的方式与上述确定第一局部图像中四个控制点的坐标方式相似,在此不再赘述。需要说明的是,在确定待处理图像中四个控制点的坐标时,需要将所采集的多帧图像进行相同旋转。
S604,利用所确定的控制点的坐标,确定所述待处理图像中待校正灭点的坐标;
由于四个控制点与待校正灭点具有一定的几何关系,因此,可以对所确定的控制点的坐标进行特定的几何运算,确定出该待处理图像中待校正灭点的坐标。
S605,利用所述待校正灭点的坐标,对所述待处理图像进行X方向校正;
S606,对经过X方向校正的待处理图像进行Y方向校正,以此实现对所述第一局部图像进行一次灭点校正处理。
更进一步的,对该待处理图像进行X方向校正所利用的公式为:
其中,(j,i)为所述第一局部图像中任意一像素点的坐标,(j0,i0)为X方向校正后的待处理图像中相应像素点的坐标,H为所述待处理图像的高度,(mx,my)为所述待处理图像中待校正灭点的坐标;
对经过X方向校正的待处理图像进行Y方向校正所利用的公式为:
其中,(j,i)为经过X方向校正的待处理图像中任意一像素点的坐标,(j0,i0)为经过Y方向校正后的待处理图像中相应像素点的坐标,H为经过X方向校正的待处理图像的高度,(mx,my)为经过X方向校正的待处理图像中待校正灭点的坐标。
通过以上的方法实施例的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
相应于上面的方法实施例,本发明实施例还提供一种目标对象定位装置,如图13所示,可以包括:
第一坐标确定模块110,用于分别确定平面场景所对应全局图像中一参考点和一目标对象在所述全局图像对应直角坐标系中的坐标;其中,所述全局图像为至少两幅第一局部图像经过两次灭点校正处理后所形成的第二局部图像拼接而成;
像素点实际尺寸确定模块120,用于利用所述平面场景中所预设的四个控制点在所述平面场景中所构成正方形的边长的长度以及所述边长在全局图像中所对应的像素点数,确定所述全局图像中每一像素点对应的实际尺寸;
参考直角坐标系确定模块130,用于构建以所述参考点为原点的参考直角坐标系;
第二坐标确定模块140,用于根据分别确定出的参考点和目标对象在所述全局图像对应直角坐标系中的坐标,确定所述目标对象在参考直角坐标系的参考坐标;
定位模块150,用于利用所述参考坐标以及每一像素点对应的实际尺寸,确定所述目标对象相对于所述参考点的X方向物理偏移距离及Y方向物理偏移距离,进而实现目标对象相对于所述参考点的定位。
本发明实施例所提供的目标对象定位装置进行目标对象定位时,分别确定出参考点和目标对象在全局图像对应直角坐标系的坐标,其中,全局图像为至少两幅第一局部图像经过两次灭点校正处理后所形成的第二局部图像拼接而成;构建以该参考点为原点的参考直角坐标系,并确定出该目标对象在该参考直角坐标系的参考坐标,进而利用该参考坐标以及每一像素点对应的实际尺寸,确定该目标对象相对于该参考点的X方向物理偏移距离及Y方向物理偏移距离,进而可以实现对目标对象的准确定位。
对于装置或系统实施例而言,由于其基本相应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置或系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,在没有超过本申请的精神和范围内,可以通过其他的方式实现。当前的实施例只是一种示范性的例子,不应该作为限制,所给出的具体内容不应该限制本申请的目的。例如,所述单元或子单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或多个子单元结合一起。另外,多个单元可以或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
另外,所描述系统,装置和方法以及不同实施例的示意图,在不超出本申请的范围内,可以与其它系统,模块,技术或方法结合或集成。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种目标对象定位方法,其特征在于,包括:
分别确定平面场景所对应全局图像中一参考点和一目标对象在所述全局图像对应直角坐标系中的坐标,其中,所述全局图像为至少两幅第一局部图像经过两次灭点校正处理后所形成的第二局部图像拼接而成;
利用所述平面场景中所预设的四个控制点在所述平面场景中所构成正方形的边长的长度以及所述边长在全局图像中所对应的像素点数,确定所述全局图像中每一像素点对应的实际尺寸;
构建以所述参考点为原点的参考直角坐标系;
根据分别确定出的参考点和目标对象在所述全局图像对应直角坐标系中的坐标,确定所述目标对象在参考直角坐标系的参考坐标;
利用所述参考坐标以及每一像素点对应的实际尺寸,确定所述目标对象相对于所述参考点的X方向物理偏移距离及Y方向物理偏移距离,进而实现目标对象相对于所述参考点的定位。
2.根据权利要求1所述的方法,其特征在于,平面场景所对应全局图像的形成过程为:
分别获取至少两个摄像头从不同角度所拍摄的包含目标对象和四个控制点的第一局部图像;其中,所述四个控制点在平面场景中构成一正方形;
分别将每一第一局部图像呈现在一直角坐标系中;
确定每一第一局部图像相应四个控制点的坐标;
根据每一第一局部图像中所确定出的四个控制点所形成的不规则四边形,对相应第一局部图像进行两次灭点校正,以形成所述平面场景对应的至少两幅第二局部图像;
对所述至少两幅第二局部图像进行图像拼接,以形成所述平面场景对应的全局图像。
3.根据权利要求2所述的方法,其特征在于,每一控制点为在平面场景中所预设的相应双色规则圆的重心,所述双色规则圆中内圆区域设置有第一颜色,外圆环区域设置有不同于第一颜色的第二颜色。
4.根据权利要求3所述的方法,其特征在于,确定第一局部图像中相应四个控制点的坐标,具体为:
利用具有第一颜色和第二颜色的双色规则圆,确定出每一第一局部图像相应四个控制点的坐标;
相应的,根据所确定出的四个控制点在第一局部图像内所形成的不规则四边形,对所述第一局部图像进行一次灭点校正处理,包括:
确定当前的第一局部图像中四个控制点所形成不规则四边形的待校正灭点;
将所述第一局部图像在所述直角坐标系中旋转重定位,并将旋转重定位后的第一局部图像作为待处理图像,其中,所述不规则四边形中与所述待校正灭点相对的且距离较远的一边平行于所述直角坐标系的x轴;
利用具有第一颜色和第二颜色的双色规则圆,确定所述待处理图像中所述四个控制点的坐标;
利用所确定的控制点的坐标,确定所述待处理图像中所述待校正灭点的坐标;
利用所述待校正灭点的坐标,对所述待处理图像进行X方向校正,并对经过X方向校正的待处理图像进行Y方向校正,以此实现对所述第一局部图像进行一次灭点校正处理。
5.根据权利要求2所述的方法,其特征在于,所述四个控制点分别对应于平面场景中所预设的厚度不大于厚度阈值的正方形黑色参照板的一顶点,其中,每一顶点设置有以特定频率闪烁的光源,且各个光源的闪烁频率不同。
6.根据权利要求5所述的方法,其特征在于,确定第一局部图像中四个控制点的坐标,包括:
获取预定时间段内所采集的包含第一局部图像的多帧图像,所述图像中包含所述参照板;
对所述多帧图像进行图像分析,确定多帧图像中设置有光源的位置;
确定多帧图像中设置有光源的位置对应的光源闪烁频率;
根据所确定的光源闪烁频率,确定四个光源所对应的位置;
确定每一光源所在位置对应的发光区域的重心的坐标;
将所确定的重心的坐标作为相应控制点的坐标;
相应的,根据所确定出的四个控制点在第一局部图像内所形成的不规则四边形,对所述第一局部图像进行一次灭点校正处理,包括:
确定当前的第一局部图像中四个控制点所形成不规则四边形的待校正灭点;
将所述第一局部图像在所述直角坐标系中旋转重定位,并将旋转重定位后的第一局部图像作为待处理图像,其中,所述不规则四边形中与所述待校正灭点相对的且距离较远的一边平行于所述直角坐标系的x轴;
利用以特定频率闪烁的光源,确定所述待处理图像中所述四个控制点的坐标;
利用所确定的控制点的坐标,确定所述待处理图像中所述待校正灭点的坐标;
利用所述待校正灭点的坐标,对所述待处理图像进行X方向校正,并对经过X方向校正的待处理图像进行Y方向校正,以此实现对所述第一局部图像进行一次灭点校正处理。
7.一种目标对象定位装置,其特征在于,包括:
第一坐标确定模块,用于分别确定平面场景所对应全局图像中一参考点和一目标对象在所述全局图像对应直角坐标系中的坐标;其中,所述全局图像为至少两幅第一局部图像经过两次灭点校正处理后所形成的第二局部图像拼接而成;
像素点实际尺寸确定模块,用于利用所述平面场景中所预设的四个控制点在所述平面场景中所构成正方形的边长的长度以及所述边长在全局图像中所对应的像素点数,确定所述全局图像中每一像素点对应的实际尺寸;
参考直角坐标系确定模块,用于构建以所述参考点为原点的参考直角坐标系;
第二坐标确定模块,用于根据分别确定出的参考点和目标对象在所述全局图像对应直角坐标系中的坐标,确定所述目标对象在参考直角坐标系的参考坐标;
定位模块,用于利用所述参考坐标以及每一像素点对应的实际尺寸,确定所述目标对象相对于所述参考点的X方向物理偏移距离及Y方向物理偏移距离,进而实现目标对象相对于所述参考点的定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210298029.3A CN102855629B (zh) | 2012-08-21 | 2012-08-21 | 一种目标对象定位方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210298029.3A CN102855629B (zh) | 2012-08-21 | 2012-08-21 | 一种目标对象定位方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102855629A true CN102855629A (zh) | 2013-01-02 |
CN102855629B CN102855629B (zh) | 2014-09-17 |
Family
ID=47402191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210298029.3A Expired - Fee Related CN102855629B (zh) | 2012-08-21 | 2012-08-21 | 一种目标对象定位方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102855629B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366169A (zh) * | 2013-07-19 | 2013-10-23 | 中联重科股份有限公司 | 一种工程机械臂架多点状态识别方法、设备及系统 |
CN104156689A (zh) * | 2013-05-13 | 2014-11-19 | 浙江大华技术股份有限公司 | 一种对目标对象的特征信息进行定位的方法和设备 |
CN104284148A (zh) * | 2014-08-07 | 2015-01-14 | 国家电网公司 | 一种基于变电站视频系统的全站地图系统及其拼接方法 |
CN106851099A (zh) * | 2017-01-22 | 2017-06-13 | 维沃移动通信有限公司 | 一种拍摄的方法及移动终端 |
CN107742275A (zh) * | 2017-11-09 | 2018-02-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN108898633A (zh) * | 2018-07-02 | 2018-11-27 | 成都精位科技有限公司 | 目标物定位方法及装置 |
CN111091025A (zh) * | 2018-10-23 | 2020-05-01 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置和设备 |
CN111667531A (zh) * | 2019-03-06 | 2020-09-15 | 西安邮电大学 | 定位方法及装置 |
CN111667408A (zh) * | 2020-06-02 | 2020-09-15 | 中车青岛四方机车车辆股份有限公司 | 车辆图像的处理方法及装置、存储介质、处理器 |
CN111967106A (zh) * | 2020-08-19 | 2020-11-20 | 深圳市康冠科技股份有限公司 | 一种不规则物体底座长度尺寸的确定方法 |
CN113393429A (zh) * | 2021-06-07 | 2021-09-14 | 杭州睿影科技有限公司 | 一种目标检测设备的出口位置的标定方法、目标检测设备 |
CN113554687A (zh) * | 2021-09-18 | 2021-10-26 | 四川赛狄信息技术股份公司 | 无人机弹载发射偏移校准控制方法、系统、终端及介质 |
CN115965629A (zh) * | 2023-03-17 | 2023-04-14 | 杭州堃博生物科技有限公司 | 消融区域确定方法、装置、设备及非易失性存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070280554A1 (en) * | 2004-02-17 | 2007-12-06 | Corel Corporation | Method and apparatus for correction of perspective distortion |
-
2012
- 2012-08-21 CN CN201210298029.3A patent/CN102855629B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070280554A1 (en) * | 2004-02-17 | 2007-12-06 | Corel Corporation | Method and apparatus for correction of perspective distortion |
Non-Patent Citations (2)
Title |
---|
JULIE BEHAN等: "LUCAS: The Library Assistant Robot, Implementation and Localisation", 《COMPUTATIONAL INTELLIGENCE FOR MODELLING, CONTROL AND AUTOMATION, 2005 AND INTERNATIONAL CONFERENCE ON INTELLIGENT AGENTS, WEB TECHNOLOGIES AND INTERNET COMMERCE, INTERNATIONAL CONFERENCE ON》, vol. 1, 30 November 2005 (2005-11-30), pages 1140 - 1146 * |
杜召彬: "基于单目CCD摄像机的大空间环境与坐标定位", 《万方学位论文数据库》, 1 September 2008 (2008-09-01) * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104156689A (zh) * | 2013-05-13 | 2014-11-19 | 浙江大华技术股份有限公司 | 一种对目标对象的特征信息进行定位的方法和设备 |
CN104156689B (zh) * | 2013-05-13 | 2017-03-22 | 浙江大华技术股份有限公司 | 一种对目标对象的特征信息进行定位的方法和设备 |
CN103366169A (zh) * | 2013-07-19 | 2013-10-23 | 中联重科股份有限公司 | 一种工程机械臂架多点状态识别方法、设备及系统 |
CN104284148A (zh) * | 2014-08-07 | 2015-01-14 | 国家电网公司 | 一种基于变电站视频系统的全站地图系统及其拼接方法 |
CN106851099A (zh) * | 2017-01-22 | 2017-06-13 | 维沃移动通信有限公司 | 一种拍摄的方法及移动终端 |
CN107742275A (zh) * | 2017-11-09 | 2018-02-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN108898633A (zh) * | 2018-07-02 | 2018-11-27 | 成都精位科技有限公司 | 目标物定位方法及装置 |
CN111091025A (zh) * | 2018-10-23 | 2020-05-01 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置和设备 |
CN111091025B (zh) * | 2018-10-23 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置和设备 |
CN111667531A (zh) * | 2019-03-06 | 2020-09-15 | 西安邮电大学 | 定位方法及装置 |
CN111667531B (zh) * | 2019-03-06 | 2023-11-24 | 西安远智电子科技有限公司 | 定位方法及装置 |
CN111667408A (zh) * | 2020-06-02 | 2020-09-15 | 中车青岛四方机车车辆股份有限公司 | 车辆图像的处理方法及装置、存储介质、处理器 |
CN111667408B (zh) * | 2020-06-02 | 2023-06-02 | 中车青岛四方机车车辆股份有限公司 | 车辆图像的处理方法及装置、存储介质、处理器 |
CN111967106A (zh) * | 2020-08-19 | 2020-11-20 | 深圳市康冠科技股份有限公司 | 一种不规则物体底座长度尺寸的确定方法 |
CN111967106B (zh) * | 2020-08-19 | 2024-01-09 | 深圳市康冠科技股份有限公司 | 一种不规则物体底座长度尺寸的确定方法 |
CN113393429B (zh) * | 2021-06-07 | 2023-03-24 | 杭州睿影科技有限公司 | 一种目标检测设备的出口位置的标定方法、目标检测设备 |
CN113393429A (zh) * | 2021-06-07 | 2021-09-14 | 杭州睿影科技有限公司 | 一种目标检测设备的出口位置的标定方法、目标检测设备 |
CN113554687B (zh) * | 2021-09-18 | 2021-12-07 | 四川赛狄信息技术股份公司 | 无人机弹载发射偏移校准控制方法、系统、终端及介质 |
CN113554687A (zh) * | 2021-09-18 | 2021-10-26 | 四川赛狄信息技术股份公司 | 无人机弹载发射偏移校准控制方法、系统、终端及介质 |
CN115965629A (zh) * | 2023-03-17 | 2023-04-14 | 杭州堃博生物科技有限公司 | 消融区域确定方法、装置、设备及非易失性存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102855629B (zh) | 2014-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102855629B (zh) | 一种目标对象定位方法及装置 | |
US9195121B2 (en) | Markerless geometric registration of multiple projectors on extruded surfaces using an uncalibrated camera | |
US9064312B2 (en) | Augmented reality using projector-camera enabled devices | |
US10373360B2 (en) | Systems and methods for content-adaptive image stitching | |
EP3065048B1 (en) | Calibration system and method for multi-image output system | |
CN104391431B (zh) | 曝光显影方法和系统、曝光控制系统 | |
Sajadi et al. | Autocalibration of multiprojector cave-like immersive environments | |
CN103337094A (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
CN103226838A (zh) | 地理场景中移动监控目标的实时空间定位方法 | |
CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
CN109064409A (zh) | 一种移动机器人的视觉图像拼接系统及方法 | |
CN104809719A (zh) | 基于单应性矩阵分割的虚拟视点合成的方法 | |
CN104881869A (zh) | 一种移动平台上的实时全景跟踪与拼接方法 | |
CN104732577A (zh) | 一种基于uav低空航测系统的建筑物纹理提取方法 | |
CN105554447A (zh) | 一种基于图像处理技术的采煤工作面实时视频拼接系统 | |
TW202113551A (zh) | 虛實疊合方法與系統 | |
CN105139336B (zh) | 一种多通道全景影像转换球幕鱼眼影片的方法 | |
KR20240058858A (ko) | 다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템 | |
CN102572471A (zh) | 遮挡层扩展 | |
CN105957005B (zh) | 基于特征点和结构线的桥梁影像拼接方法 | |
CN111161130A (zh) | 一种基于三维地理信息的视频矫正方法 | |
CN102903097B (zh) | 一种图像透视校正方法及装置 | |
Zhu et al. | Pedestrian-aware panoramic video stitching based on a structured camera array | |
Jing et al. | 3D reconstruction of underground tunnel using Kinect camera | |
US10859377B2 (en) | Method for improving position information associated with a collection of images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140917 Termination date: 20150821 |
|
EXPY | Termination of patent right or utility model |