CN110858877B - 一种投影仪曝光时间确定方法及装置 - Google Patents
一种投影仪曝光时间确定方法及装置 Download PDFInfo
- Publication number
- CN110858877B CN110858877B CN201810958985.7A CN201810958985A CN110858877B CN 110858877 B CN110858877 B CN 110858877B CN 201810958985 A CN201810958985 A CN 201810958985A CN 110858877 B CN110858877 B CN 110858877B
- Authority
- CN
- China
- Prior art keywords
- exposure time
- brightness
- determining
- structured light
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供了一种投影仪曝光时间确定方法及装置,方法包括:投影仪依次按照所设定的每个曝光时间投射结构光,获取所投射结构光对应的多张光栅图像,确定光栅图像中的亮度参数,根据亮度参数,在所设定的曝光时间中确定最优曝光时间;可见,利用本方案可以自动确定出投影仪的最优曝光时间。
Description
技术领域
本发明涉及三维测量技术领域,特别是涉及一种投影仪曝光时间确定方法及装置。
背景技术
利用结构光进行三维测量的方案一般包括:投影仪投射结构光,结构光照射到待测量物体上形成投影光栅;相机对该投影光栅进行采集,得到光栅图像;计算机根据该光栅图像,计算待测量物体的测量数据。
不同材质表面的反射率不同,如果待测量物体表面的反射率较大,则对应的投影仪曝光时间应该小一些,如果待测量物体表面的反射率较小,则对应的投影仪曝光时间应该大一些。现有方案中,大多是根据人工经验确定投影仪的曝光时间。
发明内容
本发明实施例的目的在于提供一种投影仪曝光时间确定方法及装置,以实现自动确定投影仪的曝光时间。
为达到上述目的,本发明实施例提供了一种投影仪曝光时间确定方法,包括:
获取多张光栅图像,所述光栅图像为:投影仪依次按照所设定的各曝光时间投射的结构光对应的图像;
确定所述多张光栅图像中的亮度参数,所述亮度参数为表示亮度分布范围的参数;
根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间。
可选的,所述确定所述多张光栅图像中的亮度参数,包括:
针对每张光栅图像,确定该张光栅图像亮度值与其对应的结构光亮度值的斜率,作为亮度参数;
所述根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间,包括:在所设定的曝光时间中,确定所述斜率的拐点对应的曝光时间,作为最优曝光时间。
可选的,所述确定所述多张光栅图像中的亮度参数,包括:
根据所设定的初始曝光时间对应的光栅图像,计算所述初始曝光时间对应的结构光的有效亮度范围,作为亮度参数;
所述根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间,包括:
判断所述初始曝光时间对应的结构光的有效亮度范围的最大值是否大于预设阈值;
如果不大于,则在所设定的、不大于所述初始曝光时间的曝光时间中,确定最优曝光时间。
可选的,所述在所设定的、不大于所述初始曝光时间的曝光时间中,确定最优曝光时间,包括:
针对所设定的、小于所述初始曝光时间的每个曝光时间,根据该曝光时间对应的光栅图像,计算该曝光时间对应的结构光的有效亮度范围;
在计算得到的有效亮度范围中,将最大值大于所述预设阈值的有效亮度范围对应的曝光时间确定为候选曝光时间;
在所设定的、大于所述候选曝光时间、小于所述初始曝光时间的曝光时间中,确定最优曝光时间;
在判定所述初始曝光时间对应的结构光的有效亮度范围的最大值大于预设阈值的情况下,还包括:
在所设定的、大于所述初始曝光时间中,确定最优曝光时间。
可选的,在所设定的、不大于所述初始曝光时间的曝光时间中,确定最优曝光时间,包括:
将所述初始曝光时间确定为最优曝光时间;
在判定所述初始曝光时间对应的结构光的有效亮度范围的最大值大于预设阈值的情况下,还包括:
在所设定的、大于所述初始曝光时间中,确定最优曝光时间。
可选的,所述亮度参数还包括光栅图像亮度值与其对应的结构光亮度值的斜率;所述在所设定的、大于所述初始曝光时间中,确定最优曝光时间,包括:
在所设定的、大于所述初始曝光时间中,确定所述斜率的拐点对应的曝光时间,作为最优曝光时间。
可选的,计算所述初始曝光时间对应的结构光的有效亮度范围,包括:
在所投射的结构光中,依次选择待比较结构光亮度值;
确定在所述初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
可选的,所述确定所述多张光栅图像中的亮度参数,包括:
在光栅图像中确定有效区域;确定所述有效区域中的亮度参数。
可选的,在光栅图像中确定有效区域,包括:
在所获取的同一曝光时间的多张光栅图像中,选择两张待处理光栅图像;
计算所述两张待处理光栅图像之间的亮度差;
确定亮度差大于预设阈值的区域,作为有效区域。
可选的,在光栅图像中确定有效区域之后,还包括:
利用预设方式,在每个有效区域中选择部分像素点,作为典型区域;所述预设方式包括以下任意一种或多种:随机选择方式、以固定间距选择方式;
所述确定所述有效区域中的亮度参数,包括:确定所述典型区域中的亮度参数。
可选的,在所述根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间之后,还包括:基于投影仪的最优曝光时间,设定相机的曝光时间。
为达到上述目的,本发明实施例还提供了一种投影仪曝光时间确定装置,包括:
获取模块,用于获取多张光栅图像,所述光栅图像为:投影仪依次按照所设定的各曝光时间投射的结构光对应的图像;
第一确定模块,用于确定所述多张光栅图像中的亮度参数,所述亮度参数为表示亮度分布范围的参数;
第二确定模块,用于根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间。
可选的,所述第一确定模块,具体用于:针对每张光栅图像,确定该张光栅图像亮度值与其对应的结构光亮度值的斜率,作为亮度参数;
所述第二确定模块,具体用于:在所设定的曝光时间中,确定所述斜率的拐点对应的曝光时间,作为最优曝光时间。
可选的,所述第一确定模块,具体用于:根据所设定的初始曝光时间对应的光栅图像,计算所述初始曝光时间对应的结构光的有效亮度范围,作为亮度参数;
所述第二确定模块,包括:
判断子模块,用于判断所述初始曝光时间对应的结构光的有效亮度范围的最大值是否大于预设阈值;如果不大于,触发第一确定子模块;
第一确定子模块,用于在所设定的、不大于所述初始曝光时间的曝光时间中,确定最优曝光时间。
可选的,所述第一确定子模块,具体用于:
针对所设定的、小于所述初始曝光时间的每个曝光时间,根据该曝光时间对应的光栅图像,计算该曝光时间对应的结构光的有效亮度范围;在计算得到的有效亮度范围中,将最大值大于所述预设阈值的有效亮度范围对应的曝光时间确定为候选曝光时间;在所设定的、大于所述候选曝光时间、小于所述初始曝光时间的曝光时间中,确定最优曝光时间;
所述装置还包括:
第三确定模块,用于在判定所述初始曝光时间对应的结构光的有效亮度范围的最大值大于预设阈值的情况下,在所设定的、大于所述初始曝光时间中,确定最优曝光时间。
可选的,所述第一确定子模块,具体用于:将所述初始曝光时间确定为最优曝光时间;
所述装置还包括:
第三确定模块,用于在判定所述初始曝光时间对应的结构光的有效亮度范围的最大值大于预设阈值的情况下,在所设定的、大于所述初始曝光时间中,确定最优曝光时间。
可选的,第三确定模块,具体用于:
在所设定的、大于所述初始曝光时间中,确定所述斜率的拐点对应的曝光时间,作为最优曝光时间。
可选的,所述第一确定模块,具体用于:
在所投射的结构光中,依次选择待比较结构光亮度值;
确定在所述初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
可选的,所述第二确定模块,包括:
第二确定子模块,用于在光栅图像中确定有效区域;
第三确定子模块,用于确定所述有效区域中的亮度参数。
可选的,所述第二确定子模块,具体用于:
在所获取的同一曝光时间的多张光栅图像中,选择两张待处理光栅图像;计算所述两张待处理光栅图像之间的亮度差;确定亮度差大于预设阈值的区域,作为有效区域。
可选的,所述第二确定子模块还用于:利用预设方式,在每个有效区域中选择部分像素点,作为典型区域;所述预设方式包括以下任意一种或多种:随机选择方式、以固定间距选择方式;
所述第三确定子模块,具体用于:确定所述典型区域中的亮度参数。
可选的,所述装置还包括:
设定模块,用于基于投影仪的最优曝光时间,设定相机的曝光时间。
为达到上述目的,本发明实施例还提供了一种电子设备,包括处理器和存储器;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一种投影仪曝光时间确定方法。
本发明实施例中,投影仪依次按照所设定的每个曝光时间投射结构光,获取所投射结构光对应的多张光栅图像,确定光栅图像中的亮度参数,根据亮度参数,在所设定的曝光时间中确定最优曝光时间;可见,利用本方案可以自动确定出投影仪的最优曝光时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的投影仪曝光时间确定方法的第一种流程示意图;
图2为本发明实施例提供的一种曝光时间调整示意图;
图3为本发明实施例提供的另一种曝光时间调整示意图;
图4为本发明实施例提供的另一种曝光时间调整示意图;
图5为本发明实施例提供的投影仪曝光时间确定方法的第二种流程示意图;
图6为本发明实施例提供的一种光栅亮度分布示意图;
图7为本发明实施例提供的投影仪曝光时间确定方法的第三种流程示意图;
图8a-8c为本发明实施例提供的相机与投影仪曝光时间设定示意图;
图9为本发明实施例提供的一种投影仪曝光时间确定装置的结构示意图;
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决上述技术问题,本发明实施例提供了一种投影仪曝光时间确定方法、装置及设备,该方法及装置可以应用于投影仪或者与投影仪相连接的计算机或者其他电子设备,具体不做限定。下面首先对本发明实施例提供的投影仪曝光时间确定方法进行详细介绍。
图1为本发明实施例提供的投影仪曝光时间确定方法的第一种流程示意图,包括:
S101:获取多张光栅图像。其中,该光栅图像为:投影仪依次按照所设定的各曝光时间投射的结构光对应的图像。
一种实施方式中,可以预先设定投影仪的多个曝光时间,然后控制投影仪按照所设定的各曝光时间依次投射结构光。所设定的各曝光时间、以及各曝光时间的间隔,具体数值不做限定。举例来说,各曝光时间的间隔可以为一固定值,比如为1ms、5ms。或者,各曝光时间的间隔可以为非固定值,比如,先大后小再大,这也是可以的。
举个例子,所设定的各曝光时间可以为0ms、5ms、10ms、15ms……100ms等等(各曝光时间的间隔固定的情况)。再举个例子,所设定的各曝光时间也可以为0ms、10ms、20ms、25ms……50ms、51ms、52ms……80ms、85ms、90ms、100ms等等(各曝光时间的间隔不固定的情况)。或者,也可以为其他,不再一一列举。
以曝光时间t为例来说,可以控制投影仪在曝光时间为t的情况下,多次投射单一亮度值的结构光;其中,每次投射的结构光亮度值不同;获取每次投射的结构光对应的光栅图像。
举例来说,可以控制投影仪在曝光时间为t的情况下,按照255-0的顺序进行256次投射,第一次投射的结构光亮度值为255,第二次投射的结构光亮度值为254,以此类推,第256次投射的结构光亮度值为0。或者,也可以按照0-255的顺序进行256次投射,第一次投射的结构光亮度值为0,第二次投射的结构光亮度值为1,以此类推,第256次投射的结构光亮度值为255。
或者,在曝光时间为t的情况下,投影仪也可以不需要投射256次,仅投射部分亮度值的结构光;比如,可以投射亮度值为10-245的结构光,投射结构光的亮度间隔可以为5:第一次投射的结构光亮度值为10,第二次投射的结构光亮度值为15,以此类推,不再赘述。
或者,在曝光时间为t的情况下,投影仪也可以不按照顺序随机投射一组结构光,等等,具体投射方式不做限定。
每次投射结构光后,都采集一张光栅图像,这样,便得到了多张光栅图像,而且光栅图像与投影仪的曝光时间、及结构光亮度值之间存在对应关系。比如,上述例子中,在曝光时间为t的情况下,按照255-0的顺序投射了256次,这样,便得到了256张光栅图像,第一张光栅图像对应的曝光时间为t、结构光亮度值为255,第256张光栅图像对应的曝光时间为t、结构光亮度值为0。
S102:确定该多张光栅图像中的亮度参数。其中,亮度参数为表示亮度分布范围的参数。
举例来说,亮度参数可以为光栅图像亮度值与结构光亮度值之间的斜率,或者,亮度参数也可以为结构光的有效亮度范围,或者,亮度参数既包括该斜率又包括该有效亮度范围。
S103:根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间。
一种实施方式中,S102可以包括:针对每张光栅图像,确定该张光栅图像亮度值与其对应的结构光亮度值的斜率,作为亮度参数;S103可以包括:在所设定的曝光时间中,确定所述斜率的拐点对应的曝光时间,作为最优曝光时间。
延续上述例子,在曝光时间为t的情况下,假设光栅图像亮度值与结构光亮度值的响应关系为:y=k*x+b;其中,y表示光栅图像亮度值,x表示结构光亮度值,k表示斜率,b表示截距。
可以理解,两组(x,y)即可确定出k、b的值,因此,举个简单的例子,在曝光时间为t的情况下,投影仪可以投射两次不同亮度值的结构光,以确定出曝光时间为t的情况下的斜率k。
或者,也可以在曝光时间为t的情况下,投影仪投射两次以上不同亮度值的结构光,得到大于两组(x,y)。基于得到的多组(x,y)得到多个k值,然后可以综合考虑该多个k值的变化情况,该变化情况可以为理解为一种变化趋势。比如,大部分的k值都变大,只有少数k值未变大,则可以认为斜率变大。
可以理解,曝光时间存在一个最优值,如果曝光时间初始值(初始曝光时间)为一个较小值,则在该初始值的基础上增加曝光时间的过程中,在到达该最优值之前,k随曝光时间的增大而增大,在到达该最优值之后,k不再随曝光时间的增大而增大。因此,可以将k的拐点对应的曝光时间确定为最优曝光时间。
一种情况下,可以由小到大依次设定投影仪的多个曝光时间。举例来说,初始曝光时间可以为一个较小值,这样,投影仪按照所设定的各曝光时间依次投射结构光,也就是逐渐增加曝光时间,直至确定出最优曝光时间。每次的增加值可以为固定值,或者也可以为非固定值,比如,可以先大后小,一种情况下,可以根据预设函数设定每次的增加值。
可以参考图2,增加投影仪的曝光时间;判断增加曝光时间后(光栅图像亮度值与其对应的结构光亮度值的)斜率是否变大;如果增加曝光时间后斜率变大,则返回执行所述增加投影仪的曝光时间的步骤,直至增加曝光时间后斜率不再变大时,将最后一次增加曝光时间之前的曝光时间确定为投影仪的最优曝光时间。
如上所述,在初始曝光时间的基础上增加曝光时间的过程中,如果超过了最优值,则斜率不再变大。因此,如果斜率不再变大,则表示超过了最优值,最后一次增加曝光时间之前的曝光时间最接近最优值,将它确定为最优曝光时间。
另一种情况下,也可以由大到小依次设定投影仪的多个曝光时间。举例来说,初始曝光时间也可以为一个较大值,这样,投影仪按照所设定的各曝光时间依次投射结构光,也就是逐渐减少曝光时间,直至确定出最优曝光时间。每次的减少值可以为固定值,或者也可以为非固定值,比如,可以先大后小,一种情况下,可以根据预设函数设定每次的减少值。
另一种实施方式中,S102可以包括:根据所设定的初始曝光时间对应的光栅图像,计算所述初始曝光时间对应的结构光的有效亮度范围,作为亮度参数;S103可以包括:判断所述初始曝光时间对应的结构光的有效亮度范围的最大值是否大于预设阈值;如果不大于,则在所设定的、不大于所述初始曝光时间的曝光时间中,确定最优曝光时间。
一种情况下,计算初始曝光时间对应的结构光的有效亮度范围,可以包括:
在所投射的结构光中,依次选择待比较结构光亮度值;
确定在所述初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
举例来说,可以先计算全局亮度显著性系数:
延续上述例子,假设在初始曝光时间下依次投射0-255的结构光,则结构光的最大亮度值为255、最小亮度值为0,则第一亮度差为255,假设在初始曝光时间下,亮度值为255的结构光对应的光栅图像亮度值为Imax,亮度值为0的结构光对应的光栅图像亮度值为Imin,则全局亮度显著性系数=(Imax-Imin)/255。
或者,也可以根据经验设定全局亮度显著性系数。
可以依次选择0-255的结构光亮度值,作为待比较结构光亮度值。待比较结构光亮度值对应的光栅图像亮度值变化情况也就是:在初始曝光时间下,△光栅图像亮度值/△待比较结构光亮度值。换句话说,假设以结构光亮度值为自变量x、光栅图像亮度值为因变量y,生成一条曲线(或者直线),则该变化情况即为待比较结构光亮度值处的斜率。
将待比较结构光亮度值记为Scur,Scur处的斜率记为η,η即为待比较亮度显著性系数,η可以为以下任意一种:
其中,Sdelta为预设亮度间隔,Slow=Scur-Sdelta,Shigh=Scur+Sdelta,将Scur对应的光栅图像亮度值记为Icur,将Slow对应的光栅图像亮度值记为Ilow,将Shigh对应的光栅图像亮度值记为Ihigh。
Sdelta可以为10,或者也可以为其他,具体不做限定。假设预设亮度间隔Sdelta为10,Scur从0开始依次递加;则第一次选择的Scur为0,Shigh为10;第二次选择的Scur为1,Shigh为11;第三次选择的Scur为2,Shigh为12……不再一一列举。下面以Scur为50、Shigh为60进行举例说明:
假设在初始曝光时间下,亮度值为50的结构光S50对应的光栅图像亮度值为I50,亮度值为60的结构光S60对应的光栅图像亮度值为I60,则Scur对应的待比较亮度显著性系数为:
将计算得到的η与上述全局亮度显著性系数进行比较,如果η大于全局亮度显著性系数,则Scur属于结构光有效亮度范围。类似的,对每次选择的待比较结构光亮度值都进行上述处理,便可以确定出结构光有效亮度范围。
比如,可以先从Scur=0开始,按照升序(Scur=1,Scur=2……)依次对每个亮度值进行上述处理,直至η小于全局亮度显著性系数时,将上一个Scur的值确定为结构光有效亮度范围的最小值;然后,从Scur=255开始,按照降序(Scur=254,Scur=253……)依次对每个亮度值进行上述处理,直至η小于全局亮度显著性系数时,将上一个Scur的值确定为结构光有效亮度范围的最大值;这样,便确定出了初始曝光时间下的结构光有效亮度范围。
为了方便描述,将有效亮度范围的最大值记为S_max,将预设阈值记为T_max。本实施方式中,将有效亮度范围的最大值S_max与预设阈值T_max进行对比,T_max可以为一个较大值,如250。如果S_max不大于T_max,则表示光栅图像太亮了,导致S_max与T_max之间部分被湮没。一般来说,曝光时间越大,S_max越小。
如上所述,一种情况下,初始曝光时间可以为一个较小值;这种情况下,如果初始曝光时间对应的结构光的有效亮度范围的最大值不大于预设阈值,可以将初始曝光时间确定为最优曝光时间。
如上所述,如果S_max不大于T_max,则表示光栅图像太亮了,导致S_max与T_max之间部分被湮没,这种情况下,不应再增加曝光时间;而初始曝光时间已经为一较小值,也不应再减少曝光时间;因此,可以直接将投影仪的初始曝光时间确定为最优曝光时间。
在初始曝光时间为一个较小值的情况下,如果初始曝光时间对应的结构光的有效亮度范围的最大值大于预设阈值,则可以在所设定的、大于初始曝光时间中,确定最优曝光时间。
如果S_max大于T_max,则增加曝光时间,并且可以采用上面内容中描述的、将k的拐点对应的曝光时间确定为最优曝光时间的方案。
举例来说,如果初始曝光时间为一个较小值,则可以参考图3,先在初始曝光时间下,判断结构光有效亮度范围的最大值S_max是否大于预设阈值T_max;如果不大于,则将投影仪的初始曝光时间确定为投影仪的最优曝光时间;如果大于,则增加投影仪的曝光时间;判断增加曝光时间后(光栅图像亮度值与其对应的结构光亮度值的)斜率是否变大;如果增加曝光时间后斜率变大,则返回执行所述增加投影仪的曝光时间的步骤,直至增加曝光时间后斜率不再变大时,将最后一次增加曝光时间之前的曝光时间确定为投影仪的最优曝光时间。
可见,图3所示方案中,如果在初始曝光时间下,S_max大于T_max,则确定出的最优曝光时间大于初始曝光时间,也就是在所设定的、大于初始曝光时间中,确定最优曝光时间。如果在初始曝光时间下,S_max不大于T_max,则将初始曝光时间确定为最优曝光时间。
如上所述,另一种情况下,初始曝光时间可以为一个中间值,该中间值可以根据经验设定。这种情况下,如果初始曝光时间对应的结构光的有效亮度范围的最大值不大于预设阈值,可以针对所设定的、小于初始曝光时间的每个曝光时间,根据该曝光时间对应的光栅图像,计算该曝光时间对应的结构光的有效亮度范围;在计算得到的有效亮度范围中,将最大值大于所述预设阈值的有效亮度范围对应的曝光时间确定为候选曝光时间;在所设定的、大于所述候选曝光时间、小于所述初始曝光时间的曝光时间中,确定最优曝光时间。
“针对所设定的、小于初始曝光时间的每个曝光时间,计算该曝光时间对应的结构光的有效亮度范围”与上述“计算初始曝光时间对应的结构光的有效亮度范围”方式类似,也就是:
在所投射的结构光中,依次选择待比较结构光亮度值;针对所设定的、小于初始曝光时间的每个曝光时间,确定在该曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在该曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;如果大于,则确定在该曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
这部分“计算结构光有效亮度范围”的内容不再赘述。
可以理解,初始曝光时间为较小值时,即使S_max不大于T_max(光栅图像太亮),也不再减少投影仪的曝光时间(初始曝光时间已经很小了,不再减少);而初始曝光时间为中间值时,如果S_max不大于T_max(光栅图像太亮),则可以减少投影仪的曝光时间,直至S_max大于T_max,这里将使得S_max大于T_max的曝光时间称为候选曝光时间,在候选曝光时间与初始曝光时间之间确定最优曝光时间。
如果初始曝光时间对应的S_max大于T_max,则可以在所设定的、大于初始曝光时间中,确定最优曝光时间。具体的,可以增加曝光时间,并且采用上面内容中描述的、将k的拐点对应的曝光时间确定为最优曝光时间的方案。
举例来说,如果初始曝光时间为一个中间值,则可以参考图4,先判断结构光有效亮度范围的最大值S_max是否大于预设阈值T_max,其中,第一次判断是判断在初始曝光时间下,S_max是否大于T_max;之后的判断则是判断在其他减少后的曝光时间下,S_max是否大于T_max。
如果不大于,则减少投影仪的曝光时间,直至S_max大于T_max;如果大于,则增加投影仪的曝光时间;判断增加曝光时间后(光栅图像亮度值与其对应的结构光亮度值的)斜率是否变大;如果增加曝光时间后斜率变大,则返回执行所述增加投影仪的曝光时间的步骤,直至增加曝光时间后所述响应关系的斜率不再变大时,将最后一次增加曝光时间之前的曝光时间确定为投影仪的最优曝光时间。
图4所示方案中,减少曝光时间的幅度可以大于增加曝光时间的幅度,以免第一次增加曝光时间后比最后一次减少曝光时间的值还要大,这样方案更合理。
可见,图4所示方案中,如果在初始曝光时间下,S_max大于T_max,则确定出的最优曝光时间大于初始曝光时间,也就是在所设定的、大于初始曝光时间中,确定最优曝光时间。如果在初始曝光时间下,S_max不大于T_max,则确定出的最优曝光时间小于初始曝光时间且大于候选曝光时间,候选曝光时间也就是刚好使得S_max大于T_max的曝光时间,也就是说在所设定的、大于候选曝光时间、小于初始曝光时间的曝光时间中,确定最优曝光时间。
应用上述实施例,可以自动确定出投影仪的最优曝光时间。
上述一种实施方式中,计算出了所设定的各曝光时间对应的结构光的有效亮度范围,这种情况下,控制投影仪投射结构光时,可以仅投射有效亮度范围内的结构光。
可以理解,投影仪投射结构光时,通常受到环境光的影响。比如,当结构光的亮度低于环境光亮度时,则结构光会被环境光覆盖,这样,得到的光栅图像偏差较大,测量不准确。另外,结构光太亮或太暗的情况超出了相机的有效感应范围,也会导致测量不准确。本实施方式中,计算结构光有效亮度范围;确定标定补偿数据时,不考虑该有效亮度范围外的结构光;投射结构光时,不投射该有效亮度范围外的结构光;因此,受环境光影响较小,而且不超出相机的有效感应范围,降低了光栅图像的偏差,提高了测量准确性。
作为一种实施方式,S102可以包括:在光栅图像中确定有效区域;确定所述有效区域中的亮度参数。
如上所述,可以控制投影仪在曝光时间为t的情况下,多次投射单一亮度值的结构光;其中,每次投射的结构光亮度值不同;获取每次投射的结构光对应的光栅图像。具体的,投影仪投射的结构光照射到待测量物体上形成投影光栅,相机对该投影光栅进行采集得到光栅图像。
可以理解,光栅图像中可能存在投影光栅之外的区域,比如光栅图像中还可能包括部分待测量物体;对光栅图像中的非投影光栅区域像素点进行处理是没有必要的。本实施方式中,先识别出光栅图像中的有效区域,也就是投影光栅所在区域,仅对有效区域像素点进行处理,提高处理效率。
一种情况下,在光栅图像中确定有效区域,可以包括:在所获取的同一曝光时间的多张光栅图像中,选择两张待处理光栅图像;计算所述两张待处理光栅图像之间的亮度差;确定亮度差大于预设阈值的区域,作为有效区域。
仍以曝光时间t为例来说,假设获取了256张光栅图像,可以在这些光栅图像中选择一张亮度值较高的光栅图像和一张亮度值较低的光栅图像。例如,可以选择亮度值最高的光栅图像和亮度值最低的光栅图像,具体选择方式不做限定。为了方便描述,将所选择的两张光栅图像称为待处理光栅图像,将亮度值较高的待处理光栅图像记为I1,将亮度值较低的待处理光栅图像记为I2。
如上所述,光栅图像中的像素点位置不变,因此I1与I2中的像素点一一对应。将I1与I2中对应的像素点称为像素点对,如果一对像素点对的亮度值之差大于预设阈值,则认为该像素点对属于有效区域。
可以理解,同一曝光时间下,利用不同亮度值的结构光照射待测量物体时,投影光栅区域的亮度值差别较大,而由于非投影光栅区域只有环境光的照射,亮度值差别不大,因此,亮度值差别较大的像素点对属于有效区域。
如上所述,光栅图像中的像素点位置不变,因此,有效区域的位置也不变。在待处理光栅图像中确定出有效区域后,可以将其他光栅图像中相同的位置也确定为有效区域。可以将不同光栅图像中位置相同的有效区域认为是同一个有效区域。
作为一种实施方式,在光栅图像中确定有效区域之后,还可以利用预设方式,在每个有效区域中选择部分像素点,作为典型区域;所述预设方式包括以下任意一种或多种:随机选择方式、以固定间距选择方式;这种情况下,确定所述典型区域亮度值与结构光亮度值之间的响应关系。
举例来说,可以选择有效区域中的全部像素点都作为典型区域;或者,也可以以固定间距的方式,在有效区域中选择部分像素点作为典型区域;或者,也可以在有效区域中随机选择部分像素点作为典型区域;具体选择方式不做限定。
可以理解,投影仪、环境光、待测量物体、投影距离、相机等因素都可能影响投影光栅的亮度分布,因此,即使每次投射单一亮度值的结构光,光栅图像可能也不是单一亮度值;本实施方式中,选择典型区域来代表投影光栅的亮度分布。
一张光栅图像中的一个典型区域可以对应一个像素值,该像素值可以为典型区域中所有像素点的亮度均值,或者,也可以为典型区域中所有像素点亮度值的加权值,或者,也可以为典型区域中所有像素点的亮度中值,等等,具体不做限定。
如上所述,光栅图像中的像素点位置不变,有效区域的位置不变,因此,典型区域的位置也不变。将不同光栅图像中位置相同的典型区域认为是同一个典型区域。
应用本发明图1所示实施例,投影仪依次按照所设定的每个曝光时间投射结构光,获取所投射结构光对应的多张光栅图像,确定光栅图像中的亮度参数,根据亮度参数,在所设定的曝光时间中确定最优曝光时间;可见,利用本方案可以自动确定出投影仪的最优曝光时间。
图5为本发明实施例提供的投影仪曝光时间确定方法的第二种流程示意图,图5实施例中初始曝光时间可以为一个中间值,图5实施例包括如下步骤:
S501:控制投影仪在初始曝光时间下投射结构光。
本实施例中,预先设定多个曝光时间,后续可以控制投影仪依次按照所设定的各曝光时间投射结构光。在每个曝光时间下,投影仪多次投射单一亮度值的结构光,而且其中每次投射的结构光亮度值不同。S501中先控制投影仪在所设定的初始曝光时间下投射结构光。
S502:获取初始曝光时间下投影仪每次投射的结构光对应的光栅图像。
如上所述,本实施例中,预先设定多个曝光时间,后续可以控制投影仪依次按照所设定的各曝光时间投射结构光;本实施例中,投影仪每次投射结构光后,分别获取光栅图像。S502中先获取初始曝光时间下的光栅图像。
S503:在光栅图像中确定有效区域;并利用预设方式,在每个有效区域中选择部分像素点,作为典型区域。所述预设方式包括以下任意一种或多种:随机选择方式、以固定间距选择方式。
可以理解,光栅图像中可能存在投影光栅之外的区域,比如光栅图像中还可能包括部分待测量物体;对光栅图像中的非投影光栅区域像素点进行处理是没有必要的。本实施方式中,先识别出光栅图像中的有效区域,也就是投影光栅所在区域,仅对有效区域像素点进行处理,提高处理效率。
一种情况下,在光栅图像中确定有效区域,可以包括:在所获取的多张光栅图像中,选择两张待处理光栅图像;计算所述两张待处理光栅图像之间的亮度差;确定亮度差大于预设阈值的区域,作为有效区域。
假设在初始曝光时间下,获取了256张光栅图像,可以在这些光栅图像中选择一张亮度值较高的光栅图像和一张亮度值较低的光栅图像。例如,可以选择亮度值最高的光栅图像和亮度值最低的光栅图像,具体选择方式不做限定。为了方便描述,将所选择的两张光栅图像称为待处理光栅图像,将亮度值较高的待处理光栅图像记为I1,将亮度值较低的待处理光栅图像记为I2。
如上所述,光栅图像中的像素点位置不变,因此I1与I2中的像素点一一对应。将I1与I2中对应的像素点称为像素点对,如果一对像素点对的亮度值之差大于预设阈值,则认为该像素点对属于有效区域。
可以理解,利用不同亮度值的结构光照射待测量物体时,投影光栅区域的亮度值差别较大,而由于非投影光栅区域只有环境光的照射,亮度值差别不大,因此,亮度值差别较大的像素点对属于有效区域。
如上所述,光栅图像中的像素点位置不变,因此,有效区域的位置也不变。在待处理光栅图像中确定出有效区域后,可以将其他光栅图像中相同的位置也确定为有效区域。可以将不同光栅图像中位置相同的有效区域认为是同一个有效区域。
在光栅图像中确定有效区域之后,可以选择有效区域中的全部像素点都作为典型区域;或者,也可以以固定间距的方式,在有效区域中选择部分像素点作为典型区域;或者,也可以在有效区域中随机选择部分像素点作为典型区域;具体选择方式不做限定。
可以理解,投影仪、环境光、待测量物体、投影距离、相机等因素都可能影响投影光栅的亮度分布,因此,即使每次投射单一亮度值的结构光,光栅图像可能也不是单一亮度值;本实施方式中,选择典型区域来代表投影光栅的亮度分布。
一张光栅图像中的一个典型区域可以对应一个像素值,该像素值可以为典型区域中所有像素点的亮度均值,或者,也可以为典型区域中所有像素点亮度值的加权值,或者,也可以为典型区域中所有像素点的亮度中值,等等,具体不做限定。
如上所述,光栅图像中的像素点位置不变,有效区域的位置不变,因此,典型区域的位置也不变。将不同光栅图像中位置相同的典型区域认为是同一个典型区域。
S504:计算初始曝光时间对应的结构光的有效亮度范围。
如上所述,本实施例中,预先设定多个曝光时间,后续可以控制投影仪依次按照所设定的各曝光时间投射结构光;本实施例中,可以分别计算所设定的各曝光时间对应的结构光的有效亮度范围。S504中先计算初始曝光时间对应的有效亮度范围。
可以理解,投影仪投射结构光时,通常受到环境光的影响。比如,当结构光的亮度低于环境光亮度时,则结构光会被环境光覆盖,这样,得到的光栅图像偏差较大,测量不准确。另外,结构光太亮或太暗的情况超出了相机的有效感应范围,也会导致测量不准确。本实施方式中,计算结构光有效亮度范围;投影仪投射结构光时,不投射该有效亮度范围外的结构光,而且后续确定亮度参数时,也不考虑该有效亮度范围外的结构光;因此,受环境光影响较小,而且不超出相机的有效感应范围,降低了光栅图像的偏差,提高了测量准确性。
下面和曝光时间t为例,介绍计算结构光的有效亮度范围的具体方式:
在所投射的结构光中,依次选择待比较结构光亮度值;
确定在曝光时间t下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在曝光时间t下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
如果大于,则确定在曝光时间t下、所述待比较结构光亮度值属于结构光有效亮度范围。
举例来说,可以先计算全局亮度显著性系数:
假设在曝光时间t下、依次投射0-255的结构光,则结构光的最大亮度值为255、最小亮度值为0,则第一亮度差为255,假设在曝光时间t下、亮度值为255的结构光对应的光栅图像亮度值为Imax,亮度值为0的结构光对应的光栅图像亮度值为Imin,则全局亮度显著性系数=(Imax-Imin)/255。
或者,也可以根据经验设定全局亮度显著性系数。
可以依次选择0-255的结构光亮度值,作为待比较结构光亮度值。待比较结构光亮度值对应的光栅图像亮度值变化情况也就是:在曝光时间t下,△光栅图像亮度值/△待比较结构光亮度值。换句话说,假设以结构光亮度值为自变量x、光栅图像亮度值为因变量y,生成一条曲线(或者直线),则该变化情况即为待比较结构光亮度值处的斜率。
将待比较结构光亮度值记为Scur,Scur处的斜率记为η,η即为待比较亮度显著性系数,η可以为以下任意一种:
其中,Sdelta为预设亮度间隔,Slow=Scur-Sdelta,Shigh=Scur+Sdelta,将Scur对应的光栅图像亮度值记为Icur,将Slow对应的光栅图像亮度值记为Ilow,将Shigh对应的光栅图像亮度值记为Ihigh。
Sdelta可以为10,或者也可以为其他,具体不做限定。假设预设亮度间隔Sdelta为10,Scur从0开始依次递加;则第一次选择的Scur为0,Shigh为10;第二次选择的Scur为1,Shigh为11;第三次选择的Scur为2,Shigh为12……不再一一列举。下面以Scur为50、Shigh为60进行举例说明:
假设在曝光时间t下,亮度值为50的结构光S50对应的光栅图像亮度值为I50,亮度值为60的结构光S60对应的光栅图像亮度值为I60,则Scur对应的待比较亮度显著性系数为:
将计算得到的η与上述全局亮度显著性系数进行比较,如果η大于全局亮度显著性系数,则Scur属于结构光有效亮度范围。类似的,对每次选择的待比较结构光亮度值都进行上述处理,便可以确定出结构光有效亮度范围。
比如,可以先从Scur=0开始,按照升序(Scur=1,Scur=2……)依次对每个亮度值进行上述处理,直至η小于全局亮度显著性系数时,将上一个Scur的值确定为结构光有效亮度范围的最小值;然后,从Scur=255开始,按照降序(Scur=254,Scur=253……)依次对每个亮度值进行上述处理,直至η小于全局亮度显著性系数时,将上一个Scur的值确定为结构光有效亮度范围的最大值;这样,便确定出了曝光时间t下的结构光有效亮度范围。
如图6所示,图6中的I_max表示光栅图像的最大亮度值,I_min表示光栅图像的最小亮度值,V_max表示结构光有效亮度范围中的最大值,V_min表示结构光有效亮度范围中的最小值。如果光栅图像不存在非线性畸变,则光栅图像的亮度值与结构光的亮度值保持线性分布,即图6中虚线所示;由于非线性畸变的影响,实际场景中的光栅图像的亮度值与结构光的亮度值分布如图6中的实线所示。在I_min—V_min之间、I_max—V_max之间的Scur对应的待比较亮度显著性系数均小于等于η,在V_min—V_max之间的Scur对应的待比较亮度显著性系数均大于η,因此,V_min—V_max为结构光有效亮度范围。
如上所述,光栅图像中包括多个典型区域,而且每个典型区域可以对应一个像素值。因此,可以针对每个典型区域,确定结构光有效亮度范围。如果各典型区域对应的结构光有效亮度范围不同,则可以综合考虑各典型区域对应的结构光有效亮度范围,确定最终的结构光有效亮度范围。比如,可以取各典型区域对应的结构光最小值的均值,取各典型区域对应的结构光最大值的均值,这两个均值构成最终的结构光有效亮度范围。或者,也可以取各典型区域对应的结构光最小值的中值,取各典型区域对应的结构光最大值的中值,这两个中值构成最终的结构光有效亮度范围。
一种情况下,如果某个典型区域对应的结构光有效亮度范围与该最终的结构光有效亮度范围重合度小于重合阈值,则可以剔除该典型区域,或者说,该典型区域不参与后续计算,确定响应关系时,不考虑该典型区域。
S505:判断结构光的有效亮度范围的最大值是否大于预设阈值,如果不大于,执行S506,如果大于,执行S507。
图5实施例中,S505的第一次判断是判断在初始曝光时间下,S_max是否大于T_max;之后的判断则是判断在其他减少后的曝光时间下,S_max是否大于T_max。
为了方便描述,将有效亮度范围的最大值记为S_max,将预设阈值记为T_max。本实施方式中,将有效亮度范围的最大值S_max与预设阈值T_max进行对比,T_max可以为一个较大值,如250。如果S_max不大于T_max,则表示光栅图像太亮了,导致S_max与T_max之间部分被湮没。因此,可以先基于S_max与T_max的对比结果,对投影仪的曝光时间进行调整。
S506:减少投影仪的曝光时间,并返回执行S505。
本实施例中,初始曝光时间为一个中间值,该中间值可以根据经验设定。如上所述,如果S_max不大于T_max,则表示光栅图像太亮,可以减少投影仪的曝光时间,直至S_max大于T_max。
具体的,减少投影仪的曝光时间,也就是在所设定的各曝光时间中,依次选择小于初始曝光时间的曝光时间,控制投影仪依次在所选择的曝光时间下投射结构光。并且在每次减少投影仪的曝光时间后,分别获取光栅图像,并计算结构光有效亮度范围。
S507:确定典型区域亮度值与有效亮度范围内的结构光亮度值之间的斜率。
如果S505第一次判断结果为是,也就是说,如果在初始曝光时间下,S_max大于T_max,则S507则确定在初始曝光时间下,典型区域亮度值与有效亮度范围内的结构光亮度值之间的斜率。
而如果S505第一次判断结果为否,也就是说,如果在初始曝光时间下,S_max不大于T_max,执行了一次或多次S506,则S507则确定在最后一次减少后的曝光时间下,典型区域亮度值与有效亮度范围内的结构光亮度值之间的斜率。
由上述两种情况可知,S507对应的曝光时间为“初始曝光时间”或“最后一次减少后的曝光时间”。
如上所述,如果某个典型区域对应的结构光有效亮度范围与该最终的结构光有效亮度范围重合度小于重合阈值,则可以剔除该典型区域,也就是说,执行S507时,不确定该典型区域亮度值与有效亮度范围内的结构光亮度值之间的响应关系。
光栅图像亮度值与结构光亮度值之间的响应关系可以为:y=k*x+b;其中,y表示光栅图像亮度值,x表示结构光亮度值,k表示斜率,b表示截距。
可以理解,两组(x,y)即可确定出k、b的值,一种情况下,其中xmin表示有效亮度范围的最小值,xmax表示有效亮度范围的最大值,ymax为对应的光栅图像亮度值。ymin表示xmin对应的光栅图像亮度值,ymax表示xmax对应的光栅图像亮度值。
各典型区域对应的响应关系可能不一致(即各典型区域对应的k与b可能不相同),一种情况下,可以选取各典型区域对应的k的典型值,典型值可以是均值、众数、中值等等,具体不做限定。
S508:增加投影仪的曝光时间。
具体的,在S507的基础上增加投影仪的曝光时间,也就是在所设定的各曝光时间中,依次选择大于“S507对应的曝光时间”的曝光时间,控制投影仪依次在所选择的曝光时间下投射结构光。并且在每次增加投影仪的曝光时间后,分别获取光栅图像,并计算典型区域亮度值与有效亮度范围内的结构光亮度值之间的斜率。
S509:判断增加曝光时间后该斜率是否变大,如果变大,则返回执行S508,如果不再变大,则执行S510。
该斜率即为上述典型区域亮度值与有效亮度范围内的结构光亮度值之间的斜率。
S510:将最后一次增加曝光时间之前的曝光时间确定为投影仪的最优曝光时间。
S_max大于T_max之后,则可以增加曝光时间,并且采用上面内容中描述的、将k的拐点对应的曝光时间确定为最优曝光时间的方案。
具体的,可以参考图4,先判断结构光有效亮度范围的最大值S_max是否大于预设阈值T_max。第一次判断是判断在初始曝光时间下,S_max是否大于T_max;之后的判断则是判断在其他减少后的曝光时间下,S_max是否大于T_max。
如果不大于,则减少投影仪的曝光时间,直至S_max大于T_max;如果大于,则增加投影仪的曝光时间;判断增加曝光时间后(光栅图像亮度值与其对应的结构光亮度值的)斜率是否变大;如果增加曝光时间后斜率变大,则返回执行所述增加投影仪的曝光时间的步骤,直至增加曝光时间后所述响应关系的斜率不再变大时,将最后一次增加曝光时间之前的曝光时间确定为投影仪的最优曝光时间。
图4所示方案中,减少曝光时间的幅度可以大于增加曝光时间的幅度,以免第一次增加曝光时间后比最后一次减少曝光时间的值还要大,这样方案更合理。
可见,图4所示方案中,如果在初始曝光时间下,S_max大于T_max,则确定出的最优曝光时间大于初始曝光时间,也就是在所设定的、大于初始曝光时间中,确定最优曝光时间。如果在初始曝光时间下,S_max不大于T_max,则确定出的最优曝光时间小于初始曝光时间且大于候选曝光时间,候选曝光时间也就是使得S_max大于T_max的曝光时间,也就是说在所设定的、大于候选曝光时间、小于初始曝光时间的曝光时间中,确定最优曝光时间。
S503可以在S502之后S507之前的任意时刻执行。
应用图5所示实施例,预先设定一个中间值作为初始曝光时间,并且在初始曝光时间的基础上,设定多个调整后的曝光时间,在所设定的曝光时间中自动确定最优曝光时间。
图7为本发明实施例提供的投影仪曝光时间确定方法的第三种流程示意图,图7实施例中初始曝光时间可以为一个较小值,图7实施例包括如下步骤:
S701:控制投影仪在初始曝光时间下投射结构光。
本实施例中,预先设定多个曝光时间,后续可以控制投影仪依次按照所设定的各曝光时间投射结构光。在每个曝光时间下,投影仪多次投射单一亮度值的结构光,而且其中每次投射的结构光亮度值不同。S701中先控制投影仪在所设定的初始曝光时间下投射结构光。
S702:获取初始曝光时间下投影仪每次投射的结构光对应的光栅图像。
如上所述,本实施例中,预先设定多个曝光时间,后续可以控制投影仪依次按照所设定的各曝光时间投射结构光;本实施例中,投影仪每次投射结构光后,分别获取光栅图像。S702中先获取初始曝光时间下的光栅图像。
S703:计算初始曝光时间对应的结构光的有效亮度范围。
如上所述,本实施例中,预先设定多个曝光时间,后续可以控制投影仪依次按照所设定的各曝光时间投射结构光;本实施例中,可以分别计算所设定的各曝光时间对应的结构光的有效亮度范围。S703中先计算初始曝光时间对应的有效亮度范围。
S704:在光栅图像中确定有效区域;并利用预设方式,在每个有效区域中选择部分像素点,作为典型区域。
预设方式包括以下任意一种或多种:随机选择方式、以固定间距选择方式。或者,也可以选择全部像素点作为典型区域。
S705:判断初始曝光时间对应的结构光的有效亮度范围的最大值是否大于预设阈值,如果不大于,执行S706,如果大于,执行S707。
S706:将初始曝光时间确定为最优曝光时间。
图7与图5实施例的不同在于:图5实施例中,初始曝光时间为中间值,如果S_max不大于T_max(光栅图像太亮),则可以减少投影仪的曝光时间,直至S_max大于T_max。而图7实施例中,初始曝光时间为较小值,即使S_max不大于T_max(光栅图像太亮),也不再减少投影仪的曝光时间(初始曝光时间已经很小了,不再减少),直接将投影仪的初始曝光时间确定为投影仪的最优曝光时间。
S704可以在S702之后S707之前的任意时刻执行。如果S705判断结果为不大于,不执行后续步骤,也就不需要执行S704。
S707:确定典型区域亮度值与有效亮度范围内的结构光亮度值之间的斜率。
图7实施例中,是在初始曝光时间下执行S707。
S708:增加投影仪的曝光时间。
具体的,在S707的基础上增加投影仪的曝光时间,也就是在所设定的各曝光时间中,依次选择大于初始曝光时间的曝光时间,控制投影仪依次在所选择的曝光时间下投射结构光。并且在每次增加投影仪的曝光时间后,分别获取光栅图像,并计算典型区域亮度值与有效亮度范围内的结构光亮度值之间的斜率。
S709:判断增加曝光时间后该斜率是否变大,如果变大,则返回执行S708,如果不再变大,则执行S710。
S710:将最后一次增加曝光时间之前的曝光时间确定为投影仪的最优曝光时间。
应用图7所示实施例,预先设定一个较小值作为初始曝光时间,并且在初始曝光时间的基础上,设定多个调整后的曝光时间,在所设定的曝光时间中自动确定最优曝光时间。
作为一种实施方式,在得到投影仪的最优曝光时间后,可以基于该最优曝光时间,设定相机的曝光时间。
如上所述,投影仪投射结构光,结构光照射到待测量物体上形成投影光栅;相机对该投影光栅进行采集,得到光栅图像。理想情况下,如图8a所示,相机同步采集投影仪投射出的结构光,相机的曝光时间与投影仪的曝光时间相同。但由于触发延迟等各种因素的影响,相机的曝光时间与投影仪的曝光时间相同,则如图8b所示,导致了两种异常情况:1、相机在一个曝光周期内可能接收到上一帧或下一帧的结构光;2、相机在一个曝光周期内可能无法完整接收到对应帧的结构光。
针对上述问题,可以设定投影仪的曝光时间小于相机的曝光时间,使得相机在一个曝光周期内接收到对应帧的完整结构光,并减少上一帧与下一帧结构光影响。参考图8c,相机的曝光时间=投影仪的曝光时间+触发延迟(Trigger Delay)+安全间隔(SafetyBand)。因此,在得到投影仪的曝光时间后,可以据此设定相机的曝光时间。
一种情况下,触发延迟及安全间隔可以为常数,这样,可以直接计算得到相机的曝光时间。另一种情况下,也可以先根据投影仪的曝光时间设定触发延迟及安全间隔,然后再计算相机的曝光时间。比如,触发延迟及安全间隔与投影仪的曝光时间可以存在一定的位数关系、或者函数关系,具体不做限定。
与上述方法实施例相对应,本发明实施例还提供了一种投影仪曝光时间确定装置,如图9所示,包括:
获取模块901,用于获取多张光栅图像,所述光栅图像为:投影仪依次按照所设定的各曝光时间投射的结构光对应的图像;
第一确定模块902,用于确定所述多张光栅图像中的亮度参数,所述亮度参数为表示亮度分布范围的参数;
第二确定模块903,用于根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间。
作为一种实施方式,第一确定模块902,具体可以用于:针对每张光栅图像,确定该张光栅图像亮度值与其对应的结构光亮度值的斜率,作为亮度参数;
第二确定模块903,具体可以用于:在所设定的曝光时间中,确定所述斜率的拐点对应的曝光时间,作为最优曝光时间。
作为一种实施方式,第一确定模块902,具体可以用于:根据所设定的初始曝光时间对应的光栅图像,计算所述初始曝光时间对应的结构光的有效亮度范围,作为亮度参数;
第二确定模块903,可以包括:判断子模块和第一确定子模块(图中未示出),其中,
判断子模块,用于判断所述初始曝光时间对应的结构光的有效亮度范围的最大值是否大于预设阈值;如果不大于,触发第一确定子模块;
第一确定子模块,用于在所设定的、不大于所述初始曝光时间的曝光时间中,确定最优曝光时间。
作为一种实施方式,所述第一确定子模块,具体可以用于:
针对所设定的、小于所述初始曝光时间的每个曝光时间,根据该曝光时间对应的光栅图像,计算该曝光时间对应的结构光的有效亮度范围;在计算得到的有效亮度范围中,将最大值大于所述预设阈值的有效亮度范围对应的曝光时间确定为候选曝光时间;在所设定的、大于所述候选曝光时间、小于所述初始曝光时间的曝光时间中,确定最优曝光时间;
所述装置还可以包括:
第三确定模块(图中未示出),用于在判定所述初始曝光时间对应的结构光的有效亮度范围的最大值大于预设阈值的情况下,在所设定的、大于所述初始曝光时间中,确定最优曝光时间。
作为一种实施方式,所述第一确定子模块,具体可以用于:
将所述初始曝光时间确定为最优曝光时间;
所述装置还可以包括:
第三确定模块(图中未示出),用于在判定所述初始曝光时间对应的结构光的有效亮度范围的最大值大于预设阈值的情况下,在所设定的、大于所述初始曝光时间中,确定最优曝光时间。
作为一种实施方式,第三确定模块,具体可以用于:
在所设定的、大于所述初始曝光时间中,确定所述斜率的拐点对应的曝光时间,作为最优曝光时间。
作为一种实施方式,第一确定模块902,具体可以用于:
在所投射的结构光中,依次选择待比较结构光亮度值;
确定在所述初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
作为一种实施方式,第二确定模块903,可以包括:第二确定子模块和第三确定子模块(图中未示出),其中,
第二确定子模块,用于在光栅图像中确定有效区域;
第三确定子模块,用于确定所述有效区域中的亮度参数。
作为一种实施方式,所述第二确定子模块,具体可以用于:
在所获取的同一曝光时间的多张光栅图像中,选择两张待处理光栅图像;计算所述两张待处理光栅图像之间的亮度差;确定亮度差大于预设阈值的区域,作为有效区域。
作为一种实施方式,所述第二确定子模块还用于:利用预设方式,在每个有效区域中选择部分像素点,作为典型区域;所述预设方式包括以下任意一种或多种:随机选择方式、以固定间距选择方式;
所述第三确定子模块,具体用于:确定所述典型区域中的亮度参数。
作为一种实施方式,所述装置还可以包括:
设定模块(图中未示出),用于基于投影仪的最优曝光时间,设定相机的曝光时间。
本发明实施例中,投影仪依次按照所设定的每个曝光时间投射结构光,获取所投射结构光对应的多张光栅图像,确定光栅图像中的亮度参数,根据亮度参数,在所设定的曝光时间中确定最优曝光时间;可见,利用本方案可以自动确定出投影仪的最优曝光时间。
本发明实施例还提供了一种电子设备,如图10所示,包括处理器1001和存储器1002,
存储器1002,用于存放计算机程序;
处理器1001,用于执行存储器1002上所存放的程序时,实现上述任一种投影仪曝光时间确定方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本电子设备可以为投影仪,或者也可以为与投影仪相连接的计算机或者其他电子设备,具体不做限定。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图9所示的投影仪曝光时间确定装置实施例、图10所示的电子设备实施例而言,由于其基本相似于图1-8c所示的投影仪曝光时间确定方法实施例,所以描述的比较简单,相关之处参见图1-8c所示的投影仪曝光时间确定方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (18)
1.一种投影仪曝光时间确定方法,其特征在于,包括:
获取多张光栅图像,所述光栅图像为:投影仪依次按照所设定的各曝光时间投射的结构光对应的图像;
确定所述多张光栅图像中的亮度参数,所述亮度参数为表示亮度分布范围的参数;
根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间;
其中,所述确定所述多张光栅图像中的亮度参数,包括:针对每张光栅图像,确定该张光栅图像亮度值与其对应的结构光亮度值的斜率,作为亮度参数;所述根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间,包括:在所设定的曝光时间中,确定所述斜率的拐点对应的曝光时间,作为最优曝光时间;
或者,所述确定所述多张光栅图像中的亮度参数,包括:根据所设定的初始曝光时间对应的光栅图像,计算所述初始曝光时间对应的结构光的有效亮度范围,作为亮度参数;所述根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间,包括:判断所述初始曝光时间对应的结构光的有效亮度范围的最大值是否大于预设阈值;如果不大于,则在所设定的、不大于所述初始曝光时间的曝光时间中,确定最优曝光时间。
2.根据权利要求1所述的方法,其特征在于,所述在所设定的、不大于所述初始曝光时间的曝光时间中,确定最优曝光时间,包括:
针对所设定的、小于所述初始曝光时间的每个曝光时间,根据该曝光时间对应的光栅图像,计算该曝光时间对应的结构光的有效亮度范围;
在计算得到的有效亮度范围中,将最大值大于所述预设阈值的有效亮度范围对应的曝光时间确定为候选曝光时间;
在所设定的、大于所述候选曝光时间、小于所述初始曝光时间的曝光时间中,确定最优曝光时间;
在判定所述初始曝光时间对应的结构光的有效亮度范围的最大值大于预设阈值的情况下,还包括:
在所设定的、大于所述初始曝光时间中,确定最优曝光时间。
3.根据权利要求1所述的方法,其特征在于,在所设定的、不大于所述初始曝光时间的曝光时间中,确定最优曝光时间,包括:
将所述初始曝光时间确定为最优曝光时间;
在判定所述初始曝光时间对应的结构光的有效亮度范围的最大值大于预设阈值的情况下,还包括:
在所设定的、大于所述初始曝光时间中,确定最优曝光时间。
4.根据权利要求2或3所述的方法,其特征在于,所述亮度参数还包括光栅图像亮度值与其对应的结构光亮度值的斜率;所述在所设定的、大于所述初始曝光时间中,确定最优曝光时间,包括:
在所设定的、大于所述初始曝光时间中,确定所述斜率的拐点对应的曝光时间,作为最优曝光时间。
5.根据权利要求2或3所述的方法,其特征在于,计算所述初始曝光时间对应的结构光的有效亮度范围,包括:
在所投射的结构光中,依次选择待比较结构光亮度值;
确定在所述初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
6.根据权利要求1所述的方法,其特征在于,所述确定所述多张光栅图像中的亮度参数,包括:
在光栅图像中确定有效区域;
确定所述有效区域中的亮度参数。
7.根据权利要求6所述的方法,其特征在于,在光栅图像中确定有效区域,包括:
在所获取的同一曝光时间的多张光栅图像中,选择两张待处理光栅图像;
计算所述两张待处理光栅图像之间的亮度差;
确定亮度差大于预设阈值的区域,作为有效区域。
8.根据权利要求6所述的方法,其特征在于,在光栅图像中确定有效区域之后,还包括:
利用预设方式,在每个有效区域中选择部分像素点,作为典型区域;所述预设方式包括以下任意一种或多种:随机选择方式、以固定间距选择方式;
所述确定所述有效区域中的亮度参数,包括:确定所述典型区域中的亮度参数。
9.根据权利要求1所述的方法,其特征在于,在所述根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间之后,还包括:
基于投影仪的最优曝光时间,设定相机的曝光时间。
10.一种投影仪曝光时间确定装置,其特征在于,包括:
获取模块,用于获取多张光栅图像,所述光栅图像为:投影仪依次按照所设定的各曝光时间投射的结构光对应的图像;
第一确定模块,用于确定所述多张光栅图像中的亮度参数,所述亮度参数为表示亮度分布范围的参数;
第二确定模块,用于根据所确定的亮度参数,在所设定的曝光时间中确定最优曝光时间;
其中,所述第一确定模块,具体用于:针对每张光栅图像,确定该张光栅图像亮度值与其对应的结构光亮度值的斜率,作为亮度参数;所述第二确定模块,具体用于:在所设定的曝光时间中,确定所述斜率的拐点对应的曝光时间,作为最优曝光时间;
或者,所述第一确定模块,具体用于:根据所设定的初始曝光时间对应的光栅图像,计算所述初始曝光时间对应的结构光的有效亮度范围,作为亮度参数;所述第二确定模块,包括:判断子模块,用于判断所述初始曝光时间对应的结构光的有效亮度范围的最大值是否大于预设阈值;如果不大于,触发第一确定子模块;第一确定子模块,用于在所设定的、不大于所述初始曝光时间的曝光时间中,确定最优曝光时间。
11.根据权利要求10所述的装置,其特征在于,所述第一确定子模块,具体用于:
针对所设定的、小于所述初始曝光时间的每个曝光时间,根据该曝光时间对应的光栅图像,计算该曝光时间对应的结构光的有效亮度范围;在计算得到的有效亮度范围中,将最大值大于所述预设阈值的有效亮度范围对应的曝光时间确定为候选曝光时间;在所设定的、大于所述候选曝光时间、小于所述初始曝光时间的曝光时间中,确定最优曝光时间;
所述装置还包括:
第三确定模块,用于在判定所述初始曝光时间对应的结构光的有效亮度范围的最大值大于预设阈值的情况下,在所设定的、大于所述初始曝光时间中,确定最优曝光时间。
12.根据权利要求10所述的装置,其特征在于,所述第一确定子模块,具体用于:将所述初始曝光时间确定为最优曝光时间;
所述装置还包括:
第三确定模块,用于在判定所述初始曝光时间对应的结构光的有效亮度范围的最大值大于预设阈值的情况下,在所设定的、大于所述初始曝光时间中,确定最优曝光时间。
13.根据权利要求11或12所述的装置,其特征在于,所述亮度参数还包括光栅图像亮度值与其对应的结构光亮度值的斜率;
第三确定模块,具体用于:在所设定的、大于所述初始曝光时间中,确定所述斜率的拐点对应的曝光时间,作为最优曝光时间。
14.根据权利要求11或12所述的装置,其特征在于,所述第一确定模块,具体用于:
在所投射的结构光中,依次选择待比较结构光亮度值;
确定在所述初始曝光时间下、所述待比较结构光亮度值对应的光栅图像亮度值变化情况,作为待比较亮度显著性系数;
判断所述待比较亮度显著性系数是否大于全局亮度显著性系数;其中,所述全局亮度显著性系数为第二亮度差与第一亮度差的比值,所述第一亮度差为结构光的最大亮度值与最小亮度值之差,所述第二亮度差为在所述初始曝光时间下、最大亮度值结构光对应的光栅图像亮度值与最小亮度值对应的光栅图像亮度值之差;
如果大于,则确定在所述初始曝光时间下、所述待比较结构光亮度值属于结构光有效亮度范围。
15.根据权利要求10所述的装置,其特征在于,所述第二确定模块,包括:
第二确定子模块,用于在光栅图像中确定有效区域;
第三确定子模块,用于确定所述有效区域中的亮度参数。
16.根据权利要求15所述的装置,其特征在于,所述第二确定子模块,具体用于:
在所获取的同一曝光时间的多张光栅图像中,选择两张待处理光栅图像;计算所述两张待处理光栅图像之间的亮度差;确定亮度差大于预设阈值的区域,作为有效区域。
17.根据权利要求15所述的装置,其特征在于,所述第二确定子模块还用于:利用预设方式,在每个有效区域中选择部分像素点,作为典型区域;所述预设方式包括以下任意一种或多种:随机选择方式、以固定间距选择方式;
所述第三确定子模块,具体用于:确定所述典型区域中的亮度参数。
18.根据权利要求10所述的装置,其特征在于,所述装置还包括:
设定模块,用于基于投影仪的最优曝光时间,设定相机的曝光时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810958985.7A CN110858877B (zh) | 2018-08-22 | 2018-08-22 | 一种投影仪曝光时间确定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810958985.7A CN110858877B (zh) | 2018-08-22 | 2018-08-22 | 一种投影仪曝光时间确定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110858877A CN110858877A (zh) | 2020-03-03 |
CN110858877B true CN110858877B (zh) | 2021-06-11 |
Family
ID=69635590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810958985.7A Active CN110858877B (zh) | 2018-08-22 | 2018-08-22 | 一种投影仪曝光时间确定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110858877B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104486603A (zh) * | 2014-11-20 | 2015-04-01 | 北京理工大学 | 一种基于hdr成像的多投影颜色校正方法 |
CN107707838A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108616726A (zh) * | 2016-12-21 | 2018-10-02 | 光宝电子(广州)有限公司 | 基于结构光的曝光控制方法及曝光控制装置 |
-
2018
- 2018-08-22 CN CN201810958985.7A patent/CN110858877B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104486603A (zh) * | 2014-11-20 | 2015-04-01 | 北京理工大学 | 一种基于hdr成像的多投影颜色校正方法 |
CN107707838A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110858877A (zh) | 2020-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10257428B2 (en) | Image processing apparatus and image processing method that adjust, based on a target object distance, at least one of brightness of emitted pattern light and an exposure amount | |
CN110505412B (zh) | 一种感兴趣区域亮度值的计算方法及装置 | |
CN108881736B (zh) | 一种光圈校正方法及装置 | |
US9253374B2 (en) | Image processing apparatus and method for controlling the same for obtaining and applying gamma characteristics to reduce a difference between light and dark areas of an image | |
CN105007430B (zh) | 用于确定曝光设置的方法和装置 | |
US10378886B2 (en) | Three dimensional measurement apparatus, control method for three dimensional measurement apparatus, and storage medium | |
EP3226547B1 (en) | Controlling signal-to-noise ratio in high dynamic range automatic exposure control imaging | |
CN112351218A (zh) | 自动曝光方法、装置、电子设备及计算机可读存储介质 | |
CN110753178B (zh) | 一种曝光时间调整方法及装置、摄像机 | |
CN112689097B (zh) | 线激光器自动亮度控制方法、系统及存储介质 | |
US20160110855A1 (en) | Image processing apparatus that appropriately performs tone correction in low-illuminance environment, image processing method therefor, and storage medium | |
KR101662407B1 (ko) | 영상의 비네팅 보정 방법 및 장치 | |
US9904991B2 (en) | Image pickup apparatus that corrects contrast of image, control method for the image pickup apparatus, and storage medium | |
CN110858877B (zh) | 一种投影仪曝光时间确定方法及装置 | |
CN110673428B (zh) | 一种结构光补偿方法、装置及设备 | |
JP5367123B2 (ja) | ディジタルカメラ画像の輝度を調整する方法 | |
CN106034208A (zh) | 一种自动曝光的方法及装置 | |
US9210335B2 (en) | Method for generating HDR images using modified weight | |
CN110858876B (zh) | 一种投影仪曝光时间确定方法及装置 | |
US20060262215A1 (en) | Auto-exposing method of a digital photographic apparatus | |
US20160316125A1 (en) | Image processing apparatus that corrects contour, control method therefor, storage medium storing control program therefor, and image pickup apparatus | |
US20160150144A1 (en) | System for controlling exposure of camera and method thereof | |
JP6554009B2 (ja) | 画像処理装置、その制御方法、プログラム及び記録媒体 | |
JP2019203959A5 (zh) | ||
CN110858898B (zh) | 一种相机增益确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Hikvision Robot Co.,Ltd. Address before: No.555, Qianmo Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd. |