CN115242978B - 图像采集设备及方法 - Google Patents
图像采集设备及方法 Download PDFInfo
- Publication number
- CN115242978B CN115242978B CN202210860102.5A CN202210860102A CN115242978B CN 115242978 B CN115242978 B CN 115242978B CN 202210860102 A CN202210860102 A CN 202210860102A CN 115242978 B CN115242978 B CN 115242978B
- Authority
- CN
- China
- Prior art keywords
- type
- signal
- exposure
- frequency division
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像采集设备及方法,包括控制器、信号生成电路、以及与信号生成电路连接的多个选通电路、多个曝光装置和多个图像采集装置;信号生成电路用于对接收到的曝光控制信号进行多次分频处理,得到第一类分频信号和第二类分频信号;将曝光控制信号输入图像采集装置,将第一类分频信号输入第一类曝光器,将第一类分频信号或第二类分频信号输入第二类曝光器;控制器用于向各选通电路输入用于控制选通电路选择第二类曝光器的输入信号的控制信号;选通电路用于根据控制信号,控制第二类曝光器的输入信号为第一类分频信号或者第二类分频信号。该设备能够兼容两种(如双目和三目)工作模式,且能够确保图像采集准确度。
Description
技术领域
本申请涉及电子技术领域,尤其涉及一种图像采集设备及方法。
背景技术
随着人工智能技术的飞速发展,各类人工智能产品层出不穷,为用户提供了极大的便利。例如,清洁机器人、扫地机器人、洗地机等设备的出现,解放了用户的双手,也提升了日常清洁的效率。这类人工智能产品高效工作的核心离不开物体识别和深度识别,因此产品的性能与该产品内置的图像采集设备的性能息息相关。
但是,现有图像采集设备的工作模式较为单一,例如,在图像采集设备为双目相机的情况下,该图像采集设备的工作模式仅为双目工作模式。并且,在图像采集过程中,需要通过CPU(Central Processing Unit,中央处理器)的定时器来控制双目相机进行图像采集,比较耗费CPU的运算资源。而过度使用CPU,会大大缩短图像采集设备的使用寿命,也会对图像采集设备精度造成影响,从而影响产品的性能。
发明内容
本申请实施例的目的是提供一种图像采集设备及方法,用以解决现有图像采集设备的工作模式单一、且图像采集准确度低的问题。
为解决上述技术问题,本申请实施例是这样实现的:
一方面,本申请实施例提供一种图像采集设备,包括控制器、信号生成电路、以及与所述信号生成电路连接的多个选通电路、多个曝光装置和多个图像采集装置;各所述曝光装置分别包括第一类曝光器和第二类曝光器;其中,所述第一类曝光器与所述信号生成电路连接,所述第二类曝光器与所述选通电路连接;各所述选通电路、所述图像采集装置分别与所述控制器连接;
所述信号生成电路,用于对接收到的曝光控制信号进行分频处理,得到第一类分频信号和第二类分频信号;将所述曝光控制信号输入所述图像采集装置,将所述第一类分频信号输入所述第一类曝光器,将所述第一类分频信号或所述第二类分频信号输入所述第二类曝光器;
所述控制器,用于向各所述选通电路输入控制信号;所述控制信号用于控制所述选通电路选择所述第二类曝光器的输入信号;
所述选通电路,用于根据所述控制信号,控制所述第二类曝光器的输入信号为所述第一类分频信号或者所述第二类分频信号;
所述第一类曝光器,用于按照与所述第一类分频信号匹配的第一曝光速率发出第一类投射光;所述第二类曝光器,用于按照所述第一曝光速率或与所述第二类分频信号匹配的第二曝光速率发出第二类投射光;
所述图像采集装置,用于按照与所述曝光控制信号匹配的第三曝光速率采集图像,并将采集到的图像传输至所述控制器;
其中,所述第三曝光速率为所述第一曝光速率的N倍,所述第一曝光速率为所述第二曝光速率的M倍;所述N为大于1的整数,所述M为大于或等于1的整数;所述第一类曝光器和所述第二类曝光器之间交替发出对应的投射光。
另一方面,本申请实施例提供一种图像采集方法,包括:
确定所述图像采集设备的设备工作模式;
若所述设备工作模式为三目工作模式,则控制所述第一类曝光器按照第一曝光速率发出第一类投射光,控制所述第二类曝光器按照所述第一曝光速率发出第二类投射光;以及,控制所述图像采集装置按照第三曝光速率采集图像;
若所述设备工作模式为双目工作模式,则控制所述第一类曝光器按照所述第一曝光速率发出所述第一类投射光,控制所述第二类曝光器按照第二曝光速率发出所述第二类投射光;以及,控制所述图像采集装置按照所述第三曝光速率采集图像;
其中,所述第三曝光速率为所述第一曝光速率的N倍,所述第一曝光速率为所述第二曝光速率的M倍;所述N为大于1的整数,所述M为大于或等于1的整数;所述第一类曝光器和所述第二类曝光器之间交替发出对应的投射光。
在本申请实施例中,图像采集设备中的各图像采集装置能够根据信号生成电路输入的曝光控制信号,按照与曝光控制信号匹配的曝光速率采集图像,确保了各图像采集装置的图像采集速率的一致性,实现了各图像采集装置同步曝光的效果,从而能够确保各图像采集装置采集到的图像在时间上是对齐的。若将本申请实施例提供的图像采集设备应用于图像识别场景中,则根据各图像采集装置采集到的图像对拍摄对象进行识别,能够确保识别准确度。同时,各类曝光器能够根据信号生成电路输入的分频信号,按照与分频信号匹配的曝光速率发出对应的投射光,而无需全部依靠CPU来控制各图像采集装置同步曝光、以及控制各类曝光器的曝光速率,大大节省了CPU的运算资源,避免了对CPU的过度使用,从而能够确保图像采集设备的性能稳定,进而能够确保图像采集设备的图像采集准确度。并且,第三曝光速率为第一曝光速率的N(N为大于1的整数)倍,第一曝光速率为第二曝光速率的M(M为大于或等于1的整数)倍,第一类曝光器和第二类曝光器之间交替发出对应的投射光。可见,在第一类曝光器和第二类曝光器的输入信号均为第一类分频信号时,在图像采集装置采集图像的过程中,各第一类曝光器和各第二类曝光器交替发出对应的投射光,从而使得图像采集设备工作在多目(大于或等于三目)工作模式下,比如,在图像采集装置的数量为三个的情况下,图像采集设备工作在三目工作模式下。在第二类曝光器的输入信号为第二类分频信号时,在图像采集装置采集图像的过程中,各第二类曝光器交替发出对应的投射光,而第一类曝光器和第二类曝光器之间也交替发出对应的投射光,从而使得图像采集设备工作在多个双目工作模式下,比如,图像采集装置采集图像的工作流为:各第一类曝光器发出对应的投射光、第一个第二类曝光器发出对应的投射光、各第一类曝光器发出对应的投射光、第二个第二类曝光器发出对应的投射光,此时图像采集设备工作在两个双目工作模式下。由于该图像采集设备中,通过控制器向选通电路中输入的控制信号,即可控制选通电路将第一类分频信号或者第二类分频信号作为第二类曝光器的输入信号,从而能够控制图像采集设备工作在双目或者多目工作模式下,因此无需重新设计电路,即可实现在一个图像采集设备上兼容两种(如双目和三目)工作模式的效果,节约了设计成本,为用户提供了更优的使用体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请一实施例的一种图像采集设备的结构示意图;
图2是根据本申请一实施例的一种信号生成电路的结构示意图;
图3是根据本申请另一实施例的一种信号生成电路的结构示意图;
图4是根据本申请一实施例的一种第一分频电路中各信号的波形示意图;
图5是根据本申请一实施例的一种第二分频电路中各信号的波形示意图;
图6是根据本申请另一实施例的一种图像采集设备的结构示意图;
图7是根据本申请一实施例的一种图像采集方法的示意性流程图。
具体实施方式
本申请实施例提供一种图像采集设备及方法,用以解决现有图像采集设备的工作模式单一、且图像采集准确度低的问题。
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
下面首先对本申请说明书中涉及到的技术用词进行解释说明,在本说明书一个或多个实施例中,若无特别说明,相同技术用词所具有的含义均相同。
双目结构光相机:能够使用两个摄像头,在黑白(也可以是彩色,但在黑白模式下图像质量更好)模式下,使用红外灯补光,获取两帧红外图像来进行物体识别;在激光模式下,使用激光投射器发射特定图形的散斑或者点阵激光,摄像头捕获到被物体反射回来的图形,计算上面散斑或者点阵的大小,与激光投射器发射的散斑或者点阵的尺寸做对比,测算出被测物体到摄像头之间的距离,得到物体的深度信息。激光投射器发射的散斑或者点阵激光即为结构光。
图1是根据本申请一实施例的一种图像采集设备的结构示意图,如图1所示,图像采集设备包括控制器1、信号生成电路2、以及与信号生成电路2连接的多个选通电路、多个曝光装置和多个图像采集装置。各曝光装置分别包括第一类曝光器和第二类曝光器。其中,第一类曝光器与信号生成电路2连接,第二类曝光器与选通电路连接。各选通电路、图像采集装置分别与控制器1连接。
如图1所示,图像采集设备中设置有两个选通电路,包括选通电路31和选通电路32,设置有两个第一类曝光器,包括第一类曝光器411和第一类曝光器412,设置有两个第二类曝光器,包括第二类曝光器421和第二类曝光器422,设置有三个图像采集装置,包括图像采集装置51、图像采集装置52和图像采集装置53。
在图1所示的图像采集设备中,信号生成电路2分别与选通电路31、选通电路32、第一类曝光器411、第一类曝光器412、图像采集装置51、图像采集装置52和图像采集装置53连接,选通电路31与第二类曝光器421连接,选通电路32与第二类曝光器422连接,选通电路31和选通电路32分别与控制器1连接。图像采集装置51、图像采集装置52及图像采集装置53分别与控制器1连接,这一连接关系未体现在图1中。
可选地,为使各组件之间的连接关系更加清晰,图1中采用在连接线悬空处标号的方式表征相隔较远的连接,即标号相同的两个端点之间是相连的,如在选通电路31的连接线悬空处标记K,在控制器1的一个连接线悬空处也标记K,以表征选通电路31与控制器1连接,在选通电路32的连接线悬空处标记K,在控制器1的另一个连接线悬空处也标记K,以表征选通电路32与控制器1连接。本实施例中,由于输入选通电路的是相同的控制信号,即输入选通电路31的控制信号与输入选通电路32的控制信号相同,因此在各连接线悬空处采用相同的标记“K”进行标记。
在图1所示的图像采集设备中,信号生成电路2用于对接收到的曝光控制信号进行分频处理,得到第一类分频信号和第二类分频信号,并将曝光控制信号输入图像采集装置,将第一类分频信号输入第一类曝光器,将第一类分频信号或第二类分频信号输入第二类曝光器。可选地,信号生成电路2可将曝光控制信号分别输入图像采集装置51、图像采集装置52、图像采集装置53和控制器1,将第一类分频信号分别输入第一类曝光器411、第一类曝光器412和控制器1,将第一类分频信号或第二类分频信号分别输入选通电路31、选通电路32和控制器1。
在图1所示的图像采集设备中,控制器1用于向各选通电路输入控制信号,控制信号用于控制选通电路选择第二类曝光器的输入信号。选通电路用于根据控制信号,控制第二类曝光器的输入信号为第一类分频信号或者第二类分频信号。
在图1所示的图像采集设备中,第一类曝光器用于按照与第一类分频信号匹配的第一曝光速率发出第一类投射光。第二类曝光器用于按照第一曝光速率或与第二类分频信号匹配的第二曝光速率发出第二类投射光。图像采集装置用于按照与曝光控制信号匹配的第三曝光速率采集图像,并将采集到的图像传输至控制器1。
其中,第三曝光速率为第一曝光速率的N倍,第一曝光速率为第二曝光速率的M倍。N为大于1的整数,M为大于或等于1的整数。第一类曝光器和第二类曝光器之间交替发出对应的投射光。在M等于1的情况下,第一类曝光器与第二类曝光器按照相同的曝光速率交替发出对应的投射光,使得图像采集设备工作在多目(大于或等于三目)工作模式下。在M大于1的情况下,第一类曝光器与第二类曝光器按照不同的曝光速率交替发出对应的投射光,使得图像采集设备工作在多个双目工作模式下。
可选地,各曝光装置分别设置于每两个相邻的图像采集装置之间。如图1所示,第一类曝光器411和第二类曝光器421设置于图像采集装置51与图像采集装置52之间,第一类曝光器412和第二类曝光器422设置于图像采集装置52与图像采集装置53之间。
在一个实施例中,第一类曝光器为红外光装置,第二类曝光器为激光装置,第一类投射光为红外光,第二类投射光为结构光。或者,第一类曝光器为激光装置,第二类曝光器为红外光装置,第一类投射光为结构光,第二类投射光为红外光。可选地,红外光装置为红外灯,激光装置为激光投射器。可选地,图像采集装置为图像传感器,选通电路为选择器。
在一个实施例中,控制信号为高电平信号或低电平信号。可选地,若控制信号为高电平信号,则第二类曝光器的输入信号为第一类分频信号;若控制信号为低电平信号,则第二类曝光器的输入信号为第二类分频信号。或者,若控制信号为高电平信号,则第二类曝光器的输入信号为第二类分频信号;若控制信号为低电平信号,则第二类曝光器的输入信号为第一类分频信号。
需要说明的是,本实施例中列举了两种控制信号与其能够控制第二类曝光器的输入信号为哪一类分频信号之间的对应关系,在实际应用中,图像采集设备中应仅配置一种上述对应关系,本申请实施例中不对图像采集设备中具体配置哪一对应关系进行限定。
需要说明的是,图1所示的仅为图像采集设备的结构示意图,图像采集设备中各组件的位置仅是示例性地展示,在实际应用中,各组件的位置可随产品的形状、应用场景等适应性改变,本申请实施例对此不作限定。
在本申请实施例中,图像采集设备中的各图像采集装置能够根据信号生成电路输入的曝光控制信号,按照与曝光控制信号匹配的曝光速率采集图像,确保了各图像采集装置的图像采集速率的一致性,实现了各图像采集装置同步曝光的效果,从而能够确保各图像采集装置采集到的图像在时间上是对齐的。若将本申请实施例提供的图像采集设备应用于图像识别场景中,则根据各图像采集装置采集到的图像对拍摄对象进行识别,能够确保识别准确度。同时,各类曝光器能够根据信号生成电路输入的分频信号,按照与分频信号匹配的曝光速率发出对应的投射光,而无需全部依靠CPU来控制各图像采集装置同步曝光、以及控制各类曝光器的曝光速率,大大节省了CPU的运算资源,避免了对CPU的过度使用,从而能够确保图像采集设备的性能稳定,进而能够确保图像采集设备的图像采集准确度。并且,第三曝光速率为第一曝光速率的N(N为大于1的整数)倍,第一曝光速率为第二曝光速率的M(M为大于或等于1的整数)倍,第一类曝光器和第二类曝光器之间交替发出对应的投射光。可见,在第一类曝光器和第二类曝光器的输入信号均为第一类分频信号时,在图像采集装置采集图像的过程中,各第一类曝光器和各第二类曝光器交替发出对应的投射光,从而使得图像采集设备工作在多目(大于或等于三目)工作模式下,比如,在图像采集装置的数量为三个的情况下,图像采集设备工作在三目工作模式下。在第二类曝光器的输入信号为第二类分频信号时,在图像采集装置采集图像的过程中,各第二类曝光器交替发出对应的投射光,而第一类曝光器和第二类曝光器之间也交替发出对应的投射光,从而使得图像采集设备工作在多个双目工作模式下,比如,图像采集装置采集图像的工作流为:各第一类曝光器发出对应的投射光、第一个第二类曝光器发出对应的投射光、各第一类曝光器发出对应的投射光、第二个第二类曝光器发出对应的投射光,此时图像采集设备工作在两个双目工作模式下。由于该图像采集设备中,通过控制器向选通电路中输入的控制信号,即可控制选通电路将第一类分频信号或者第二类分频信号作为第二类曝光器的输入信号,从而能够控制图像采集设备工作在双目或者多目工作模式下,因此无需重新设计电路,即可实现在一个图像采集设备上兼容两种(如双目和三目)工作模式的效果,节约了设计成本,为用户提供了更优的使用体验。
在一个实施例中,信号生成电路包括相互连接的第一分频电路和第二分频电路。第一分频电路用于对曝光控制信号进行分频处理,得到两路第一类分频信号,将第一类目标分频信号输入第二分频电路。第一类目标分频信号为两路第一类分频信号中的其中一路。第二分频电路用于对输入的第一类目标分频信号进行分频处理,得到两路第二类分频信号。
可选地,第一分频电路还可将第一类目标分频信号输入选通电路。应理解,第一类目标分频信号即为输入选通电路的第一类分频信号。在第一分频电路对曝光控制信号进行分频处理之前,信号生成电路可将一路曝光控制信号输入各图像采集装置。
图2是根据本申请一实施例的一种信号生成电路的结构示意图,如图2所示,第一分频电路包括第一分频器211、第一反相器212、第一逻辑与门电路213和第二逻辑与门电路214。第二分频电路包括第二分频器221、第二反相器222、第三逻辑与门电路223和第四逻辑与门电路224。
在一个实施例中,第一分频器或第二分频器为D触发器。
在图2所示的信号生成电路中,第一分频器211的一个输入端、第一逻辑与门电路213的一个输入端和第二逻辑与门电路214的一个输入端分别用于接收曝光控制信号。第一分频器211的一个输出端连接至第一分频器211的另一输入端,第一分频器211的另一输出端经过第一反相器212连接至第一逻辑与门电路213的另一输入端。第一分频器211的另一输出端与第二逻辑与门电路214的另一输入端连接。
在一个实施例中,第一分频器211用于将曝光控制信号分为两路第一子信号,其中一路第一子信号经第一反相器212后输入第一逻辑与门电路213,且该路第一子信号输入至第二逻辑与门电路214,另一路第一子信号回流至第一分频器211。第一逻辑与门电路213用于将反相处理后的第一子信号和曝光控制信号进行逻辑与计算,得到其中一路第一类分频信号。第二逻辑与门电路214用于将第一子信号和曝光控制信号进行逻辑与计算,得到另一路第一类分频信号。
本实施例中,两路第一类分频信号的波形不同,一路第一类分频信号的波形与另一路第一类分频信号的波形中,交替出现高电平信号。
在图2所示的信号生成电路中,第二分频器221的一个输入端、第三逻辑与门电路223的一个输入端和第四逻辑与门电路224的一个输入端分别用于接收第一类目标分频信号。第二分频器221的一个输出端连接至第二分频器221的另一输入端,第二分频器221的另一输出端经过第二反相器222连接至第三逻辑与门电路223的另一输入端。第二分频器221的另一输出端与第四逻辑与门电路224的另一输入端连接。
在一个实施例中,第二分频器221用于将第一类目标分频信号分为两路第二子信号,其中一路第二子信号经第二反相器222后输入第三逻辑与门电路223,且该路第二子信号输入至第四逻辑与门电路224,另一路第二子信号回流至第二分频器221。第三逻辑与门电路223用于将反相处理后的第二子信号和第一类目标分频信号进行逻辑与计算,得到其中一路第二类分频信号。第四逻辑与门电路224用于将第二子信号和第一类目标分频信号进行逻辑与计算,得到另一路第二类分频信号。
本实施例中,两路第二类分频信号的波形不同,一路第二类分频信号的波形与另一路第二类分频信号的波形中,交替出现高电平信号。
为便于理解本申请实施例提供的信号生成电路,下面以第一分频器和第二分频器均为D触发器,曝光控制信号的频率为60FPS(Frames Per Second,每秒传输帧数),第一类分频信号用于输入红外灯,第一类目标分频信号用于输入激光投射器,两路第二类分频信号也用于输入激光投射器为例进行说明。如图3所示,第一分频电路包括第一D触发器211、第一反相器212、第一逻辑与门电路213和第二逻辑与门电路214。第二分频电路包括第二D触发器221、第二反相器222、第三逻辑与门电路223和第四逻辑与门电路224。需要说明的是,D触发器是一种二分频器,D触发器的输出端连接到D触发器的输入端D,曝光控制信号和第一类目标分频信号分别输入至D触发器的CLK端,D触发器的另一个输出端为Q端,D触发器的CLK端每接收到两次触发信号(即两次上升沿),触发Q端输出信号的电平变化一次。此外,图3与图2中的信号流向相同,图3与图2中标号一致的器件对应的连接方式相同,此处不再赘述。
可选地,曝光控制信号可通过下述任一种方式产生:由CPU通过定时器产生;由外部定时电路产生;由其它不相关的图像传感器的曝光控制信号产生。
本实施例中,曝光控制信号为60FPS,如图3所示,以Source_60FPS表征输入至第一分频电路的曝光控制信号,以SENSOR_60FPS表征输入至各图像采集装置的曝光控制信号。第一D触发器211将曝光控制信号Source_60FPS分为两路第一子信号,其中一路第一子信号X经第一反相器212后输入第一逻辑与门电路213,且该路第一子信号X输入至第二逻辑与门电路214,另一路第一子信号回流至第一D触发器211。第一逻辑与门电路213用于将反相处理后的第一子信号X和曝光控制信号Source_60FPS进行逻辑与计算,得到第一类分频信号IR_30FPS。第二逻辑与门电路214用于将第一子信号X和曝光控制信号Source_60FPS进行逻辑与计算,得到第一类目标分频信号VCSEL_30FPS。如图4所示,是第一分频电路中各信号的波形示意图,从上至下依次为曝光控制信号Source_60FPS的波形、第一子信号X的波形、反相处理后的第一子信号X的波形、第一类目标分频信号VCSEL_30FPS的波形和第一类分频信号IR_30FPS的波形。
根据图4所示的波形示意图,在图像采集装置按照60帧每秒的速率采集图像的情况下,红外灯与激光投射器交替发出对应的投射光,从而使得图像采集装置交替采集到红外帧图像和激光帧图像,其中每秒交替采集到红外帧图像和激光帧图像各30帧。
本实施例中,第二D触发器221用于将第一类目标分频信号VCSEL_30FPS分为两路第二子信号,其中一路第二子信号Y经第二反相器222后输入第三逻辑与门电路223,且该路第二子信号Y输入至第四逻辑与门电路224,另一路第二子信号回流至第二D触发器221。第三逻辑与门电路223用于将反相处理后的第二子信号Y和第一类目标分频信号VCSEL_30FPS进行逻辑与计算,得到其中一路第二类分频信号VCSEL_15FPS。第四逻辑与门电路224用于将第二子信号Y和第一类目标分频信号VCSEL_30FPS进行逻辑与计算,得到另一路第二类分频信号n_VCSEL_15FPS。应理解,VCSEL_15FPS 和n_VCSEL_15FPS为互补信号,频率为15Hz。如图5所示,是第二分频电路中各信号的波形示意图,从上至下依次为第一类目标分频信号VCSEL_30FPS的波形、第二子信号Y的波形、反相处理后的第二子信号Y的波形、第二类分频信号n_VCSEL_15FPS的波形和第二类分频信号VCSEL_15FPS的波形。
根据图4和图5所示的波形示意图,在图像采集装置按照60帧每秒的速率采集图像的情况下,红外灯与激光投射器交替发出对应的投射光,从而使得图像采集装置交替采集到红外帧图像和激光帧图像,其中每秒交替采集到红外帧图像为30帧,在由第二类分频信号n_VCSEL_15FPS控制的激光投射器发出对应的结构光时,交替采集到的激光帧图像为15帧,在由第二类分频信号VCSEL_15FPS控制的激光投射器发出对应的结构光时,交替采集到的激光帧图像为15帧。
在一个实施例中,各曝光装置除了分别包括第一类曝光器和第二类曝光器之外,还分别包括第一类曝光驱动器和第二类曝光驱动器。第一类曝光驱动器连接于第一类曝光器和信号生成电路之间,用于在第一类分频信号的控制作用下,驱动第一类曝光器发出第一类投射光。第二类曝光驱动器连接于第二类曝光器和选通电路之间,用于在第一类分频信号或第二类分频信号的控制作用下,驱动第二类曝光器发出第二类投射光。
可选地,在第一类曝光器为红外灯,第二类曝光器为激光投射器的情况下,第一类曝光驱动器为红外灯驱动器,第二类曝光驱动器为激光器驱动器;在第一类曝光器为激光投射器,第二类曝光器为红外灯的情况下,第一类曝光驱动器为激光器驱动器,第二类曝光驱动器为红外灯驱动器。
为便于理解本申请实施例提供的图像采集设备,下面将图1所示的图像采集设备中的第一类曝光器替换为红外灯,第一类曝光驱动器替换为红外灯驱动器,第二类曝光器替换为激光投射器,第二类曝光驱动器替换为激光器驱动器,图像采集装置替换为图像传感器,选通电路替换为选择器,控制器替换为CPU,得到如图6所示的图像采集设备的结构示意图。此外,图6所示的图像采集设备中还设置有两个红外灯驱动器,包括红外灯驱动器413和红外灯驱动器414,并设置有两个激光器驱动器,包括激光器驱动器423和激光器驱动器424。
在图6所示的图像采集设备中,信号生成电路2分别与选择器31、选择器32、红外灯驱动器413、红外灯驱动器414、图像传感器51、图像传感器52和图像传感器53连接,选择器31与激光器驱动器423连接,选择器32与激光器驱动器424连接,选择器31和选择器32分别与CPU1连接。红外灯驱动器413与红外灯411连接,红外灯驱动器414与红外灯412连接,激光器驱动器423与激光投射器421连接,激光器驱动器424与激光投射器422连接。
沿用图3中的举例,图6中以SENSOR_60FPS表征输入至各图像传感器的曝光控制信号,以IR_30FPS表征输入至各红外灯驱动器的第一类分频信号,以VCSEL_30FPS表征输入至各选择器的第一类分频信号,以VCSEL_15FPS表征输入至一个选择器的第二类分频信号,以n_VCSEL_15FPS表征输入至另一个选择器的第二类分频信号。
需要说明的是,信号生成电路所产生的各信号需同步输入CPU中,即SENSOR_60FPS、IR_30FPS、VCSEL_30FPS、VCSEL_15FPS和n_VCSEL_15FPS需同步输入CPU中,以使CPU根据各个信号,将图像传感器采集到的图像在时间上对齐。
假设在控制信号为高电平信号的情况下,第二类曝光器的输入信号为第一类分频信号;在控制信号为低电平信号的情况下,第二类曝光器的输入信号为第二类分频信号。以下对图6所示实施例提供的图像采集设备的图像采集原理进行详细说明:
在控制信号为高电平信号的情况下,激光器驱动器423和激光器驱动器424的输入信号分别为VCSEL_30FPS,此时,设备工作模式为三目工作模式,图像采集设备相当于一个三目结构光相机,三个图像传感器分别以60FPS速率曝光,红外灯411和红外灯412、激光投射器421和激光投射器422各自以30FPS速率交替发出对应的投射光。使得三个图像传感器交替采集到红外帧图像和激光帧图像。
其中,红外灯411和红外灯412同时发出对应的红外光,激光投射器421和激光投射器422同时发出对应的结构光,红外灯411和红外灯412、与激光投射器421和激光投射器422交替发出对应的投射光。当红外灯411和红外灯412发出对应的红外光时,三个图像传感器采集红外帧图像,得到三个红外帧图像;当激光投射器421和激光投射器422发出对应的结构光时,三个图像传感器采集激光帧图像,得到三个激光帧图像。在进行物体识别的过程中,需要分别对三个红外帧图像进行拼接、对三个激光帧图像进行拼接,得到一个完整红外帧图像和一个完整激光帧图像,完整红外帧图像用于进行物体识别,完整激光帧图像用于深度识别。
在控制信号为低电平信号的情况下,激光器驱动器423的输入信号为VCSEL_15FPS,激光器驱动器424的输入信号为n_VCSEL_15FPS,此时,设备工作模式为双目工作模式,图像采集设备相当于两个双目结构光相机,图像传感器51和图像传感器52组成双目结构光A,图像传感器52和图像传感器53组成双目结构光B。双目结构光A和双目结构光B分别以30FPS速率采集图像。其中,红外灯和激光投射器交替发出对应的投射光,激光投射器421和激光投射器422各自以15FPS速率交替发出对应的结构光。使得双目结构光A和双目结构光B交替采集到红外帧图像和激光帧图像。
其中,红外灯411和红外灯412同时发出对应的红外光,激光投射器421和激光投射器422交替发出对应的结构光。在双目结构光A和双目结构光B分别取各自激光投射器后面的一帧红外帧图像作为有效帧用于物体识别的情况下,图像采集设备的工作流为:双目结构光A获取激光帧图像->双目结构光A获取红外帧图像->双目结构光B获取激光帧图像->双目结构光B获取红外帧图像。在进行物体识别的过程中,需要将双目结构光A获取的激光帧图像与双目结构光B获取的激光帧图像进行拼接,得到一个完整激光帧图像,将双目结构光A获取的红外帧图像与双目结构光B获取的红外帧图像进行拼接,得到一个完整红外帧图像,完整红外帧图像用于进行物体识别,完整激光帧图像用于深度识别。
以上为本申请实施例提供的图像采集设备,基于同样的思路,本申请实施例还提供一种图像采集方法。
图7是根据本申请一实施例的一种图像采集方法的示意性流程图。本实施例中,图像采集方法应用于如图1-6任一项的图像采集设备。如图7所示,图像采集方法包括以下步骤:
S702,确定图像采集设备的设备工作模式。
可选地,图像采集设备的设备工作模式可由控制器向选通电路输入的控制信号确定。图像采集设备中预先配置有控制信号为高电平信号和低电平信号时,分别能够控制选通电路将哪一类分频信号输入第二类曝光器。示例性地,在图像采集设备中预先配置有若控制信号为高电平信号,则第二类曝光器的输入信号为第一类分频信号,若控制信号为低电平信号,则第二类曝光器的输入信号为第二类分频信号的情况下,若控制器向选通电路输入的控制信号为高电平信号,则可确定设备工作模式为三目工作模式;若控制器向选通电路输入的控制信号为低电平信号,则可确定设备工作模式为双目工作模式。
在一个实施例中,第一类分频信号和第二类分频信号由图像采集设备中的信号生成电路生成。具体的,信号生成电路对接收到的曝光控制信号进行分频处理,可得到第一类分频信号和第二类分频信号。
S704,若设备工作模式为三目工作模式,则控制第一类曝光器按照第一曝光速率发出第一类投射光,控制第二类曝光器按照第一曝光速率发出第二类投射光;以及,控制图像采集装置按照第三曝光速率采集图像。
本实施例中,在设备工作模式为三目工作模式的情况下,信号生成电路生成的第一类分频信号输入第一类曝光器和第二类曝光器,从而第一类曝光器能够按照与第一类分频信号匹配的第一曝光速率发出第一类投射光,第二类曝光器能够按照与第一类分频信号匹配的第一曝光速率发出第二类投射光。
S706,若设备工作模式为双目工作模式,则控制第一类曝光器按照第一曝光速率发出第一类投射光,控制第二类曝光器按照第二曝光速率发出第二类投射光;以及,控制图像采集装置按照第三曝光速率采集图像。
本实施例中,在设备工作模式为双目工作模式的情况下,信号生成电路生成的第一类分频信号输入第一类曝光器,信号生成电路生成的第二类分频信号输入第二类曝光器,从而第一类曝光器能够按照与第一类分频信号匹配的第一曝光速率发出第一类投射光,第二类曝光器能够按照与第二类分频信号匹配的第二曝光速率发出第二类投射光。
其中,第三曝光速率为第一曝光速率的N倍,第一曝光速率为第二曝光速率的M倍。N为大于1的整数,M为大于或等于1的整数。第一类曝光器和第二类曝光器之间交替发出对应的投射光。
本实施例中,图像采集设备能够工作在双目或者三目工作模式下,实现了在一个图像采集设备上兼容两种(如双目和三目)工作模式的效果,节约了设计成本。图像采集方法的具体实现过程,即为图像采集设备的图像采集原理,图像采集原理可参见图6所示实施例,此处不再赘述。
综上,已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序,以实现期望的结果。在某些实施方式中,多任务处理和并行处理可以是有利的。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种图像采集设备,其特征在于,包括控制器、信号生成电路、以及与所述信号生成电路连接的多个选通电路、多个曝光装置和多个图像采集装置;各所述曝光装置分别包括第一类曝光器和第二类曝光器;其中,所述第一类曝光器与所述信号生成电路连接,所述第二类曝光器与所述选通电路连接;各所述选通电路、所述图像采集装置分别与所述控制器连接;
所述信号生成电路,用于对接收到的曝光控制信号进行分频处理,得到第一类分频信号和第二类分频信号;将所述曝光控制信号输入所述图像采集装置,将所述第一类分频信号输入所述第一类曝光器,将所述第一类分频信号或所述第二类分频信号输入所述第二类曝光器;
所述控制器,用于向各所述选通电路输入控制信号;所述控制信号用于控制所述选通电路选择所述第二类曝光器的输入信号;
所述选通电路,用于根据所述控制信号,控制所述第二类曝光器的输入信号为所述第一类分频信号或者所述第二类分频信号;
所述第一类曝光器,用于按照与所述第一类分频信号匹配的第一曝光速率发出第一类投射光;所述第二类曝光器,用于按照所述第一曝光速率或与所述第二类分频信号匹配的第二曝光速率发出第二类投射光;
所述图像采集装置,用于按照与所述曝光控制信号匹配的第三曝光速率采集图像,并将采集到的图像传输至所述控制器;
其中,所述第三曝光速率为所述第一曝光速率的N倍,所述第一曝光速率为所述第二曝光速率的M倍;所述N为大于1的整数,所述M为大于或等于1的整数;所述第一类曝光器和所述第二类曝光器之间交替发出对应的投射光。
2.根据权利要求1所述的设备,其特征在于,所述信号生成电路包括相互连接的第一分频电路和第二分频电路;
所述第一分频电路,用于对所述曝光控制信号进行分频处理,得到两路所述第一类分频信号;将第一类目标分频信号输入所述第二分频电路;所述第一类目标分频信号为两路所述第一类分频信号中的其中一路;
所述第二分频电路,用于对输入的所述第一类目标分频信号进行分频处理,得到两路所述第二类分频信号。
3.根据权利要求2所述的设备,其特征在于,所述第一分频电路包括第一分频器、第一反相器、第一逻辑与门电路和第二逻辑与门电路;所述第二分频电路包括第二分频器、第二反相器、第三逻辑与门电路和第四逻辑与门电路;
所述第一分频器的一个输入端、所述第一逻辑与门电路的一个输入端和所述第二逻辑与门电路的一个输入端分别用于接收所述曝光控制信号;所述第一分频器的一个输出端连接至所述第一分频器的另一输入端,所述第一分频器的另一输出端经过所述第一反相器连接至所述第一逻辑与门电路的另一输入端;所述第一分频器的另一输出端与所述第二逻辑与门电路的另一输入端连接;
所述第二分频器的一个输入端、所述第三逻辑与门电路的一个输入端和所述第四逻辑与门电路的一个输入端分别用于接收所述第一类目标分频信号;所述第二分频器的一个输出端连接至所述第二分频器的另一输入端,所述第二分频器的另一输出端经过所述第二反相器连接至所述第三逻辑与门电路的另一输入端;所述第二分频器的另一输出端与所述第四逻辑与门电路的另一输入端连接。
4.根据权利要求3所述的设备,其特征在于,所述第一分频器用于将所述曝光控制信号分为两路第一子信号;其中一路所述第一子信号经所述第一反相器后输入所述第一逻辑与门电路,且该路所述第一子信号输入至所述第二逻辑与门电路;另一路所述第一子信号回流至所述第一分频器;
所述第一逻辑与门电路用于将反相处理后的所述第一子信号和所述曝光控制信号进行逻辑与计算,得到其中一路所述第一类分频信号;所述第二逻辑与门电路用于将所述第一子信号和所述曝光控制信号进行逻辑与计算,得到另一路所述第一类分频信号。
5.根据权利要求3所述的设备,其特征在于,所述第二分频器用于将所述第一类目标分频信号分为两路第二子信号;其中一路所述第二子信号经所述第二反相器后输入所述第三逻辑与门电路,且该路所述第二子信号输入至所述第四逻辑与门电路,另一路所述第二子信号回流至所述第二分频器;
所述第三逻辑与门电路用于将反相处理后的所述第二子信号和所述第一类目标分频信号进行逻辑与计算,得到其中一路所述第二类分频信号;所述第四逻辑与门电路用于将所述第二子信号和所述第一类目标分频信号进行逻辑与计算,得到另一路所述第二类分频信号。
6.根据权利要求3至5中任一项所述的设备,其特征在于,所述第一分频器或所述第二分频器为D触发器。
7.根据权利要求1所述的设备,其特征在于,所述控制信号为高电平信号或低电平信号;
若所述控制信号为所述高电平信号,则所述第二类曝光器的输入信号为所述第一类分频信号;若所述控制信号为所述低电平信号,则所述第二类曝光器的输入信号为所述第二类分频信号;
或者,
若所述控制信号为所述高电平信号,则所述第二类曝光器的输入信号为所述第二类分频信号;若所述控制信号为所述低电平信号,则所述第二类曝光器的输入信号为所述第一类分频信号。
8.根据权利要求1所述的设备,其特征在于,所述第一类曝光器为红外光装置,所述第二类曝光器为激光装置;所述第一类投射光为红外光,所述第二类投射光为结构光;
或者,
所述第一类曝光器为激光装置,所述第二类曝光器为红外光装置;所述第一类投射光为结构光,所述第二类投射光为红外光。
9.根据权利要求1所述的设备,其特征在于,各所述曝光装置分别设置于每两个相邻的所述图像采集装置之间。
10.根据权利要求1所述的设备,其特征在于,各所述曝光装置还分别包括第一类曝光驱动器和第二类曝光驱动器;
所述第一类曝光驱动器连接于所述第一类曝光器和所述信号生成电路之间,用于在所述第一类分频信号的控制作用下,驱动所述第一类曝光器发出所述第一类投射光;
所述第二类曝光驱动器连接于所述第二类曝光器和所述选通电路之间,用于在所述第一类分频信号或所述第二类分频信号的控制作用下,驱动所述第二类曝光器发出所述第二类投射光。
11.一种图像采集方法,其特征在于,应用于权利要求1-10任一项所述的图像采集设备,所述方法包括:
确定所述图像采集设备的设备工作模式;
若所述设备工作模式为三目工作模式,则控制所述第一类曝光器按照第一曝光速率发出第一类投射光,控制所述第二类曝光器按照所述第一曝光速率发出第二类投射光;以及,控制所述图像采集装置按照第三曝光速率采集图像;
若所述设备工作模式为双目工作模式,则控制所述第一类曝光器按照所述第一曝光速率发出所述第一类投射光,控制所述第二类曝光器按照第二曝光速率发出所述第二类投射光;以及,控制所述图像采集装置按照所述第三曝光速率采集图像;
其中,所述第三曝光速率为所述第一曝光速率的N倍,所述第一曝光速率为所述第二曝光速率的M倍;所述N为大于1的整数,所述M为大于或等于1的整数;所述第一类曝光器和所述第二类曝光器之间交替发出对应的投射光。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210860102.5A CN115242978B (zh) | 2022-07-21 | 2022-07-21 | 图像采集设备及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210860102.5A CN115242978B (zh) | 2022-07-21 | 2022-07-21 | 图像采集设备及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115242978A CN115242978A (zh) | 2022-10-25 |
CN115242978B true CN115242978B (zh) | 2023-05-26 |
Family
ID=83674357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210860102.5A Active CN115242978B (zh) | 2022-07-21 | 2022-07-21 | 图像采集设备及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115242978B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07319252A (ja) * | 1994-05-26 | 1995-12-08 | Fuji Xerox Co Ltd | 露光制御装置 |
CN101888483A (zh) * | 2005-06-21 | 2010-11-17 | 株式会社理光 | 成像装置以及成像控制方法 |
CN112153306A (zh) * | 2020-09-30 | 2020-12-29 | 深圳市商汤科技有限公司 | 图像采集系统、方法、装置、电子设备及可穿戴设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10962790B2 (en) * | 2017-09-05 | 2021-03-30 | Facebook Technologies, Llc | Depth measurement using a pulsed structured light projector |
CN113810530A (zh) * | 2019-05-31 | 2021-12-17 | Oppo广东移动通信有限公司 | 电子装置的控制方法及电子装置 |
-
2022
- 2022-07-21 CN CN202210860102.5A patent/CN115242978B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07319252A (ja) * | 1994-05-26 | 1995-12-08 | Fuji Xerox Co Ltd | 露光制御装置 |
CN101888483A (zh) * | 2005-06-21 | 2010-11-17 | 株式会社理光 | 成像装置以及成像控制方法 |
CN112153306A (zh) * | 2020-09-30 | 2020-12-29 | 深圳市商汤科技有限公司 | 图像采集系统、方法、装置、电子设备及可穿戴设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115242978A (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263657B (zh) | 一种人眼追踪方法、装置、系统、设备和存储介质 | |
EP3248374B1 (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
CN109584352B (zh) | 三维扫描的图像获取、处理方法、装置以及三维扫描设备 | |
US10652513B2 (en) | Display device, display system and three-dimension display method | |
CN106657969B (zh) | 用于获得图像的装置和方法 | |
CN110431841A (zh) | 虚拟、增强和混合现实系统的深度感测技术 | |
JP4914278B2 (ja) | 画像処理装置、方法およびプログラム | |
CN106228119A (zh) | 一种表情捕捉及动画自动生成系统和方法 | |
JP4661824B2 (ja) | 画像処理装置、方法およびプログラム | |
KR20150080863A (ko) | 히트맵 제공 장치 및 방법 | |
JP2006010791A (ja) | プロジェクタの自動フォーカス調整 | |
US20150288945A1 (en) | Generarting 3d images using multiresolution camera clusters | |
JP2017201760A (ja) | 撮像装置および測距装置 | |
CN104092955A (zh) | 闪光控制方法及控制装置、图像采集方法及采集设备 | |
CN110213413A (zh) | 电子装置的控制方法及电子装置 | |
CN104092956A (zh) | 闪光控制方法、闪光控制装置以及图像采集设备 | |
CN115242978B (zh) | 图像采集设备及方法 | |
CN103139472A (zh) | 数字拍摄设备及其控制方法 | |
CN105430256A (zh) | 摄像设备和摄像设备的控制方法 | |
CN109756667B (zh) | 位置取得系统、位置取得装置、位置取得方法以及记录介质 | |
CN112019660B (zh) | 电子装置的控制方法及电子装置 | |
CN105100595A (zh) | 摄像设备及其控制方法 | |
CN112824935A (zh) | 基于调制光场的深度成像系统、方法、设备及介质 | |
EP3736770A1 (en) | Image processing device, image processing method, and program | |
JP2020153715A (ja) | 測距装置および測距方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |