CN110418036A - 摄像设备及其控制方法 - Google Patents

Abstract

本发明涉及一种摄像设备及其控制方法。用于在第一定时重复拍摄对象的图像的摄像设备包括：图像传感器，其被配置为获取所述对象的图像数据；控制单元，其被配置为控制所述图像传感器的驱动；以及获取单元，其被配置为获取通过用于重复处理所述对象的图像图案检测所生成的第二定时。所述控制单元基于所述第一定时之间的间隔和所述第二定时之间的间隔来控制所述图像传感器的驱动。

Description

摄像设备及其控制方法

技术领域

本发明通常涉及与外部环境相互作用的摄像设备、以及用于控制摄像设备的方法。

背景技术

作为用于拍摄对象的图像的摄像系统的示例，已知有用于基于通过检测图像数据中的图像图案所生成的定时信号来获取静止图像的控制方法(以下称为图像图案检测信号)。该控制方法用于涵盖工厂自动化(以下也称为FA)和学术追求的应用。在该控制方法中，根据图案检测信号的输出定时或者根据用于驱动图像传感器的方法，预期的摄像定时可能被延迟。为了应对各种被摄体条件，在一些情况下对曝光的类型不同的多个图像进行合成或者需要长曝光，这引起了延迟进一步增加的担心。

发明内容

根据本发明的方面，一种摄像设备，用于在第一定时重复拍摄对象的图像，所述摄像设备包括：图像传感器，其被配置为获取所述对象的图像数据；控制单元，其被配置为控制所述图像传感器的驱动；以及获取单元，其被配置为获取通过检测所述图像数据中的所述对象的图像图案所生成的第二定时，其中，所述控制单元基于所述第一定时之间的间隔和所述第二定时之间的间隔来控制所述图像传感器的驱动。

根据本发明的方面，一种摄像设备的控制方法，所述摄像设备包括图像传感器，所述图像传感器被配置为获取对象的图像数据，并且在第一定时重复拍摄图像，所述控制方法包括：控制所述图像传感器的驱动；以及获取通过检测所述图像数据中的所述对象的图像图案所生成的第二定时，其中，基于所述第一定时之间的间隔和所述第二定时的间隔来控制所述图像传感器的驱动。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出根据第一典型实施例的摄像系统的整体结构的框图。

图2是示出根据第一典型实施例的摄像系统的结构图。

图3A和3B是各自示出高动态范围(HDR)驱动模式的时序图。

图4是示出根据第一典型实施例的操作的流程图。

图5A和5B示出根据各典型实施例的检查台上的切割器操作和触发点。

图6A、6B、6C和6D是各自示出根据第一典型实施例的操作的时序图。

图7是示出根据第二典型实施例的摄像系统的整体结构的框图。

图8A和8B是各自示出慢快门驱动模式的时序图。

图9示出根据第二典型实施例的最佳图案检测位置和位移量。

图10A、10B和10C是各自示出根据第二典型实施例的操作的流程图。

具体实施方式

以下将参考附图来说明本发明的典型实施例。在整个附图中，利用相同的附图标记来表示具有相同功能的组件，并且省略了对这些组件的重复说明。这些组件不限于典型实施例中所述的内容，并且可以适当地修改。

将参考图1所示的详细框图来说明根据第一典型实施例的包括摄像设备102的摄像系统的整体结构。检查台100用于安装目标对象。检查台100包括用于改变目标对象的位置的平台和诸如用于切割对象的切割器等的电子设备。检查台100还可以包括用于加热对象的加热器和用于对含有有害物质的空气进行换气的通风。

可以从包括用于控制系统的操作所使用的通信端口和各设备的控制单元的外部设备，操作安装在检查台100上的各电子设备。

外部设备101例如是个人计算机(以下也称为PC)。PC 101控制整个摄像系统，并且向检查台100和以下要说明的摄像设备100的各块供给控制信号和设置信息等。本典型实施例假定各控制对象经由诸如局域网(LAN)线缆或通用串行总线(USB)线缆等的布线来连接的情况。然而，各控制对象可以经由诸如等的无线连接来连接，或者可以经由网络通过其它设备连接至各设备。PC 101不限于包括鼠标和键盘作为输入单元的一般结构，而是作为代替可以具有包括操纵杆、专用开关板或跟踪球的结构、或者包括平板PC等的触摸面板的结构。

摄像设备102拍摄安装在检查台100上的对象的图像，并且将该摄像结果作为图像数据输出。该图像数据被输出至显示单元111或PC 101，或者可被输出并存储在摄像设备102中所设置的存储卡等中，或者可被输出至存储器或云服务。

摄像镜头103对应于用于会聚来自被摄体的光并形成被摄体图像的摄像光学系统。摄像镜头103是包括变焦透镜和调焦透镜的透镜组。

摄像镜头103可被配置为可拆卸地且可更换地安装在摄像设备102的主体上。摄像镜头103包括未示出的快门机构、光圈机构和防振机构。光圈机构的示例包括通过多个光圈叶片来控制光圈直径的形式的光圈机构、使具有在内部形成有直径不同的多个孔的板移入和移出的形式的光圈机构、以及诸如中性密度(ND)滤波器等的光学滤波器插入或移除的形式的光圈机构。光圈机构可以具有任何形式，只要可以调整曝光量即可。

图像传感器104包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)，其将摄像镜头103所形成的被摄体图像(光学图像)转换成电气信号。根据本典型实施例的图像传感器104至少包括水平方向上的4000个像素和垂直方向上的2000个以上的有效像素，并且可以以30fps的帧频输出例如4K格式的图像数据。图像传感器104还包括用于设置控制参数的寄存器。可以通过改变寄存器的设置来控制包括曝光时间、诸如增益等的曝光参数、读出定时以及诸如间隔剔除和相加等的操作的驱动模式。根据本典型实施例的图像传感器104包括模数(AD)转换电路，并且与从外部设备供给的定时信号(以下也称为VD)同步地输出与一帧相对应的数字图像数据。图像传感器104还可以以正常驱动模式按预定帧频输出运动图像。在本典型实施例中，通过垂直同步信号提供一系列定时信号，并且各定时信号对应于作为拍摄对象的图像的定时的第一定时。定时信号(VD)之间的间隔对应于第一定时之间的间隔。

图像传感器104的驱动模式包括用于基于寄存器中所设置的多个曝光时间来周期性地切换曝光时间的设置的驱动模式(该驱动模式在下文中也称为高动态范围(HDR)模式)。通过使用该驱动模式，可以针对各VD交替地获取到曝光时间小于适当曝光时间的低曝光图像和曝光时间更长的高曝光图像。通过对这些图像进行合成，可以获得动态范围增大的图像(该图像在下文中也称为HDR图像)。在曝光时间改变时，增益的设置也可以根据需要改变。作为曝光的设置，可以将适当曝光图像与高曝光图像或低曝光图像组合。在本典型实施例中，包括图像传感器104并且获取图像的块对应于摄像单元。图像传感器104不限于包括拜耳阵列的颜色滤波器的单芯片型图像传感器。图像传感器104可以是包括与拜耳阵列中所包括的红色(R)、绿色(G)和蓝色(B)的颜色滤波器分别相对应的图像传感器的三芯片型。代替这些颜色滤波器，图像传感器104可以包括透明(白色)滤波器。能够接收红外或紫外区域中的光的图像传感器也可以用作图像传感器104。

图像处理单元105根据需要对所读取的图像数据进行诸如增益或偏移校正、白平衡校正、轮廓强调和降噪等的处理。图像处理单元105还对从图像传感器104输出的图像数据进行预定的像素插值处理、诸如缩小等的调整大小处理和颜色转换处理。图像处理单元105还使用各种信号来进行预定的算术处理。基于所获得的算术处理结果，以下要说明的控制单元110等进行曝光控制和焦点检测控制。结果，执行使用通过镜头(TTL)方法的自动曝光(AE)处理或者电子闪光灯预发光(EF)处理等。图像处理单元105还进行自动调焦(AF)处理。在HDR模式中，可以进行控制处理，使得对曝光时间短的低曝光图像进行的图像处理和对曝光时间长的高曝光图像进行的图像处理不同。可以将图像处理单元105的一些功能设置在图像传感器104中，以分散处理负荷。

图案检测单元106在从图像处理单元105输出的预定图像数据中检测特定图像图案，并且生成适当的定时信号。具体地，在本典型实施例中，图案检测单元106生成用于从以下要说明的存储器109获取与一帧相对应的HDR合成图像的定时。在本典型实施例中，检测表示上述的切割器和待检查对象之间的位置关系的图像图案，以由此检测用于获取待检查对象的静止图像的切割定时。然而，本典型实施例也可应用于工厂自动化(FA)等。例如，本典型实施例也可应用于使用图案来检测在带式输送机等上输送的待检查对象的预定位置或角度的情况。图案检测单元106配置在图像处理单元105的输出级，以减少噪声或固定模式噪声的影响，或者作为代替，图案检测单元106可以配置在图像传感器104的输出级，只要可以进行图案检测即可。还可以通过获取以下要说明的存储器109中所存储的图像来进行图案检测。

图案检测方法的示例包括使用模板匹配的方法。具体地，将图像与模板图像进行比较，以判断在图像中是否拍摄到特定对象。其它方法可以包括判断是否获取到与在基于从外部设备供给的触发信号的定时获取到的图像相同的图像。可选地，可以使用人工智能(AI)通过重复学习来检测图案。为了提高图案检测的精度，可以对要检测的对象使用标记，并且可以通过检测标记来实现图案检测。

合成单元107通过对来自图像处理单元105所处理的两个图像(即，低曝光图像和高曝光图像)的两个图像数据进行合成来生成HDR图像。HDR图像是以如下方式生成的：将各个图像数据分割成多个块以供处理，并且对各相应块进行合成处理。为了简化说明，本典型实施例示出对两个图像数据进行获取和合成的示例，但本典型实施例不限于该示例。例如，可以对三个以上的图像数据进行获取和合成。存在如下缺点：要获取并进行合成的图像数据的数量的增加导致获取图像数据所需的时间的增加。然而，存在如下优点：可以根据要进行合成的图像的数量来增大HDR图像中的动态范围。如果不以诸如正常运动图像模式等的除HDR模式以外的模式进行图像合成处理，则图像处理单元105所处理的图像数据可被控制成直接输入至显像处理单元108。

显像处理单元108对合成单元107所处理的图像数据进行压缩编码，以转换成亮度信号、色差信号或者诸如运动图像专家组(MPEG)格式等的预定运动图像格式。显像处理单元108还对静止图像进行压缩编码，以要转换成诸如联合图像专家组(JPEG)格式等的不同格式。处理后的图像数据被输出并显示在显示单元111上。此外，该图像数据根据需要存储在记录单元(未示出)中。显示单元111可以包括在PC 101中，或者可以单独设置。

存储器109暂时记录静止图像的图像数据。存储器109具有能够记录与一个或多个帧相对应的图像数据的存储容量，并且记录合成单元107所处理的图像数据。

在以运动图像模式驱动图像传感器104以从多个图像数据获得运动图像的情况下，按30fps～60fps的范围内的帧频获取图像数据。为了平滑地再现各图像数据、或者为了确保足够的存储容量，图像数据在显像处理单元108中不可逆地经受压缩编码，然后以预定的运动图像格式存储。因此，在通过从经受了压缩编码处理的运动图像提取与一帧相对应的图像数据来获得静止图像的图像数据时，在一些情况下，不能获得足够的灰度，或者从图像中去除了高频分量，这导致细度不足，因而该图像不适合使用。另外，担心由于压缩编码处理引起的噪声而导致的图像质量劣化。因此，显像处理单元108未处理的图像数据被保持在存储器109中，由此使得不仅可以获取运动图像的图像数据，而且还可以获取具有高图像质量的静止图像的图像数据。使用环形缓冲器作为存储器109，并且用新图像数据覆盖旧图像数据并存储覆盖后的图像数据，使得可以以小的存储容量重复保持多个图像。

在本典型实施例中，存储器109被配置为保持合成单元107所处理的图像数据，而且作为代替，可被配置为存储图像处理单元105所处理的图像数据。另外，存储器109存储摄像单元所获取到的各种图像数据和要显示在显示单元111上的数据。存储器109具有足以存储音频以及图像数据的存储容量。存储器109还可用作图像显示所用的存储器(视频存储器)。

控制单元110控制各种计算和整个摄像设备102。控制单元110包括用于总地控制用于控制整个摄像设备102的组件的中央处理单元(CPU)，并且针对各组件进行各设置参数等的设置。执行上述存储器109上所记录的程序，以由此实现如下所述的根据本典型实施例的各处理。控制单元110还包括系统存储器。例如，使用静态随机存取存储器(SRAM)作为系统存储器。控制单元110的操作所用的常数和变量、以及从非易失性存储器等读取的程序被加载到系统存储器中。

非易失性存储器是电可擦除/可记录存储器。例如，使用闪速存储器作为非易失性存储器。非易失性存储器存储控制单元110的操作所用的常数和程序等。这里所述的程序是指用于执行根据本典型实施例的以下要说明的各种流程图的程序。控制单元110还包括系统计时器以测量各种控制处理所使用的时间并测量内置时钟的时间。控制单元110除包括执行程序的CPU之外，还可以包括具有可重构电路的硬件电路。

控制单元110还包括通信单元(未示出)，并且基于有线通信端口或无线通信单元连接至作为外部设备的PC 101。摄像设备102可以设置有用于切换模式等的操作单元。

根据本典型实施例的PC 101控制检查台100和摄像设备102的各块。具体地，检查台100包括用于切割作为检查所使用的对象的待检查对象的切割器，并且控制切割器的重复操作并进行速度检测。将与所检测到的速度数据有关的信息发送至摄像设备102中的控制单元110，并且将静止图像的图像数据加载到PC 101中。

图2是示出根据本典型实施例的摄像系统的结构图。检查台100设置有检查平台200、切割器201和待检查对象202。待检查对象202是诸如生物或植物等的测试样本。更具体地，可以通过切割器201切割放置在检查平台200上的待检查对象202。切割器201相对于预定轴可转动，并且检查平台200或切割器201被配置成使得可以根据切割器201的转动来改变切割待检查对象202的位置。换句话说，可以通过使切割器201按预定周期转动来重复切割待检查对象202，并且可以连续观察和分析待检查对象202的截面。根据本典型实施例的切割器201是处理待检查对象202的示例。本典型实施例不限于切割操作，而且还适合于对待检查对象202要进行的重复操作。例如，本典型实施例也可应用于将预定设备用于压缩、加热、冷却或添加试剂的情况。

摄像设备102被固定成使得聚焦于放置在检查平台200上的待检查对象202的截面。PC 101通过有线线缆连接至检查台100和摄像设备102中的每一个，以控制检查台100的在利用切割器201无失误地切割待检查对象202的垂直方向上的位置。在切割了待检查对象202之后，切割器201的位置被控制成垂直向下移动，以在后续转动中可靠地切割待检查对象202。控制摄像设备102拍摄待检查对象202被切割的状态的图像的定时。

在本典型实施例中，以HDR模式驱动摄像设备102，并且将合成后的HDR图像作为运动图像的图像数据输出。然后，根据在切割待检查对象202的定时生成的图案检测信号来输出静止图像的图像数据。图案检测单元106检测表示切割器201和待检查对象202之间的位置关系的图像图案，并将图案检测信号输出至控制单元。

图案检测单元106预先将图案存储在如下的帧中，其中该帧是在拍摄图像的定时之前的一帧。PC 101供给控制信号以使得能够控制各图像数据的输出定时，以在预定定时自主地输出图像数据。

图3A和3B是各自示出根据本典型实施例的摄像系统中的摄像操作的时序图。图3A和3B的不同之处在于图案检测信号的生成定时，该图案检测信号用于生成图案检测单元106获取到与一帧相对应的HDR合成图像的定时。在图3A和3B所示的操作中，图像传感器104被设置成以HDR模式被驱动，并且与VD同步地重复和交替地输出曝光时间短的低曝光图像300和曝光时间长的高曝光图像301。合成单元107将两个连续的输出图像数据合成为一对，由此生成HDR图像302。

紧接在按低曝光图像300、高曝光图像301的顺序获取到低曝光图像300和高曝光图像301之后，进行用于生成HDR图像的合成处理。然后，显像处理单元108输出经过了显像处理的运动图像的图像数据。如图3A和3B所示，在各图像数据中读出定时相对于VD固定的情况下，高曝光图像的获取(曝光)定时与低曝光图像的获取(曝光)定时分离。因此，不优选对按高曝光图像先于低曝光图像的顺序所获取到的高曝光图像和低曝光图像进行合成。所输出的图像数据可以存储在摄像设备102中，或者可以经由有线线缆加载到PC101中。

参考图3A和3B，在图案检测单元106在图像上检测到预定图案时，输出图案检测信号305。该定时与图像获取定时异步，并且与切割器201和待检查对象202之间的位置关系相关联。在图案检测信号305被输出并被控制单元110接收到时，拍摄静止图像的图像数据。要实际拍摄的图像数据对应于通过对在输出图案检测信号305之后获得的低曝光图像和高曝光图像进行合成所获得的图像。可以拍摄到紧接在输出图案检测信号305之后获得的合成图像307。然而，由于图案检测信号305的输出与图像数据的获取异步，因此无法始终确保数据的获取。例如，为了节省保存合成图像307的存储器109的存储容量，可以针对不同的处理(诸如显像处理等)，共用存储器109的一部分。在这种情况下，在输入图案检测信号305的时间点，合成图像307的数据可能被破坏(覆盖)。另一方面，为了防止存储器109的共用，需要增加存储容量，这会引起诸如成本增加等的不利影响。在使用异步输入的图案检测信号305作为用于获取数据的触发时，从节省存储容量方面来看，使用随后要获取的图像数据是有利的。

在图3A和3B中，Fr表示用于从图案检测信号拍摄图像的时间段(帧数)。在图3A的示例中，Fr＝3个帧。在图3B的示例中，Fr＝2个帧。具体地，在图案检测单元106从高曝光图像中检测图案并且生成图案检测信号时，可以以小的时滞获取到合成图像。

图3A和3B各自示出用于使用一对两个连续的图像数据来生成HDR图像的操作，可选地可以使用一组三个以上的图像数据来获取中间曝光图像。

接着，将参考图4所示的流程图来说明根据本典型实施例的针对待检查对象202的检查操作。该流程图中的处理主要由摄像设备102中的控制单元110进行。

在摄像设备102的操作开始时，PC 101开始对检查台100的控制处理。具体地，与来自PC 101的开始控制相关联地，进行切割器201的转动操作以及切割器201和待检查对象202的相对位置的初始化。在开始切割器201的转动操作时，切割器201的转动速度不稳定。由于该原因，在将待检查对象202控制成位于待检查对象202不会接触切割器201的位置、并且经过了足够时间使得切割器201的速度被控制于恒定速度之后，开始本流程图中的处理。

在步骤S401中，控制单元110基于来自PC 101的操作开始指示来开始摄像操作。具体地，对图像传感器104进行驱动模式的参数的设置和曝光条件的设置，然后开始VD和操作用时钟的供给。在各操作开始时，按预定帧频输出通过摄像操作所获得的图像数据。

在该流程图中，图像传感器104以HDR模式被驱动，并且输出通过如图3A和3B所示对低曝光图像和高曝光图像进行合成所获得的HDR图像。另一方面，在该步骤开始时，PC101与检查台100进行通信，并且将切割器201相对于待检查对象202的高度设置成与待检查对象202的切割位置对准。然后，处理进入步骤S402。

在步骤S402中，控制单元110接收到来自图案检测单元106的图案检测信号。该图案检测信号与检查台100的切割器201的转动定时相关联。然后，处理进入步骤S403。

现在将参考图5A和5B来说明切割器201在待检查对象202上的转动操作以及生成图案检测信号的定时的示例。图5A和5B各自示出检查平台200上的顶视图中的切割器201的转动操作的状态。例如，图5A示出获得多个静止图像的图像数据以观察在切割器201的一次转动期间多次切割待检查对象202的状态的情况。在切割器201转动时，待检查对象202被切割。在切割器201通过利用黑色三角形502和503等表示的位置(图案检测点)的各定时，图案检测单元106向控制单元110供给图案检测信号。在本典型实施例中，图案检测点之间的间隔相等，而且作为代替，可以不相等。换句话说，图案检测信号可以是按各种间隔生成的。图案检测信号的生成定时局限于切割待检查对象202的定时，由此防止了不需要的静止图像数据的拍摄。

尽管本典型实施例示出从摄像设备102中的图案检测单元106生成图案检测信号的示例，但本典型实施例不限于该示例。还可以使用在PC 101捕获到图像并且检测到图案之后生成触发信号的结构。

图5B示出获取到一个静止图像的图像数据以观察在切割器200的一次转动期间对待检查对象202进行一次切割的状态的另一示例。

因此，第一次转动的触发信号的生成定时和第二次转动的触发信号的生成定时之间的间隔相等。

在根据本典型实施例的图案检测单元106检测到预定图案之后输出图案检测信号，这导致发生延迟。另一方面，基于生成图案检测信号的间隔为已知这一前提，可以考虑到第二次转动及其后续转动的延迟来调整定时。具体地，可以考虑到与帧频对应的延迟量来生成图案检测信号。

再次参考图4，在步骤S403中，控制单元110对在操作开始之后接收到的图案检测信号的数量进行计数，并且判断在先前步骤S402中是否接收到图案检测信号其中之一。作为该判断的结果，如果判断为接收到第一图案检测信号(步骤S403中为“第一信号”)，则处理进入步骤S404。如果判断为接收到第二图案检测信号或后续图案检测信号(步骤S403中为“第二信号或后续信号”)，则处理进入步骤S406。在步骤S403中，存储表示输出图案检测信号所基于的帧对应于低曝光图像还是高曝光图像的信息。

在步骤S404中，控制单元110使帧计数器单元开始对从输入第一检测信号时起的帧数进行计数。将计数得到的数量存储在存储器109等中并根据需要进行更新。然后，处理进入步骤S405。

在步骤S405中，控制单元110在按预定帧频从图像传感器104获取图像数据的同时从存储器109读取帧图像，并且将这些帧图像经由控制单元110加载到PC 101中。然后，处理返回到步骤S402，以等待后续图案检测信号的输入。

在步骤S406中，控制单元110基于帧计数器单元所获得的计数结果Fnum来检测要接收的图案检测信号的计数数量，并且重新开始对帧数进行计数。然后，处理进入步骤S407。

在步骤S407中，控制单元110在按预定帧频从图像传感器104获取图像数据的同时从存储器109读取帧图像，并且将这些帧图像经由控制单元110加载到PC 101中。然后，处理进入步骤S408。

在步骤S408中，控制单元110基于直到检测到后续图案为止所计数得到的帧数(Fnum)来估计从检测到图案的帧起、直到输出后续图案检测信号的帧为止的帧数。然后，判断在生成图案检测信号的估计定时从图像传感器104输出低曝光图像和高曝光图像中的哪个。此外，使用该判断结果来进行针对在预定定时获取到的图像数据所要获取的低曝光图像和高曝光图像的更换。如果判断为需要更换(步骤S408中为“是”)，则处理进入步骤S409。如果判断为不需要更换(步骤S408中为“否”)，处理进入步骤S410以等待后续图案检测信号的输入。

作为步骤S408中的判断方法的示例，在如图5B所示在期望摄像位置相同的状态下设置恒定间隔的情况下，按恒定帧间隔设置图案检测信号。通过使用该事实，对图案检测信号之间的帧数进行计数，并且使用与该计数值是偶数还是奇数有关的信息、以及表示输出第一图案检测信号所基于的帧对应于高曝光图像还是低曝光图像的信息来进行判断。具体地，在输出图案检测信号所基于的图像对应于低曝光图像的情况下并且在帧数是偶数的情况下，判断为需要图像的更换，然后处理进入步骤S409。在帧数是奇数的情况下，处理进入步骤S410。另一方面，在输出图案检测信号所基于的图像对应于高曝光图像的情况下并且在帧数是奇数的情况下，判断为需要图像的更换，然后处理进入步骤S409。在帧数是偶数的情况下，处理进入步骤S410。

作为又一示例，在如图5A所示存在多个摄像获取间隔的情况下，存储图案检测信号之间的多个帧数并且检测周期性。假定在图5A中图案检测点502和图案检测点503之间的帧数由F1表示、并且图案检测点502和图案检测点504之间的帧数由F2表示。使用帧数F1估计四个图案检测信号的输出定时，然后使用帧数F2估计一个图案检测信号的输出定时。

通过如上所述的控制处理，可以以高精度进行估计。帧数F1的次数和定时也可以由PC 101设置。然而，可以使用深度学习等通过机器学习来重复估计图4所示的流程图中的操作。

在图5A所示的示例中，帧数F1非常小，因此不总是需要估计。在这种情况下，可以仅使用作为图案检测点502和图案检测点504之间的相对较长的时间间隔的帧数F2来进行估计。具体地，在图案检测信号之间的间隔长于预定时间的情况下进行估计，这使得计算负荷减少。另外，难以以完全恒定的速率进行切割器201的转动操作，并且在图案检测信号的生成期间发生变化。因此，为了提高估计所使用的F1的精度，可以使用通过基于在进行多次计数之后所获得的F1的结果、进行诸如平均计算等的统计处理而获得的值F1ave，来估计后续图案检测信号的定时。

在步骤S409中，控制单元110在随后的VD定时进行要获取的低曝光图像和高曝光图像之间的切换。更具体地，在估计为在生成步骤S408中所估计的后续检测信号时从图像传感器104输出低曝光图像的情况下，执行切换低曝光图像和高曝光图像的获取顺序的操作。这是因为在输出高曝光图像之后获取到合成后的HDR图像的图像数据。通过切换图像数据的获取顺序，可以缩短从生成图案检测信号时起的、获取HDR图像的图像数据所需的时间。

现在将参考图6A～6D来详细说明步骤S409中的操作。图6A～6D各自示出与图像传感器104的读出周期相对应的VD、来自图像传感器104的图像数据的输出定时、通过合成单元107的合成处理所获得的HDR图像的输出定时、以及显像处理单元108进行显像处理所针对的图像数据的输出定时。图6A～6D还示出图案检测信号和要实际拍摄的图像的输出定时作为用于将静止图像的图像数据加载到PC 101中的定时。

图6A和6C各自示出在步骤S409中切换低曝光图像和高曝光图像的获取顺序的操作。图6B和6D各自示出在步骤S409中不切换低曝光图像和高曝光图像的获取顺序的操作。在这两个情况下，控制单元110将用于获取低曝光图像的参数设置到图像传感器104，与VD同步地开始读取，并且从低曝光图像读取图像数据600。之后，控制单元110将用于获取高曝光图像的参数设置到图像传感器104，与VD同步地开始读取，并且从高曝光图像读取图像数据601。合成单元107对低曝光图像600和高曝光图像601进行合成，由此生成一个HDR图像的图像数据602。显像处理单元108对顺次获取到的HDR图像进行显像处理，并且将HDR图像转换成诸如MPEG格式等的运动图像格式，由此生成显像图像数据603。使用所生成的显像图像数据603来在显示单元111上生成连续运动图像。然后，将从在输入图案检测信号608的定时之后的低曝光图像获取定时生成的HDR图像的图像数据作为拍摄图像输出。

图6A示出：从低曝光图像600输出图案检测信号604，并且将高曝光图像601设置为第一帧，然后对帧数进行计数。合成图像602是通过对低曝光图像600和高曝光图像601进行合成所获得的HDR合成图像，并且将显像处理单元108所显像的帧图像603输出至显示单元111等。此外，将通过对在输出图案检测信号604之后获得的低曝光图像605与高曝光图像606进行合成所获得的图像607作为静止图像记录在存储器109上，并且经由控制单元110输出至PC101。此外，检测直到输出下一图案检测信号608为止所计数得到的帧数Fnum。帧数Fnum对应于在高曝光图像601至低曝光图像609的范围内的帧数。在图4所示的步骤S408中判断为帧数Fnum是偶数的情况下，切换高曝光图像和低曝光图像的获取定时。作为图6A中的切换的结果，在高曝光图像的获取定时处获取低曝光图像610。

可以在除图6A所示的定时以外的位置处进行高曝光图像和低曝光图像的更换。然而，期望比后续图案检测信号的估计定时足够早地进行更换。

如图6A所示，在基于低曝光图像输出图案检测信号并且帧数Fnum是偶数的情况下，在低曝光图像611的获取定时输出图案检测信号。然后，可以将通过对低曝光图像和高曝光图像进行合成所获得的后续合成图像拍摄为合成图像612。结果，可以以小的时滞(在两个帧之后)获取到合成图像。

接着，图6B示出从低曝光图像600输出图案检测信号604并且从作为第一帧的高曝光图像601计数得到的帧数Fnum是奇数的情况。在这种情况下，无需更换帧。换句话说，即使在输出后续图案检测信号之后，也可以在两个帧之后获取到合成图像612。

接着，图6C示出从高曝光图像613输出图案检测信号604并且从作为第一帧的低曝光图像600计数得到的帧数Fnum是奇数的情况。在这种情况下，判断为在图4所示的步骤S408中要切换低曝光图像和高曝光图像的获取定时。参考图6C，作为该切换的结果，在低曝光图像的获取定时获取到高曝光图像610。通过进行切换，可以以小的时滞(在两个帧之后)获取到合成图像。

接着，图6D示出从高曝光图像613输出图案检测信号604并且从作为第一帧的低曝光图像600计数得到的帧数Fnum是偶数的情况。在这种情况下，无需更换帧。换句话说，即使在输出后续图案检测信号之后，也可以在两个帧之后获取到合成图像612。

如上所述，可以基于生成图案检测信号的间隔来估计在后续图案检测信号的生成定时处的图像传感器104的操作，并且可以基于在后续图案检测信号的生成定时处获得的图像数据对应于高曝光图像还是低曝光图像来控制图像数据的获取顺序。结果，可以减少图案检测信号的生成和图像的拍摄之间的时滞，并且可以在更稳定的定时进行摄像。

摄像设备102按预定帧频连续拍摄图像。然而，在按预定周期重复要与摄像异步地执行的针对外部设备的控制处理的情况下，发生周期性波度(periodic waviness)。波度例如是定时的位移、视角的位移、或者切割器201的位置的位移。波度引起阻碍待检查对象202的适当检查的噪声。通过将本发明应用于这样的情况，可以减少由与摄像设备102异步地进行的操作(例如，切割器201)中的位移引起的波度。

为了检测生成第一触发信号的间隔，可以在无需切割待检查对象202的情况下使切割器201进行预备转动。此外，可以在紧挨切割待检查对象202的位置之前设置预备触发点，并且可以进行控制处理，使得可以估计第一触发点。

此外，PC 101监视转动速度并根据需要校正触发位置，以设置实际切割待检查对象202的期望触发位置。可选地，可以将速度输出至摄像设备102中的控制单元110，并且可以进行控制处理，使得可以根据切割器201的速度的变化来校正图案检测位置的估计位置。

此外，为了调整后续图案检测信号的定时和摄像定时，不仅可以更换低曝光图像和高曝光图像的获取顺序，而且还可以通过调整获取间隔(帧频)来调整定时。

在如图5A所示在一次转动中设置多个图案检测位置的情况下，设置估计帧数F1。在经过了估计帧数F1之后没有输入图案检测信号的情况下，可以中断时间测量，并且可以进行控制处理，使得从后续图案检测点起再次测量时间。

在设置了多个图案检测帧间隔F1和F2的情况下，如果在经过了表示计数得到的较小帧数的F1之后没有输入图案检测信号，则可以判断为生成后续图案检测信号的定时对应于表示计数得到的较大帧数的F2，并且可以进行控制处理，使得再次执行估计。本典型实施例不限于该示例，并且可以多次进行估计以提高估计精度。上述典型实施例通过对帧数进行计数来执行，而且作为代替可以通过测量时间来执行。

如上所述，按摄像间隔对帧数进行计数，并且估计后续图案检测信号的生成定时而且还估计在该定时读取低曝光图像和高曝光图像中的哪个。因而，可以减少从生成图案检测信号起直到实际摄像定时为止所需的时间。对后续图案检测信号的生成定时的估计减少了用户设置该定时的负担，并且使得可以提高系统的通用性。例如，无需调整切割器201的转动操作和摄像设备102的摄像定时，并且可以任意设置切割器201的转动速度和摄像设备102的曝光条件。

现在将说明本发明的第二典型实施例。在第一典型实施例中，说明了以对多个图像进行合成以增大动态范围的HDR驱动模式进行的操作。由于在HDR驱动模式中需要获取多个图像以获取一个HDR图像，因此摄像速率根据要进行合成的图像数而减少。具体地，如果紧挨在开始图像数据的获取之前生成图案检测信号，则图像数据获取的时滞最小。如果紧接在开始图像数据的获取之后生成图案检测信号，则发生与帧频相对应的延迟。

该现象不限于HDR驱动模式。例如，在拍摄低亮度被摄体的图像的情况下，在帧频降低以增加曝光时间的所谓的慢快门驱动模式中也引起与上述问题相同的问题。此外，在慢快门驱动模式中，来自图像传感器104的输出的帧频降低，并且图像图案检测信号的分辨率也减小了与帧频的减小相对应的量，这使得难以在最佳摄像位置处进行图案检测。在本典型实施例中，在以低于30fps的帧频(例如，以约8～10fps的帧频)进行摄像时，慢快门驱动是合适的。

以下将参考图7以及图8A和8B来说明根据第二典型实施例的慢快门驱动模式中的控制处理的应用。图7是示出根据第二典型实施例的摄像系统的详细框图。图7中示出的摄像系统的组件分别对应于根据第一典型实施例的图1中示出的摄像系统的组件。图7所示的结构与图1所示的结构的不同之处在于，不存在与合成单元107相对应的块，并且存储器709被配置为保持来自图像处理单元705的图像数据。

第二典型实施例示出慢快门模式，其中在该慢快门模式中，图像传感器在与四个VD相对应的时间段中进行曝光，并且每四个VD从图像传感器读取一次图像数据。在本典型实施例中，以四个输出VD其中之一作为触发来从图像传感器读取图像数据，但是作为代替，可以进行控制处理以每四个垂直同步信号间隔输出一次VD本身。

图8A和8B是各自示出根据第二典型实施例的图像数据的读取、图案检测信号的生成、以及显像数据和拍摄图像的定时的时序图。参考图8A，图像传感器704在与四个VD相对应的时间段(800)中的曝光之后，将传感器输出801输出至图像处理单元705。此外，将传感器输出801输入至显像处理单元708，并且作为显像图像802输出至显示单元711等。各传感器输出也被输入至图案检测单元706。如第一典型实施例那样，在图像中检测到预定图案的情况下，将图案检测信号输出至控制单元710。

图8A示出在传感器输出803中检测到预定图案的情况。在图案检测单元706检测到预定图案并且输出图案检测信号804时，将在后续曝光操作之后获得的传感器输出的图像数据805经由存储器709加载到PC 701中。

如上所述，在第二典型实施例中，传感器每四个VD读取一次图像数据，使得还基于与四个VD相对应的间隔来输出图案检测信号，这导致图案检测信号的输出分辨率下降。

图9示出切割器201以及摄像定时和图案检测定时之间的位置关系。各三角形形状表示VD生成定时。特别地，黑色三角形904表示摄像定时，并且还表示在与四个VD相对应的时间段中的曝光之后要读取图像的位置。三角形900～903各自示出输出图案检测信号的切割器位置。900和901之间的间隔、901和902之间的间隔以及903和904之间的间隔各自对应于一个VD的时间周期。阴影三角形905～907各自示出用于实际拍摄静止图像的定时。905和906之间的间隔、906和907之间的间隔以及907和908之间的间隔对应于与一个VD相对应的时间周期。

在利用904表示的定时从图像传感器704获取图像数据的静止图像的情况下，在与四个VD相对应的间隔之前的位置900处输出图案检测信号时，可以从位置904获得期望的静止图像。

该状态通过图8B中的示出VD、曝光时间段A、传感器输出A和图案检测信号A的时序图示出。在输出(与图9所示的位置900相对应的)图案检测信号811时，将(与图9所示的位置904相对应的)传感器输出812经由存储器709加载到PC 701中。

然而，如图8B所示，假定基于传感器输出B～D输出图案检测信号，则在所假定的定时904处发生延迟。关于根据第二典型实施例的图像图案检测，通过检测相对于假定执行图案检测的位置(图9所示的位置900)的位移量来检测作为VD的数量的位移的时间段。

首先，如图8A所示，与将第一图案检测信号804输出至控制单元710同时，检测图像图案的位移量(VDs1)，以由此检测相对于如图9所示的作为适当图像图案位置的位置900的位移量、即VD的数量。此外，将所检测到的位移量输出至控制单元710。不存在位移量的位置对应于图9所示的位置900。存在一个VD的位移的位置对应于位置901。存在两个VD的位移的位置对应于位置902。存在三个VD的位移的位置对应于位置903。然后，控制单元710在从图案检测单元706接收到图案检测信号804之后，将图像数据805拍摄为静止图像。然后，对与用于输出后续图案检测信号806的时间段807相对应的VD的数量(VDnum)进行计数。此外，图案检测单元706在输出第二图案检测信号时再次检测图像图案的位移量(VDs2)。

由于每四个VD输出图案检测信号，因此VDnum是“4”的倍数。在输出第一图案检测信号804时，基于图像图案位移量VDs1和VDnum以及在输出第二图案检测信号时获得的图案位移量VDs2来估计直到要输出后续图案检测信号的位置(图9所示的900)为止的VD的数量。具体地，考虑到图像图案的位移量来计算图像图案检测信号之间的VD的数量，并且将该计算结果用作直到要输出后续图案检测信号的位置(图9所示的900)为止的VD的数量。可以通过表达式“VDnum-VDs1+VDs2”来获得图像图案检测信号之间的VD数量。

此外，用于使曝光开始定时以VD为单位偏移的控制处理是基于在将图像图案检测信号(VDnum)之间的VD数量除以帧频(在本典型实施例中为“4”)之后剩余的余数和在输出第二图案检测信号时获得的图像图案位移量VDs2之间的关系的。在本典型实施例中，帧频是“4”，并且每四个VD输出图像图案检测信号。因此，由于VDnum是“4”的倍数，因此通过VDs2-VDs1来获得余数，并且可以采用0、1、2和3作为值。

在VDs2-VDs1＝0时，控制曝光开始定时，使得在输出第二图案检测信号后经过了VDnum之后输出后续图像图案检测信号，由此使得可以在期望定时输出图像图案检测。在这种情况下，在第二图案检测信号中的VD的位移量为“0”的情况下，即在VDs2＝0的情况下，无需使曝光开始定时偏移。

在第二图案检测信号中的VD的位移量为“1”(VDs2＝1)的情况下，在经过了VDnum之后获得图9所示的位置901，因此需要使曝光开始定时偏移。将参考图10A、10B和10C的时序图来说明用于控制曝光开始定时的处理。如上所述，在VDs2＝1时，如图10C的823所示，后续曝光开始定时偏移了与三个VD相对应的时间段，并且在经过了VDnum-4之后获得的图像图案检测信号对应于作为期望图案检测位置的图9所示的位置900。

此外，在第二图案检测信号中的VD的位移量为“2”(VDs2＝2)的情况下，在经过了VDnum之后获得图9所示的位置902。因此，如图10B的822所示，曝光开始定时被控制成偏移了与两个VD相对应的时间段。然后，在经过VDnum-4之后获得的图像图案检测信号位于作为期望图案检测位置的图9所示的位置900。

同样，在第二图案检测信号中的VD的位移量为“3”(VDs2＝3)时，进行用于如图10A的821所示、使定时偏移了与一个VD相对应的时间段的控制处理，使得获得图9所示的位置900。

接着，将说明VDs2-VDs1＝1的情况。在VDs2-VDs1＝1时，控制曝光开始定时，以在输出第二图案检测信号后经过了VDnum+1之后输出后续图像图案检测信号，由此使得可以在期望定时输出图像图案检测信号。因此，在第二图案检测信号中的VD的位移量为“3”(VDs2＝3和图8B所示的820)的情况下，在经过了VDnum+1之后获得图9所示的期望位置900，这使得不必使开始曝光期的定时偏移。

接着，在第二图案检测信号中的VD的位移量为“2”(VDs2＝2和图8B所示的817)的情况下，在经过了VDnum+1之后获得图9所示的位置903，使得需要使曝光开始定时偏移。具体地，如图10A的821所示、曝光开始定时偏移了与一个VD相对应的时间段，并且在(VDnum+1)-4成立时、即在经过了VDnum-3之后，第二图案检测信号位于期望位置900。

在第二图案检测信号中的VD的位移量为“1”(VDs2＝1和图8B所示的814)的情况下，在经过了VDnum+1之后获得图9所示的位置902，使得需要使曝光开始定时偏移。具体地，如图10B的822所示、曝光开始定时偏移了与两个VD相对应的时间段，然后在(VDnum+1)-4成立时、即在经过了VDnum-3之后，第二图案检测信号位于期望位置900。

此外，在第二图案检测信号中的VD的位移量为“0”(VDs2＝0和图8B所示的811)的情况下，在经过了VDnum+1之后获得图9所示的位置901，使得需要使曝光开始定时偏移。具体地，如图10C的823所示、曝光开始定时偏移了与三个VD相对应的时间段，并且在(VDnum+1)-4成立时、即在经过了VDnum-3之后，第二图案检测信号位于期望位置900。

接着，将说明VDs2-VDs1＝2的情况。在VDs2-VDs1＝2成立时，控制曝光开始定时，使得在输出第二图案检测信号后经过了VDnum+2之后输出后续图像图案检测信号，由此使得可以在期望定时输出图像图案检测信号。因此，在第二图案检测信号中的VD的位移量为“2”(VDs2＝2和图8B所示的817)的情况下，在经过了VDnum+2之后获得图9所示的期望位置900，使得无需使曝光开始定时偏移。

接着，在第二图案检测信号中的VD的位移量为“1”(VDs2＝1和图8B所示的814)的情况下，在经过了VDnum+2之后获得的图案检测信号位于图9所示的位置903，使得需要使曝光开始定时偏移。具体地，如图10A的821所示、曝光开始定时偏移了与一个VD相对应的时间段，然后在(VDnum+2)-4成立时、即在经过VDnum-2之后获得的第二图案检测信号位于期望位置900。

此外，在第二图案检测信号中的VD的位移量为“0”(VDs2＝0和图8B所示的811)的情况下，在经过VDnum+2之后获得的图案检测信号位于图9所示的位置902，使得需要使曝光开始定时偏移。具体地，如图10B的822所示、曝光开始定时偏移了与两个VD相对应的时间段，然后在(VDnum+2)-4成立时、即在经过VDnum-2之后获得的第二图案检测信号位于期望位置900。

此外，在第二图案检测信号中的VD的位移量为“3”(VDs2＝3和图8B所示的820)的情况下，在经过VDnum+2之后获得图9所示的位置901，使得需要使曝光开始定时偏移。具体地，如图10C的823所示、曝光开始定时偏移了与三个VD相对应的时间段，然后在(VDnum+2)-4成立时、即在经过了VDnum-2之后，第二图案检测信号位于期望位置900。

接着，将说明VDs2-VDs1＝3的情况。在VDs2-VDs1＝3成立时，控制曝光开始定时，使得在输出第二图案检测信号后经过了VDnum+3之后输出后续图像图案检测信号，由此使得可以在期望定时输出图像图案检测信号。因此，在第二图案检测信号中的VD的位移量为“1”(VDs2＝1和图8B所示的814)的情况下，在经过了VDnum+3之后获得图9所示的期望位置900，使得无需使曝光时间段开始定时偏移。

接着，在第二图案检测信号中的VD的位移量为“0”(VDs2＝0和图8B所示的811)的情况下，在经过了VDnum+3之后获得的图案检测信号位于图9所示的位置903，使得需要使曝光开始定时偏移。具体地，如图10A的821所示、曝光开始定时偏移了与一个VD相对应的时间段，然后在(VDnum+3)-4成立时、即在经过了VDnum-1之后获得的第二图案检测信号表示期望位置900。

此外，在第二图案检测信号中的VD的位移量为“3”(VDs2＝3和图8B所示的820)的情况下，在经过了VDnum+3之后获得的图案检测信号位于图9所示的位置902，因此需要使曝光开始定时偏移。具体地，如图10B的822所示、曝光开始定时偏移了与两个VD相对应的时间段，然后在(VDnum+3)-4成立时、即在经过VDnum-1之后获得的第二图案检测信号位于期望位置900。

此外，在第二图案检测信号中的VD的位移量为“2”(VDs2＝2和图8B所示的817)的情况下，在经过了VDnum+3之后获得的图案检测信号位于图9所示的位置901，使得需要使曝光开始定时偏移。具体地，如图10C的823所示，使曝光开始定时偏移了与三个VD相对应的时间段，然后在(VDnum+3)-4成立时、即在经过了VDnum-1之后获得的第二图案检测信号位于期望位置900。

如上所述，基于图案检测信号之间的VD的数量以及输出图案检测信号时的期望图案检测位置的位移量来估计后续图案检测信号的位置，并且控制曝光开始定时，由此获得期望的图像图案检测信号。此外，可以通过PC 701检测检查台700的转动速度，并且可以进行控制处理以校正图案检测信号的估计位置。

在本典型实施例中，通过对VD间隔的数量进行计数来估计图案检测的位置，而且作为代替可以测量实际时间，并且代替以VD为单位控制曝光开始定时，可以根据所测量的时间进行控制处理。此外，在除摄像操作以外的时间期间，可以根据需要中断摄像设备的操作的全部或一部分，以由此节省电力。

如上所述，同样在用于在多个帧时间段中进行曝光的慢快门控制中，基于图案检测信号之间的时间以及从最佳图案检测位置起的位移量来估计后续图案检测信号的输出定时，并且控制曝光开始定时，由此使得可以在不会对图案检测定时附近的运动图像产生任何不利影响的情况下在期望定时获取到静止图像。

如上所述，可以提供能够通过基于图案检测信号估计用于实际拍摄图像的定时来减少延迟的摄像设备。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (11)

1.一种摄像设备，用于在第一定时重复拍摄对象的图像，所述摄像设备包括：

图像传感器，其被配置为获取所述对象的图像数据；

控制单元，其被配置为控制所述图像传感器的驱动；以及

获取单元，其被配置为获取通过检测所述图像数据中的所述对象的图像图案所生成的第二定时，

其中，所述控制单元基于所述第一定时之间的间隔和所述第二定时之间的间隔来控制所述图像传感器的驱动。

2.根据权利要求1所述的摄像设备，其中，所述控制单元包括估计单元，所述估计单元被配置为基于所述第二定时之间的多个间隔来估计所述第二定时。

3.根据权利要求2所述的摄像设备，其中，所述估计单元基于检测所述图像图案期间所述图像数据中的所述对象的位置和所述第二定时之间的所述多个间隔来估计所述第二定时。

4.根据权利要求1所述的摄像设备，其中，所述控制单元基于在所述第一定时获取到的图像数据来生成运动图像，并且基于在所述第二定时获取到的图像数据来生成静止图像。

5.根据权利要求1所述的摄像设备，还包括合成单元，所述合成单元被配置为对多个图像数据进行合成，

其中，所述控制单元周期性地设置对所述图像传感器的不同类型的曝光，以及

其中，所述合成单元通过对基于所述不同类型的曝光所获取到的多个图像数据进行合成来生成动态范围增大的图像数据。

6.根据权利要求5所述的摄像设备，其中，所述不同类型的曝光包括高曝光和低曝光其中之一，所述高曝光和所述低曝光是基于预定曝光所设置的。

7.根据权利要求5所述的摄像设备，其中，所述控制单元基于所述第一定时之间的间隔和所述第二定时之间的间隔来切换要对所述图像传感器设置的曝光。

8.根据权利要求1所述的摄像设备，其中，

所述第一定时是垂直同步信号，以及

所述控制单元控制所述图像传感器的驱动，以按多个垂直同步信号获取图像数据。

9.根据权利要求8所述的摄像设备，其中，所述控制单元基于所述第一定时之间的间隔和所述第二定时之间的间隔来切换用于开始对所述图像传感器设置的曝光的定时。

10.根据权利要求1至9中任一项所述的摄像设备，其中，所述第二定时之间的间隔包括多个时间间隔。

11.一种摄像设备的控制方法，所述摄像设备包括图像传感器，所述图像传感器被配置为获取对象的图像数据，并且在第一定时重复拍摄图像，所述控制方法包括：

控制所述图像传感器的驱动；以及

获取通过检测所述图像数据中的所述对象的图像图案所生成的第二定时，

其中，基于所述第一定时之间的间隔和所述第二定时的间隔来控制所述图像传感器的驱动。