CN103391398A

CN103391398A - 图像读出控制装置及其图像读出控制方法

Info

Publication number: CN103391398A
Application number: CN2013101652243A
Authority: CN
Inventors: 伊藤干
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-05-08
Filing date: 2013-05-07
Publication date: 2013-11-13
Also published as: US20130301877A1; JP2013236232A; US9613429B2; JP5909147B2

Abstract

本发明提供图像读出控制装置及其图像读出控制方法。所述图像读出控制装置包括：检测单元，其被配置为检测由图像拍摄单元拍摄的图像上的被摄体；以及控制单元，其被配置为根据由所述检测单元检测到的所述被摄体的移动速度，来控制从所述图像拍摄单元提取包括所述被摄体的区域的图像的间隔。

Description

图像读出控制装置及其图像读出控制方法

技术领域

本发明涉及图像读出控制装置及其图像读出控制方法。

背景技术

在监控照相机领域中，已知有使用图像分析技术来检测图像中的被摄体的技术。另外，有如下的技术被称为移动体跟踪技术，该技术通过将标签附加至检测到的被摄体当中的移动体，来连续识别并跟踪该移动体。

日本专利特开2009-147479号描述了如下的技术，即当使用上述技术在拍摄（capture）的图像上检测到移动体时，从全画面图像数据中仅提取包括该移动体的特定区域的图像数据，并将该图像数据发送到外部。

并且，随着高质量成像技术的进步，CMOS图像传感器已被广泛用作安装在数字静态照相机和数字摄像机中的图像感测元件。CMOS图像传感器使自由读出控制成为可能。例如，可以通过指定读出区域，来跳过从不必要的区域的读出，并且可以将读出间隔设置为每几个像素读出一个像素（下文中称为“跳读”），由此，虽然读出像素的数目减少了，但是实现了高速读出。使用这些技术，通过从CMOS图像传感器跳读，从高速拍摄的图像中检测移动体，并且通过指定要被读出以跟踪检测到的移动体的区域来进行读出，实现了高精度图像拍摄。

然而，在同时或以时分方式进行全像素阵列的跳读和从中检测到移动体的部分区域的读出的情况下，随着检测到的移动体的数量增加，每单位时间的读出速度变慢。因此，当拍摄的图像被用于跟踪移动体时，跟踪性能下降。

发明内容

本发明提供一种高效跟踪移动体的技术。

根据本发明，提供了一种图像读出控制装置，该图像读出控制装置包括：检测单元，其被配置为检测由图像拍摄单元拍摄的图像上的被摄体；以及控制单元，其被配置为根据由所述检测单元检测到的所述被摄体的移动速度，来控制从所述图像拍摄单元提取包括所述被摄体的区域的图像的间隔。

根据本发明，提供了一种用于从图像拍摄单元读出图像的图像读出控制方法，该图像读出控制方法包括以下步骤：检测由所述图像拍摄单元拍摄的图像上的被摄体；以及根据所检测到的被摄体的移动速度，来控制从所述图像拍摄单元提取包括所述被摄体的区域的图像的间隔。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据本发明的第一实施例的图像拍摄装置的配置的框图。

图2是示出从根据本发明的第一实施例的图像传感器进行读出的区域的示意图。

图3是示出根据本发明的第一实施例的图像拍摄装置的画面显示的示例的示意图。

图4是示出根据本发明的第二实施例的图像拍摄装置的配置的示意图。

具体实施方式

现在将参照附图详细描述本发明的示例性实施例。应当理解，除非另外明确指出，否则在这些实施例中给出的数值表达式和数值不限制本发明的范围。

图1是示出根据本发明的第一实施例的图像拍摄装置10的配置的框图。图像拍摄装置10包括图像传感器单元101、图像显影处理单元102、图像传感器控制单元103、移动体检测单元104、移动速度测量单元105以及画面显示处理单元106。此外，图像拍摄装置10还连接到显示装置201和202。

图像传感器单元101由通过光电转换将图像感测元件的成像区域上的光图像转换为数字电信号的CMOS图像传感器等构成，并且具有从图像感测元件的全像素阵列进行读出的第一图像感测模式（全像素读出模式），以及从图像感测元件的全像素阵列的一部分进行读出的第二图像感测模式（部分读出模式）。

图像显影处理单元102对图像传感器单元101通过光电转换获得的电信号进行规定的像素插值和颜色转换处理，并且生成诸如RGB、YUV等的数字图像。图像显影处理单元102还使用显影之后的数字图像进行规定的运算处理，并且基于获得的运算处理结果进行诸如白平衡、清晰度、对比度、颜色转换等的图像处理。

图像传感器控制单元103控制图像传感器单元101，以基于从移动体检测单元104和移动速度测量单元105获得的检测信息和测量信息，进行从全像素阵列的跳读、从指定区域的部分读出以及读出的频率控制。然而，不必同时设置要读出的像素阵列的区域和读出的频率。优选地，基于移动体的移动速度，可以配置为仅控制读出的频率。

移动体检测单元104在由图像显影处理单元102进行了显影和图像处理的数字图像上，检测拍摄的被摄体当中的移动体。作为移动体检测方法，可以使用诸如背景差分、帧间差分、运动矢量等的任何方法。另外，还可以通过存储移动体的一部分作为模板，来进行移动体跟踪。

移动速度测量单元105通过计算由移动体检测单元104检测和跟踪的移动体的图像帧之间的移动量，来测量移动体的速度。

画面显示处理单元106针对由图像传感器单元101拍摄并且由图像显影处理单元102进行了显影和图像处理的数字图像，生成窗口框和各种图形显示的重叠画面，并且进行诸如画面配置等的适当处理。

显示装置201和202分别显示由画面显示处理单元106生成的画面。这两个显示装置之一显示通过从图像传感器单元101的全像素阵列跳读而拍摄的图像。另一显示装置显示从被图像传感器控制单元103控制的部分区域拍摄和读出的图像。可以在这两个显示装置中的任何一者上，显示通过从全像素阵列跳读而获得的图像和通过从部分区域读出而获得的图像。然而，在以下说明中，为了方便起见，显示装置201显示通过图像传感器控制单元103的控制而从部分区域读出的拍摄的图像的画面。并且，显示装置202显示通过图像传感器控制单元103的控制而从全像素阵列读出的拍摄的图像的画面。

把移动体检测单元104启动之前的状态或者移动体检测单元104没有在被摄体当中检测到移动体时的状态，设置为正常模式。在正常模式下，图像传感器控制单元103控制图像传感器单元101以从全像素阵列进行读出。在该正常模式下，由于没有检测到移动体，所以如果处理时间允许，则可以从全像素阵列无跳过地进行读出，来获得要由图像显影处理单元102进行显影和图像处理的图像数据。然而，当希望在一定程度上提高处理速度时，从全像素阵列跳读是更可取的。此时，向移动体检测单元104，输出由图像传感器单元101拍摄并且由图像显影处理单元102进行显影和图像处理的数字图像数据。如果在所拍摄的图像中的被摄体当中没有检测到移动体，则越过移动体检测单元104、移动速度测量单元105和画面显示处理单元106，将该图像无任何改变地显示在显示装置202上。

接下来，将说明当图像传感器单元101在拍摄的被摄体当中检测到移动体时的操作。在正常模式下，当图像传感器单元101正在通过从全像素阵列读出来拍摄图像时，假定在从图像显影处理单元102输入到移动体检测单元104的图像中的被摄体当中检测到移动体。当在被摄体当中检测到移动体时，移动体检测单元104将作为标识符的ID附加至该移动体并跟踪该移动体，并且把包括带有该ID的位置信息的检测信息的通知，与从全像素阵列读出并拍摄的图像数据一起输出到移动速度测量单元105。

在图像传感器单元101正在从全像素阵列无跳过地进行读出的情况下，移动体检测单元104将检测到的移动体的检测信息通知给图像传感器控制单元103，并且图像传感器控制单元103控制图像传感器单元101从全像素阵列跳读。移动速度测量单元105基于输入的图像数据连同移动体的位置信息及包括ID的检测信息，针对各移动体ID来测量图像帧之间的被摄体的移动量，作为速度信息。并且，移动速度测量单元105把测量的速度信息与从移动体检测单元104输入的检测信息和图像数据一起，输出到图像传感器控制单元103和画面显示处理单元106。

图像传感器控制单元103在接收到各移动体ID的检测信息和速度信息时，基于该信息，将各移动体ID作为对象，设置由图像传感器单元101进行的第二图像拍摄模式（部分读出模式）下的读出的读出像素区域和读出频率。

图2是示出要由图像传感器单元101读出的部分区域的示例。例如，假定由图像传感器单元101在从全像素阵列读出并拍摄的被摄体当中，将汽车、动物和人检测为移动体。在此情况下，针对被认为具有最高移动速度的作为汽车的移动体301，将读出区域设置为最宽并且将读出频率设置为最高。针对作为动物的移动体311和作为人的移动体321，依次将读出区域设置为更窄小，并且将读出频率设置为更低。

在此，把从图像传感器单元101输出到图像显影处理单元102的、无跳过地读出全像素阵列的图像数据的传送容量，减去跳读全像素阵列的读出图像容量，并且把由此计算出的传送容量，分配作为用于针对各移动体的部分读出的图像数据的传送容量。在传送容量的上限范围内，与各移动体的移动速度成正比地，针对各移动体设置从图像传感器单元101的读出像素区域和读出频率。

例如，假定检测到四个最快的移动体，则按照移动速度的顺序，将针对具有最高速度的被摄体的读出频率设置为60fps，然后将针对具有第二最高速度的被摄体的读出频率设置为30fps，并且将针对另外两个被摄体的读出频率设置为15fps和5fps。并且，对于读出区域，假定全像素阵列的像素数目超过4K，则可以对具有最高移动速度的被摄体分配全HD，然后依次是720p、QHD、QQHD。可以与移动体的数量及移动体的速度成正比地，向检测到的各被摄体分配从全像素阵列的图像数据的传送容量（例如，4K大小和60fps）。

此时，如果存在特别重要的移动体，则可以优先针对该被摄体设置读出区域和读出频率（读出方法）。然后，图像传感器控制单元103根据如上设置的读出方法来控制图像传感器单元101。

图像传感器单元101根据要分别设置的读出方法，把从全像素阵列跳读的图像数据以及针对各移动体从部分区域读出的图像数据，输出到图像显影处理单元102。如果处理器的处理能力允许，则将图像数据输出到图像显影处理单元102的方法可以是同时并行处理或者时分处理。输入到图像显影处理单元102的各图像数据在以类似的方式进行显影处理和图像处理之后，被作为画面图像输出到画面显示处理单元106。画面显示处理单元106把输入的图像当中的、针对各移动体从部分区域读出的图像，显示在显示装置201上的针对各移动体的单独窗口中，并且将从全像素阵列跳读的图像显示在显示装置202上，同时使各移动体的检测框重叠。

图3是显示在显示装置201和202上的画面图像的示例。在显示装置201上，把针对各移动体的部分区域，显示在针对各移动体的单独窗口中。具体而言，分别显示作为人的移动体321的窗口322、作为动物的移动体311的窗口312，以及作为汽车的移动体301的窗口302。并且，在显示装置202上，显示从全像素阵列跳读的图像，并且使指定各移动体的检测区域的框重叠。在此情况下，可以根据移动体的速度，即按照汽车、动物和人的顺序，来改变窗口显示以及检测框的线宽。例如，移动体速度越快，则将线宽设置得越宽。

可以利用作为图像感测元件的CMOS图像传感器的特征，来进行图像传感器单元101的操作，即从全像素阵列读出、从全像素阵列跳读以及部分读出。CMOS图像传感器具有附加至各像素的电路，并且，不需要读出像素阵列的不必要的部分。另外，各像素等同地具有单独的电容器，并且，可以进行不影响亮度和其他特征的非破坏性读出；因此，无论读出方法如何，都可以使读出的特征等同。

如上所述，根据本实施例，进行从图像感测元件的从全像素阵列的读出，并且当在拍摄的被摄体当中检测到多个移动体时，依照移动体的速度，改变移动体的检测区域的读出频率以及与该移动体的检测区域相对应的从图像感测元件的部分读出区域，以进行图像拍摄操作。因此，通过读出并拍摄图像感测元件的部分区域，可以有效地跟踪移动体。

图4是示出根据第二实施例的图像拍摄装置40的配置的示意图。图像拍摄装置40包括全像素阵列读出图像传感器单元401、部分区域读出图像传感器单元402、全像素阵列图像显影处理单元403、部分像素阵列图像显影处理单元404、图像传感器控制单元103、移动体检测单元104、移动速度测量单元105和画面显示处理单元106。图像拍摄装置40连接到显示装置201和202。

全像素阵列读出图像传感器单元401是用于拍摄全像素阵列的图像的图像传感器单元，并且专用于从全像素阵列进行读出。部分区域读出图像传感器单元402专用于在由全像素阵列读出图像传感器单元401拍摄的全像素阵列的图像当中检测到移动体时，根据由图像传感器控制单元103设置的读出区域和频率，来拍摄各移动体的图像。

全像素阵列图像显影处理单元403对由全像素阵列读出图像传感器单元401拍摄的图像数据，进行显影处理和图像处理。部分像素阵列图像显影处理单元404对由部分区域读出图像传感器单元402拍摄的图像数据，进行显影处理和图像处理。图像传感器控制单元103至画面显示处理单元106、显示装置201及202的配置与第一实施例的相同，因此不再重复说明。

如上所述，第一实施例中说明的图像传感器单元101可以被分割并被配置为包括全像素阵列读出图像传感器单元401和部分区域读出图像传感器单元402。图像显影处理单元102可以被分割并被配置为包括全像素阵列图像显影处理单元403和部分像素阵列图像显影处理单元404。

（其他实施例）

本发明的实施例还可以通过读出并执行记录在存储介质（例如，非临时性计算机可读存储介质）上的计算机可执行指令来执行本发明的上述实施例中的一个或更多个的功能的系统或装置的计算机来实现，并可以利用由通过例如从存储介质读出并执行计算机可执行指令来执行上述实施例中的一个或更多个的功能的系统或装置的计算机执行的方法来实现。所述计算机可以包括中央处理单元（CPU）、微处理单元（MPU）或者其他电路中的一个或更多个，并且可以包括分开的计算机或分开的计算机处理器的网路。所述计算机可执行指令可以例如通过网络或所述存储介质提供给所述计算机。所述存储介质可以包括例如硬盘、随机存取存储器（RAM）、只读存储器（ROM）、分布式计算系统的存储器、光盘（诸如压缩盘（CD）、数字多用途盘（DVD）或者蓝光盘（BD）^TM）、闪存设备、存储卡等中的一个或更多个。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变型例以及等同结构和功能。

Claims

1.一种图像读出控制装置，该图像读出控制装置包括：

检测单元，其被配置为检测由图像拍摄单元拍摄的图像上的被摄体；以及

控制单元，其被配置为根据由所述检测单元检测到的所述被摄体的移动速度，来控制从所述图像拍摄单元提取包括所述被摄体的区域的图像的间隔。

2.根据权利要求1所述的图像读出控制装置，

其中，所述控制单元控制要从所述图像拍摄单元提取的图像的区域，以便从与所述检测单元检测到的所述被摄体的移动速度相对应的区域中提取图像。

3.根据权利要求1所述的图像读出控制装置，

其中，当所述检测单元检测到多个被摄体时，所述控制单元控制从所述图像拍摄单元提取与所述检测单元检测到的所述多个被摄体相对应的各区域的图像的间隔。

4.根据权利要求1所述的图像读出控制装置，

其中，当所述检测单元检测到多个被摄体时，所述控制单元依照所述多个被摄体各自的移动速度，来控制要从所述图像拍摄单元提取的图像的区域，以便从与所述检测单元检测到的所述多个被摄体相对应的多个区域中提取图像。

5.根据权利要求1所述的图像读出控制装置，

其中，与在所述检测单元没有检测到被摄体时的状态下要从所述图像拍摄单元读出的图像的区域相比，所述控制单元缩小在所述检测单元检测到被摄体时的状态下要从所述图像拍摄单元读出的图像的区域。

6.一种用于从图像拍摄单元读出图像的图像读出控制方法，该图像读出控制方法包括以下步骤：

检测由所述图像拍摄单元拍摄的图像上的被摄体；以及

根据所检测到的被摄体的移动速度，来控制从所述图像拍摄单元提取包括所述被摄体的区域的图像的间隔。

7.根据权利要求6所述的图像读出控制方法，

其中，控制要从所述图像拍摄单元提取的图像的区域，以便从与所检测到的被摄体的移动速度相对应的区域中提取图像。

8.根据权利要求6所述的图像读出控制方法，

其中，当检测到多个被摄体时，控制从所述图像拍摄单元提取与所检测到的多个被摄体相对应的各区域的图像的间隔。

9.根据权利要求6所述的图像读出控制方法，

其中，当检测到多个被摄体时，依照所述多个被摄体各自的移动速度，来控制要从所述图像拍摄单元提取的图像的区域，以便从与所检测到的多个被摄体相对应的多个区域中提取图像。

10.根据权利要求6所述的图像读出控制方法，

其中，与在没有检测到被摄体时的状态下要从所述图像拍摄单元读出的图像的区域相比，缩小在检测到被摄体时的状态下要从所述图像拍摄单元读出的图像的区域。