CN101207714B - 图像拾取设备和成像方法 - Google Patents

Abstract

本发明的实施例提供了一种安装了具有可变成像视角的变焦镜头的图像拾取设备，包括：动态主体检测部分，用于从通过捕获图像所获得的图像信号中检测动态主体；运动向量检测部分，用于检测用于表示由所述动态主体检测部分所检测的动态主体每单位时间的运动量的运动向量；比较部分，用于把由所述运动向量检测部分所检测的运动向量与参考值相比较；和控制部分，用于根据在所述比较部分中所获得的比较结果来调节所述变焦镜头视角的设定值。

Description

图像拾取设备和成像方法

相关申请的交叉引用

本发明包含了与2006年12月20日在日本专利局提交的日本专利申请No.2006-343004相关的主题，在此将其内容全部引用，以供参考。

技术领域

本发明涉及一种例如适合被应用于监视设备的摄像机的图像拾取设备，以及应用于该图像拾取设备的成像方法，并且更具体地涉及一种用于捕获图像以便跟随所捕获图像中的动态主体(dynamic body)的技术。

背景技术

迄今为止，一些摄像机(监视照相机)被用作监视设备来执行下述处理，其中对所捕获图像内的部分进行图像识别并且根据图像识别的结果来检测诸如车辆之类的移动物体或检测诸如入侵者之类的人。作为检测这种移动物体所获得的数据例如被输出为伴随视频数据的数据。在用于通过显示从监视设备所输出的图像数据来执行监视的监视器侧，例如通过使用关于移动物体的检测数据来执行用于表示存在入侵者的报警显示。或者当存在移动物体时，在该时刻的图像数据被记录在记录设备中。

另一方面，其它设备包括作为被安装到相应监视照相机的拍摄镜头的变焦镜头。把变焦镜头安装到监视照相机可以调节用于捕获对象的图像的视角。例如，观察者当借助他/她的操作来监视在监视器上所显示的具体地点的图像时，可以执行用于放大所监视图像的特定部分的处理。结果，可以实施更有效的监视。另外，其它设备通过均被称为摇摄俯仰装置(pan-tilter)的可移动机构被作为监视照相机安装。利用该摇摄俯仰装置使得可以执行监视照相机的水平旋转驱动和竖直方向驱动，由此可以调节监视方向。通常，通过使用摇摄俯仰装置来驱动监视照相机例如还由观察者所进行的操作来实施，所述观察者监视在监视器上所显示的图像。

日本专利公开No.2006-245650描述了一种作为相关技术的监视摄像机的结构例子。

发明内容

现在，在使用监视摄像机进行监视期间，如果观察者不执行操作，而是监视设备自动跟随变为监视目标的入侵者等，那么由于减少了观察者所承受的负担，所以这是优选的。然而，例如当所监视图像中的移动部分被简单放大时，如果所检测的移动物体迅速、反向地移动，那么成为所述监视目标的物体可能会超出所捕获图像的视角。结果，可能会出现无法监视所捕获图像的情况。

同样，仅根据所捕获图像的状态使用摇摄俯仰装置也很难简单地调节成像的方向。就过去借助摇摄俯仰装置执行的自动调节而言，照相机的成像方向通常是在给定时段内移动的。在此情况下，这种运动与所监视图像的状态无关。从而，不会执行过高的控制。

鉴于上述情况提出了本发明，并且因此希望提供一种图像拾取设备和成像方法，其均能够令人满意地根据所捕获图像来执行自动监视。

根据本发明实施例，提供了一种安装了具有可变成像视角的变焦镜头的图像拾取设备，包括：动态主体检测部分，用于从通过捕获图像而获得的图像信号中检测动态主体；运动向量检测部分，用于检测表示由所述动态主体检测部分所检测的动态主体每单位时间的运动量的运动向量；比较部分，用于将由所述运动向量检测部分所检测的运动向量与参考值相比较；和控制部分，用于根据在所述比较部分中所获得的比较结果来调节所述变焦镜头的视角的设定值。

根据具有本发明上述构造的实施例，判断根据所述运动向量所估计的动态主体的位置是否为适当的。从而，根据所估计的动态主体的位置来适当地调节变焦镜头的视角。

另外，根据本发明另一实施例，提供了一种用于通过使用具有可变成像视角的变焦镜头来捕获图像的成像方法，包括步骤：从通过捕获图像而获得的图像信号中检测动态主体；检测用于表示在动态主体检测步骤中所检测的动态主体每单位时间的运动量的运动向量；并且把在所述动态主体检测步骤中所检测的运动向量与参考值相比较，并且根据比较结果来调节所述变焦镜头的视角的设定值。

根据本发明的上述实施例，可以根据所估计的动态主体部分来适当地调节变焦镜头的视角。结果，可以以适当大小来自动地捕获动态主体的图像。

附图说明

图1是示出根据本发明实施例的监视照相机的结构的框图；

图2是示出在根据本发明实施例的监视方法中的监视操作的流程图；

图3是用于示出在根据本发明实施例的成像方法中在动态主体的运动向量较大的情况下的例子的解释性视图；

图4是用于示出在根据本发明实施例的成像方法中在动态主体的运动向量适当的情况下的例子的解释性视图；

图5是用于示出在根据本发明实施例的成像方法中在动态主体的运动向量较小的情况下的例子的解释性视图；

图6是示出在根据本发明另一实施例的监视方法中监视操作的流程图；

图7是用于示出在根据本发明另一实施例的成像方法中在动态主体的运动向量较大的情况下的例子的解释性视图；

图8是用于示出在根据本发明另一实施例的成像方法中所估计的动态主体位置的例子的解释性视图；

图9是用于示出在根据本发明另一实施例的成像方法中在动态主体的运动向量适当的情况下的例子的解释性视图；

图10是用于示出在根据本发明另一实施例的成像方法中在动态主体的运动向量较小的情况下的例子的解释性视图；以及

图11A到11D分别是用于示出优化运动向量的例子的解释性视

图。

具体实施方式

以下，将参考图1到图11A到11D来详细描述本发明的实施例。

图1是示出根据本发明实施例的图像拾取摄像机(image pickup

camera)的结构的框图。在此实施例中，采用用于监视的监视摄像机(监视照相机)的形式来构造图像拾取摄像机。在这种情况下，例如构造监视摄像机以便在给定帧周期的情况下连续地捕获移动图像。监视照相机10位于摇摄-俯仰装置20上。从而，通过使用摇摄-俯仰装置20来在水平方向上(在摇摄方向上)旋转监视照相机10。监视照相机10还可以在竖直方向上(在俯仰方向上)旋转。根据从监视照相机10侧所发布的指令等来实施摇摄-俯仰装置20的旋转驱动。

首先，现在将描述监视照相机10的结构。具有可调整视场角的变焦镜头11被安装到监视照相机10。使经由变焦镜头11所获得的物体的图像光入射到成像器12。例如，CCD型图像拾取元件、MOS型图像拾取元件等被应用于成像器12。变焦镜头11的视角通过被稍后将要描述的变焦驱动部分17驱动而被自动调节。例如具有比较大的放大倍数的透镜被用作为变焦镜头11。成像器12根据在那里所接收的图像光来输出成像信号。所输出的成像信号被进行成像信号处理以便生成在图像拾取部分13中所规定的图像数据(视频数据)。

从图像拾取部分13所输出的图像数据被提供到数据处理部分14。数据处理部分14执行数据处理以便把图像数据处理为具有预定格式的图像数据以供传输。另外，数据处理部分14执行关于图像处理的数据处理如图像分析处理以便根据由图像数据所表示的图像来判定图像内容。在此实施例中，数据处理部分14执行用于判定动态主体图像是否包含在由图像数据所表示的图像中的判定处理。在判定动态主体的阶段中，数据处理部分14检测动态主体的大小(采用像素值的大小)以及用于估计所述动态主体的运动状态的运动向量值。输出部分15向外界输出在数据处理部分14中所处理的图像数据。

根据控制部分16所进行的控制来执行用于在图像拾取部分13中成像的图像处理以及在数据处理部分14中的数据处理。控制部分16例如由被称作中央处理单元(CPU)的算术运算处理单元、伴随所述算术运算处理单元的存储器等组成。还根据由控制部分16所进行的控制来实施稍后将描述的、基于动态主体检测对成像状态的控制。

控制部分16控制变焦驱动部分17，由此控制成像视角。例如根据动态主体向量的检测来实施对成像视角的控制。稍后在解释图2的流程图中将描述控制状态的细节。另外，控制部分16可以接收从监视器侧所发布的指令以便显示对应于从监视照相机10所发送的图像信号的图像，并且可以通过根据这样接收的指令控制变焦驱动部分17来调节成像视角。

另外，控制部分16根据在数据处理部分14中分析图像的结果使元数据产生部分18产生元数据作为关于图像内容的数据。例如，控制部分16使元数据产生部分18产生关于动态主体在图像中的位置的数据。输出部分15向图像数据添加这样产生的元数据作为将伴随所述图像数据的数据，并且向监视器侧(未示出)提供所述图像数据和元数据以便执行监视。

关于摇摄-俯仰装置20侧的结构，所述摇摄-俯仰装置20包括可以向监视照相机10侧上的控制部分16发送数据的控制部分21。监视照相机10侧上的控制部分16根据检测动态主体的状态来向控制部分21发送用于控制对摇摄-俯仰装置20的驱动的指令。稍后将描述传输控制指令的状态。

当接收用于调节水平角的指令时，控制部分21向摇摄驱动部分22发布对应于调节所述水平角的指令的指令。结果，摇摄驱动部分22驱动马达23在水平方向上旋转监视照相机10。另外，当接收用于调节仰角的指令时，控制部分21向俯仰驱动部分24发布对应于此的指令。结果，俯仰驱动部分24驱动马达25在竖直方向上旋转监视照相机10。注意，在图1中只示出了其中从监视照相机10向摇摄-俯仰装置20侧发布指令的结构。然而，摇摄-俯仰装置20也可以接收从监视器侧发布的指令以便显示对应于来自监视照相机10的图像信号的图像，由此根据这样接收的指令来进行水平方向的调节以及仰角的调节。

接下来，现在将参考图2的流程图来描述用于在此实施例的监视照相机10中所执行的监视操作的处理。首先，在执行用于监视的成像期间，控制部分16通过使用向数据处理部分14所提供的图像数据来使数据处理部分14检测动态主体(步骤S11)。控制部分16根据此动态主体检测处理来判断在所捕获图像中是否检测到动态主体(步骤S12)。当在步骤S12中判断其中并未检测到动态主体时，控制部分16使数据处理部分14重复地执行动态主体检测处理。

另一方面，当在步骤S12中判断其中检测到动态主体时，控制部分16判断检测到的动态主体的大小以及所述动态主体的速度向量(运动向量)(步骤S13)。动态主体的大小由所捕获图像中纵向像素的数目以及横向像素的数目来表示。对于动态主体的大小来说，例如当数据处理部分14检测到动态主体时产生具有相应大小的数据。通过使每单位时间动态主体的运动量以及所述动态主体的运动方向向量化来获得速度向量。例如，数据处理部分14产生所述速度向量。例如1秒钟被设置为由速度向量所表示的单位时间。这样判断的速度向量还表示动态主体在图像中的运动量。速度向量例如根据在过去的单位时间(例如过去的1秒钟)动态主体的运动量和所述动态主体的运动方向来估计表示所述动态主体在经过下一单位时间后(例如在经过1秒钟之后)的位置。应当注意当例如获得用于估计动态主体在经过1秒钟之后的位置的速度向量时，动态主体在过去0.1秒钟的运动量可以被观察并且可以被乘以10，由此估计用于估计动态主体在经过1秒钟之后的位置的速度向量。

把这样获得的速度向量与参考向量比较大小(步骤S14)。在控制部分16内的存储器中预先设置关于参考向量的数据。当作为把速度向量与参考向量比较大小的结果，控制部分16判断所述速度向量的大小大于所述参考向量时(步骤S15)，所述控制部分16向变焦驱动部分17发布用于使所述速度向量和参考向量的大小彼此近似相等的指令。结果，实施用来执行缩小(zoom-out)的调节使得用于表示对变焦镜头11所设置视角的角度值变大(即，使得对应于较宽的视野)(步骤S16)。

另一方面，当作为在步骤S15的比较结果，控制部分16判断所述速度向量的大小小于所述参考向量时，所述控制部分16向变焦驱动部分17发布用于使所述速度向量和参考向量的大小彼此近似相等的指令。结果，实施用来执行放大(zoom-in)的调节使得用于表示对变焦镜头11所设置视角的角度值变小(即，使得对应于远距照相一侧)(步骤S17)。

另外，当在步骤S15的比较结果示出速度向量的大小被认为近似等于参考向量的大小时，对变焦镜头11所设置的视角保持原状。

在该时间之后，判断所估计的动态主体在经过由速度向量所表示单位时间之后的位置是否位于所捕获的图像内(步骤S18)。只要判断所估计的动态主体在经过由速度向量所表示的单位时间之后的位置位于所捕获的图像内，就在此状态中连续地捕获图像。另一方面，当在步骤S18中判断所估计的动态主体在经过单位时间之后的位置处于所捕获图像的范围之外时，控制部分16向摇摄-俯仰装置20发布指令。从而，摇摄-俯仰装置20在由速度向量所表示的方向上移动监视照相机10(步骤S19)。另外，所述操作返回到在步骤S11的动态主体检测处理。

图3到5分别是用于示出在根据如上所述方式从所捕获图像中检测到动态主体(汽车)的情况下处理例子的视图。在这些处理例子的每一个中，假定Vx像素存在于水平方向上，并且Vy像素存在于垂直方向上。另外，在图3到5中每一个的右下方示出了参考速度向量的大小。

在这种情况下，如图3所示，假定以特定的拍摄视角检测到由在横向上的Ox像素和在纵向上的Oy像素所表示的动态主体。此时，判断动态主体中心的坐标Gx、Gy。还根据动态主体重心的坐标Gx、Gy来获得用于表示所估计的动态主体在经过单位时间之后的位置的速度向量。在图3中，速度向量由水平运动量Sx和垂直运动量Sy表示。

在图3所示出的处理例子中，速度向量的大小大于在图右下方所示出的参考速度向量。从而，调节所述视角使得用于表示对变焦镜头11所设置视角的角度值对应于较宽视野。还对变焦镜头11调节视角使得参考速度向量和速度向量变得彼此近似相等。在按这种方式调节视角之后，驱动控制摇摄-俯仰装置20以使得监视照相机10跟随在那时所检测的动态主体。

图4示出了其中所检测的速度向量Sxr、Syr近似等于参考速度向量的处理例子。在这种情况下，并不对变焦镜头11调节视角，从而以不变的视角捕获图像。还驱动控制摇摄-俯仰装置20以使得监视照相机10跟随在那时所检测的动态主体。

图5示出了其中所检测速度向量Sx、Sy的大小小于参考速度向量的处理例子。在图5所示出的处理例子中，由于速度向量的大小小于在图右下方所示出的参考速度向量，所以调节视角使得用于表示对变焦镜头11所设置视角的角度值对应于远距照相一侧。还对变焦镜头11调节视角使得参考速度向量和速度向量变得彼此近似相等。在按这种方式调节视角之后，驱动控制摇摄-俯仰装置20以使得监视照相机10跟随在那时所检测的动态主体。

按如上所述方式对变焦镜头11适当地调节视角，使得监视照相机10跟随动态主体。从而由于通常可以以适当大小捕获所检测动态主体的图像，所以可以捕获所述动态主体的图像以使得监视照相机10跟随所述动态主体。这里，由于采用用于成像的像素数目的形式来判断动态主体的大小，所以通常近似地以给定大小捕获所述动态主体的图像。结果，以给定分辨率来捕获动态主体的图像，从而实施良好的监视。另外，以适当大小捕获动态主体的图像使得可以令人满意地实施跟随所述动态主体的成像，并且可以执行良好的监视。

注意，在图2的流程图所示出的处理中，通过只注意在动态主体的运动向量(速度向量)的大小和参考向量的大小之间的比较来执行处理。然而例如也可以根据所执行的处理来实施控制，使得在所捕获图像中设置变为参考(指定帧)的范围，并且判断所估计的由速度向量所表示的位置是否处于所述范围之外。

图6是用于示出在这种情况下的处理例子的流程图。首先，控制部分16在所捕获图像中设置指定帧。例如图7所示，此指定帧被设置为这样的范围，其中覆盖整个捕获图像的范围被缩小到一定程度。

于是当执行用于监视的成像时，控制部分16通过使用向数据处理部分14所提供的图像数据来使数据处理部分14检测动态主体(步骤S21)。控制部分16根据此处理来判断在所捕获图像中是否检测到动态主体(步骤S22)。当在步骤S22中判断在所捕获图像内没有检测到动态主体时，控制部分16使数据处理部分14重复地执行步骤S21中的动态主体检测处理。

另一方面，当在步骤S22中判断在所捕获图像内检测到动态主体时，控制部分16判断这样检测的动态主体的大小以及这样检测的动态主体的速度向量(运动向量)(步骤S23)。关于动态主体大小的定义以及关于速度向量的定义与在图2的流程图中所解释的处理中的定义相同。控制部分16还判断所检测的动态主体是否位于指定帧内(步骤S24)。当判断所检测的动态主体位于指定帧之外时，控制部分16向摇摄-俯仰装置20发布指令，由此执行设置以便所述动态主体的位置位于所述指定帧之内(步骤S30)。在该时刻之后，操作返回到步骤S21中的处理。

另一方面，当在步骤S24判断动态主体位于指定帧内时，控制部分16把所估计的动态主体在经过由速度向量所表示的单位时间之后的位置与指定帧相比较(步骤S25)。在那之后，控制部分16执行关于比较结果的判断(步骤S26)。当在步骤S26中判断所估计的动态主体在经过单位时间之后的位置处于指定帧之外时，控制部分16向变焦驱动部分17发布指令。从而，变焦驱动部分17执行缩小的调节使得用于表示对变焦镜头11所设置视角的角度值变大(即，使得对应于较宽视野)(步骤S27)。

当在步骤S26判断速度向量的大小远小于指定帧时，控制部分16向变焦驱动部分17发布指令。从而，变焦驱动部分17执行放大的调节使得用于表示对变焦镜头11所设置视角的角度值变小(即，使得对应于远距照相一侧)(步骤S28)。

另一方面，当在步骤S26中控制部分16判断由速度向量所表示的、估计的动态主体位置位于指定帧内时，对变焦镜头11所设置的视角保持不变。

在该时间之后，控制部分16判断所估计的动态主体在经过由速度向量所表示的单位时间之后的位置是否位于指定帧内(步骤S29)。只要在步骤S29的判断结果示出所估计的动态主体在经过由速度向量所表示的单位时间之后的位置位于指定帧内，就按不改变的状态来连续地捕获图像。另一方面，当在步骤S29中判断所估计的动态主体在经过单位时间之后的位置处于所捕获的图像之外时，控制部分16向摇摄-俯仰装置20发布指令。从而，摇摄-俯仰装置20在由速度向量所表示的方向上移动监视照相机10(步骤S30)。然后所述操作返回到步骤S21的动态主体检测处理。

图7到10分别是在根据如上所述方式从所捕获图像中检测到动态主体(汽车)的情况下的视图。在图7到10所示出的每个例子中，分别假定对于所捕获图像来说Vx像素存在于水平方向上并且Vy像素存在于垂直方向上。

在这种情况下，如图7所示，也假定以特定的拍摄视角检测到由横向的Ox像素和纵向的Oy像素所表示的动态主体。此时，判断动态主体中心的坐标Gx、Gy，从而根据所述动态主体重心(中心)的坐标Gx、Gy来获得用于表示所估计的动态主体在经过单位时间之后的位置的速度向量Sx、Sy。图7示出了其中所估计的动态主体在经过由该速度向量所表示的单位时间之后的位置(重心的位置)处于指定帧之外的例子。在这种例子的情况下，调节所述视角使得用于表示对变焦镜头11所设置视角的角度值变得对应于较宽视野。还对变焦镜头11调节视角使得动态主体的大小变为适当的大小。在根据这种方式调节视角之后，驱动控制摇摄-俯仰装置20以使得监视照相机10跟随在那时所检测的动态主体。当在图7所示出的状态中并不对变焦镜头11调节视角时，如图8所示，由于动态主体处于指定帧之外，所以这不是优选的。然而调节视角使得可以有效地防止在如图8所示的状态中捕获图像。

图9示出了在所估计的由所检测速度向量Sx′、Sy′所表示的位置位于指定帧内的情况下的例子。在这种情况下，在不调节变焦镜头11的视角的情况下以不变的视角来捕获图像。还驱动控制摇摄-俯仰装置20以使得监视照相机10跟随在那时所检测的动态主体。

图10示出了在所检测的速度向量Sx、Sy过度小于指定帧大小的情况下的例子。在图10示出的例子中，速度向量在大小上远小于指定帧。从而，调节所述视角使得用于表示对变焦镜头11所设置视角的角度值变得对应于远距照相一侧。还对变焦镜头11调节视角使得所检测的动态主体具有适当的大小。在按这种方式调节视角之后，驱动控制摇摄-俯仰装置20以使得监视照相机10跟随在那时所检测的动态主体。

在所捕获的图像内设置指定帧，并且按如上所述方式把所检测动态主体的大小与这样设置的指定帧相比较，由此可以更有效地监视所述动态主体。

注意，在图3到5所分别示出的每个例子中，以及在图7到10所分别示出的每个例子中，已经描述了近似在水平方向上移动的速度向量。然而当通过判断水平运动量以及垂直运动量而获得综合速度向量时，如图11A所示根据圆形模式执行优化的情况以及如图11B所示根据矩形模式执行优化的情况都是可以的。也就是说，在图11A中所示出的圆形模式的情况下，当水平运动量等于垂直运动量时，优化的速度向量值变得等于水平运动量和垂直运动量中的每一个。另一方面，在图11B中所示出的矩形模式的情况下，当水平运动量和垂直运动量彼此相等时，确定优化的向量以便在分别由在两个方向上延伸的向量所表示的矩形内倾斜地延伸。因此当水平运动量和垂直运动量彼此不相等时，如图11C和11D中所示来设置优化的向量值。

本领域内技术人员应当理解，在附加权利要求及其等同物的范围内，根据设计要求及其它因素可以进行各种修改、组合、子组合和变化。

Claims (4)

1.一种安装了具有可变成像视角的变焦镜头的图像拾取设备，包括：

动态主体检测部分，用于从通过捕获图像而获得的图像信号中检测动态主体；

运动向量检测部分，用于检测表示由所述动态主体检测部分检测到的所述动态主体每单位时间的运动量的运动向量；

比较部分，用于将由所述运动向量检测部分检测到的运动向量与参考值相比较；和

控制部分，用于根据在所述比较部分中所获得的比较结果来调节所述变焦镜头的视角的设定值，

其中由所述控制部分执行所述视角的设定值的调节，使得根据检测到的运动向量来判断在经过单位时间之后所述动态主体的位置是否位于在所述图像中所设置的特定范围内，并且当估计在经过所述单位时间之后所述动态主体的位置在所述特定范围之外时增加所述视角。

2.根据权利要求1所述的图像拾取设备，进一步包括用于移动方向的移动部分，其中由所述变焦镜头沿所述方向来捕获所述图像，

其中所述移动部分根据由所述动态主体检测部分检测到的动态主体的位置和/或由所述运动向量检测部分检测到的运动向量来移动所述方向，其中沿着该方向捕获所述图像。

3.根据权利要求1所述的图像拾取设备，其中由所述控制部分执行视角的设定值的调节，使得当检测到的运动向量大于参考值时增加所述视角，当检测到的运动向量小于所述参考值时减少所述视角，并且当检测到的运动向量近似等于所述参考值时不改变视角。

4.一种用于通过使用具有可变成像视角的变焦镜头来捕获图像的成像方法，包括步骤：

从通过捕获图像所获得的图像信号中检测动态主体；

检测用于表示在动态主体检测步骤中检测到的动态主体每单位时间的运动量的运动向量；并且

将在所述动态主体检测步骤中检测到的运动向量与参考值相比较，并且根据比较结果来调节所述变焦镜头的视角的设定值，

其中执行所述视角的设定值的调节，使得根据检测到的运动向量来判断在经过单位时间之后所述动态主体的位置是否位于在所述图像中所设置的特定范围内，并且当估计在经过所述单位时间之后所述动态主体的位置在所述特定范围之外时增加所述视角。

Images