具体实施方式
以下,用附图来详细说明本发明的实施方式。
首先,在说明具体实施方式前,说明几个术语及基本事项。
(摄像机的摄影区域)
首先,说明摄像机的摄影区域。这里要说明的摄像机(カメラ),不是拍摄静止照片等所用的、拍摄某一瞬间的静止图像的照相机,而是表示例如1秒钟连续拍摄30张等、拍摄时间上连续的运动图像的摄像机。
图10是摄像机的摄影区域的说明图。在图10(a)及(b)中,5001是摄像机,5002是作为摄像机5001在时刻T=0,2,4,...,2N要拍摄的区域的第1摄影区域,5003是作为摄像机5001在时刻T=1,3,5,..,2N+1要拍摄的区域的第2摄影区域(N为自然数)。图10(c)是图10(a)及(b)所示的摄像机5001在各时刻T的摄影区域位置的图。
一般,在单单表现为“摄像机的摄影区域”的情况下,通常可理解为在某个时刻瞬间摄像机正在拍摄的区域。如果摄像机在各瞬间未变更该摄像机的姿态,则该理解方法没有什么问题。但是如果摄像机在各瞬间变更了该摄像机的姿态,则“摄像机的摄影区域”如下所示,需要分别区别地来理解。
·时刻T摄影区域
这表示在时刻T的瞬间摄像机拍摄到的区域。在本说明书中,将该摄影区域记为时刻T摄影区域。在图10(a)及(b)中,第1摄影区域5002是时刻0摄影区域,第2摄影区域5003是时刻1摄影区域。
·期间TA~TB摄影区域或期间T摄影区域、及周期TCYCLE摄影区域
这些是通过在一定时间内在一定区域内改变摄影区域的位置而得到的“虚拟摄影区域”的一例,表示在时刻TA至时刻TB的期间内拍摄到的区域。在本说明书中,将该区域记为期间TA~TB摄影区域。此外,将在时刻TA至时刻TB的期间T内摄像机拍摄到的区域记为期间T摄影区域。再者,特别是在该摄影区域内的各区域的摄影有周期性的情况下,即,在摄像机按一定周期来重复拍摄虚拟摄影区域的情况下,将该摄影区域称为在具有该周期性的时间TCYCLE内拍摄到的区域,记为周期TCYCLE摄影区域。在图10(a)及(b)中,第1摄影区域5002及第2摄影区域5003和起来的区域是期间0~1摄影区域或期间2摄影区域。此外,如图10(c)所示,该摄影区域内的第1摄影区域5002及第2摄影区域5003的摄影有周期性,其周期是2,所以该摄影区域也是周期2摄影区域。
此外,对于摄影区域内的各区域的摄影有周期性的周期TCYCLE摄影区域,可以定义以下所示的参数。
·摄影频度F
它表示周期TCYCLE摄影区域内的各区域中的平均1个周期的摄影频度。根据该定义,如图10(c)所示,第1摄影区域及第2摄影区域重复的摄影区域的摄影频度F是1,其他摄影区域F是1/2。其中,如图10(c)所示,摄像机5001的摄影频度F因各区域而异,在摄像机5001要拍摄的区域上,本说明书将最低的摄影频度F记为最低摄影频度FMIN,将最高的摄影频度记为最高摄影频度FMAX。
(检测对象和周期TCYCLE摄影区域的关系)
接着,说明通过摄像机的摄影来检测的检测对象和周期TCYCLE摄影区域的关系。图11(a)及(b)是检测对象和周期TCYCLE摄影区域的关系的说明图。在图11(a)及(b)中,5101是摄像机,5102是各摄像机5101的周期TCYCLE摄影区域,5103是通过各摄像机5101的摄影来检测的检测对象,5104是作为检测对象5103在摄影周期TCYCLE期间内移动的最大的区域的、摄影周期TCYCLE检测对象移动最大区域。
如图11(a)所示,如果摄像机5101的周期TCYCLE摄影区域覆盖了摄影周期TCYCLE检测对象移动最大区域,则将在摄影周期TCYCLE期间内拍摄摄影周期TCYCLE检测对象移动最大区域,所以摄像机5101能够在摄影周期TCYCLE期间内拍摄/检测检测对象5103。
此外,如果如图11(b)所示,不是1台摄像机5101,而是多台的各摄像机5101的周期TCYCLE摄影区域覆盖了摄影周期TCYCLE检测对象移动最大区域,则将在摄影周期TCYCLE期间内拍摄摄影周期TCYCLE检测对象移动最大区域,所以摄像机5101能够在摄影周期TCYCLE期间内拍摄/检测检测对象5103。
接着,说明摄像机的周期TCYCLE摄影区域的大小。图12(a)及(b)是摄像机的周期TCYCLE摄影区域的大小和各种参数的关系的说明图。在图12(a)中,5201是摄像机,摄像机5201的姿态可通过摇摄及倾斜动作来改变,并且摄像机5201的视场角也是可变的。5202是摄像机5201在时刻T拍摄的区域——时刻T摄影区域,5203是摄像机5201在周期TCYCLE内拍摄的区域——周期TCYCLE摄影区域,5204是摄像机5201的水平方向的视场角——水平视场角ΘaH,5205是摄像机5201的垂直方向的视场角——垂直视场角ΘaV,5206是时刻T摄影区域5202的移动路径。摄像机5201随着时间经过而通过摇摄及倾斜动作来变更自身的姿态,按时刻T摄影区域移动路径5206所示的路径来移动时刻T摄影区域5202的位置,从而拍摄了周期TCYCLE摄影区域5203。因此,周期TCYCLE摄影区域5203的大小显然依赖于变更摄像机5201的姿态的摇摄及倾斜动作的速度、决定时刻T摄影区域5202的大小的摄像机5201的水平视场角ΘaH 5204及垂直视场角ΘaV 5205、周期TCYCLE的时间长度,摄像机5201的摇摄及倾斜速度越快,摄像机5201的视场角越大,并且周期TCYCLE的时间长度越长,则周期TCYCLE摄影区域5203的大小越大。
(拍摄周期TCYCLE摄影区域的摄像机的视场角、摇摄及倾斜)
接着,说明拍摄周期TCYCLE摄影区域的摄像机的视场角、摇摄及倾斜。图12(b)是与图12(a)所示的摄像机5201在周期TCYCLE中等价的周期TCYCLE摄像机5211。在图12(b)中,时刻T摄影区域5202、周期TCYCLE摄影区域5203及时刻T摄影区域移动路径5205与图12(a)相同。5211是拍摄周期TCYCLE摄影区域5203的摄像机,摄像机5211的姿态可通过摇摄及倾斜动作来改变,并且摄像机5211的视场角也是可变的。其中,周期TCYCLE摄像机5211虽然与摄像机5201的姿态不同,但是却存在于空间上同一位置上。5212是周期TCYCLE摄像机5211的水平方向的视场角——水平视场角ΘbH,5213是周期TCYCLE摄像机5211的垂直方向的视场角——垂直视场角ΘbV。图12(a)中的摄像机5201在周期TCYCLE内拍摄周期TCYCLE摄影区域5203。因此,在周期TCYCLE内,将摄像机5201看作拍摄该周期TCYCLE摄影区域5203的图12(b)所示的周期TCYCLE摄像机5211。此外,在该周期TCYCLE摄像机5211中,将水平方向的视场角看作水平视场角ΘbH 5212,将垂直方向的视场角看作垂直视场角ΘbV 5213。在摄像机5201等一般的摄像机中,视场角依赖于CCD等摄像面的纵横比,所以不能独立控制水平视场角ΘaH 5204及垂直视场角ΘaV 5205。但是,在周期TCYCLE摄像机5211中,由摄像机5201的摇摄及倾斜动作决定了周期TCYCLE摄影区域5203,所以不像一般的摄像机那样依赖于CCD等摄像面的纵横比,所以能够独立控制水平视场角ΘbH 5212及垂直视场角ΘbV 5213。
图13(a)及(b)是图12(a)中的摄像机5201及图12(b)中的周期TCYCLE摄像机5211的视场角、摇摄或倾斜角的图。在图13(a)中,摄像机5201及周期TCYCLE摄像机5211分别与图12(a)中的摄像机5201及图12(b)中的周期TCYCLE摄像机5211相同。其中,摄像机5201及周期TCYCLE摄像机5211虽然存在于空间上同一位置上,但是在图13(a)中为了清楚,有意将这些摄像机并列记载着。5220是辅助线,5221是摄像机5201的水平方向的最大视场角——最大水平视场角ΘaH_MAX,5222是最大视场角ΘaH_MAX/2,5223是摄像机5201的摇摄的最大位移角——最大摇摄角ΘaP_MAX,摄像机5201以辅助线5220为中心,分别上下在最大摇摄角ΘaP_MAX 5223以内来进行摇摄动作。5224是周期TCYCLE摄像机5211的水平方向的最大视场角——周期TCYCLE摄像机最大水平视场角ΘbH_MAX,5225是周期TCYCLE摄像机5211的水平方向的视场角——周期TCYCLE摄像机水平视场角ΘbH,5226是周期TCYCLE摄像机水平视场角ΘbH/2,5227是周期TCYCLE摄像机5211的摇摄角——周期TCYCLE摄像机摇摄角ΘbP。
在图13(b)中,摄像机5201及周期TCYCLE摄像机5211分别与图12(a)中的摄像机5201及图12(b)中的周期TCYCLE摄像机5211相同。其中,摄像机5201及周期TCYCLE摄像机5211虽然存在于空间上同一位置上,但是在图13(b)中为了清楚,有意将这些摄像机并列记载着。5220是辅助线,5231是摄像机5201的垂直方向的最大视场角——最大垂直视场角ΘaV_MAX,5232是最大视场角ΘaV_MAX/2,5233是摄像机5201的倾斜的最大位移角——最大倾斜角ΘaT_MAX,摄像机5201以辅助线5220为中心,分别上下在最大倾斜角ΘaT_MAX 5233以内来进行倾斜动作。5234是周期TCYCLE摄像机5211的垂直方向的最大视场角——周期TCYCLE摄像机最大垂直视场角ΘbV_MAX,5235是周期TCYCLE摄像机5211的垂直方向的视场角——周期TCYCLE摄像机垂直视场角ΘbV,5236是周期TCYCLE摄像机垂直视场角ΘbV/2,5237是周期TCYCLE摄像机5211的倾斜角——周期TCYCLE摄像机倾斜角ΘbT。
如图13(a)及(b)所示,周期TCYCLE摄像机5211的最大水平视场角ΘbH_MAX 5224及最大垂直视场角ΘbV_MAX 5234由式1表示,周期TCYCLE摄像机5211的水平方向的最小水平视场角ΘbH_MIN等于摄像机5201的水平方向的最小水平视场角ΘaH_MIN,周期TCYCLE摄像机5211的垂直方向的最小垂直视场角ΘbV_MIN等于摄像机5201的垂直方向的最小垂直视场角ΘaV_MIN。其中,在周期TCYCLE摄像机5211摇摄或倾斜了摇摄角ΘbP 5227或倾斜角ΘbT5237的情况下,周期TCYCLE摄像机5211的最大水平视场角ΘbH_MAX 5224及最大垂直视场角ΘbV_MAX5234受式2所示的限制。因此,周期TCYCLE摄像机5211的水平视场角ΘbH 5225及垂直视场角ΘbV 5235是式3所示的范围内的可变值。此外,如图13(a)及(b)所示,周期TCYCLE摄像机5211的最大摇摄角ΘbP_MAX及最大倾斜角ΘbT_MAX分别等于摄像机5201的最大摇摄角ΘaP_MAX 5223及最大倾斜角ΘaT_MAX 5233。因此,周期TCYCLE摄像机5211的摇摄角ΘbP 5227及倾斜角ΘbT 5237是式4所示的范围内的可变值。
[式1]
...(式1)
[式2]
...(式2)
[式3]
...(式3)
[式4]
...(式4)
(摄像机的摄影区域位置及视点)
接着,说明计算摄像机的摄影区域的位置及视点的方法。图14是摄像机的摄影区域的位置的说明图。在图14中,5301是用于成像的镜头,5302是拍摄由镜头5301所成的像的CCD等摄像面,5303是由镜头5301及摄像面5302构成的摄像机。5311是XC轴,5312是YC轴,5313是ZC轴,这些轴相互正交,构成以镜头5301为原点的摄像机坐标轴系,特别是ZC轴5313与摄像机5303的视线(摄影方向)一致。5314是作为绕摄像机5303的YC轴5312的旋转角的摇摄角ΘP,5315是绕摄像机5303的XC轴5311的旋转角——倾斜角ΘT,5316是绕摄像机5303的ZC轴5313的旋转角——滚动角ΘR。摄像机5303使自身的姿态以这些旋转角进行旋转。5317是作为从镜头5301到摄像面5302的距离的焦距f,5318是摄像面5302的水平方向的尺寸——摄像面水平尺寸W,5319是摄像面5302的垂直方向的尺寸——摄像面垂直尺寸H。5321是XW轴,5322是YW轴,5323是ZW轴,这些轴相互正交,构成世界坐标轴系。5324是摄像机5303的XW轴5321方向的位移——位移ΔXTW,5325是摄像机5303的YW轴5322方向的位移——位移ΔYTW,5326是摄像机5303的ZW轴5323方向的位移——位移ΔZTW。摄像机5303存在于世界坐标轴系中(XTW,YTW,ZTW)所示的位置上,以该位置为基点而移动(ΔXTW,ΔYTW,ΔZTW)。5327是5303摄像机的水平方向的视场角——水平视场角ΘH,5328是5303摄像机的垂直方向的视场角——垂直视场角ΘV。5331是ZW=ZCONST的实际空间面,5332是摄像机5303正在拍摄的实际空间面5331上的摄影区域,5333是作为ZC轴5313和摄影区域5332存在的实际空间面5331的交点的视点,表示ZC轴5313所示的摄像机5303的视线在实际空间面5331上的位置。
由XC轴5321、YC轴5322及ZC轴5323构成的摄像机坐标轴系上的某个点(XPC,YPC,ZPC)可以通过式5所示的式子变换为由XW轴5321、YW轴5322及ZW轴5323构成的世界坐标轴上的点(XPW,YPW,ZPW)。在该式中,以M00至M22为元素的3×3矩阵值是摄像机5303的姿态基准点(摄像机5303的姿态的旋转角度(ΘP,ΘT,ΘR)=(0,0,0)的矩阵值,以R00至R22为元素的3×3矩阵值是表现从摄像机5303的姿态基准点的姿态位移的矩阵值,(XTW,YTW,ZTW)是摄像机5303的位置基准点(摄像机5303的位置的位移(ΔXTW,ΔYTW,ΔZTW)=(0,0,0))的位置,(ΔXTW,ΔYTW,ΔZTW)是从摄像机5303的位置基准点的位置位移。
[式5]
...(式5)
可以将摄像机5303调整到姿态基准点及位置基准点,或者将当前的摄像机5303的姿态及位置分别作为姿态基准点及位置基准点,用以下的非专利文献1所示的校准方法等来计算以M00至M22为元素的3×3矩阵值或(XTW,YTW,ZTW),在本发明的摄影区域调整装置的动作开始前事先计算。
非专利文献1:R.Tsai.A Versatile Camera Calibration Technique forHigh-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TVCameras and Lenses.IEEE journal of Robotics and Automation,Vol.RA-3,No.4,pp.323-344,1987
表示从摄像机5303的姿态基准点的姿态位移的以R00至R22为元素的3×3矩阵值可以如式6所示,由作为摄像机5303的姿态的旋转角度(ΘP,ΘT,ΘR)来计算。如果是用步进电机等来改变该摄像机5303的位置的结构,则作为摄像机5303的姿态的旋转角度(ΘP,ΘT,ΘR)、及作为从摄像机5303的位置基准点的位置位移的(ΔXTW,ΔYTW,ΔZTW)可以从该步进电机读取其位移。
[式6]
...(式6)
摄像面5302上的各点(XPC,YPC,f)可以通过式7投影到ZW=ZCONST的实际空间面5331上。将摄像面四角的各点(-W/2,-H/2,f)、(W/2,-H/2,f)、(-W/2,H/2,f)、(W/2,H/2,f)投影到ZW=ZCONST的实际空间面5331上的位置,是摄像机5303的摄影区域5332的四角的位置。此外,ZC轴5313通过摄像面5302上的点(0,0,f),将该点(0,0,f)投影到ZW=ZCONST的实际空间面5331上的位置是摄像机5303的视点5333。因此,通过式8~式12,能够算出ZW=ZCONST的实际空间面5331上的摄像机5303的摄影区域5332的位置(点(XPW0,YPW0,ZPW0)~点(XPW3,YPW3,ZPW3))及视点5333(点(XPW4,YPW4,ZPW4))。
[式7]
...(式7)
[式8]
...(式8)
[式9]
...(式9)
[式10]
...(式10)
[式11]
...(式11)
[式12]
...(式12)
此外,水平视场角ΘH 5327及垂直视场角ΘV 5328与焦距f5317、摄像面水平尺寸W 5318及摄像面垂直尺寸H 5319处于式13所示的关系。因此,用式14~式17,也能够算出ZW=ZCONST的实际空间面5331上的摄像机5303的摄影区域5332的位置及视点5333。
[式13]
...(式13)
[式14]
...(式14)
[式15]
...(式15)
[式16]
...(式16)
[式17]
...(式17)
其中,上述计算摄像机的摄影区域的位置的方法不仅可以适用于时刻T摄影区域的位置及视点的计算,而且也可以适用于周期TCYCLE摄影区域的位置及视点的计算。如果是计算周期TCYCLE摄影区域的位置及视点,则将式13中的摇摄角ΘP 5314、倾斜角ΘT 5315、滚动角ΘR 5316、水平视场角ΘH 5327及垂直视场角ΘV 5328分别设为图13(a)及(b)所示的摇摄角ΘbP 5227、倾斜角ΘbT 5228、滚动角ΘbR、水平视场角ΘbH 5225及垂直视场角ΘbV 5235即可(滚动角ΘbR在图13(a)及(b)中未示出,但与摄像机5201的滚动角ΘaR同值)。由于拍摄周期TCYCLE摄影区域的周期TCYCLE摄像机的位置及姿态基准点与拍摄时刻T摄影区域的摄像机相同,所以以作为摄像机5303的姿态基准点的矩阵值的M00至M22为元素的3×3矩阵值、摄像机5303的位置基准点的位置(XTW,YTW,ZTW)、及从该位置基准点的位置位移(ΔXTW,ΔYTW,ΔZTW)采用拍摄时刻T摄影区域的摄像机的即可。
(周期TCYCLE摄影区域的摄影方法)
接着,说明周期TCYCLE摄影区域的摄影方法。图15及图16是周期TCYCLE摄影区域的摄影方法的说明图。在图15(a)、(b)及图16中,5401是周期TCYCLE摄影区域,5402是周期TCYCLE摄影区域5401的水平方向的尺寸LbH,5403是周期TCYCLE摄影区域5401的垂直方向的尺寸LbV,5404是当前时刻——时刻TNOW时的摄影区域——当前时刻TNOW摄影区域,5405是当前时刻TNOW摄影区域5404的水平方向的尺寸LaH,5406是当前时刻TNOW摄影区域5404的垂直方向的尺寸LaV,5407是当前时刻、时刻TNOW的下一摄影时刻TNEXT时的摄影区域——下一时刻TNEXT摄影区域,5408是从当前时刻TNOW摄影区域5404到下一时刻TNEXT摄影区域5407的移动距离L,5409是时刻T摄影区域的移动路径,5421至5423分别是水平方向的位置——位置H1至位置H3,5431至5434分别是垂直方向的位置——位置V1至位置V4。
此外,图17、图18及图19是表示周期TCYCLE摄影区域的摄影方法的步骤的流程图。图17(a)、(b)、图18(a)、(b)所示的流程图分别是使时刻T摄影区域沿左右上下移动到水平及垂直末端位置的子例程的流程图,以下首先说明图17(a)所示的向水平左方向移动的子例程。首先该子例程在步骤5501中,计算图15及图16中的移动距离L 5408。移动距离L 5408通过式18所示的式子来计算。在该式中,VP_CONST是预定的摇摄速度,TS是预定的摄像机的摄影间隔。接着,在步骤5502中,计算从当前时刻TNOW摄影区域5404的左端位置到水平端位置的距离——水平剩余距离LH。接着,在步骤5503中,判断步骤5502中算出的水平剩余距离LH是否在步骤5501中算出的移动距离L 5408以下。然后,在水平剩余距离LH不是在移动距离L 5408以下的情况下,进至步骤5504,将摇摄速度VP设为式19所示的值,使摄像机以该摇摄速度VP在摄影期间TS期间进行左摇摄动作(将摇摄速度为正值的情况设为右摇摄动作,为负值的情况设为左摇摄动作),返回到步骤5503。而在水平剩余距离LH在移动距离L 5408以下的情况下,将摇摄速度VP设为式20所示的值,使摄像机以该摇摄速度VP在摄影期间TS期间进行左摇摄动作。其结果是,通过步骤5504,摄像机以式19所示的摇摄速度VP持续进行左摇摄动作,直至水平剩余距离LH为移动距离L 5408以下;进而,通过步骤5505,使摄像机以式20所示的摇摄速度VP在摄影期间TS期间进行左摇摄动作,所以左摇摄了水平剩余距离LH,摄像机的时刻T摄影区域达到水平端位置。
[式18]
L=VP_CONST×TS ...(式18)
[式19]
VP=-VP_CONST ...(式19)
[式20]
...(式20)
以下接着说明图17(b)所示的向水平左方向移动的子例程。该子例程的动作与图17(a)所示的向水平右方向移动的子例程大致同等。首先该子例程在步骤5511中,计算图15及图16中的移动距离L 5408。移动距离L 5408通过式18所示的式子来计算。接着,在步骤5512中,计算从当前时刻TNOW摄影区域5404的右端位置到水平端位置的距离——水平剩余距离LH。接着,在步骤5513中,判断步骤5512中算出的水平剩余距离LH是否在步骤5511中算出的移动距离L 5408以下。然后,在水平剩余距离LH不是在移动距离L 5408以下的情况下,进至步骤5514,将摇摄速度VP设为式21所示的值,使摄像机以该摇摄速度VP在摄影期间TS期间进行右摇摄动作,返回到步骤5513。而在水平剩余距离LH在移动距离L 5408以下的情况下,将摇摄速度VP设为式22所示的值,使摄像机以该摇摄速度VP在摄影期间TS期间进行右摇摄动作。其结果是,通过步骤5514,摄像机以式21所示的摇摄速度VP持续进行右摇摄动作,直至水平剩余距离LH在移动距离L 5408以下;进而,通过步骤5515,使摄像机以式22所示的摇摄速度VP在摄影期间TS期间进行右摇摄动作,所以右摇摄了水平剩余距离LH,摄像机的时刻T摄影区域达到水平端位置。
[式21]
VP=VP_CONST ...(式21)
[式22]
...(式22)
以下接着说明图18(a)所示的向垂直上方向移动的子例程。该子例程的动作与图17(a)所示的向水平右方向移动的子例程大致同等。首先该子例程在步骤5521中,计算图15及图16中的移动距离L5408。移动距离L 5408通过式23所示的式子来计算。接着,在步骤5522中,计算从当前时刻TNOW摄影区域5404的上端位置到垂直端位置的距离——垂直剩余距离LV。接着,在步骤5523中,判断步骤5522中算出的垂直剩余距离LV是否在步骤5521中算出的移动距离L5408以下。然后,在垂直剩余距离LV不是在移动距离L 5408以下的情况下,进至步骤5524,将倾斜速度VT设为式24所示的值,使摄像机以该倾斜速度VT在摄影期间TS期间进行上倾斜动作(将倾斜速度为正值的情况设为上倾斜动作,将为负值的情况设为下倾斜动作),返回到步骤5523。而在垂直剩余距离LV在移动距离L 5408以下的情况下,将倾斜速度VT设为式25所示的值,使摄像机以该倾斜速度VT在摄影期间TS期间进行上倾斜动作。其结果是,通过步骤5524,摄像机以式24所示的倾斜速度VT持续进行上倾斜动作,直至垂直剩余距离LV在移动距离L 5408以下;进而,通过步骤5525,使摄像机以式25所示的倾斜速度VT在摄影期间TS期间进行上倾斜动作,所以上倾斜了垂直剩余距离LT,摄像机的时刻T摄影区域达到垂直端位置。
[式23]
L=VT_CONST×TS ...(式23)
[式24]
VT=-VT_CONST ...(式24)
[式25]
...(式25)
最后说明图18(b)所示的向垂直下方向移动的子例程。该子例程的动作与图17(a)所示的向水平右方向移动的子例程大致同等。首先该子例程在步骤5531中,计算图15及图16中的移动距离L 5408。移动距离L 5408通过式23所示的式子来计算。接着,在步骤5532中,计算从当前时刻TNOW摄影区域5404的下端位置到垂直端位置的距离——垂直剩余距离LV。接着,在步骤5533中,判断步骤5532中算出的垂直剩余距离LV是否在步骤5531中算出的移动距离L 5408以下。然后,在垂直剩余距离LV不是在移动距离L 5408以下的情况下,进至步骤5534,将倾斜速度VT设为式26所示的值,使摄像机以该倾斜速度VT在摄影期间TS期间进行下倾斜动作,返回到步骤5533。而在垂直剩余距离LV在移动距离L 5408以下的情况下,将倾斜速度VT设为式27所示的值,使摄像机以该倾斜速度VT在摄影期间TS期间进行下倾斜动作。其结果是,通过步骤5534,摄像机以式26所示的倾斜速度VT持续进行下倾斜动作,直至垂直剩余距离LV在移动距离L 5408以下;进而,通过步骤5535,使摄像机以式27所示的倾斜速度VT在摄影期间TS期间进行下倾斜动作,所以下倾斜了垂直剩余距离LT,摄像机的时刻T摄影区域达到垂直端位置。
[式26]
VT=VT_CONST ...(式26)
[式27]
...(式27)
如上所述,根据图17(a)、(b)、图18(a)、(b)所示的子例程的流程,能够使时刻T摄影区域沿左右上下移动到水平及垂直末端位置。其中,假设预定的摇摄速度VP_CONST、倾斜速度VT_CONST及摄影间隔TS,与时刻T摄影区域水平尺寸LaH 5405及时刻T摄影区域垂直尺寸LaV5406处于式28所示的关系。
[式28]
...(式28)
图19所示的流程图是用上述图17(a)、(b)、图18(a)、(b)所示的子例程使时刻T摄影区域沿图15(a)的时刻T摄影区域移动路径5409移动、对周期TCYCLE摄影区域5401内进行拍摄的主例程的流程图。首先,在步骤5541中,像图15(a)的当前时刻TNOW摄影区域5404那样,使摄像机的时刻T摄影范围移动到周期TCYCLE摄影区域5401的右下位置。接着在步骤5542及步骤5543中,将水平末端位置设为位置H1(5421),用图17(b)所示的子例程使摄像机右摇摄动作到位置H1(5421)。接着在步骤5544及步骤5545中,将垂直末端位置设为位置V1(5431),用图18(a)所示的子例程使摄像机上倾斜动作到位置V1(543 1)。接着在步骤5546及步骤5547中,将水平末端位置设为位置H2(5422),用图17(a)所示的子例程使摄像机左摇摄动作到位置H2(5422)。接着在步骤5548及步骤5549中,将垂直末端位置设为位置V2(5432),用图18(a)所示的子例程使摄像机上倾斜到位置V2(5432)。接着在步骤5550及步骤5551中,将水平末端位置设为位置H3(5423),用图17(b)所示的子例程使摄像机右摇摄动作到位置H3(5423),返回到步骤5541。根据该流程,能够使时刻T摄影区域沿图15(a)的时刻T摄影区域移动路径5409移动,对周期TCYCLE摄影区域5401内进行拍摄。
其中,图19示出了使时刻T摄影区域沿图15(a)的时刻T摄影区域移动路径5409移动、对周期TCYCLE摄影区域5401内进行拍摄的流程,但是不言而喻,在使时刻T摄影区域沿图15(b)的时刻T摄影区域移动路径5409移动、或者使时刻T摄影区域沿图16的时刻T摄影区域移动路径5409移动、拍摄周期TCYCLE摄影区域5401内的情况下,通过掉换水平及垂直末端位置的设定及图17(a)、(b)、图18(a)、(b)所示的子例程的调用顺序就能够进行摄影,所以省略其说明。
此外,设定为水平末端位置的位置H1(5421)至位置H3、及设定为垂直末端位置的位置V1(5431)至位置V4(5434)分别可以根据周期TCYCLE摄影区域水平尺寸LbH 5402、周期TCYCLE摄影区域垂直尺寸LbV 5403、时刻T摄影区域水平尺寸LaH 5405、时刻T摄影区域垂直尺寸LaV 5406的关系来计算。例如,在周期TCYCLE摄影区域垂直尺寸LbV 5403是时刻T摄影区域垂直尺寸LaV 5406的2.8倍的情况下,将图15(a)的位置V1(5431)设为摄影区域垂直尺寸LaV(5406)的2倍的大小,将图15(a)的位置V2(5432)设为摄影区域垂直尺寸LaV 5406的2.8倍的大小即可,也可以将图15(a)的位置V2(5432)设为摄影区域垂直尺寸LaV 5406的3倍的大小。在将图15(a)的位置V2(5432)设为摄影区域垂直尺寸LaV 5406的3倍的大小的情况下,时刻T摄影区域超出周期TCYCLE摄影区域5401,但是由于周期TCYCLE摄影区域5401内全部被拍摄,所以没有什么问题。
此外,周期TCYCLE摄影区域水平尺寸LbH 5402、周期TCYCLE摄影区域垂直尺寸LbV 5403、时刻T摄影区域水平尺寸LaH 5405、时刻T摄影区域垂直尺寸LaV 5406可以用上述摄像机的摄影区域位置的计算方法,根据由摇摄角ΘP、倾斜角ΘT、滚动角ΘR、水平视场角ΘH及垂直视场角ΘV等算出的周期TCYCLE摄影区域及时刻T摄影区域的四角的位置来计算。
此外,图15(a)、(b)及图16示出了3例时刻T摄影区域移动路径5409,但是时刻T摄影区域移动路径5409并不仅限于此。如果可能,只要是用一笔画来没有遗漏地拍摄周期TCYCLE摄影区域5401内的路径即可。
此外,时刻T摄影区域移动路径5409也可以根据周期TCYCLE摄影区域水平尺寸LbH 5402、周期TCYCLE摄影区域垂直尺寸LbV 5403、时刻T摄影区域水平尺寸LaH 5405、时刻T摄影区域垂直尺寸LaV5406的大小,选择图15(a)、(b)及图16等所示的时刻T摄影区域移动路径5409。
此外,以上的说明都是设想周期TCYCLE摄影区域大于时刻T摄影区域的情况而进行的。根据图12(a)~(b),在时刻T摄像机水平视场角ΘaH≥周期TCYCLE摄像机水平视场角ΘbH、时刻T摄像机垂直视场角ΘaV≥周期TCYCLE摄像机垂直视场角ΘbV时,水平、垂直方向都是周期TCYCLE摄影区域5203的视场角在时刻T摄影区域5302的视场角以下等,周期TCYCLE摄影区域等于或小于时刻T摄影区域的情况下,能够以时刻T摄影区域来一次拍摄整个周期TCYCLE摄影区域。在此情况下,不用以上说明过的手法逐次移动时刻T摄影区域的位置来进行摄影,只要调整时刻T摄影区域的位置(摇摄/倾斜/滚动角)及大小(变焦比)以便拍摄整个周期TCYCLE摄影区域即可。在此情况下,周期TCYCLE摄影区域的周期是0,始终拍摄着整个周期TCYCLE摄影区域。其中,时刻T摄影区域的位置及大小应被调整到能够以时刻T摄影区域来拍摄整个周期TCYCLE摄影区域、而且未拍摄周期TCYCLE摄影区域的时刻T摄影区域内的区域应被调整到最少的时刻T摄影区域的位置及大小。这样,在周期TCYCLE摄影区域中不仅包含比时刻T摄影区域大的区域,而且包含与时刻T摄影区域相等、或者比时刻T摄影区域小的区域。
(摄影区域的形状)
接着,说明时刻T摄影区域及周期TCYCLE摄影区域的形状。图20是时刻T摄影区域的形状的说明图。在图20中,5301是镜头,5302是摄像面,5303是摄像机,5313是ZC轴,5321是XW轴,5322是YW轴,5323是ZW轴,5332是时刻T摄影区域,这些与图14相同。5601是与时刻T摄影区域5332内接、并且由与XW轴5321及YW轴5322平行的边组成的四边形,5610至5613分别是时刻T摄影区域5332的四角在XW轴5321上的位置——位置X1至位置X4,5620至5623分别是时刻T摄影区域5332的四角在YW轴5322上的位置——位置Y1至位置Y4。
在本实施方式中,为了简化说明,假设时刻T摄影区域及周期TCYCLE摄影区域是由与XW轴5321及YW轴5322平行的边组成的四边形。但是如图20所示,在表示摄像机5303的摄影方向的ZC轴5313和ZW轴5323不平行的情况下,摄像机5303的时刻T摄影区域5332成为由与XW轴5321及YW轴5322不平行的边组成的矩形的区域。在这种情况下,将时刻T摄影区域内接四边形5601所示的、与时刻T摄影区域5332内接、且由与XW轴5321及YW轴5322平行的边组成的四边形作为时刻T摄影区域。时刻T摄影区域内接四边形5601的四角的位置如图20所示,可以根据时刻T摄影区域5332的四角在XW轴5321上的位置——位置X1(5620)至位置X3(5623)、时刻T摄影区域5332的四角在YW轴5322上的位置——位置Y1(5630)至位置Y3(5633)各自的大小关系来求出。位置X1(5620)至位置X3(5623)中的第2及第3大的位置、位置Y1(5630)至位置Y3(5633)中的第2及第3大的位置就是时刻T摄影区域内接四边形5601的四角的位置。其中,时刻T摄影区域内接四边形5601即使不是上述求法的四边形,只要是与时刻T摄影区域5332内接、并且由与XW轴5321及YW轴5322平行的边组成的四边形即可。此外,位置X1(5620)至位置X3(5623)、及位置Y1(5630)至位置Y3(5633)可以用上述摄像机的摄影区域位置的计算方法,根据摇摄角ΘP、倾斜角ΘT、滚动角ΘR、水平视场角ΘH及垂直视场角ΘV等来计算。
图21是周期TCYCLE摄影区域的形状的说明图。在图21中,5321是XW轴,5322是YW轴,5332是时刻T摄影区域,这些与图14相同。5630是周期TCYCLE摄影区域,5631是与周期TCYCLE摄影区域5630内接、且由与XW轴5321及YW轴5322平行的边组成的四边形,5640至5643分别是周期TCYCLE摄影区域5630的四角在XW轴5321上的位置——位置X4至位置X7,5650至5653分别是周期TCYCLE摄影区域5630的四角在YW轴5322上的位置——位置Y4至位置Y7。如图21所示,与时刻T摄影区域5332同样,周期TCYCLE摄影区域5630也有时是由与XW轴5321及YW轴5322平行的边组成的矩形的区域。在这种情况下,将周期TCYCLE摄影区域内接四边形5631所示的与周期TCYCLE摄影区域5630内接、且由与XW轴5321及YW轴5322平行的边组成的四边形作为周期TCYCLE摄影区域。
周期TCYCLE摄影区域内接四边形5631的四角的位置如图21所示,可以根据周期TCYCLE摄影区域5330的四角在XW轴5321上的位置——位置X4(5640)至位置X7(5643)、周期TCYCLE摄影区域5330的四角在YW轴5322上的位置——位置Y4(5650)至位置Y7(5653)各自的大小关系来求出。位置X4(5640)至位置X7(5643)中的第2及第3大的位置、位置Y4(5650)至位置Y7(5653)中的第2及第3大的位置就是周期TCYCLE摄影区域内接四边形5631的四角的位置。其中,周期TCYCLE摄影区域内接四边形5631即使不是上述求法的四边形,只要是与周期TCYCLE摄影区域5330内接、由与XW轴5321及YW轴5322平行的边组成的四边形即可。此外,位置X4(5640)至位置X7(5643)、及位置Y4(5650)至位置Y7(5653)可以用上述摄像机的摄影区域位置的计算方法,根据摇摄角ΘP、倾斜角ΘT、滚动角ΘR、水平视场角ΘH及垂直视场角ΘV等来计算。
(相邻的摄影区域)
接着,说明相邻的摄影区域。所谓相邻的摄影区域,是指沿上下左右等各方向离该摄影区域最近的其他摄影区域。以下说明用于求与该摄影区域相邻的摄影区域的过程。
首先,判定其他摄影区域相对该摄影区域存在于哪个方向。为了该判定,利用图22所示的判定方法。图22是区域判定方法的说明图。在图22中,5701是存在于坐标(XA,YA)上的点A,5702是存在于坐标(XB,YB)上的点B,5703是通过点A 5701及点B 5702的直线AB,5704是由直线AB 5703分割出的画面右上的区域A,5705是由直线AB 5703分割出的画面右上的区域B。在图22中,如果存在于坐标(XZ,YZ)上的某个点Z存在于区域A 5704上,则式29成立。此外,如果点Z存在于区域B 5705上,则式30成立(其中,在点Z存在于直线AB 5703上的情况下假设存在于区域B 5705上)。如果评价两式,则可以判定点Z存在于区域A 5704或区域B 5705的哪一个上。
因此,利用上述方法,将其他摄影区域的重心点(摄影区域的各顶点位置的平均值)设为上述点Z,判定处于该摄影区域的哪个方向。图23(a)、(b)、(c)及(d)是判定其他摄影区域存在于该摄影区域的哪个方向的方法的说明图。在图23中,5801是周期TCYCLE摄影区域,相当于该摄影区域。5802是存在于坐标(XA,YA)上的周期TCYCLE摄影区域5801的第1个顶点A,5803是存在于坐标(XB,YB)上的周期TCYCLE摄影区域5801的第2个顶点B,5804是存在于坐标(XC,YC)上的周期TCYCLE摄影区域5801的第3个顶点C,5805是存在于坐标(XD,YD)上的周期TCYCLE摄影区域5801的第4个顶点D,5806是与该摄影区域相当的周期TCYCLE摄影区域5801的上方向的区域A,5807是与该摄影区域相当的周期TCYCLE摄影区域5801的右方向的区域B,5808是与该摄影区域相当的周期TCYCLE摄影区域5801的下方向的区域C,5809是与该摄影区域相当的周期TCYCLE摄影区域5801的左方向的区域D。
[式29]
...(式29)
[式30]
...(式30)
用图22所示的判定方法,在图23(a)中,如果式29及式31成立,则判定为作为其他摄影区域的重心点的点Z存在于区域A 5806上,该其他摄影区域存在于该摄影区域的上方向上。此外,如果式29及式32成立,则判定为作为其他摄影区域的重心点的点Z存在于区域B 5807上,该其他摄影区域存在于该摄影区域的右方向上。此外,如果式30及式32成立,则判定为其他摄影区域的重心点——点Z存在于区域C 5808上,该其他摄影区域存在于该摄影区域的下方向上。最后,如果式30及式31成立,则判定为其他摄影区域的重心点——点Z存在于区域D 5809上,该其他摄影区域存在于该摄影区域的左方向上。
[式31]
...(式31)
[式32]
...(式32)
接着,将每个方向上距离最近的其他摄影区域设为该方向上的相邻摄影区域。用上述步骤进行判定,如果存在的某个方向的其他摄影区域是1个,则将其设为该方向上的相邻摄影区域,如果是多个,则将从其他摄影区域的重心点到该摄影区域的重心点的距离最小的其他摄影区域设为相邻摄影区域。
通过以上,结束了求出与该摄影区域相邻的摄影区域的步骤的说明。在以上的步骤中,将判定所用的点Z作为其他摄影区域的重心点进行了说明,但是点Z也可以是其他摄影区域的视点。同样,从其他摄影区域的重心点到该摄影区域的重心点的距离也可以是从其他摄影区域的视点到该摄影区域的视点的距离。
此外,上述步骤的说明示出了如图23(a)所示将区域分为上下左右、求各自的相邻摄影区域的过程,当然如图23(b)所示,用通过周期TCYCLE摄影区域5801的各顶点的直线(在图23中用虚线来图示)将区域分为上下左右、左上、右上、右下、左下,也能够求出各个相邻摄影区域。再者,上述步骤的说明如图23(a)所示将周期TCYCLE摄影区域5801设为平面,当然如图23(c)及(d)所示,将周期TCYCLE摄影区域5801设为立体,也同样能够求出相邻摄影区域。
(区域分割)
最后,说明区域分割的手法。图24(a)、(b)、(c)、图25(a)、(b)是区域分割的手法的说明图。在图24及图25中,5901至5903分别是摄像机A至摄像机C,5904是用摄像机A 5901至摄像机C 5903拍摄的对象区域——摄影对象区域,5911至5913分别是摄像机A5901至摄像机C 5903的视点,5921是连结摄像机A 5901的视点——视点A 5911和摄像机B 5902的视点——视点B 5912的线段的垂直二等分线——线AB,5922是连结摄像机B 5902的视点——视点B5912和摄像机C 5903的视点——视点C 5913的线段的垂直二等分线——线BC,5923是连结摄像机A 5901的视点——视点A 5911和摄像机C 5903的视点——视点C 5913的线段的垂直二等分线——线AC,5931至5933分别是由线AB 5931、线BC 5932及线AC 5933分割出的区域A至区域C。
首先,如图24(b)、(c)及图25(a)所示,求分别连结摄像机A 5901至摄像机C 5903的视点A 5911至视点C 5913的线段的垂直二等分线——线AB 5931、线BC 5932及线AC 5933。例如,如果各个视点存在于坐标(XA,YA)及坐标(XB,YB)上,则这些垂直二等分线也可通过式33来求。然后,将连结各摄像机的视线和各其他摄像机的视线的线段的垂直二等分线、和摄影对象区域的各边所包围的区域设为分割给自身的区域。因此,在摄像机A 5901中,如图24(b)所示,被线AB 5931、线AC 5933以及摄影对象区域的各边所包围的区域——区域A 5931就是分割给摄像机A 5901的区域。同样,在摄像机B 5902中,如图24(c)所示,区域B 5932就是分割给摄像机B 5902的区域;在摄像机C 5903中,如图25(a)所示,区域C 5933就是分割给摄像机C 5903的区域。其结果是,如图25(b)所示,摄影对象区域5904分别对各摄像机被分割为区域A 5931至区域C 5933。
[式33]
...(式33)
其中,在上述区域分割手法中,通过根据各摄像机的视点引垂直二等分线而分割了区域,当然用各摄像机的摄影区域的位置的重心点也能够进行同样的分割。
以上,说明了摄像机的摄影区域、检测对象和周期TCYCLE摄影区域的关系、摄像机的周期TCYCLE摄影区域的大小、拍摄周期TCYCLE摄影区域的摄像机的视场角、摇摄及倾斜、摄像机的摄影区域位置、周期TCYCLE摄影区域的摄影方法、摄影区域的形状、相邻的摄影区域、区域分割。以此为前提,以下参照附图来说明本发明的实施方式。
(实施方式1)
首先,说明本发明的实施方式1。在本实施方式中,用图26至图31来说明摄影区域调整装置,它自动调整各摄像机终端的摄像机的周期TCYCLE摄影区域,使得各摄像机终端的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖规定的摄影对象区域。
首先,说明本实施方式的摄影区域调整装置的构成要素。图26(a)是本实施方式的摄影区域调整装置的结构方框图。该摄影区域调整装置由摄像机终端101A~摄像机终端101C、操作终端102、以及各摄像机终端101A~101C与操作终端102间的通信时利用的网络103构成。其中,在图26中,为了表现区域或该区域的位置,规定相互正交的XW轴110、YW轴111、及ZW轴112。113是各摄像机终端101A~101C存在的实际空间上的面,例如在各摄像机终端101A~101C从天花板向下设定的情况下,是地板等面,在本实施方式中,设为ZW轴112=0的面,各种区域及该区域的位置用该面来表现。在实际空间面113上,周期TACYCLE摄影区域120A是摄像机终端101A在周期TACYCLE中周期性地拍摄的区域,周期TBCYCLE摄影区域120B是摄像机终端101B在周期TBCYCLE中周期性地拍摄的区域,周期TCCYCLE摄影区域120C是摄像机终端101C在周期TCCYCLE中周期性地拍摄的区域,摄影对象区域121是本发明的以摄影为对象的区域,摄影对象外区域122是摄影对象区域121以外的区域。
图26(b)是图26(a)所示的本实施方式的摄影区域调整装置的实际空间面113上的各摄影区域位置的详图。在图26(b)中,XW轴110、YW轴111、周期TACYCLE摄影区域120A、周期TBCYCLE摄影区域120B、周期TCCYCLE摄影区域120C、摄影对象区域121及摄影对象外区域122与图26(a)相同。
130AL、130AR、130AU及130AB分别是周期TACYCLE摄影区域120A的左端XAL、右端XAR、上端YAU及下端YAB位置。即,周期TACYCLE摄影区域120A是被XAL 130AL、XAR 130AR、YAU 130AU及YAB 130AB包围的区域,用它们来表现周期TACYCLE摄影区域120A的位置。130BL、130BR、130BU及130BB分别是周期TBCYCLE摄影区域120B的左端XBL、右端XBR、上端YBU及下端YBB位置。即,周期TBCYCLE摄影区域120B是被XBL 130BL、XBR 130BR、YBU 130BU及YBB 130BB包围的区域,用它们来表现周期TBCYCLE摄影区域120B的位置。130CL、130CR、130CU及130CB分别是周期TCCYCLE摄影区域120C的左端XCL、右端XCR、上端YCU及下端YCB位置。即,周期TCCYCLE摄影区域120C是被XCL 130CL、XCR 130CR、YCU 130CU及YCB 130CB包围的区域,用它们来表现周期TCCYCLE摄影区域120C的位置。131TL、131TR、131TU及131TB分别是摄影对象区域121的左端XTL、右端XTR、上端YTU及下端YTB位置。即,摄影对象区域121是被XTL 131TL、XTR 131TR、YTU 131TU及YTB 131TB包围的区域,摄影对象外区域122是被XTL 131TL、XTR 131TR、YTU 131TU及YTB 131TB包围的区域以外的区域,用它们来表现摄影对象区域121及摄影对象外区域122的位置。
此外,周期TACYCLE摄影区域120A及周期TBCYCLE摄影区域120B重叠的、被XBL 130BL、XAR 130AR、YBU 130BU及YAB 130AB包围的区域是摄像机终端101A及摄像机终端101B分别重复拍摄的区域,将该区域设为摄影重复区域AB。该区域的XW轴110方向的大小是XAR-XBL。周期TBCYCLS摄影区域120B及周期TCCYCLE摄影区域120C重叠的、被XCL 130CL、XBR 130BR、YCU 130CU及YBB 130BB包围的区域是摄像机终端101B及摄像机终端101C分别重复拍摄的区域,将该区域设为摄影重复区域BC。该区域的XW轴110方向的大小是XBR-XCL。在摄影对象外区域122和周期TACYCLE摄影区域120A重叠的区域中,将被XAL 130AL、XTL 131TL、YAU 130AU及YAB 130AB包围的区域设为摄影对象外重复区域AL。该区域的XW轴方向的大小是XTL-XAL。在摄影对象外区域122和周期TCCYCLE摄影区域120C重叠的区域中,将被XTR 131TR、XCR 130CR、YCU 130CU及YCB 130CB包围的区域设为摄影对象外重复区域CR。该区域的XW轴110方向的大小是XCR-XTR。在摄影对象外区域122和周期TACYCLE摄影区域120A重叠的区域中,将被XAL 130AL、XAR 130AR、YAU 130AU及YTU 131TU包围的区域设为摄影对象外重复区域AU。该区域的YW轴111方向的大小是YTU-YAU。在摄影对象外区域122和周期TACYCLE摄影区域120A重复的区域中,将被XAL 130AL、XAR 130AR、YTB131TB及YAB 130AB包围的区域设为摄影对象外重复区域AB。该区域的YW轴111方向的大小是YAB-YTB。在摄影对象外区域122和周期TBCYCLE摄影区域120B重叠的区域中,将被XBL 130BL、XBR130BR、YBU 130BU及YTU 131TU包围的区域设为摄影对象外重复区域BU。该区域的YW轴111方向的大小是YTU-YBU。在摄影对象外区域122和周期TBCYCLE摄影区域120B重叠的区域中,将被XBL 130BL、XBR 130BR、YTB 131TB及YBB 130BB包围的区域设为摄影对象外重复区域BB。该区域的YW轴111方向的大小是YBB-YTB。在摄影对象外区域122和周期TCCYCLE摄影区域120C重叠的区域中,将被XCL130CL、XCR 130CR、YCU 130CU及YTU 131TU包围的区域设为摄影对象外重复区域CU。该区域的YW轴111方向的大小是XTU-XCU。在摄影对象外区域122和周期TCCYCLE摄影区域120C重叠的区域中,将被XCL 130CL、XCR 130CR、YTB 131TB及YCB 130CB包围的区域设为摄影对象外重复区域CB。该区域的YW轴111方向的大小是XCB-XTB。
图27是图26(a)中的各摄像机终端101A~101C的结构方框图。摄像机终端101A~101C包括摄像机201、作为调整摄像机201的摄影区域位置的处理部的调整部A 202、经网络103来传递摄像机201的摄影区域位置的通信部203。
摄像机201是按一定周期对通过在一定时间内一定区域内改变摄影区域的位置而得到的虚拟的摄影区域——虚拟摄影区域进行重复拍摄的摄像机的一例,进而由镜头211、摄像面212、图像处理部213、姿态控制部214、周期摄影控制部215构成。镜头211是成像的镜头,摄像面212是拍摄由镜头211所成的像的CCD等摄像面,图像处理部213是处理由摄像面212拍摄到的图像的处理部,姿态控制部214是控制镜头211及摄像面212的姿态、及镜头211和摄像面212的间隔的处理部,周期摄影控制部215是通过向姿态控制部214发送周期性的姿态控制信号来进行控制,使得摄像机201在周期TCYCLE中拍摄周期TCYCLE摄影区域的处理部。其中,所谓姿态控制部214进行的镜头211及摄像面212的姿态的控制,是指一般称为摇摄或倾斜的控制,镜头211及摄像面212联动,以某个点或轴为中心来旋转。此外,所谓姿态控制部214进行的镜头211及摄像面212的间隔的控制,是指一般称为变焦的控制,通过镜头211及摄像面212的间隔的增减,来调整摄像机201的视场角。
通信部203是发送接收表示虚拟摄影区域的虚拟摄影区域信息的通信接口等,这里,与其他摄像机交换摄影区域位置等。
调整部A 202是通过控制摄像机201来调整虚拟摄影区域的位置的处理部,这里,根据本摄像机终端的虚拟摄影区域和由通信部203接收到的信息表示的其他摄像机终端的虚拟摄影区域,来调整本摄像机终端的虚拟摄影区域的位置,使得构成摄影区域调整装置的多个摄像机终端的虚拟摄影区域之和的区域完全覆盖摄影对象区域。例如,调整本摄像机终端的虚拟摄影区域的位置,使得本摄像机终端的虚拟摄影区域和与该虚拟摄影区域相邻的虚拟摄影区域重叠的区域的量——重复区域量,成为比0大的一定量——目标量。
图28是图26(b)中的操作终端102的结构方框图。操作终端102包括:输入部301,输入作为摄影对象区域121的位置的XTL 131TL、XTR 131TR、YTU 131TU及YTB 131TB;存储部302,存储从输入部301输入的摄影对象区域121的位置;以及通信部203,与图27中的通信部203同样,经网络103来传递存储部302中存储的摄影对象区域121的位置。其中,如果预先在存储部302中记录着摄影对象区域121的位置,则无需输入部301。
接着,说明本实施方式的摄影区域调整装置的动作。作为各摄像机终端101A~101C的构成要素的摄像机201,具有图27所示的内部结构。在摄像机201中,将用镜头所成的像用摄像面212变换为图像信号,在图像处理部213中通过一般的图像处理技术或图像识别技术等,从该图像信号中检测检测对象或提取信息。这样,摄像机201将由镜头211及摄像面212的姿态及各自的间隔所决定的自身的时刻T摄影区域作为检测区域,对实际空间进行检测对象的检测或信息提取等检测动作。其中,作为上述一般的图像处理技术或图像识别技术,有众所周知的背景差分法或运动差分法等。此外,如后所述,摄像机201用周期摄影控制部215在周期TCYCLE中拍摄周期TCYCLE摄影区域。因此,摄像机201将周期摄影控制部215决定的自身的周期TCYCLE摄影区域作为检测区域,对实际空间进行检测对象的检测或信息提取等检测动作。检测出的检测对象的信息被送至通信部203。
进而,在摄像机201中,姿态控制部214通过控制镜头211及摄像面212的姿态、或镜头211及摄像面212的间隔,而使摄像机201的时刻T摄影区域的位置,根据周期摄影控制部215指示的姿态控制信号移动到时刻T摄影区域的位置。此外,姿态控制部214取得根据时刻T的镜头211及摄像面212的姿态或间隔决定的摄像机201的时刻T摄影区域的位置信息,并且将其送至周期摄影控制部215。这样,摄像机201的时刻T摄影区域的位置由周期摄影控制部215来控制,并且时刻T的摄像机201的时刻T摄影区域的位置信息被送至周期摄影控制部215。其中,计算根据时刻T的镜头211及摄像面212的姿态或间隔决定的摄像机201的时刻T摄影区域的位置信息的方法在上述摄像机的摄影区域位置中说明过了。此外,例如如果采用步进电机等,则能够改变镜头211及摄像面212的姿态及间隔,并且也能够读取该时刻T的姿态及间隔。
周期摄影控制部215根据上述周期TCYCLE摄影区域的摄影方法中说明过的方法,根据从姿态控制部214送来的时刻T摄影区域的位置信息、及从调整部A 202指示的周期TCYCLE摄像机摇摄角ΘbP和周期TCYCLE摄像机倾斜角ΘbT,通过向姿态控制部214发送摇摄速度VP及倾斜速度VT等姿态控制信号,来控制摄像机201的时刻T摄影区域的位置,使摄像机201作为拍摄周期TCYCLE摄影区域的周期TCYCLE摄像机来动作。其中,像周期TCYCLE摄影区域的摄影方法中说明过的那样,为了拍摄周期TCYCLE摄影区域,除了从调整部A 202指示的周期TCYCLE摄像机摇摄角ΘbP和周期TCYCLE摄像机倾斜角ΘbT之外,还需要计算周期TCYCLE摄影区域的摄影位置所需的周期TCYCLE摄像机水平视场角ΘbH及周期TCYCLE摄像机垂直视场角ΘbV、计算时刻T摄影区域位置所需的时刻T摄像机水平视场角ΘaH及时刻T摄像机垂直视场角ΘaV、摇摄速度VP_CONST、倾斜速度VT_CONST、摄影间隔TS。在本实施方式中,假设这些值是预先决定的固定值,例如假设这些值被记录在存储部件等中,并假设这些值已被送至周期摄影控制部215。其中,也可以从操作终端102指示这些值。此外,周期摄影控制部215将摄像机201的周期TCYCLE摄影区域的位置信息送至调整部A202。其中,计算周期TCYCLE摄影区域的位置的方法在上述摄像机的摄影区域位置中说明过了。
调整部A 202将从周期摄影控制部215送来的摄像机201的周期TCYCLE摄影区域的位置信息经通信部203及网络103,周期性地发送到其他摄像机终端的调整部A 202。此外,调整部A 202接收从其他摄像机终端的调整部A 202周期性地发送的其他摄像机终端中的摄像机201的周期TCYCLE摄影区域的位置信息。再者,操作终端102的通信部203将摄影对象区域121的位置信息经网络103周期性地发送到各摄像机终端101A~101C的调整部A 202。
因此,在各摄像机终端101A~101C中,调整部A 202周期性地取得了本摄像机终端及其他摄像机终端的摄像机201中的周期TCYCLE摄影区域的位置信息及摄影对象区域121的位置信息,在本实施方式中,各调整部A202经通信部203及网络103,周期性地取得摄像机终端101A的周期TACYCLE摄影区域120A的位置——XAL 130AL、XAR130AR、YAU 130AU及YAB 130AB,摄像机终端101B的周期TBCYCLE摄影区域120B的位置——XBL 130BL、XBR 130BR、YBU 130BU及YBB 130BB,摄像机终端101C的周期TCCYCLE摄影区域120C的位置——XCL 130CL、XCR 130CR、YCU 130CU及YCB 130CB,摄影对象区域121的位置——XTL 131TL、XTR 131TR、YTU 131TU及YTB 131TB。
进而,调整部A 202根据取得的上述周期TCYCLE摄影区域的位置信息及摄影对象区域121的位置信息(也是摄影对象外区域122的位置信息),来进行图29所示的以下的步骤的处理。
首先在步骤401中,从表示本摄像机终端及其他摄像机终端的摄像机201的周期TCYCLE摄影区域位置的信息中,选择与本摄像机终端的周期TCYCLE摄影区域相邻的其他摄像机终端的周期TCYCLE摄影区域或摄影对象外区域122。与本摄像机终端的周期TCYCLE摄影区域相邻的其他摄像机终端的周期TCYCLE摄影区域的选择方法在(相邻的摄影区域)中说明过了。在(相邻的摄影区域)中说明过的选择方法中,在不存在相邻的摄影区域的情况下,将相邻的摄影对象区域设为摄影对象外区域122。因此,在摄像机终端101A中,作为左邻、上邻及下邻而选择出摄影对象外区域122,作为右邻而选择出周期TBCYCLE摄影区域120B;在摄像机终端101B中,作为左邻而选择出周期TACYCLE摄影区域120A,作为上邻及下邻而选择出摄影对象外区域122,作为右邻而选择出周期TCCYCLE摄影区域120C;在摄像机终端101C中,作为左邻而选择出周期TBCYCLE摄影区域120B,作为上邻、下邻及右邻而选择出摄影对象外区域122。
接着在步骤402中,计算表示步骤401中选择出的摄影区域和本摄像机终端的摄影区域重叠的区域——重复区域的大小的量。该计算的方法如图26(b)所示,可以根据选择出的摄影区域位置及本摄像机终端的摄影区域位置的大小关系来简单地计算。因此,在摄像机终端101A中,算出表示左邻的重复区域——摄影对象外重复区域AL的大小的量XTL-XAL、表示右邻的重复区域——摄影重复区域AB的大小的量XAR-XBL、表示上邻的重复区域——摄影对象外重复区域AU的大小的量YTU-YAU、表示下邻的重复区域——摄影对象外重复区域AB的大小的量YAB-YTB;在摄像机终端101B中,算出表示左邻的重复区域——摄影重复区域AB的大小的量XAR-XBL、表示右邻的重复区域——摄影重复区域BC的大小的量XBR-XCL、表示上邻的重复区域——摄影对象外重复区域BU的大小的量YTU-YBU、表示下邻的重复区域——摄影对象外重复区域BB的大小的量YBB-YTB;在摄像机终端101C中,算出表示左邻的重复区域——摄影重复区域BC的大小的量XBR-XCL、表示右邻的重复区域——摄影对象外重复区域CR的大小的量XCR-XTR、表示上邻的重复区域——摄影对象外重复区域CR的大小的量YTU-YCU、表示下邻的重复区域——摄影对象外重复区域CB的大小的量YCB-YTB。
接着在步骤403中,调整本摄像机终端的摄影区域位置,使得步骤402中算出的表示重复区域的大小的量接近一定的量COVERLAP。以下说明该调整的方法。首先,决定函数FA()作为表示代表重复区域的大小的量和0或0以上的一定量COVERLAP之差的量。在本实施方式中,将式34至式36所示的函数设为该函数。
[式34]
...(式34)
[式35]
...(式35)
[式36]
...(式36)
式34至式36分别是摄像机终端101A至摄像机终端101C的函数,将表示重复区域的大小的量和一定量COVERLAP之差的平方值设为表示各个差的量。接着,用式37至式39所示众所周知的最速下降法的式子,来计算本摄像机终端的下次的摄影区域位置。
[式37]
...(式37)
[式38]
...(式38)
[式39]
...(式39)
在式37至式39中,X’AL、X’AR、Y’AU、Y’AB、X’BL、X’BR、Y’BU、Y’BB、X’CL、X’CR、Y’CU、Y’CB分别表示下次的各摄像机终端的周期TACYCLE摄影区域120A至周期TCCYCLE摄影区域120C的位置,α是常数。最后分别将摄像机终端101A至摄像机终端101C的周期TCYCLE摄影区域位置调整到该周期TCYCLE摄影区域位置。其中,在上述手法中,在摄像机终端101A中,需要能够分别独立调整周期TACYCLE摄影区域120A的位置——XAL 130AL、XAR 130AR、XAU 130AU及XAB130AB。在摄像机终端101B及摄像机终端101C中也同样。在不能独立调整的情况下,定义将不能分别独立调整的项目的函数FA()线性相加所得的函数,对该函数采用最速下降法即可。例如,在本实施方式的摄像机201中,将周期TCYCLE摄像机水平视场角ΘbH及周期TCYCLE摄像机垂直视场角ΘbV设为了固定值,所以不能独立调整XAL130AL及XAR 130AR,也不能独立调整XAU 130AU及XAB 130AB,但是如果这样将函数G()设为式40至式42所示的函数,采用式43至式45所示的最速下降法,则能够进行与上述调整同样的调整。在上述式子中,ΘbPA及ΘbTA、ΘbPB及ΘbTB、ΘbPC及ΘbTC分别是各摄像机终端101A至摄像机终端101C的周期TCYCLE摄像机摇摄角及周期TCYCLE摄像机倾斜角。
[式40]
...(式40)
[式41]
...(式41)
[式42]
...(式42)
[式43]
...(式43)
[式44]
...(式44)
[式45]
...(式45)
调整部A 202依次进行步骤401、步骤402、步骤403的处理,在步骤403的处理结束后返回到步骤401的处理。然后,调整部A202一边不断重复步骤401至步骤403的处理,一边将通过上述式子算出的周期TCYCLE摄像机摇摄角Θb’PA(或Θb’PB或Θb’PC)及周期TCYCLE摄像机倾斜角Θb’TA(或Θb’TB或Θb’TC)的更新值送至周期摄影控制部215,调整摄像机201的周期TCYCLE摄影区域的位置。
本实施方式的摄影区域调整装置的动作如上所述,在步骤403中用最速下降法的式子来计算本摄像机终端的下次的周期TCYCLE摄影区域位置,使得表示重复区域的大小的量接近0或0以上的一定量COVERLAP;将摄像机201的周期TCYCLE摄影区域位置调整到该下次的周期TCYCLE摄影区域位置,所以通过重复进行步骤401至步骤403的处理,作为各摄像机终端101A至摄像机终端101C的周期TCYCLE摄影区域的周期TACYCLE摄影区域120A、周期TBCYCLE摄影区域120B、周期TCCYCLE摄影区域120C及摄影对象外区域122,相互以0或0以上的一定量COVERLAP的大小来重叠。如图26所示,如果包含摄影对象外区域122在内的各摄像机终端的周期TCYCLE摄影区域分别以0或0以上的一定量COVERLAP的大小来重叠,则摄影对象区域121被包括在各摄像机终端的周期TCYCLE摄影区域之和的区域中,所以本发明的摄影区域调整装置能够用各摄像机终端101A至摄像机终端101C来无死角地拍摄摄影对象区域121。
此外,通过使调整部A 202重复进行步骤401至步骤403的处理,得到了无死角地拍摄摄影对象区域121这一效果。该重复进行的处理的步骤402及步骤403的处理是对步骤401中选择出的与本摄像机终端的周期TCYCLE摄影区域相邻的其他摄像机的周期TCYCLE摄影区域及摄影对象外区域122进行的。
因此,能够得到下述效果:即使在各时刻与本摄像机终端的周期TCYCLE摄影区域相邻的其他摄像机的周期TCYCLE摄影区域的位置或摄影对象外区域122的位置(也是摄影对象区域121的位置)发生了变化,也能应对该变化,无死角地拍摄摄影对象区域121。作为上述周期TCYCLE摄影区域或摄影对象区域121的位置发生变化的情况,可以列举:
(1)有意变更了摄像机终端的周期TCYCLE摄影区域,
(2)新设了摄像机终端,
(3)各摄像机终端中的几个摄像机终端被去除或发生故障,
(4)变更了要从操作终端发送的摄影对象区域的位置。
本发明对这些变化状况的动作在后述实施方式6及实施方式7中有记载,但是即使由于这些变化,而使各摄像机终端要发送的周期TCYCLE摄影区域位置或操作终端要发送的摄影对象区域位置变化,或者发送了不该发送的新的周期TCYCLE摄影区域位置,本发明的摄影区域调整装置也能够按照周期TCYCLE摄影区域位置或摄影对象区域位置的变化,用各摄像机终端来无死角地拍摄摄影对象区域。
其中,在本实施方式中,将表示代表重复区域的大小的量和0或0以上的一定量COVERLAP之差的函数FA(),如式34至式36或式40至式42所示,设为表示重复区域的大小的量和一定量COVERLAP之差的平方值,但是即使如图30所示,将函数FA()设为表示重复区域的大小的量和一定量COVERLAP之差的4次方值、6次方值、10次方值等差的偶数次方值,或者将函数FA()设为表示重复区域的大小的量和一定量COVERLAP之差的绝对值,由于这些函数FA()在XAL-XTL为COVERLAP时具有最小值,所以通过步骤403中进行的最速下降法的效果,表示重复区域的大小的量接近一定量COVERLAP,所以当然也能得到同样的效果。
此外,即使表示重复区域的大小的量和0或0以上的一定量COVERLAP之差的函数FA()是图31所示的、在XAL-XTL为COVERLAP时不是具有最小值、而是具有极小值的函数FA(),只要是在XAL-XTL可变化的范围内在XAL-XTL为COVERLAP时达到最小值的函数FA(),则当然也能得到同样的效果。
此外,作为重复区域的大小,将0或0以上的一定量COVERLAP设为目标值,但是一定量COVERLAP最好是比0大的值。由于保证了虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)不仅相接、而且重合,所以能更可靠地完全拍摄摄影对象区域,并且如后所述,容易进行将各虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的图像合成为1枚图像时的合成处理(拼贴处理)。
此外,在本实施方式中,如图27所示,调整部A 202分散存在于各摄像机终端101A至摄像机终端101C中,但是如果只存在1个调整部A 202,该只存在1个的调整部A 202调整各摄像机终端101A至摄像机终端101C的摄像机201的所有周期TCYCLE摄影区域位置,则当然能得到同样的效果。
此外,在本实施方式中,将网络103看作一般的通信时利用的网络线路,但是不管该网络103是有线或无线的网络,当然都能得到同样的效果。
此外,在本实施方式中,将左右上下邻的重复区域的大小调整到共同的一定量COVERLAP,但是即使调整到左右上下邻不同的一定量COVERLAP,进一步说,即使调整到各摄像机终端101A至摄像机终端101C分别不同的一定量COVERLAP,只要各一定量COVERLAP是0或0以上,则当然也能得到同样的效果。
此外,在本实施方式中,通过调整周期TCYCLE摄像机的摇摄角ΘbP及倾斜角ΘbT来进行调整更新,将周期TCYCLE摄像机的水平视场角ΘbH及垂直视场角ΘbV设为固定值。但是,由于周期TCYCLE摄像机的摄影区域位置根据周期TCYCLE摄像机的水平视场角ΘbH及垂直视场角ΘbV来变化,所以如果将周期TCYCLE摄像机的摇摄角ΘbP及倾斜角ΘbT设为固定值,对周期TCYCLE摄像机的水平视场角ΘbH及垂直视场角ΘbV,设置与调整部A 202同样的部件,通过式46所示的式子来进行调整更新,则当然也能得到同样的效果。同样,不仅周期TCYCLE摄像机的水平视场角ΘbH及垂直视场角ΘbV,时刻T摄像机的水平视场角ΘaH及垂直视场角ΘaV、摇摄速度VP_CONST、倾斜速度VT_CONST、摄影期间TS也同样。
[式46]
...(式46)
再者,如果用调整部A 202通过式47所示的式子来调整更新周期TCYCLE摄像机的摇摄角ΘbP及倾斜角ΘbT,用与调整部A 202同样的调整部通过式47所示的式子来调整更新周期TCYCLE摄像机的水平视场角ΘbH及垂直视场角ΘbV,则当然能得到同样的效果。同样,不仅周期TCYCLE摄像机的水平视场角ΘbH及垂直视场角ΘbV,时刻T摄像机的水平视场角ΘaH及垂直视场角ΘaV、摇摄速度VP_CONST、倾斜速度VT_CONST、摄影期间TS也同样。
[式47]
...(式47)
(实施方式2)
接着,说明本发明的实施方式2。在本实施方式中,用图32至图33来说明摄影区域调整装置,它自动调整各摄像机终端的摄像机的周期TCYCLE摄影区域,使得各摄像机终端的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖规定的摄影对象区域,而且进行自动调整,使得各摄像机终端的摄像机的摄影周期TCYCLE相同。
首先,说明各摄像机终端的摄像机的摄影周期TCYCLE相同的优点。上述实施方式1中说明过的摄影区域调整装置能够用各摄像机终端的摄像机的摄影区域来完全覆盖规定的摄影对象区域,但是单凭这样,各摄像机终端的摄像机的摄影周期TCYCLE还不一定相等。在摄像机终端的摄像机的摄影周期TCYCLE不等的情况下,例如,在某个特定的摄像机终端的摄影区域TCYCLE极端长的情况下,该摄像机终端拍摄的周期TCYCLE摄影区域的图像的更新速率等变慢,发现该周期TCYCLE摄影区域内的检测对象所需的时间变慢。这在将本发明的摄影区域调整装置用于监视用途的情况下成为问题。因此,希望各摄像机终端的摄像机的摄影周期TCYCLE没有差异,大致相等。
接着,说明本实施方式的摄影区域调整装置的构成要素。图32是与图26(a)中的各摄像机终端101A~101C相当的本实施方式的摄像机201的结构方框图。各摄像机终端101A~101C分别至少由摄像机201、调整部A202、通信部203、周期视场角调整部A 204构成。摄像机201由这些镜头211、摄像面212、图像处理部213、姿态控制部214、周期摄影控制部215构成。在图32中,摄像机201、调整部A 202、通信部203、镜头211、摄像面212、图像处理部213、姿态控制部214、周期摄影控制部215与图27所示的实施方式1的各摄像机终端101A~101C的结构方框图相同。在图32所示的本实施方式的各摄像机终端101A~101C的结构方框图中,周期TCYCLE摄像机水平视场角ΘbH及周期TCYCLE摄像机垂直视场角ΘbV不是固定值,添加了作为调整、输出这些摄像机201的周期TCYCLE摄影区域的视场角的处理部的周期视场角调整部A 204。
实施方式1和本实施方式的构成要素的差异就是这些,摄影区域调整装置的结构与图26(a)相同,摄影区域调整装置的实际空间面113上的各摄影区域位置与图26(b)相同,操作终端102的结构与图28相同。
由于添加了周期视场角调整部A204,在本实施方式中,用调整部A 202和周期视场角调整部A 204,除了实施方式1的调整外,还调整本摄像机终端的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的位置及摄影周期,使得本摄像机终端的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的摄影周期、和与该虚拟摄影区域相邻的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的摄影周期大致相同。
接着,说明本实施方式的摄影区域调整装置的动作。本实施方式只对实施方式1添加了周期视场角调整部A 204,该周期视场角调整部A 204向周期摄影控制部215发送了周期TCYCLE摄像机水平视场角ΘbH及周期TCYCLE摄像机垂直视场角ΘbV,所以当然具有实施方式1中记载的所有效果。即,自动调整各摄像机终端的摄像机的摄影区域,使得各摄像机终端的摄像机的摄影区域之和的区域完全覆盖规定的摄影对象区域。
周期视场角调整部A204将摄像机201的周期TCYCLE摄影区域的视场角信息经通信部203及网络103周期性地发送到其他摄像机终端的周期视场角调整部A 204。此外,周期视场角调整部A 204接收从其他摄像机终端的周期视场角调整部A 204周期性地发送的其他摄像机终端中的摄像机201的周期TCYCLE摄影区域的视场角信息。因此,在各摄像机终端101A~101C中,周期视场角调整部A 204周期性地取得了本摄像机终端及其他摄像机终端的摄像机201中的周期TCYCLE摄影区域的视场角信息,在本实施方式中,各周期视场角调整部A204经通信部203及网络103周期性地取得摄像机终端101A的周期TACYCLE摄影区域120A的视场角——ΘbHA及ΘbVA(分别为水平视场角及垂直视场角)、摄像机终端101B的周期TBCYCLE摄影区域120B的视场角——ΘbHB及ΘbVB、摄像机终端101C的周期TCCYCLE摄影区域120C的视场角——ΘbHC及ΘbVC。
进而,周期视场角调整部A 204根据取得的上述周期TCYCLE摄影区域的视场角信息,进行图33所示的以下的步骤的处理。
首先在步骤801中,选择与本摄像机终端的周期TCYCLE摄影区域相邻的其他摄像机终端的周期TCYCLE摄影区域。该处理在实施方式1中说明过了,所以省略其说明。这是也用调整部A 202进行的处理,也可以沿用调整部A 202进行的步骤401的处理结果。其中,调整部A 202有时选择出摄影对象外区域122,所以在选择出摄影对象外区域122的情况下,判定为没有相邻的其他摄像机终端的周期TCYCLE摄影区域即可。
接着在步骤802中,计算表示步骤801中选择出的摄影区域的视场角和本摄像机终端的摄影区域的视场角之差的量。因此,在摄像机终端101A中,计算表示与右邻的摄影区域——周期TBCYCLE摄影区域120B之间的视场角之差的量ΘbHB-ΘbHA及ΘbVB-ΘbVA;在摄像机终端101B中,计算表示与左邻的摄影区域——周期TACYCLE摄影区域120A之间的视场角之差的量ΘbHA-ΘbHB及ΘbVA-ΘbVB、表示与右邻的摄影区域——周期TCCYCLE摄影区域120C之间的视场角之差的量ΘbHC-ΘbHB及ΘbVC-ΘbVB;在摄像机终端101C中,计算表示与左邻的摄影区域——周期TBCYCLE摄影区域120B之间的视场角之差的量ΘbHB-ΘbHC及ΘbVB-ΘbVC。
接着调整本摄像机终端的摄影区域的视场角,使得步骤803、步骤802中算出的表示视场角之差的量接近0。以下说明该调整的方法。首先,决定函数FB()作为表示视场角之差的量。在本实施方式中,将式48至式50所示的函数设为该函数(对于没有相邻的摄影区域的方向,设函数FB()=0)。
[式48]
...(式48)
[式49]
...(式49)
[式50]
...(式50)
式48至式50分别用于摄像机终端101A至摄像机终端101C,将表示视场角之差的量的平方值设为表示各个差的量。接着,如式51至式53所示用众所周知的最速下降法的式子,来计算本摄像机终端的下次的摄影区域的视场角。在式51至式53中,Θb’HA、Θb’VA、Θb’HB、Θb’VB、Θb’HC、Θb’VC分别表示下次的各摄像机终端的周期TACYCLE摄影区域120A至周期TCCYCLE摄影区域120C的视场角,α是常数。最后分别将摄像机终端101A至摄像机终端101C的周期TCYCLE摄影区域的视场角调整到该周期TCYCLE摄影区域的视场角。
[式51]
...(式51)
[式52]
...(式52)
[式53]
...(式53)
周期视场角调整部A 204依次进行步骤801、步骤802、步骤803的处理,在步骤803的处理结束后返回到步骤801的处理。然后,周期视场角调整部A 204一边不断重复步骤801至步骤803的处理,一边将通过上述式子算出的周期TCYCLE摄像机水平视场角Θb’H及周期TCYCLE摄像机垂直视场角Θb’V的更新值送至周期摄影控制部215,调整摄像机201的周期TCYCLE摄影区域的视场角。
本实施方式的摄影区域调整装置的动作如上所述,在步骤803中用最速下降法的式子来计算本摄像机终端的下次的周期TCYCLE摄影区域的视场角,使得表示视场角之差的量接近0;将摄像机201的周期TCYCLE摄影区域的视场角调整到该下次的周期TCYCLE摄影区域的视场角,所以通过重复进行步骤801至步骤803的处理,各摄像机终端101A至摄像机终端101C的周期TCYCLE摄影区域——周期TACYCLE摄影区域120A、周期TBCYCLE摄影区域120B及周期TCCYCLE摄影区域120C的视场角变得相等。即,除了实施方式1的调整外,还调整本摄像机终端的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的位置及摄影周期,使得本摄像机终端的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的摄影周期、和与该虚拟摄影区域相邻的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的摄影周期大致相同。
在各摄像机终端101A至摄像机终端101C中,如果各个周期TCYCLE摄影区域的视场角相等,并且变更各个摄像机201的姿态的摇摄速度VP_CONST及倾斜速度VT_CONST、决定时刻T摄影区域的大小的摄像机201的水平视场角ΘaH及垂直视场角ΘaV相等,则根据周期TCYCLE摄影区域的摄影方法的说明,各摄像机终端101A至摄像机终端101C的摄影周期TCYCLE相等。在本实施方式中,摇摄速度VP_CONST及倾斜速度VT_CONST、水平视场角ΘaH及垂直视场角ΘaV是预先确定的固定值,在各摄像机终端101A至摄像机终端101C中,能够将它们设定为分别相等的值。因此,通过以上的本实施方式的动作,能够使各摄像机终端101A至摄像机终端101C的摄影周期TCYCLE相等。
其中,在上述动作说明中,摇摄速度VP_CONST及倾斜速度VT_CONST、水平视场角ΘaH及垂直视场角ΘaV在各摄像机终端101A至摄像机终端101C中设为分别相等的值,但是如果受各摄像机终端101A至摄像机终端101C的设备性能的限制,不能设为分别相等的值,则可以通过以下的方法,使各摄像机终端101A至摄像机终端101C的摄影周期TCYCLE相等。
根据周期TCYCLE摄影区域的摄影方法的说明,周期TCYCLE摄影区域的摄影周期TCYCLE可以用式54所示的近似式来计算。因此,将步骤802中进行的计算处理设为式55至式57的计算处理,将步骤803中进行的计算处理设为式58至式60的计算处理(其中,周期TCYCLE摄影区域水平尺寸LbH、周期TCYCLE摄影区域垂直尺寸LbV、时刻T摄影区域水平尺寸LaH、时刻T摄影区域垂直尺寸LaV,分别是周期TCYCLE摄影区域的视场角——ΘbH及ΘbV、时刻T摄影区域的视场角——ΘaH及ΘaV的函数)。
[式54]
...(式54)
[式55]
...(式55)
[式56]
...(式56)
[式57]
...(式57)
[式58]
...(式58)
[式59]
...(式59)
[式60]
...(式60)
此外,通过使周期视场角调整部A 204重复进行步骤801至步骤803的处理,得到了使摄影周期TCYCLE相等这一效果。该重复进行的处理——步骤802及步骤803的处理,是对步骤801中选择出的与本摄像机终端的周期TCYCLE摄影区域相邻的其他摄像机的周期TCYCLE摄影区域进行的。
因此,能够得到下述效果:即使在各时刻与本摄像机终端的周期TCYCLE摄影区域相邻的其他摄像机的周期TCYCLE摄影区域的视场角(及摇摄速度VP_CONST、倾斜速度VT_CONST、摄影间隔TS、时刻T摄影区域的视场角)发生了变化,也能应对该变化,使摄影周期TCYCLE相等。作为上述周期TCYCLE摄影区域的摄影周期TCYCLE发生变化的情况,可以列举:
(1)有意变更了摄像机终端的周期TCYCLE摄影区域的视场角(及摇摄速度VP_CONST、倾斜速度VT_CONST、摄影间隔TS、时刻T摄影区域的视场角),
(2)新设了摄像机终端,
(3)各摄像机终端中的几个摄像机终端被去除或发生故障。
本发明对这些变化状况的动作在后述实施方式6及实施方式7中有记载,但是即使由于这些变化,而使各摄像机终端要发送的周期TCYCLE摄影区域的视场角变化,或者发送了不该发送的新的周期TCYCLE摄影区域的视场角,本发明的摄影区域调整装置也能够按照周期TCYCLE摄影区域的视场角的变化,使各摄像机终端的摄影周期TCYCLE相等。
其中,在本实施方式中,将表示视场角之差及摄影周期TCYCLE之差的函数FB(),如式48至式50或式55至式57所示,设为视场角之差或摄影周期TCYCLE之差的平方值,但是与实施方式1同样,即使将函数FB()设为视场角之差或摄影周期TCYCLE之差的4次方值、6次方值、10次方值等差的偶数次方值,或者将函数FB()设为视场角之差或摄影周期TCYCLE之差的绝对值,由于这些函数FB()在视场角之差或摄影周期TCYCLE之差为0时具有最小值,所以通过步骤803中进行的最速下降法的效果,视场角之差或摄影周期TCYCLE之差接近0,所以当然也能得到同样的效果。
此外,与实施方式1同样,即使表示视场角之差或摄影周期TCYCLE之差的函数FB(),是在视场角之差或摄影周期TCYCLE之差为0时不是具有最小值、而是具有极小值的函数FB(),只要是在视场角或摄影周期TCYCLE可变化的范围内在视场角之差或摄影周期TCYCLE之差为0时达到最小值的函数FB(),则当然也能得到同样的效果。
此外,在本实施方式中,如图32所示,周期视场角调整部A 204分散存在于各摄像机终端101A至摄像机终端101C中,但是如果只存在1个周期视场角调整部A 204,该只存在1个的周期视场角调整部A 204调整各摄像机终端101A至摄像机终端101C的摄像机201的所有周期TCYCLE摄影区域的视场角(及摇摄速度VP_CONST、倾斜速度VT_CONST、摄影间隔TS、时刻T摄影区域的视场角),则当然能得到同样的效果。
此外,在本实施方式中,将网络103看作一般的通信时利用的网络线路,但是不管该网络103是有线或无线的网络,当然都能得到同样的效果。
此外,在上述实施方式1中,摄影区域调整装置自动调整各摄像机终端的摄像机的周期TCYCLE摄影区域,使得各摄像机终端的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖规定的摄影对象区域;在本实施方式中,说明了进一步进行自动调整、使得各摄像机终端的摄像机的摄影周期TCYCLE相同的摄影区域调整装置的动作,但是在不能独立进行这些自动调整的情况下,定义将不能分别独立调整的项目的函数FA()及函数FB()线性相加所得的函数,对该函数采用最速下降法即可。例如,如式61所示,定义将函数FA()及函数FB()线性相加所得的函数FAB(),对该函数采用最速下降法即可。
[式61]
(实施方式3)
接着,说明本发明的实施方式3。在本实施方式中,用图34至图35来说明摄影区域调整装置,它自动调整各摄像机终端的摄像机的周期TCYCLE摄影区域,使得各摄像机终端的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖规定的摄影对象区域,而且进行自动调整,使得各摄像机终端的摄像机的摄影周期TCYCLE尽量小。
首先,说明各摄像机终端的摄像机的摄影周期TCYCLE尽量小的优点。上述实施方式1中说明过的摄影区域调整装置能够用各摄像机终端的摄像机的摄影区域来完全覆盖规定的摄影对象区域,但是单凭这样,各摄像机终端的摄像机的摄影周期TCYCLE还不一定尽量小。在摄像机终端的摄像机的摄影周期TCYCLE大的情况下,该摄像机终端拍摄的周期TCYCLE摄影区域的图像的更新速率等变慢,发现该周期TCYCLE摄影区域内的检测对象所需的时间变慢。这在将本发明的摄影区域调整装置用于监视用途的情况下成为问题。因此,希望各摄像机终端的摄像机的摄影周期TCYCLE尽量小。
接着,说明本实施方式的摄影区域调整装置的构成要素。图34是与图26(a)中的各摄像机终端101A~101C的结构方框图。各摄像机终端101A~101C分别至少由摄像机201、调整部A 202、通信部203、周期视场角调整部B 205构成。摄像机201由这些镜头211、摄像面212、图像处理部213、姿态控制部214、周期摄影控制部215构成。在图34中,摄像机201、调整部A 202、通信部203、镜头211、摄像面212、图像处理部213、姿态控制部214、周期摄影控制部215与图27所示的实施方式1的各摄像机终端101A~101C的结构方框图相同。在图34所示的本实施方式的各摄像机终端101A~101C的结构方框图中,周期TCYCLE摄像机水平视场角ΘbH及周期TCYCLE摄像机垂直视场角ΘbV、时刻T摄像机水平视场角ΘaH及时刻T摄像机垂直视场角ΘaV不是固定值,添加了调整、输出这些摄像机201的周期TCYCLE摄影区域及时刻T摄影区域的视场角的处理部——周期视场角调整部B 205。
实施方式1和本实施方式的构成要素的差异就是这些,摄影区域调整装置的结构与图26(a)相同,摄影区域调整装置的实际空间面113上的各摄影区域位置与图26(b)相同,操作终端102的结构与图28相同。
通过添加了周期视场角调整部B 205,在本实施方式中,用调整部A 202和周期视场角调整部B 205,除了实施方式1的调整外,还调整本摄像机终端的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的位置及摄影周期,使得本摄像机终端的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的摄影周期减小。
接着,说明本实施方式的摄影区域调整装置的动作。本实施方式相对实施方式1,只添加了周期视场角调整部B 205,该周期视场角调整部B 205向周期摄影控制部215发送了周期TCYCLE摄像机水平视场角ΘbH及周期TCYCLE摄像机垂直视场角ΘbV、时刻T摄像机水平视场角ΘaH及时刻T摄像机垂直视场角ΘaV,所以当然具有实施方式1中记载的所有效果。即,自动调整各摄像机终端的摄像机的摄影区域,使得各摄像机终端的摄像机的摄影区域之和的区域完全覆盖规定的摄影对象区域。
周期视场角调整部B 205根据本摄像机终端的周期TCYCLE摄影区域的视场角信息,进行图35所示的以下的步骤的处理。
首先在步骤1001中,计算使周期TCYCLE摄像机视场角接近0的、本摄像机终端的周期TCYCLE摄像机视场角的更新值。以下说明该计算的方法。首先,决定函数FC()作为表示周期TCYCLE摄像机视场角的大小的量。在本实施方式中,将式62所示的函数设为该函数。式62分别用于摄像机终端101A至摄像机终端101C,将周期TCYCLE摄像机水平视场角ΘbH和周期TCYCLE摄像机垂直视场角ΘbV之积设为表示各自的大小的量。接着,如式63所示用众所周知的最速下降法的式子,来计算本摄像机终端的周期TCYCLE摄像机视场角的更新值。在式63中,Θb’HA、Θb’VA、Θb’HB、Θb’VB、Θb’HC、Θb’VC分别表示各摄像机终端的周期TACYCLE摄影区域120A至周期TCCYCLE摄影区域120C的周期TCYCLE摄像机视场角的更新值,α是常数。
接着在步骤1002中判断步骤1001中算出的周期TCYCLE摄像机视场角的更新值是否在时刻T摄像机视场角以下,即,周期TCYCLE摄像机水平视场角的更新值Θb’H是否在时刻T摄像机水平视场角ΘaH以下(对垂直视场角,判断周期TCYCLE摄像机垂直视场角的更新值Θb’V是否在时刻T摄像机垂直视场角ΘaV以下)。
[式62]
...(式62)
[式63]
...(式63)
如果周期TCYCLE摄像机视场角的更新值不是在时刻T摄像机视场角以下,则在步骤1003中,将周期TCYCLE摄像机视场角的更新值设为周期TCYCLE摄像机视场角,分别将摄像机终端101A至摄像机终端101C的周期TCYCLE摄影区域的周期TCYCLE视场角调整到该周期TCYCLE摄像机视场角。
而如果周期TCYCLE摄像机视场角的更新值在时刻T摄像机视场角以下,则不能将周期TCYCLE摄像机视场角调整到时刻T摄像机视场角以下,所以在步骤1004中,计算本摄像机终端的时刻T摄像机视场角的更新值,使得时刻T摄像机视场角接近0。以下说明该计算的方法。首先,决定函数FD()作为表示时刻T摄像机视场角的大小的量。在本实施方式中,将式64所示的函数设为该函数。式64分别用于摄像机终端101A至摄像机终端101C,将时刻T摄像机水平视场角ΘaH和时刻T摄像机垂直视场角ΘaV之积设为表示各自的大小的量。接着,如式65所示用众所周知的最速下降法的式子,来计算本摄像机终端的时刻T摄像机视场角的更新值。在式65中,Θa’HA、Θa’VA、Θa’HB、Θa’VB、Θa’HC、Θa’VC分别表示各摄像机终端的周期TACYCLE摄影区域120A至周期TCCYCLE摄影区域120C的时刻T摄像机视场角的更新值,α是常数。
[式64]
...(式64)
[式65]
...(式65)
接着在步骤1005中,将步骤1004中时刻T摄像机视场角的更新值设为时刻T摄像机视场角,分别将摄像机终端101A至摄像机终端101C的周期TCYCLE摄影区域的时刻T摄像机视场角调整到该时刻T摄像机视场角。
周期视场角调整部B 205依次进行步骤1001至步骤1005的处理,在步骤1003或步骤1005的处理结束后返回到步骤1001的处理。然后,周期视场角调整部B 205一边不断重复步骤1001至步骤1005的处理,一边将通过上述式子算出的周期TCYCLE摄像机水平视场角Θb’H及周期TCYCLE摄像机垂直视场角Θb’V或时刻T摄像机水平视场角Θa’H及时刻T摄像机垂直视场角Θa’V的更新值送至周期摄影控制部215,调整摄像机201的周期TCYCLE摄影区域的视场角。
本实施方式的摄影区域调整装置的动作如上所述,在步骤1001或步骤1004中用最速下降法的式子来计算本摄像机终端的下次的周期TCYCLE摄影区域的视场角,使得视场角接近0;将摄像机201的周期TCYCLE摄影区域的视场角调整到该下次的周期TCYCLE摄影区域的视场角,所以通过重复进行步骤1001至步骤1005的处理,各摄像机终端101A至摄像机终端101C的周期TCYCLE摄影区域——周期TACYCLE摄影区域120A、周期TBCYCLE摄影区域120B及周期TCCYCLE摄影区域120C的视场角减小。在各摄像机终端101A至摄像机终端101C中,如果各个周期TCYCLE摄影区域的视场角减小,则根据周期TCYCLE摄影区域的摄影方法的说明,各摄像机终端101A至摄像机终端101C的摄影周期TCYCLE减小。因此,除了实施方式1的调整外,还调整了本摄像机终端的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的位置及摄影周期,使得本摄像机终端的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的摄影周期减小。
此外,通过使周期视场角调整部B 205重复进行步骤1001至步骤1005的处理,得到了使摄影周期TCYCLE减小这一效果。在该重复进行的处理——步骤1001至步骤1005的处理中,未用任何与其他摄像机的周期TCYCLE摄影区域有关的信息。因此,即使在各时刻其他摄像机的周期TCYCLE摄影区域发生了变化,也能与该变化无任何关系地得到使摄影周期TCYCLE减小这一效果。
其中,在本实施方式中,将函数FC()及函数FD()分别如式62及式57所示,设为水平视场角和垂直视场角之积,但是即使将函数FC()及函数FD()分别设为水平视场角和垂直视场角之积的N次方值(N为正的实数),由于这些函数FC()及函数FD()在视场角的大小为0时具有最小值,所以通过步骤1001及步骤1004中进行的最速下降法的效果,视场角的大小也接近0,所以当然能得到同样的效果。
此外,与实施方式1同样,即使表示视场角的大小的函数FC()及函数FD()是在视场角的大小为0时不是具有最小值、而是具有极小值的函数FC()及函数FD(),只要是在视场角可变化的范围内在视场角的大小为0时达到最小值的函数FC()及函数FD(),则当然也能得到同样的效果。
此外,在本实施方式中,如图34所示,周期视场角调整部B 205分散存在于各摄像机终端101A至摄像机终端101C中,但是如果只存在1个周期视场角调整部B 205,该只存在1个的周期视场角调整部B 205调整各摄像机终端101A至摄像机终端101C的摄像机201的所有周期TCYCLE摄影区域的视场角,则当然能得到同样的效果。
此外,在本实施方式中,将网络103看作一般的通信时利用的网络线路,但是不管该网络103是有线或无线的网络,当然都能得到同样的效果。
此外,在上述实施方式1中,摄影区域调整装置自动调整各摄像机终端的摄像机的周期TCYCLE摄影区域,使得各摄像机终端的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖规定的摄影对象区域;在本实施方式中,说明了进一步进行自动调整、使得各摄像机终端的摄像机的摄影周期TCYCLE减小的摄影区域调整装置的动作,但是在不能独立进行这些自动调整的情况下,定义将不能分别独立调整的项目的函数FA()及函数FC()线性相加所得的函数,对该函数采用最速下降法即可。例如,如式66所示,定义将函数FA()及函数FC()线性相加所得的函数FAC(),对该函数采用最速下降法即可。
[式66]
...(式66)
此外,在本实施方式中,通过图35所示的流程图的处理,进行了使周期TCYCLE摄影区域的视场角变为时刻T摄影区域的视场角以下的处理。在上述实施方式1、实施方式2及实施方式4中,如果需要使周期TCYCLE摄影区域的视场角在时刻T摄影区域的视场角以下,则可以通过包含图35所示的流程图的处理来实现它。
(实施方式4)
接着,说明本发明的实施方式4。在本实施方式中,用图29至图32来说明摄影区域调整装置,它自动调整各摄像机终端的摄像机的周期TCYCLE摄影区域的位置,使得各摄像机终端的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖规定的摄影对象区域,而且将各摄像机终端的摄像机的周期TCYCLE摄影区域的纵横比自动调整到规定的纵横比,从而高效率地拍摄规定的摄影对象区域。其中,在本实施方式中,将规定的纵横比设为时刻T摄影区域的纵横比。
首先,说明纵横比。本实施方式中所谓的摄影区域的纵横比,是指时刻T摄影区域或周期TCYCLE摄影区域的纵横比,这与一般所说的纵横比相同。而根据图12(a)及图12(b),该纵横比也可以表现为摄像机的水平视场角和垂直视场角之比。因此,在本实施方式4中,将周期TCYCLE摄影区域的纵横比表现为周期TCYCLE摄像机水平视场角ΘbH/周期TCYCLE摄像机垂直视场角ΘbV,将时刻T摄影区域的纵横比表现为时刻T摄像机水平视场角ΘaH/时刻T摄像机垂直视场角ΘaV。
接着,用图36及图37举几个例子来说明通过将各摄像机终端的摄像机的周期TCYCLE摄影区域的纵横比自动调整到时刻T摄影区域的纵横比来高效率地拍摄规定的摄影对象区域。其中,所谓高效率的拍摄,是指为了拍摄同一虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域),摄像机的运动只要很少即可,或者与相邻的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的重叠区域只要很小即可。
图36(a)及图36(b)、图37(a)及图37(b)示出通过实施方式1中说明过的动作来自动调整各摄像机终端的摄像机的周期TCYCLE摄影区域的位置、使得各摄像机终端的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖规定的摄影对象区域的例子。在这些图中,摄像机终端101B、周期TACYCLE摄影区域120A、周期TBCYCLE摄影区域120B、周期TCCYCLE摄影区域120C、摄影对象区域121与实施方式1的图26(a)相同。此外,时刻T摄影区域2701、时刻T摄像机水平视场角ΘaH 2702、时刻T摄像机垂直视场角ΘaV 2703、周期TCYCLE摄像机水平视场角ΘbH 2704、周期TCYCLE摄像机垂直视场角ΘbV 2705与图12(a)及(b)中的时刻T摄影区域5202、时刻T摄像机水平视场角ΘaH 5204、时刻T摄像机垂直视场角ΘaV 5205、周期TCYCLE摄像机水平视场角ΘbH 5212、周期TCYCLE摄像机垂直视场角ΘbV 5213相同,它们都用于摄像机终端101B。
首先用图36来说明第1例。图36(a)示出了时刻T摄像机水平视场角Θa
H≥周期T
CYCLE摄像机水平视场角Θb
H、时刻T摄像机垂直视场角Θa
V≥周期T
CYCLE摄像机垂直视场角Θb
V,这样水平、垂直方向都是周期TB
CYCLE摄影区域120B的视场角在摄像机终端101B的时刻T摄影区域的视场角以下的例子。而图36(b)示出了时刻T摄像机水平视场角Θa
H<周期T
CYCLE摄像机水平视场角Θb
H、时刻T摄像机垂直视场角Θa
V≥周期T
CYCLE摄像机垂直视场角Θb
V,这样在水平方向上周期TB
CYCLE摄影区域120B的视场角在摄像机终端101B的时刻T摄影区域的视场角以下的例子。根据上述周期T
CYCLE摄影区域的摄影方法,在图36(a)所示的例子中,摄像机终端101B的时刻T摄影区域能够一次拍摄整个周期TB
CYCLE摄影区域120B(周期T
CYCLE=0),其结果是,处于能够始终拍摄整个周期TB
CYCLE摄影区域120B的状态。但是,在图36(b)所示的例子中,摄像机终端101B的时刻T摄影区域不能一次拍摄整个周期TB
CYCLE摄影区域120B(周期T
CYCLE≠0),其结果是,处于不能始终拍摄整个周期TB
CYCLE摄影区域120B的状态。如果可能,自动调整各摄像机终端的摄像机的周期T
CYCLE摄影区域的位置,使得各摄像机终端的摄像机的周期T
CYCLE摄影区域之和的区域完全覆盖规定的摄影对象区域,其结果是,可以说,与图36(b)所示的例子相比,图36(a)所示的例子那样的能够始终拍摄的,作为监视所用的装置更理想,摄影效率更高。相对于图36(b)所示的例子,图36(a)所示的例子是时刻T摄像机水平视场角Θa
H/时刻T摄像机垂直视场角Θa
V 周期T
CYCLE摄像机水平视场角Θb
H/周期T
CYCLE摄像机垂直视场角Θb
V、即、时刻T摄影区域纵横比
周期T
CYCLE摄影区域纵横比的例子;而相对于图36(a)所示的例子,图36(b)所示的例子是时刻T摄像机水平视场角Θa
H/时刻T摄像机垂直视场角Θa
V≠周期T
CYCLE摄像机水平视场角Θb
H/周期T
CYCLE摄像机垂直视场角Θb
V、即时刻T摄影区域纵横比≠周期T
CYCLE摄影区域纵横比的例子。由此可以说,周期T
CYCLE摄影区域的纵横比与时刻T摄影区域的纵横比大致相同时,则摄影效率高。
接着用图37来说明第2例。在图37(a)中,时刻T摄像机水平视场角Θa
H>周期T
CYCLE摄像机水平视场角Θb
H、时刻T摄像机垂直视场角Θa
V≥周期T
CYCLE摄像机垂直视场角Θb
V,而在图37(b)中,时刻T摄像机水平视场角Θa
H≥周期T
CYCLE摄像机水平视场角Θb
H、时刻T摄像机垂直视场角Θa
V>周期T
CYCLE摄像机垂直视场角Θb
V,这样两个例子都是水平、垂直方向均为周期TB
CYCLE摄影区域120B的视场角在摄像机终端101B的时刻T摄影区域的视场角以下。因此在该两例中,处于能够始终拍摄整个周期TB
CYCLE摄影区域120B的状态,在这一点上摄影效率高。但是,图37(a)示出了时刻T摄像机水平视场角Θa
H/时刻T摄像机垂直视场角Θa
V>周期T
CYCLE摄像机水平视场角Θb
H/周期T
CYCLE摄像机垂直视场角Θb
V、即、时刻T摄影区域纵横比>周期T
CYCLE摄影区域纵横比的例子;相反,图37(b)示出了时刻T摄像机水平视场角Θa
H/时刻T摄像机垂直视场角Θa
V<周期T
CYCLE摄像机水平视场角Θb
H/周期T
CYCLE摄像机垂直视场角Θb
V、即、时刻T摄影区域纵横比<周期T
CYCLE摄影区域纵横比的例子。因此,根据上述周期T
CYCLE摄影区域的摄影方法,两例都如图37(a)及(b)所示,摄像机终端101B的时刻T摄影区域在拍摄周期TB
CYCLE摄影区域120B时,在水平方向或垂直方向上,会拍摄到摄像机终端101A及摄像机终端101C拍摄的周期TA
CYCLE摄影区域120A及周期TC
CYCLE摄影区域120C的区域。周期TA
CYCLE摄影区域120A及周期TC
CYCLE摄影区域120C的区域分别是摄像机终端101A及摄像机终端101C拍摄的区域。因此,摄像机终端101B无谓地连这些区域也重复拍摄了。如果可能,图36(a)所示的例子那样的、摄像机终端101B只拍摄周期TB
CYCLE摄影区域120B,能拍摄比以上区域更窄的区域,其结果是,能取得提高了拍摄该区域时的分辨率的更详细的图像,可以说摄影效率高。相对于图36(a)所示的例子,图37(a)及图37(b)所示的例子是时刻T摄像机水平视场角Θa
H/时刻T摄像机垂直视场角Θa
V≠周期T
CYCLE摄像机水平视场角Θb
H/周期T
CYCLE摄像机垂直视场角Θb
V、即时刻T摄影区域纵横比≠周期T
CYCLE摄影区域纵横比的例子;相对于图37(a)及图37(b)所示的例子,图36(a)所示的例子是时刻T摄像机水平视场角Θa
H/时刻T摄像机垂直视场角Θa
V 周期T
CYCLE摄像机水平视场角Θb
H/周期T
CYCLE摄像机垂直视场角Θb
V、即时刻T摄影区域纵横比
周期T
CYCLE摄影区域纵横比的例子。由此也可以说,周期T
CYCLE摄影区域的纵横比与时刻T摄影区域的纵横比大致相同时,摄影效率高。
接着,说明本实施方式的摄影区域调整装置的构成要素。图38是与图26(a)中的各摄像机终端101A~101C相当的本实施方式的摄像机201的结构方框图。各摄像机终端101A~101C分别至少由摄像机201、调整部C 208、通信部203构成。摄像机201由镜头211、摄像面212、图像处理部213、姿态控制部214、周期摄影控制部215构成。在图38中,摄像机201、通信部203、镜头211、摄像面212、图像处理部213、姿态控制部214、周期摄影控制部215与图27所示的实施方式1的各摄像机终端101A~101C的结构方框图相同。在图38所示的本实施方式的各摄像机终端101A~101C的结构方框图中,实施方式1中的调整部A202被变更为调整部C 208。
该调整部C 208是除了实施方式1的调整外、还调整本摄像机终端的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的位置及纵横比、使得本摄像机终端的虚拟摄影区域(在本实施方式中为周期TCYCLE摄影区域)的纵横比成为规定的目标量的处理部。
实施方式1和本实施方式的构成要素的差异就是这些,摄影区域调整装置的结构与图26(a)相同,摄影区域调整装置的实际空间面113上的各摄影区域位置与图26(b)相同,操作终端102的结构与图28相同。在图26(b)中,周期TACYCLE摄影区域120A的横(XW轴110)向的大小是XAR-XAL,纵(YW轴111)向的大小是YAB-YAU,周期TACYCLE摄影区域120A的纵横比是(XAR-XAL)/(YAB-YAU)。周期TBCYCLE摄影区域120B的横向的大小是XBR-XBL,纵向的大小是YBB-YBU,纵横比是(XBR-XBL)/(YBB-YBU)。周期TCCYCLE摄影区域120C的横向的大小是XCR-XCL,纵向的大小是YCB-YCU,纵横比是(XCR-XCL)/(YCB-YCU)。此外,周期TACYCLE摄影区域120A的纵横比是ΘbHA/ΘbVA,周期TBCYCLE摄影区域120B的纵横比是ΘbHB/ΘbVB,周期TCCYCLE摄影区域120C的纵横比是ΘbHC/ΘbVC,
接着,说明本实施方式的摄影区域调整装置的动作。本实施方式只是将实施方式1中的调整部A 202变更为调整部C 208,所以以下只说明该调整部C 208的动作。
调整部C 208与调整部A 202同样,将从周期摄影控制部215送来的摄像机201的周期TCYCLE摄影区域的位置信息经通信部203及网络103,周期性地发送到其他摄像机终端的调整部C 208。此外,调整部C 208也与调整部A 202同样,接收从其他摄像机终端的调整部C 208周期性地发送的其他摄像机终端中的摄像机201的周期TCYCLE摄影区域的位置信息。因此,在各摄像机终端101A~101C中,调整部C 208与实施方式1同样,周期性地取得了本摄像机终端及其他摄像机终端的摄像机201中的周期TCYCLE摄影区域的位置信息及摄影对象区域121的位置信息。
进而,调整部C 208根据取得的上述周期TCYCLE摄影区域的位置信息及摄影对象区域121的位置信息(也是摄影对象外区域122的位置信息),与实施方式1同样来进行图39所示的步骤的处理。
首先在步骤3001中,从表示本摄像机终端及其他摄像机终端的摄像机201的周期TCYCLE摄影区域位置的信息中,选择与本摄像机终端的周期TCYCLE摄影区域相邻的其他摄像机终端的周期TCYCLE摄影区域或摄影对象外区域122。该步骤的处理与实施方式1(图29的步骤401)相同。
接着在步骤3002中,计算表示步骤3001中选择出的摄影区域和本摄像机终端的摄影区域重复的区域——重复区域的大小的量。该步骤的处理也与实施方式1(图29的步骤402)相同。
接着在步骤3003中,调整本摄像机终端的摄影区域的位置,使得步骤3002中算出的表示重复区域的大小的量接近一定的量COVERLAP;而且调整本摄像机终端的摄影区域的纵横比,使得摄影区域的纵横比接近一定量CASPECT。以下说明该调整的方法。决定与实施方式1同样的式67至式69所示的函数FA(),作为表示代表重复区域的大小的量和0以上的一定量COVERLAP之差的量。此外,决定函数FE()作为表示摄影区域的纵横比和一定量CASPECT之差的量。在本实施方式中,将式70所示的函数设为该函数。然后,决定这些函数FA()及函数FE()的线性和——式71所示的函数FX()。在式71中,βA和βB是常数。
[式67]
...(式67)
[式68]
...(式68)
[式69]
...(式69)
[式70]
...(式70)
[式71]
...(式71)
接着,如式72至式74所示用众所周知的最速下降法的式子,来计算本摄像机终端的下次的摄影区域位置。
[式72]
...(式72)
[式73]
...(式73)
[式74]
...(式74)
调整部C 208依次进行步骤3001、步骤3002、步骤3003的处理,在步骤3003的处理结束后返回到步骤3001的处理。然后,调整部C208一边不断重复步骤3001至步骤3003的处理,一边将通过上述式子算出的周期TCYCLE摄像机摇摄角Θb’PA(或Θb’PB或Θb’PC)、周期TCYCLE摄像机倾斜角Θb’TA(或Θb’TB或Θb’TC)、周期TCYCLE摄像机水平视场角Θb’HA(或Θb’HB或Θb’HC)、及周期TCYCLE摄像机垂直视场角Θb’VA(或Θb’VB或Θb’VC)的更新值送至周期摄影控制部215,调整摄像机201的周期TCYCLE摄影区域的位置。
本实施方式的摄影区域调整装置的动作如上所述,在步骤3003中用最速下降法的式子来计算本摄像机终端的下次的周期TCYCLE摄影区域位置,使得表示重复区域的大小的量接近0以上的一定量COVERLAP;将摄像机201的周期TCYCLE摄影区域位置调整到该下次的周期TCYCLE摄影区域位置,所以通过重复进行步骤3001至步骤3003的处理,各摄像机终端101A至摄像机终端101C的周期TCYCLE摄影区域——周期TACYCLE摄影区域120A、周期TBCYCLE摄影区域120B、周期TCCYCLE摄影区域120C及摄影对象外区域122,相互以0以上的一定量COVERLAP的大小来重叠。如图26所示,如果包含摄影对象外区域122在内的各摄像机终端的周期TCYCLE摄影区域分别以0以上的一定量COVERLAP的大小来重叠,则摄影对象区域121被包括在各摄像机终端的周期TCYCLE摄影区域之和的区域中,所以本发明的摄影区域调整装置能够用各摄像机终端101A至摄像机终端101C来无死角地拍摄摄影对象区域121。
此外,在步骤3003中用最速下降法的式子来计算本摄像机终端的下次的周期TCYCLE摄影区域的纵横比,使得摄影区域的纵横比接近一定量CASPECT;将摄像机201的周期TCYCLE摄影区域的纵横比调整到该下次的周期TCYCLE摄影区域的纵横比,所以各摄像机终端101A~101C的周期TCYCLE摄影区域——周期TACYCLE摄影区域120A、周期TBCYCLE摄影区域120B及周期TCCYCLE摄影区域120C的纵横比被调整到一定量CASPECT。如果将一定量CASPECT设为各摄像机终端101A~101C的时刻T摄影区域的纵横比,则各摄像机终端的摄像机的周期TCYCLE摄影区域的纵横比被调整到时刻T摄影区域的纵横比,所以如上所述,本发明的摄影区域调整装置能够高效率地拍摄规定的摄影对象区域——摄影对象区域121。
此外,通过使调整部B 208重复进行步骤3001至步骤3003的处理,得到了无死角地、而且高效率地拍摄摄影对象区域121这一效果。该重复进行的处理的步骤3002及步骤3003的处理是对步骤3001中选择出的与本摄像机终端的周期TCYCLE摄影区域相邻的其他摄像机的周期TCYCLE摄影区域及摄影对象外区域122进行的。
因此,与实施方式1同样,能够得到下述效果:即使在各时刻与本摄像机终端的周期TCYCLE摄影区域相邻的其他摄像机的周期TCYCLE摄影区域的位置或摄影对象外区域122的位置(也是摄影对象区域121的位置)发生了变化,也能应对该变化,无死角地拍摄摄影对象区域121。作为上述周期TCYCLE摄影区域或摄影对象区域121的位置发生变化的情况,可以列举:
(1)有意变更了摄像机终端的周期TCYCLE摄影区域,
(2)新设了摄像机终端,
(3)各摄像机终端中的几个摄像机终端被去除或发生故障,
(4)变更了要从操作终端发送的摄影对象区域的位置。
本发明对这些变化状况的动作在后述实施方式6及实施方式7中有记载,但是即使由于这些变化,而使各摄像机终端要发送的周期TCYCLE摄影区域位置或操作终端要发送的摄影对象区域位置变化,或者发送了不该发送的新的周期TCYCLE摄影区域位置,本发明的摄影区域调整装置也能够按照周期TCYCLE摄影区域位置或摄影对象区域位置的变化,用各摄像机终端来无死角地拍摄摄影对象区域。
其中,在本实施方式中,作为表示摄影区域的纵横比和一定量CASPECT之差的量,将函数FE(),如式70所示,设为表示摄影区域的纵横比和一定量CASPECT之差的平方值,但是与实施方式1的函数FA()同样,即使将函数FE()设为摄影区域的纵横比和一定量CASPECT之差的4次方值、6次方值、10次方值等差的偶数次方值,或者将函数FE()设为摄影区域的纵横比和一定量CASPECT之差的绝对值,由于这些函数FE()在摄影区域的纵横比为CASPECT时具有最小值,所以通过步骤3003中进行的最速下降法的效果,摄影区域的纵横比接近一定量CASPECT,所以当然也能得到同样的效果。
此外,与实施方式1的函数FA()同样,即使表示摄影区域的纵横比和一定量CASPECT之差的函数FE()是在摄影区域的纵横比为CASPECT时不是具有最小值、而是具有极小值的函数FE(),只要是在摄影区域的纵横比可变化的范围内在摄影区域的纵横比为CASPECT时达到最小值的函数FE(),则当然也能得到同样的效果。
此外,在本实施方式中,如图38所示,调整部C 208分散存在于各摄像机终端101A至摄像机终端101C中,但是如果只存在1个调整部C 208,该只存在1个的调整部C 208调整各摄像机终端101A至摄像机终端101C的摄像机201的所有周期TCYCLE摄影区域位置及纵横比,则当然能得到同样的效果。
此外,在本实施方式中,将网络103看作一般的通信时利用的网络线路,但是不管该网络103是有线或无线的网络,当然都能得到同样的效果。
此外,在本实施方式中,将函数FA()及函数FE()如式71所示进行线性和,并且如式72至式74所示用最速下降法来计算并调整本摄像机终端的下次的摄影区域位置,其中函数FA()表示代表重复区域的大小的量和0以上的一定量COVERLAP之差,用于调整各摄像机终端120A~120C的摄像机的周期TCYCLE摄影区域的位置,使得各摄像机终端120A~120C的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖摄影对象区域121;函数FE()表示摄影区域的纵横比和一定量CASPECT之差,用于调整各摄像机终端120A~120C的摄像机的周期TCYCLE摄影区域的纵横比,以便高效率地拍摄摄影对象区域121。函数FA()及函数FE()的进行了线性和之后的函数FX()在表示重复区域的大小的量为COVERLAP、而且摄影区域的纵横比为CASPECT时达到极小值,但是有可能达不到最小值。在这种情况下,通过进行以下所示的手法,来自动调整各摄像机终端120A~120C的摄像机的周期TCYCLE摄影区域的位置,使得各摄像机终端120A~120C的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖摄影对象区域121,进而通过尽可能将各摄像机终端120A~120C的摄像机的周期TCYCLE摄影区域的纵横比自动调整到规定的纵横比,能够高效率地拍摄摄影对象区域121。
在各摄像机终端120A~120C中,在自身的周期TCYCLE摄影区域与相邻的周期TCYCLE摄影区域或摄影对象外区域122没有重复的区域、或者重复的区域的大小在CASPECT以下的情况下(这可以根据调整部C 208发送接收的各摄像机终端的周期TCYCLE摄影区域及摄影对象区域121的位置信息用调整部C 208来判定),例如将式71所示的βA设为1,将βB设为0。由此,函数FX()只是函数FA()的函数,自动调整各摄像机终端120A~120C的摄像机的周期TCYCLE摄影区域的位置,使得各摄像机终端120A~120C的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖摄影对象区域121。此外,在各摄像机终端120A~120C中,在自身的周期TCYCLE摄影区域与相邻的周期TCYCLE摄影区域或摄影对象外区域122有重复的区域、或者重复的区域的大小在CASPECT以上的情况下,这是已经自动调整了各摄像机终端的摄像机的周期TCYCLE摄影区域的位置、使得各摄像机终端120A~120C的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖摄影对象区域121的情况,所以例如将式71所示的βA设为1,将βB设为1。由此,函数FX()是函数FA()和函数FE()的线性和,进而通过将各摄像机终端120A~120C的摄像机的周期TCYCLE摄影区域的纵横比自动调整到规定的纵横比,能够高效率地拍摄摄影对象区域121。
此外,用图36及图37说明了通过将各摄像机终端120A~120C的摄像机的周期TCYCLE摄影区域的纵横比自动调整到时刻T摄影区域的纵横比、而高效率地拍摄了规定的摄影对象区域。根据这些图36及图37所示的例子,时刻T摄像机水平视场角ΘaH≥周期TCYCLE摄像机水平视场角ΘbH、时刻T摄像机垂直视场角ΘaV≥周期TCYCLE摄像机垂直视场角ΘbV,也是用于高效率地拍摄摄影对象区域121的条件。因此,通过决定函数FH()作为式75所示的表示摄影区域的视场角的大小的量,将式71变更为式76,将式72~式74变更为式77~式79,进而也满足以上的条件,本发明的摄影区域调整装置当然能够调整各摄像机终端120A~120C的周期TCYCLE摄影区域,以便高效率地拍摄摄影对象区域121。
[式75]
...(式75)
[式76]
...(式76)
[式77]
...(式77)
[式78]
...(式78)
[式79]
...(式79)
此外,在本实施方式中,为了简化说明,假设摄影区域的纵横比也能够表现为摄像机的水平视场角和垂直视场角之比。但是,假设按照定义,摄影区域的纵横比是摄影区域的纵横比,则根据上述摄像机的摄影区域位置及视点中说明过的式8~式11,时刻T摄影区域的纵横比由式80来表示。
[式80]
...(式80)
如式80所示,时刻T摄影区域的纵横比是表示摄像机的姿态基准点的M00至M22、及表示从摄像机的姿态基准点的姿态位移的旋转角度ΘP、ΘT、ΘR的函数。这样,周期TCYCLE摄影区域的纵横比根据姿态基准点及从它的位移——旋转角度、即由本发明的摄影区域调整装置时刻调整的时刻T摄像机的摇摄角ΘaP、时刻T摄像机的倾斜角ΘaT、时刻T摄像机的滚动角ΘaR来变化。因此,在调整部C 208重复进行的步骤3003的处理中,假设也是纵横比调整的目标值的式70所示的CASPECT,是根据式80由摄像机的姿态基准点及当前的时刻T摄像机的摇摄角ΘaP、时刻T摄像机的倾斜角ΘaT、时刻T摄像机的滚动角ΘaR算出的值,则本发明的摄影区域调整装置当然能够根据正确的纵横比来调整各摄像机终端120A~120C的周期TCYCLE摄影区域。即,纵横比的目标值最好是由摄影区域的位置及摄像机的设置位置决定的摄影区域的纵横比。
(实施方式5)
接着,说明本发明的实施方式5。在本实施方式中,用图40至图43来说明摄影区域调整装置,它通过采用区域分割的手法,来自动调整各摄像机终端的摄像机的周期TCYCLE摄影区域,使得各摄像机终端的摄像机的周期TCYCLE摄影区域之和的区域完全覆盖规定的摄影对象区域。
首先,说明本实施方式的摄影区域调整装置的构成要素。图40是本实施方式的摄影区域调整装置的结构方框图。该摄影区域调整装置由摄像机终端101A~摄像机终端101C、操作终端102、及网络103构成。在图40中,摄像机终端101A~摄像机终端101C、操作终端102、及网络103与实施方式1相同。再者,在图40中,XW轴110、YW轴111、ZW轴112、实际空间面113、周期TACYCLE摄影区域120A、周期TBCYCLE摄影区域120B、周期TCCYCLE摄影区域120C、摄影对象区域121也与实施方式1相同。在实际空间面113上,140A是摄像机终端101A在周期TACYCLE中周期性地拍摄的周期TACYCLE摄影区域120A的视点——视点A,140B是摄像机终端101B在周期TBCYCLE中周期性地拍摄的周期TBCYCLE摄影区域120B的视点——视点B,140C是摄像机终端101C在周期TCCYCLE中周期性地拍摄的周期TCCYCLE摄影区域120C的视点——视点C。
图41(a)~(c)是图40所示的本实施方式的摄影区域调整装置的实际空间面113上的各周期TCYCLE摄影区域的视点等的详图。在图41(a)中,XW轴110、YW轴111、视点A 140A、视点B 140B、视点C 140C、摄影对象区域121与图40相同。150是连结视点A 140A和视点B140B的线的垂直二等分线——线AB,151是连结视点B 140B和视点C 140C的线的垂直二等分线——线BC,152是连结视点A 140A和视点C 140C的线的垂直二等分线——线AC,150A是用线AB 150及线AC 152来分割摄影对象区域121所得的区域——区域A,150B是用线AB 150及线BC 151来分割摄影对象区域121所得的区域——区域B,150C是用线BC 151及线AC 152来分割摄影对象区域121所得的区域——区域C。
图42是图26(a)中的各摄像机终端101A~101C的结构方框图。各摄像机终端101A~101C分别至少由摄像机201、调整部B 206、通信部203、周期视场角调整部C 207构成。摄像机201由这些镜头211、摄像面212、图像处理部213、姿态控制部214、周期摄影控制部215构成。在图42中,摄像机201、通信部203、镜头211、摄像面212、图像处理部213、姿态控制部214、周期摄影控制部215与图27所示的实施方式1的各摄像机终端101A~101C的结构方框图相同。在图42所示的本实施方式的各摄像机终端101A~101C的结构方框图中,实施方式1中的调整部A202变为调整部B 206,周期TCYCLE摄像机水平视场角ΘbH及周期TCYCLE摄像机垂直视场角ΘbV不是固定值,添加了调整、输出这些摄像机201的周期TCYCLE摄影区域的视场角的处理部——周期视场角调整部C 207。其中,操作终端102的结构与图28相同。
接着,说明本实施方式的摄影区域调整装置的动作。调整部B 206将从周期摄影控制部215送来的摄像机201的周期TCYCLE摄影区域的视点位置信息经通信部203及网络103,周期性地发送到其他摄像机终端的调整部B 206。此外,调整部B 206接收从其他摄像机终端的调整部B 206周期性地发送的其他摄像机终端中的摄像机201的周期TCYCLE摄影区域的视点位置信息。再者,操作终端102的通信部203将摄影对象区域121的位置信息经网络103周期性地发送到各摄像机终端101A~101C的调整部B 206。
因此,在各摄像机终端101A~101C中,调整部B 206周期性地取得了本摄像机终端及其他摄像机终端的摄像机201中的周期TCYCLE摄影区域的视点位置信息及摄影对象区域121的位置信息,在本实施方式中,各调整部B 206经通信部203及网络103周期性地取得:摄像机终端101A的周期TACYCLE摄影区域120A的视点——视点A140A的位置、摄像机终端101B的周期TBCYCLE摄影区域120B的视点——视点B 140B的位置、摄像机终端101C的周期TCCYCLE摄影区域120C的视点——视点C 140C的位置、摄影对象区域121的位置——XTL 131TL、XTR 131TR、YTU 131TU及YTB 131TB。
进而,调整部B 206根据取得的上述周期TCYCLE摄影区域的视点位置信息及摄影对象区域121的位置信息,来进行图43所示的以下的步骤的处理。
首先在步骤1301中,根据本摄像机终端及其他摄像机终端的摄像机201的周期TCYCLE摄影区域的视点位置信息、及摄影对象区域121的位置信息,来对摄影对象区域121进行区域分割。区域分割的手法已经在(区域分割)中说明过了,所以省略,而通过该区域分割,摄影对象区域121如图41(a)~(c)所示,被分割为摄像机终端101A负责的区域A 150A、摄像机终端101B负责的区域B 150B、摄像机终端101C负责的区域C 150C。接着在步骤1302中,调整各摄像机终端的周期TCYCLE摄像机摇摄角及周期TCYCLE摄像机倾斜角:摄像机终端101A的调整部B 206使得从视点A 140A到该摄像机终端负责的区域A 150A的各边的距离(图41(a)中的LA1至LA4)相等;摄像机终端101B的调整部B 206使得从视点B 140B到该摄像机终端负责的区域B 150B的各边的距离(图41(b)中的LB1至LB4)相等;摄像机终端101C的调整部B 206使得从视点C 140C到该摄像机终端负责的区域C 150C的各边的距离(图41(c)中的LC1至LC5)相等。
以下说明该调整的方法。首先,决定在到各边的距离为相等时达到最小值的函数FK()。在本实施方式中将式81所示的函数设为该函数。式81所示的各个式子用于摄像机终端101A至摄像机终端101C,是到各边的距离、和到各边的距离的平均值之差的平方值的总和,在到各边的距离相等时达到最小值。
[式81]
...(式81)
接着,如式82所示用众所周知的最速下降法的式子,来计算下次的本摄像机终端的周期TCYCLE摄像机摇摄角及周期TCYCLE摄像机倾斜角。在式82中,ΘbPA及ΘbTA、ΘbPB及ΘbTB、ΘbPC及ΘbTC分别是各摄像机终端101A至摄像机终端101C的周期TCYCLE摄像机摇摄角及周期TCYCLE摄像机倾斜角,Θb’PA及Θb’TA、Θb’PB及Θb’TB、Θb’PC及Θb’TC分别是下次的各摄像机终端101A至摄像机终端101C的周期TCYCLE摄像机摇摄角及周期TCYCLE摄像机倾斜角,α是常数(函数GAi()、GBi()、GCi()分别是计算从由ΘbPA及ΘbTA、ΘbPB及ΘbTB、ΘbPC及ΘbTC决定的视点A 140A、视点B 140B、视点C 140C到各边的距离的函数)。
[式82]
最后,分别将摄像机终端101A至摄像机终端101C的周期TCYCLE摄像机摇摄角及周期TCYCLE摄像机倾斜角调整到下次的本摄像机终端的周期TCYCLE摄像机摇摄角及周期TCYCLE摄像机倾斜角。
调整部B 206依次进行步骤1301、步骤1302的处理,在步骤1302的处理结束后返回到步骤1301的处理。然后,调整部B 206一边不断重复步骤1301至步骤1302的处理,一边将通过上述式子算出的周期TCYCLE摄像机摇摄角及周期TCYCLE摄像机倾斜角送至周期摄影控制部215,调整摄像机201的周期TCYCLE摄影区域的视点位置。
调整部B 206的动作如上所述,在步骤1302中用最速下降法的式子来计算本摄像机终端的周期TCYCLE摄像机摇摄角及周期TCYCLE摄像机倾斜角,使得到各边的距离相等;通过调整到该下次的周期TCYCLE摄像机摇摄角及周期TCYCLE摄像机倾斜角来调整摄像机201的周期TCYCLE摄影区域的视点位置,所以在图41(a)~(c)中,通过重复进行步骤1301至步骤1302的处理,到各边的距离——LA1至LA4、LB1至LB4、LC1至LC5分别大致相等。而到各边的距离相等,在图41(a)~(c)中,就是区域A 140A、区域B 140B及区域C 140C的大小大致相等。
每当调整部B 206结束步骤1301的区域分割的处理时,周期视场角调整部C 207就调整摄像机201的周期TCYCLE摄影区域的水平视场角ΘbH及垂直视场角ΘbV,以便覆盖通过该区域分割处理而得到的本摄像机终端负责的区域。在本实施方式中,摄像机终端101A调整周期TACYCLE摄影区域120A的水平视场角ΘbHA及垂直视场角ΘbVA,以便覆盖自身负责的区域A 140A;摄像机终端101B调整周期TBCYCLE摄影区域120B的水平视场角ΘbHB及垂直视场角ΘbVB,以便覆盖自身负责的区域B 140B;摄像机终端101C调整周期TCCYCLE摄影区域120C的水平视场角ΘbHC及垂直视场角ΘbVC,以便覆盖自身负责的区域C 140C。其中,在该调整中,由于各区域的位置在步骤1301的区域分割中已算出了,所以容易根据各区域的位置来计算水平视场角ΘbH及垂直视场角ΘbV。
本实施方式的摄影区域调整装置的动作如上所述。调整部B 206在步骤1301中对摄影对象区域121进行区域分割,周期视场角调整部C 207调整各摄像机终端的周期TCYCLE摄影区域的视场角,以便覆盖分割出的各区域,所以本发明的摄影区域调整装置能够用各摄像机终端101A至摄像机终端101C来无死角地拍摄摄影对象区域121。
其中,调整部B 206通过步骤1302来调整周期TCYCLE摄像机摇摄角及周期TCYCLE摄像机倾斜角,使得到区域的各边的距离相等,使各区域的大小大致相等。该处理是用于避免下述情况的处置:由于分割出的某个区域极端大,而使得负责该区域的摄像机终端不能调整周期TCYCLE摄影区域的视场角,以便覆盖该区域。在不会有分割出的某个区域极端大的情况下,无需该处理。例如,如果设置各摄像机终端,使得各摄像机终端的周期TCYCLE摄影区域的视点位置相互大致均等地位于检测对象区域121内,则不会有分割出的某个区域极端大的情况,无需步骤1302中进行的处理。
此外,调整部B 206重复进行步骤1301至步骤1302的处理,每当结束步骤1301的区域分割的处理时,周期视场角调整部C 207就调整周期TCYCLE摄影区域的视场角,以便覆盖本摄像机终端负责的区域,从而得到了无死角地拍摄摄影对象区域121这一效果。该重复进行的处理的步骤1302及周期视场角调整部C 207中的处理是对步骤1301中根据各摄像机终端的视点位置及摄影对象区域121的位置进行区域分割所得的本摄像机终端负责的区域进行的。
因此,能够得到下述效果:即使在各时刻各摄像机终端的视线位置或摄影对象区域121的位置发生了变化,也能应对该变化,无死角地拍摄摄影对象区域121。作为上述各摄像机终端的视线位置或摄影对象区域121的位置发生变化的情况,可以列举:
(1)有意变更了摄像机终端的周期TCYCLE摄影区域的视线位置,
(2)新设了摄像机终端,
(3)各摄像机终端中的几个摄像机终端被去除或发生故障,
(4)变更了要从操作终端发送的摄影对象区域的位置。
本发明对这些变化状况的动作在后述实施方式6及实施方式7中有记载,但是即使由于这些变化,而使各摄像机终端要发送的周期TCYCLE摄影区域的视点位置或操作终端要发送的摄影对象区域位置变化,或者发送了不该发送的新的周期TCYCLE摄影区域的视点位置,本发明的摄影区域调整装置也能够按照周期TCYCLE摄影区域的视点位置或摄影对象区域位置的变化,用各摄像机终端来无死角地拍摄摄影对象区域。
其中,在本实施方式中,如图40所示,调整部B 206及周期视场角调整部C 207分散存在于各摄像机终端101A至摄像机终端101C中,但是如果分别只存在1个调整部B 206及周期视场角调整部C207,该分别只存在1个的调整部B 206及周期视场角调整部C 207调整各摄像机终端101A至摄像机终端101C的摄像机201的所有周期TCYCLE摄影区域的视点位置及视场角,则当然能得到同样的效果。
此外,在本实施方式中,将网络103看作一般的通信时利用的网络线路,但是不管该网络103是有线或无线的网络,当然都能得到同样的效果。
(实施方式6)
接着,说明本发明的实施方式6。在本实施方式中,用几个变形例来补充本发明的实施方式1至本发明的实施方式5中记述的本发明的摄影区域调整装置的操作终端102。
在实施方式1至实施方式5中,图28示出其结构的操作终端102从通信部203将摄影对象区域121的位置信息发送到图26或图40中的各摄像机终端101A至摄像机终端101C。如果是实施方式1至实施方式5中记述的各摄像机终端101A至摄像机终端101C的动作及结构,则需要操作终端102,但是如果对各摄像机终端101A至摄像机终端101C预先设定摄影对象区域的位置信息,则并不需要操作终端102。
此外,操作终端102将通信部203作为构成要素,但是该通信部203也存在于各摄像机终端101A至摄像机终端101C中。如果各摄像机终端101A至摄像机终端101C中存在的通信部203发送摄影对象区域121的位置信息,则各摄像机终端101A至摄像机终端101C兼有操作终端203的功能。在此情况下,也并不专门需要操作终端102。
此外,在实施方式1至实施方式5中,操作终端102发送了摄影对象区域121的位置信息。所谓摄影对象区域121的位置信息,是指摄影对象区域121的各端的位置信息。在实施方式1至实施方式5中,操作终端102是1台,但是如果摄影对象区域121的端的数目是N个,则使操作终端102有N台,分别发送摄影对象区域121的各端的位置信息,将由各端的位置构成的封闭区域设为摄影对象区域121,则当然也能得到本发明的摄影区域调整装置的效果。
此外,操作终端102发送的摄影对象区域121的位置信息在实施方式1至实施方式5中设为预先确定的一定的值。如实施方式1至实施方式5所述,本发明的摄影区域调整装置即使在从操作终端102发送的摄影对象区域121的位置被变更了的情况下,也能够得到应对该变更、无死角地拍摄摄影对象区域121这一效果。因此,操作终端102发送的摄影对象区域121的位置信息即使在本发明的摄影区域调整装置的动作中,也可以随时间来变化。
以上,对操作终端记述了几个补充。以下用图44来说明加进了该补充内容的本发明的摄影区域调整装置的动作例。在图44中,摄像机终端140是实施方式1至实施方式5的摄像机终端,经无线网络1402与其他摄像机终端1401及操作终端1405来传递信息。车1403是在道路1404上行驶的车,在该车中安装了操作终端1405,摄影对象区域A 1406A及摄影对象区域B 1406B是在道路1404上行驶的车1403在各时刻的周期TCYCLE摄影区域,各摄影对象区域是以用GPS或旋转罗盘等取得的以该车1403的位置为中心的具有一定的大小的区域,从操作终端1405发送。
动作如下所述。道路1404上设置的多台本发明的摄影区域调整装置的摄像机终端1401用无线网络1402与其他摄像机终端进行通信。在道路1404上行驶的车1403上设置的操作终端1405将以车1403的当前的存在位置为中心的摄影对象区域的位置信息用无线网络1402发送到各摄像机终端1401。
根据以上的结构的摄影区域调整装置,能够对以随时间时刻变化的车1403的位置为中心的摄影对象区域内进行无死角的拍摄。通过将这些无死角地拍摄到的图像信息用无线网络1402提供给车1403的驾驶员,车1403的驾驶员能够无死角地取得车的周围信息,支持了车的安全驾驶或停车。
(实施方式7)
接着,说明本发明的实施方式7。在本实施方式中,用几个变形例来补充本发明的实施方式1至本发明的实施方式5中记述的本发明的摄影区域调整装置的摄像机终端的周期TCYCLE摄影区域位置等的指定方法。
在实施方式1至实施方式5中,图26或图40中的各摄像机终端101A至摄像机终端101C的调整部A 202、或周期视场角调整部A204、或周期视场角调整部B 205、或调整部B 206或调整部C 208分别根据图29、图33、图35、图39、图43所示的流程图来进行动作。在本实施例中,假设按图29所示的流程图来动作的各摄像机终端的调整部A 202根据图45所示的流程图来进行动作、按图33所示的流程图来动作的各摄像机终端的周期视场角调整部A 204根据图37所示的流程图来进行动作、按图35所示的流程图来动作的各摄像机终端的周期视场角调整部B 205根据图47所示的流程图来进行动作、按图39所示的流程图来动作的各摄像机终端的调整部C 208根据图48所示的流程图来进行动作、按图43所示的流程图来动作的各摄像机终端的调整部B 206根据图49所示的流程图来进行动作。
图45所示的流程图是在实施方式1中说明过的图29所示的流程图中加上了步骤1504及步骤1505而成的,如果步骤1504中的判断为“否”,即未指定周期TCYCLE摄影区域的位置,则重复进行与实施方式1同样的步骤1501至步骤1503的处理,所以当然能得到本发明的摄影区域调整装置的效果。
图46所示的流程图是在实施方式2中说明过的图33所示的流程图中加上了步骤1604及步骤1605而成的,如果步骤1604中的判断为“否”,即未指定周期TCYCLE摄影区域的视场角,则重复进行与实施方式2同样的步骤1601至步骤1603的处理,所以当然能得到本发明的摄影区域调整装置的效果。
图47所示的流程图是在实施方式3中说明过的图35所示的流程图中加上了步骤1706及步骤1707而成的,如果步骤1706中的判断为“否”,即未指定周期TCYCLE摄影区域的视场角,则重复进行与实施方式3同样的步骤1701至步骤1705的处理,所以当然能得到本发明的摄影区域调整装置的效果。
图48所示的流程图是在实施方式4中说明过的图39所示的流程图中加上了步骤4004及步骤4005而成的,如果步骤4004中的判断为“否”,即未指定周期TCYCLE摄影区域的视场角,则重复进行与实施方式4同样的步骤4001至步骤4003的处理,所以当然能得到本发明的摄影区域调整装置的效果。
图49所示的流程图是在实施方式5中说明过的图43所示的流程图中加上了步骤1803及步骤1804而成的,如果步骤1803中的判断为“否”,即未指定周期TCYCLE摄像机的摇摄角或倾斜角,则重复进行与实施方式4同样的步骤1801至步骤1802的处理,所以当然能得到本发明的摄影区域调整装置的效果。
在图45至图49所示的流程图中,在步骤1504、步骤1604、步骤1706、步骤1803或步骤4004中的判断为“是”,即指定了周期TCYCLE摄影区域的位置或视场角、或周期TCYCLE摄像机的摇摄角或倾斜角的情况下,在步骤1505、步骤1605、步骤1707、步骤1804或步骤4005中,将摄像机终端的周期TCYCLE摄影区域的位置或视场角、或周期TCYCLE摄像机的摇摄角或倾斜角调整到步骤1504、步骤1604、步骤1706、步骤1803或步骤4004中指定的周期TCYCLE摄影区域的位置或视场角、或周期TCYCLE摄像机的摇摄角或倾斜角。
步骤1504、步骤1604、步骤1706、步骤1803或步骤4004中指定的周期TCYCLE摄影区域的位置或视场角、或周期TCYCLE摄像机的摇摄角或倾斜角由人经网络103等来指定。或者,在图27等中的图像处理部213中,根据摄像机终端拍摄到的图像通过图案匹配(patternmatching)等一般的图像处理手法来检测出检测对象的位置及大小。然后,指定以该检测出的检测对象的位置为中心、使该检测对象包含在周期TCYCLE摄影区域内的、周期TCYCLE摄影区域的位置或视场角、或者周期TCYCLE摄像机的摇摄角或倾斜角。
如上所述,如果摄像机终端根据图45至图49所示的流程图来进行动作,则在指定了周期TCYCLE摄影区域的位置、视场角、或周期TCYCLE摄像机的摇摄角或倾斜角的情况下,或者,对进行了该指定的摄像机终端,将摄像机终端调整到该周期TCYCLE摄影区域的位置、视场角、或周期TCYCLE摄像机的摇摄角或倾斜角,而在未指定周期TCYCLE摄影区域的位置、视场角、或周期TCYCLE摄像机的摇摄角或倾斜角的情况下,或者,对未进行该指定的摄像机终端,与实施方式1至实施方式5同样,进行使摄像机终端无死角地拍摄摄影对象区域的动作。
以上,对摄像机终端的周期TCYCLE摄影区域的位置等的指定方法记述了几个补充。以下用图50及图51来说明加进了该补充内容的本发明的摄影区域调整装置的动作例。
在图50(a)及(b)中,摄像机终端1901A至摄像机终端1901E是实施方式1至实施方式5的摄像机终端,根据图45至图49所示的流程图来动作。网络1902是在各摄像机终端1901A至摄像机终端1901E间传递信息的网络,检测对象1903是各摄像机终端1901A至摄像机终端1901E要检测的检测对象,存在于摄影对象区域1904内。
动作如下所述。各摄像机终端1901A至摄像机终端1901E根据图45至图49所示的流程图来动作。摄像机终端1901B检测检测对象1903,所以在步骤1504、步骤1604、步骤1706、步骤1803或步骤4004中指定了周期TCYCLE摄影区域的位置或视场角、或周期TCYCLE摄像机的摇摄角或倾斜角。指定的周期TCYCLE摄影区域的位置或视场角、或周期TCYCLE摄像机的摇摄角或倾斜角,是以该检测对象1903的位置为中心、使该检测对象1903包含在周期TCYCLE摄影区域内的、摄影区域的位置或视场角、或周期TCYCLE摄像机的摇摄角或倾斜角。其结果是,摄像机终端1901B被调整到以检测对象1903的位置为中心、使该检测对象1903包含在周期TCYCLE摄影区域内的、周期TCYCLE摄影区域的位置或视场角、或周期TCYCLE摄像机的摇摄角或倾斜角。摄像机终端1901A、摄像机终端1901C、摄像机终端1901D、摄像机终端1901E未检测出检测对象1903,所以与实施方式1至实施方式5同样,被调整为能无死角地拍摄摄影对象区域1904。
根据以上的摄像机终端1901A至摄像机终端1901E的动作,即使在检测对象1903存在于摄影对象区域1904中的情况下,也能自动取得以检测对象1903的位置为中心、使该检测对象1903包含在周期TCYCLE摄影区域内的、详细的图像,并且无死角地拍摄摄影对象区域1904。即使检测对象1903移动了,由于只是切换了检测检测对象1903的摄像机终端,所以以上的动作当然还进行同样的动作。
其中,在图50(a)及(b)中,摄像机终端1901B检测检测对象1903,取得以检测对象1903的位置为中心、使该检测对象1903包含在周期TCYCLE摄影区域内的、详细的图像。如果该摄像机终端1901B经1902网络来持续发送自身的周期TCYCLE摄影区域的位置信息等,则摄像机终端1901A及摄像机终端1901C将摄像机终端1901B拍摄的周期TCYCLE摄影区域设为相邻的周期TCYCLE摄影区域,所以如图50(a)所示,也与摄像机终端1901B协同来无死角地拍摄摄影对象区域1904。此外,如果摄像机终端1901B不经1902网络来持续发送自身的周期TCYCLE摄影区域的位置信息等,则摄像机终端1901A及摄像机终端1901C不将摄像机终端1901B拍摄的周期TCYCLE摄影区域设为相邻的周期TCYCLE摄影区域,所以如图50(b)所示,不与摄像机终端1901B协同来无死角地拍摄摄影对象区域1904。
如图50(a)所示,在与检测、跟踪拍摄检测对象1903的摄像机终端1901B协同的情况下,由于摄像机终端1901B的周期TCYCLE摄影区域的运动、即检测对象1903的运动,而使摄像机终端1901A、摄像机终端1901C、摄像机终端1901D及摄像机终端1901E的周期TCYCLE摄影区域的运动受到相当的影响,该周期TCYCLE摄影区域的摄影图像有可能发生混乱。因此,例如在检测对象1903的运动剧烈等情况下,如果使得拍摄该检测对象的摄像机终端不经1902网络来发送自身的周期TCYCLE摄影区域的位置信息等,则能够解决该问题。
在图51中,摄像机终端2001A至摄像机终端2001C是实施方式1至实施方式5的摄像机终端,根据图45至图49所示的流程图来动作。网络2002是在各摄像机终端2001A至摄像机终端2001C间传递信息的网络,检测对象2003是各摄像机终端2001A至摄像机终端2001C要检测的对象物,存在于摄影对象区域2004内。以上与图50相同,通过以上的结构,即使在检测对象2003存在于摄影对象区域2004中的情况下,摄像机终端2001A至摄像机终端2001C也能自动取得以检测对象2003的位置为中心、使该检测对象2003包含在周期TCYCLE摄影区域内的、详细的图像,并且无死角地检测摄影对象区域2004。图51对图50所示的本发明的摄影区域调整装置附加了以下的部件。图像合成部2005是将各摄像机终端2001A至摄像机终端2001C在周期TCYCLE的摄影期间取得的各图像合成为在空间上连续的1枚图像等的处理部,显示部2006是显示图像合成部2005合成出的图像的LCD等,指示部2007是向各摄像机终端2001A至摄像机终端2001C指定周期TCYCLE摄影区域的位置或视场角、或者周期TCYCLE摄像机的摇摄角或倾斜角的键盘等。
动作如下所述。图像合成部2005经网络2002来接收各摄像机终端2001A至摄像机终端2001C拍摄到的图像、及各摄像机终端2001A至摄像机终端2001C发送的周期TCYCLE摄影区域的位置等信息。图像合成部2005用各摄像机终端的周期TCYCLE摄影区域的位置等信息,将各摄像机终端拍摄到的图像合成为图52所示的各图像的空间位置连续的图像。合成出的图像被显示在显示部2006上,该图像信息被呈示给人。其中,图像合成部2005合成所用的各摄像机终端2001A至摄像机终端2001C取得的图像及构成该图像的像素的世界坐标轴系的位置可以通过式8等来计算,所以如果采用一般的投影变换手法,则在图像合成部2005中能够合成各种各样的视点的空间位置连续的图像。
看到显示部2006上显示的合成图像的人将自己希望的合成图像上的区域的位置或视场角输入到指示部2007中。在输入中用指向设备等来指示区域的位置或视场角等。接受了人指定的区域的位置或视场角等的指示部2007,判定当前在周期TCYCLE摄影区域内具有该区域的摄像机终端。如果采用各摄像机终端2001A至摄像机终端2001C发送的周期TCYCLE摄影区域的位置等信息,则能够简单地进行该判定。然后指示部2007经网络2002向通过上述判定而决定的在周期TCYCLE摄影区域内具有人指定的区域的摄像机终端,指示人指定的区域的位置或视场角等作为该摄像机终端的周期TCYCLE摄影区域的位置或视场角。被指定了周期TCYCLE摄影区域的位置或视场角的摄像机终端将该摄像机终端的周期TCYCLE摄影区域的位置或视场角,调整到指定的周期TCYCLE摄影区域的位置或视场角。
根据以上的动作,人能够无死角地、而且以各种各样的视点来接收摄影对象区域2004的区域作为空间位置连续的图像信息。进而,通过根据该图像信息来指定所指定的区域的位置或视场角等,也能够取得特定的区域位置或视场角的图像。例如,如果人向指示部2007进行输入,以便减小某个区域的视场角,则对该区域,将视场角即分辨率或摄影频度F高的图像显示在显示部2006上。这些效果在具有广范围的摄影对象区域的楼房等的监视中很有益。
(实施方式8)
接着,说明本发明的实施方式8。在本实施方式中,再用几个变形例来补充本发明的实施方式1至本发明的实施方式5中记述的本发明的摄影区域调整装置。
在实施方式1至实施方式5中记述的本发明的摄影区域调整装置中,在图27、图32、图34、图38或图42所示的摄像机终端中,周期TCYCLE摄影区域的位置或视场角、或者周期TCYCLE摄像机的摇摄角或倾斜角、或者时刻T摄影区域的位置或视场角、或摇摄角或倾斜角、或摇摄速度或倾斜速度等参数都是可变的,但是即使不是所有参数可变、而是某一个参数可变,也能得到实施方式1至实施方式5中记述的同样的效果。再者,即使在多台摄像机终端中,存在不是所有参数可变的摄像机终端,也能得到实施方式1至实施方式5中记述的同样的效果。这是因为,即使存在不是所有参数可变、不能调整周期TCYCLE摄影区域的位置或视场角的摄像机终端,将该摄像机终端的周期TCYCLE摄影区域作为相邻的周期TCYCLE摄影区域,参数可变、能够调整周期TCYCLE摄影区域的位置或视场角的摄像机终端进行实施方式1至实施方式5中记述的动作,所以能得到实施方式1至实施方式5中记述的同样的效果。
此外,在实施方式1至实施方式5中记述的本发明的摄影区域调整装置中,图27、图32、图34、图38或图42所示的摄像机终端在姿态控制部214中通过采用了步进电机等的机械控制机构来调整周期TCYCLE摄影区域的位置或视场角、或者周期TCYCLE摄像机的摇摄角或倾斜角、或者时刻T摄影区域的位置或视场角、或摇摄角或倾斜角、或摇摄速度或倾斜速度等。但是只要能够调整周期TCYCLE摄影区域的位置或视场角、或者周期TCYCLE摄像机的摇摄角或倾斜角、或者时刻T摄影区域的位置或视场角、或摇摄角或倾斜角、或摇摄速度或倾斜速度等,则也可以不是采用了步进电机等的机械控制机构。
例如,有用图53所示的称为部分扫描(partial scan)的技术来以电子方式控制摄像机的摇摄角、倾斜角及视场角的摄像机。在图53(a)、(b)及(c)中,2201是用于成像的镜头,2202是拍摄用镜头2201所成的像的CCD等摄像面,2203是只取入摄像面2202拍摄到的图像中的2204所示的图像取入范围的图像的图像取入控制部。如果摄像面2202是CCD,则2203图像取入控制部通过控制CCD的读取像素的地址,能够以电子方式只读出图像取入范围2204的图像。此外,通过变更该地址控制,能够变更图像取入范围2204。在称为部分扫描的技术中,如图53(a)、(b)及(c)所示,通过变更图像取入范围2204,来以电子方式控制摄像机的摇摄角、倾斜角及视场角。
此外,在实施方式1至实施方式5中记述的本发明的摄影区域调整装置中,如图26及图40所示,将实际空间面113设为ZW=0。但是,即使在如图54所示(图54的构成要素与图26相同)、将实际空间面113设为ZW=C的情况下,当然也能得到实施方式1至实施方式5中记述的同样的效果。再者,各摄像机终端拍摄的周期TCYCLE摄影区域离ZW轴112的0方向越近,则该周期TCYCLE摄影区域越大。因此,即使摄影对象区域像图54的摄影对象立体区域213那样是立体的,也能够无死角地进行拍摄。
此外,实施方式1至实施方式5中记述的本发明的摄影区域调整装置通过调整各摄像机终端拍摄的周期TCYCLE摄影区域的位置或视场角,得到了实施方式1至实施方式5中记述的效果。这里,如(周期TCYCLE摄影区域的摄影方法)中所述,通过以摇摄速度VP及倾斜速度VT使时刻T摄影区域的位置移动来拍摄周期TCYCLE摄影区域,但是在将周期TCYCLE摄影区域的摄影方法中的摇摄速度VP及倾斜速度VT设为0的情况下,周期TCYCLE摄影区域与时刻T摄影区域一致。因此,实施方式1至实施方式5中记述的本发明的摄影区域调整装置通过不是调整周期TCYCLE摄影区域、而是调整各摄像机终端拍摄的时刻T摄影区域的位置或视场角,当然能得到实施方式1至实施方式5中记述的同样的效果。
此外,在上述实施方式1~5中,将摄像机201看作一般的摄像机,但是即使该摄像机201是检测可见光、或者红外或紫外等非可见光的摄像机,当然都能得到同样的效果;再者,即使是微动传感器、压力传感器、温度传感器、气压传感器、声音传感器(麦克风)等具有摄影区域、而且摄影区域位置可变的一般的传感器,当然也能得到同样的效果。再者,即使是一般的摄像机和这些传感器的组合,当然也能得到同样的效果。
例如,对于具有图55(a)所示的方向特性的麦克风,如图55(b)所示,可以将能够以一定以上的灵敏度来检测声音的方向(区域)定义为传感区域,所以通过与上述实施方式的摄像机的摇摄及倾斜同样来控制麦克风的姿态并使其以一定周期来进行扫描,如图55(c)所示,能够定义与摄像机终端中的周期TCYCLE摄影区域对应的周期TCYCLE检测区域(即,“虚拟检测区域”)。即,本发明不仅能够适用于摄像机,而且能够适用于上述各种传感器。其中,如图55(b)及(C)所示,在与时刻T摄影区域对应的传感区域、及与周期TCYCLE摄影区域对应的周期TCYCLE检测区域是圆等非矩形的情况下,将圆的短径和长径的比率(正圆为1)或图形的XW轴和YW轴方向的大小的比率设为纵横比即可。
此外,在上述实施方式中,摄像机是固定摄像机,但是也可以是移动摄像机。图56是将本发明的摄影区域调整装置适用于由移动摄像机构成的监视系统的情况下的监视系统的结构方框图。该监视系统由用通信网1103连接的多个移动摄像机1101等构成,该多个移动摄像机1101的特征在于不仅摇摄及倾斜、而且自主协调地移动,以便能够对监视区域11 11进行完全监视。移动摄像机1101是由移动部1102支持来进行移动的摄像机装置。移动部1102是使移动摄像机1101的摄影位置改变的机构部等。通信网1103是连结多个移动摄像机1101的传输线路。通信部1104是供移动摄像机1101经通信网1103与其他摄像机终端进行信息交换的通信接口。相邻摄影区域确定部1105是对通信部1104通知的来自其他移动摄像机的信息,估计摄影区域相邻的移动摄像机的处理部。摄影元件1106是取入监视区域内的影像的CCD摄像机等。摄影区域估计部1107是根据摄影元件1106的特性、和移动部1102的位置来估计移动摄像机1101的摄影区域的处理部。监视范围存储部1108是存储着移动摄像机1101应监视的区域的范围的存储器等。摄影位置评价部1109是评价与移动摄像机1101的摄影区域互相相邻的摄影区域的重叠区域、或与监视区域的边界之间的距离的处理部。摄影位置变更部1110是控制移动部1102、使移动摄像机1101的摄影位置改变的控制部。监视区域1111是移动摄像机1101应监视的区域。摄影区域1112是移动摄像机1101拍摄着的区域。根据这种监视系统,移动摄像机1101与周围的移动摄像机相互通知与根据自身的摄影位置和摄影元件1106的特性估计的摄影区域有关的信息,一边与周围的移动摄像机协调、以使得与相邻的摄影区域之间的重叠区域的大小、和与监视区域的边界之间的距离接近规定的状态,一边变更摇摄、倾斜及摄影位置,从而能够在多个移动摄像机1101同时进行摄影时移动到监视区域内的死角少的摄影位置。
图57示出该监视系统中的移动摄像机1101的动作的示意图。在本图中,为了简化说明,示出了将能够沿横向(一维)移动的移动摄像机1101设置在高度一定的房间的天花板上、监视地板面的情况。如上图所示,即使将移动摄像机1101设置到天花板的适当的位置上,通过移动摄像机变更摄影位置,使得相互的摄影区域的重叠区域的宽度C或与监视区域的边界之间的距离D接近规定的值,从而如下图所示,也能够自动移动到能够用多个移动摄像机终端来同时拍摄整个监视区域的位置。再者,例如在高的天花板等难以进行设置作业的场所,即使集中将移动摄像机1101设置在一处,由于移动摄像机在多个移动摄像机同时进行摄影时自动移动到死角少的位置,所以能够减少决定移动摄像机的设置位置或设置作业等负担。作为其实现方法的一例,如图58所示来构成系统,使得在监视区域内设置导轨,移动摄像机在该导轨的轨道上移动即可。
以上,就本发明的摄像机终端及摄影区域调整装置等,说明了实施方式及变形例,但是本发明并不限于这些实施方式及变形例。例如,任意组合各实施方式及变形例的构成要素而实现的形态也被包含在本发明中。
其中,权利要求书中记载的各权利要求的构成要素和说明书的实施方式等中的构成要素之间的对应关系如下所述。即,摄像机终端的一例是摄像机终端101A~C,摄像机的一例是摄像机201,调整部件的一例是调整部A 202、周期视场角调整部A 204、周期视场角调整部B 205、调整部B 206、周期视场角调整部C 207、调整部C 208,通信部件的一例是通信部2003,合成部件的一例是图像合成部2005,显示部件的一例是显示部2006,传感器的一例是图55所示的麦克风等传感器。