CN101867785A - 监视系统及摄像机终端 - Google Patents

监视系统及摄像机终端 Download PDF

Info

Publication number
CN101867785A
CN101867785A CN200910005926A CN200910005926A CN101867785A CN 101867785 A CN101867785 A CN 101867785A CN 200910005926 A CN200910005926 A CN 200910005926A CN 200910005926 A CN200910005926 A CN 200910005926A CN 101867785 A CN101867785 A CN 101867785A
Authority
CN
China
Prior art keywords
camera
photography
zone
camera terminal
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910005926A
Other languages
English (en)
Other versions
CN101867785B (zh
Inventor
吉田笃
青木胜司
荒木昭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101867785A publication Critical patent/CN101867785A/zh
Application granted granted Critical
Publication of CN101867785B publication Critical patent/CN101867785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • G08B13/19623Arrangements allowing camera linear motion, e.g. camera moving along a rail cable or track
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • G08B13/19643Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/19656Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19695Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

提供一种能够灵活地应对系统结构的变化、并具有较高的监视能力的监视系统。该监视系统包括由通信媒体(02)连接的多个摄像机终端(01和01b),多个摄像机终端具有:摄影元件(04),对包含在监视区域中的摄影区域进行摄影,并且具有变更摄影区域的机构;通信部(03),通过通信媒体(02)向其他摄像机终端发送确定摄影区域的信息即摄影特性信息,从其他摄像机终端接收摄影特性信息;摄影特性变更部(05),基于该摄像机终端的摄影特性信息和由通信部(03)接收到的其他摄像机终端的摄影特性信息,控制该摄像机终端的摄像机来变更摄影区域,使得该摄像机终端的摄影区域和其他摄像机终端的摄影区域成为预定的恒定关系。

Description

监视系统及摄像机终端
本发明申请是本申请人于2005年1月18日提交的,申请号为200580004014.X,发明名称为“监视系统及摄像机终端”的分案申请。
技术领域
本发明涉及由多个摄像机终端构成的监视系统,特别是涉及能够监视整个监视区域的、各摄像机终端与周围的摄像机终端协调工作的监视系统。
背景技术
通过使用多台摄像机,就能进行仅用1台摄像机不能实现的高功能的监视。
以前,作为使用了多台摄像机的监视系统,例如有专利文献1中公开的技术。图1是专利文献1中记载的对多台摄像机的检测区域进行自动调节的装置结构图。在该图中,实现在较广的摄影范围内拍摄检测对象的目的的移动物体检测用摄像机10011,利用姿势控制单元10012变更自身的摄影范围,实现拍摄检测对象的放大图像的目的的监视用摄像机10021,利用姿势控制单元10022变更自身的摄影范围。基于摄像机视场角存储单元10031和摄像机视场角存储单元10032中预先存储的信息,根据从移动物体检测用摄像机10011拍摄的摄影图像抽出的摄影对象的位置和各摄像机终端的检测范围,决定各摄像机终端的摄影范围。
图2~图4是该装置中的各摄像机摄影范围的决定过程的说明图。示出了已分割为数个块图像的移动物体检测用摄像机10011所拍摄的图像。
如下所述地决定移动物体检测用摄像机10011的摄影范围。在图2的斜线所示的方块中存在摄影对象的情况下,使移动物体检测用摄像机10011的姿势向图3中的方块位置与图2中示出的方块位置相对应的各个方块中记载的箭头的方向所示出的方向变化,变更该摄像机的摄影范围。预先由人决定与各方块位置相对应的移动物体检测用摄像机10011的摄影范围,将该信息预先设定在摄像机视场角存储单元10031中。
另一方面,如下所述地决定监视用摄像机10021的摄影范围。在图4中示出的方块位置存在摄影对象的情况下,使监视用摄像机10021的姿势变化,变更该摄像机的摄影范围,以成为用虚线示出的摄影范围。预先由人决定与各方块位置相对应的监视用摄像机10021的摄影范围,将该信息预先设定在摄像机视场角存储单元10032中。
这样地,根据专利文献1中公开的监视系统,能同时进行监视区域内的广范围摄影和规定对象物的详细摄影。
此外,作为使用了多台摄像机的监视系统的另外的现有技术,有使用能够变更摄影位置的移动摄像机来监视广范围的技术(例如,参照专利文献2)。图5是专利文献2中记载的移动摄像机10的结构图。如该图所示,移动摄像机10具有壳体12和安装在壳体12下部的摄像机单元14,能够沿着导轨20移动。在壳体12的内部配置着包括用于控制移动的程序控制器单元、用于控制输送机构的电动机控制单元的控制各种各样功能的综合控制单元,能够按照监视目的控制在导轨20的轨道上移动的速度、位置和变焦等。通过具有以上结构,移动摄像机10通过一边在图6中示出的设置在录像带出租店等店铺内的规定监视区域内的导轨20轨道上移动一边进行摄影,即使用少量的摄像机也能够进行监视,使得在监视区域中成为死角的区域很少。
此外,作为使用多台摄像机得到图像的另外的现有技术,有专利文献3中公开的摄像装置。该摄像装置在利用拍摄被摄体的多个摄影系统和对多个摄影系统给予任意内对角的内对角控制装置,得到由多个摄影系统得到的多个图像信息时,利用来自检测多个摄影系统的摄影条件的检测装置的摄影信息和来自预先存储着该多个摄影系统的成像倍率信息的存储装置的成像倍率信息,利用内对角控制装置控制多个摄影系统的内对角,使得保证多个摄影系统间的摄影范围的重复区域在一定范围内。这样,在得到来自多个摄影系统的多个图像信息时,能够不落掉摄影系统间的摄影范围的重复区域,有效地使用摄影范围。
另外,作为使用了多台摄像机的监视系统的另外的现有技术,有专利文献4中公开的视频式区域监视装置。该装置由用于监视区域的固定导向摄像机和用于监视至少区域的一部分的1个以上的可移动的遥控操作摄像机构成。导向摄像机产生表示区域的信号。利用导向摄像机决定被监视的区域内的移动物体位置,产生表示物体位置的信号。遥控操作摄像机基于表示物体位置的信号追踪物体。导向摄像机具有鱼眼透镜,从而,具有比遥控操作摄像机广的视场。监视中的区域被区分为极坐标或者球形坐标,这样,计算机就能够对遥控操作摄像机进行指令使其追踪物体。为了远程监视,将表示区域的信号压缩后通过通信通道进行发送。这样,就进行区域整体的监视和移动物体的监视。
但是,在上述专利文献1~4中公开的现有技术中,构成系统的摄像机终端的结构和任务已被固定,有缺乏灵活性的问题。因此,在由于构成监视系统的摄像机终端的增设和一部分摄像机终端分故障等而产生了系统结构的扩展和变化等的情况下,就必须要再次构成整个系统。例如,在1台摄像机终端产生了故障的情况下,就已经起不到作为监视系统的作用。
例如,上述专利文献1中公开的摄像机终端,预先对拍摄广范围的移动物体检测用摄像机10011和摄影检测对象的放大图像的监视用摄像机10021给予任务,使移动物体检测用摄像机10011和监视用摄像机10021协作,也不能够拍摄比用1台移动物体检测用摄像机10011能拍摄的范围广的范围。此外,不能进行像移动物体检测用摄像机10011取代对于监视用摄像机10021来说是死角的区域来拍摄放大图像这样的、一个摄像机终端取代另一个摄像机所具有的功能的取代。因此,需要预先进行摄像机的设置,使得对于监视区域监视用摄像机10021不具有死角。
另外,在上述专利文献2中公开的利用2台摄像机的协调工作中,监视用摄像机10021的摄影内容的变更过程同移动物体检测用摄像机10011的对象物检测结果一对一地相互对应,例如,在增加移动物体检测用摄像机10011的台数来提高移动物体检测精度的情况下,对于多个移动物体检测用摄像机10011的检测结果的全部组合模式,对应监视用摄像机10021的动作。
此外,在上述专利文献1~4中公开的现有技术中,由于对多个摄像机分别给予不同的任务,因此,也存在容易产生监视的死角,并且监视能力不充分的问题。
例如,在上述专利文献2中公开的构成监视系统的多台移动摄像机10中,通过在监视区域内沿着导轨20的轨道一边在一定时间内移动一边进行监视区域的摄影,虽然能对监视区域进行死角更少的监视,但是不能用全部的移动摄像机同时连续监视监视区域。因此,例如在入侵者按照移动摄像机10的移动,总是移动到成为移动摄像机10的死角的区域的情况下,监视系统已经不能发现入侵者。
专利文献1:日本特开平11-103457号公报
专利文献2:日本特开2001-142138号公报
专利文献3:日本特开平7-303207号公报
专利文献4:日本特开平8-265741号公报
发明内容
发明所要解决的问题
因此,本发明解决这样的上述现有技术的问题,目的在于提供一种能够灵活地对应系统结构的变化,并且具有较高的监视能力的监视系统等。
用于解决问题的手段
为了达到上述目的,本发明的监视系统包括由信道连接的多个摄像机终端,对监视区域进行摄影,其中,上述多个摄像机终端包括:摄像机,对包含在上述监视区域中的摄影区域进行摄影,并且具有变更上述摄影区域的机构;通信单元,通过上述信道向其他摄像机终端发送确定上述摄影区域的位置的信息即摄影位置信息,并且从其他摄像机终端接收摄影位置信息;摄影特性变更单元,基于该摄像机终端的摄影位置信息和由上述通信单元接收到的其他摄像机终端的摄影位置信息,控制该摄像机终端的摄像机来变更摄影区域,使得该摄像机终端的摄影区域和其他摄像机终端的摄影区域的距离间隔成为规定的目标值。
例如,上述摄影特性变更单元也可以具有:协调对象决定部,确定摄影区域与该摄像机终端邻接的其他摄像机终端;区域差评价部,基于来自被确定的其他摄像机终端的摄影位置信息和该摄像机终端的摄影位置信息,赋予与上述其他摄像机终端的摄影区域和该摄像机终端的摄影区域的距离间隔有关的评价值;以及摄影区域变更部,控制上述摄像机来变更摄影区域,使得由上述区域差评价部赋予的评价值接近规定的目标值。
这样,多个摄像机终端一边与其他摄像机终端交换信息,一边变更自己的摄影区域的位置和尺寸,使得自己的摄影区域与邻接的摄影区域成为一定的关系,作为其结果,在整个监视系统中,各摄影区域不偏斜地均匀分散,维持高的监视能力。然后,不需要特别的中央集中型的控制器,并且,多个摄像机终端都具有同一功能,因此,即使在一部分摄像机终端发生故障或者增设摄像机终端的情况下,也不变更系统结构而继续监视。
此外,上述多个摄像机终端进一步具有使该摄像机终端移动的移动装置和通过控制上述移动装置来变更该摄像机终端的摄影区域的位置的移动控制装置,上述移动控制装置也可以基于该摄像机终端的摄影特性信息和由上述通信装置接收到的其他摄像机终端的摄影特性信息,控制上述移动装置,使得能够利用上述多个摄像机终端进一步全都同时摄影上述监视区域。这样,就容易控制成利用多个摄像机终端同时摄影的摄影区域对于监视区域的比例增加,或者,控制成监视区域中的多个摄像机终端的摄影区域更均匀分散。
再有,本发明不仅能够实现为这样的监视系统,而且也能够实现为构成监视系统的单体的摄像机终端,或者实现为使用了多个摄像机终端的监视方法,或者实现为让计算机执行摄像机终端所具有的摄影特性变更装置和移动控制装置的处理的程序。然后,当然也能够通过CD-ROM等记录媒体和因特网等传输媒体传输该程序。
发明效果
根据本发明的监视系统,由于由相互协调工作的多个摄像机终端构成,各摄像机终端具有同一功能,因此,即使一部分摄像机终端因为故障和停止等而摄影功能丧失,也由于其他多个摄像机终端相互协调工作以覆盖监视区域,因此,不再次构成系统而继续监视。
此外,根据本发明的监视系统,由于即使在监视区域内的适当位置上设置了构成监视系统的多个摄像机终端,或者在任意位置上增设了摄像机终端的情况下,也变更摄影区域,使得相互相邻的摄影区域成为一定的位置关系,因此,实现了任务分担和设置台数等的制约少的灵活的监视系统。
此外,根据本发明的监视系统,由于自动地变更各摄像机终端的摄影区域,使得哪个摄像机终端都没摄影的未摄影区域在整个监视区域中减少,因此,维持了高监视能力。
此外,根据本发明的监视系统,由于自动变更摄影区域,使得对每个摄像机终端的设置位置优先拍摄影像的失真少的区域,因此,能够利用多个摄像机终端摄影失真少的广范围的影像。
此外,根据本发明的监视系统,由于在摄影区域内存在对象物的情况下,自动分担任务为一边追踪对象物一边进行摄影的摄像机终端和包围对象物的周围进行摄影的多个摄像机终端,因此,能够一边追踪对象物一边摄影周围的广范围。
此外,根据本发明的监视系统,由于即使将构成监视系统的多个摄像机终端设定为监视区域内的适当的摄影精度,也自动变更设定,使得在周围的摄像机终端间摄影精度相互变均匀,因此,能够容易地进行从各摄像机终端得到的影像的大小的比较和图像合成等。
此外,根据本发明的监视系统,由于在摄影区域内出现了对象物的情况下,用详细的精度摄影对象物,对象物从摄影区域一变没,就自动地调整摄影精度,使得再次用与周围的摄像机终端相同的摄影精度进行摄影,因此,不需要伴随着对象物的出没的烦琐的操作。
此外,根据本发明的监视系统,由于即使将多个移动摄像机终端设置在适当的位置上,各移动摄像机终端也进行移动,使得与周围的相邻的摄影区域具有规定的重叠区域,进一步与监视区域的边界具有规定的距离,因此,在利用多个移动摄像机终端的同时摄影中,在对于监视区域的死角变少的位置上自动地配置各移动摄像机终端,维持高的监视能力。
此外,根据本发明的监视系统,由于各移动摄像机终端存储有关监视区域中存在的对象物的位置和形状、朝向的信息,根据对象物的位置和形状、朝向更正确地确定摄影处和死角的位置后进行移动,因此,在利用多个移动摄像机终端的同时摄影中,在对于监视区域的死角变少的位置上自动地配置各移动摄像机终端。
此外,根据本发明的监视系统,由于在通过用规定的条件检测监视区域中存在的对象物的状态,监视区域内的对象物的状态进行变化,与各移动摄像机终端存储着的内容不同的情况中,各移动摄像机也重新变更有关对象物的状态的信息,根据对象物的位置和形状、朝向更正确地确定摄影处和死角的位置后进行移动,因此,在利用多个移动摄像机终端的同时摄影中,在对于监视区域的死角变少的位置上自动地配置各移动摄像机终端。
此外,根据本发明的监视系统,由于在利用多个移动摄像机终端的同时摄影中,各移动摄像机终端移动到对于监视区域的死角变少的位置上,并且任意的移动摄像机终端在摄影区域中捕捉对象物的情况下,能够同时进行监视区域的死角更少的广范围摄影和来自规定位置(距离、方向)的对象物的详细摄影。
另外,此外,根据本发明的监视系统,由于即使不对各移动摄像机终端给予监视区域中存在的对象物的位置和形状、朝向等的信息,也通过比较各移动摄像机终端所拍摄的影像,来进行在监视区域中实际摄影着的区域和成为死角的区域的区别,因此,即使不具有地图信息等,各移动摄像机终端也能够向对于监视区域的死角变少的位置上移动。
附图说明
图1是示出现有技术涉及的装置结构的图。
图2是说明现有技术涉及的装置的工作的图。
图3是说明现有技术涉及的装置的工作的图。
图4是说明现有技术涉及的装置的工作的图。
图5是示出现有技术涉及的移动摄像机的结构的图。
图6是说明现有技术涉及的移动摄像机的工作的图。
图7是示出本发明中的监视系统的基本结构的方框图。
图8是说明摄像机终端的摄影区域信息和区域决定参数、摄影精度信息和区域决定参数的图。
图9是示出本发明涉及的实施方式1的结构的方框图。
图10是说明实施方式1的工作的流程图。
图11是表示摄像机终端的区域决定参数与视场区域的关系的图。
图12是示出摄像机终端的视场区域与摄影区域的关系的图。
图13是说明摄像机终端的协调对象的决定过程的流程图。
图14是说明摄像机终端的协调对象的决定过程的图。
图15是说明摄像机终端的摄影区域的位置关系的评价过程的流程图。
图16是说明摄像机终端的摄影区域的位置关系的评价过程的流程图。
图17是说明摄像机终端的评价函数A的图。
图18是说明摄像机终端的工作的图。
图19是说明摄像机终端的工作的图。
图20是示出本发明涉及的实施方式2的结构的方框图。
图21是说明实施方式2的工作的流程图。
图22是说明摄像机终端的摄影区域的评价过程的流程图。
图23是说明摄像机终端的评价函数B的图。
图24是说明摄像机终端的工作的图。
图25是示出本发明涉及的实施方式3的结构的方框图。
图26是说明实施方式3的工作的流程图。
图27是说明摄像机终端的评价函数C的图。
图28是说明摄像机终端的摄影区域的评价过程的流程图。
图29是说明摄像机终端的工作的图。
图30是示出本发明涉及的实施方式4的结构的方框图。
图31是说明实施方式4的工作的流程图。
图32是说明摄像机终端的评价函数D的图。
图33是说明摄像机终端的摄影区域的评价过程的流程图。
图34是说明摄像机终端的工作的图。
图35是说明摄像机终端的工作的图。
图36是说明摄像机终端的工作的图。
图37是说明摄像机终端的工作的图。
图38是示出本发明涉及的实施方式5的结构的方框图。
图39是说明实施方式5的工作的流程图。
图40是说明摄像机终端的摄影区域的评价过程的流程图。
图41是说明摄像机终端的未摄影区域的确定过程的图。
图42是说明摄像机终端的评价函数E的图。
图43是说明摄像机终端的工作的图。
图44是示出本发明涉及的实施方式6的结构的方框图。
图45是说明实施方式6的工作的流程图。
图46是说明摄像机终端的摄影精度变更中的协调对象决定过程的图。
图47是说明摄像机终端的摄影精度变更中的协调对象决定过程的图。
图48是说明摄像机终端的摄影精度的评价过程的流程图。
图49是说明摄像机终端的评价函数F的图。
图50是说明摄像机终端的工作的图。
图51是示出本发明涉及的实施方式7的结构的方框图。
图52是说明实施方式7的工作的流程图。
图53是说明摄像机终端的摄影精度的评价过程的流程图。
图54是说明摄像机终端的评价函数G的图。
图55是说明摄像机终端的工作的图。
图56是示出本发明涉及的实施方式8的结构的方框图。
图57是说明实施方式8的工作的流程图。
图58是说明摄像机终端的摄影精度的评价过程的流程图。
图59是说明摄像机终端的评价函数H的图。
图60是说明摄像机终端的工作的图。
图61是示出本发明涉及的实施方式9的结构的方框图。
图62是说明实施方式9的工作的流程图。
图63是说明摄像机终端的工作的图。
图64是示出摄像机终端的视场区域与摄影区域的关系的图。
图65是说明摄像机终端的评价函数I的图。
图66是说明摄像机终端的工作的图。
图67是说明设置位置与摄影区域相互交叉的摄像机终端的工作的图。
图68是说明摄像机终端的摄影区域信息变更中的协调对象决定过程的图。
图69是说明摄像机终端的工作的图。
图70是示出本发明涉及的实施方式10的结构的方框图。
图71是说明实施方式10的工作的流程图。
图72是说明移动摄像机的摄影区域的推断方法的图。
图73是说明与移动摄像机的摄影区域相邻的摄影区域的确定方法的图。
图74是说明移动摄像机的评价函数A的图。
图75是说明移动摄像机的评价函数B的图。
图76是示出监视范围存储部中存储着的监视区域信息的一例的图。
图77是说明移动摄像机的工作的图。
图78是说明移动摄像机的工作的图。
图79是示出实施方式11的结构的方框图。
图80是说明实施方式11的工作的流程图。
图81是示出在监视区域地图存储部中存储着的监视区域地图信息一例的图。
图82是说明移动摄像机的工作的图。
图83是示出本发明涉及的实施方式12的结构的方框图。
图84是说明实施方式12的工作的流程图。
图85是示出本发明涉及的实施方式12的另外结构的方框图。
图86是说明移动摄像机的工作的图。
图87是示出本发明涉及的实施方式13结构的方框图。
图88是说明实施方式13的工作的流程图。
图89是说明移动摄像机的评价函数C的图。
图90是说明实施方式13中的移动摄像机的工作的图。
图91是示出本发明涉及的实施方式14的结构的方框图。
图92是说明实施方式14的工作的流程图。
图93是说明拍摄影像比较部的工作的图。
图94是示出移动摄像机的具体设置方法的一例的图。
图95是示出移动摄像机的具体设置方法的另一例的图。
图96是示出摄像机终端的摄影元件以外,还具有录音元件的监视系统的图。
图97是示出摄像机终端的摄影元件以外,还具有传感器元件的监视系统的图。
图98是说明将本发明适用于麦克风的例子的图。
附图标记的说明
01、101、201、301、401、501、601、701、801、901摄像机终端
02、102通信媒体
03、103、603、903通信部
04、104、604、904摄影元件
05、105、205、305、405、505、605、705、805、905摄影特性变更部
106、606协调对象决定部
107区域差评价部
108、213、313、413、513、913摄影区域变更部
109、609精度差评价部
211、311、511、911自己区域评价部
212基准区域存储部
312对象物位置确定部
411边界区域评价部
512未摄影区域确定部
606协调对象决定部
610、713、814、914摄影精度变更部
711、811、912自己精度评价部
712基准精度存储部
812对象物确定部
813对象物摄影用基准精度存储部
1101、1201、1301、1401、1501移动摄像机
1102移动部
1103通信网络
1104通信部
1105邻接摄影区域确定部
1106、1302摄影元件
1107摄影区域推断部
1108监视范围存储部
1109摄影位置评价部
1110摄影位置变更部
1111监视区域
1112、1303摄影区域
1120、1120a、1120b对象物
1121监视区域地图存储部
1122摄影区域确定部
1123对象物检测传感器
1124通信网络
1125监视区域地图制作部
1126位置信息检测部
1130摄影方向变更部
1131对象物追踪部
1140拍摄影像比较部
具体实施方式
以下,参照附图,说明本发明中的实施方式行。
图7是本发明的实施方式中的监视系统的基本结构图。在此示出了具有后述的各个实施方式中通用的结构要素的监视系统。
该监视系统包括多个摄像机终端01、01b和通信媒体02,所述多个摄像机终端01、01b由相同的结构要素构成,所述通信媒体02传输与各摄像机终端01、01b的摄影特性有关的信息,各摄像机终端01、01b与周围的摄像机终端协调地变更摄影特性,使得整个监视系统能够更详细地监视整个监视区域。以下,以1台摄像机终端01为中心进行说明。
摄像机终端01是自主地与其他摄像机终端协调地变更摄影特性的自主协调摄像机,包括用于在与其他摄像机终端01b之间进行有关摄影内容的信息的通信的通信部03、摄影特性可变更的摄影元件04和变更摄影元件04的摄影特性的摄影特性变更部05,摄影特性变更部05变更摄影元件04的摄影特性,使得摄像机终端01的摄影特性与其他的摄像机终端01b的摄影特性的关系满足规定的条件。
下面,说明本发明的监视系统所具有的摄影特性变更部05进行变更的摄影元件04的摄影特性。图8(a)和(b)示出与在摄影特性变更部05中利用的摄影特性有关的各种信息。
图8(b)中示出的摄影区域信息是与摄像机终端01的摄影区域有关的信息。该摄影区域信息包含摄影区域的位置坐标、中心坐标、面积等。此外,图8的区域决定参数是决定摄像机终端01的摄影区域信息的参数。该区域决定参数中包含摄像机终端01的设置位置(x、y、z)、表示视线方向的盘(pan)角θP、倾角θT和焦距f等。
此外,图8(b)中示出的摄影精度信息是与摄像机终端01的拍摄影像的精度有关的信息。该摄影精度信息表示例如拍摄影像的分辨率、或者拍摄影像实际拍摄的区域的大小。此外,图8(b)中示出的区域决定参数是决定摄像机终端01的摄影区域信息的参数,例如是焦距f。
(实施方式1)
首先,说明本发明的实施方式1。
图9是本发明的实施方式1中的监视系统的结构图。该监视系统包括多个摄像机终端101、101b和通信媒体102,所述多个摄像机终端101、101b由相同的结构要素构成,所述通信媒体102传输与各摄像机终端101、101b的摄影特性有关的信息,各摄像机终端101、101b与周围的摄像机终端协调地变更摄影特性,使得整个监视系统能够更详细地监视整个监视区域。以下,以1台摄像机终端101为中心进行说明。
摄像机终端101是实施方式1中的自主协调摄像机。
通信媒体102是连结多个摄像机终端的通信网络。
通信部103是进行摄像机终端101的摄影区域信息和区域决定参数的通信的通信接口。
摄影元件104是上述的摄影区域可变更的CCD摄像机等。
摄影特性变更部105是与周围的摄像机终端协调地变更摄影特性的处理部,包括协调对象决定部106、区域差评价部107和摄影区域变更部108。
协调对象决定部106基于由通信部103接收到的其他摄像机终端101b的摄影区域信息和区域决定参数,从其他摄像机终端101b中决定相互的摄影区域相邻的摄像机终端101b。
区域差评价部107基于由协调对象决定部106决定的摄像机终端101b和摄像机终端101的摄影区域信息和区域决定参数,对摄像机终端101b的摄影区域与摄像机终端101的摄影区域之间的距离给予评价值A。
摄影区域变更部108变更摄影元件104的区域决定参数,使得评价值A接近规定的目标值A。即,基于由协调对象决定部106决定的摄像机终端101b和摄像机终端101的摄影区域信息和区域决定参数,控制摄像机终端101的摄影元件104来变更摄影区域,使得摄像机终端101b的摄影区域和摄像机终端101的摄影区域成为预定的恒定关系。
在背景技术中,在整个监视区域,不能拍摄比1台摄像机终端一次所能拍摄的范围广的范围。此外,为了解决该问题,考虑使用多个摄像机终端的情况,但需要决定如何对各摄像机终端分配各自的摄影区域。
对此,根据本实施方式1涉及的结构,各摄像机终端101通过利用协调对象决定部106,从通过通信部103进行通信的其他摄像机终端101b中确定相互的摄影区域相邻的摄像机终端,利用区域差评价部107对相邻的摄影区域的距离求评价值A,利用摄影区域变更部108变更摄影区域,以具有评价值A成为规定目标值的距离间隔,由此能够变更构成监视系统的各摄像机终端的摄影区域,以便保证该各摄像机终端的摄影区域与相邻的摄影区域具有规定的距离间隔。另外,如图16(a)和(b)所示,通过使相邻的摄影区域的距离间隔成为负的值,就能够自动地变更摄影区域,使得相互相邻的摄影区域具有规定的重叠区域,拍影多个摄像机终端101相互的摄影区域邻接且没有间隙的、比1台摄像机所能摄影的范围广的范围。
下面,使用图10(a)~图10(c)说明变更构成监视系统的摄像机终端101的摄影区域的过程。
(处理A)
(步骤A01)首先,开始通信部103中的处理。
(处理A-1)
(步骤A101)取得摄像机终端101的摄影区域信息和区域决定参数。
(步骤A102)向其他摄像机终端101b通知摄像机终端101的摄影区域信息和区域决定参数。
(步骤A104)判断是否从其他摄像机终端101b有摄影区域信息和区域决定参数的通知。若有通知,就转移到步骤A105。若没有通知,就返回到步骤A101。
(步骤A105)取得从其他摄像机终端101b通知的摄影区域信息和区域决定参数,结束处理A-1。
在此,使用图11,以摄影元件的形状是矩形的情况为例说明在步骤A101中取得的摄影区域信息和区域决定参数的关系。该图是假设在天花板上向着地面的方向设置了摄像机终端101的图。在设摄像机终端101的焦点的位置为(x、y、0),天花板的高度为H,摄影元件的形状是矩形,其纵横尺寸为(Wx、Wy),焦距为f,表示摄像机终端101的视线方向的摆角、倾角为θP、θT时,利用以下的式1~式4求出由摄像机终端101拍摄的地面区域的位置。即,利用式1~式4示出摄影元件104和摄像机终端101的视场区域的位置关系,。在此,在以下的式5~式8中,示出在上述式1~式4中使用的摄影元件的位置坐标。即,利用式5~式8示出摄像机终端101的区域决定参数(摆角θP、倾角θT、焦距f、摄像机终端101的设置位置(x、y、z))与摄影元件104的位置的关系。
[数学公式1]
A x A y A z T = - ( a x - x ) H / a z + x - ( a y - y ) H / a z + y - H T -(式1)
B x B y B z T = - ( b x - x ) H / b z + x - ( b y - y ) H / b z + y - H T -(式2)
C x C y C z T = - ( c x - x ) H / c z + x - ( c y - y ) H / c z + y - H T -(式3)
D x D y D z T = - ( d x - x ) H / d z + x - ( d y - y ) H / d z + y - H T -(式4)
[数学公式2]
a x a y a z T = 1 2 w x cos θ P - 2 f sin θ P + 2 x w x sin θ T sin θ P + w y cos θ T + 2 f sin θ T cos θ P + 2 y w x cos θ T sin θ P - w y sin θ T + 2 f cos θ T cos θ p T -(式5)
b x b y b z T = 1 2 w x cos θ P - 2 f sin θ P + 2 x w x sin θ T sin θ P - w y cos θ T + 2 f sin θ T cos θ P + 2 y w x cos θ T sin θ P + w y sin θ T + 2 f cos θ T cos θ p T -(式6)
c x c y c z T = 1 2 - w x cos θ P - 2 f sin θ P + 2 x - w x sin θ T sin θ P - w y cos θ T + 2 f sin θ T cos θ P + 2 y - w x cos θ T sin θ P + w y sin θ T + 2 f cos θ T cos θ p T -(式7)
d x d y d z T = 1 2 - w x cos θ P - 2 f sin θ P + 2 x - w x sin θ T sin θ P + w y cos θ T + 2 f sin θ T cos θ P + 2 y - w x cos θ T sin θ P - w y sin θ T + 2 f cos θ T cos θ p T -(式8)
此外,与摄影元件104对应的视场区域,成为根据摄像机终端101的视野方向从矩形失真了的形状。因此,在以下的说明中,如图12所示,将与视场区域内接的矩形区域作为摄像机终端101的摄影区域进行说明。
(步骤A02)接着,开始摄影特性变更部105中的处理。
(处理A-2)
(步骤A201)协调对象决定部106确定具有与摄像机终端101的摄影区域相邻的摄影区域的摄像机终端101b。
(步骤A202)协调对象决定部106判断是否存在具有相邻摄影区域的摄像机终端101。在存在的情况下,转移到步骤A203,不存在的情况下,结束处理A-2。
(步骤A203)区域差评价部107对摄影区域相邻的摄像机终端101b与摄影区域的距离间隔求出评价值A。
(步骤A204)判断评价值A与规定的目标值是否不同。在与目标值不同的情况下,转移到步骤A205。在与目标值相等的情况下,结束处理A-2。
(步骤A205)摄影区域变更部108变更摄像机终端101的区域决定参数,使得评价值A接近目标值,并结束处理A-2。
以下,重复步骤A01(处理A-1)和步骤A02(处理A-2)。
使用图13(a)和(b)所示的流程图,说明步骤A201中的具有相邻摄影区域的摄像机终端101b的具体决定过程的一例。再有,在此,以摄像机终端101的摄影区域与其他摄像机终端101b的摄影区域的位置关系处于图14所示的位置关系的情况为例进行说明。
(处理A-3)
(步骤A301)以摄像机终端101的摄影区域(1)的中心为基点,基于摄像机终端的摄影区域可移动方向,将摄像机终端101的可摄影的全部区域分割为多个区域。在图14的例子中,将摄像机终端101的摄影区域的中心作为基点,将摄影区域分割为对可移动的摆角方向和倾角方向用虚线划分的4个区域。
(步骤A302)根据其他摄像机终端101b的摄影区域中心存在于在步骤A301分割的区域中的哪个区域,将其他摄像机终端101b分组。
在图14的例子中,对于在图14中被分割为上下左右4个的各区域,分别分组成上区域(摄像机终端2、摄像机终端3)、右区域(摄像机终端4)、下区域(摄像机终端5)和左区域(摄像机终端6、摄像机终端7)。
(步骤A303)对于被分割的各组,决定具有与摄像机终端101的摄影区域中心距离最近的摄影区域中心的摄像机终端,作为协调对象。
在图14的例子中,分别在上方向决定摄像机终端2,在右方向决定摄像机终端4,在下方向决定摄像机终端5,在左方向决定摄像机终端6,作为协调对象。
下面,说明评价摄像机终端101与其他摄像机终端101b的摄影区域的关系的过程(步骤A203)。
求对于步骤A203中的摄像机终端101和其他摄像机终端101b的摄影区域的位置关系的评价值A的过程的一例,如图15所示的流程图。此外,图17是表示实施方式1中的摄像机终端101与其他摄像机终端101b的摄影区域的位置关系样子的图。此外,对相邻的摄影区域的距离关系决定评价值A的评价函数A的一例,如以下的式9、式10、式11、式12。
[数学公式3]
Vco1(x1-xL)=((x1-xL)-C)2    -(式9)
Vco2(x2-xR)=((x2-xR)+C)2    -(式10)
Vco3(y1-yU)=((y1-yU)-C)2    -(式11)
Vco4(y2-yD)=((y2-yD)+C)2    -(式12)
(处理A-4)
(步骤A401)每次变更摄影区域时,对于在处理A-3中分割的各组,调查是否存在与摄像机终端101协调的对象。若存在应协调对象,就转移到步骤A403。在不存在应协调对象的情况下,结束处理A-4。
(步骤A402)求应该协调的其他摄像机终端101b的摄影区域与摄像机终端101的摄影区域的距离。
在图17的例子中,以求出了摄像机终端101的摄影区域的图中左侧的摄影区域4与摄像机终端101的摄影区域1的距离(XL-X1)的情况为例进行说明。
(步骤A403)对于在步骤A402中求出的摄影区域间的距离(XL-X1)与规定常数C的差异,求评价值A。
以下,对于摄影区域5、摄影区域2、摄影区域3,也与摄影区域4同样地重复步骤A401到步骤A404,分别利用上述式10、式11、式12求评价值A,其平均值成为对于摄像机终端101与摄影区域相邻的周围摄像机终端101b的位置关系的评价值A。
在此,若评价函数A是评价与相邻摄影区域的距离间隔(XL-X1)和规定的距离间隔C之间关系的函数,则除了上述式9、式10、式11、式12以外,在区域决定参数(θP、θT、f)的可变更范围内,在距离(XL-X1)与规定常数C相等时,评价值A变最小(或者最大),此外,也可以是随着距离(XL-X1)与规定的常数C之差变大,评价值A单纯地变大(或者变小)的函数。
下面,说明在步骤A205中摄影区域变更部108变更摄影区域的过程。
为了变更摄影区域后使评价值A作为目标值A接近极小值(极大值),摄影区域变更部108按照以下的式13、式14、式15的更新式变更区域决定参数(θP、θT、f),所述更新式包含用各区域决定参数(θP、θT、f)对上述评价函数A进行偏微分的导数。
[数学公式4]
dθ P dt = - α P N ∂ Σ n = 1 N Vcomn ∂ θ P -(式13)
dθ T dt = - α T N ∂ Σ n = 1 N Vcomn ∂ θ T -(式14)
df dt = - α f N ∂ Σ n = 1 N Vcomn ∂ f -(式15)
根据如上所述的过程,各摄像机终端101通过变更区域决定参数(θP、θT、f),就能够自动地改变摄影区域,将相邻的摄影区域和相互的距离间隔使得保证为规定距离C。
接着,使用图18、图19说明由实施方式1中的摄像机终端101构成的监视系统的具体工作。在此,以在天花板的高度一样的房间的天花板上设置多个摄像机终端101并按相互的摄影区域的距离间隔等于负值C的方式工作的例子进行说明。
如图18所示,实施方式1中的监视系统通过变更摄影区域,使得即使适当地设置各摄像机终端的朝向和位置,相互相邻的摄影区域也仅具有间隔C的重叠区域,就能协调与相邻摄影区域不具有间隙的广的摄影区域进行摄影。
此外,如图19所示,在变更了多个摄像机终端101中的任意的摄像机终端101的摄影区域的情况下,由于其他摄像机终端101b与变更了摄影区域的摄像机终端101的动作配合来变更摄影区域,因此,监视系统能够像多个摄像机终端组具有较广摄影区域的1台摄像机终端那样地工作。
(实施方式2)
下面,说明本发明的实施方式2。
图20是本发明的实施方式2中的监视系统的结构图。该监视系统包括多个摄像机终端201、201b和通信媒体102,所述多个摄像机终端201、201b由相同的结构要素构成,所述通信媒体102传输与各摄像机终端201、201b的摄影特性有关的信息,其特征是,各摄像机终端除了实施方式1中的摄影区域的控制以外,还调整摄影区域,使得与预定的基准区域成为一定的位置关系。而且,以1台摄像机终端201为中心进行说明。在图20中,与图9相同的结构要素使用相同符号,省略说明。
摄像机终端201是实施方式2中的自主协调摄像机。
摄影特性变更部205是与周围的摄像机终端协调地变更摄影特性的处理部,包括协调对象决定部106、区域差评价部107、自己区域评价部211、基准区域存储部212和摄影区域变更部213。
自己区域评价部211是执行如下工作的处理部:对于摄像机终端201的摄影区域中心坐标和规定位置的位置关系,在具有相同位置时,取目标值B,随着距离增大,赋予单纯地远离目标值的评价值B。
基准区域存储部212是存储在摄影中成为基准的区域的位置信息的存储器等。
摄影区域变更部213是变更摄影元件104的区域决定参数的处理部,使得除了上述评价值A以外,评价值B也接近规定的目标值。即,除了实施方式1中的摄影区域变更部108的功能以外,控制摄像机终端201的摄影元件104来变更摄影区域,使得摄像机终端201的摄影区域与基准区域成为一定的位置关系(例如,位置一致)。
在背景技术中,在用1台摄像机终端进行广范围的摄影,摄像机终端拍摄可拍摄区域的边界附近的情况下,由于拍摄到的影像中产生了失真,因此,有在图像识别处理中识别率低下等问题。
对此,根据本实施方式2涉及的结构,通过对基准区域存储部212给予拍摄影像的失真少的区域作为基准区域,自己区域评价部211对于摄像机终端201的摄影区域与基准区域的距离求评价值B,摄影区域变更部213变更各摄像机终端201的摄影区域使得接近基准区域,由此,各摄像机终端201就一边使周围的摄像机终端201b和相互的摄影区域邻接,一边担当失真比较少的区域,结果,通过合成各摄像机终端201拍摄的失真少的影像,作为监视系统就能够取得失真少的广范围的影像。
下面,说明实施方式2中的摄像机终端201的摄影区域变更中的工作过程。
图21(a)和(b)是表示摄像机终端201变更摄影区域的过程的流程图。再有,在图21(a)和(b)中,与图10(a)~(c)相同的工作过程使用相同的符号,并省略说明。
(处理B)
(步骤B01)接着,开始摄影特性变更部205中的处理。
(处理B-1)
(步骤B101)自己区域评价部211对摄像机终端201的摄影区域求评价值B。
(步骤B102)协调对象决定部106在每次变更摄像机终端201的摄影区域时,决定应该协调的对象。
(步骤B103)协调对象决定部106在每次变更摄像机终端201的摄影区域时,判定是否存在应该协调的对象。在存在应该协调的对象的情况下,转移到步骤B104,在不存在应该协调的对象的情况下,转移到步骤B105。
(步骤B104)区域差评价部107对应协调对象的摄影区域与摄像机终端自身的摄影区域的位置关系求评价值A。
(步骤B105)摄影区域变更部213判定评价值A、评价值B与规定的目标值A、目标值B是否不同。在与目标值不同的情况下,转移到步骤B106。在与目标值相等的情况下,结束处理B-2。
(步骤A106)摄影区域变更部213变更摄像机终端201的区域决定参数,使评价值A、评价值B分别接近目标值,结束处理B-2。
以下,重复步骤A01(处理A-1)和步骤B01(处理B-1)。
接着,使用图22的流程图,说明在步骤B101中自己区域评价部21 1对摄像机终端201的摄影区域的中心坐标与记录在基准区域存储部212中的基准区域的中心坐标的距离给予评价值B的过程。再有,在此,摄像机终端201的摄影区域与基准区域的位置关系处于图23中示出的位置关系,另外,以评价函数B是以下示出的函数的情况为例进行说明。
[数学公式5]
Figure G2009100059269D00242
其中,基准坐标是O0(x0,y0,z0)
(基准角度是θ0ρ0,θt0))。
O x O y O z T = - ( fH sin θ P / f cos θ T cos θ p ) + x - ( fH sin θ T cos θ P / f cos θ T cos θ p ) + y - H T -(式21)
(步骤B201)求摄像机终端201的摄影区域的中心坐标(x、y、z)或者摄像机终端201视线方向(θP、θT)。
(步骤B202)使用表示上述评价函数B的式16、式17、式18,对摄像机终端201的摄影区域的中心坐标(x、y、z)与基准区域的中心坐标(xsclf、yself、zself)的位置关系求评价值。在此,利用以下的式21,求摄像机终端201的摄影区域的中心坐标(x、y、z)。此外,也可以利用表示上述评价函数B的式19、式20,对摄像机终端201的视线方向(θP、θT)与向基准区域中心坐标的视线方向(θselfP、θselfT)的关系,求评价值。在求出评价值之后,结束处理B-3。
在此,除了上述式16、式17、式18、式19、式20以外,评价函数B也可以是,在摄像机终端201的区域决定参数(θP、θT、f)的可变更范围内,在摄像机终端201的摄影区域的中心坐标与基准区域的中心坐标位于相等的位置上时评价值变最小(或者最大)的函数,此外,也可以是随着摄像机终端的摄影区域的中心坐标与基准区域的中心坐标的距离增大,评价值单调地变大(或者变小)的函数。
步骤B102是与实施方式1中的步骤A201同样的过程。
步骤B104是与实施方式1中的步骤A203同样的过程。
下面,说明在步骤B106中摄影区域变更部213变更摄影区域的过程。
实施方式2中的摄影区域变更部213变更区域决定参数(θP、θT),使得评价值A、评价值B分别接近作为目标值A、目标值B的极小值(或者极大值)。
使评价值A接近极小值(或者极大值)的过程与实施方式1的情况相同。作为使评价值B接近于极小值(或者极大值)的过程,例如,利用以下的式22、式23或式24、式25的更新式变更区域决定参数(θP、θT),所述更新式使用了用各个区域决定参数(θP、θT)对上述评价函数B进行了偏微分的导数。
[数学公式6]
dθ P dt = - α P ∂ ( Vsefl x + Vself y + Vself z ) ∂ θ P -(式22)
dθ T dt = - α T ∂ ( Vsefl x + Vself y + Vself z ) ∂ θ T -(式23)
または
dθ P dt = - α P ∂ ( Vsef lθ T + Vself θ P ) ∂ θ P -(式24)
dθ T dt = - α T ∂ ( Vsefl θ T + Vself θ P ) ∂ θ T -(式25)
其中,αP、αT、αf是系数。
下面,使用图24说明实施方式2中的监视系统的工作例子。在此,以进行了如下设定的情况为例进行说明:在天花板高度一样的房间的天花板上设置多个摄像机终端201,使设置位置的正下方成为基准区域。
如图24的左图所示,在摄像机终端201的视线方向从铅直朝下的方向偏移很大的情况下,由于图12说明的视场区域同矩形相比有很大失真,因此,拍摄的影像形状也有很大失真。另一方面,如图24的右图所示,通过预先将设置位置的正下方的区域作为基准区域,各摄像机终端201就变更摄影区域到将摄影区域到能够摄影失真比较少的影像的设置位置的正下方区域中的作用和变更摄影区域使得保证与周围的摄像机终端201b相互的重叠区域的作用均衡的位置上。这样,各摄像机终端201就能够一边使摄影区域与周围的摄像机终端201b邻接,一边选择拍摄影像的失真比较少的区域作为摄影区域。
此外,通过连接从各摄像机终端201拍摄的影像中的失真比较少的部分(例如中心部分)的影像,作为整个监视系统,就能够拍摄失真少的较广范围的影像。
(实施方式3)
下面,说明本发明的实施方式3。
图25是本发明的实施方式3中的监视系统的结构图。该监视系统包括多个摄像机终端301、301b和通信媒体102,所述多个摄像机终端301、301b由相同的结构要素构成,所述通信媒体102传输与各摄像机终端301、301b的摄影特性有关的信息,其特征是,除了实施方式1中的摄影区域的控制以外,各摄像机终端还调整摄影区域,使得与存在于监视区域内的对象物成为一定的位置关系。以下,以1台摄像机终端301为中心进行说明。在图25中,对于与图9相同的结构要素使用相同符号,并省略说明。
摄像机终端301是实施方式3中的自主协调摄像机。
摄影特性变更部305是与周围的摄像机终端协调地变更摄影特性的处理部,包括协调对象决定部106、区域差评价部107、自己区域评价部311、对象物位置确定部312和摄影区域变更部313。
自己区域评价部311是进行如下工作的处理部:对于摄像机终端201的摄影区域的中心坐标和规定位置的位置关系,在有相同位置时,取目标值C,随着距离增大,付予从目标值单调地远离的评价值C。
对象物位置确定部312是在摄影区域中存在对象物的情况下确定对象物的位置的处理部。
摄影区域变更部313是变更摄影元件104的区域决定参数,使得除了上述评价值A以外,还使评价值C接近规定目标值的处理部。即,除了实施方式1中的摄影区域变更部108的功能以外,控制摄像机终端301的摄影元件104来变更摄影区域,使得摄像机终端301的摄影区域与在对象物位置确定部312中确定的对象物成为一定的位置关系(例如,位置一致)。
在背景技术中,在进行对象物的摄影的情况下,对象物周围的样子仅能够拍摄到用1台摄像机终端所能拍摄的范围。
对此,根据本实施方式3涉及的结构,通过摄像机终端301具有一边追踪对象物一边进行摄影的功能,发现了对象物的摄像机终端301一边追踪对象物的移动一边进行摄影,剩余的摄像机终端301b一边使相互的摄影区域与追踪着对象物的摄像机终端301邻接,一边使摄影区域变更,由此,就能够用多个摄像机终端301拍摄对象物周围的广范围。
下面,说明实施方式3中的摄像机终端301的摄影区域变更中的工作过程。
图26(a)和(b)是示出摄像机终端301变更摄影区域的过程的流程图。再有,在图26(a)和(b)中,对于与图10(a)~(c)相同的工作过程,使用相同的符号,省略说明。
(处理C)
(步骤C01)开始摄影特性变更部305中的处理。
(处理C-1)
(步骤C101)自己区域评价部311对摄像机终端301的摄影区域求评价值C。
(步骤C102)协调对象决定部106在每次变更摄像机终端301的摄影区域时,决定应该协调的对象。
(步骤C103)协调对象决定部106在每次变更摄像机终端201的摄影区域时,判断是否存在应该协调的对象。在存在应该协调的对象的情况下,转移到步骤C104,在不存在应该协调的对象的情况下,转移到步骤C105。
(步骤C104)区域差评价部107对应协调对象的摄影区域与摄像机终端自身的摄影区域的位置关系求评价值A。
(步骤C105)摄影区域变更部313判断评价值A、评价值C与规定的目标值A、目标值C是否不同。在与目标值不同的情况下,转移到步骤C106。在与目标值相等的情况下,结束处理C-2。
(步骤C106)摄影区域变更部313变更摄像机终端301的区域决定参数,使得评价值A、评价值C分别接近于目标值,结束处理C-1。
以下,重复步骤A01(处理A-1)和步骤C01(处理C-1)。
下面,使用图28的流程图,说明在步骤C101中自己区域评价部311对摄像机终端301的摄影区域的中心坐标与对象物的位置坐标的距离给予评价值C的过程。再有,在此,摄像机终端301的摄影区域与对象物的位置关系处于图27所示的位置关系,另外,以用于求评价值C的评价函数C是以下示出的函数的情况为例进行说明。此外,在此,将对象物(人物)的位置坐标作为对象物与地面的接地面的重心,进行以下说明。
[数学公式7]
如果Object∈“摄影区域”,则
Figure G2009100059269D00291
或者
其中,对象物的坐标:Oobj(xobj,yobj,zobj)
(对象物的方向:θobjPobj,θTobj))
(处理C-2)
(步骤C201)拍摄摄像机终端301的摄影区域。
(步骤C202)对象物位置确定部312判断在摄影区域内是否存在对象物。存在对象物的情况下,转移到步骤C203。在不存在对象物的情况下,结束处理C-2。
(步骤C203)利用拍摄影像求对象物的位置坐标(xobj、yobj、zobj)或者位置方向(θPobj、θTobj)。
(步骤C204)求摄像机终端301的摄影区域的中心坐标(x、y、z)或者视线方向(θP、θT)。
(步骤C205)使用表示上述评价函数C的式26、式27、式28,对摄像机终端201的摄影区域的中心坐标(x、y、z)与对象物的位置坐标(xobj、yobj、zobj)的关系求评价值。
或者,使用上述评价函数C的式29、式30,对摄像机终端自身的视线方向(θP、θT)与向对象物的位置方向(θPobj、θTobj)的关系,求评价值C。求出评价值C后,结束处理C-2。
在此,除了上述式26、式27、式28、式29、式30以外,评价函数C可以是,在摄像机终端301的区域决定参数(θP、θT、f)的可变更范围内,在摄像机终端301的摄影区域的中心坐标与对象物的位置坐标相等时评价值C变最小(或者最大)的函数,此外,也可以是随着摄像机终端301的摄影区域的中心坐标与对象物的位置坐标的距离变大,评价值C单调地变大(或者变小)的函数。
下面,说明摄像机终端301的区域决定参数的变更(步骤C106)。
实施方式3中的摄影区域变更部313变更区域决定参数(θP、θT),使得评价值A、评价值C分别接近作为目标值A、目标值C的极小值(或者极大值)。
使评价值A接近极小值(或者极大值)的过程与实施方式1相同。作为使评价值C接近极小值(或者极大值)的过程,例如利用以下的式31、式32或式33、式34的更新式变更区域决定参数(θP、θT),所述更新式使用了用各个区域决定参数(θP、θT)对上述评价函数C进行偏微分的导数。
[数学公式8]
d θ P dt = - α P ∂ ( Vobj x + Vobj y + Vobj z ) ∂ θ P -(式31)
d θ T dt = - α T ∂ ( Vobj x + Vobj y + Vobj z ) ∂ θ T -(式32)
或者
d θ P dt = - α P ∂ ( Vobj θ T + Vobj θ P ) ∂ θ P -(式33)
d θ T dt = - α T ∂ ( Vobj θ T + Vobj θ P ) ∂ θ T -(式34)
其中,αP、αT、αf是系数。
下面,使用图29,说明实施方式3中的摄像机终端301的协调工作的例子。在图29中,以在天花板高度一样且地面是矩形的房间的天花板的适当位置设置多个摄像机终端301来拍摄地面的情况为例进行说明。
如图29所示,在任意的摄像机终端301的摄影区域中有对象物侵入的情况下,摄像机终端301通过变更摄影区域,使对象物位于摄影区域的中心,此外,周围的摄像机终端201b也变更摄影区域,使得相互的摄影区域的距离间隔保证规定距离C,作为整个散协调监视系统,就能够变更摄像机终端的摄影区域,以便拍摄对象物和其周围的广范围。
这样,例如在对象物按比1台摄像机终端所能追踪的速度快的速度迅速改变移动方向后从视野消失的情况下,通过利用围绕追踪对象物的摄像机终端的其他摄像机终端,在广范围捕捉对象物的运动,摄像机终端彼此之间再次协调来变更摄影区域,也能够维持对象物的追踪。
此外,能从更广范围及早发现进行移动的对象物(例如人)周围存在的道路的坡和接近的车辆等危险物等,在对于对象物迅速地通知危险等的对应中有效。
(实施方式4)
下面,说明本发明的实施方式4。
图30是本发明的实施方式4中的监视系统的结构图。该监视系统包括多个摄像机终端401、401b和通信媒体102,所述多个摄像机终端401、401b由相同的结构要素构成,所述通信媒体102传输与各摄像机终端401、401b的摄影特性有关的信息,其特征点在于,除了实施方式1中的摄影区域的控制以外,各摄像机终端还调整摄影区域,使得与可摄影区域的边界成为一定的位置关系。以下,以1台摄像机终端401为中心进行说明。再有,在图30中,对于与图9相同的结构要素,使用相同符号,省略说明。
摄像机终端401是实施方式4中的自主协调摄像机。
摄影特性变更部405是与周围的摄像机终端协调地变更摄影特性的处理部,包括协调对象决定部106、区域差评价部107、边界区域评价部411和摄影区域变更部413。
边界区域评价部411是对摄像机终端401的摄影区域与摄像机终端401所能摄影的区域的边界的距离关系,给予评价值D的处理部。
摄影区域变更部413是变更摄影元件104的区域决定参数的处理部,不但使上述评价值A,还使评价值D接近规定的目标值。即,除了实施方式1中的摄影区域变更部108的功能,还控制摄像机终端401的摄影元件104变更摄影区域,使得摄像机终端401的摄影区域与可摄影区域的边界(例如,监视区域的边界)成为一定的位置关系(仅离开规定距离,或者具有重叠区域)。
在背景技术中,不能一次拍摄比摄像机终端所能拍摄的范围广的整个监视区域。此外,为了解决该问题,考虑使用多个摄像机终端,但该情况下,必须要对各摄像机终端决定各自的摄影区域,以便能够拍摄整个监视区域。
对此,根据本实施方式4涉及的结构,通过变更摄影区域,使得与摄像机终端401相邻的摄影区域和可摄影区域的边界具有规定距离,作为整个监视系统,就能够变更各摄像机终端401的摄影区域,以便能拍摄整个监视区域。
下面,说明实施方式4中的摄像机终端401的摄影区域的变更中的工作。
图31(a)和(b)是示出摄像机终端401变更摄影区域的过程的流程图。再有,在图31(a)和(b)中,关于与图10(a)~(c)相同的工作过程,使用相同的符号,省略说明。
(处理D)
(步骤D01)开始摄影特性变更部405中的处理。
(处理D-1)
(步骤D101)边界区域评价部411对摄像机终端401的摄影区域与可摄影区域的边界的位置关系求评价值D。
(步骤D102)协调对象决定部106在每次变更摄像机终端401的摄影区域时,决定应该协调的对象。
(步骤D103)协调对象决定部106在每次变更摄像机终端401的摄影区域时,判定是否存在应该协调的对象。在存在应该协调的对象的情况下,转移到步骤D104,在不存在应该协调的对象的情况下,转移到步骤D105。
(步骤D104)区域差评价部107对应协调对象的摄影区域与摄像机终端自身的摄影区域的位置关系,求评价值A。
(步骤D105)摄影区域变更部413判断评价值A、评价值D与规定的目标值A、目标值D是否不同。在与目标值不同的情况下,转移到步骤D106。在与目标值相等的情况下,结束处理D-2。
(步骤D106)摄影区域变更部413变更摄像机终端401的区域决定参数,使得评价值A、评价值D分别接近目标值,结束处理D-1。
以下,重复步骤A01(处理A-1)和步骤D01(处理D-1)。
下面,使用图33的流程图,说明在步骤D101中,边界区域评价部411对摄像机终端401的摄影区域与可摄影区域的边界的距离给予评价值D的过程。再有,图32是用于说明摄像机终端401的摄影区域1与可摄影区域的边界的位置关系和评价该位置关系的评价函数D的一例即以下的式35、式36的图。
[数学公式9]
Vwall1(y1)=(y1-ywall-C)2    -(式35)
Vwall2(x1)=(x1-xwall-C)2    -(式36)
其中,C是常数。
(处理D-2)
(步骤D201)对于摄像机终端401的可移动摄影区域的方向,判断是否存在具有相邻的摄影区域的协调对象401b。在有不存在协调对象的方向时,转移到步骤D202。在没有不存在协调对象的方向时,结束处理D-2。
(步骤D202)对于不存在协调对象的方向,求摄像机终端401的可摄影区域的边界位置。
(步骤D203)评价摄像机终端401的摄影区域与可摄影区域的边界之间的距离,结束处理D-2。
在此,关于摄像机终端401的摄影区域与可摄影区域的边界的距离的评价内容,以图32的摄像机终端401的摄影区域与位于其左侧的壁的关系为例进行说明。
首先,求摄像机终端201的摄影区域与其左侧壁的距离(XL-Xwall2),对于求得的距离与规定常数C之差,使用上述评价函数D的式35求评价值D。此外,除了上述式35以外,评价函数D也可以是,在摄像机终端401的区域决定参数(θP、θT、f)的可变更范围内,在距离(XL-Xwall2)与规定的常数C相等时评价值变最小(或者最大)的函数,此外,也可以是,随着距离(XL-Xwall2)与规定的常数C的差异变大,评价值单调地变大(或者变小)的函数。此外,利用式36求与图32所示的上侧边界的评价值D。以下,对于其他方向也同样地重复步骤D201至步骤D203,求评价值D。
下面,说明摄像机终端401的摄影区域的变更过程(步骤D106)。
摄影区域变更部413变更区域决定参数(θP、θT),使得评价值A、评价值D分别接近作为目标值A、目标值D的极小值(或者极大值)。
使评价值A接近极小值(或者极大值)的过程与实施方式1相同。作为使评价值D接近极小值(或者极大值)的过程,例如是按照以下的式37、式38、式39的更新式来变更摄像机终端201的区域决定参数(θP、θT),所述更新式使用了用各个区域决定参数(θP、θT)对上述评价函数D进行了偏微分的导数。
[数学公式10]
d θ P dt = - α P N ∂ Σ n = 1 N V wall n ∂ θ P -(式37)
d θ T dt = - α T N ∂ Σ n = 1 N Vwal ln ∂ θ T -(式38)
df dt = - α f N ∂ Σ n = 1 N Vwal ln ∂ θf -(式39)
其中,αP、αT、αf是系数,
N是相互作用的壁的数量。
下面,使用图34、图35、图36、图37说明实施方式4中的摄像机终端401的工作例子。在此,以在天花板高度一样且地面是矩形的房间的天花板的适当位置设置多个摄像机终端401来拍摄地面的情况为例进行说明。
如图34所示,在设置了多个摄像机终端401的情况下,在构成监视系统的摄像机终端401的台数相对于整个监视区域的大小足够多的情况下,能够全部监视整个监视区域。
此外,在构成监视系统的摄像机终端401的台数相对于整个监视区域的大小少的情况下,如图35所示,对于整个监视区域的摄像机终端的摄影区域不偏向于一个地方,而能够均匀分布地变更摄影区域。
此外,如图36所示,即使构成监视系统的任意的摄像机终端401因故障和停止等而丧失摄影功能,在其他摄像机终端401b的台数相对于整个监视区域的大小足够多的情况下,通过摄像机终端401b相互协调地变更摄影区域,就能够再次全都监视整个监视区域。
此外,如图37所示,在适当的位置重新设置摄像机终端401等的进行监视系统的扩展的情况下,摄像机终端401通过相互协调地变更摄影区域,就能够变更各摄像机终端401的摄影区域,有效地活用新附加的摄像机终端401的功能。
这样地,由于即使在监视区域中适当的位置设置摄像机终端401,也能够自动地决定各摄像机终端401的摄影区域,使得监视系统拍摄整个监视区域,此外,即使对于监视系统的扩展和故障,在监视系统一侧也能够维持整个监视区域的摄影,因此,能够减轻有关监视系统的设置和维护的负担。
(实施方式5)
下面,关于本发明的实施方式5进行说明。
图38是本发明的实施方式5中的监视系统的结构图。该监视系统包括多个摄像机终端501、501b和通信媒体102,所述多个摄像机终端501、501b由相同的结构要素构成,所述通信媒体102传输与各摄像机终端501、501b的摄影特性有关的信息,其特征点在于,除了实施方式1中的摄影区域的控制以外,各摄像机终端还调整摄影区域,以使监视区域中的未摄影区域减少。以下,以1台摄像机终端501为中心进行说明。在图38中,关于与图9、图30相同的结构要素,使用相同符号,省略说明。
摄像机终端501是实施方式5中的自主协调摄像机。
摄影特性变更部505是与周围的摄像机终端协调地变更摄影特性的处理部,包括协调对象决定部106、区域差评价部107、边界区域评价部411、自己区域评价部511、未摄影区域确定部512和摄影区域变更部513。
自己区域评价部511是执行如下功能的处理部:对于摄像机终端501的摄影区域的中心坐标和规定位置的位置关系,在有相同位置时取目标值E,随着距离增大,从目标值开始给予值单调地远离的评价值E的处理部。
摄影区域变更部513是变更摄影元件104的区域决定参数的处理部,除了上述评价值A以外,还使评价值E接近规定的目标值。即,除了实施方式1中的摄影区域变更部108的功能以外,还控制摄像机终端501的摄影元件104来变更摄影区域,使得监视区域中的未摄影区域减少(例如,未摄影区域消失)。
在实施方式4中,在同监视区域的大小相比,构成监视系统的摄像机终端401的台数少的情况下,如图43的左图所示,虽然因摄影区域的位置关系和协调对象的决定方式使未摄影区域存在,但是产生了满足相邻摄影区域的位置关系的情况。
对此,根据本实施方式5涉及的结构,摄像机终端501能够利用未摄影区域确定部512确定与摄影区域邻接的未摄影区域,利用自己区域评价部511评价未摄影区域的重心与摄影区域的中心的距离,另外,利用摄影区域变更部513变更摄像机终端501的摄影区域,以减少未摄影区域。
下面,说明实施方式5中的摄像机终端501的摄影区域变更的工作过程。
图39(a)和(b)是示出摄像机终端501变更摄影区域的过程的流程图。再有,在图39(a)和(b)中,关于与图10(a)~(c)、图31(a)和(b)相同的工作过程,使用相同的符号,省略说明。
(处理E)
(步骤E01)开始摄影特性变更部505中的处理。
(处理E-1)
(步骤E101)自己区域评价部511对摄像机终端501的摄影区域与未摄影区域的位置关系,求评价值E。
(步骤E102)协调对象决定部106在每次变更摄像机终端501的摄影区域时,决定应该协调的对象。
(步骤E103)协调对象决定部106在每次变更摄像机终端501的摄影区域时,判定是否存在应该协调的对象。在存在应该协调的对象的情况下,转移到步骤E104,在不存在应该协调的对象的情况下,转移到步骤E105。
(步骤E104)区域差评价部107对应协调对象的摄影区域与摄像机终端自身的摄影区域的位置关系,求评价值A。
(步骤D105)摄影区域变更部413判断评价值A、评价值D、评价值E与规定的目标值A、目标值D、目标值E是否不同。在与目标值不同的情况下,转移到步骤E106。在与目标值相等的情况下,结束处理E-2。
(步骤E106)摄影区域变更部513变更摄像机终端501的区域决定参数,使评价值A、评价值D、评价值E分别接近目标值,结束处理E-1。
以下,重复步骤A01(处理A-1)和步骤E01(处理E-1)。
下面,使用图40的流程图,说明在步骤E101中,自己区域评价部511对摄像机终端501的摄影区域与未摄影区域的位置关系给予评价值E的过程。而且,在此,以摄像机终端501的摄影区域的位置关系处于图41所示的配置中的情况为例进行说明。此外,图42是说明摄像机终端501的摄影区域与未摄影区域的位置关系和评价该位置关系的评价函数E的一例、即以下式子的图。
[数学公式11]
Figure G2009100059269D00381
或者
Figure G2009100059269D00382
其中,对象物的坐标:OblankC(xblankC、yblankC、zblankC)
(对象物的方向:θblankCPblankC、θTblankC))。
(处理E-2)
(步骤E201)以摄像机终端501的摄影区域的中心为基点,在摄影区域的可移动方向上,将摄像机终端501的可摄影区域分割为多个区域。
在图41中,以摄像机终端501的摄影区域的中心坐标为基点,在摄影区域可移动的摆角方向和倾角方向,将可摄影区域分割为4个区域。
(步骤E202)对每个分割后的区域确定未摄影区域的场所。
在图41中,用粗框线围起来的区域就成为与摄像机终端501的摄影区域邻接的未摄影区域。
(步骤E203)判断是否存在与摄像机终端501的摄影区域邻接的未摄影区域。在存在邻接未摄影区域的情况下,转移到步骤E204。在不存在邻接未摄影区域的情况下,结束处理E-2。
(步骤E204)对每个分割后的区域,求与摄像机终端501的摄影区域邻接的未摄影区域的重心坐标。
(步骤E205)求摄像机终端501的摄影区域的中心坐标或视线方向。
(步骤E206)对于摄像机终端501的摄影区域的中心坐标与未摄影区域的重心的距离的差异,使用上述评价函数E的式40、式41、式42或者式43、式44求评价值E。如果求出了与全部的邻接的未摄影区域的评价值E,则结束处理E-2。
在此,除了上述式40、式41、式42、式43、式44以外,评价函数E可以是,在区域决定参数的可变更的范围中,在摄像机终端501的摄影区域的中心坐标与邻接未摄影区域的重心坐标相等时评价值E变最小(或者最大)的函数,此外,也可以是随着摄像机终端501的摄影区域的中心坐标与邻接未摄影区域的重心的距离变大,评价值E单调地变大(或者变小)的函数。
下面,说明摄像机终端501的摄影区域的变更(步骤E205)。
摄影区域变更部513变更区域决定参数(θP、θT),使得评价值A、评价值D、评价值E分别接近作为目标值A、目标值D、目标值E的极小值(或者极大值)。使评价值A接近极小值(或者极大值)的过程与实施方式1相同。使评价值D接近极小值(或者极大值)的过程与实施方式4相同。
下面,使评价值E接近极小值(或者极大值)的过程是,按照以下示出的式45、式46或式47、式48的更新式来变更摄像机终端501的区域决定参数(θP、θT、f),所述更新式分别使用了用区域决定参数(θP、θT)对上述评价函数E进行了偏微分的导数。
[数学公式12]
d θ P dt = - α P N ∂ Σ n = 1 N ( VblankCxn + VblankCyn + VblankCzn ) ∂ θ P -(式45)
d θ T dt = - α T N ∂ Σ n = 1 N ( VblankC x n + VblankCyn + VblankCzn ) ∂ θ T -(式46)
或者
d θ P dt = - α P N ∂ Σ n = 1 N ( VblankCθTn + VblankCθPn ) ∂ θ P -(式47)
d θ T dt = - α T N ∂ Σ n = 1 N ( VblankCθTn + VblankCθPn ) ∂ θ T -(式48)
其中,αP、αT、αf是系数,
N是邻接未摄影区域的数量。
下面,使用图43说明实施方式5中的摄像机终端501的工作的例子。在此,以在天花板高度一样且地面是矩形的房间的天花板的适当位置,设置多个摄像机终端501来拍摄地面的情况为例进行说明。
如图43的左图所示,在虽然因摄影区域的位置关系和协调对象的决定方式而使得未摄影区域存在,但是产生了满足相邻的摄影区域的位置关系的情况下,由于包围未摄影区域的摄像机终端501变更摄影区域,使得视线接近未摄影区域的重心,此外,周围的摄像机终端501b也变更摄影区域,使得保证相互相邻的摄影区域的重叠为规定的大小,因此,作为整个监视系统,能够提高整个监视区域中的摄影区域的比例。
(实施方式6)
下面,说明本发明的实施方式6。
图44是本发明的实施方式6中的监视系统的结构图。该监视系统包括多个摄像机终端601、601b和通信媒体102,所述多个摄像机终端601、601b由相同的结构要素构成,所述通信媒体102传输与各摄像机终端601、601b的摄影特性有关的信息,其特征是,调整为各摄像机终端的摄影精度成为一定的关系。以下,以1台摄像机终端601为中心进行说明。再有,在图44中,对于与图9相同的结构要素使用相同符号,省略说明。
摄像机终端601是实施方式6中的自主协调摄像机。
通信部603是对摄像机终端601的摄影精度信息和区域决定参数进行通信的通信接口。
摄影元件604是上述的摄影精度可变更的CCD摄像机等。
摄影特性变更部605是与周围的摄像机终端协调地变更摄影特性的处理部,包括协调对象决定部606、精度差评价部609和摄影精度变更部610。
协调对象决定部606从其他摄像机终端601b中决定相互的摄影区域相邻的摄像机终端601b。
精度差评价部609基于由协调对象决定部606决定的摄像机终端601b和摄像机终端601的摄影精度信息和区域决定参数,对于摄像机终端601b与摄像机终端601的摄影精度的差异,给予评价值F。
摄影精度变更部610变更摄影元件604的区域决定参数,使得评价值F接近规定的目标值F。即,基于由协调对象决定部606决定的摄像机终端601b和摄像机终端601的摄影精度信息和区域决定参数,控制摄像机终端601的摄影元件604来变更摄影精度,使得摄像机终端601b的摄影精度与摄像机终端601的摄影精度成为一定的关系(例如相等)。
在背景技术中,由于排摄广范围的摄像机终端和详细拍摄对象物的摄像机终端的作用被分开,用各自的摄像机拍摄的影像的分辨率等不同,因此,照在这些影像中的对象物的尺寸比较和影像合成不容易进行。
对此,根据本实施方式6涉及的结构,通过使用多个摄像机终端601,使相互相邻的摄像机终端601的摄影精度均匀,就能够拍摄适于尺寸比较和影像合成的影像。
下面,使用图45(a)~(c)的流程图,说明变更构成监视系统的摄像机终端601的摄影精度的过程。
(步骤F01)首先,开始通信部603中的处理。
(处理F-1)
(步骤F101)取得摄像机终端601的摄影精度信息和精度决定参数。
(步骤F102)向其他摄像机终端601b通知摄像机终端601的摄影精度信息和精度决定参数。
(步骤F103)判断从其他摄像机终端601b是否有摄影精度信息和精度决定参数的通知。若有通知,就转移到步骤F104。若没有通知,就返回到步骤F101。
(步骤F104)取得从其他摄像机终端601b通知的摄影精度信息和精度决定参数,结束处理F-1。
(步骤F02)接着,开始摄影特性变更部605中的处理。
(处理F-2)
(步骤F201)协调对象决定部606在每次变更摄像机终端601的摄影精度时,决定应该协调的对象。
(步骤F202)协调对象决定部606在每次变更摄像机终端601的摄影精度时,判断是否存在应该协调的对象。在存在应该协调的对象的情况下,转移到步骤F203,在不存在应该协调的对象的情况下,结束处理C-2。
(步骤F203)精度差评价部609对应协调对象的摄影精度信息和精度决定参数、与摄像机终端601的摄影精度信息和精度决定参数的关系,求评价值F。
(步骤F204)精度差评价部609判断评价值F是否与规定的目标值F不同。在与目标值F不同的情况下,转移到步骤F205。在与目标值F相等的情况下,结束处理F-2。
(步骤F205)摄影精度变更部610变更摄像机终端601的精度决定参数,使得评价值F接近规定的目标值F,结束处理F-2。
以下,重复步骤F01(处理F-1)和步骤F02(处理F-2)。
下面,说明实施方式6中的用于变更摄影精度的协调对象的决定过程(步骤F201)。实施方式6中的协调对象的决定过程与图13(a)和(b)中示出的实施方式1中的决定过程相同。
此外,在实施方式6中,也可以根据图46中示出的摄像机终端A与其他摄像机终端的网络的连接关系、或者图47的摄像机终端A与其他摄像机终端的设置位置的物理位置关系,来决定协调对象。
在图46的例子中,选择直接与摄像机终端A网络连接着的其他摄像机终端作为摄像机终端A的摄影精度的变更中的协调对象。此外,也可以对于通过网络间接连接着的其他摄像机终端,选择进行中继的其他摄像机终端的台数处于规定的范围内的其他摄像机终端作为协调对象。这样,就能限制在网络上交错通信的范围,能够防止伴随着摄像机终端的台数的增加的网络上的通信量的增加。
此外,在图47的例子中,摄像机终端交换相互的设置位置信息,选择摄像机终端的设置位置的物理位置关系处于规定的距离范围内的摄像机终端作为协调对象。这样,就能够与连结摄像机终端的网络的配线路径和连接结构无关,根据物理的距离关系来选择协调对象。
下面,使用图48所示的流程图,说明步骤F203中的对于摄像机终端601与其他摄像机终端601b的摄影精度的差异求评价值F的过程的例子。再有,图49中示出了实施方式6中的摄像机终端601与其他摄像机终端601b的摄影精度的差异的样子,以下示出对于摄影精度的差异决定评价值F的评价函数F的式49、式50。
[数学公式13]
Ucom1(fA-fB)=(fA-fB)2    -(式49)
Ucom2(fA-fC)=(fA-fC)2    -(式50)
(处理F-3)
(步骤F301)摄像机终端601在与其他摄像机终端601b的摄影精度的变更中,判断应该协调的对象中是否存在还未评价与摄像机终端601的摄影精度的差异的对象。
在图49的例子中,对于已被决定为摄像机终端A的协调对象的摄像机终端B、摄像机终端C,判断是否结束了摄影精度信息和精度决定参数的评价。
(步骤F302)判断了是否存在协调对象的结果,若存在应该协调的对象,就转移到步骤F303。在不存在应该协调的对象的情况下,结束处理F-3。
(步骤F303)对应该协调的其他的摄像机终端601b与摄像机终端601的摄影精度信息及精度决定参数的关系,求评价值F。
在图49的例子中,使用上述评价函数F的式49、式50对摄像机终端A与摄像机终端B、或者与摄像机终端C的焦距的关系,求评价值F。此外,除了上述式49、式50以外,评价函数F可以是,在摄像机终端601的精度决定参数(f)的可变更的范围中,在摄像机终端间的规定的摄影精度信息和精度决定参数的差异相等时评价值F变最小(或者最大)的函数,此外,也可以是随着规定的摄影精度信息和精度决定参数的差异变大,评价值F单调地变大(或者变小)的函数。
下面,说明摄像机终端601的精度决定参数的变更过程(步骤F205)。
为了变更精度决定参数(f),使得评价值F接近作为目标值F的极小值(或者极大值),摄影精度变更部610按照以下示出的更新式的式51来变更摄像机终端601的精度决定参数(f),所述更新式使用了分别用精度决定参数(f)对上述评价函数F进行了偏微分的导数。
[数学公式14]
df dt = - α f N ∂ Σ n = 1 N Ucomn ∂ f -(式51)
其中,αP、αT、αf是系数,
N是协调对象的数量。
下面,使用图50说明实施方式6中的摄像机终端的协调工作的例子。
在图50中示出了在天花板高度一样且地面是矩形的房间的天花板上设置多个摄像机终端601来拍摄地面的例子。
如图50的左图所示,在各摄像机终端601分别具有不同的焦距、且拍摄的影像(例如,人脸的影像)的分辨率不同的情况下,存在相同条件下不能进行对象物的脸识别等处理的问题。因此,通过各摄像机终端601与其他摄像机终端601b协调使规定的摄影精度均匀,从而,如图50的右图所示,各摄像机终端601就能拍摄到具有相同分辨率的影像,能在相同条件下进行对象物的脸识别等处理。
(实施方式7)
下面,说明本发明的实施方式7。
图51是本发明的实施方式7中的监视系统的结构图。该监视系统包括多个摄像机终端701、701b和通信媒体102,所述多个摄像机终端701、701b由相同的结构要素构成,所述通信媒体102传输与各摄像机终端701、701b的摄影特性有关的信息,其特征是,除了实施方式6中的摄影精度的控制以外,各摄像机终端还调整摄影精度,使得与预定的基准精度成为一定的位置关系。以下,以1台摄像机终端701为中心进行说明。在图51中,对于与图44相同的结构要素使用相同符号,省略说明。
摄像机终端701是实施方式7中的自主协调摄像机。
摄影特性变更部705是与周围的摄像机终端协调地变更摄影特性的处理部,包括协调对象决定部606、精度差评价部609、自己精度评价部711、基准精度存储部712和摄影精度变更部713。
自己精度评价部711是执行如下功能的处理部:在摄像机终端701的摄影精度取规定值(基准精度存储部712中存储的基准精度)时,取目标值G,随着精度离开规定值,从目标值G开始给予单调地远离的评价值G。
基准精度存储部712是存储在摄影中成为基准的摄影精度、即基准精度值的存储器等。
摄影精度变更部713是变更摄影元件604的精度决定参数的处理部,除了上述评价值F以外,还使评价值G接近规定的目标值。即,除了实施方式6中的摄影精度变更部610的功能以外,还控制摄像机终端701的摄影元件604来变更摄影精度,使得摄像机终端701的摄影精度与规定值(基准精度)一致。
实施方式6涉及的摄像机终端601能够使周围的摄像机终端601b和摄影精度均匀,但不能将其精度变更为目的值。
对此,在本实施方式7涉及的结构的摄像机终端701中,通过设定目的摄影精度作为基准精度,就能够使摄像机终端701的摄影精度接近目的摄影精度,并且使其均匀。
下面,说明实施方式7中的摄像机终端701的摄影精度的变更中的工作过程。
图52(a)和(b)是示出摄像机终端701变更摄影精度的过程的流程图。再有,在图52(a)和(b)中,对于与图45(a)~(c)相同的工作过程,使用相同的符号,省略说明。
(处理G)
(步骤G01)开始摄影特性变更部705中的处理。
(处理G-1)
(步骤G101)自己精度评价部711对摄像机终端701的摄影精度求评价值G。
(步骤G102)协调对象决定部606在每次变更摄像机终端701的摄影精度时,决定应该协调的对象。
(步骤G103)协调对象决定部606在每次变更摄像机终端701的摄影精度时,判端是否存在应该协调的对象。在存在应该协调的对象的情况下,转移到步骤G104,在不存在应该协调的对象的情况下,转移到步骤G105。
(步骤G104)精度差评价部609对应协调对象与摄像机终端701的规定摄影精度的差异,求评价值F。
(步骤G105)精度差评价部609判断评价值F、评价值G与规定的目标值F、目标值G是否不同。在与目标值不同的情况下,转移到步骤G106。在与目标值相等的情况下,结束处理G-1。
(步骤G106)摄影精度变更部713变更摄像机终端701的精度决定参数,使得评价值F、评价值G分别接近于目标值,结束处理G-1。
以下,重复步骤F01(处理F-1)和步骤G01(处理G-1)。
实施方式7中的用于摄影精度信息变更的协调对象的决定过程(步骤G102)与实施方式6相同。
下面,使用图53的流程图,说明在步骤G101中,自己精度评价部711对摄像机终端701的摄影精度与基准精度的差异给予评价值G的过程。再有,图54是用于说明评价摄像机终端701的摄影精度与基准精度的差异的评价函数G的一例、即以下的式52的图。
[数学公式15]
Uself(f)=(f-f0)2    -(式52)
其中,基准焦距:f0
(处理G-2)
(步骤G201)求摄像机终端701的摄影精度信息和精度决定参数。
(步骤G202)使用上述评价函数G的式52,对摄像机终端701的摄影精度信息和精度决定参数与基准精度的关系求评价值G。求出了评价值G后,结束处理G-2。
在此,除了上述式52以外,评价函数G可以是,在摄像机终端自身的精度决定参数(f)的可变更的范围中,在摄像机终端701的规定的摄影精度信息和精度决定参数与基准精度相等时评价值G变最小(或者最大)的函数,此外,也可以是,随着摄像机终端701的规定的摄影精度信息和精度决定参数与基准精度的差异变大,评价值G单调地变大(或者变小)的函数。
下面,说明摄像机终端701的摄影精度的变更(步骤G106)。
摄影精度变更部713变更精度决定参数(f),使得评价值F、评价值G分别接近作为目标值F、目标值G的极小值(或者极大值)。
使评价值F接近极小值(或者极大值)的过程与实施方式6相同。作为使评价值G接近极小值(或者极大值)的过程,例如是,按照以下示出的式53的更新式来变更摄像机终端701的精度决定参数(f),所述更新式使用了分别用精度决定参数(f)对上述评价函数G进行了偏微分的导数。
[数学公式16]
df dt = - α f ∂ U self ∂ f -(式53)
其中,αf是系数。
下面,使用图55说明实施方式7中的摄像机终端的工作的例子。在此,以在天花板高度一样且地面是矩形的房间的天花板上设置多个摄像机终端701来拍摄地面的情况为例进行说明。
在图55中,通过对摄像机终端701给予基准精度,就能够用与基准精度接近的值进行各摄像机终端701的摄影精度的均匀化。
这样,例如在脸识别等中,在预先准备了用于比较的样板图像的情况下,通过将能够拍摄与样板图像相同分辨率的影像的摄影精度设定为基准精度,就能够从构成监视系统的全部的摄像机终端701中取得具有适于脸识别处理的分辨率的影像。
(实施方式8)
下面,说明本发明的实施方式8。
图56是本发明的实施方式8中的监视系统的结构图。该监视系统包括多个摄像机终端801、801b和通信媒体102,所述多个摄像机终端801、801b由相同的结构要素构成,所述通信媒体102传输与各摄像机终端801、801b的摄影特性有关的信息,其特征是,各摄像机终端根据在摄影区域内是否检测到了对象物,变更摄影精度。以下,以1台摄像机终端801为中心进行说明。在图56中,对于与图44相同的结构要素使用相同符号,省略说明。
摄像机终端801是实施方式8中的自主协调摄像机。
摄影特性变更部805是与周围的摄像机终端协调地变更摄影特性的处理部,包括协调对象决定部606、精度差评价部609、自己精度评价部811、对象物确定部812、对象物摄影用基准精度存储部813和摄影精度变更部814。
自己精度评价部811是执行如下功能的处理部:对于摄像机终端801的摄影精度,在摄影精度处于规定值时,取目标值H,随着精度离开规定值,从目标值H开始给予单调地远离的评价值H。
对象物确定部812是确定摄影区域内是否存在对象物的处理部。
对象物摄影用基准精度存储部813是存储用于拍摄对象物的摄影精度的存储器等。
摄影精度变更部814是变更摄影元件604的精度决定参数的处理部,除了上述评价值F以外,还使评价值H接近规定的目标值。具体地说,在对象物确定部812确定了摄影区域内的对象物的情况下,控制摄影元件604,使得摄像机终端801的摄影精度等于在对象物摄影用基准精度存储部813存储的摄影精度,在对象物确定部812不确定对象物的情况下,与实施方式6同样地控制摄影元件604,使得摄像机终端801的摄影精度与其他摄像机终端相同。
在背景技术中,预先将任务决定给拍摄广范围的摄像机终端和详细拍摄对象物的摄像机终端,不能根据情况转换其任务。
对此,根据本实施方式8涉及的结构,通过预先给予用于详细拍摄对象物的摄影精度作为基准精度,对象物进入到摄像机终端801的摄影区域中的摄像机终端801就能够为了详细拍摄对象物而变更摄影精度,此外,对象物从摄影区域一消失,就能够再次进行变更使摄影精度变得与周围的摄像机终端一致。因此,能够使任务自动地进行变更,使得位于对象物附近的摄像机终端801详细地拍摄对象物的样子,剩余的摄像机终端801b用相同摄影精度拍摄对象物周围的区域。
下面,使用图57(a)和(b)的流程图说明变更构成监视系统的摄像机终端801的摄影精度的过程。图57(a)和(b)是示出摄像机终端801变更摄影精度的过程的流程图。再有,在图57(a)和(b)中,对于与图45(a)~(c)相同的工作过程使用相同的符号,省略说明。
(处理H)
(步骤H01)开始摄影特性变更部805中的处理。
(处理H-1)
(步骤H101)自己精度评价部811对摄像机终端801的摄影精度求评价值H。
(步骤H102)协调对象决定部606在每次变更摄像机终端801的摄影精度时,决定应该协调的对象。
(步骤H103)协调对象决定部606在每次变更摄像机终端801的摄影精度时,判断是否存在应该协调的对象。在存在应该协调的对象的情况下,转移到步骤H104,在不存在应该协调的对象的情况下,转移到步骤H105。
(步骤H104)精度差评价部609对应协调对象与摄像机终端801的规定摄影精度的差异,求评价值F。
(步骤H105)精度差评价部609判断评价值F、评价值H与规定的目标值F、目标值H是否不同。在与目标值不同的情况下,转移到步骤H106。在与目标值相等的情况下,结束处理H-1。
(步骤H106)摄影精度变更部814变更摄像机终端801的精度决定参数,使得评价值F、评价值H分别接近目标值,结束处理H-1。
以下,重复步骤F01(处理F-1)和步骤H01(处理H-1)。
下面,使用图58的流程图,说明在步骤H101中,自己精度评价部811对于摄像机终端801的摄影精度与用于摄影对象物的基准精度的差异给予评价值H的过程。而且,图59是用于说明评价摄像机终端801的摄影精度与用于摄影对象物的基准精度的差异的评价函数H的一例、即以下的式54的图。
[数学公式17]
如果Object∈“摄影区域”,则
Uobj(f)=(f-fobj)2  -(式54)
其中,基准焦距:fobj
(处理H-2)
(步骤H201)拍摄摄像机终端801的摄影区域内。
(步骤H202)判断在摄影区域内是否存在对象物。在存在对象物的情况下,转移到步骤H203。在不存在对象物的情况下,结束处理H-2。
(步骤H203)使用上述评价函数H的式54,对于摄像机终端801的摄影精度信息及精度决定参数(f)和用于对象物拍摄的基准精度(fobj)的关系求评价值H,结束处理H-2。
在此,除了上述式54以外,评价函数H可以是,在摄像机终端801的精度决定参数(f)的可变更的范围中,在摄像机终端801的规定摄影精度与用于对象物拍摄的基准精度相等时评价值H变最小(或者最大)的函数,此外,也可以是,随着摄像机终端自身的规定的摄影精度与用于对象物的摄影的基准精度的差异变大,评价值H单调地变大(或者变小)的函数。
下面,说明摄像机终端801的摄影精度的变更(步骤H106)。
实施方式8中的摄影精度变更部814变更精度决定参数(f),使得评价值F、评价值H分别接近作为目标值F、目标值H的极小值(或者极大值)。
使评价值F接近极小值(或者极大值)的过程与实施方式6相同。作为使评价值H接近极小值(或者极大值)的过程,例如是,按照以下示出的式55的更新式来变更摄像机终端801的精度决定参数(f),所述更新式使用了分别用精度决定参数(f)对上述评价函数H进行了偏微分的导数。
[数学公式18]
如果Object∈“摄影区域”,则
df dt = - α f ∂ U obj ∂ f -(式55)
其中,αf是系数。
下面,使用图60说明实施方式8中的摄像机终端801的工作的例子。在此,以在天花板高度一样且地面是矩形的房间的天花板上设置多个摄像机终端801来拍摄地面的情况为例进行说明。
如图60所示,在摄影区域内一出现规定的对象物,各摄像机终端801就按预定的规定基准精度拍摄对象物,此外,对象物从摄影区域一消失,就再次工作,使摄影精度与周围的摄像机终端801b一致。
这样,在监视区域中不存在对象物的情况下,全部的摄像机终端801按相同的摄影精度拍摄监视区域内,在存在对象物的情况下,能够仅让捕捉到了对象物的摄像机终端801详细地监视对象物。
(实施方式9)
下面,说明本发明的实施方式9。
图61是本发明的实施方式9中的监视系统的结构图。该监视系统包括多个摄像机终端901、901b和通信媒体102,所述多个摄像机终端901、901b由相同的结构要素构成,所述通信媒体102传输与各摄像机终端901、901b的摄影特性有关的信息,其特征点在于,各摄像机终端兼具实施方式1~8中的摄影区域和摄影精度的调整功能。以下,以1台摄像机终端901为中心进行说明。再有,在图61中,对于与图9、图20、图25、图30、图38、图44、图51、图56相同的结构要素,使用相同符号,省略说明。
摄像机终端901是实施方式9中的自主协调摄像机。
通信部903是对摄像机终端901的摄影区域信息、区域决定参数、摄影精度信息和精度决定参数进行通信的通信接口。
摄影特性变更部905是与周围的摄像机终端协调地变更摄影特性的处理部,包括协调对象决定部106、区域差评价部107、精度差评价部109、基准区域存储部212、对象物位置确定部312、边界区域评价部411、未摄影区域确定部512、基准精度存储部712、对象物确定部812、对象物摄影用基准精度存储部813、自己区域评价部911、自己精度评价部912、摄影区域变更部913和摄影精度变更部914。
自己区域评价部911是对摄像机终端901的摄影区域给予评价值B、评价值C、评价值D、评价值E的处理部。
自己区域评价部912是对摄像机终端901的摄影精度给予评价值G、评价值H的处理部。
摄影区域变更部913是变更区域决定参数,使得评价值A、评价值B、评价值C、评价值D、评价值E分别接近于目标值的处理部。即,兼具实施方式1~5中的摄影区域变更部的功能。
摄影精度变更部914是变更精度决定参数,使得评价值F、评价值G、评价值H分别接近于目标值的处理部。即,兼具实施方式6~8中的摄影精度变更部的功能。
在背景技术中,不能同时进行通过协调多个摄像机终端来全都拍摄整个监视区域,以及一边详细地追踪一边拍摄监视区域内存在的对象物的样子。
对此,根据本实施方式9涉及的结构,对于摄像机终端901的摄影区域,利用区域差评价部107、边界区域评价部411、自己区域评价部911分别求评价值A、评价值B、评价值D、评价值E,利用摄影区域变更部913变更摄影区域,使得评价值A、评价值B、评价值D、评价值E分别接近规定的目标值,由此,就能够对整个监视区域全都拍摄失真少的影像。
此外,对于摄像机终端901的摄影精度,利用精度差评价部109、自己精度评价部912求评价值F、评价值G,利用摄影精度变更部914变更摄影精度,使得评价值F、评价值G分别接近规定的目标值,由此,就能够从全部的摄像机终端901拍摄相同摄影精度的影像。
此外,在摄像机终端901的摄影区域内存在对象物的情况下,利用对象物位置确定部312和对象物确定部812来确定对象物和其位置,利用自己区域评价部911求评价值C,此外,利用自己精度评价部912求评价值H,利用摄影区域变更部913和摄影精度变更部914变更摄影区域和摄影精度,使得评价值C、评价值H分别接近于目标值,由此,就能够按详细的摄影精度一边追踪一边拍摄对象物。
下面,使用图62(a)~(d)的流程图,说明变更构成监视系统的摄像机终端901的摄影区域和摄影精度的过程。图62(a)~(d)是示出摄像机终端901变更摄影精度的过程的流程图。再有,在图62(a)~(d)中,对于与图10(a)~(c)、图45(a)~(c)相同的工作过程,使用相同的符号,省略说明。
(处理I)
(步骤I101)自己区域评价部911对摄像机终端901的摄影区域求评价值B、评价值C、评价值D、评价值E。
(步骤I102)协调对象决定部106在每次变更摄像机终端901的摄影区域时,决定应该协调的对象。
(步骤I103)协调对象决定部106在每次变更摄像机终端901的摄影区域时,判断是否存在应该协调的对象。在存在应该协调的对象的情况下,转移到步骤I104,在不存在应该协调的对象的情况下,结束处理I-1。
(步骤I104)区域差评价部107对应协调对象的摄影区域与摄像机终端901的摄影区域的位置关系求评价值A,结束处理I-1。
(处理I-2)
(步骤I201)自己精度评价部912对摄像机终端901的摄影精度,求评价值G、评价值H。
(步骤I202)协调对象决定部106在每次变更摄像机终端901的摄影精度时,决定应该协调的对象。
(步骤I203)协调对象决定部106在每次变更摄像机终端901的摄影精度时,判断是否存在应该协调的对象。在存在应该协调的对象的情况下,转移到步骤I204,在不存在应该协调的对象的情况下,结束处理E-2。
(步骤I204)精度差评价部109对应协调对象与摄像机终端901的摄影精度的差异求评价值F,结束处理I-2。
(处理I-3)
(步骤I301)判断评价值A、评价值B、评价值C、评价值D、评价值E、评价值F、评价值G、评价值H之中是否存在与规定的目标值不同的评价值。若存在与目标值不同的评价值,就转移到步骤I302。若不存在与目标值不同的评价值,就结束处理I-3。
(步骤I302)变更区域决定参数(θP、θT、f)和精度决定参数(f),使得评价值A、评价值B、评价值C、评价值D、评价值E、评价值F、评价值G、评价值H分别接近于规定的目标值,结束处理I-3。
以下,重复步骤A01(处理A-1)、步骤I01(处理I-1)、步骤F01(处理F-1)、步骤I02(处理I-2)、步骤I03(处理I-3)。
实施方式9中的摄影区域变更部913和摄影精度变更部914按照以下示出的式56、式57、式58的更新式来变更摄像机终端自身的区域决定参数(θP、θT、f)和精度决定参数(f),所述更新式使用了用区域决定参数((θP、θT、f)或者精度决定参数(f)对上述评价值A、评价值B、评价值C、评价值D、评价值E、评价值F、评价值G、评价值H进行了偏微分的导数。
[数学公式19]
d θ P dt = - α P N ∂ Σ n = 1 N Vcomn ∂ θ P - β P ∂ V self ∂ θ P - γ P ∂ V obj ∂ θ P
- δ P Q ∂ Σ q = 1 Q Vwallq ∂ θ P - ϵ P R ∂ Σ r = 1 R VblankCr ∂ θ P - ζ P S ∂ Σ s = 1 S VblankSS ∂ θ P -(式56)
d θ T dt = - α T N ∂ Σ n = 1 N Vcomn ∂ θ T - β T ∂ V self ∂ θ T - γ T ∂ V obj ∂ θ T
- δ T Q ∂ Σ q = 1 Q Vwallq ∂ θ T - ϵ T R ∂ Σ r = 1 R VblankCr ∂ θ T - ζ T S ∂ Σ s = 1 S VblankSS ∂ θ T -(式57)
df dt = - α f N ∂ Σ n = 1 N Vcomn ∂ f - β f M ∂ Σ m = 1 M Ucomm ∂ f - γ f ∂ U self ∂ f
- δ f ∂ U obj ∂ f - - ϵf L ∂ Σ l = 1 L Vwalll ∂ θf - ζf S ∂ Σ s = 1 S VblankSS ∂ f -(式58)
其中,αP、αT、αf、βP、βT、βf、γP、γT、γf、δP、δT、δf、εP、εT、εf、ζP、ζT、ζf是系数;
N、M是协调对象的数量;
Q是相互作用的壁的数量;
R、S是邻接未摄影区域的数量。
下面,使用图63说明实施方式9中的摄像机终端901的工作的例子。在此,以在天花板高度一样且地面是矩形的房间的天花板的适当位置设置多个摄像机终端901来拍摄地面的情况为例进行说明。
如图63所示,能够自动地进行各摄像机终端901的摄影区域的分担和摄影精度的设定,使得即使在天花板的适当的位置设置多个摄像机终端901,也能够全都监视整个监视区域的样子。
此外,在监视区域内存在对象物的情况下,作为监视系统,能够在维持了整个监视区域的监视的状态下,利用任意的摄像机终端901一边追踪对象物一边详细地进行监视。
下面,说明在实施方式9中摄影区域是矩形以外的情况下的摄影区域的变更过程。
在摄影区域的形状是与视场区域内接摄影区域的椭圆形的情况下,如图64所示,在连结摄影区域的重心的直线上,评价2个摄影区域重叠的距离间隔L与规定的常数C的差异。图65中示出的摄影区域A与周围的摄影区域B、摄影区域C、摄影区域D的关系,利用以下的评价函数I的式59、式60、式61求评价值。
[数学公式20]
VconB(LAB)=(LAB-C)2  -(式59)
VconC(LAC)=(LAC-C)2  -(式60)
Vcon(LAD)=(LAD-C)2   -(式61)
在此,除了上述式59、式60、式61以外,评价函数I可以是,在摄像机终端901的区域决定参数(θP、θT、f)的可变更的范围中,在摄像机终端901自身与其他摄像机终端901b的重叠的距离L与规定的常数C相等时评价值变最小(或者最大)的函数,此外,也可以是,随着距离L离开规定的常数C,评价值单调地变大(或者变小)的函数。
下面,使用图66,说明实施方式9中的摄影区域取矩形以外的形状的摄像机终端的协调工作的例子。在此,以在天花板高度一样且地面是矩形的房间的天花板的适当位置设置多个摄像机终端901拍摄地面的情况为例进行说明。
如图66所示,由于各摄像机终端901使相互的摄影区域重叠的区域的宽度L接近于规定的值C,因此,即使在摄影区域的形状不成为矩形的情况下,对于整个监视区域,也能够以各摄像机终端901的摄影区域一样分布地进行监视。
此外,即使摄影区域的形状是多角形及其他形状,通过连结摄像机终端901的摄影区域的重心,评价在连结的直线上的重叠宽度L,也能够变更各摄像机终端的摄影区域信息。
下面,使用图67、图68,说明通过将相互的视线交叉的摄像机终端排除在协调对象的候补之外,来使摄像机终端优先监视设置位置正下方的区域的协调对象的决定过程。
在实施方式1、实施方式2、实施方式3、实施方式4、实施方式5、实施方式9中的摄影区域的变更中,如图69的左图所示,在摄像机终端的设置位置和摄影区域的位置关系交叉的状态决定了摄影区域的担当区域的情况下,由于摄像机终端的视线方向成为从铅直正下方向偏移了的状态,因此,摄影区域从矩形变为失真了的形状。因此,通过将相互的视线交叉的摄像机终端从协调对象除外,如图69的右图所示,就能防止发生摄像机终端间的视线交叉。
图68是示出了将实施方式1、实施方式2、实施方式3、实施方式4、实施方式5、实施方式9中的视线交叉的摄像机终端排除在协调对象之外,确定具有相邻的摄影区域的摄像机终端的过程的流程图。
(处理I-4)
(步骤I401)以摄像机终端901的摄影区域的中心为基点,基于摄像机终端901的视线可移动方向,将可摄影区域分割为多个区域。
(步骤I402)根据其他摄像机终端901b的摄影区域的中心被包含在步骤I401中分割的区域中的哪个区域中,将其他摄像机终端901b分组。
(步骤I403)将与摄像机终端901的视线交叉的其他摄像机终端901b从各组中排出。
(步骤I404)对于分割后的各组,决定具有与摄像机终端901的摄影区域的中心距离最短的摄影区域的中心的摄像机终端,作为摄像机终端901的协调对象。
图69中示出将相互的视线交叉的摄像机终端从协调对象的候补除外的情况下的摄像机终端901的协调工作的例子。在此,假设在天花板高度一样且地面是矩形的房间的天花板的适当位置设置多个摄像机终端901拍摄地面的情况。
在如图69的左侧的图所示,对于构成监视系统的摄像机终端视线交叉了的状态,按照图68的流程图,将视线交叉的摄像机终端从协调对象的候补除外了的情况下,就能够如图69的右侧的图所示地变更摄影区域,使得各摄像机终端的摄影区域成为摄像机终端的设置位置的正下方的区域。
(实施方式10)
下面,说明本发明的实施方式10。
图70是示出本发明的实施方式10中的监视系统的结构的方块图。该监视系统包括多个摄像机终端,所述摄像机终端包括用通信网络1103连接的移动摄像机1101和移动部1102,其特征点在于,这些多个移动摄像机1101自主协调地进行移动,使得能够全都监视监视区域1111。
通信网络1103是连结多个移动摄像机1101的传输线路。
移动部1102是使移动摄像机1101的摄影位置变更的机构部等。
移动摄像机1101是被移动部1102支承持进行移动的摄像机装置,包括通信部1104、邻接摄影区域确定部1105、摄影元件1106、摄影区域推断部1107、监视范围存储部1108、摄影位置评价部1109和摄影位置变更部1110。
通信部1104是用于移动摄像机1101通过通信网络1103与其他移动摄像机进行信息交换的通信接口。
邻接摄影区域确定部1105是对于来自被通信部1104通知的其他移动摄像机的信息,推断摄影区域相邻的移动摄像机的处理部。
摄影元件1106是取入监视区域内的影像的CCD摄像机等。
摄影区域推断部1107是根据摄影元件1106的特性和移动部1102的位置推断摄像机1101的摄影区域的处理部。
监视范围存储部1108是存储移动摄像机1101应该监视的区域的范围的存储器等。
摄影位置评价部1109是评价与移动摄像机1101的摄影区域相互相邻的摄影区域的重叠区域、或者与监视区域的边界的距离的处理部。
摄影位置变更部1110是控制移动部1102,使移动摄像机1101的摄影位置进行变更,使得摄影位置评价部1109的评价等于一定的目标值的控制部。具体地说,在邻接的摄影区域的重叠区域不与一定的目标值一致的情况下,控制移动部1102使其重叠区域与目标值一致,在与监视区域的边界的距离不与一定的目标值一致的情况下,控制移动部1102使其距离与目标值一致。其结果,在控制各移动摄像机的位置,使得利用多个移动摄像机对监视区域同时摄影的摄影区域的比例增加的同时,控制各移动摄像机的位置,使得监视区域中的多个移动摄像机的摄影区域更均匀地分散。
监视区域1111是移动摄像机1101应该监视的区域。
摄影区域1112是利用移动摄像机1101摄影的区域。
根据这样的实施方式10的结构,移动摄像机1101通过向周围的移动摄像机通知有关根据摄影元件1106的特性推断的摄影区域的信息,一边与周围的移动摄像机协调一边变更摄影位置,使得与相邻的摄影区域的重叠区域的大小和与监视区域的边界的距离接近于规定的状态,由此,就能够在多个移动摄像机1101的同时摄影中,移动到监视区域内的死角变少的摄影位置。
下面,使用图71(a)~(d)的流程图说明构成监视系统的移动摄像机的工作过程。
移动摄像机1101重复执行3个处理(处理J-1~J-3)。
首先,进行以下的处理J-1(步骤J01)。
摄影区域推断部1107根据移动摄像机1101的摄影位置和摄影元件1106的特性,推断移动摄像机1101的摄影区域(步骤J101)。
通信部1104向周围的移动摄像机通知与在步骤J101推断的摄影区域有关的信息(步骤J102)。
通信部1104判断是否从另外的移动摄像机通知了有关摄影区域的信息(步骤J103)。若有来自另外的移动摄像机的通知,就转移到步骤J104,若没有通知,就转移到步骤J101。
通信部1104取得从另外的移动摄像机通知的有关摄影区域的信息(步骤J104),结束处理J-1。
在此,使用图72说明步骤J101中的移动摄像机终端1101的摄影区域的推断方法的一例。在图72中,焦点1301是移动摄像机1101的焦点。摄影元件1302是移动摄像机1101的摄影元件1106。摄影区域1303是被移动摄像机1101的摄影元件1106通过焦点摄影的区域。
再有,图72是假设在天花板上朝着地面方向设置了移动摄像机的图。在设移动摄像机的焦点位置为(x、y、0),天花板高度为H,摄影元件形状是矩形,其纵横的长度为(Wx、Wy),焦距为f,移动摄像机的视线方向示出的摆角、倾角为θP、θT时,利用以下的式62、式63、式64、式65,求移动摄像机1101拍摄的地面区域的位置。在此,式66、式67、式68、式69是求使用于求上述式62、式63、式64、式65的摄影元件的位置坐标的式子。
[数学公式21]
A x A y A z T = - ( a x - x ) H / a z + x - ( a y - y ) H / a z + y - H T -(式62)
B x B y B z T = - ( b x - x ) H / b z + x - ( b y - y ) H / b z + y - H T -(式63)
C x C y C z T = - ( c x - x ) H / c z + x - ( c y - y ) H / c z + y - H T -(式64)
D x D y D z T = - ( d x - x ) H / d z + x - ( d y - y ) H / d z + y - H T -(式65)
a x a y a z T = 1 2 w x cos θ P - 2 f sin θ P + 2 x w x sin θ T sin θ P + w y cos θ T + 2 f sin θ T cos θ P + 2 y w x cos θ T sin θ P - w y sin θ T + 2 f cos θ T cos θ p T -(式66)
b x b y b z T = 1 2 w x cos θ P - 2 f sin θ P + 2 x w x sin θ T sin θ P - w y cos θ T + 2 f sin θ T cos θ P + 2 y w x cos θ T sin θ P + w y sin θ T + 2 f cos θ T cos θ p T -(式67)
c x c y c z T = 1 2 - w x cos θ P - 2 f sin θ P + 2 x - w x sin θ T sin θ P - w y cos θ T + 2 f sin θ T cos θ P + 2 y - w x cos θ T sin θ P + w y sin θ T + 2 f cos θ T cos θ p T -(式68)
d x d y d z T = 1 2 - w x cos θ P - 2 f sin θ P + 2 x - w x sin θ T sin θ P + w y cos θ T + 2 f sin θ T cos θ P + 2 y - w x cos θ T sin θ P - w y sin θ T + 2 f cos θ T cos θ p T -(式69)
再有,在图72中的摄影区域的推断中,以利用移动摄像机1101摄影的地面为基准,但也可以是,以处于距地面规定的高度h的平面为基准。另外,在区域的推断中,除了平面以外,也可以对于规定的三维范围,将移动摄像机1101能够拍摄的三维空间推断为摄影区域。
接着,移动摄像机1101开始以下的处理J-2(步骤J02)。
邻接摄影区域确定部1105基于来自周围的移动摄像机的信息,确定摄影区域相邻的移动摄像机(步骤J201)。
邻接摄影区域确定部1105判断是否存在具有相邻摄影区域的移动摄像机(步骤J202)。在存在的情况下,转移到步骤J203。在不存在的情况下,转移到步骤J204。
摄影位置评价部1109对与相邻区域的位置关系求评价值A(步骤J203)。
参照存储于监视范围存储部1108中的应监视区域的范围(步骤J204)。
摄影位置评价部1109对于移动摄像机所能移动的方向,判断在摄影区域与监视区域的边界之间是否存在其他移动摄像机的摄影区域(步骤J205)。在不存在的情况下,转移到步骤J206,在存在的情况下,结束处理J-2。
摄影位置评价部1109对于移动摄像机所能移动的方向,对摄影区域与监视区域的边界的位置关系求评价值B(步骤J206),结束处理J-2。
在此,使用图73,说明在步骤J201中从周围的移动摄像机中确定摄影区域相邻的移动摄像机的方法的一例。
图73示出了从垂直于地面的方向看多个移动摄像机的摄影区域的位置关系的样子。
为了对移动摄像机1101所能移动的各方向确定与移动摄像机1101的摄影区域相邻的摄影区域,以移动摄像机1101的摄影区域的中心坐标为基准,如图73所示,基于移动摄像机1101可移动的方向,分割可摄影区域。图73中示出了以移动摄像机的摄影区域的中心为基准,基于X轴方向、Y轴方向,将可摄影区域分割为了区域E、区域S、区域W、区域N这4个区域的样子。
接着,确定周围的移动摄像机的摄影区域属于分割后的4个区域中的哪个区域,进行分组。在分组中,按照移动摄像机的摄影区域的中心坐标位置进行分组。在图73中,分组为摄影区域1属于区域W,摄影区域2和摄影区域3属于区域N,摄影区域4属于区域E,摄影区域5属于区域S。
接着,对各组确定与移动摄像机1101相互的摄影区域的中心坐标间的距离近的摄影区域,分别设定为与移动摄像机1101相邻的摄影区域。在图73中,摄影区域1在左方向相邻,摄影区域2在上方向相邻,摄影区域4在右方向相邻,摄影区域5在下方向相邻。
再有,在图73中,对移动摄像机1101可移动的各方向确定了与移动摄像机1101相邻的摄影区域,但也可以使用对除此以外的方向确定相邻摄影区域的方法。
下面,使用图74,说明在步骤J203中对相邻摄影区域的位置关系给予评价值A的方法的一例。
图74是用于说明相邻摄影区域间的位置关系和对该位置关系给予评价值A的评价函数A的图。基于周围的摄影区域的位置关系,利用以下的式70、式71、式72、式73中示出的评价函数A给予移动摄像机1101的评价值A。
[数学公式22]
VA1(x1-xL)=((x1-xL)-C)2    -(式70)
VA2(x2-xR)=((x2-xR)+C)2    -(式71)
VA3(y1-yU)=((y1-yU)-C)2    -(式72)
VA4(y2-yD)=((y2-yD)+C)2    -(式73)
其中,C是常数。
在此,评价函数A不仅限于式70、式71、式72、式73,只要是相邻摄影区域在规定的重叠宽度等于规定的常数C时变最小(或者最大),再者,对于移动摄像机1101所能移动的范围,给予随着相邻摄影区域间的重叠宽度(距离)远离常数C而单调变大(或者变小)的评价值A的函数,就也可以是其他函数。
此外,式70、式71、式72、式73中的常数C的值也可以是每个移动摄像机不同的值。另外,也可以在同一移动摄像机中取每个相邻方向不同的常数C的值。另外,常数C也可以是例如与移动摄像机1101的摄影区域的大小成比例地变化的变量C。
下面,使用图75,说明在步骤J206中对于摄影区域与监视区域的边界的位置关系给予评价值B的方法一例。
图75是用于说明移动摄像机1101的摄影区域与监视区域的边界的位置关系和对于该位置关系给予评价值B的一例、即以下式74、式75的图。如以下式子所示,在移动摄像机1101的摄影区域与监视区域的边界之间不存在另外的摄像机的摄影区域的情况下,利用以下的式74、式75所示的评价函数B给予评价值B。
[数学公式23]
VB1(y1-y0)=(y1-y0-D)2    -(式74)
VB2(x1-x0)=(x1-x0-D)2    -(式75)
其中,D是常数。
此外,通过参照在监视范围存储部1108中记述应监视范围的监视范围信息,求监视区域的边界位置。图76中示出关于应监视范围和其监视范围信息的内容的一例。
在此,评价函数B不仅限于式74、式75,只要是移动摄像机1101的摄影区域与监视区域的边界的距离等于规定的常数D时变最小(或者最大),再者,对于移动摄像机1101所能移动的范围,给予随着移动摄像机1101的摄影区域与监视区域的边界的离开距离常数D而单调变大(或者变小)的评价值B的函数,就也可以是其他函数。
此外,式74、式75中的常数D的值也可以是每个移动摄像机不同的值。另外,也可以在同一移动摄像机中给予每个相邻方向不同的常数D的值。
另外,常数D也可以是例如与移动摄像机1101的摄影区域的大小成比例地变化的变量D。
接着,移动摄像机1101开始以下的处理J-3(步骤J03)。
摄影位置变更部1110判断评价值A、评价值B中的某一个是否与目标值不同(步骤J301)。在与目标值不同的情况下,转移到步骤J302,在与目标值相同的情况下,结束处理J-3。
摄影位置变更部1110变更摄影位置,使得评价值A、评价值B分别接近于目标值(步骤J302),结束处理J-3。
在此,在步骤J301中,作为评价值A、评价值B的目标值,将各自的评价值的最小值(最大值)设为目标值。
此外,在步骤J302中,使评价值A、评价值B分别接近目标值的方法一例如下所述。即,关于移动摄像机1101的摄影位置(x、y、z),按照更新式的式76、式77、式78进行变更,所述更新式包含分别用表示移动摄像机1101的摄影位置的变量(x、y、z)对评价函数A、评价函数B进行了偏微分的导数。
[数学公式24]
dx dt = - α x N ∂ Σ n = 1 N VAn ∂ x - β x M ∂ Σ m = 1 M VBm ∂ x -(式76)
dy dt = - α y N ∂ Σ n = 1 N VAn ∂ y - β y M ∂ Σ m = 1 M VBm ∂ y -(式77)
dz dt = - α z N ∂ Σ n = 1 N VAn ∂ z - β z M ∂ Σ m = 1 M VBm ∂ z -(式78)
其中,αx、αy、αz、βx、βy、βz是系数,
N是相邻的摄影区域的数量,
M是相邻的监视区域的边界数量。
通过重复如上的过程,各移动摄像机1101在与相互相邻的摄影区域具有一定的重叠宽度C、再者与监视区域的边界相邻的情况下,使摄影区域变更为与监视区域的边界都具有一定的距离D。其结果,在控制各移动摄像机的位置,使得利用多个移动摄像机对监视区域同时摄影的摄影区域的比例增加的同时,控制各移动摄像机的位置,使得监视区域中的多个移动摄像机的摄影区域更均匀地分散。
图77中示出实施方式10中的移动摄像机1101的工作的样子。在图77中,为了简单说明,以将能够在横向(一维)移动的移动摄像机1101设置在高度一定的房间的天花板上监视地面的情况为例。
如图77的位置关系1009a所示,在天花板的适当位置设置移动摄像机1101,移动摄像机通过变更摄影位置,使得相互的摄影区域的重叠区域的宽度C或者与监视区域的边界的距离D接近于规定的值,也能如图77的位置关系1009b所示,自动地移动到能够用多个移动摄像机同时拍摄整个监视区域的位置。
另外,例如在高的天花板等这样的难以进行设置作业的场所中,即使集中在一处设置移动摄像机1101,由于移动摄像机自动地移动到在利用多个移动摄像机同时摄影中死角变少的位置,因此,就能减轻移动摄像机的设置位置的决定和设置作业的负担。
此外,图78中示出移动摄像机1101向二维方向移动的样子。图78示出了从垂直于地面的方向看监视区域的样子。如图78所示,相对于监视区域的宽度,在利用移动摄像机拍摄N%(<100%)的区域的情况下,由于实施方式10中的移动摄像机1101进行摄影位置的变更,使得从如状态10a所示的监视区域变为如状态10b所示的相互的距离间隔变均匀的监视区域,因此,能够防止发生对于监视区域连续的大的死角区域。
这样地,根据本实施方式10,进行这些多个移动摄像机的移动控制,使得利用多个移动摄像机对监视区域同时摄影的摄影区域的比例增加,或者使得监视区域中的多个移动摄像机的摄影区域更均匀地分散。即,由于实施方式10中的移动摄像机1101通过与周围的移动摄像机相互协调变更摄影位置,能够从设置在了适当的位置上的状态开始,自动地变更各移动摄像机的摄影位置,使得在利用多个移动摄像机的同时摄影中监视区域的死角变少,另外,监视区域内产生的死角区域不成为比对象物的尺寸大的连续的区域,因此,在提高对于监视区域的同时摄影区域的比例的同时,能够减轻有关摄像机的设置等的负担。
(实施方式11)
下面,说明本发明的实施方式11。
图79是本发明的实施方式11中的监视系统的结构图。该监视系统包括多个摄像机终端,所述摄像机终端包括用通信网络1103连接的移动摄像机1201和移动部1102,其特征点在于,在这些多个移动摄像机1201自主协调地进行移动,使得能够全都监视监视区域1111的同时,通过参照预先准备的监视区域地图信息,考虑对象物的位置和形状、朝向等,确定移动摄像机1201正确的摄影区域。在图79中,对于与图70相同的结构要素,使用相同的符号,省略说明。
对象物1120是处在监视区域1111中的成为监视对象的物体。
监视区域地图存储部1121是存储监视区域1111的范围和记述了处在监视区域1111中的对象物1120的位置、大小、状态等的监视区域地图信息的存储器等。
移动摄像机1201是被移动部1102支承进行移动的摄像机装置,包括通信部1104、邻接摄影区域确定部1105、摄影元件1106、摄影位置评价部1109、摄影位置变更部1110、监视区域地图存储部1121和摄影区域确定部1122。
摄影区域确定部1122是根据移动摄像机1201的位置、摄影元件1106的特性和监视区域地图的内容,确定摄影区域位置的处理部。
根据这样的实施方式11的结构,移动摄像机1201通过参照监视区域地图信息中记录着的对象物1120的位置、形状和朝向的信息,并且根据自身的摄影位置和摄影元件的特性进行摄影区域1112的确定,与周围的移动摄像机交换有关摄影区域的信息,移动摄影位置,使得与相邻的摄影区域的重叠区域或者与监视区域的边界的距离接近于规定的状态,即使对于变为存在于监视区域1111内的对象物1120的阴影而产生死角的状况,也能够在利用多个移动摄像机的同时摄影中,一边与周围的移动摄像机协调一边自动地移动到监视区域内的死角变少的摄影位置上。
下面,使用图80(a)和(b)的流程图说明构成监视系统的移动摄像机1201的工作过程,。在图80(a)和(b)中,对于与图71(a)~(d)相同的工作过程,使用相同的符号,省略说明。
移动摄像机1201重复执行3个处理(处理K-1、J-2、J-3)。
首先,开始以下的处理K-1(步骤K01)。
摄影区域确定部1122参照在监视区域地图存储部1121存储着的监视区域地图信息(步骤K101)。
摄影区域确定部1122确定监视区域1111内的对象物1120的位置和形状、朝向等(步骤K102)。
摄影区域确定部1122根据移动摄像机1201的摄影位置和摄影元件1106的特性及对象物1120的位置、形状、朝向,确定移动摄像机1201的摄影区域1112(步骤K1103)。
通信部1104向周围的移动摄像机通知与在步骤K1103确定的摄影区域1112有关的信息(步骤K104)。
通信部1104判断是否从另外的移动摄像机通知了有关摄影区域的信息(步骤K105)。若有来自另外的移动摄像机的通知,就转移到步骤K106,若没有通知,就转移到步骤K101。
通信部1104取得从另外的移动摄像机通知的有关摄影区域的信息(步骤K106),结束处理K-1。
在此,在步骤K101中,被参照的监视区域地图信息是预先对移动摄像机1201准备了处在监视区域中的家具和隔板等的位置、形状、朝向等信息的信息,图81中示出其内容的-例。
图81中示出了作为监视区域地图信息的内容,将监视区域1111分割为微小的单位区域,对每个单位区域记录着是否存在对象物1120(Full或Empty)的样子。通过参照这样的监视区域地图信息,就能确定各移动摄像机1201的视场内存在的对象物1120的位置、形状、朝向等,能够进行考虑了因对象物1120而成为死角的区域的摄影区域的确定。
此外,图81中示出了作为监视区域地图信息,将监视区域分割为单位区域,记录每个单位区域的状态的例子,但也可以是直接记录了表示对象物1120的位置、形状、朝向的信息的地图信息。
接着,移动摄像机1201执行处理J-2、处理J-3(步骤J02、J03)。该处理与实施方式10相同。
通过重复如上的过程,在对于考虑了因监视区域1111内存在的对象物1120而产生的死角位置后求出的摄影区域1112,与相互相邻的摄影区域具有一定的重叠宽度C并且与监视区域的边界相邻的情况下,各移动摄像机1201使摄影区域变更为也与监视区域的边界具有一定的距离D。
图82中示出实施方式11中的移动摄像机1201的工作的样子。在图82中,为了简单说明,以将能够在横向(一维)移动的移动摄像机1201设置在高度一定的房间的天花板上监视地面的情况为例。
如图82的状况1014a所示,即使在天花板的适当位置设置移动摄像机1201,移动摄像机对于考虑了处在监视区域1111中的对象物1120a、1120b的位置和形状、朝向后确定的摄影区域变更摄影位置,使得与相邻的摄影区域的重叠宽度C或者与监视区域的边界的距离D接近于规定的值,也能如图82的状况1014b所示,自动地移动到能够用多个移动摄像机同时拍摄整个监视区域的位置。但是,在此所述的整个监视区域是指从垂直于地面的方向全部同时拍摄平行于地面的面,除此以外,也可以定义监视区域为例如也包含对象物1120a(机)的下区域,改变移动摄像机的移动范围和移动方向,使得能够根据监视目的同时拍摄整个监视区域,进一步构筑使用了必要的监视区域地图信息的监视系统。
这样地,由于本实施方式11中的移动摄像机1201通过参照预先准备的监视区域地图信息,能够考虑对象物1120的位置和形状、朝向等,来确定移动摄像机1201正确的摄影区域,因此,能够自动地变更各移动摄像机1201的摄影位置,使得即使对于有可能变为对象物1120的阴影后产生死角的监视区域,利用多个移动摄像机1201同时摄影的监视区域的死角也变少。
(实施方式12)
下面,说明本发明的实施方式12。
图83是本发明的实施方式12中的监视系统的结构图。该监视系统包括多个摄像机终端,所述摄像机终端包括用通信网络1103连接的移动摄像机1301和移动部1102,其特征点在于,在这些多个移动摄像机1301自主协调地进行移动,使得能够全都监视监视区域1111的同时,通过连续制作监视区域地图信息,即使对象物的位置和形状、朝向等进行变化,也连续正确地确定移动摄像机1301的摄影区域。在图83中,对于与图70、图79相同的结构要素使用相同的符号,省略说明。
对象物检测传感器1123是检测存在于监视区域1111中的对象物1120的位置、形状、朝向等信息的传感器。
通信网络1124是传输由对象物检测传感器1123检测到的信息的传输线路。
移动摄像机1301是被移动部1102支承进行移动的摄像机装置,包括通信部1104、邻接摄影区域确定部1105、摄影元件1106、摄影区域推断部1107、摄影位置评价部1109、摄影位置变更部1110、监视区域地图存储部1121和监视区域地图制作部1125。
监视区域地图制作部1125是使用存在于由对象物检测传感器1123检测到的监视区域1111中的对象物1120的位置、形状、朝向等的信息,制作或变更在监视区域地图存储部1121存储着的监视区域地图信息的处理部。
根据这样的实施方式12的结构,即使不预先对移动摄像机1301的监视区域地图存储部1121准备监视区域地图信息,监视系统也能够使用对象物检测传感器1123,取得与存在于监视区域1111中的对象物1120的位置和形状、朝向等状态有关的信息,利用监视区域地图制作部1125自动地制作监视区域地图信息。此外,在监视区域1111内存在的对象物1120的位置和形状、朝向等变化的情况下,对象物检测传感器1123按规定的定时检测其变化,能重新利用监视区域地图制作部1125变更监视区域地图信息,能够配合对象物1120的状态的变化,在利用多个移动摄像机的同时摄影中,一边与周围的移动摄像机协调一边自动地移动到监视区域内的死角变少的摄影位置上。
下面,使用图84(a)和(b)的流程图说明构成监视系统的移动摄像机1301的工作过程,。在图84(a)和(b)中,对于与图71(a)~(d)、图80(a)和(b)相同的工作过程,使用相同的符号,省略说明。
移动摄像机1301重复执行4个处理(处理L-1、K-1、J-2、J-3)。
首先,开始以下的处理L-1(步骤L01)。
对象物检测传感器1123检测存在于监视区域1111内的对象物1120的位置、形状、朝向等,将其内容通知给监视区域地图制作部1125(步骤L101)。
监视区域地图制作部1125制作记录了监视区域1111内的对象物1120的位置、形状、朝向等信息的监视区域地图信息,或者进行其内容的变更(步骤L102),结束处理L-1。
在此,作为在步骤L101中利用对象物检测传感器1123检测对象物1120的位置、形状、朝向的具体方法的一例,例举有在监视区域1111内按规定间隔设置多个超声波传感器,通过合成从各自的超声波传感器得到的信息来确定监视区域1111内的对象物的状态的方法。
此外,作为对象物检测传感器1123,除了超声波传感器以外,也可以是通过从由多个摄像机摄影的影像合成立体影像来确定对象物1120的位置和形状、朝向等的方法等,能够检测出在确定监视区域1111内存在的对象物1120的位置和形状、朝向时所需要的信息的传感器即可。
此外,作为本实施方式的变形例,也可以是在对象物1120侧检测自身的位置和形状、朝向等,将其内容通知给监视系统的结构。图85中示出这样的结构。
位置信息检测部1126是检测对象物的位置、形状、朝向等,将其内容通知给监视区域地图制作部1125的处理部。
在此,作为位置信息检测部1126中的位置和形状、朝向的具体的检测方法的一例,考虑有通过对于对象物1120预先存储自身的形状,使用GPS检测自身的位置和朝向,来确定对象物1120自身的位置和形状、朝向的方法。
此外,除了使用GPS方法以外,也可以是在监视区域1111中埋入用于确定位置信息的无线标签,通过对象物1120读取被埋入到监视区域1111中的无线标签的信息来确定自身的位置和朝向的方法等、对象物1120自身能够确定自己的位置和形状、朝向的方法。
另外,也可以组合使用图83和图85中分别示出的对象物检测传感器1123和位置信息检测部1126来制作监视区域地图信息。
接着,移动摄像机1301执行处理K-1、处理J-2、处理J-3(步骤K01、J02、J03)。这些处理与实施方式10和实施方式11相同。
通过重复如上的过程,各移动摄像机1301在一边与存在于监视区域1111中的对象物1120因位置和形状、朝向等的变化而产生的自身的摄影区域的变化相对应,一边与周围的移动摄像机的相互相邻的摄影区域具有一定的重叠宽度C并且与监视区域的边界相邻的情况下,使摄影区域变更为也与监视区域的边界具有一定的距离D。
图86中示出实施方式12中的移动摄像机1301的工作的样子。在图86中,为了简单说明,以将能够向横向(一维)移动的移动摄像机1301设置在高度一定的房间的天花板上监视地面的情况为例。
在实施方式12中的监视系统中,如图86的状况1018a所示,从移动摄像机1301监视着整个监视区域的状态开始,如图86的状况1018b所示地,一移动对象物1120a、对象物1120b,就产生用移动摄像机不能拍摄的死角区域,但通过利用设置在监视区域中的对象物检测传感器和安装在对象物上的位置信息通知部检测对象物的位置,利用各移动摄像机1301所具有的监视区域地图制作部1125变更监视区域地图信息的内容,就能确定对象物1120a和对象物1120b的移动后的摄影区域,通过重新变更摄影位置,使得与相邻的摄影区域的重叠宽度C或者与监视区域的边界的距离D接近规定的值,就如图86的状况1018c所示地,能再次将摄影位置变更到能够用多个移动摄像机同时拍摄整个监视区域的位置。
在此,如图86的状况1018c所示,根据对象物和移动摄像机的位置关系,产生1台摄像机的摄影区域被分割为多个区域的情况。该情况下,对分割后的各摄影区域确定相邻的摄影区域,对于与相邻的摄影区域的重叠宽度或者与监视区域的边界的距离求评价值,通过向评价值的总和变小(或者变大)的方向变更摄影位置,来进行向能够用多个移动摄像机同时摄影整个监视区域的位置配置移动摄像机。
但是,在此所述的整个监视区域是指从垂直于地面的方向全部同时拍摄平行于地面的面,除此以外,也可以定义监视区域为例如也包含对象物1120a(机)的下区域,改变移动摄像机的移动范围和移动方向,使得能够根据监视目的同时摄影整个监视区域,进一步构筑能制作必要的监视区域地图信息的监视系统。
这样地,由于本实施方式12中的移动摄像机1301通过利用设置在监视区域中的对象物检测传感器和安装在对象物上的位置信息通知部检测对象物的位置,各移动摄像机1301利用监视区域地图制作部1125连续制作监视区域地图信息的内容,即使对象物1120的位置和形状、朝向等变化,也能够连续正确地确定移动摄像机1301自身的摄影区域,因此,即使在产生了对象物1120的移动和状态变化的情况下,也能够自动地变更各移动摄像机1301的摄影位置,使得利用多个移动摄像机1301同时摄影的监视区域的死角变少。
(实施方式13)
下面,说明本发明的实施方式13。
图87是本发明的实施方式13中的监视系统的结构图。该监视系统包括多个摄像机终端,所述摄像机终端包括用通信网络1103连接的移动摄像机1401和移动部1102及摄影方向变更部1130,其特征点在于,在这些多个移动摄像机1401自主协调地进行移动,使得能够全都监视监视区域1111的同时,能够自动地将移动摄像机1401配置在能够摄影适于认证进入者的脸的影像的位置。在图87中,对于与图70、图79、图83相同的结构要素使用相同的符号,省略说明。
摄影方向变更部1130是改变移动摄像机1401的视线方向的机构部等。
移动摄像机1401是被移动部1102支承进行移动的摄像机装置,包括通信部1104、邻接摄影区域确定部1105、摄影元件1106、摄影区域推断部1107、摄影位置评价部1109、摄影位置变更部1110、监视区域地图存储部1121、摄影区域确定部1125和对象物追踪部1131。
对象物追踪部1131是参照监视区域地图存储部中存储着的监视区域地图信息,使移动摄像机的视线方向朝着对象物的位置方向的控制部。
而且,除了与相互邻接的摄影区域的重叠区域、或者与监视区域的边界的距离的评价之外,本实施方式中的摄影位置评价部1109还向对象物与移动摄像机的位置关系(距离、方向)付予评价值C。
根据这样的实施方式13的结构,各移动摄像机1401通过变更摄影位置,使得与相互相邻的摄影区域的重叠区域、或者与监视区域的边界的距离成为规定的状态,就能够在利用多个移动摄像机1401的同时摄影中,一边与周围的移动摄像机协调一边自动地移动到监视区域内的死角变少的摄影位置,另外,任意的移动摄像机1401能够移动到能从规定的位置(距离和方向)拍摄监视区域内的对象物1120的位置。
下面,使用图88(a)~(c)的流程图说明构成监视系统的移动摄像机1401的工作过程,。在图88(a)~(b)中,对于与图71(a)~(d)、图80(a)和(b)、图84(a)和(b)相同的工作过程,使用相同的符号,省略说明。
移动摄像机1401重复执行5个处理(处理L-1、K-1、J-2、M-1、M-2)。
作为处理M-1,移动摄像机1401进行以下的处理(步骤M01)。
摄影位置评价部1109和对象物追踪部1131参照监视区域地图存储部1121中存储着的监视区域地图信息,取得存在于监视区域1111内的规定的对象物1120的位置(步骤M101)。
对象物追踪部1131判断摄影区域1112内是否存在对象物1120(步骤M102),在存在对象物1120的情况下,转移到步骤M1103,在不存在对象物的情况下,结束处理M-1。
摄影位置评价部1109对移动摄像机1401的摄影位置与对象物的位置关系求评价值C(步骤M1103),结束处理M-1。
下面,使用图89,说明在步骤M1103中向对象物1120与移动摄像机1401的位置关系给予评价值C的方法一例。
图89是用于说明对象1120与移动摄像机1401的位置关系、和对该位置关系给予评价值C的评价函数C的一例即以下式子的图。基于对象物1120与移动摄像机1401的位置关系,利用式79、式80、式81中示出的评价函数C给予移动摄像机1401的评价值C。
[数学公式25]
如果Object∈“摄影区域”,则
Figure G2009100059269D00771
-(式79)
E = E x 2 + E y 2 + E z 2
Figure G2009100059269D00773
其中,对象物的坐标:Oobj(xobj,yobj,zobj)
(对象物的方向:θobjPobj,θTobj))
在此,评价函数C不仅限于式79、式80、式81,若是对象物1120与移动摄像机1401的距离在等于规定常数E时成为最小(或者最大),再者,在移动摄像机1401所能移动的范围内,给予随着对象物1120与移动摄像机1401的离开距离常数E而单调变大(或者变小)的评价值C的函数,则也可以是其他函数。
此外,式79、式80、式81中的常数E的值也可以是每个移动摄像机不同的值。另外,常数E也可以是例如根据对象物1120的位置进行变化的变量C。
接着,移动摄像机1401开始处理M-2(步骤M02)。
摄影位置变更部1110判断评价值A、评价值B、评价值C中的某一个是否与目标值不同(步骤M201)。在与目标值不同的情况下,转移到步骤M202,在与目标值相同的情况下,结束处理M-2。
摄影位置变更部1110变更摄影位置,使得评价值A、评价值B、评价值C分别接近于目标值(步骤M202)。
对象物追踪部1131变更移动摄像机1401的视线方向,使得对象物1120来到移动摄像机1401的视场的中心(步骤M203),结束处理M-2。
再有,在步骤M201中,评价值A、评价值B、评价值C的目标值将各自的评价值的最小值(最大值)作为目标值。
此外,在步骤M202中使评价值A、评价值B、评价值C分别接近于目标值的方法的一例如下所述。即,按照更新式的式76、式77、式78和以下的式84、式85、式86变更移动摄像机1401的摄影位置(x、y、z),所述更新式包含分别用表示移动摄像机1401的摄影位置的变量(x、y、z)对评价函数A、评价函数B、评价值C进行了偏微分的导数。
[数学公式26]
dx dt = - α x ∂ ( V Cx + V Cy + V Cz ) ∂ x -(式84)
dy dt = - α y ∂ ( V Cx + V Cy + V Cz ) ∂ y -(式85)
dz dt = - α z ∂ ( V Cx + V Cy + V Cz ) ∂ z -(式86)
d θ P dt = - α P ∂ ( Vobj θ T + Vobj θ P ) ∂ θ P -(式87)
d θ T dt = - α T ∂ ( Vobj θ T + Vobj θ P ) ∂ θ T -(式88)
其中,αx、αy、αz、αP、αT是系数。
此外,在步骤M203中变更视线方向使对象物1120来到移动摄像机1401的视线的中心的方法一例如下所述。即,移动摄像机1401可以在摆角方向、倾角方向上变更视线方向,若设各个角度为θP、θT,则通过利用上述式82、式83,对移动摄像机1401的视线方向(θP、θT)与从移动摄像机1401能看见对象物1120的方向(θPobj、θTobj)的角度的差给予评价值,利用上述式87、式88的更新式变更(θP、θT),所述更新式包含用θP、θT对式82、式83进行了偏微分的导数,就能够将移动摄像机1401的视线方向朝向对象物1120的方向。
通过重复如上的过程,各移动摄像机1401在与周围的移动摄像机的相互相邻的摄影区域具有一定的重叠宽度C并且与监视区域的边界相邻的情况下,使摄影区域变更为与监视区域的边界都具有一定的距离D,另外,在自身的摄影区域内存在对象物1120的移动摄像机1401一边与周围的移动摄像机协调一边变更摄影位置,使得能够从规定的位置(距离和方向)摄影对象物1120。
图90中示出实施方式13中的移动摄像机1401的工作的样子。在图90中,为了简单说明,以将能够在横向(一维)移动的移动摄像机1401设置在高度一定的房间的天花板上监视地面的情况为例。
在实施方式13中的监视系统中,如图90的状况1023a所示,移动摄像机1401位于能够用多个移动摄像机同时拍摄整个监视区域的位置上,其中,在2台移动摄像机1401a和1401b发现了规定的对象物1120(人物)的情况下,若将各移动摄像机1401设定成拍摄人物侧面,就如图90的状况1023b所示,多个移动摄像机1401能够一边与周围的移动摄像机维持整个监视区域的同时摄影,一边移动到适于人物侧面的拍摄的位置。
此外,这时,也可以使移动摄像机具有变焦摄影功能,根据需要,如图90的状况1023c所示地将拍摄影像作为变焦影像来摄影。
这样地,实施方式13中的移动摄像机1401例如在进行建筑物的通用口附近的监视和进入者的脸部认证的情况等,能够一边总是同时拍摄通用口附近的整个影像,一边自动地配置移动摄像机1401到能够摄影适于认证进入者的脸部影像的位置。
(实施方式14)
下面,说明本发明的实施方式14。
图91是本发明的实施方式14中的监视系统的结构图。该监视系统包括多个摄像机终端,所述摄像机终端包括用通信网络1103连接的移动摄像机1501和移动部1102,其特征点在于,在这些多个移动摄像机1501自主协调地进行移动,使得能够全都监视监视区域1111的同时,一边判断即使不保持监视区域地图信息也具有与相邻的摄影区域确实重叠的区域,一边变更摄影区域,使得与周围的移动摄像机相互相邻的摄影区域具有一定的重叠区域。在图91中,对于与图70相同的结构要素,使用相同的符号,省略说明。
移动摄像机1501是被移动部1102支承进行移动的摄像机装置,包括通信部1104、邻接摄影区域确定部1105、摄影元件1106、摄影区域推断部1107、监视范围存储部1108、摄影位置评价部1109、摄影位置变更部1110和拍摄影像比较部1140。
拍摄影像比较部1140是利用图像处理(轮廓抽出、图形匹配等)比较移动摄像机1501拍摄的影像和具有相邻摄影区域的移动摄像机所拍摄的影像,判断相互的影像中是否存在拍摄影了相同区域的部分的处理部。
而且,在本实施方式中,在作为监视区域1111的地面上画出了如图91所示的模样(在此是太阳的图)。
根据这样的实施方式14的结构,即使不预先对移动摄像机1501准备监视区域地图信息,通过利用拍摄影像比较部1140比较相互相邻的摄影区域的影像,判断在各个拍摄影像中是否存在拍摄了相同区域的部分,也能够判断相邻的摄影区域实际上是否具有重叠区域。
下面,使用图92(a)和(b)的流程图说明构成监视系统的移动摄像机1501的工作过程,。在图92(a)和(b)中,对于与图71(a)~(d)相同的工作过程,使用相同的符号,省略说明。
移动摄像机1501重复执行4个处理(处理J-1~J-3、N-1)。
作为处理N-1,移动摄像机1501执行以下的处理(步骤N01)。
摄影位置评价部判断是否存在被推断为具有重叠区域的摄影区域(步骤N101),在推断为存在具有重叠区域的摄影区域的情况下,转移到步骤N102。在推断为不存在的情况下,结束处理N-1。
拍摄影像比较部1140比较被推断为摄影区域相互重叠的移动摄像机的拍摄影像和自己拍摄的影像,判定在相互的拍摄影像中是否存在拍摄了相同区域的部分(步骤N102)。在相互的拍摄影像中存在拍摄了相同区域的部分时,结束处理N-1。在不存在拍摄了相同区域的部分的情况下,转移到步骤N1103。
例如,现在,在3个摄影区域A、B和C的影像是画在如图91所示的监视区域1111(地面)中的图的一部分的情况下,如图93的说明图所示,由于没有对摄影区域A和摄影区域B拍摄共同的地面模样,因此,判断为不存在相同影像部分(即,在这些摄影区域A、B间存在死角),另一方面,由于对摄影区域B和摄影区域C拍摄了共同的地面模样,因此,判断为存在相同影像处(即,摄影区域B、C相互邻接,具有重叠区域)。
摄影位置变更部1110一边推断为具有相互重叠的区域,一边使移动摄像机1501向在相互的拍摄影像中不存在拍摄了相同区域的部分的摄影区域的方向移动(步骤N1103),结束处理N-1。
通过重复如上的过程,各移动摄像机1501即使不保持监视区域地图信息,也判断与相邻的摄影区域确实具有重叠区域,变更摄影区域,使得与周围的移动摄像机相互相邻的摄影区域具有一定的重叠区域。
这样地,本实施方式14中的移动摄像机1501对于对象物1120的位置和姿势、朝向等的变化多并且像屋外等这样的不能设置实施方式12中说明的对象物检测传感器1123、位置信息检测部1126的区域,也能自动地移动各移动摄像机到利用多个移动摄像机同时摄影中的死角少的摄影位置上。
以上,关于上述实施方式中的移动摄像机的工作,以在一维方向移动的情况为例进行了说明,但作为在一维方向的具体工作的实现方法的一例,如图94所示,在监视区域内设置导轨,通过移动摄像机在该导轨的轨道上进行移动,能够实现一维方向的移动。
此外,如图95所示,也可以使用通过在移动摄像机上安装轮子,能够在二维平面上进行移动的平面移动摄像机和利用悬臂等能够向三维方向进行移动的三维移动摄像机。图95中示出使用了将房间的壁面作为监视区域的平面移动摄像机和将房间的地面作为监视区域的三维移动摄像机的监视系统的例子,在此示出了从初始状态1025a自动地转移到死角变得更少的状态1025b的样子。
此外,在实施方式10、实施方式11、实施方式12、实施方式14中,以移动摄像机的视线方向垂直于地面摄影正下方的情况为例进行了说明,但例如也可以在房间的角落里设置导轨,将移动摄像机设置成视线向着房间的中心等,配合移动摄像机的移动范围和监视目的决定移动摄像机的视线方向。
以上,基于实施方式,说明了本发明涉及的监视系统,但本发明不限定于这些实施方式。在各实施方式中,也可以在不脱离发明的主旨的范围内进行同行能想到的各种变形和功能附加,只要能功能上并存,就可以任意组合各实施方式中的各结构要素。例如,通过在实施方式10的移动摄像机1101中具有实施方式9的摄影特性变更部905,来实现利用多个移动摄像机进行移动,使监视区域中的各摄影区域不偏斜且均匀地分散,同时各移动摄像机的摄影精度变得相同的监视系统。
此外,在上述实施方式中说明了摄像机终端仅具有用于拍摄影像的摄影元件的情况,但也可以如图96所示地,通过加之摄影元件具有录音元件,加之来自监视区域的影像信息进一步取得声音信息,进一步进行动态地配合对象物的摄影和录音。
此外,在上述实施方式中,除了录音元件以外,也可以具有红外线传感器、超声波传感器、温度传感器、紫外线和X射线传感器等传感器终端,如图97所示地,加之来自监视区域的影像信息,还计测规定的物理量,进一步进行动态地配合对象物的摄影和规定的物理量的计测。
此外,本发明不仅适用于摄像机,也能够适用于上述的各种传感器。即,也可以取代上述实施方式中的摄像机终端,用具有微动传感器、压力传感器、温度传感器、气压传感器、声音传感器(麦克风)等的传感器终端构成监视系统。该情况下,最好使传感器检测物理量的方向(检测区域)与摄像机终端中的摄影区域相对应。例如,关于具有如图98(a)所示的定向特性的麦克风,如图98(b)所示,通过定义能用一定以上的灵敏度探测声音的方向(区域)为检测区域,能够构筑由各种传感器终端构成的监视系统。即,是由用信道连接的多个传感器终端构成,通过检测监视区域中的物理量来监视监视区域的监视系统,多个传感器终端实现具有下述装置的监视系统,所述装置包括:传感器,在检测包括在监视区域中的检测区域中的物理量的同时,具有变更检测区域的装置;通信部,在通过信道向其他传感器终端发送确定检测区域的信息即检测特性信息的同时,从其他传感器终端接收检测特性信息;检测特性变更部,基于该传感器终端的检测特性信息和用通信装置接收到的其他传感器终端的检测特性信息,控制该传感器终端的传感器变更检测区域,使得该传感器终端的检测区域和其他传感器终端的检测区域成为预定的恒定关系。
工业上的可利用性
本发明能够利用为使用了多个摄像机的监视系统、使用多个传感器元件计测物理量的传感系统等,特别是由可变更摄影位置的多个移动摄像机构成,在广范围的监视中要求不产生死角的通用口和店铺的卖场、在由于家具的位置变更和人的移动而死角的位置发生变化的环境中,必须要变更摄影位置以使监视区域内发生的死角进一步变少的、进行区域的监视的监视系统等。

Claims (4)

1.一种监视系统,包括由信道连接的多个摄像机终端,对监视区域进行摄影,其特征在于,
上述多个摄像机终端包括:
摄像机,对包含在上述监视区域中的摄影区域进行摄影,并且,具有变更上述摄影区域的机构;
通信单元,将包含确定上述摄影区域的位置的信息即摄影位置信息的摄影特性信息,经由上述信道发送给其它的摄像机终端,并且,从其它摄像机终端接收摄影特性信息;以及
摄影特性变更单元,控制该摄像机终端的摄像机,来变更摄影区域;
上述摄影特性变更单元包括:
调整对象决定部,确定与该摄像机终端摄影区域相邻的其它摄像机终端;
区域差评价部,根据来自被确定的其它摄像机终端的摄影位置信息和该摄像机终端的摄影位置信息,赋予与上述其它摄像机终端的摄影区域和该摄像机终端的摄影区域之间的距离间隔有关的评价值;
边界区域评价部,对上述监视区域的边界区域和该摄像机终端的摄影区域的位置关系,赋予评价值;
摄影区域变更部,控制上述摄像机来变更摄影区域,以使由上述区域差评价部和上述边界区域评价部赋予的评价值分别接近规定的目标值。
2.如权利要求1所述的监视系统,其特征在于,
上述摄影特性变更单元还具有:
未摄影区域确定部,确定上述监视区域中的、上述多个摄像机终端的任一个都没有摄影的未摄影区域的位置;以及
自身区域评价部,对被确定的上述未摄影区域和该摄像机终端的摄影区域的位置关系赋予评价值;
上述摄影区域变更部控制所述摄影机,以使由上述区域评价部和上述自身区域评价部赋予的评价值分别接近规定的目标值。
3.如权利要求1所述的监视系统,其特征在于,
上述多个摄像机终端还包括:
移动单元,使上述多个摄像机终端移动;以及
移动控制单元,通过控制上述移动单元,变更该摄像机终端的摄影区域的位置;
上述移动控制单元根据该摄像机终端的摄影特性信息和由上述通信单元接收的其它摄像机终端的摄影特性信息来控制上述移动单元,以便由上述多个摄像机终端能够更全面地对上述监视区域同时进行摄影。
4.一种监视方法,使用由信道连接的多个摄像机终端,对监视区域进行监视,其特征在于,
上述多个摄像机终端对包含在监视区域中的摄影区域进行摄影,并且,具有变更上述摄影区域的机构;
上述监视方法包括:
通信步骤,将包含确定上述摄影区域的位置的信息即摄影位置信息的摄影特性信息,经由上述信道发送给其它的摄像机终端,并且,从其它摄像机终端接收摄影特性信息;以及
摄影特性变更步骤,控制该摄像机终端的摄像机,来变更摄影区域;
上述摄影特性变更步骤包括:
调整对象决定步骤,确定与该摄像机终端摄影区域相邻的其它摄像机终端;
区域差评价步骤,根据来自被确定的其它摄像机终端的摄影位置信息和该摄像机终端的摄影位置信息,赋予与上述其它摄像机终端的摄影区域和该摄像机终端的摄影区域之间的距离间隔有关的评价值;
边界区域评价步骤,对上述监视区域的边界区域和该摄像机终端的摄影区域的位置关系,赋予评价值;
摄影区域变更步骤,控制上述摄像机来变更摄影区域,以使由上述区域差评价步骤和上述边界区域评价步骤赋予的评价值分别接近规定的目标值。
CN2009100059269A 2004-02-03 2005-01-18 监视系统及摄像机终端 Active CN101867785B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004027295 2004-02-03
JP2004-027295 2004-02-03
JP2004105855 2004-03-31
JP2004-105855 2004-03-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB200580004014XA Division CN100531370C (zh) 2004-02-03 2005-01-18 监视系统及摄像机终端

Publications (2)

Publication Number Publication Date
CN101867785A true CN101867785A (zh) 2010-10-20
CN101867785B CN101867785B (zh) 2012-07-25

Family

ID=34840130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100059269A Active CN101867785B (zh) 2004-02-03 2005-01-18 监视系统及摄像机终端

Country Status (4)

Country Link
EP (1) EP1713275A4 (zh)
JP (1) JP3903062B2 (zh)
CN (1) CN101867785B (zh)
WO (1) WO2005076621A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577789A (zh) * 2012-07-26 2014-02-12 中兴通讯股份有限公司 检测方法和装置
CN104509097A (zh) * 2012-05-30 2015-04-08 株式会社日立制作所 监视摄像机控制装置以及图像监视系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4946077B2 (ja) * 2006-01-31 2012-06-06 パナソニック株式会社 センサー配置装置、センサー制御装置およびセンサー制御システム
US7852764B2 (en) 2006-09-20 2010-12-14 Panasonic Corporation Relay transmission device and relay transmission method
US8115812B2 (en) 2006-09-20 2012-02-14 Panasonic Corporation Monitoring system, camera, and video encoding method
JP5757048B2 (ja) * 2009-08-10 2015-07-29 特定非営利活動法人e自警ネットワーク研究会 所有者,画像閲覧可能な者を知らしめる情報開示手段を持つことを特徴とする防犯カメラシステム
JP5418072B2 (ja) * 2009-08-28 2014-02-19 富士通株式会社 監視制御装置及び監視システム
JP5370398B2 (ja) 2011-03-15 2013-12-18 オムロン株式会社 画像処理装置および画像処理プログラム
DE102012212613A1 (de) * 2012-07-18 2014-01-23 Robert Bosch Gmbh Überwachungssystem mit positionsabhängigem Schutzbereich, Verfahren zur Überwachung eines Überwachungsbereichs sowie Computerprogramm
JP6072163B2 (ja) * 2015-08-06 2017-02-01 Toa株式会社 カメラ制御装置及びそのコンピュータプログラム
JP7101331B2 (ja) 2016-11-22 2022-07-15 サン電子株式会社 管理装置及び管理システム
JP6660622B2 (ja) * 2019-03-15 2020-03-11 パナソニックIpマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
WO2022224402A1 (ja) * 2021-04-22 2022-10-27 三菱電機株式会社 位置検知装置、位置検知方法、及び位置検知プログラム
DE102021207641A1 (de) * 2021-07-16 2023-01-19 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsvorrichtung mit einer Mehrzahl an Kameras, Verfahren und Computerprogramm zur Überwachung
DE102022203740A1 (de) * 2022-04-13 2023-10-19 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungssystem, Verfahren zum Zuordnen einer Überwachungskamera zu einem Überlappungsüberwachungsbereich, Computerprogramm und Speichermedium

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2155719C (en) * 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JP3710297B2 (ja) * 1998-09-04 2005-10-26 キヤノン株式会社 撮像システム、撮像制御装置、撮像制御方法、及び記憶媒体
JP2001094975A (ja) * 1999-09-20 2001-04-06 Hitachi Ltd 移動物体追跡方法および装置
AUPQ684600A0 (en) * 2000-04-11 2000-05-11 Safehouse International Limited An object monitoring system
JP3656823B2 (ja) * 2000-09-04 2005-06-08 三菱電機株式会社 自動監視方法および自動監視装置
CA2364230A1 (en) * 2001-12-03 2003-06-03 Tim Lambert Video security and control system
JP2004072628A (ja) * 2002-08-08 2004-03-04 Univ Waseda 複数カメラを用いた移動体追跡システム及びその方法
JP4160799B2 (ja) * 2002-08-09 2008-10-08 株式会社日立製作所 監視部ユニット、それを用いた監視システム、及び異常監視方法
CN1254956C (zh) * 2004-04-15 2006-05-03 上海交通大学 交通监视环境下的摄像机标定方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104509097A (zh) * 2012-05-30 2015-04-08 株式会社日立制作所 监视摄像机控制装置以及图像监视系统
CN103577789A (zh) * 2012-07-26 2014-02-12 中兴通讯股份有限公司 检测方法和装置
CN103577789B (zh) * 2012-07-26 2018-02-13 中兴通讯股份有限公司 检测方法和装置

Also Published As

Publication number Publication date
WO2005076621A1 (ja) 2005-08-18
CN101867785B (zh) 2012-07-25
JPWO2005076621A1 (ja) 2008-01-10
JP3903062B2 (ja) 2007-04-11
EP1713275A1 (en) 2006-10-18
EP1713275A4 (en) 2013-12-11

Similar Documents

Publication Publication Date Title
CN101867785B (zh) 监视系统及摄像机终端
CN101061721B (zh) 监视系统、监视方法及摄像机终端
CN100566405C (zh) 检测区域调整装置
CN100562103C (zh) 物体追踪装置、物体追踪系统以及物体追踪方法
JP3886524B2 (ja) カメラ端末および監視システム
US8098290B2 (en) Multiple camera system for obtaining high resolution images of objects
US7385626B2 (en) Method and system for performing surveillance
US8189869B2 (en) Method of motion detection and autonomous motion tracking using dynamic sensitivity masks in a pan-tilt camera
US8154599B2 (en) Imaging region adjustment device
CN100531370C (zh) 监视系统及摄像机终端
US20050128291A1 (en) Video surveillance system
US20100097470A1 (en) Monitoring system, camera, and video encoding method
JP3800217B2 (ja) 監視システム
US20100013917A1 (en) Method and system for performing surveillance
US20050206726A1 (en) Monitor system and camera
CN106131499A (zh) 基于红外热像仪的同监测位多区域监控方法、装置及系统
JPH09506454A (ja) マシンビジョン分類及び追跡用の方法及び装置
WO2006089776A1 (de) Kamera zum verfolgen von objekten
CN112449093A (zh) 一种三维全景视频融合监控平台
KR101992662B1 (ko) Gis 정보를 이용한 3차원 지형과 cctv 영상의 정합을 통한 3차원 기반 cctv 관제 시스템
CN113850137A (zh) 一种输电线路图像在线监测方法、系统及设备
US20220214657A1 (en) Monitoring management and control system based on panoramic big data
KR101916093B1 (ko) 객체 추적 방법
JP3707769B2 (ja) 物体追尾システム
Del Bimbo et al. Distant targets identification as an on-line dynamic vehicle routing problem using an active-zooming camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant