CN100455014C - 拍摄装置和方法、监视系统 - Google Patents

拍摄装置和方法、监视系统 Download PDF

Info

Publication number
CN100455014C
CN100455014C CNB2004100822784A CN200410082278A CN100455014C CN 100455014 C CN100455014 C CN 100455014C CN B2004100822784 A CNB2004100822784 A CN B2004100822784A CN 200410082278 A CN200410082278 A CN 200410082278A CN 100455014 C CN100455014 C CN 100455014C
Authority
CN
China
Prior art keywords
image
camera
motion
picture
take
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100822784A
Other languages
English (en)
Other versions
CN1641467A (zh
Inventor
宮牧秀宇
田村朝子
日比博
田渊聪
铃木雅晴
小岩雄一
杉谷弘文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1641467A publication Critical patent/CN1641467A/zh
Application granted granted Critical
Publication of CN100455014C publication Critical patent/CN100455014C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及拍摄装置和方法、监视系统,其中通过对移动对象进行跟踪拍摄,在一个非常短的时间间隔内,在一个很宽的区域中捕获移动对象的运动。第一照相机对一个宽角度区域拍摄,第二照相机对一个比宽角度区域窄的区域拍摄,运动检测部件通过比较第一图像和第二图像的亮度级别的差来检测图像中是否存在运动。存储器记录第一图像和第二图像之间位置的相关性,并且当运动检测部件检测出存在运动时,控制器使用相关信息控制第二照相机的拍摄方向。

Description

拍摄装置和方法、监视系统
技术领域
本发明涉及一种拍摄装置和方法、一种监视系统、一种程序和一种记录介质,其通过依次改变拍摄方向进行拍摄所获得的全景图像来监视宽范围内的状态。
本申请要求于2003年11月27日提交的申请号为No.2003-398152和2004年9月13日提交的申请号为No.2004-266014的日本专利申请的优先权,上述两篇文件的全部内容在此引入作为参考。
背景技术
迄今为止广泛使用的电子静物照相机通过对一个对象拍摄,将经过镜头的光线通过一个固态成像元件转换成图像信号,所说的固态成像元件例如CCD(电荷耦合器件)等,在记录介质上记录图像信号,并且能够再现记录的图像信号。大多电子静物照相机都具有一个能够显示拍摄的静物图像的监视器,并且能够选择性的显示目前所记录的静物图像中的指定的一个。在这种电子照相机中,提供给监视器的图像信号与每个屏幕上的对象相应。因此,同时显示的图像呈现出一个很窄的范围,并且电子照相机不能同时监视宽范围的状态。
因此,目前盛行一种监视宽范围的状态的监视照相机,所述的照相机通过对一个对象进行拍摄,同时依次变换照相机的拍摄方向来获得一个由多个单元图像构成的全景图像。特别是,近年来提出了一种将多个图像信号缩小并且合成成一帧图像信号的技术(例如,参见日本公开专利申请No.10-108163的专利文件1)。而且,还提出了一种集中的监视记录系统,该系统通过收集安装的多个监视视频照相机的监视图像,并且在一个诸如录像带等的记录介质上记录该图像来实现监视(例如,参见日本公开专利申请No.2000-243062的专利文件2)。
当例如附图1所示的拍摄范围是通过传统的监视照相机在一个预定的拍摄视角上拍摄时,需要在水平或者垂直方向上依次移动拍摄方向来对一个对象进行拍摄。如果拍摄范围的尺寸被表示为对在上述的拍摄视角拍摄的拍摄范围尺寸所获得的一帧(以后称为一个“单元图像”)的尺寸的(s×t)倍,那么至少需要设定(s×t)个拍摄方向。
实际上,监视照相机的拍摄方向首先与位于左上角的坐标(1,1)相匹配,然后执行拍摄。然后,该监视照相机的方向在水平方向上依次改变为坐标(2,1),(3,1),(4,1),…(s,1),然后执行拍摄。当完成了第一行的拍摄以后,拍摄方向调整为第二行的坐标(1,2),然后执行拍摄。以后,进行拍摄,同时在水平方向上依次移动拍摄方向。重复这样的操作,直到在坐标(s,t)执行拍摄。然后,(s×t)片单元图像层叠,合成了表明全部监视范围的整个图像。
但是,传统技术中的监视照相机需要对构成一幅图像的全部(s×t)片单元图像拍摄从而生成整个图像。特别是,存在一个问题:即使在拍摄范围内在非常短的时间发生了很小的状态改变,其也不能一律被捕获。
附图2表明了时间从t1到t4,具有快速移动速度的移动对象(鸟)逐渐离开一座建筑物的状态。当在时间t1对构成整个图像的(s×t)片单元图像拍摄时,如图2所示,由于含有构成建筑物,云等单元图像的移动对象需要依次拍摄,但是建筑物,云等中不存在运动对象,因此需要很长的时间。
结果,当在下一个时间对整个图像拍摄时,时间可能已经到达了t4。这样,时间t2和t3的移动对象的状态不能被捕获为图像数据,因此存在着通过监视照相机不能说明监视的实际效果的问题。
而且,如果移动对象偏离了拍摄范围,也存在着在任何时间通过捕获对象来对对象拍摄不能继续的问题。
发明内容
因此,在考虑到上述问题的情况下做出本发明,并且本发明的目的是提供一种拍摄装置和方法、监视系统、一种程序和一种记录介质,其能够在拍摄装置以及方法、监视系统、程序和记录介质中通过跟踪和拍摄移动对象,而在一个非常短的时间间隔内,在一个很宽的区域内捕获移动对象的运动,对构成表示全部拍摄范围的整个图像的各个单元图像进行拍摄,从而监视一个很宽的拍摄范围内的状态。
为了解决上述问题,第一照相机对一个很宽角度区域拍摄,第二照相机在一个与指定的拍摄方向相应的方向上,对一个比宽角度区域窄的区域拍摄,运动检测部分通过比较第一照相机生成的第一图像和根据第一图像预先拍摄的先前图像之间的亮度级别的差来检测图像中的是否存在运动,表明第一图像和第二照相机所获得的第二图像之间的位置关系的相关信息被存储器预先记录,并且当运动检测部分检测到存在运动时,控制器使用相关信息来控制在运动检测位置的第二照相机的拍摄方向。
就是说,根据本发明的拍摄装置包括:用于在宽角度区域拍摄的第一照相机;用于在一个与指定的拍摄方向相应的方向上对一个比宽角度区域窄的区域拍摄的第二照相机;运动检测部件,用于通过比较第一照相机生成的第一图像和根据第一图像预先拍摄的先前图像的亮度级别差来检测图像中是否存在运动;存储器,用于预先记录表明第一图像和第二照相机所获得的第二图像之间的位置关系的相关信息,以及控制器,当运动检测部件检测到存在一个运动时,使用相关信息来控制在运动检测位置的第二照相机的拍摄方向。
根据本发明的拍摄装置包括:用于对一个宽角度区域拍摄的第一照相机;用于在与指定的拍摄方向相应的方向上对比宽角度区域窄的区域拍摄的第二照相机;运动检测部件,用于通过比较第一照相机生成的构成第一宽角度图像的第一单元图像与在相同的拍摄方向上根据第一单元图像预先拍摄的单元图像之间的亮度级别的差来检测每个单元图像中是否存在运动;记录部件,用于预先记录表明第一单元图像和第二照相机获得的第二单元图像之间的各个图像位置关系的相关信息;以及控制器,用于当运动检测部件检测到存在运动时,使用相关信息控制在运动检测位置的第二照相机的拍摄方向。
根据本发明的拍摄方法包括:利用第一照相机对一个宽角度区域形成第一图像的步骤;利用第二照相机,在比宽范围角度区域窄的区域上形成第二图像的步骤;以及一个运动检测步骤,用于通过比较第一图像和根据第一图像先前拍摄的先前图像的亮度级别来检测图像中是否存在运动;当运动检测步骤检测出存在运动时,使用表明第一图像和第二照相机所获得的第二图像之间的图像位置关系的相关信息来控制在运动检测位置的第二照相机的拍摄方向。
根据本发明的拍摄方法包括:利用第一照相机拍摄一个宽角度区域的第一宽角度图像的步骤;利用第二照相机,拍摄比宽范围角度区域窄的区域上的第二图像的步骤;以及一个运动检测步骤,用于通过比较构成第一宽角度图像的第一单元图像与在相同的方向上根据单元图像预先拍摄的单元图像的亮度级别差来检测图像中是否存在运动;当运动检测步骤检测出存在运动时,使用表明第一单元图像和第二照相机所获得的第二单元图像之间的图像位置关系的相关信息来控制在运动检测位置的第二照相机的拍摄方向。
根据本发明的监视系统包括:用于对一个宽角度区域拍摄的第一照相机;用于在与指定的拍摄方向相应的方向上对比宽角度区域窄的区域拍摄的第二照相机;运动检测部件,用于通过比较第一照相机生成的构成第一宽角度图像的第一单元图像与在相同的拍摄方向上根据第一单元图像预先拍摄的单元图像之间的亮度级别的差来检测每个单元图像中是否出现运动;记录部件,用于预先记录表明第一单元图像和第二照相机获得的第二单元图像之间的各个图像位置关系的相关信息;以及控制器,用于当运动检测部件检测到存在运动时,使用相关信息控制运动检测位置的第二照相机的拍摄方向。
根据本发明的一种程序使计算机执行:利用第一照相机拍摄一个宽角度区域的第一图像的步骤;利用第二照相机,拍摄比宽范围角度区域窄的区域上的第二图像的步骤;以及运动检测步骤,用于通过比较第一图像与与从第一图像预先拍摄的在前图像的亮度级别来检测图像中是否存在运动;当运动检测步骤检测出存在运动时,使用表明第一图像和第二照相机所获得的第二图像之间的图像位置关系的相关信息来控制在运动检测位置的第二照相机的拍摄方向。
附图说明
附图1是用于解释构成整个全景图像的单元图像的例子的视图;
附图2是用于解释现有技术当中存在的问题的视图;
附图3是表明应用本发明的监视系统的视图;
附图4是表明照相机和监视单元的方框图;
附图5是用于解释一个整个图像形成部件的详细结构的视图;
附图6是用于解释在拍摄视角为u,照相机单元对如图所示的矩形帧拍摄的拍摄范围情况的视图;
附图7是表明显示器上的显示屏幕的结构的例子的视图;
附图8是以时序方式表明一个正常拍摄模式和一个跟踪和拍摄模式的视图;
附图9是用于进一步详细解释正常拍摄模式和跟踪和拍摄模式的视图;
附图10是用于解释通过跟踪位置计算部件获得一个跟踪拍摄位置的顺序的流程图;
附图11是用于解释当监视一个停车场时,一个监视帧的设定的视图;
附图12是用于解释一个全部拍摄照相机的拍摄顺序的流程图;
附图13是用于解释一个差别传感部件的操作顺序的流程图;
附图14是用于解释在由图像位置E内的点A-D所确定的监视区域内确定的相对位置的视图;
附图15是表明跟踪拍摄部件通报跟踪图像位置E’的拍摄操作顺序的流程图;
附图16是用于解释本发明所应用的监视系统的应用实例的视图;
附图17是表明本发明所应用的监视系统的另一个结构的视图;
附图18是表明本发明所应用的监视系统的又一个结构的视图;
附图19是表明一个监视系统的结构的视图,在该监视系统中使用了一个固定照相机作为全部拍摄照相机;
附图20A是表明上述的监视系统中使用的固定照相机和跟踪拍摄照相机的排列实例的前视图;附图20B是其侧视图;
附图21是表明在上述的监视系统中的固定照相机所实时获得的360°全方向图像的视图;
附图22是表明通过将上述监视系统中的跟踪拍摄照相机获得图像进行层叠形成一个全景图像的视图;
附图23是一个表明上述的监视系统中的图像空间的视图;
附图24是一个表明在上述的监视系统中初始设置的360°全方向图像上的四个点A,B,C和D的视图;
附图25是一个表明在上述的监视系统中初始设定的全景图像的四个点A’,B’,C’和D’的视图;
附图26是表明上述的监视系统中的监视单元的操作的流程图;以及
附图27是上述的监视系统中的全部拍摄照相机和跟踪拍摄照相机的垂直方向上的视觉角度的截面图。
具体实施方式
现在,参考下面所附的附图详细描述本发明的优选实施例。应用本发明的监视系统1包括:如图所示,例如在附图3中,一个全景拍摄照相机2,用于通过对一个对象拍摄生成一个图像信号,以及一个跟踪和拍摄照相机5,一个与这些照相机2、5连接的网络8,以及一个通过连接的网络8控制全景照相机2和跟踪和拍摄照相机5或者从照相机2和5获得图像信号的监视单元15。
全景拍摄照相机2包括形成一体的平摇倾斜部件3和照相机部件4。平摇倾斜部件构成一个旋转底座,用于在例如平摇和倾斜的两个轴上自由的改变拍摄方向。照相机部件4安装在构成平摇倾斜部件3的旋转底座上,用于拍摄一个对象,同时在监视单元15的控制下,在水平或者垂直方向上调整拍摄方向。该照相机部件4响应于监视单元15的控制依次改变拍摄视角,因此放大或者缩小了拍摄放大率来对一个对象拍摄。
全景拍摄照相机2通过依次将拍摄方向与构成表示整个拍摄范围的全景图像的每个单元图像相匹配来执行拍摄,如图3所示。这样的图像单元作为一个图像信号通过网络8传送到监视单元15一侧,并且通过层叠单元图像合成了表示整个拍摄范围的完整图像。
跟踪和拍摄照相机5包括形成一体的一个平摇倾斜部件6以及一个照相机部件7。由于平摇倾斜部件6和照相机部件7与全景拍摄照相机2中的平摇倾斜部件3和照相机部件4结构相同,这里省略对其的详细描述。
监视单元15由一个个人计算机(PC)等构成,并且将全景照相机2通过网络8传送的图像信号记录在记录介质当中,并且根据记录在记录介质中的图像信号为用户显示各个图像。监视单元15也通过识别全景照相机2所传送的图像信号的亮度分量来判断运动存在与否,并且响应于判断的结果控制转换全景拍摄照相机2的拍摄模式。而且,该监视单元15作为一个所谓的中央控制单元使用,用于控制整个网络8,并且响应于另一个终端单元(未显示)的请求传送图像和声音。
网络8是一个能够交互的传送和接收信息的通信网络,例如一个通过电话信道与监视单元15相连的互联网,一个与TA/调制解调器相连的ISDN(综合业务数字网络)/B(广播带)-ISDN等。顺便提及,当监视系统1在一个预定的窄区域使用时,网络8可以由一个LAN(局域网)构成,或者通过IEEE1394接口连接,等。而且,该网络8除了可以传输静止图像外,甚至还可以传输运动图像。在这种情况下,运动图像,例如,一个MPEG(运动图像专家组)数据可以根据一个互联网协议(IP)从一个特定的信道持续传送,并且静止图像数据可以以固定的时间间隔从另一个信道传输。应当注意,一个网络服务器(未显示)可以进一步连接到网络8。该网络服务器(未显示)管理,例如互联网信息,接收终端单元的请求,并且传输存储于自身的预定信息。
接下来,将详细描述应用本发明的监视系统1中的全景拍摄照相机2,跟踪和拍摄照相机5,以及监视单元15的结构。
附图4是表明全景拍摄照相机2,跟踪和拍摄照相机5以及监视单元15的结构视图。在附图4中,构成全景拍摄照相机2的平摇倾斜部件3包括一个用于控制底座旋转从而改变拍摄方向的倾斜部件和一个平摇部件。关于照相机部件4的位置和角度的信息通过连接的方位传感器25传送到平摇倾斜部件3。构成全景拍摄照相机2的照相机部件4包括一个用于主要改变镜头部件22的视角的镜头控制部件23,以及一个放置在与镜头部件22的光轴垂直的位置上的图像部件24。
与此类似,构成跟踪和拍摄照相机5的平摇倾斜部件6包括一个用于调整旋转底座从而改变拍摄方向的倾斜部件和一个平摇部件。关于照相机部件52的位置和角度的信息通过连接的方位传感器55传送到平摇倾斜部件6。构成全景拍摄照相机2的照相机部件7包括一个用于主要改变镜头部件52的视角的镜头控制部件53,以及一个放置在与镜头部件52的光轴垂直的位置上的图像部件54。
监视单元15包括一个完整图像形成部件31,用于根据全景拍摄照相机2通过网络8传输的图像信号形成一个完整的全景图像(全景图像),一个差别传感部件32,用于检测形成在完整图像形成部件31上的完整图像的运动,一个通过网络8与跟踪和拍摄照相机5相连的跟踪和拍摄控制部件33,用于控制跟踪和拍摄照相机5,一个跟踪位置计算部件34,用于响应于差别传感部件32所判断出的存在运动的图像位置获得一个跟踪图像位置,一个至少与完整图像形成部件31和跟踪位置计算部件34连接的全景设置数据库(DB)35,用于记录表明全景拍摄照相机2与跟踪和拍摄照相机2所获得的单元图像中的每个图像位置之间的相互关系的相关信息,一个相关信息形成部件36,用于形成上述的相关信息,一个跟踪和拍摄条件设置部件38,用于设置跟踪和拍摄的条件(以后,称为跟踪和拍摄条件),以及一个跟踪和拍摄条件数据库DB38,用于记录在上述的跟踪和拍摄条件设置部件38所设置的跟踪和拍摄条件。
平摇倾斜部件3根据来自于完整图像形成部件31的驱动信号旋转作为旋转底座的驱动源的步进马达。由于旋转底座本身可以以这种方式在水平方向或者垂直方向上旋转,放置在旋转底座上的照相机部件4的拍摄方向就能够在水平方向或者垂直方向上旋转。
镜头控制部件23根据来自于完整图像形成部件31的驱动信号为镜头部件22执行自动的光圈控制操作和自动的聚焦控制操作。该镜头控制部件23根据这样的一个驱动信号改变对对象的拍摄视角。这样,照相机部件4连续调整拍摄放大率从而对对象拍摄。
图像部件24包括一个固态成像元件,例如一个CCD(电荷耦合器件)等,该元件将入射的对象图像通过镜头部件22聚焦在图像表面,并且通过光电转换生成一个图像信号。图像部件24将生成的图像信号传送到完整图形成部件31。
平摇倾斜部件6根据来自于跟踪和拍摄控制部件33的驱动信号旋转作为旋转底座的驱动源的步进马达。这样,放置在旋转底座上的照相机部件7的拍摄方向就能够在水平方向或者垂直方向上旋转。
镜头控制部件53根据来自于跟踪和拍摄控制部件33的驱动信号为镜头部件52执行自动的光圈控制操作和自动的聚焦控制操作。该镜头控制部件53根据这样的一个驱动信号改变对对象的拍摄视角。这样,照相机部件4连续调整拍摄放大率从而对对象拍摄。
图像部件54包括一个固态成像元件,例如一个CCD(电荷耦合器件)等,该元件将入射的对象图像通过镜头部件52聚焦在图像表面,并且通过光电转换生成一个图像信号。图像部件54将生成的图像信号传送到跟踪和拍摄控制部件33。
完整图像形成部件31通过网络8执行预定的控制,使得拍摄方向就能够通过全景拍摄照相机2在图像拍摄时逐渐的改变,从而实现宽范围的拍摄。该完整图像形成部件31通过层叠全景拍摄照相机2所拍摄的单元图像产生一幅完整的全景图像。完整图像形成部件31记录形成的完整图像,并且响应于差别传感部件32的请求读取图像。
差别传感部件32检测完整图像形成部件31所形成的完整图像的运动。差别传感部件32将运动检测结果通知给跟踪位置计算部件34与跟踪和拍摄控制部件33。顺便提及,差别传感部件32可以向跟踪和拍摄条件数据库DB39询问运动检测条件。
跟踪和拍摄控制部件33根据差别传感部件32所通知的运动检测的结果等,通过网络8控制跟踪和拍摄照相机5的拍摄方向,拍摄视角等。跟踪和拍摄控制部件33通过网络8获得跟踪和拍摄照相机5所拍摄的单元图像。
全景设置部件36包括一个键盘,一个鼠标等,用于用户输入期望的信息从而形成上述的相关信息。
跟踪和拍摄条件设置部件38包括一个键盘,一个鼠标等,用于设置存储于跟踪和拍摄条件DB39中的运动检测条件。
接下来将详细描述完整图像形成部件31的详细结构。
完整图像形成部件31包括,如图5所示,一个通过网络8连接到全景拍摄照相机2的A/D转换部件61,一个连接到该A/D转换部件61的编码器63,一个用于存储编码器63所输出的图像的记录介质66,一个用于展开从记录介质66读出的图像的解码器67,一个与A/D转换部件61和解码器67相连,用于形成为用户显示的图像的监视图像处理部件68,一个用于暂时存储连接的监视图像处理部件68所提供的图像的存储器69,一个用于将连接的监视图像处理部件68所输入的信号转换成模拟信号的D/A转换部件74,以及一个用于控制每个构成元件的控制部件70。
顺便提及,包括一个液晶显示屏等,并且用于为用户显示预定信息的监视器75与D/A转换部件74相连。一个用于由用户根据显示在监视器75上的图像指定期望的图形区域以及图像位置的操作部件76连接到控制部件70。
A/D转换部件61将全景拍摄照相机2所传送的图像信号数字化,并且将数字化的图像信号传送到编码器63,差传感部件32以及监视图像处理部件68。
编码器63根据诸如JPEG(联合图像专家组)等的标准执行压缩和编码。顺便提及,编码器63可以在将被压缩和编码的图像信号中增加位置信息或元数据。编码器63将压缩和编码的图像信号输出到记录介质66。顺便提及,当提供的图像信号没有压缩和编码时,编码器63中的处理被省略。
记录介质66可以是,例如,硬盘,可分离的盘式记录介质等,编码器63输出的图像信号依次与位置信息或者元数据一同被记录。记录在记录介质66中的图像信号根据控制部件70的控制被读取并且传送到解码器67。而且,通过控制记录在记录介质66中的图像信号,并存储在存储卡(未显示)中,记录在存储卡中的图像信号能够被传送到其他的PC。通过控制记录在记录介质66中的图像信号,将其存储在上述的网络服务器(未显示)中,记录介质66可以用一个网络服务器(未显示)来替代。
解码器67展开从记录介质66读取得JPEG格式的图像信号,并且将图像信号传送到监视图像处理部件68。
监视图像处理部件68根据A/D转换部件61或者解码器67所传送的图像信号,在控制部件70的控制下,执行到监视器75的图像的处理。监视图像处理部件68根据控制部件70的控制执行监视器75中的对比度控制和亮度控制。该监视图像处理部件68通过于存储器69的合作,执行像素的稀释处理从而在监视器75的液晶显示屏上同时显示多个图像。
当图像区域和图像位置由用户通过操作部件76指定时,控制部件70传送一个用于驱动平摇倾斜部件3和镜头控制部件23的驱动信号,以及一个用于控制监视单元15中的每个单元的控制信号。控制部件70通过网络8接收来自与其他终端单元的请求,选择最佳的静止图像,运动图像或者记录在记录介质66中的各种信息,并且控制将图像或者信息传送到终端单元。
监视器75包括,例如一个液晶显示元件,一个背光灯等(未显示),并且监视器75是一个用于在视觉上识别用户拍摄的图像的界面。利用来自于液晶显示元件的后表面的上述背光灯发出的光线照射液晶显示元件,并且完全提高了监视器75的可见度。
操作部件76包括一个键盘,一个鼠标等,用于用户根据显示在监视器75上的图像执行一个期望的图像区域和图像位置。而且,操作部件76可以采用全景设置部件36和/或跟踪和拍摄条件设置部件38的结构,结果,当然是部件36和/或部件37可以被省略。
然后,将描述直到完整图像形成部件31形成一个完整图像的操作。
附图6表明了全景拍摄照相机2在拍摄视角为u,对图示的矩形帧拍摄的拍摄范围的情况。为了在视角为u下,对所有的拍摄范围拍摄,需要在水平方向上和垂直方向上连续移动拍摄的方向。如果拍摄范围大小表示为在任意拍摄角为u时对拍摄范围尺寸进行拍摄所获得的帧的尺寸(以后称为单元图像)的(i×j)倍,需要设置至少(i×j)个拍摄方向。通过层叠在该拍摄视角u时拍摄的(i×j)个单元图像能够合成表明整个拍摄范围的完整图像。
这里,当拍摄范围的每个单元图像的坐标(M,N)从水平方向上的左侧终端依次表示为1,2,…,M,…i,并且从垂直方向上的上面终端依次表示为1,2,…,N,…j,时,控制部件70向平摇倾斜部件3传送一个预定的驱动信号。因此,照相机部件4的拍摄方向首先与位于左上测的坐标(1,1)相匹配,然后照相机部件4执行拍摄,根据在该坐标(1,1)处拍摄生成的单元图像的图像信号被A/D转换部件61进行A/D转换,然后通过监视图像处理部件68存储在存储器69中。然后在编码器62中根据JPEG标准对图像信号压缩编码,同时加入元数据等,然后记录在记录介质66当中。
与此相似,控制部件70将驱动信号传送到平摇倾斜部件3,从而将照相机部件4的拍摄方向向右移动一个图像帧,然后通过将其与坐标(2,1)相匹配来执行拍摄。对该坐标(2,1)拍摄生成的图像信号同样被记录在记录介质66当中。照相机部件4接下来根据控制部件70的控制,在水平方向上改变拍摄方向为坐标(3,1),(4,1),…,(i,1),然后执行拍摄。
当照相机部件4完成了第一行的拍摄以后,通过将拍摄方向调整为第二行的坐标(1,2),照相机部件4执行拍摄,然后根据控制部件70的控制,在水平方向上移动拍摄方向,同时执行拍摄。当重复这样的一个操作并且完成了对坐标(i,j)拍摄以后,存储器69和记录介质66成为了根据在每个坐标拍摄的单元图像的(i×j)个图像信号被记录的状态。而且,当完成了对坐标(i,j)的拍摄以后,控制部件70向平摇倾斜部件3传输驱动信号,并且通过将照相机部件4的拍摄方向调整到再次放置在左上侧的坐标(1,1)来执行下一次拍摄。
应当注意单元图像的拍摄顺序并不局限于上述的例子。例如,当完成了对第一行的拍摄以后,根据控制部件70的控制,拍摄方向调整为第二行的坐标(i,2),然后执行拍摄,以后拍摄方向可以移动到坐标(1,2)。
根据记录在存储器69中的每个单元图像的图像信号依次被监视图像处理部件68读取,并且减小为与监视器75的显示屏幕的尺寸相匹配。减小的每个单元图像通过D/A转换部件74显示在监视器75上。记录在存储器69中的所有(i×j)个单元图像都显示在监视器75上,因此合成了一个类似全景的图像。上述的拍摄操作以一个预定的间隔执行,因此就能够获得表明拍摄范围的最新状态的完整图像。
而且,当记录在记录介质66中的单元图像在显示在监视器75上之前,被控制部件指定时,根据来自于记录介质66的单元图像的图像信号依次被解码器67读取,放大,并且传送到监视图像理部件68。图像信号被减小为与上述的监视图像处理部件68的显示屏幕尺寸相匹配,合成为完整的类似全景图像,并且显示。
附图7表明了在监视器75的全景图像显示部件170显示通过层叠(i×j)个拍摄的单元图像合成的完整图像的例子。顺便提及,该监视单元15可以在全景图像显示部件170上显示构成完整图像的每个单元图像之间的边界,或者可以仅显示一个无缝的全景图像。监视单元15可以显示在该拍摄视角拍摄的一个完整图像,其全景拍摄的范围可以替代该全景图像显示部件170上的完整类似全景图像而被捕获。
而且,在显示屏幕45上进一步提供了一个放大的图像显示部件171,用于通过放大单元图像来显示放大的图像。该放大的图像显示部件171可以放大和显示一个用户指定的单元图像,该单元图像是构成显示在完整图像显示部件170上的完整图像的单元图像中的一个。或者,移动图像可以根据该单元图像的拍摄方向依次显示。这样,用户能够实时的确定指定单元图像的拍摄方向的状态。
在显示屏幕45上,显示了一个WIDE按钮172,该按钮可以通过减小拍摄放大率来显示显示在放大图像显示部件171的单元图像,以及一个变焦按钮173,该按钮用于放大拍摄放大率并且显示图像。在该显示屏幕45上,显示了一个用于在水平方向上和垂直方向上调整照相机部件4的拍摄方向的拍摄方向控制部件175,以及一个用在各种不同设置或服务器的情况下,将根据单元图像的图像信号记录在期望的地址上的设置按钮176等。
用于能够通过操作部件176在全景图像显示部件170以及放大的图像显示部件171上指定一个期望的图像区域和一个图像位置。应当注意用于执行上述的指定操作的辅助线或者指针也可以通过与操作部件176中的鼠标等的移动合作显示在每个显示部件170,171上。
在本发明所应用的监视系统1中,除了通过如上所述层叠全景拍摄照相机2所拍摄的(i×j)个单元图像来合成显示完整拍摄范围的完整图像的正常拍摄模式以外,还有一个用于捕获期望的移动对象并且通过跟踪和拍摄照相机5对该移动对象在任意时间持续拍摄的跟踪合拍摄模式。在该跟踪和拍摄模式下,在一个非常短的时间间隔内生成了完整图像。这样,移动对象的移动,例如显示在附图7中的全景图像显示部件170上的小鸟,可以被捕获为一个图形信号,而不会被遗漏。
附图8以时序方式表明了一个正常拍摄模式和一个跟踪和拍摄模式。由于拍摄方向依次改变为于构成完整图像的所有单元图像相匹配,并且在正常拍摄模式下执行拍摄,合成一幅完整图像需要花费很长的时间。结果,在一个单元时间(以后成为“更新速率”)能够生成的完整图像的数目减少。
另一方面,在跟踪和拍摄模式,由于通过捕获移动对象对含有跟踪图像的一个或者多个单元图像拍摄已经足够了,因此与正常拍摄模式相比,拍摄能够在非常短的时间内完成,并且提高了更新速率。
在本发明所应用的监视系统1中,当开始对对象的拍摄操作时,首先执行正常拍摄模式的拍摄。在这种情况下,差别传感部件32如图8所示,判断拍摄的单元图像和与构成先前的完整图像的在相同拍摄方向上的单元图像之间是否存在运动。结果,如果差别传感部件32判断出单元图像中存在运动,该情况就被通知给跟踪位置计算部件34和跟踪拍摄控制部件33,作为存在移动对象的建议,然后起动跟踪和拍摄模式。
而且,在跟踪和拍摄模式,差别传感部件32判断的在单元图像a1中的跟踪图形位置存在运动,通过跟踪和拍摄照相机5的跟踪拍摄生成一个单元图像b1。在这种情况下,由于全景拍摄照相机2与跟踪和拍摄照相机5之间存在安装环境、拍摄方向等的差别,因此通过参照记录在跟踪位置计算部件34中的全景设置DB35中的相关信息匹配照相机2和5之间的拍摄方向。实际上,跟踪位置计算部件34通过计算出的跟踪图像位置匹配照相机2和5之间的拍摄方向。这样,跟踪和拍摄照相机5根据跟踪位置计算部件34通过跟踪拍摄控制部件33所指定的拍摄方向平摇倾斜而被扫描。因此,获得的单元图像1b能够与单元图像a1匹配。下面将描述通过跟踪图像位置匹配照相机2和5的拍摄方向的详细处理。
顺便提及,差别传感部件32不仅可以使用先前时间所拍摄的完整图像,作为与新拍摄的单元图像就亮度级别进行比较的先前完整图像,还可以使用预先存储的完整图像。在这种情况下,在任何条件下,任何完整图像的使用都由跟踪和拍摄条件设置部件39预先设置,并且起可以记录在跟踪和拍摄条件DB当中。
当开始跟踪和拍摄模式时,两个照相机的拍摄在正常拍摄模式下平行进行。例如,如图9所示,当时间从t1到t4时,在具有快速移动速度的移动对象(鸟)逐渐与建筑物分离时,由于需要对包括构成建筑物,云等单元图像进行连续拍摄,在建筑物,云等单元图像中不存在移动对象,因此在正常拍摄模式下,当构成完整图像的(s×t)个单元图像在时间t1拍摄时,需要很长的时间。
结果,在正常拍摄模式下,可能存在当在下一个定时拍摄完整图像时,时间已经到达t4的情况,因此在时间t2,t3的移动对象的状态不能被捕获作为图像数据。
相反,在跟踪和拍摄模式,由于仅对含有移动对象的单元图像连续拍摄,因此在时间t2,t3的移动对象的状态可以被持续拍摄并存储。即使当移动对象偏离拍摄范围时,可以利用跟踪和拍摄照相机5在任何时间捕获到该对象。结果,在跟踪和拍摄模式,如图9所示,能够获得在时间t1-t4仅在帧的区域内拍摄的单元图像,这样在短时间内发生的非常小的状态改变也能够毫无例外的被捕获。
然后将进一步详细描述通过跟踪和拍摄计算部件34获得跟踪图像位置的处理过程。
首先,在附图10所示的步骤S11,全景拍摄照相机2和跟踪和拍摄照相机5对单元图像拍摄,同时拍摄方向旋转到倾斜方向上的340°。每个照相机2和5拍摄的单元图像被传送到全景图像形成部件31,并且记录在记录介质66当中。应当注意旋转角度并不局限于340°,可以是任何角度。
然后,操作转移到步骤S12,通过在步骤S11旋转照相机2和5到340°所拍摄的单元图像被层叠从而形成完整图像。形成的每个完整图像被显示在监视器75上。
然后,操作转移到步骤S13,用户在步骤S12根据显示在监视器75上的完整图像指定一个将被监视的期望区域。在这种情况下,用户根据显示在监视器75上的完整图像,通过操作部件76指定期望被监视的区域。
附图11A表明了当一个停车场被监视时,全景拍摄照相机2所拍摄的单元图像的部分完整图像。附图11B表明了安装在一个不同的位置上的跟踪和拍摄照相机5所拍摄的部分完整图像。在步骤S12,用户在附图11A所示的完整图像上设置期望将被监视的区域,例如连接点A-D的帧(以后成为一个监视“帧”)。该监视帧成为上述的拍摄范围。与此相似,在步骤S12,用户设置点A’-D’,这样将被拍摄对象与在附图11B中的完整图像中的上述的A-D相应。这些设置被称为监视帧设置。
顺便提及,点A-D和点A’-D’的监视帧设置可以通过操作部件76手动设置。此外,其可以根据例如亮度信息等自动的执行。
然后,操作转移到步骤S13,微调在步骤S12中在监视帧中设置的点A-D和点A’-D’来显示相同的图像位置。在这样的情况下,微调每个设置点的名称,坐标,设置名称等,从而使点A-ID和点A’-D’相一致。上述微调在点A-D和A’-D’之间是相应的。这样,不仅设置的点A-D和点A’-D’,还有监视帧中的图像位置之间都能够彼此相应。由于图像位置彼此相应,响应于一个图像位置的移动,能够识别其他的图像位置中相对运动。
然后,操作转移到步骤S14,并且所有的监视帧设置都存储在全景设置数据库DB35当中。就是说,在步骤S14,设置点A-D和点A’-D’之间的相应关系被存储在全景设置DB35当中作为上述的相关信息。
此外,全景拍摄照相机2和跟踪和拍摄照相机5彼此重叠的放置,并且基本放置在相同的方向上,因此,上述的步骤S11-S14的处理能够进行。
根据本发明,在实际的监视之前执行上述的步骤S11-S14的处理。在实际的拍摄中,操作可以根据附图12所示的处理流程来执行。
首先,在步骤S21,完整图像形成部件31读取记录在全景设置DB35中的监视帧,并且识别拍摄范围。
然后,操作转移到步骤S22。完整图像形成部件31生成一个用于根据所识别的拍摄范围控制平摇倾斜部件3的驱动信号。该驱动信号被传送到平摇倾斜部件3,并且因此在水平方向或者垂直方向上,在识别的拍摄范围内,连续移动拍摄范围,从而执行拍摄。
然后,操作转移到步骤S23,判断在拍摄范围内(监视帧)是否所有的单元图像的拍摄都已经完成。如果结果判断出并不是所有的单元图像的拍摄都已经完成,拍摄将继续,而如果判断出已经完成,则操作转移到步骤S24。
如果操作转移到步骤S24,单元图像被层叠从而形成完整图像。然后,生成的完整图像被重组,显示在监视器75上。
然后,操作转移到步骤S25,完整图像形成部件31将生成新的完整图像的效果通知给差别传感部件32。
附图13表明了接收到这样一个通知的差别传感部件32的操作顺序。
首先,在步骤S31,差别传感部件32访问跟踪和拍摄条件数据库DB39,并且因此获得了记录在跟踪和拍摄条件数据库DB39中的跟踪和拍摄条件。
然后操作转移到步骤S32,差别传感部件32根据获得的跟踪和拍摄条件检测运动。步骤S32的运动检测是通过获得新生成的完整图像和先前获得的完整图像之间的亮度差的值执行的。在这种情况下,判断获得的亮度级别的差的值是否超出了一个预定的门限值(步骤S33)。这里,当亮度级别的差值超出一个门限值时,判断出运动检测,并且操作转移到步骤S34。另一方面,当亮度级别的差值是门限值或者更小时,判断没有检测到运动,然后处理完成。在这种情况下,差别传感部件32从跟踪和拍摄条件数据库DB36获得上述的门限值作为上述的跟踪和拍摄条件。运动检测的精度由该门限值的设置情况控制。因此,门限值可以通过跟踪和拍摄条件设置部件38自由设置,并且因此运动检测的级别和精度可以自由调整。
然后,操作转移到步骤S34,差别传感部件32访问跟踪位置计算部件34,并且将运动检测的图像位置E,就是超出门限值一个亮度级别的差值的图像区域的坐标(Ex,Ey),通知给跟踪位置计算部件34。然后,操作转移到步骤S35,差别传感部件32获得跟踪位置计算部件34计算的跟踪图像位置。而且该差别传感部件32将步骤S36获得的跟踪图像位置通知给跟踪拍摄控制部件33。
这里,将以设置停车场为监视帧为例,解释上述的步骤S11-S14中的用于计算跟踪图像位置的步骤S35的方法。
首先,跟踪位置计算部件34读取记录在全景设置数据库DB35中的设置在点A-D和点A’-D’的监视帧。这里读取的点A的坐标是(Ax,Ay),点B的坐标是(Bx,By),点C的坐标是(Cx,Cy),点D的坐标是(Dx,Dy)。
跟踪位置计算部件34识别在上述的步骤S34中由差别传感部件32所通知的图像位置E的点A-D所定义的监视区域中的相对位置。在这种情况下,图像位置E的相对位置可以表示为纵向方向上的比值(x1∶x2)以及横向方向上的比值(y1∶y2),如图14A所示。纵向方向上的比值和横向方向上的比值可以利用下面的公式1和公式2来表示:
Figure C20041008227800211
(公式1)
Figure C20041008227800212
(公式2)
这样,在全景拍摄照相机2拍摄的完整图像中能够获得检测到运动的图像位置E的相对位置。
然后,跟踪位置计算部件34计算完整图像的哪个坐标与跟踪和拍摄照相机5中的图像位置E相应。这里,如图14B所示,获得的点A’的坐标是(A’x,A’y),点B’的坐标是(B’x,B’y),点C’的坐标是(C’x,C’y),点D’的坐标是(D’x,D’y)。在跟踪和拍摄照相机5的完整图像中,与上述的图像位置E相应的跟踪图像位置以后将被称为跟踪图像位置E’,坐标将为(E’x,E’y)。
在这种情况下,在A’x≥B’x以及D’x≥C’x的情况下,E’x可以用下面的公式3表示:
Figure C20041008227800213
(公式3)
在D’y≥B’y,并且A’y≥C’y的情况下,E’y可以利用下面的公式4表示:
Figure C20041008227800215
Figure C20041008227800216
(公式4)
就是,获得的跟踪图像位置E’的坐标(E’x,E’y)与位置E的坐标(Ex,Ey)相应。即使如果全景拍摄照相机2和跟踪和拍摄照相机5安装在不同的位置或者安装在与停车场的距离不同的位置上,跟踪和拍摄照相机5中的位置E’的坐标能够从根据全景拍摄照相机2中的全景图像检测到的位置E的坐标唯一的获得。
跟踪位置计算部件34能够将获得的跟踪图像位置E’的坐标(E’x,E’y)作为跟踪图形位置传送到差别传感部件32。差别传感部件32将跟踪图像位置E’的坐标(E’x,E’y)传送到跟踪拍摄控制部件33。跟踪拍摄控制部件33被设置为包含跟踪和拍摄照相机5的拍摄方向的坐标(E’x,E’y),并且能够将拍摄方向匹配到检测到运动的图像位置。
附图15表明了跟踪拍摄控制部件33的操作顺,跟踪图像位置E’被通知给跟踪拍摄控制部件。
首先,在步骤S41从差别传感部件获得跟踪图像位置的跟踪拍摄控制部件33重新设置跟踪和拍摄照相机5的拍摄方像,包括坐标(E’x,E’y)。然后,操作被转移到步骤S42,驱动信号传送到跟踪和拍摄照相机5,并且在拍摄方向上开始拍摄。
跟踪和拍摄照相机5检查用于停止拍摄的信号是否逐个的从跟踪和拍摄控制部件33发送。如果已经发送了信号,停止拍摄操作。
这样的一个监视系统1利用全景拍摄照相机在非通道区域内设置监视帧,例如如图16A所示,作为监视一个停车场中的特别应用。如果由于有人进入该区域而发生了与先前的全景图像的亮度差,跟踪和拍摄照相机5就将拍摄方向匹配到含有跟踪拍摄位置的方向,如图16B所示,然后执行跟踪拍摄。
这样的一个监视系统可以安装在一个所谓的复合影院的多影院的放映室。在观众入座以前,获得所谓的空状态的全景图像,监视帧被设置为包含每个座位。这样,就发生了坐在座位上的观众之间的亮度级别的差。如果所获得的差值超出了门限值,拍摄方向就匹配到含有跟踪图像位置的方向,并且执行跟踪拍摄。这样,当一个人坐在预定的座位上时,通过比较门票的销售信息和座位的预定信息,就能够对其进行跟踪。
在上述的例子当中,提供了一个用于对对象拍摄生成图像信号的全景拍摄照相机2和一个跟踪和拍摄照相机5的情况为例进行解释。但是,本发明并不局限于此。例如,可以提供一个或者多个全景拍摄照相机2和跟踪和拍摄照相机5。附图17表明了具有三个全景拍摄照相机2和一个跟踪和拍摄照相机5的监视系统100。在该监视系统100中,相同的对象可以利用多个全景拍摄照相机2从不同的拍摄方向拍摄,或者对不同的对象拍摄。当全景拍摄照相机2执行运动检测时,照相机被转换到跟踪和拍摄模式,然后执行跟踪和拍摄照相机5的拍摄。当然,全景拍摄照相机2和跟踪和拍摄照相机5的数目和比例可以任意定义。
在本发明所应用的监视系统1中,照相机2和5并不被指定为全景拍摄和跟踪拍摄的任务,而是响应于所处的环境来执行全景拍摄或者跟踪拍摄。在附图18所示的监视照相机101中,分别安装了两个照相机2和5。在正常拍摄模式下,两个照相机2和5分别对完整图像拍摄。当照相机2和5中的任何一个检测到运动时,操作转移到跟踪和拍摄式,并且照相机2和5中的任何一个执行跟踪拍摄。
在本发明所应用的监视系统1中,可以分别在三基色R,G,B执行上述单元图像的亮度级别比较。亮度级别的比较是如上所述在多个单元图像当中,在相同坐标(M,N)处进行的,换句话说,是在相同的拍摄方向上在多个单元图像当中进行的。这样,在每个基色分量上比较全景图像与参考全景图像之间的亮度级别的变化,换句话说,在每个拍摄方向上检测每个基色份量的亮度级别的差值。
而且,本发明不仅可以作为上述的监视系统1来执行,还可以,例如,全部在照相机上执行监视单元15的功能。此外,本发明还可以应用于一个用于在计算机中执行上述处理的程序或者用于记录这样的一个程序的记录介质。
本发明还可以应用于监视系统200中,在该监视系统200中,使用了一个用于对360度的宽范围区域进行拍摄的固定照相机2A作为上述的监视系统1中的全景拍摄照相机2,如图19所示。该监视系统200包括用于通过对一个对象拍摄生成一个图像信号的全景拍摄照相机2A,一个跟踪和拍摄照相机5,一个与这些照相机2A,5相连的网络8,一个用于通过网络控制全景拍摄照相机2和跟踪和拍摄照相机5来获得图像信号的监视单元15。
在该监视系统200中,能够实时的在360°的全方向拍摄的固定照相机2A作为全景拍摄照相机2使用,该固定照相机2A和能够执行平摇/倾斜/缩放的跟踪和拍摄照相机5如图20A和20B所示被同轴放置。
附图20A是表明从前面看的固定照相机2A和跟踪和拍摄照相机5的放置实例的前视图,附图20B是其侧视图。
如图所示,监视系统200中的固定照相机2A实时获得360°全方向的图像,例如在附图21中,平摇方向视角是360°,倾斜方向视角55°(仰角:38°,俯角:17°),像素的数目大约为1280×240的图像质量。
通过层叠跟踪和拍摄照相机5获得的图像而形成的全景图像,例如如图22所示,平摇方向视角是340°,倾斜方向视角是51°(仰角:25.5°,俯角:25.5°),像素的数目大约是6400×960的图像质量。
在监视系统200中,图像空间通过层叠图像获得(VGA10×2),如图23所示。
跟踪和拍摄照相机5获得的图像被预先缩放调整,从而使倾斜方向成为25.5°,平摇方向为34°。
监视系统200的监视单元15在启动时由下面的初始化(1)和初始化(2)来执行。
初始化(1):监视系统200中的全景图像的宽角度图像空间具有全部视角的平摇方向=340°,倾斜方向=51°。图像信息在平摇方向上平均分成6400,在倾斜方向上平均分成960。该图像信息存储在监视单元15的全景设置数据库中。
初始化(2):在附图24所示的固定照相机2A实时获得的360°全景方向的图像上设置A,B,C,D四个点,在附图25所示,通过层叠跟踪和拍摄照相机5获得图像而形成的全景图像上设置A’,B’,C’,D’四个点。上述的四个点被看作是相同的位置。其被存储在监视单元15的全景设置数据库中。
在这个监视系统200中,跟踪和拍摄照相机5是根据360°全方向的图像上的指定信息而得到控制的,其中所述图像是按照附图26中的流程图中所述的顺序,由按照这一方式进行了初始化的监视单元15通过固定照相机2A实时获得的。
就是说,当用户在360度全方向图像上指定一个任意点时(步骤S51),监视系统200的监视单元15获得用户利用鼠标指定的360°的坐标点E(X,Y)(步骤S52),从全景设置数据库中获得360度全方向图像的定位点A,B,C,D(步骤S53),从全景设置数据库中获得跟踪和拍摄照相机5的340度全景图像的定位点A’,B’,C’,D’(步骤S54),获得与360度全方向图像上的位置E(X,Y)相应的340度全景图像的位置信息(步骤S55),向位置E’(X’,Y’)移动的请求被传送到跟踪和拍摄照相机5(步骤S56),然后显示移动目的地的图像(步骤S57)。
就是说,在该监视系统200中,当在附图24所示的360度全方向的图像上点击一个任意的点E时,附图24的图像上的坐标E(X,Y)被导出,并且根据预先为坐标E(X,Y)存储在全景设置数据库中的每个A,B,C,D点计算相对位置(近似值)。
如图25所示,预先存储在全景设置数据库中的A’,B’,C’,D’被看作与点A,B,C,D相应,与附图24中的E(X,Y)相应的附图25中的E’(X’,Y’)可以根据每个A’,B’,C’,D’的位置以及计算出的A,B,C,D获得。计算出的E’(X’,Y’)被表示为存储在数据库中的图像信息的位置信息。
执行平摇倾斜控制从而使跟踪和拍摄照相机5的中心根据点E’(X’,Y’)的位置信息成为E’。
这里,在360度全方向图像上任意指定的E的相对位置(近似值)的计算可以按照如下的方式进行,所述的图像是由监视系统200中的固定照相机2A实时获得的:
Figure C20041008227800251
跟踪和拍摄照相机5获得的340度全景图像上的位置E’(近似值)的计算可以按照如下的方式进行:
在先前的计算中获得的相对位置的比例X1∶X2是5∶2,Y1∶Y2的比例是3∶4,并且在A’x≥B’x以及D’x≥C’x的情况下,
Figure C20041008227800253
在D’y≥B’y,并且A’y≥C’y的情况下,
Figure C20041008227800255
Figure C20041008227800256
这里,在附图27中显示了监视系统200中的全景拍摄照相机2A和跟踪和拍摄照相机5的垂直方向上的视场角的截面图。
附图27表明了监视系统200中的全景拍摄照相机2A,其是一个宽角度照相机(全景照相机),和跟踪和拍摄照相机5在基本相同的方向上(垂直方向)捕获一个对象的图形显示。
首先:
X:拍摄对象和照相机的水平方向距离
Y:能够在距离X处完全倾斜视角拍摄的垂直方向距离(高度)
ΔY:两个照相机的拍摄部分中心之间的距离
存在下面的两个前提。
前提1:跟踪和拍摄照相机5和360度照相机的拍摄部分的中心基本上位于相同的垂直线上。
前提2:跟踪和拍摄照相机5和全景拍摄照相机2A的倾斜方向视角调整为大约55度-65度范围内的相同视角。
此外,两个视角的位置关系如图27所示。
如果两个视角是55度,
照相机的位置关系是ΔY=100mm
当对X=10m的位置处的对象拍摄时,获得
Y=2*X*Tan(55/2)°=10.41m
结果,ΔY/Y=0.0096=0.96%
Y:两个照相机之间在垂直方向上的位置差相对于垂直方向上的整个距离来说非常短。当监视器显示两幅图像时,不能感觉出差别。
就是说,当就VGA:640×480而言计算差别时,差别仅为5个点。
由于同轴放置,两个照相机的水平方向上的视角共享相同的视角。
在该监视系统200中,照相机2A和5同轴放置。这样,不需要根据照相机2和5的相对位置关系计算对象位置的算法,但是拍摄照相机2A获得的360度全方向图像的点需要指定,并且能够以该点为中心,利用跟踪和拍摄照相机5拍摄。

Claims (9)

1.一种拍摄装置,包括:
第一照相机,用于拍摄一个宽角度区域,通过连续地将拍摄方向匹配到构成覆盖该第一照相机的完整拍摄范围的第一图像的各个单元图像进行拍摄,并且第一图像是通过连接各个单元图像所形成的图像;
第二照相机,用于在一个与指定的拍摄方向相应的方向上,拍摄一个比宽角度区域窄的区域;
运动检测部件,通过比较第一照相机生成的第一图像和从第一图像预先拍摄的先前图像之间的亮度级别的差来检测图像中是否存在运动;
存储器,用于预先记录表明第一图像和第二照相机所获得的第二图像之间的位置关系的相关信息;以及
控制器,用于当运动检测部件检测到存在运动时,使用相关信息控制第二照相机在检测到运动的位置上的拍摄方向。
2.根据权利要求1所述的拍摄装置,其中相关信息是根据第一图像和第二图像的多个预定位置获得的信息。
3.根据权利要求1所述的拍摄装置,其中运动检测部件通过比较亮度级别的差与一个预定的门限值来检测是否存在运动。
4.根据权利要求1所述的拍摄装置,其中第一照相机和第二照相机被安装在基本相同的位置上。
5.根据权利要求1所述的拍摄装置,进一步包括:
用于在记录介质上记录拍摄的第一图像的记录部件。
6.一种拍摄装置,包括:
第一照相机,用于拍摄一个宽角度区域,通过连续地将拍摄方向匹配到构成覆盖该第一照相机的完整拍摄范围的第一图像的各个单元图像进行拍摄,并且第一图像是通过连接各个单元图像所形成的图像;
第二照相机,用于在一个与指定的拍摄方向相应的方向上,拍摄一个比宽角度区域窄的区域;
运动检测部件,通过比较构成由第一照相机生成的第一宽角度图像的第一单元图像与在相同的拍摄方向上从第一单元图像预先拍摄的单元图像之间的亮度级别的差来检测每个单元图像中是否存在运动;
记录部件,用于预先记录表明第一单元图像和第二照相机获得的第二单元图像之间的各个图像位置相互关系的相关信息;以及
控制器,用于当运动检测部件检测到存在运动时,使用相关信息控制第二照相机在检测到运动的位置上的拍摄方向。
7.一种拍摄方法,包括:
利用第一照相机拍摄一个宽角度区域的第一图像的步骤,通过连续地将拍摄方向匹配到构成覆盖该第一照相机的完整拍摄范围的第一图像的各个单元图像进行拍摄,并且第一图像是通过连接各个单元图像所形成的图像;
利用第二照相机,拍摄比宽角度区域窄的区域的第二图像的步骤;以及
用于通过比较第一图像和从第一图像预先拍摄的先前图像的亮度级别来检测图像中是否存在运动的运动检测步骤;
当运动检测部件检测出存在运动时,使用表明第一图像和第二照相机所获得的第二图像之间的图像位置相互关系的相关信息来控制第二照相机在检测到运动的位置上的拍摄方向。
8.一种拍摄方法,包括:
利用第一照相机拍摄一个宽角度区域的第一宽角度图像的步骤,通过连续地将拍摄方向匹配到构成覆盖该第一照相机的完整拍摄范围的第一图像的各个单元图像进行拍摄,并且第一图像是通过连接各个单元图像所形成的图像;
利用第二照相机,拍摄比宽角度区域窄的区域的第二图像的步骤;以及
通过比较构成第一宽角度图像的第一单元图像与在相同拍摄方向上从该单元图像预先拍摄的单元图像之间的亮度级别差来检测在每个单元图像中的图像是否存在运动的运动检测步骤;
当运动检测部件检测出存在运动时,使用表明第一单元图像和第二照相机所获得的第二单元图像之间的图像位置相互关系的相关信息来控制第二照相机在检测到运动的位置上的拍摄方向。
9.一种监视系统,包括:
用于拍摄一个宽角度区域的第一照相机,通过连续地将拍摄方向匹配到构成覆盖该第一照相机的完整拍摄范围的第一图像的各个单元图像进行拍摄,并且第一图像是通过连接各个单元图像所形成的图像;
用于在一个与指定的拍摄方向相应的方向上,拍摄一个比宽角度区域窄的区域的第二照相机;
通过比较构成由第一照相机生成的第一宽角度图像的第一单元图像与在相同的拍摄方向上从第一单元图像预先拍摄的单元图像之间的亮度级别的差来检测每个单元图像中是否存在运动的运动检测部件;
用于预先记录表明第一单元图像和第二照相机获得的第二单元图像之间的各个图像位置相互关系的相关信息的记录部件;以及
用于当运动检测部件检测到存在运动时,使用相关信息控制第二照相机在检测到运动的位置上的拍摄方向的控制器。
CNB2004100822784A 2003-11-27 2004-11-26 拍摄装置和方法、监视系统 Expired - Fee Related CN100455014C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003398152 2003-11-27
JP2003398152 2003-11-27

Publications (2)

Publication Number Publication Date
CN1641467A CN1641467A (zh) 2005-07-20
CN100455014C true CN100455014C (zh) 2009-01-21

Family

ID=34463857

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100822784A Expired - Fee Related CN100455014C (zh) 2003-11-27 2004-11-26 拍摄装置和方法、监视系统

Country Status (3)

Country Link
EP (1) EP1536633A1 (zh)
KR (1) KR20050051575A (zh)
CN (1) CN100455014C (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100771138B1 (ko) * 2005-12-29 2007-10-29 엠텍비젼 주식회사 촬영 장치 및 영상 보정 방법
ITVI20070062A1 (it) * 2007-03-02 2008-09-03 Emanuele Menegatti Telecamera panoramica ad inseguimento
KR100853734B1 (ko) * 2007-04-23 2008-08-25 포스데이타 주식회사 영상신호 가공방법, 이벤트 생성방법 및 상기 방법을구현하는 휘도 차이를 감지하는 dvr
GB2449303A (en) * 2007-05-18 2008-11-19 Mark Mercer Electronics Ltd Apparatus for CCTV System having unidirectional and panoramic imaging devices
US8154578B2 (en) 2007-05-31 2012-04-10 Eastman Kodak Company Multi-camera residential communication system
KR101411312B1 (ko) * 2007-10-09 2014-06-25 삼성전자주식회사 영상의 각도를 유지하는 기능을 구비하는 디지털 영상처리장치 및 그 제어방법
JP2009124210A (ja) * 2007-11-12 2009-06-04 Olympus Imaging Corp 撮像装置、撮像方法、画像検索装置および画像検索方法
KR101534317B1 (ko) * 2008-10-10 2015-07-06 삼성전자주식회사 높은 동적 대역(hdr) 영상 생성방법 및 장치
CN101762967B (zh) * 2009-10-30 2012-10-03 广东威创视讯科技股份有限公司 拍摄辅助条、拍摄方法、图像拼接方法和拼接装置
JP5800600B2 (ja) * 2011-06-24 2015-10-28 オリンパス株式会社 撮像装置、撮像方法およびプログラム
CN102355576B (zh) * 2011-11-08 2015-07-08 杭州士兰微电子股份有限公司 高清视频监控方法和系统
CN109963059B (zh) 2012-11-28 2021-07-27 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
CN108989647B (zh) 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
CN105359006B (zh) 2013-07-04 2018-06-22 核心光电有限公司 小型长焦透镜套件
CN108989648B (zh) 2013-08-01 2021-01-15 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN104754236B (zh) * 2013-12-27 2018-09-18 日本写真判定株式会社 行进比赛的顺序判定方法及其装置
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN112327463B (zh) 2015-01-03 2022-10-14 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
EP3278178B1 (en) 2015-04-02 2019-04-03 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
CN111812910B (zh) 2015-06-24 2021-05-11 核心光电有限公司 折叠式相机模块
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
KR102143730B1 (ko) 2015-09-06 2020-08-12 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
EP4254926A3 (en) 2015-12-29 2024-01-31 Corephotonics Ltd. Dual-aperture zoom digital camera with automatic adjustable tele field of view
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
EP4270978A3 (en) 2016-06-19 2024-02-14 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
KR102110025B1 (ko) 2016-07-07 2020-05-13 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
JP7057364B2 (ja) 2017-01-12 2022-04-19 コアフォトニクス リミテッド コンパクト屈曲式カメラ
EP3579040B1 (en) 2017-02-23 2021-06-23 Corephotonics Ltd. Folded camera lens designs
EP4357832A3 (en) 2017-03-15 2024-05-29 Corephotonics Ltd. Camera with panoramic scanning range
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
WO2019102313A1 (en) 2017-11-23 2019-05-31 Corephotonics Ltd. Compact folded camera structure
KR102128223B1 (ko) 2018-02-05 2020-06-30 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN111936908B (zh) 2018-04-23 2021-12-21 核心光电有限公司 具有扩展的两个自由度旋转范围的光路折叠元件
JP7028983B2 (ja) 2018-08-04 2022-03-02 コアフォトニクス リミテッド カメラ上の切り替え可能な連続表示情報システム
CN109064715A (zh) * 2018-08-08 2018-12-21 国网山东省电力公司惠民县供电公司 一种用于变压器的监控系统及监控方法
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
WO2020144528A1 (en) 2019-01-07 2020-07-16 Corephotonics Ltd. Rotation mechanism with sliding joint
WO2020183312A1 (en) 2019-03-09 2020-09-17 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
KR102640227B1 (ko) 2019-07-31 2024-02-22 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11770618B2 (en) 2019-12-09 2023-09-26 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
KR20220053023A (ko) 2020-02-22 2022-04-28 코어포토닉스 리미티드 매크로 촬영을 위한 분할 스크린 기능
US11832018B2 (en) 2020-05-17 2023-11-28 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
WO2021245488A1 (en) 2020-05-30 2021-12-09 Corephotonics Ltd. Systems and methods for obtaining a super macro image
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
EP4202521A1 (en) 2020-07-15 2023-06-28 Corephotonics Ltd. Point of view aberrations correction in a scanning folded camera
US11946775B2 (en) 2020-07-31 2024-04-02 Corephotonics Ltd. Hall sensor—magnet geometry for large stroke linear position sensing
CN114424104B (zh) 2020-08-12 2023-06-30 核心光电有限公司 扫描折叠相机中的光学防抖
US12007671B2 (en) 2021-06-08 2024-06-11 Corephotonics Ltd. Systems and cameras for tilting a focal plane of a super-macro image
KR20220170225A (ko) * 2021-06-22 2022-12-29 삼성전자주식회사 카메라 모듈 및 그를 포함하는 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262852A (en) * 1990-08-03 1993-11-16 Thomson-Csf Method of detection for a panoramic camera, camera for its implementation, and surveillance system equipped with such a camera
EP0714081A1 (en) * 1994-11-22 1996-05-29 Sensormatic Electronics Corporation Video surveillance system
JPH10108163A (ja) * 1996-09-26 1998-04-24 Sony Corp ビデオ装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000243062A (ja) * 1999-02-17 2000-09-08 Sony Corp 映像記録装置および映像記録方法、ならびに集中監視記録システム。
US20020075258A1 (en) * 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
JP3925299B2 (ja) * 2002-05-15 2007-06-06 ソニー株式会社 モニタリングシステムおよび方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262852A (en) * 1990-08-03 1993-11-16 Thomson-Csf Method of detection for a panoramic camera, camera for its implementation, and surveillance system equipped with such a camera
EP0714081A1 (en) * 1994-11-22 1996-05-29 Sensormatic Electronics Corporation Video surveillance system
JPH10108163A (ja) * 1996-09-26 1998-04-24 Sony Corp ビデオ装置

Also Published As

Publication number Publication date
KR20050051575A (ko) 2005-06-01
CN1641467A (zh) 2005-07-20
EP1536633A1 (en) 2005-06-01

Similar Documents

Publication Publication Date Title
CN100455014C (zh) 拍摄装置和方法、监视系统
CN100525424C (zh) 成像装置和方法以及成像系统
JP4153146B2 (ja) カメラアレイの画像制御方法、及びカメラアレイ
US9734680B2 (en) Monitoring system, monitoring method, computer program, and storage medium
JP4345692B2 (ja) 情報処理システム、情報処理装置および方法、並びにプログラム
CN1979335B (zh) 照相机系统、照相机控制装置、全景图像形成方法
JP4736381B2 (ja) 撮像装置及び方法、監視システム、プログラム並びに記録媒体
US7697025B2 (en) Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
JP4378636B2 (ja) 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
JP2006333132A (ja) 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
CN103945117A (zh) 拍摄设备、协作拍摄方法以及记录了程序的记录介质
WO2004066631A1 (ja) パノラマ画像を用いた監視装置及び監視方法
CN101729788A (zh) 摄像装置、摄像区域显示方法和摄像区域显示程序
JP2007266713A (ja) 監視システム、監視方法、及びプログラム
US20160314596A1 (en) Camera view presentation method and system
CN102263894B (zh) 拍摄装置
JP2003179798A (ja) デジタルカメラ
KR100995949B1 (ko) 화상 처리 장치, 카메라 장치 및 화상 처리 방법
CN102209199B (zh) 图像拍摄装置
JP3994469B2 (ja) 撮像装置、表示装置及び記録装置
JP3841033B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2005323007A (ja) 記録再生装置、及び記録再生方法
JP4172352B2 (ja) 撮像装置及び方法、撮像システム、プログラム
JP4225040B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP4333255B2 (ja) 監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090121

Termination date: 20091228