CN103329518A - 拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法、以及计算机程序 - Google Patents

拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法、以及计算机程序 Download PDF

Info

Publication number
CN103329518A
CN103329518A CN2012800051604A CN201280005160A CN103329518A CN 103329518 A CN103329518 A CN 103329518A CN 2012800051604 A CN2012800051604 A CN 2012800051604A CN 201280005160 A CN201280005160 A CN 201280005160A CN 103329518 A CN103329518 A CN 103329518A
Authority
CN
China
Prior art keywords
image
video camera
camera
video
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800051604A
Other languages
English (en)
Other versions
CN103329518B (zh
Inventor
藤松健
藤井博文
松川隆行
横光澄男
渡边伟志
松本裕一
藁谷克则
三轮道雄
杉浦雅贵
森冈干夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103329518A publication Critical patent/CN103329518A/zh
Application granted granted Critical
Publication of CN103329518B publication Critical patent/CN103329518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Abstract

提供一种能够减少多个摄像机与摄像机控制装置之间的通信负荷的拍摄系统。拍摄系统(1)包括服务器(200)和与服务器(200)连接的多个摄像机(100)。各摄像机(100)具备:通过拍摄而生成图像的图像生成部(101);根据在图像生成部(101)生成的图像来检测移动体,并将移动体的位置的信息向服务器(200)发送的移动体检测部(102);在由服务器(200)选择时,发送包含移动体的图像的图像发送部(104)。服务器(200)具备:基于从多个摄像机(100)的每一个摄像机分别发送的移动体的位置的信息,选择多个摄像机(100)中的一部分摄像机作为图像发送摄像机的图像发送摄像机选择部(206);将图像发送摄像机选择部(206)的选择结果向摄像机(100)通知的图像发送摄像机通知部(208);输入从由图像发送摄像机选择部(207)选择作为图像发送摄像机的摄像机发送的图像的图像输入部(209)。

Description

拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法、以及计算机程序
关联的申请
在本申请中,主张在2011年1月11日向日本提出申请的专利申请编号2011-002745的利益,该申请的内容通过引用而包含于此。
技术领域
本发明涉及使用多个摄像机进行拍摄的拍摄系统及控制这多个摄像机的摄像机控制装置,尤其是涉及多个摄像机为拍摄范围相互重复的全景摄像机的拍摄系统及摄像机控制装置。
背景技术
以往,在作为监视系统而使用的拍摄系统中,多个摄像机设置在监视对象场所的高处,这多个摄像机与摄像机控制装置连接。由多个摄像机拍摄到的图像向摄像机控制装置发送。在摄像机控制装置具备监视器,在监视器上显示由摄像机拍摄到的图像。在这样的监视系统中,多个摄像机有时以其拍摄范围重复的方式设置。这种情况下,在摄像机控制装置中,能够从由多个摄像机拍摄到的图像中选择最适合显示的图像进行显示。
在专利文献1中公开了上述那样的拍摄系统。在专利文献1中,摄像机控制装置从与之连接的多个摄像机取得图像,选择对多个摄像机的图像中的人物更朝向正面的图像进行拍摄的摄像机。然后,将选择的图像放大显示,或以选择的摄像机能够拍摄人物的方式将控制其拍摄方向的信号向选择的摄像机发送。
另一方面,作为监视摄像机,使用全景摄像机,该全景摄像机使用鱼眼镜头而拍摄全景图像。在全景摄像机中,由于使用鱼眼镜头,因此得到圆形或环状的图像,并且在拍摄图像产生变形,因此在显示拍摄图像时,切出规定的范围而进行变形校正的基础上,显示作为平面图像。全景摄像机的水平视角为360度,垂直视角为约180度,能够拍摄大范围,因此多使用作为监视摄像机。
【在先技术文献】
【专利文献】
【专利文献1】日本特开2005-142683号公报
发明内容
然而,在专利文献1的拍摄系统中,多个摄像机均始终将图像向摄像机控制装置发送,因此从多个摄像机向摄像机控制装置发送的数据量变大,会给网络造成负担。
另外,在专利文献1的拍摄系统中,使用利用了通常的镜头的摄像机作为多个摄像机。另一方面,作为监视摄像机,如上述那样,有时使用全景摄像机,该全景摄像机使用鱼眼镜头来拍摄全景图像,这种情况下,全景摄像机在监视对象场所的高处朝下设置。
当将这样的全景摄像机适用于专利文献1的拍摄系统时,由于上述的全景摄像机的特性,会产生以下的问题。首先,在由全景摄像机拍摄到的图像中如上述那样产生变形,且该变形越从图像的中心离开(从被拍摄体到摄像机的水平方向的距离越远)而越变大。因此,仅以作为监视对象的人物相对于摄像机朝向正面这样的基准来选择图像时,未必能选择最优的图像。
另外,在全景摄像机朝下设置在监视对象场所的高处时,即使作为监视对象的人物相对于全景摄像机在水平方向上朝向正面,若该人物在全景摄像机的下方,则会拍摄该人物的头顶部,在这样的图像中,难以进行人物的识别。因此,在这一点上,当仅以作为监视对象的人物朝向正面这样的基准来选择图像时,未必能选择最优的图像。
本发明鉴于上述的问题而作出,目的是在包括摄像机控制装置和与之连接的多个摄像机的拍摄系统中,提供一种能够减少多个摄像机与摄像机控制装置之间的通信负荷的拍摄系统。而且,本发明目的是在上述的拍摄系统中,提供一种能够从多个摄像机选择适当的摄像机的拍摄系统。
为了解决上述现有课题,本发明的拍摄系统包括摄像机控制装置和与摄像机控制装置连接的多个摄像机,多个摄像机的每一个摄像机具备:图像生成部,通过拍摄而生成图像;移动体检测部,根据在图像生成部生成的图像来检测移动体并将移动体的位置的信息向摄像机控制装置发送;以及图像发送部,在已被摄像机控制装置选择时发送包含移动体的图像,摄像机控制装置具备:图像发送摄像机选择部,基于从多个摄像机的每一个摄像机分别发送的位置的信息而选择多个摄像机中的一部分摄像机作为图像发送摄像机;图像发送摄像机通知部,将图像发送摄像机选择部的选择结果向摄像机通知;以及图像输入部,输入从由图像发送摄像机选择部选择作为图像发送摄像机的摄像机发送的图像。
本发明的另一方式的拍摄系统包含摄像机控制装置和与摄像机控制装置连接的多个摄像机,多个摄像机的每一个摄像机具备:图像生成部,通过拍摄来生成图像;以及图像发送部,将由图像生成部生成的图像向摄像机控制装置发送,摄像机控制装置具备:图像输入部,输入从摄像机发送的图像;以及图像识别部,基于由图像输入部输入的图像来进行该图像中的移动体的识别处理,拍摄系统还具备:检测部,根据由图像生成部生成的图像来检测移动体;以及判断部,基于与移动体相对于摄像机的朝向相关的角度评价值来判断多个摄像机中的哪个摄像机的图像是图像识别部的识别处理的对象。
本发明的另一方式是与多个摄像机连接而控制多个摄像机的摄像机控制装置,该摄像机控制装置具备:图像发送摄像机选择部,基于从多个摄像机的每一个摄像机发送的由各摄像机分别检测到的各移动体的位置而选择多个摄像机中的一部分摄像机作为图像发送摄像机;图像发送摄像机通知部,将图像发送摄像机选择部的选择结果向摄像机通知;以及图像输入部,输入从由图像发送摄像机选择部选择作为图像发送摄像机的摄像机发送的图像。
本发明的又一方式是包含摄像机控制装置和与摄像机控制装置连接的多个摄像机的拍摄系统的拍摄方法,该拍摄方法包括:图像生成步骤,利用多个摄像机的每一个摄像机,通过拍摄而生成图像;移动体检测步骤,根据由多个摄像机的每一个摄像机在图像生成步骤中生成的图像来检测移动体;位置信息发送步骤,从多个摄像机的每一个摄像机将移动体的位置的信息向摄像机控制装置发送;图像发送摄像机选择步骤,利用摄像机控制装置,基于从多个摄像机的每一个摄像机分别发送的位置信息,选择多个摄像机中的一部分摄像机作为图像发送摄像机;图像发送摄像机通知步骤,将图像发送摄像机选择步骤中的选择结果向摄像机通知;图像发送步骤,从在图像发送摄像机选择步骤中选择的摄像机将包含移动体的图像向摄像机控制装置发送;以及图像输入步骤,利用摄像机控制装置,输入在图像发送步骤中发送的图像。
本发明的又一方式是与多个摄像机连接而控制多个摄像机的摄像机控制装置的摄像机控制方法,该摄像机控制方法包括:图像发送摄像机选择步骤,基于从多个摄像机的每一个摄像机发送的由各摄像机分别检测到的各移动体的位置,选择多个摄像机中的一部分摄像机作为图像发送摄像机;图像发送摄像机通知步骤,将图像发送摄像机选择部的选择结果向摄像机通知;以及图像输入步骤,输入从由图像发送摄像机选择部选择作为图像发送摄像机的摄像机发送的图像。
另外,本发明的又一方式是用于使计算机执行上述的摄像机控制方法的计算机程序。
【发明效果】
本发明为了选择图像发送摄像机,而从多个摄像机发送移动体的位置的信息,各摄像机在被选择作为图像发送摄像机时向摄像机控制装置发送图像,因此能够减少多个摄像机与摄像机控制装置之间的通信的数据量。
正如以下说明那样,在本发明中存在其他的方式。因此,本发明的公开本意是提供本发明的一部分,没有限制在此记述的申请的发明的范围。
附图说明
图1是表示本发明的实施方式中的拍摄系统的结构的框图。
图2是本发明的实施方式中的拍摄系统的结构图。
图3中,图3(a)是说明本发明的实施方式中的从摄像机到人的头部的距离d及垂直摇摄方向的脸相对于摄像机的朝向α的图,图3(b)是说明本发明的实施方式中的水平方向的脸相对于摄像机的朝向β的图。
图4是表示本发明的实施方式中的从摄像机到人的头部的距离d与评价值f1的关系的图。
图5是表示本发明的实施方式中的垂直摇摄方向的脸相对于摄像机的朝向α与评价值f2的关系的图。
图6是表示本发明的实施方式中的水平方向的脸相对于摄像机的朝向β与评价值f3的关系的图。
图7是表示本发明的实施方式的实施例1中的摄像机的配置与人的动作的图。
图8是表示本发明的实施方式的实施例1中的各摄像机A~D的全景图像中的人M的位置及时刻1~5的各个时刻下的各摄像机A~D的评价值f1~f3的图。
图9是在与比较例的比较中用于说明本发明的实施方式的实施例1的图。
图10是表示本发明的实施方式的实施例2的摄像机的配置与人的动作的图。
图11是在与比较例的比较中用于说明本发明的实施方式的实施例2的图。
图12是本发明的实施方式的拍摄方法的流程图。
图13是表示本发明的实施方式中的垂直摇摄方向的脸相对于摄像机的朝向α与评价值f12的关系的图。
图14是表示本发明的实施方式中的水平方向的脸相对于摄像机的朝向γ与评价值f4的关系的图。
图15是表示本发明的实施方式的变形例中的摄像机的配置与人的动作及水平方向的脸的朝向的图。
图16是在与比较例的比较中用于说明本发明的实施方式的变形例的图。
具体实施方式
以下,叙述本发明的详细的说明。以下说明的实施方式只不过是本发明的例子,本发明能够变形为各种方式。因此,以下公开的确定的结构及功能没有限定权利要求的范围。
本发明的实施方式的拍摄系统包括摄像机控制装置和与摄像机控制装置连接的多个摄像机,多个摄像机的每一个摄像机具备通过拍摄而生成图像的图像生成部、根据在图像生成部生成的图像来检测移动体并将移动体的位置的信息向摄像机控制装置发送的移动体检测部、以及在由摄像机控制装置选择时发送包含移动体的图像的图像发送部,摄像机控制装置具备基于从多个摄像机的每一个摄像机分别发送的位置的信息而选择多个摄像机中的一部分摄像机作为图像发送摄像机的图像发送摄像机选择部、将图像发送摄像机选择部的选择结果向摄像机通知的图像发送摄像机通知部、以及输入从由图像发送摄像机选择部选择作为图像发送摄像机的摄像机发送的图像的图像输入部。
通过该结构,为了选择图像发送摄像机,从多个摄像机发送移动体的位置的信息,各摄像机被选择作为图像发送摄像机时,向摄像机控制装置发送图像,因此能够减少多个摄像机与摄像机控制装置之间的通信的数据量。
在上述的拍摄系统中,多个摄像机可以朝下以相互的拍摄范围至少一部分重复的方式设置在拍摄对象场所的高处,图像生成部可以通过使用了鱼眼镜头的拍摄,生成全景图像,图像发送摄像机选择部可以基于利用多个摄像机的每一个摄像机的移动体检测部分别检测到的各移动体的位置,求出与摄像机和移动体的位置关系相关的位置关系评价值、和与移动体相对于摄像机的朝向相关的角度评价值,基于位置关系评价值及角度评价值,进行图像发送摄像机的选择。
通过该结构,不仅考虑移动体相对于摄像机的朝向(移动体是否朝向正面),而且综合性地考虑包括摄像机与移动体的位置关系在内的多个要因来选择图像发送摄像机,因此能够从多个摄像机选择与目标对应的适当的摄像机作为图像发送摄像机。
在上述的拍摄系统中,图像发送部可以发送由图像生成部生成的图像中的包含移动体在内的一部分区域的图像。
通过该结构,能够进一步减少多个摄像机与摄像机控制装置之间的通信的数据量。
在上述的拍摄系统中,摄像机控制装置可以还具备基于由图像输入部输入的图像来进行移动体的识别处理的图像识别部,图像发送摄像机选择部可以选择多个摄像机中的适合于图像识别部的识别处理的摄像机作为图像发送摄像机。
通过该结构,能够利用由多个摄像机拍摄到的图像中的适合于识别处理的图像进行移动体的识别处理,因此能够提高识别精度。
另外,本发明的实施方式的拍摄系统是包含摄像机控制装置和与摄像机控制装置连接的多个摄像机的拍摄系统,多个摄像机的每一个摄像机具备通过拍摄来生成图像的图像生成部、以及将由图像生成部生成的图像向摄像机控制装置发送的图像发送部,摄像机控制装置具备输入从摄像机发送的图像的图像输入部、以及基于由图像输入部输入的图像来进行该图像中的移动体的识别处理的图像识别部,拍摄系统还具备根据由图像生成部生成的图像来检测移动体的检测部、以及基于与移动体相对于摄像机的朝向有关的角度评价值来判断多个摄像机中的哪个摄像机的图像作为图像识别部的识别处理的对象的判断部。
通过该结构,能够对于移动体被以所希望的角度拍摄的图像进行识别处理,移动体的识别精度提高。
另外,在上述的拍摄系统中,判断部可以基于移动体的移动方向来算出角度评价值。
通过该结构,能够将移动体的移动方向设为移动体的朝向。
另外,在上述的拍摄系统中,判断部可以通过对于由图像生成部生成的图像的识别处理来算出角度评价值。
通过该结构,通过对于各摄像机的图像的识别处理,能够判断移动体被以所希望的角度拍摄的图像。
本发明的另一方式是与多个摄像机连接而控制多个摄像机的摄像机控制装置,该摄像机控制装置具备:基于从多个摄像机的每一个摄像机发送的由各摄像机分别检测到的各移动体的位置而选择多个摄像机中的一部分摄像机作为图像发送摄像机的图像发送摄像机选择部;将图像发送摄像机选择部的选择结果向摄像机通知的图像发送摄像机通知部;以及输入从由图像发送摄像机选择部选择作为图像发送摄像机的摄像机发送的图像的图像输入部。
根据该结构,为了选择图像发送摄像机,从多个摄像机发送移动体的位置的信息,各摄像机被选择作为图像发送摄像机时向摄像机控制装置发送图像,因此能够减少多个摄像机与摄像机控制装置之间的通信的数据量。
本发明的又一方式是包含摄像机控制装置和与摄像机控制装置连接的多个摄像机的拍摄系统的拍摄方法,该拍摄方法包括:利用多个摄像机的每一个摄像机,通过拍摄而生成图像的图像生成步骤;根据由多个摄像机的每一个摄像机在图像生成步骤中生成的图像来检测移动体的移动体检测步骤;从多个摄像机的每一个摄像机将移动体的位置的信息向摄像机控制装置发送的位置信息发送步骤;利用摄像机控制装置,基于从多个摄像机的每一个摄像机分别发送的位置信息,选择多个摄像机中的一部分摄像机作为图像发送摄像机的图像发送摄像机选择步骤;将图像发送摄像机选择步骤中的选择结果向摄像机通知的图像发送摄像机通知步骤;从在图像发送摄像机选择步骤中选择的摄像机将包含移动体的图像向摄像机控制装置发送的图像发送步骤;以及利用摄像机控制装置,输入在图像发送步骤中发送的图像的图像输入步骤。
通过该结构,为了选择图像发送摄像机,从多个摄像机发送移动体的位置的信息,在各摄像机被选择作为图像发送摄像机时向摄像机控制装置发送图像,因此能够减少多个摄像机与摄像机控制装置之间的通信的数据量。
本发明的又一方式是与多个摄像机连接而控制多个摄像机的摄像机控制装置的摄像机控制方法,该摄像机控制方法包括:基于从多个摄像机的每一个摄像机发送的、由各摄像机分别检测到的各移动体的位置,选择多个摄像机中的一部分摄像机作为图像发送摄像机的图像发送摄像机选择步骤;将图像发送摄像机选择部的选择结果向摄像机通知的图像发送摄像机通知步骤;以及输入从由图像发送摄像机选择部选择作为图像发送摄像机的摄像机发送的图像的图像输入步骤。
通过该结构,为了选择图像发送摄像机,从多个摄像机发送移动体的位置的信息,在各摄像机被选择作为图像发送摄像机时,向摄像机控制装置发送图像,因此能够减少多个摄像机与摄像机控制装置之间的通信的数据量。
另外,本发明的又一方式是用于使计算机执行上述的摄像机控制方法的计算机程序。
以下,关于用于实施本发明的方式,参照附图进行说明。
图1是表示本发明的实施方式的拍摄系统的结构的框图。图2是本发明的实施方式的拍摄系统的结构图。首先,参照图2,说明本发明的实施方式的拍摄系统的概要。以下,说明应用本发明的拍摄系统作为监视系统的例子,但本发明的拍摄系统并不局限于监视系统。
如图2所示,本实施方式的拍摄系统1将服务器200与多个摄像机100连接而构成。服务器200相当于本发明的摄像机控制装置。多个摄像机100分别在监视对象场所的高处朝下设置。多个摄像机100的拍摄范围相互至少在一部分重复。摄像机100是采用了鱼眼镜头的全景摄像机,水平视角为360度,垂直视角为约180度。
摄像机100在图2中如各摄像机100的下方所示,通过拍摄来生成圆形的全景图像。该全景图像是越朝向圆形的外侧而变形越大的图像。各摄像机100当进行拍摄而生成全景图像时,从全景图像中检测移动体,并将检测到的移动体的全景图像的位置的信息向服务器200发送(步骤S1)。服务器200从各摄像机100取得全景图像中的移动体的位置的信息,选择应发送图像的摄像机(以下,称为“图像发送摄像机”),并将该选择结果向摄像机100通知(步骤S2)。
选择的摄像机100切出全景图像中的包括检测到的移动体的区域(以下,将切出的图像称为“切出图像”),并向服务器200发送(步骤S3)。服务器200对切出图像的变形进行校正,生成平面图像,显示平面图像或使用平面图像而进行图像处理(人物认证)。
接下来,参照图1,详细说明构成本实施方式的拍摄系统1的摄像机100及服务器200的结构。如图2中说明那样,在拍摄系统1中,在服务器200上连接多个摄像机100,但在图1中,代表性地表示其中的1个摄像机100。
摄像机100具备全景图像生成部101、移动体检测部102、切出图像生成部103、及图像发送部104。服务器200具备移动体位置输入部201、全局坐标转换部202、摄像机位置存储部203、移动体位置存储部204、移动体建立对应部205、选择评价值计算部206、及图像发送摄像机选择部207,通过这些结构来选择图像发送摄像机。而且,服务器200具备图像发送摄像机通知部208、图像输入部209、变形校正部210、图像识别部211、及识别结果输出部212。
首先,说明摄像机100的结构。全景图像生成部101具备鱼眼镜头、拍摄元件、信号处理电路等,通过进行拍摄而生成全景图像。全景图像生成部101以规定的帧率进行拍摄而生成全景图像。生成的全景图像向移动体检测部102及切出图像生成部103输出。
移动体检测部102从全景图像生成部101取得全景图像,从其中检测移动体。为此,移动体检测部102当从全景图像生成部101输入全景图像时,将其保存至下一帧为止。因此,在移动体检测部102中保存前一帧的全景图像。移动体检测部102取得前一帧的全景图像与当前帧的全景图像的差量,检测差量成为规定的阈值以上的部位作为移动体。
移动体检测部102当检测移动体时,输出在全景图像中移动体存在的位置的信息。移动体检测部102在检测到多个移动体时,输出多个位置的信息。移动体的在全景图像中的位置可以通过距全景图像的中心的方位θ及距全景图像的中心的距离r来定义,因此移动体的位置的信息包括方位θ及距离r的信息。移动体的位置的信息还包括确定摄像机的信息及确定帧的信息。
切出图像生成部103当从服务器200接受到由图像发送摄像机选择这一内容的通知时,关于该帧,从全景图像切出包含移动体的规定的区域作为切出区域,而生成切出图像。图像发送部104将由切出图像生成部103生成的切出图像向服务器200发送。切出图像生成部103使用移动体检测部102检测到的移动体的位置信息来求出切出区域。需要说明的是,在检测到多个移动体时,服务器200可以指定应切出的位置的信息。
接下来,说明服务器200的结构。移动体位置输入部201输入从摄像机100的移动体检测部102发送的移动体的位置的信息。移动体位置输入部201从与服务器200连接的多个摄像机100的每一个摄像机输入移动体的位置的信息。向移动体位置输入部201输入的移动体的位置的信息向全局坐标转换部202输出。
全局坐标转换部202基于从多个摄像机100发送来的移动体的位置的信息,将移动体的位置转换成全局坐标。为此,在摄像机位置存储部203存储有多个摄像机100的各自的位置的信息。全局坐标转换部202通过将从各摄像机100取得的移动体的位置的信息与存储在摄像机位置存储部203的相应的摄像机100的位置的信息组合,而算出移动体的在全局坐标中的位置。
算出的移动体的在全局坐标中的位置向移动体建立对应部205输出,并存储在移动体位置存储部204中。移动体位置存储部204按每个摄像机且按每帧来存储移动体的在全局坐标中的位置信息。
移动体建立对应部205关于同一帧,将由多个摄像机100的每一个摄像机检测到的移动体的在全局坐标中的位置相互比较,由此判断由多个摄像机100的每一个摄像机检测到的移动体是否为同一移动体。移动体建立对应部205将在全局坐标中处于规定的误差距离内的移动体判断为同一移动体。移动体建立对应部205将同一移动体的全局坐标相互建立关联,而向选择评价值计算部206输出。
例如,4个摄像机100与服务器200连接时,在将从其中的3个摄像机的全景图像检测到的移动体判断为同一移动体,并将从剩余1个摄像机的全景图像检测到的移动体判断为与之不同时,移动体建立对应部205将从该3个摄像机的全景图像检测到的移动体建立关联,向选择评价值计算部206输出。而且,例如,从摄像机100关于每一个全景图像而输入多个移动体的位置的信息时,移动体建立对应部205对于各移动体进行建立对应。
选择评价值计算部206算出用于选择图像发送摄像机的评价值(以下,称为“选择评价值”)。选择评价值y将移动体假定为具有一定的身高的人,并假定沿着其正面方向移动,而算出。选择评价值y基于从摄像机到人的头部的距离d的评价值f1、垂直摇摄方向的脸相对于摄像机的朝向(角度)α的评价值f2、水平方向(水平摇摄方向)的脸相对于摄像机的朝向(角度)β的评价值f3来求出。具体而言,选择评价值y通过下式(1)来求出。
y=f1(d)×f2(α)×f3(β)……(1)
图3(a)是说明从摄像机到人的头部的距离d及垂直摇摄方向的脸相对于摄像机的朝向α的图,图3(b)是说明水平方向的脸相对于摄像机的朝向β的图。如图3(a)所示,设摄像机的设置的位置的高度为hs,人的头部的高度为h0时,h=hs-h0,下式(2)成立。
cosα=d/h……(2)
垂直摇摄方向的脸相对于摄像机的朝向α可以根据从移动体位置存储部204输入的从全景图像的中心到移动体的距离r而求出。即,距离r越大,垂直摇摄方向的脸相对于摄像机的朝向α越大。在选择评价值计算部206中具有规定了距离r与角度α的对应关系的表,通过参照该表,而根据距离r求出角度α。
选择评价值计算部206也可以使用从移动体建立对应部205输入的在全局坐标中的移动体的位置的信息,求出垂直摇摄方向的脸相对于摄像机的朝向α。这种情况下,如图3(a)所示,根据全局坐标中的移动体的位置的信息,求出从摄像机到移动体的水平距离l,垂直摇摄方向的脸相对于摄像机的朝向α可以通过下式(3)求出。
α=arctan(l/h)……(3)
选择评价值计算部206能够使用如上述那样求出的朝向α,由式(2)求出从摄像机到人的头部的距离d。选择评价值计算部206可以具有规定了与朝向α对应的距离d的表,通过参照该表来求出距离d。选择评价值计算部206可以使用全局坐标中的移动体的位置的信息,求出从摄像机到人的头部的距离d。这种情况下,从图3(a)明确可知,通过下式(4),能够求出从摄像机到人的头部的距离d。
d=(l2+h2)1/2……(4)
选择评价值计算部206基于从移动体建立对应部205输出的移动体的全局坐标mt及从移动体位置存储部204读出的前一帧的移动体的全局坐标mt-1,如图3(b)所示,求出从前一帧到当前帧移动体前进的方向。该方向被看作移动体即人的脸的正面方向。选择评价值计算部206求出移动体的移动方向与从移动体朝向摄像机的方向所成的角度β。角度β表示水平方向的脸相对于摄像机的朝向。
选择评价值计算部206当如上述那样求出从摄像机到人的头部的距离d、垂直摇摄方向的脸相对于摄像机的朝向α、及水平方向的脸相对于摄像机的朝向β时,基于这些值而分别求出评价值f1、f2、f3。
图4是表示从摄像机到人的头部的距离d与评价值f1的关系的图。距离d与评价值f1处于距离d越大而评价值f1越下降的关系。这是因为,距离d越大,变形越大,且显现在全景图像上的被拍摄体的大小也越小。在图4的例子中,随着距离d变远而评价值f1线性地减小,但并不局限于此,也可以是随着距离d变远而评价值f1以n次函数或指数函数的方式减小。
图5是表示垂直摇摄方向的脸相对于摄像机的朝向α与评价值f2的关系的图。角度α与评价值f2处于如下的关系:角度α为0度时,评价值f2为零,在从0度到规定的角度(在图5的例子中为30度)之前,角度α越大而评价值f2越大,在更大的角度中,评价值f2成为恒定。
角度α为0度的情况是指作为移动体的人处于摄像机的正下方的状况(参照图3(a)),在该状态下,人的脸未完全显现于全景图像,仅拍摄到人的头顶部。这是因为,摄像机100设置在比作为移动体的人的身高更高的部位。由此,在这样的状况下,评价值f2成为零。当人与摄像机的水平位置增大时,由于人的脸显现在全景图像上,因此评价值f2逐渐增大。
垂直摇摄方向的脸相对于摄像机的朝向α若成为30度左右,则人的脸向全景图像中显现成能够识别人物的程度,因此以此时的评价值f2为上限,相对于这以上的角度α,施加该上限值作为评价值f2。
图6是表示水平方向的脸相对于摄像机的朝向β与评价值f3的关系的图。在角度β为-90度以下或90度以上时,评价值f3为零,随着从-90度接近0度而评价值f3增大,以0度为峰值,从0度到90度而评价值f3减小。
角度β为0度的情况是人的脸相对于摄像机沿着水平方向朝向正面的状态,由此提升评价值f3。角度β为-90度及90度的情况是人的脸正侧面地显现在全景图像上的状态,当角度β成为-90度以下及90度以上时,成为从斜后方或后方拍摄人物的头部的情况。由此,在角度β为-90度以下及90度以上时,评价值f3成为零。需要说明的是,在图6的例子中,在从-90度到90度之间,f3线性地增加及减少,但并不局限于此,也可以以n次函数的方式或以指数函数的方式增加及减少。
选择评价值y通过f1、f2、f3的积来求出。f1、f2、f3的各自的最大值可以为1。此时,选择评价值y的最大值也成为1。而且,能够使f1、f2、f3的各自的最大值为不同的值。通过对某评价值赋予比其他的评价值大的最大值,而能够使该评价值比其他的评价值更加得到重视(加权)。
图像发送摄像机选择部207对于同一移动体,计算各个摄像机的选择评价值y,选择选择评价值y最大的摄像机作为图像发送摄像机。图像发送摄像机选择部207在全景图像中拍摄到多个移动体时,利用移动体建立对应部205对每个确定的移动体来选择图像发送摄像机。
图像发送摄像机选择部207当选择图像发送摄像机时,将其选择结果向图像发送摄像机通知部208输出。图像发送摄像机207对于与服务器200连接的多个摄像机100,发送确定选择的图像发送摄像机的信息。需要说明的是,图像发送摄像机通知部208也可以仅向选择的摄像机100进行要求切出图像的通知。
当按照图像发送摄像机通知部208的通知从摄像机100送来切出图像时,服务器200通过图像输入部209对其进行接收。变形校正部210对切出图像的变形进行校正而生成平面图像。校正了变形后的平面图像成为像由通常的镜头拍摄到的那样的图像。图像识别部211使用该平面图像进行图像识别,识别显现在平面图像上的人物的脸,进行解析,对人物进行认证。图像识别部211可以将登录在未图示的数据库中的人物的脸与识别出的脸进行比对,由此判断显现在切出图像上的人物是否为登录了的人。
认证结果输出部212输出由图像识别部211进行的图像识别的结果。认证结果输出部212可以与警报装置连接。这种情况下,识别结果输出部212在输出识别到的人物的脸不是登录在数据库中的人物的脸这样的识别结果时,警报装置可以工作。需要说明的是,服务器200还可以具备监视器。这种情况下,可以将由变形校正部210生成的平面图像或图像识别的结果显示在监视器上。
以下,说明使用上述的拍摄系统1实际进行了拍摄的实施例。
(实施例1)
图7是表示实施例1的摄像机的配置和人的动作的图。参照图8及图9,说明相对于如图7那样配置的4个摄像机A~D而人M如图7那样移动时的图像发送摄像机的选择。图7~9中的编号1~5表示人M移动时的各时刻的位置。摄像机A~D配置在正方形的角部。
图8是表示实施例1中的各摄像机A~D的全景图像中的人M的位置(最下段)及时刻1~5这各个时刻的各摄像机A~D的评价值f1~f3(第1~5段)的图。在时刻1,摄像机A的评价值y(=f1×f2×f3)变得最大,因此选择摄像机A作为图像发送摄像机。同样地,在时刻2~5,分别选择摄像机B、摄像机B、摄像机D、摄像机D作为图像发送摄像机。
图9是在与比较例的比较中用于说明实施例1的图。在图9中,在图7的例子中,将仅基于从摄像机到人的头部的距离d而选择了图像发送摄像机的情况(比较例1)及仅基于水平方向的脸相对于摄像机的朝向β而选择了图像发送摄像机的情况(比较例2)与图8中说明的实施例1进行比较。
参照图8的第1~5段的左列的f1-d的坐标图时,基于从摄像机到人的头部的距离d的评价值f1最高的是时刻1~5这各个时刻的摄像机A、摄像机A、摄像机A、摄像机B、摄像机D。从图9明确可知,在比较例1中,在时刻2,拍摄到人M的头顶部,未拍摄到脸,因此无法对该人物进行认证。而且,在时刻3,拍摄到人M的背面,未拍摄到脸,因此仍然无法对该人物进行认证。
参照图8的第1~5段的右列的f3-β的坐标图时,基于水平方向的脸相对于摄像机的朝向β的评价值f3最高的是时刻1~5这全部的时刻的摄像机D。然而,在时刻1或时刻2,由于距离远,因此显现在全景图像上的人物的脸极小,即便将其放大也成为非常粗糙的图像,从而无法对该人物进行认证。
相对于此,在实施例1中,在各时刻,能够选择基于脸的图像而能够提供最适合于人物的认证的图像的摄像机。由此,在各时刻,能够进行人物的认证。
(实施例2)
图10是表示实施例2中的摄像机的配置和人的动作的图。参照图11,说明对于如图10那样配置的4个摄像机A~D,人M如图10那样移动时的图像发送摄像机的选择。图10及图11中的编号1~5表示人M移动时的各时刻的位置。摄像机A~D配置在正方形的角部。
参照图11的上段,基于从摄像机到人的头部的距离d的评价值f1最高的是时刻1~5这各个时刻的摄像机B、摄像机A、摄像机A、摄像机B、摄像机C,在各个时刻选择上述各个摄像机作为图像发送摄像机。
从图11明确可知,在比较例3中,在时刻1及时刻4,分别选择摄像机B及摄像机A,但在这些全景图像中拍摄到人M的斜后的姿态,几乎未拍摄到脸,因此无法对该人物进行认证。而且,在时刻2,拍摄到人M的头顶部,未拍摄到脸,因此仍然无法对该人物进行认证。
当参照图11的中段时,基于水平方向的脸相对于摄像机的朝向β的评价值f3最高的是时刻1~5这各个时刻的摄像机A、摄像机C、摄像机C、摄像机C、摄像机C,在各个时刻,选择上述各个摄像机作为图像发送摄像机。在时刻2,选择摄像机C,但由于从摄像机C到人M的距离远,因此显现在全景图像上的人物的脸极小,即使将其放大也成为非常粗糙的图像,无法对该人物进行认证。
相对于此,在实施例1中,能够选择在各时刻基于脸的图像而能够提供最适合于人物的认证的图像的摄像机。由此,在各时刻,能够进行人物的认证。
接着,说明本发明的实施方式的拍摄方法。图12是本发明的实施方式的拍摄方法的流程图。该拍摄方法由上述的拍摄系统1执行。首先,与服务器200连接的多个摄像机100的每一个摄像机利用全景图像取得部101进行拍摄而生成全景图像(步骤S11)。各摄像机在移动体检测部102,根据生成的全景图像而检测移动体(步骤S12)。移动体检测部102将检测到的移动体的全景图像中的位置的信息向服务器200发送(步骤S13)。
在服务器200中,当利用移动体位置输入部201取得从各摄像机100发送的移动体的位置信息时,选择评价值计算部206算出各摄像机的评价值y,基于该评价值y,选择图像发送摄像机(步骤S14)。并且,图像发送摄像机通知部208通知选择为摄像机100的图像发送摄像机(步骤S15)。
作为图像发送摄像机而选择的摄像机100利用切出图像生成部105生成切出图像,从图像发送部104向服务器200发送切出图像(步骤S16)。
服务器200当利用图像输入部209接收切出图像时,利用变形校正部210进行变形校正,生成平面图像(步骤S17)。然后,图像识别部211使用平面图像,进行显现在该平面图像上的人物的认证,通过识别结果输出部212输出识别结果(步骤S18)。需要说明的是,平面图像及识别结果根据需要分别在步骤S17及步骤S18之后显示在监视器上。
如以上那样,根据本实施方式的拍摄系统1,在多个摄像机100与服务器200连接的情况下,服务器200通过基于从摄像机到人的头部的距离d的评价值f1、垂直摇摄方向的脸相对于摄像机的朝向(角度)α的评价值f2、水平方向的脸相对于摄像机的朝向(角度)β的评价值f3而求出的选择评价值y,选择图像发送摄像机,因此能够从拍摄到最适合于人物的认证的图像的摄像机取得切出图像。
另外,不是从各摄像机100将全景图像始终向服务器200发送,不是就连相比全景图像数据量少的切出图像也始终向服务器200发送,而是仅在选择作为图像发送摄像机时发送。从各摄像机100始终向服务器发送的仅是检测到移动体时的移动体的在全景图像中的位置的信息,该位置信息与图像信息相比是数据量非常小的信息。因此,根据本实施方式的拍摄系统1,在与多个摄像机连接的服务器中,在仅采用由一部分摄像机拍摄到的图像的拍摄系统中,能够大幅减少摄像机与服务器之间的通信负荷。
需要说明的是,在上述的实施方式中,图像发送摄像机选择部207为了说明考虑从摄像机到人的头部的距离d、垂直摇摄方向的脸相对于摄像机的朝向(角度)α、水平方向的脸相对于摄像机的朝向(角度)β而选择图像发送摄像机的情况,说明了分别算出与距离d相关的评价值f1、与角度α相关的评价值f2、与角度β相关的评价值f3的例子,但从上述的式(2)及图3(a)明确可知,距离d与角度α(0度~90度)具有一对一的对应关系。即,若距离d及角度α的任一方被决定,则另一方也被决定,若评价值f1及评价值f2的任一方被决定,则另一方也被决定。
因此,在选择评价值y的实际的计算时,可以使用同时反映了距离d和角度α的评价值f12,求出选择评价值y。评价值f12可以以距离d或角度α的任一个为变量而求出。或者,距离d及角度α通过距全景图像中的移动体的中心的距离r而唯一地求出,因此评价值f12也可以以距离r为变量。即,评价值f12可以说是与摄像机和移动体之间的位置关系相关的评价值。在以角度α为变量时,选择评价值y通过下式(5)求出。
y=f12(α)×f3(β)……(5)
图13是表示垂直摇摄方向的脸相对于摄像机的朝向α与评价值f12的关系的图。如图13所示,在α=0中(即,移动体处于摄像机的正下方时),评价值f12为0,随着角度α增加而评价值f12也增加。在角度α成为约30度时,评价值f12成为峰值,当角度α超过30度而增加时,评价值f12缓慢减少。这是因为,当角度α超过30度而增加时,垂直摇摄方向的脸相对于摄像机的角度增大,更容易看见脸,但另一方面,距离变远,因此图像质量劣化,脸的识别变得困难。
另外,在上述的实施方式中,服务器200取得切出图像而进行人物认证,在图像发送摄像机选择部207中的图像发送摄像机的选择中,选择最适合人物认证(尤其是基于脸的图像的认证)的摄像机作为图像发送摄像机。并且,在评价值中,提高脸的正面方向与从人物向摄像机的方向接近的情况的评价值(f2、f3),来选择图像发送摄像机。
然而,根据人物的位置的不同,例如实施例2的时刻5那样,即使选择最适合人物认证的摄像机,有时也仅能得到侧脸的图像。这样的情况下,在图像识别部211,除了正面的脸图像之外还存在侧脸的图像的数据库时,能够使用该侧脸的图像的数据库,进行显现在平面图像上的人物的认证。
为此,图像发送摄像机可以将在图像发送摄像机的选择中使用的评价值的与水平方向的脸的朝向相关的信息(即,角度β)向图像识别部211输出。图像识别部211基于由图像发送摄像机选择部207取得的水平方向的脸的朝向β,不参照正面的脸图像的数据库,而参照侧脸的图像的数据库,由此能够进行人物认证。
另外,在上述的实施方式中,假定为人物的脸朝向移动方向的正面,将人物的移动方向设为该人物的水平方向的脸的朝向而求出评价值f3,但实际上有时人物也边朝向侧方边移动,移动方向有时未必与水平方向的脸的朝向一致。因此,也可以不仅考虑从人物的移动方向推定的水平方向的脸的朝向,而且考虑通过图像识别而识别出的水平方向的脸的朝向。以下,说明这样的变形例。
(变形例)
在该变形例中,向摄像机100追加了脸朝向识别部。脸朝向识别部从全景图像生成部101取得全景图像,并从移动体检测部102取得移动体的位置信息。脸朝向识别部基于移动体的位置信息,在全景图像中的移动体的位置的周边进行脸识别,对水平方向的脸的朝向进行识别。脸朝向识别部例如通过图案匹配(pattern matching)来识别脸的朝向。需要说明的是,此时,脸朝向识别部可以使用过去的数帧的平均值,对脸的朝向进行识别。
由脸朝向识别部识别出的水平方向的脸的朝向γ从摄像机100向服务器200发送,服务器200的选择评价值计算部206将其取得。选择评价值计算部206除了上述的实施方式中的评价值f1~f3之外,还使用基于通过图像识别求出的水平方向的脸的朝向γ的评价值f4来求出选择评价值。具体而言,选择评价值y通过下式(6)求出。
y=f1(d)×f2(α)×f3(β)×f4(γ)……(6)
选择评价值计算部206与上述的实施方式同样地,当求出从摄像机到人的头部的距离d、垂直摇摄方向的脸相对于摄像机的朝向α、及水平方向的脸相对于摄像机的朝向β时,基于这些值而分别求出评价值f1、f2、f3。选择评价值计算部206还基于从摄像机100取得的、水平方向的脸相对于摄像机的朝向γ,求出评价值f4。
图14是表示水平方向的脸相对于摄像机的朝向γ与评价值f4的关系的图。在角度γ为-90度以下或90度以上时,评价值f4为零,随着从-90度接近0度而评价值f4变大,以0度为峰值,从0度到90度而评价值f4减小。即,评价值f4是与评价值f3相同的函数。
在角度γ为0度时,人的脸是相对于摄像机沿着水平方向朝向正面的状态,由此提高评价值f4。在角度γ为-90度及90度时,在全景图像中,人的脸为正侧面地拍摄到的状态,当角度γ成为-90度以下及90度以上时,从斜后方或后方拍摄人物的头部。由此,在角度γ为-90度以下及90度以上时,评价值f4成为零。需要说明的是,在图14的例子中,在从-90度到90度之间,f4线性地增加及减少,但并不局限于此,也可以以n次函数的方式或以指数函数的方式增加及减少。
选择评价值y通过f1、f2、f3、f4的积来求出。f1、f2、f3、f4的各自的最大值可以为1。此时,选择评价值y的最大值也成为1。而且,能够将f1、f2、f3、f4的各自的最大值设为不同的值。对于某评价值赋予比其他的评价值大的最大值,由此能够使该评价值比其他的评价值更受重视(加权)。
图15是表示变形例中的摄像机的配置与人的动作及水平方向的脸的朝向的图。图16是在与比较例的比较中用于说明本发明的实施方式的变形例的图。参照图15及图16,说明相对于如图15那样配置的4个摄像机A~D,人M如图15那样移动时的图像发送摄像机的选择。图15及16中的编号1~5表示人M移动时的各时刻的位置。摄像机A~D配置在正方形的角部。需要说明的是,在图16中,示出上述的实施方式作为本变形例的比较例。
在比较例中,在时刻1,摄像机A的评价值y(=f1×f2×f3)变得最大,因此选择摄像机A作为图像发送摄像机。同样地,在时刻2~5,分别选择摄像机B、摄像机B、摄像机B、摄像机D作为图像发送摄像机。另一方面,在本变形例中,在时刻1,摄像机A的评价值y(=f1×f2×f3×f4)变得最大,因此选择摄像机A作为图像发送摄像机。同样地,在时刻2~5,分别选择摄像机B、摄像机C、摄像机C、摄像机D作为图像发送摄像机。
从图16明确可知,在比较例1中,在时刻3,拍摄到人M的侧脸,脸朝向不是正面,因此难以对该人物进行认证。而且,在时刻4,拍摄到人M的背面,未拍摄到脸,因此仍然无法对该人物进行认证。发生这样的现象是因为,如图15所示,人物的水平方向的脸的方向与其移动方向不同。
相对于此,在本变形例中,在时刻3,关于摄像机,水平方向的脸的朝向γ明显降低,因此摄像机B的评价值f4减小,选择评价值y减小,因此不再选择摄像机B。取而代之,脸更朝向正面方向的摄像机C的评价值f4变大,其结果是,选择摄像机C。
另外,在时刻4,关于摄像机B,拍摄到人M的背面,水平方向的脸的朝向γ成为0,因此摄像机B的评价值f4减小,选择评价值y减小,因此不再选择摄像机B。取而代之,脸更朝向正面方向的摄像机C的评价值f4变大,其结果是,选择摄像机C。
如此,根据本变形例,能够选择即使人物的水平方向的脸的朝向与行进方向不同,在各时刻也能够提供基于脸的图像而最适合于人物的认证的图像的摄像机。由此,在各时刻,能够进行人物的认证。
需要说明的是,在上述的变形例中,摄像机100的脸朝向识别部求出水平方向的脸的朝向的角度γ,并将其向服务器200的选择评价值计算部206提供,利用选择评价值计算部206,求出以γ为变量的评价值f4,但摄像机100的脸朝向识别部也可以求出评价值f4而向服务器200的选择评价值计算部206提供。这种情况下,脸朝向识别部例如可以在从脸检测到双眼(朝向正面)时,设f4=1,从脸仅检测到一只眼(朝向侧面)时,设f4=0.5,从脸未检测到眼(朝向后方)时,设f4=0。
另外,在上述说明的变形例中,也可以不使用从人物的移动方向推定的水平方向的脸的朝向β,而求出选择评价值y。这种情况下,选择评价值y通过下式(7)求出。
y=f1(d)×f2(α)×f4(γ)……(7)
需要说明的是,在上述的实施方式及其变形例中,为了基于脸的图像进行人物的认证,而选择拍摄了具有较多的人物的脸的图像信息的全景图像的摄像机作为图像发送摄像机,但本发明并不局限于这样的实施方式。本发明的拍摄系统也可以选择拍摄了将朝向确定的设定的方向的人物显现的全景图像的摄像机作为图像发送摄像机。例如,在使用作为监视系统而应用的拍摄系统进行犯罪搜查的情况下,在想要确认人物的背面的文字时,可以提高拍摄了拍摄到朝向后方的人物的图像的摄像机的选择评价值。
另外,在上述的实施方式及其变形例中,以选择拍摄了适合于图像识别处理的图像的摄像机作为图像发送摄像机的方式设定了选择评价值,但可以在对服务器中的切出图像的显示布置重点时,或在服务器中不进行图像识别而仅进行显示时,以选择拍摄了最适合于显示的图像的摄像机作为图像发送摄像机的方式设定选择评价值。
而且,在上述的实施方式及其变形例中,从多个摄像机100中仅选择一个图像发送摄像机,但也可以选择两个以上的摄像机作为图像发送摄像机。这种情况下,既可以从多个摄像机中的选择评价值高的摄像机开始依次选择规定数的摄像机,还可以使用多种选择评价值,并按每个选择评价值来选择摄像机。
另外,在上述的实施方式及其变形例中,摄像机100检测移动体,并将其检测到的移动体的全景图像中的位置的信息向服务器200发送,但并不局限于这样的方式。也可以将全局坐标转换部202及摄像机位置存储部203设置在摄像机100侧,在利用摄像机100检测到移动体之后,求出该检测到的移动体的在全局坐标中的位置,并将该位置信息向服务器200发送。
另外,在上述的实施方式及其变形例中,作为图像发送摄像机而选择的摄像机100从全景图像生成切出图像,并将该切出图像向服务器200发送,但也可以是选择的摄像机100将全景图像向服务器200发送,而在服务器200中生成切出图像。
另外,在上述的实施方式及其变形例中,移动体未必局限于不静止而移动的情况,可以将与过去的全景图像之间产生差量的部分作为拍摄了移动体的部分处理。例如,在过去的全景图像中未存在的物体显现在当前的全景图像中(该物体自身静止)的情况下,也可以将该静止物体作为移动体进行检测。
另外,在上述的实施方式及其变形例中,移动体检测部102从全景图像来检测移动体,选择评价值计算部206使用与摄像机和移动体的位置关系相关的位置关系评价值(f1及f2或f12)求出了选择评价值y,但为了求出选择评价值y,也可以不使用与摄像机和移动体的位置关系相关的位置关系评价值(f1及f2及f12),而仅使用水平方向(水平摇摄方向)的脸相对于摄像机的朝向的评价值(f3及/或f4)。
以上说明了当前时间考虑的本发明的优选的实施方式,但对于本实施方式能够进行多种变形,并且,附上的权利要求书包括处于本发明的真实的主旨和范围内的这样的全部的变形。
【工业上的可利用性】
如以上那样,本发明能够减少多个摄像机与摄像机控制装置之间的通信的数据量,作为使用多个摄像机进行拍摄的拍摄系统等有用。
【符号说明】
1拍摄系统
100摄像机
101全景图像生成部
102移动体检测部
103切出图像生成部
104图像发送部
200服务器(摄像机控制装置)
201移动体位置输入部
202全局坐标转换部
203摄像机位置存储部
204移动体位置存储部
205移动体建立对应部
206选择评价值计算部
207图像发送摄像机选择部
208图像发送摄像机通知部
209图像输入部
210变形校正部
211图像识别部
212识别结果输出部

Claims (11)

1.一种拍摄系统,包括摄像机控制装置和与所述摄像机控制装置连接的多个摄像机,其特征在于,
所述多个摄像机的每一个摄像机具备:
图像生成部,通过拍摄而生成图像;
移动体检测部,根据在所述图像生成部生成的图像来检测移动体,并将所述移动体的位置的信息向所述摄像机控制装置发送;以及
图像发送部,在已被所述摄像机控制装置选择时,发送包含所述移动体的图像,
所述摄像机控制装置具备:
图像发送摄像机选择部,基于从所述多个摄像机的每一个摄像机分别发送的所述位置的信息,而选择所述多个摄像机中的一部分摄像机作为图像发送摄像机;
图像发送摄像机通知部,将所述图像发送摄像机选择部的选择结果向所述摄像机通知;以及
图像输入部,输入从由所述图像发送摄像机选择部选择作为图像发送摄像机的摄像机发送的图像。
2.根据权利要求1所述的拍摄系统,其特征在于,
所述多个摄像机朝下以相互的拍摄范围至少在一部分重复的方式设置在拍摄对象场所的高处,
所述图像生成部通过使用了鱼眼镜头的拍摄,生成全景图像,
所述图像发送摄像机选择部基于由所述多个摄像机的每一个摄像机的所述移动体检测部分别检测到的各移动体的位置,求出与摄像机和移动体的位置关系相关的位置关系评价值、和与移动体相对于摄像机的朝向相关的角度评价值,基于所述位置关系评价值及角度评价值,进行所述图像发送摄像机的选择。
3.根据权利要求1或2所述的拍摄系统,其特征在于,
所述图像发送部发送由所述图像生成部生成的图像中的包含所述移动体的一部分区域的图像。
4.根据权利要求1~3中任一项所述的拍摄系统,其特征在于,
所述摄像机控制装置还具备图像识别部,所述图像识别部基于由所述图像输入部输入的图像来进行所述移动体的识别处理,
所述图像发送摄像机选择部选择所述多个摄像机中的适合于所述图像识别部的所述识别处理的摄像机作为所述图像发送摄像机。
5.一种拍摄系统,包含摄像机控制装置和与所述摄像机控制装置连接的多个摄像机,其特征在于,
所述多个摄像机的每一个摄像机具备:
图像生成部,通过拍摄来生成图像;以及
图像发送部,将由所述图像生成部生成的图像向所述摄像机控制装置发送,
所述摄像机控制装置具备:
图像输入部,输入从所述摄像机发送的图像;以及
图像识别部,基于由所述图像输入部输入的图像来进行该图像中的移动体的识别处理,
所述拍摄系统还具备:
检测部,根据由所述图像生成部生成的图像来检测所述移动体;以及
判断部,基于与移动体相对于摄像机的角度相关的角度评价值,来判断所述多个摄像机中的哪个摄像机的图像是所述图像识别部的识别处理的对象。
6.根据权利要求5所述的拍摄系统,其特征在于,
所述判断部基于所述移动体的移动方向来算出所述角度评价值。
7.根据权利要求5或6所述的拍摄系统,其特征在于,
所述判断部通过对于由所述图像生成部生成的图像的识别处理来算出所述角度评价值。
8.一种摄像机控制装置,与多个摄像机连接而控制所述多个摄像机,其特征在于,具备:
图像发送摄像机选择部,基于从所述多个摄像机的每一个摄像机发送的、由各摄像机分别检测到的各移动体的位置,而选择所述多个摄像机中的一部分摄像机作为图像发送摄像机;
图像发送摄像机通知部,将所述图像发送摄像机选择部的选择结果向所述摄像机通知;以及
图像输入部,输入从由所述图像发送摄像机选择部选择作为图像发送摄像机的摄像机发送的图像。
9.一种拍摄方法,是包含摄像机控制装置和与所述摄像机控制装置连接的多个摄像机的拍摄系统的拍摄方法,其特征在于,包括:
图像生成步骤,利用所述多个摄像机的每一个摄像机,通过拍摄而生成图像;
移动体检测步骤,根据由所述多个摄像机的每一个摄像机在所述图像生成步骤中生成的图像来检测移动体;
位置信息发送步骤,从所述多个摄像机的每一个摄像机将所述移动体的位置的信息向所述摄像机控制装置发送;
图像发送摄像机选择步骤,利用所述摄像机控制装置,基于从所述多个摄像机的每一个摄像机分别发送的所述位置信息,选择所述多个摄像机中的一部分摄像机作为图像发送摄像机;
图像发送摄像机通知步骤,将图像发送摄像机选择步骤中的选择结果向所述摄像机通知;
图像发送步骤,从在所述图像发送摄像机选择步骤中选择的摄像机将包含所述移动体的图像向所述摄像机控制装置发送;以及
图像输入步骤,利用所述摄像机控制装置,输入在所述图像发送步骤中发送的所述图像。
10.一种摄像机控制方法,是与多个摄像机连接而控制所述多个摄像机的摄像机控制装置的摄像机控制方法,其特征在于,包括:
图像发送摄像机选择步骤,基于从所述多个摄像机的每一个摄像机发送的、由各摄像机分别检测到的各移动体的位置,选择所述多个摄像机中的一部分摄像机作为图像发送摄像机;
图像发送摄像机通知步骤,将图像发送摄像机选择部的选择结果向所述摄像机通知;以及
图像输入步骤,输入从由所述图像发送摄像机选择部选择作为图像发送摄像机的摄像机发送的图像。
11.一种计算机程序,用于使计算机执行权利要求10所述的摄像机控制方法。
CN201280005160.4A 2011-01-11 2012-01-11 拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法 Active CN103329518B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011002745 2011-01-11
JP2011-002745 2011-01-11
PCT/JP2012/000118 WO2012096166A1 (ja) 2011-01-11 2012-01-11 撮影システム及びそれに用いるカメラ制御装置、撮影方法及びカメラ制御方法、並びにコンピュータプログラム

Publications (2)

Publication Number Publication Date
CN103329518A true CN103329518A (zh) 2013-09-25
CN103329518B CN103329518B (zh) 2016-08-17

Family

ID=46507075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280005160.4A Active CN103329518B (zh) 2011-01-11 2012-01-11 拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法

Country Status (4)

Country Link
US (1) US9560321B2 (zh)
JP (1) JP5942270B2 (zh)
CN (1) CN103329518B (zh)
WO (1) WO2012096166A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104509097A (zh) * 2012-05-30 2015-04-08 株式会社日立制作所 监视摄像机控制装置以及图像监视系统
CN105007434A (zh) * 2015-07-24 2015-10-28 北京紫荆视通科技有限公司 视频数据的处理方法、处理装置和视频矩阵
CN105939497A (zh) * 2015-03-05 2016-09-14 宏达国际电子股份有限公司 媒体串流系统及媒体串流方法
CN108259817A (zh) * 2016-12-28 2018-07-06 南宁富桂精密工业有限公司 图片拍摄系统及方法
CN109040709A (zh) * 2018-09-21 2018-12-18 深圳市九洲电器有限公司 视频监控方法及装置、监控服务器及视频监控系统
CN110418059A (zh) * 2019-07-30 2019-11-05 联想(北京)有限公司 应用于电子设备的图像处理方法、装置、电子设备、介质
CN111083364A (zh) * 2019-12-18 2020-04-28 华为技术有限公司 一种控制方法、电子设备、计算机可读存储介质、芯片
WO2020108290A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 图像生成装置、图像生成方法、程序以及记录介质
CN112019764A (zh) * 2019-05-29 2020-12-01 北京地平线机器人技术研发有限公司 摄像装置和摄像系统
CN112887620A (zh) * 2021-01-28 2021-06-01 维沃移动通信有限公司 视频拍摄方法、装置及电子设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2811736A1 (en) 2012-01-30 2014-12-10 Panasonic Corporation Optimum camera setting device and optimum camera setting method
US9400929B2 (en) 2012-03-05 2016-07-26 Panasonic Intellectual Property Management Co., Ltd. Object detection device and method for detecting an object by performing a raster scan on a scan window
JP2014164216A (ja) * 2013-02-27 2014-09-08 Omron Corp 広角撮像装置
JP6141079B2 (ja) * 2013-04-08 2017-06-07 キヤノン株式会社 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
JP6206804B2 (ja) 2013-09-27 2017-10-04 パナソニックIpマネジメント株式会社 移動体追跡装置、移動体追跡システムおよび移動体追跡方法
JP6440937B2 (ja) * 2013-12-24 2018-12-19 株式会社東芝 情報対応付け装置、その方法及びそのプログラム
US9693023B2 (en) 2014-02-05 2017-06-27 Panasonic Intellectual Property Management Co., Ltd. Monitoring apparatus, monitoring system, and monitoring method
JP6183305B2 (ja) * 2014-07-02 2017-08-23 株式会社デンソー 故障検出装置および故障検出プログラム
US20200404175A1 (en) * 2015-04-14 2020-12-24 ETAK Systems, LLC 360 Degree Camera Apparatus and Monitoring System
US20200396422A1 (en) * 2015-04-14 2020-12-17 ETAK Systems, LLC Monitoring System for a Cell Tower
WO2017038450A1 (ja) 2015-09-02 2017-03-09 日本電気株式会社 監視システム、監視ネットワーク構築方法、およびプログラム
US10931923B2 (en) 2015-09-02 2021-02-23 Nec Corporation Surveillance system, surveillance network construction method, and program
US10977916B2 (en) 2015-09-02 2021-04-13 Nec Corporation Surveillance system, surveillance network construction method, and program
JP6763390B2 (ja) 2015-09-02 2020-09-30 日本電気株式会社 監視システム、監視方法、およびプログラム
JP6514140B2 (ja) * 2016-03-17 2019-05-15 株式会社東芝 撮像支援装置、方法及びプログラム
US11019244B2 (en) * 2016-05-11 2021-05-25 Ubicquia Iq Llc Externally viewable orientation indication apparatus and method for an optical sensor
KR101837893B1 (ko) * 2017-02-24 2018-04-26 영남대학교 산학협력단 센서 기반 이동체 위치 추정 시스템 및 방법
JP6991045B2 (ja) * 2017-11-30 2022-01-12 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
JP7374632B2 (ja) 2019-07-09 2023-11-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7036153B2 (ja) * 2020-06-15 2022-03-15 日本電気株式会社 情報処理システム、情報処理方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204444A (ja) * 2001-10-31 2002-07-19 Toshiba Corp 人物監視システム
JP2005142683A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd カメラ制御装置およびカメラ制御方法
JP2005323046A (ja) * 2004-05-07 2005-11-17 Omron Corp 監視システム、および監視カメラ
US20060066723A1 (en) * 2004-09-14 2006-03-30 Canon Kabushiki Kaisha Mobile tracking system, camera and photographing method
CN101404757A (zh) * 2007-10-04 2009-04-08 三星Techwin株式会社 监视摄像机系统
US20100002071A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Multiple View and Multiple Object Processing in Wide-Angle Video Camera

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4188394B2 (ja) * 2005-09-20 2008-11-26 フジノン株式会社 監視カメラ装置及び監視カメラシステム
JP4547040B1 (ja) 2009-10-27 2010-09-22 パナソニック株式会社 表示画像切替装置及び表示画像切替方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204444A (ja) * 2001-10-31 2002-07-19 Toshiba Corp 人物監視システム
JP2005142683A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd カメラ制御装置およびカメラ制御方法
US20100002071A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Multiple View and Multiple Object Processing in Wide-Angle Video Camera
JP2005323046A (ja) * 2004-05-07 2005-11-17 Omron Corp 監視システム、および監視カメラ
US20060066723A1 (en) * 2004-09-14 2006-03-30 Canon Kabushiki Kaisha Mobile tracking system, camera and photographing method
CN101404757A (zh) * 2007-10-04 2009-04-08 三星Techwin株式会社 监视摄像机系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104509097A (zh) * 2012-05-30 2015-04-08 株式会社日立制作所 监视摄像机控制装置以及图像监视系统
CN105939497A (zh) * 2015-03-05 2016-09-14 宏达国际电子股份有限公司 媒体串流系统及媒体串流方法
CN105939497B (zh) * 2015-03-05 2020-02-21 宏达国际电子股份有限公司 媒体串流系统及媒体串流方法
CN105007434A (zh) * 2015-07-24 2015-10-28 北京紫荆视通科技有限公司 视频数据的处理方法、处理装置和视频矩阵
CN105007434B (zh) * 2015-07-24 2018-06-08 北京紫荆视通科技有限公司 视频数据的处理方法、处理装置和视频矩阵
CN108259817A (zh) * 2016-12-28 2018-07-06 南宁富桂精密工业有限公司 图片拍摄系统及方法
CN109040709A (zh) * 2018-09-21 2018-12-18 深圳市九洲电器有限公司 视频监控方法及装置、监控服务器及视频监控系统
WO2020108290A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 图像生成装置、图像生成方法、程序以及记录介质
CN112019764B (zh) * 2019-05-29 2022-01-14 北京地平线机器人技术研发有限公司 摄像装置和摄像系统
CN112019764A (zh) * 2019-05-29 2020-12-01 北京地平线机器人技术研发有限公司 摄像装置和摄像系统
CN110418059A (zh) * 2019-07-30 2019-11-05 联想(北京)有限公司 应用于电子设备的图像处理方法、装置、电子设备、介质
CN111083364A (zh) * 2019-12-18 2020-04-28 华为技术有限公司 一种控制方法、电子设备、计算机可读存储介质、芯片
WO2021121236A1 (zh) * 2019-12-18 2021-06-24 荣耀终端有限公司 一种控制方法、电子设备、计算机可读存储介质、芯片
CN116320782A (zh) * 2019-12-18 2023-06-23 荣耀终端有限公司 一种控制方法、电子设备、计算机可读存储介质、芯片
CN116320782B (zh) * 2019-12-18 2024-03-26 荣耀终端有限公司 一种控制方法、电子设备、计算机可读存储介质、芯片
CN112887620A (zh) * 2021-01-28 2021-06-01 维沃移动通信有限公司 视频拍摄方法、装置及电子设备

Also Published As

Publication number Publication date
CN103329518B (zh) 2016-08-17
US20130278774A1 (en) 2013-10-24
WO2012096166A1 (ja) 2012-07-19
JPWO2012096166A1 (ja) 2014-06-09
US9560321B2 (en) 2017-01-31
JP5942270B2 (ja) 2016-06-29

Similar Documents

Publication Publication Date Title
CN103329518A (zh) 拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法、以及计算机程序
CN110175518B (zh) 摄像装置的摄像头角度调整方法、装置、设备及系统
CN105744138B (zh) 快速对焦方法和电子设备
WO2021128747A1 (zh) 监控方法、装置、系统、电子设备及存储介质
CN104185981A (zh) 从连拍图像中选择图像的方法和终端
CN109756723B (zh) 获取影像的方法和装置,存储介质和电子设备
CN103248822A (zh) 摄像终端的对焦方法及摄像终端
CN106534662A (zh) 信息处理装置、信息处理装置的控制方法和存储了信息处理程序的非暂时存储介质
TW201541141A (zh) 使用多鏡頭的自動對焦系統及其方法
EP3726424A1 (en) Determination of audience attention
JPWO2017056757A1 (ja) 撮像装置および撮像方法
CN111757084A (zh) 一种立体图像的采集方法、采集装置及可读存储介质
JPWO2016088368A1 (ja) 方向制御装置、方向制御方法および方向制御プログラム
JP2009004873A (ja) カメラ制御システム及び方法、並びにプログラム及び記憶媒体
CN114841862A (zh) 一种基于亿像素阵列式相机的图像拼接方法及系统
JP2018201146A (ja) 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム
US11166005B2 (en) Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters
CN114374903B (zh) 拾音方法和拾音装置
CN113191197B (zh) 一种图像还原方法及装置
CN107925724B (zh) 在具有相机的设备中支持摄影的技术及其设备
KR101845612B1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
US20230142865A1 (en) Panorama Generation with Mobile Camera
WO2018235256A1 (ja) ステレオ計測装置及びシステム
US9076215B2 (en) Arithmetic processing device
CN113673503B (zh) 一种图像检测的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant