CN112887662A - 摄像装置、信息处理装置及方法、操作方法及存储介质 - Google Patents

摄像装置、信息处理装置及方法、操作方法及存储介质 Download PDF

Info

Publication number
CN112887662A
CN112887662A CN202011329007.XA CN202011329007A CN112887662A CN 112887662 A CN112887662 A CN 112887662A CN 202011329007 A CN202011329007 A CN 202011329007A CN 112887662 A CN112887662 A CN 112887662A
Authority
CN
China
Prior art keywords
image capturing
sections
image
information
capturing sections
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011329007.XA
Other languages
English (en)
Inventor
坂井刊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020130776A external-priority patent/JP2021093713A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112887662A publication Critical patent/CN112887662A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种摄像装置、信息处理装置及方法、操作方法及存储介质。提供了一种包含多个摄像部的摄像装置。获取单元从信息处理装置获取从多个摄像部中指定两个或更多个摄像部的识别信息。确定单元基于各自包含关于来自与所述两个或更多个摄像部相对应的各个摄像部的拍摄图像的设置信息的配置文件信息,确定在集中分发来自所述两个或更多个摄像部的拍摄图像时的与拍摄图像有关的设置信息。生成单元生成包含所确定的所述设置信息的虚拟配置文件。发送单元将与所述虚拟配置文件有关的信息发送到所述信息处理装置。

Description

摄像装置、信息处理装置及方法、操作方法及存储介质
技术领域
本发明涉及一种摄像装置、信息处理装置、操作方法、信息处理方法及存储介质。
背景技术
近年来,出于在全方向拍摄图像的目的,多眼相机已经成为监视相机的流行。在多眼相机中,来自多个摄像部的视频被合成并被分发。例如,已经使用了开放网络视频接口论坛(以下称为ONVIF),该论坛是关于网络相机和客户端之间的连接的通用标准。在ONVIF中,将包括观看模式和可由传感器输出的分辨率的视频源设置、包括编码模式和图像编码的分辨率的视频编码器设置等定义为监视相机的设置(配置)。该配置被映射到在控制监视相机时指定的配置文件(profile)上,并且监视相机根据映射到配置文件上的配置的内容执行视频的分发、控制等。
作为"ONVIF Specification Map".ONVIF Doc Map.html,被称为CreateMultitrackConfiguration的命令已在ONVIF中进行了标准化,该命令是用于合成配置文件信息的命令。CreateMultitrackConfiguration命令是用于通过用户选择多个配置文件来创建虚拟配置文件信息(虚拟配置文件)的命令。
日本专利公开第2001-320616号公开了这样一种技术:当同时拍摄视频并且合成并显示由此获得的多个视频时,改变设置,从而使得可以显示具有均匀图像质量的合成视频。
发明内容
根据本发明的一方面,提供了一种包含多个摄像部的摄像装置,包括:获取单元,用于从信息处理装置获取从多个摄像部中指定两个或更多个摄像部的识别信息;确定单元,用于基于各自包含关于来自与所述两个或更多个摄像部相对应的各个摄像部的拍摄图像的设置信息的配置文件信息,确定在集中分发来自所述两个或更多个摄像部的拍摄图像时的与拍摄图像有关的设置信息;生成单元,用于生成包含所述确定单元确定的所述设置信息的虚拟配置文件;以及发送单元,用于将与所述虚拟配置文件有关的信息发送到所述信息处理装置。
根据本发明的一方面,提供了一种信息处理装置,包括:发送单元,用于发送从包含在摄像装置中的多个摄像部中指定两个或更多个摄像部的识别信息;以及接收单元,用于接收关于包含与在集中分发来自所述两个或更多个摄像部的拍摄图像时的拍摄图像有关的设置信息的虚拟配置文件的信息,所述设置信息是基于各自包含与来自对应于所述两个或更多个摄像部的各个摄像部的拍摄图像有关的设置信息的配置文件信息来确定的。
根据本发明的一方面,提供了一种包含多个摄像部的摄像装置的操作方法,包括:从信息处理装置获取从多个摄像部中指定两个或更多个摄像部的识别信息;基于各自包含关于来自与所述两个或更多个摄像部相对应的各个摄像部的拍摄图像的设置信息的配置文件信息,确定集中分发来自所述两个或更多个摄像部的拍摄图像时的与拍摄图像有关的设置信息;生成包含所确定的设置信息的虚拟配置文件;以及将与所述虚拟配置文件有关的信息发送到所述信息处理装置。
根据本发明的一方面,提供了一种信息处理方法,包括:发送从包含在摄像装置中的多个摄像部中指定两个或更多个摄像部的识别信息;以及接收关于包含与在集中分发来自所述两个或更多个摄像部的拍摄图像时的拍摄图像有关的设置信息的虚拟配置文件的信息,所述设置信息是基于各自包含与来自对应于所述两个或更多个摄像部的各个摄像部的拍摄图像有关的设置信息的配置文件信息来确定的。
根据本发明的一方面,提供了一种包括多个摄像部的摄像装置,包括:确定单元,用于基于从多个摄像部中对两个或更多个摄像部的指定,来确定在集中分发来自所述两个或更多个摄像部的拍摄图像时的图像的合成方法,其中,根据所述两个或更多个摄像部的布置来确定合成方法。
根据本发明的一方面,提供了一种包含多个摄像部的摄像装置,包括:第一确定单元,用于基于从多个摄像部中对两个或更多个摄像部的指定,来确定在集中分发来自所述两个或更多个摄像部的拍摄图像时的图像的合成方法;以及第二确定单元,用于在来自所述两个或更多个摄像部的图像的集体分发之后,当指定的摄像部已经移动时,确定摄像装置的操作方法。
根据以下(参照附图)对示例性实施例的详细描述,本发明的其他特征将变得清楚。
附图说明
图1是示出根据第一实施例的包括摄像装置的网络配置的示例的图;
图2是示出根据第一实施例的摄像装置的功能布置的示例的框图;
图3是示出根据第一实施例的信息处理装置的功能布置的示例的框图;
图4是示出根据第一实施例的ONVIF命令操作的序列的示例的序列图;
图5是示出根据第一实施例的操作方法中的处理示例的流程图;
图6A至图6C是用于说明根据第一实施例的ViewMode确定方法的图;
图7是示出根据第二实施例的操作方法中的处理示例的流程图;
图8A和图8B是用于说明根据第二实施例的ViewMode确定方法的图;
图9A至图9C是各自示出根据第三实施例的命令操作的序列的示例的序列图。
具体实施方式
在“ONVIF Specification Map”.ONVIF Doc Map.html中,仅确定在ONVIF标准中收到CreateMultitrackConfiguration命令时,返回虚拟配置文件。也就是说,没有明确定义虚拟配置文件的内容。此外,由于没有用于获得虚拟配置文件的信息的单元,因此存在用户在分发合成视频之前不能检查内容的问题。
此外,在日本专利公开第2001-320616号中,改变设置值以显示均匀的合成视频,但是要合成的视频的参数未被组合在一起。
本发明的实施例可以获得合成图像的信息,其中来自多个摄像部的图像被集体分发。
在下文中,将参考附图详细描述实施例。注意,以下实施例并非旨在限制要求保护的发明的范围。在实施例中描述了多个特征,但是并不限制为要求所有这样的特征的发明,可以适当地组合多个这样的特征。此外,在附图中,相同的附图标记被赋予相同或相似的配置,并且省略对其重复描述。
[第一实施方式]
根据本实施例的摄像装置从信息处理装置获得指定包含在摄像装置中的多个摄像部中的两个或更多个摄像部的识别信息。然后,基于指示这两个或更多个摄像部的配置的配置文件信息,创建指示在集体分发所拍摄图像时的设置信息的虚拟配置文件信息。此外,将指定所创建的虚拟配置文件信息的识别信息发送到信息处理装置。对于如上所述的处理,根据本实施例的摄像装置和信息处理装置具有例如稍后将分别描述的图1和图2所示的功能布置。根据本实施例的摄像装置使用在ONVIF中标准化的命令来执行以下操作。
在该示例中,配置(Configuration)是指如上所述的监视相机的设置。该配置包括关于摄像部拍摄的图像的设置信息。该配置可以包括指示监视相机拍摄的图像的质量的信息。在ONVIF中,将包括观看模式和可由传感器输出的分辨率的视频源设置、包括编码模式和图像编码的分辨率的视频编码器设置等定义为配置。这里,观看模式指示显示图像的方法(例如,关于由多个拍摄图像构成的合成图像,构成图像是被单独布置还是被合成)。根据本实施例的摄像装置根据来自信息处理装置的指令而获得监视相机中包含的摄像部的配置。监视相机可以根据映射到由信息处理装置指定的配置文件上的配置的内容来执行视频的分发、控制等。
如上所述,CreateMultitrackConfiguration命令是用于通过合成信息处理装置选择的多条配置文件信息来创建虚拟配置文件信息(配置文件)的命令。虚拟配置文件信息指示所选择的配置文件信息和在从与这些配置文件信息相对应的摄像部集体分发所拍摄的图像时的显示方法,或者包括将要集体分发的图像的质量信息的设置信息,稍后将对其进行详细描述。作为用于集体分发图像的显示方法,例如,可以指示布置拍摄的图像或合成它们的方法。根据这样的命令,可以集体分发用于分发多个拍摄图像的会话。在下文中,为简单起见,将如上所述的为了集体分发而布置或合成多个拍摄图像的图像称为合成图像。
图1示出了根据本实施例包括作为摄像装置的照相机1000的网络配置图的示例。照相机1000和作为客户端装置的信息处理装置2000经由网络3000彼此连接,使得它们可以彼此通信。信息处理装置2000发送相应的控制命令,例如用于请求照相机1000进行配置文件合成的命令。照相机1000将对命令的响应发送到信息处理装置2000。
图2是示出根据本实施例的摄像装置的功能布置的示例的框图。控制单元1001控制整个摄像装置。控制单元1001由例如CPU构成。存储单元1002用作各种数据的存储区域。存储单元1002可以存储例如主要由控制单元1001执行的程序、诸如稍后将描述的拍摄图像的观看模式(ViewMode)和编码器(Encoding)等的设置值以及诸如由稍后描述的摄像单元1004生成的图像数据等的数据。在执行程序期间,存储单元1002还可以用作工作区。当连接照相机1000和信息处理装置2000时,使用通信单元1003。通信单元1003可以用来经由网络3000从信息处理装置2000接收用于请求改变或控制各个设置值的命令。通信单元1003还可以用于将来自照相机1000的针对各个命令的响应以及诸如存储在存储单元1002中的图像数据等的各种数据发送至信息处理装置2000。摄像单元1004获得通过稍后描述的摄像部1005拍摄被摄体的图像所获得的模拟信号。摄像单元1004将获得的模拟信号转换为数字数据,并将其作为拍摄图像输出到存储单元1002。一个照相机1000中设置两个或更多个摄像部1005。摄像部1005由包括透镜和图像传感器的摄像光学系统和控制摄像方向或视角的摇摄、俯仰或变焦部构成。摄像部1005还可以获得由顺次拍摄的图像构成的视频。
上面已经利用图2描述了照相机1000的内部布置,但是上述布置描述了根据该实施例的摄像装置的布置的示例,本发明并不限于此。在本发明的宗旨和范围内,可以对根据该实施例的摄像装置进行各种改变和变型,例如提供图像分析单元、语音输入单元或语音输出单元。
图3是示出信息处理装置2000的内部布置的示例的框图。控制单元2001由例如CPU形成,并且控制整个信息处理装置2000。存储单元2002用作例如主要由控制单元2001执行的程序以及诸如当前在网络3000上的可连接照相机的信息等的各种数据的存储区域。存储单元2002还可以用作执行程序期间的工作区域。显示单元2003由例如LCD等构成,并且向信息处理装置2000的用户显示各种设置画面、数据获得/显示画面、各种消息等。输入单元2004由例如按钮、触摸面板、鼠标等构成,并将用户的操作内容传送到控制单元2001。例如,当经由网络3000将诸如配置文件合成请求等命令发送到照相机1000时、或者当从照相机1000接收到针对各个改变命令的响应时,使用通信单元2005。
上面已经使用图3描述了信息处理装置2000的内部布置,但是上述布置描述了根据本实施例的信息处理装置的布置的示例,本发明并不限于此。根据本实施例的信息处理装置可以具有包括例如接收图像显示单元、图像分析处理单元或图像存储单元的布置,并且可以在本发明的宗旨和范围内进行各种改变和变型。
接下来,将参考图4的序列图来描述使用ONVIF命令的配置文件合成(步骤S4001和S4002)和配置文件信息获取处理(步骤S4003)的示例。
在步骤S4001中,信息处理装置2000向照相机发送CreateMultitrackConfiguration命令(合成请求命令)。在步骤S4002中,照相机1000根据CreateMultitrackConfiguration命令创建如上所述的虚拟配置文件。当接收到CreateMultitrackConfiguration命令时,照相机1000同时从信息处理装置2000获取指定摄像部1005中的两个或更多个摄像部的识别信息。在下面的描述中,信息处理装置2000向CreateMultitrackConfiguration命令添加被称为profileToken的、指定摄像部1005的配置文件的标识符。尽管稍后将参照图5描述细节,但是照相机1000可以通过基于与所获得的标识符相对应的摄像部1005的配置文件信息合成所选择的配置文件信息,来创建指示上述设定信息的虚拟配置文件。此外,在步骤S4002中,当接收到CreateMultitrackConfiguration命令时,照相机1000确定设置值以响应信息处理装置2000。响应于CreateMultitrackConfiguration命令,根据本实施例的照相机1000可以将关于虚拟配置文件的信息返回到信息处理装置2000。更具体地,照相机1000可以响应于CreateMultitrackConfiguration命令而将指定如上所述创建的虚拟配置文件的标识符返回到信息处理装置2000。
在步骤S4003中,信息处理装置2000将GetProfiles命令发送到照相机。GetProfiles命令是在ONVIF中标准化、并指定标识符以从照相机1000中获得与该标识符相对应的配置文件中包括的配置的命令。信息处理装置2000可以经由通信单元1003将GetProfiles命令发送到照相机1000,该GetProfiles命令指定指明了步骤S4002中创建的虚拟配置文件的标识符。当接收到指定指明了虚拟配置文件的标识符的GetProfiles命令时,照相机1000将虚拟配置文件中包括的设置信息发送给信息处理装置2000。
上面已经使用图4描述了基于ONVIF命令的配置文件合成和配置文件信息获取处理的示例,但是上述处理描述了根据本实施例的处理的示例,本发明不特别限于此。
接下来,将参考图5的流程图和图6A至图6C的配置文件选择图像图,详细描述根据本实施例的使用ONVIF命令确定虚拟配置文件的设置信息的内部处理。在步骤S5001中,照相机1000从信息处理装置2000接收CreateMultitrackConfiguration命令。如上文所描述的,CreateMultitrackConfiguration命令是用于通过用户选择多个配置文件来创建上述虚拟配置文件信息的命令。
在步骤S5002中,照相机1000读出与添加到步骤S5001中所接收的命令的标识符相对应的配置文件中包括的VideoSource和VideoEncoder。VideoSource包括指示照相机信息的SourceToken参数,VideoEncoder包括指示编码器信息的Encoding参数。照相机1000读出存储在存储单元1002中的VideoSource和VideoEncoder,以将它们用于稍后描述的步骤S5003和S5005中执行的合成图像的观看模式设置以及步骤S5008中执行的编码器设置中。照相机信息可以是例如指示摄像单元的布置(位置关系)的信息。编码器信息可以是来自摄像单元的拍摄图像的质量信息,即,压缩率或其编码方法。
在步骤S5003至S5007中,照相机1000设置在分发合成图像时集体显示拍摄图像的方法,作为合成图像的设置信息。在步骤S5003中,照相机1000可以根据与在步骤S5002中读出的多个SourceToken参数相对应的摄像部的组合(例如,根据摄像部的布置)来确定合成图像的观看模式。如上所述,观看模式指示图像的显示方法。作为合成图像的观看模式,可以使用单独显示多个拍摄图像的分割显示或合成并显示多个拍摄图像的合成显示。在该实施例中,如果与所选择的SourceToken参数相对应的摄像部在摄像装置上彼此不相邻,例如图6A中选择的摄像部1、4和7,则处理进入步骤S5004。即,如果存在其摄像范围不包括与任何其他摄像部的摄像范围重叠的区域的摄像部,则处理进入步骤S5004。另一方面,如果与所选择的SourceToken参数相对应的所有摄像部彼此相邻(即,如果任何摄像部的摄像范围的至少一部分与任何其他摄像部的摄像范围重叠),则处理进入步骤S5005。在步骤S5004中,照相机1000将ViewMode设置为quad,即,选择分割显示作为观看模式,并使处理进入步骤S5008。
如果选择合成显示作为观看模式,则在步骤S5005至S5007中确定合成图像的视角。在步骤S5005中,照相机1000基于与步骤S5002中读出的SourceToken参数相对应的摄像部的组合(例如,根据通过组合摄像部的视角所获得的视角),来确定合成图像的观看模式。在该实施例中,如果通过组合与所选择的SourceToken参数相对应的摄像部的视角而获得的视角等于或小于180°,如选择的摄像部是图6B中所选的摄像部1至3的情况那样,处理进入步骤S5006。如果通过组合与所选择的SourceToken参数相对应的摄像部的视角而获得的视角大于180°,如选择的摄像部是图6C中所选的摄像部1至6的情况那样,处理进入步骤S5007。照相机1000分别在步骤S5006和S5007中将ViewMode设置为180°全景和360°全景,并使处理进入步骤S5008。
可以根据步骤S5003至S5007中设置的ViewMode,使用拍摄图像显示方法将合成图像分发到显示单元2003。如果ViewMode是quad,则显示单元2003可以显示来自所选摄像部的拍摄图像,同时将它们布置在单独的帧中(例如,在分成四个的画面上)。如果ViewMode是180°全景或360°全景,则可以通过合成来自所选摄像部的拍摄图像来分发具有180°或360°视角的全景图像。这里,全景图像是通过合成多个图像而获得的图像。
在步骤S5008中,照相机1000使用步骤S5002中读出的Encoding参数来确定分发合成图像时的合成图像的质量信息,作为合成图像的设置信息。在该示例中,确定虚拟配置文件中包括的编码器信息。照相机1000中的存储单元1002存储指示合成图像的编码器设置优先级的表。基于存储在存储单元中的上述表,照相机1000从所选择的配置文件中包括的Encoding参数指示的编码器信息中确定具有高设置优先级的编码器,作为虚拟配置文件的编码器信息。在此处引用的表中,可以按照高图像压缩率的顺序或低图像压缩率的顺序将优先级设置为高。可以按照不特别限制的顺序设置优先级。然后,处理进入步骤S5009,照相机1000将包括所设置的ViewMode和Encoding参数的虚拟配置文件的标识符发送到信息处理装置2000。
上面已经参考图5描述了根据本实施例的使用ONVIF命令的配置确定方法,但是图5的流程图描述了根据本实施例的摄像装置的内部处理的示例,并且本发明不特别限于此。例如,照相机1000可以根据所选择的配置文件的数量来改变ViewMode,或者可以考虑编码器的数量的控制来确定虚拟配置文件的编码器信息。可以在本发明的范围内对本实施例中的配置确定方法进行各种改变和变型。
如上文所述,根据第一实施例的摄像装置从信息处理装置接收CreateMultitrackConfiguration命令。然后,基于与添加到接收到的命令的标识符相对应的照相机信息,确定合成图像中的拍摄图像的显示方法。此外,基于与添加到接收到的命令的标识符相对应的编码器信息和指示编码器设置优先级的表,确定合成图像的编码器。
根据这种布置,当合成多个配置文件时,可以创建虚拟配置文件,该虚拟配置文件自动具有与现有配置文件的配置类似的配置作为设置信息。因此,可以使用现有的配置文件信息获取命令(GetProfiles命令)检查虚拟配置文件的内容。
[第二实施方式]
下面参照图1至图3和图7描述根据本发明第二实施例的摄像装置。注意,由于图1所示的网络配置、图2所示的摄像装置的内部布置和图3所示的信息处理装置的内部布置与第一实施例中相似,因此将省略其重复描述。
将参考图7的流程图和图6A至6C、8A和8B的图像图描述根据本发明的第二实施例的使用ONVIF命令的配置文件合成单元的细节。除了增加步骤S7001至S7003之外,图7中的处理与图5中的处理相似,将省略对其重复描述。
在步骤S5001之后执行的步骤S7001中,照相机1000检查是否在CreateMultitrackConfiguration命令中选择了配置文件。即,检查指定摄像部1005的配置文件的标识符是否被添加到CreateMultitrackConfiguration命令。如果没有选择配置文件,则处理进入步骤S7002;否则,处理进入步骤S7002;否则,处理进入步骤S5002。
在步骤S7002中,照相机1000将ViewMode确定为预定设置(例如360°全景),并使处理进入步骤S5008。另外,如果在步骤S7001中确认没有选择配置文件,则相机1000可以使用预定的设置信息作为要在步骤S5008中确定的虚拟配置文件的编码器信息。
在步骤S5004之后执行的步骤S7003中,照相机基于在步骤S5002中读出的配置文件的选择顺序来确定拍摄图像在合成图像中的布置顺序。这里,配置文件的选择顺序可以是例如将标识符添加到CreateMultitrackConfiguration命令的顺序。例如,在如图8A所示,配置文件1、4和7以此顺序被选择的情况下,照相机1000以该选择顺序布置来自与各配置文件相对应的摄像部1、4和7的拍摄图像。另一方面,即使当选择相同的配置文件时,如果如图8B所示,配置文件7、4和1以此顺序被选择,那么照相机1000也以该选择顺序布置来自与各配置文件相对应的摄像部7、4和1的拍摄图像。
上面已经参考图7描述了根据本实施例的配置文件合成的内部处理,但是图7的流程图描述了根据本实施例的摄像装置的内部处理的示例,本发明并不特别限于此。可以在本发明的范围内进行各种改变和变型,例如,照相机1000考虑到配置文件的选择顺序而改变ViewMode的情况。
如上所述,根据第二实施例的摄像装置从信息处理装置接收CreateMultitrackConfiguration命令(合成请求命令)。然后,基于与添加到所接收的命令中的标识符相对应的照相机信息,确定合成图像中的拍摄图像的显示方法。此外,基于与添加到所接收的命令中的标识符相对应的编码器信息和指示编码器设置优先级的表,确定合成图像的编码器。与第一实施例的不同之处在于,在确定ViewMode时检查是否存在配置文件选择,并且可以根据配置文件的选择顺序来改变所拍摄图像的布置顺序。因此,即使未选择任何配置文件,也可以自动设置ViewMode,或者可以按照与配置文件的选择顺序相对应的顺序显示视频。
[第三实施方式]
根据第一或第二实施例的摄像装置根据所选择的照相机视角来确定ViewMode。但是,如果在确定配置后移动了摄像单元,则要拍摄的图像可能会更改,并且摄像情况可能变得不适用于所创建的虚拟配置文件。如果在创建虚拟配置文件之后输入了移动摄像部1005的指令,则根据本实施例的摄像装置根据稍后描述的操作优先级来确定由照相机1000执行的处理。
下面将参照图1至3、图5和图9来描述根据本发明第三实施例的摄像装置。注意,由于图1所示的网络配置、图2所示的摄像装置的内部布置以及图3所示的信息处理装置的内部布置与第一实施例中的基本相似,因此将省略其重复描述。在根据本实施例的照相机1000中,每个摄像部1005都可以移动。摄像部1005可以电动或手动移动。在下面的描述中,照相机1000是电动多眼照相机,每个摄像部1005都可以被电动移动。
根据本实施例的摄像装置基本上执行类似于第一实施例的图5所示的处理。接下来,将参照图9A至图9C描述使用ONVIF命令的配置文件合成(步骤S4001和S4002)以及与摄像部的移动有关的处理(步骤S9001至S9006)的示例。与步骤S4001和S4002有关的处理与第一实施例中的处理类似,将省略其重复描述。当向照相机1000输入移动请求命令时,执行图9A至9C中的各个所示的处理。移动请求命令是当请求摄像部1005的移动时输入的命令,并且照相机1000可以根据该命令而改变指定摄像部1005的位置或姿势。
在本实施例中,存储单元1002存储指示由照相机1000接收到移动请求命令时的操作优先级的表。照相机1000参考指示操作优先级的表来确定针对移动请求命令的处理,并执行后续处理。根据本实施例的照相机1000基于指示操作优先级的表确定执行稍后将描述的图9A至9C的任一个中描述的处理。下面将参照图9A至9C,描述根据指示操作优先级的表所确定的处理。注意,相同的附图标记表示图9A至9C中共同的处理。
在步骤S4002之后的步骤S9001中,信息处理装置2000将摄像部1005的移动请求命令发送到照相机1000。当接收到移动请求命令时,照相机1000从信息处理装置2000中获得指明摄像部1005中由移动请求命令指定的摄像部1005的识别信息。到目前为止的处理在图9A至9C中都是通用的。
在图9A所示的处理中,照相机1000移动由移动请求命令指定的摄像部1005,然后重新确定包括被移动的摄像部1005的ViewMode的设置。在步骤S9002中,照相机1000移动由移动请求命令指定的摄像部1005。在步骤S9003中,照相机1000创建包括由步骤S4002中获得的识别信息指定的所有摄像部的配置文件的虚拟配置文件,并将其设置为新的虚拟配置文件。在步骤S9004中,照相机1000将虚拟配置文件的改变通知给信息处理装置2000,并终止处理。如在第一实施例中的图5的步骤S5002至S5008中那样创建虚拟配置文件。根据图9A所示的处理,由于新创建了根据移动的摄像部1005的配置文件的虚拟配置文件,因此可以修正由于摄像部的移动引起的合成图像的对准不良。
在图9B所示的处理中,照相机1000移动由移动请求命令指定的摄像部1005,然后,在排除被移动的摄像部1005的同时重新确定ViewMode的设置。在步骤S9002之后执行步骤S9005。在步骤S9005中,在从与步骤S4002中获得的识别信息相对应的摄像部中排除由移动请求命令指定的摄像部的配置文件的同时,照相机1000通过合成所有配置文件来创建虚拟配置文件。在步骤S9005之后执行步骤S9004中的处理,然后终止处理。根据图9B所示的处理,即使当假定由于摄像部的移动而使拍摄的图像变得不适于合成(例如,在其中显示壁)时,也可以在排除不合适的拍摄图像的同时,基于重新创建的虚拟配置文件来分发合成图像。
在图9C所示的处理中,如果由移动请求命令指定的摄像部是在步骤S4002中获得的识别信息指定的两个或更多个摄像部中的任何一个,则不执行该命令请求的摄像部的移动。即,在步骤S9001之后的步骤S9006中,照相机1000拒绝命令所请求的摄像部的移动,并终止处理。根据图9C所示的处理,如果向拍摄构成合成图像的图像的摄像部发出移动请求命令,则可以拒绝该命令以保持合成图像的平衡。注意,用于移动请求命令的处理不限于图9A至9C所示的处理,可以执行用户期望的不同处理。
根据如上所述的处理,如果接收到虚拟配置文件中包含的摄像部的移动请求,则可以基于操作优先级表确定处理,并更新虚拟配置文件或拒绝摄像部的移动请求。因此,即使发送了移动请求命令,也可以根据摄像部的移动所假定的情况来获得具有期望的设置的合成图像。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明,但是应当理解,本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释,以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (22)

1.一种包含多个摄像部的摄像装置,包括:
获取单元,用于从信息处理装置获取从多个摄像部中指定两个或更多个摄像部的识别信息;
确定单元,用于基于各自包含关于来自与所述两个或更多个摄像部相对应的各个摄像部的拍摄图像的设置信息的配置文件信息,确定在集中分发来自所述两个或更多个摄像部的拍摄图像时的与拍摄图像有关的设置信息;
生成单元,用于生成包含所述确定单元确定的所述设置信息的虚拟配置文件;以及
发送单元,用于将与所述虚拟配置文件有关的信息发送到所述信息处理装置。
2.根据权利要求1所述的装置,其中,所确定的设置信息包含在集中分发来自所述两个或更多个摄像部的拍摄图像时所分发的图像的质量信息。
3.根据权利要求2所述的装置,其中,所述质量信息包含在集中分发来自所述两个或更多个摄像部的拍摄图像时所分发的图像的编码方法。
4.根据权利要求3所述的装置,其中,所述确定单元还用于:基于所指定的两个或更多个摄像部的组合,确定在集中分发来自所述两个或更多个摄像部的拍摄图像时所分发的图像的编码方法。
5.根据权利要求3或4所述的装置,其中,所述确定单元还用于:根据来自包含在关于来自各个摄像部的拍摄图像的设置信息中的摄像部的拍摄图像的编码方法,确定在集中分发来自所述两个或更多个摄像部的拍摄图像时所分发的图像的编码方法。
6.根据权利要求3所述的装置,其中,所述确定单元还用于:根据所述两个或更多个摄像部的拍摄图像的压缩率,确定在集中分发来自所述两个或更多个摄像部的拍摄图像时所分发的图像的编码方法。
7.根据权利要求1所述的装置,其中,所确定的设置信息包含在集中分发来自所述两个或更多个摄像部的拍摄图像时、对来自所述两个或更多个摄像部的拍摄图像的显示方法。
8.根据权利要求7所述的装置,其中,所述确定单元还用于基于所指定的两个或更多个摄像部的组合来确定所述显示方法。
9.根据权利要求7或8所述的装置,其中,所述显示方法包括在单独的帧中显示来自指定的两个或更多个摄像部的拍摄图像的方法。
10.根据权利要求7所述的装置,其中,所述确定单元还用于根据通过组合所指定的两个或更多个摄像部的视角而获得的视角来确定所述显示方法。
11.根据权利要求7所述的装置,其中,所述显示方法包括显示通过合成所述两个或更多个摄像部的拍摄图像而获得的全景图像的方法。
12.根据权利要求11所述的装置,其中,所述确定单元还用于根据通过组合指定的两个或更多个摄像部的视角而获得的视角来确定所述全景图像的视角。
13.根据权利要求7所述的装置,其中,所述确定单元还用于基于所指定的两个或更多个摄像部的组合,在以下方法之间切换显示方法:即,在单独的帧中显示来自所指定的两个或更多个摄像部的拍摄图像的方法,以及显示通过合成所指定的两个或更多个摄像部的拍摄图像而获得的全景图像的方法。
14.根据权利要求7所述的装置,其中,根据由所述识别信息指定的所述两个或更多个摄像部的指定顺序来确定所述显示方法。
15.根据权利要求7所述的装置,其中,所述确定单元还用于在没有获取从所述多个摄像部中指定两个或更多个摄像部的识别信息的情况下,将所述显示方法确定为预定方法。
16.根据权利要求1所述的装置,还包括:输出单元,用于根据所述信息处理装置指定的识别信息,将关于来自各个摄像部的拍摄图像的设置信息输出到所述信息处理装置,
其中,在所述信息处理装置指定了指明关于虚拟配置文件的信息的识别信息的情况下,所述输出单元将设置信息输出到所述信息处理装置。
17.一种信息处理装置,包括:
发送单元,用于发送从包含在摄像装置中的多个摄像部中指定两个或更多个摄像部的识别信息;以及
接收单元,用于接收关于包含与在集中分发来自所述两个或更多个摄像部的拍摄图像时的拍摄图像有关的设置信息的虚拟配置文件的信息,所述设置信息是基于各自包含与来自对应于所述两个或更多个摄像部的各个摄像部的拍摄图像有关的设置信息的配置文件信息来确定的。
18.一种包含多个摄像部的摄像装置的操作方法,包括:
从信息处理装置获取从多个摄像部中指定两个或更多个摄像部的识别信息;
基于各自包含关于来自与所述两个或更多个摄像部相对应的各个摄像部的拍摄图像的设置信息的配置文件信息,确定集中分发来自所述两个或更多个摄像部的拍摄图像时的与拍摄图像有关的设置信息;
生成包含所确定的设置信息的虚拟配置文件;以及
将与所述虚拟配置文件有关的信息发送到所述信息处理装置。
19.一种信息处理方法,包括:
发送从包含在摄像装置中的多个摄像部中指定两个或更多个摄像部的识别信息;以及
接收关于包含与在集中分发来自所述两个或更多个摄像部的拍摄图像时的拍摄图像有关的设置信息的虚拟配置文件的信息,所述设置信息是基于各自包含与来自对应于所述两个或更多个摄像部的各个摄像部的拍摄图像有关的设置信息的配置文件信息来确定的。
20.一种包含多个摄像部的摄像装置,包括:
确定单元,用于基于从多个摄像部中对两个或更多个摄像部的指定,来确定在集中分发来自所述两个或更多个摄像部的拍摄图像时的图像的合成方法,其中,根据所述两个或更多个摄像部的布置来确定合成方法。
21.一种包含多个摄像部的摄像装置,包括:
第一确定单元,用于基于从多个摄像部中对两个或更多个摄像部的指定,来确定在集中分发来自所述两个或更多个摄像部的拍摄图像时的图像的合成方法;以及
第二确定单元,用于在来自所述两个或更多个摄像部的图像的集体分发之后,当指定的摄像部已经移动时,确定摄像装置的操作方法。
22.一种非暂时性计算机可读存储介质,其存储在被计算机执行时促使所述计算机执行根据权利要求18或19的方法的程序。
CN202011329007.XA 2019-11-29 2020-11-24 摄像装置、信息处理装置及方法、操作方法及存储介质 Pending CN112887662A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019217504 2019-11-29
JP2019-217504 2019-11-29
JP2020130776A JP2021093713A (ja) 2019-11-29 2020-07-31 撮像装置、情報処理装置、動作方法、情報処理方法、及びプログラム
JP2020-130776 2020-07-31

Publications (1)

Publication Number Publication Date
CN112887662A true CN112887662A (zh) 2021-06-01

Family

ID=73448834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011329007.XA Pending CN112887662A (zh) 2019-11-29 2020-11-24 摄像装置、信息处理装置及方法、操作方法及存储介质

Country Status (3)

Country Link
US (1) US11375126B2 (zh)
EP (1) EP3829165A1 (zh)
CN (1) CN112887662A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320616A (ja) * 2000-02-29 2001-11-16 Matsushita Electric Ind Co Ltd 撮像システム
CN101056394A (zh) * 2006-04-14 2007-10-17 深圳Tcl新技术有限公司 多画面分割器及其编辑控制方法
CN101119479A (zh) * 2006-07-03 2008-02-06 阿克塞斯股份公司 用于配置照相机的参数值的方法和设备
CN106232427A (zh) * 2014-04-17 2016-12-14 三菱电机株式会社 车载显示装置
US20170142375A1 (en) * 2012-05-21 2017-05-18 Canon Kabushiki Kaisha Image capture apparatus, method for setting mask image, and recording medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2182730B1 (en) * 2004-06-15 2020-05-20 Panasonic Intellectual Property Management Co., Ltd. Monitor and vehicle periphery monitor
US7834910B2 (en) * 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
WO2012056437A1 (en) * 2010-10-29 2012-05-03 École Polytechnique Fédérale De Lausanne (Epfl) Omnidirectional sensor array system
DE102016224905A1 (de) * 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Fusionieren von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug
US20180343431A1 (en) * 2017-05-24 2018-11-29 Nokia Technologies Oy Method and apparatus for disparity-based image adjustment of a seam in an image derived from multiple cameras
DE102017114962B4 (de) 2017-07-05 2019-08-29 Dallmeier Electronic Gmbh & Co. Kg Multi-Sensor-Kamera
JP7076131B2 (ja) 2018-03-23 2022-05-27 カムイ・イノベーション株式会社 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320616A (ja) * 2000-02-29 2001-11-16 Matsushita Electric Ind Co Ltd 撮像システム
CN101056394A (zh) * 2006-04-14 2007-10-17 深圳Tcl新技术有限公司 多画面分割器及其编辑控制方法
CN101119479A (zh) * 2006-07-03 2008-02-06 阿克塞斯股份公司 用于配置照相机的参数值的方法和设备
US20170142375A1 (en) * 2012-05-21 2017-05-18 Canon Kabushiki Kaisha Image capture apparatus, method for setting mask image, and recording medium
CN106232427A (zh) * 2014-04-17 2016-12-14 三菱电机株式会社 车载显示装置

Also Published As

Publication number Publication date
EP3829165A1 (en) 2021-06-02
US20210168294A1 (en) 2021-06-03
US11375126B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
US10594988B2 (en) Image capture apparatus, method for setting mask image, and recording medium
JP6849430B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR102138608B1 (ko) 표시 제어 장치, 표시 제어 방법 및 저장 매체
KR101760142B1 (ko) 카메라 장치, 카메라 시스템, 제어 장치 및 컴퓨터로 판독가능한 기록 매체
CN110022431B (zh) 摄像装置、摄像方法、显示装置和显示方法
US20090058878A1 (en) Method for displaying adjustment images in multi-view imaging system, and multi-view imaging system
JP6976719B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP6280011B2 (ja) 領域リクエストに基づいたデータ低減処理を行う画像送受信システム及び方法
JP6338356B2 (ja) 撮像装置、外部装置、撮像システム、撮像装置の制御方法、外部装置の制御方法、撮像システムの制御方法、及びプログラム
CN105657257A (zh) 全景照片的拍摄方法、装置、系统、移动终端及自拍杆
CN110177246A (zh) 信息处理设备、摄像设备、信息处理方法和存储介质
EP3190566A1 (en) Spherical virtual reality camera
CN107431846B (zh) 基于多个摄像机的图像传输方法、设备和系统
JP2015162117A (ja) サーバ装置、プログラム、及び情報処理方法
CN112887662A (zh) 摄像装置、信息处理装置及方法、操作方法及存储介质
JP2009200697A (ja) 画像送信装置、画角制御方法、画像受信装置、画像表示システム、画像表示方法
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
KR20210067898A (ko) 촬상 장치, 정보 처리 장치, 동작 방법, 정보 처리 방법 및 컴퓨터 프로그램
JP5962692B2 (ja) 端末装置、及びプログラム
JP5917175B2 (ja) 撮像装置、撮像装置の配信方法、撮像システムおよびプログラム
WO2018235762A1 (ja) 表示制御装置、表示制御方法、およびプログラム
WO2024057974A1 (ja) 情報処理装置、情報処理方法
CN216905122U (zh) 一种3d直播设备
US11516404B2 (en) Control apparatus and control method
KR102337699B1 (ko) 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination