CN113329166A - 图像捕获装置、设备、控制方法和计算机可读存储介质 - Google Patents
图像捕获装置、设备、控制方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113329166A CN113329166A CN202110211927.XA CN202110211927A CN113329166A CN 113329166 A CN113329166 A CN 113329166A CN 202110211927 A CN202110211927 A CN 202110211927A CN 113329166 A CN113329166 A CN 113329166A
- Authority
- CN
- China
- Prior art keywords
- image capturing
- processing
- capturing apparatus
- image
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Facsimiles In General (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像捕获装置、设备、控制方法和计算机可读存储介质。一种包括能够附接/拆卸设备的安装部的图像捕获装置,如果被安装在安装部中的设备具有对由图像捕获装置获得的数据执行分析处理的功能,则从所述设备获得与为了使所述设备对数据执行分析处理而要由图像捕获装置执行的处理有关的设置的信息,基于所获得的所述设置的信息,执行要由图像捕获装置执行的处理,并基于所述分析处理的结果和所述处理的结果来执行输出。
Description
技术领域
本发明总体上涉及图像捕获装置、设备、控制方法和计算机可读存储介质,特别涉及在使用能够执行预定功能的可拆卸设备的系统中提高便利性的技术。
背景技术
近年来,在各种场景中使用由监视相机捕获的图像执行图像处理,诸如执行物体检测和跟踪或执行属性估计的图像分析以及基于这种图像分析的结果对物体数量的估计。常规上,已经通过将视频从监视相机传送到诸如执行实际图像处理的PC或服务器之类的高性能算术装置来执行这种图像处理。但是,移动算术装置的处理能力的最近提高允许监视相机侧执行图像处理。相机侧的处理可以通过例如被布置在相机主体中的算术装置来执行。当在诸如USB之类的可拆卸设备中布置有算术装置时,该可拆卸设备可以执行处理的至少一部分。
在可以安装可拆卸设备的装置中,重要的是根据可拆卸设备的安装与否来执行提高用户使用装置时的便利性的控制。日本专利公开No.2018-157601描述了一种技术,在图像捕获装置可以与其附接/从其拆卸的电子设备中,通过根据图像捕获装置是否与电子设备分离改变用户操作接受模式来提高可用性。
日本专利公开No.2018-157601仅描述了基于是否安装了可拆卸设备来改变图像捕获装置侧的控制,并且不审查在有要由可拆卸设备执行的各种功能的情况下的便利性。
本发明提供一种根据可拆卸设备可执行的处理来适当地控制安装了该可拆卸设备的装置的操作的技术。
发明内容
根据本发明的一个方面,提供了一种包含安装部的图像捕获装置,所述安装部能够附接/拆卸设备,所述图像捕获装置包括:获得部件,用于如果被安装在安装部中的设备具有对由图像捕获装置获得的数据执行分析处理的功能,则从所述设备获得与为了使所述设备对数据执行分析处理而要由图像捕获装置执行的处理有关的设置的信息;执行部件,用于基于所获得的所述设置的信息,执行要由图像捕获装置执行的处理;以及输出部件,用于基于所述分析处理的结果和由执行部件进行的所述处理的结果来执行输出。
根据本发明的另一方面,提供了一种被安装在装置中的设备,所述装置包括能够附接/拆卸所述设备的安装部,所述设备包括:处理部件,能够在所述设备被安装在包括安装部的图像捕获装置中时对由图像捕获装置获得的数据执行分析处理;以及通知部件,用于向图像捕获装置通知与为了对数据执行分析处理而要由图像捕获装置执行的处理有关的设置的信息。
根据本发明的又一方面,提供了一种由图像捕获装置执行的控制方法,所述图像捕获装置包括能够附接/拆卸设备的安装部,所述控制方法包括:如果被安装在安装部中的设备具有对由图像捕获装置获得的数据执行分析处理的功能,则从所述设备获得与为了使所述设备对数据执行分析处理而要由图像捕获装置执行的处理有关的设置的信息;基于所获得的所述设置的信息,执行要由图像捕获装置执行的处理;以及基于所述分析处理的结果和所述处理的结果,执行输出。
根据本发明的又一方面,提供了一种由设备执行的控制方法,所述设备被安装在包括能够附接/拆卸所述设备的安装部的装置中并且能够在所述设备被安装在包括安装部的图像捕获装置中时对由图像捕获装置获得的数据执行分析处理,所述控制方法包括:向图像捕获装置通知与为了对数据执行分析处理而要由图像捕获装置执行的处理有关的设置的信息。
通过(参考附图)对示例性实施例的以下描述,本发明的其它特征将变得清楚。
附图说明
图1是示出系统布置的示例的框图;
图2是示出图像捕获装置的硬件布置的示例的框图;
图3是示出图像捕获装置的功能布置的示例的框图;
图4是示出可拆卸设备的硬件布置的示例的框图;
图5是示出可拆卸设备的功能布置的示例的框图;
图6是示出输入/输出装置的硬件布置的示例的框图;
图7是示出输入/输出装置的功能布置的示例的框图;
图8是示出由系统执行的处理过程的示例的流程图;
图9是示出掌握分析处理的处理过程的示例的流程图;
图10是示出确定分析处理的内容的处理过程的示例的流程图;
图11是示出执行分析处理的控制过程的示例的流程图;并且
图12是示出执行后处理的控制过程的示例的流程图。
具体实施方式
在下文中,将参考附图详细描述实施例。注意,以下实施例并非旨在限制所要求保护的发明的范围。在实施例中描述了多个特征,但是并非限制要求所有这样的特征的发明,并且可以适当地组合多个这样的特征。此外,在附图中,为相同或相似的配置赋予相同的附图标记,并且省略其重复描述。
<系统布置>
图1示出了根据本实施例的图像分析系统的布置的示例。作为示例,下面将描述该系统是特定人物跟踪系统的情况。但是,本发明不限于此,并且以下讨论可以被应用于用于分析图像并执行预定信息输出的任意系统。该系统被配置为包括图像捕获装置110a至110d、网络120和输入/输出装置130。注意,图像捕获装置110a至110d均包括插槽,能够记录例如被捕获图像的设备可以附接至该插槽/从该插槽拆卸,并且当可拆卸设备100a至100d被插入到插槽中时,图像捕获装置110a至110d连接到可拆卸设备100a至100d。注意,在下文中,可拆卸设备100a至100d将被称为“可拆卸设备100”,并且图像捕获装置110a至110d将被称为“图像捕获装置110”。
可拆卸设备100是可附接到图像捕获装置110/可从图像捕获装置110拆卸的算术设备。作为示例,可拆卸设备100是在SD卡中安装有预定处理电路的设备。可拆卸设备100被配置为以例如SD卡的形式作为整体被插入到图像捕获装置110中,并且因此可以被配置为在不导致任何部分从图像捕获装置110突出的情况下可连接到图像捕获装置110。可替代地,可拆卸设备100可以被配置为使得例如其一半或更多可以被插入到图像捕获装置110中,并且因此可以被配置为在导致一部分从图像捕获装置110稍微突出的同时可连接到图像捕获装置110。这可以防止可拆卸设备100受到诸如配线之类的障碍物的干扰,并且提高使用该设备时的便利性。另外,由于在许多现有的图像捕获装置110(诸如网络相机)中准备了SD卡插槽,因此可拆卸设备100可以向现有的图像捕获装置110提供扩展功能。注意,除了SD卡的形式以外,可拆卸设备100可以被配置为经由在安装能够存储由至少图像捕获装置110捕获的图像的存储设备时使用的任意接口被安装在图像捕获装置110中。例如,可拆卸设备100可以包括USB(通用串行总线)接口,并且可以被配置为安装在图像捕获装置110的USB插座中。预定处理电路由例如被编程为执行预定处理的FPGA(现场可编程门阵列)来实现,但是可以以另一种形式来实现。
图像捕获装置110是诸如网络相机之类的图像捕获装置。在本实施例中,图像捕获装置110含有能够处理视频的算术装置,但是不限于此。例如,可以存在诸如连接到图像捕获装置110的外部计算机,诸如PC(个人计算机),并且可以将该组合作为图像捕获装置110来处置。此外,在本实施例中,可拆卸设备100被安装在所有图像捕获装置110中。注意,图1示出了四个图像捕获装置110以及被安装在这些图像捕获装置110中的可拆卸设备。设备的组合的数量可以是三个或更少、或者五个或更多。当具有图像分析处理功能的可拆卸设备100被安装在图像捕获装置110中时,即使图像捕获装置110不具有图像分析处理功能,也可以在图像捕获装置110侧执行视频处理。此外,如在本实施例中那样,以在图像捕获装置110中布置用于视频处理的算术装置的形式,通过将包括算术装置的可拆卸设备100安装在图像捕获装置110中,可以使在图像捕获装置110侧可执行的图像处理多样化/复杂化。
输入/输出装置130是执行来自用户的输入的接受以及信息(例如,显示信息)到用户的输出的装置。在本实施例中,例如,输入/输出装置130是诸如PC之类的计算机,并且通过由内部处理器执行安装在计算机中的浏览器或本地应用来输入/输出信息。
图像捕获装置110和输入/输出装置130经由网络120可通信地连接。网络120被配置为包括满足例如的通信标准的多个路由器、交换机、电缆等。在本实施例中,网络120可以是使得能够在图像捕获装置110和输入/输出装置130之间进行通信的任意网络,并且可以由任意规模和布置以及所符合的通信标准来构造。例如,网络120可以是互联网、有线LAN(局域网)、无线LAN、WAN(广域网)等。网络120可以被配置为使得例如通过符合ONVIF(开放网络视频接口论坛)标准的通信协议的通信是可能的。但是,网络120不限于此,并且可以被配置为使得例如通过另一种通信协议(诸如唯一通信协议)的通信是可能的。
在本实施例中,着眼于要由图像捕获装置110执行的处理根据由可拆卸设备100执行的处理而改变的事实,将描述用于提高便利性的技术。更具体地,假设由可拆卸设备100执行的处理所请求的图像数据的大小针对每个处理而改变。在这种情况下,如果图像捕获装置110生成预定大小的图像数据并将其输出到可拆卸设备100,则可拆卸设备100不能直接对图像数据执行图像分析处理。此时,如果图像捕获装置110不具有改变图像数据的大小的能力,则处理无法被执行。另外,例如,如果通过可拆卸设备100的图像分析处理检测到物体,则可以存在请求物体的突出显示的处理和请求物体的抽象化的处理。在这种情况下,如果图像捕获装置110执行均匀地突出所检测到的物体的处理,则不能获得假定的输出。出于此原因,在本实施例中,图像捕获装置110从可拆卸设备100获得为了使可拆卸设备100执行图像数据的图像分析处理而要由图像捕获装置110执行的处理的设置信息。下面将描述执行这种处理的装置的布置和操作过程。
<装置布置>
(图像捕获装置的布置)
接下来将描述图像捕获装置110的布置。图2是示出图像捕获装置110的硬件布置的示例的框图。作为硬件布置,图像捕获装置110包括例如图像捕获单元201、图像处理单元202、算术处理单元203、分发单元204和SD I/F单元205。注意,I/F是接口(interface)的缩写。
图像捕获单元201被配置为包括:透镜部,其被配置为形成光的图像;以及图像捕获元件,其根据所形成的光的图像执行模拟信号转换。透镜部具有调整视角的变焦功能、调整光量的光阑功能等。图像捕获元件具有调整在将光转换成模拟信号时的灵敏度的增益功能。这些功能基于从图像处理单元202通知的设置值而被调整。由图像捕获单元201获得的模拟信号被模数转换电路转换成数字信号,并且作为图像信号被传送到图像处理单元202。
图像处理单元202被配置为包括图像处理引擎及其外围设备。外围设备包括例如RAM(随机存取存储器)、I/F的驱动器等。图像处理单元202例如对从图像捕获单元201获得的图像信号执行诸如显影处理、滤波处理、传感器校正和噪声去除之类的图像处理,从而生成图像数据。图像处理单元202还可以将设置值发送到透镜部和图像捕获元件,并且执行曝光调整以获得适当曝光的图像。由图像处理单元202生成的图像数据被传送到算术处理单元203。
算术处理单元203由至少一个诸如CPU或MPU之类的处理器、诸如RAM和ROM之类的存储器、I/F的驱动器等形成。注意,CPU是中央处理单元的首字母缩写,MPU是微处理单元的首字母缩写,RAM是随机存取存储器的首字母缩写,并且ROM是只读存储器的首字母缩写。在示例中,算术处理单元203可以确定关于图像捕获装置110和可拆卸设备100中的哪一个应当执行在上述系统中要执行的处理的每个部分的分配,并且执行与该分配对应的处理。稍后将描述处理内容和处理分配的细节。从图像处理单元202接收到的图像被传送到分发单元204或SD I/F单元205。处理结果的数据也被传送到分发单元204。
分发单元204被配置为包括网络分发引擎以及例如诸如RAM和ETH PHY模块之类的外围设备。ETH PHY模块是执行以太网的物理(PHY)层的处理的模块。分发单元204将从算术处理单元203获得的图像数据或处理结果的数据转换成可分发到网络120的格式,并将转换后的数据输出到网络120。SD I/F单元205是用于连接可拆卸设备100的接口部,并且被配置为包括例如电源和诸如用于附接/拆卸可拆卸设备100的附接/拆卸插座之类的安装部。这里,根据由SD协会制定的SD标准来配置SD I/F单元205。可拆卸设备100与图像捕获装置110之间的通信(诸如从算术处理单元203获得的图像到可拆卸设备100的传送或从可拆卸设备100获得的数据的传送)经由SD I/F单元205执行。
图3示出了图像捕获装置110的功能布置的示例。图像捕获装置110包括例如图像捕获控制单元301、信号处理单元302、存储单元303、控制单元304、分析单元305、设备通信单元306以及网络通信单元307作为其功能。
图像捕获控制单元301执行经由图像捕获单元201捕获外围环境的控制。信号处理单元302对由图像捕获控制单元301捕获的图像执行预定处理,从而生成被捕获图像的数据。下文中将被捕获图像的数据简称为“被捕获图像”。信号处理单元302例如对由图像捕获控制单元301捕获的图像进行编码。信号处理单元302使用例如诸如JPEG(联合图像专家组)之类的编码方法对静止图像执行编码。信号处理单元302使用诸如H.264/MPEG-4AVC(下文中将被称为“H.264”)或HEVC(高效视频编码)之类的编码方法对视频执行编码。信号处理单元302可以使用由用户经由例如图像捕获装置110的操作单元(未示出)从预先设置的多种编码方法中选择的编码方法对图像进行编码。
存储单元303存储分析单元305可执行的分析处理的列表(下文中将被称为“第一处理列表”)和针对分析处理的结果的后处理的列表。存储单元303还存储稍后描述的分析处理的结果。注意,在本实施例中,要执行的处理是分析处理。但是,可以执行任意处理,并且关于与要执行的处理相关联的处理,存储单元303可以存储第一处理列表和后处理的列表。控制单元304控制信号处理单元302、存储单元303、分析单元305、设备通信单元306和网络通信单元307以执行预定处理。
分析单元305针对被捕获图像选择性地执行稍后将描述的分析前处理、分析处理和分析后处理中的至少一个。分析前处理是在执行稍后将描述的分析处理之前要对被捕获图像执行的处理。在根据本实施例的分析前处理中,作为示例,执行对被捕获图像进行分割以创建分割图像的处理(以下将被称为“图像分割处理”)。分析处理是输出通过对输入图像进行分析而获得的信息的处理。在根据本实施例的分析处理中,作为示例,执行如下处理:接收通过分析前处理获得的分割图像,执行人体检测处理、面部检测处理和车辆检测处理中的至少一个,并输出分析处理结果。分析处理可以是被配置为使用机器学习模型输出对象在分割图像中的位置的处理,机器学习模型已经学习使用例如J.Redmon和A.Farhadi的“YOLO9000:Better Faster Stronger”计算机视觉和模式识别(CVPR)2016中的技术来检测图像中包括的对象。分析后处理是在执行分析处理之后要执行的处理。在根据本实施例的分析后处理中,作为示例,执行如下处理:输出通过基于对每个分割图像的分析处理结果而将在分割图像中检测到的对象的数量相加而获得的值作为处理结果。注意,分析处理可以是通过执行模式匹配来检测图像中的对象并输出对象的位置的处理。
设备通信单元306执行与可拆卸设备100的通信。设备通信单元306将输入数据转换成可拆卸设备100可处理的格式,并将通过转换获得的数据发送到可拆卸设备100。另外,设备通信单元306从可拆卸设备100接收数据,并将接收到的数据转换成图像捕获装置110可处理的格式。在本实施例中,作为转换处理,设备通信单元306执行在浮点格式和定点格式之间转换小数的处理。但是,本发明不限于此,并且可以由设备通信单元306执行另一个处理。此外,在本实施例中,设备通信单元306将在SD标准的范围内预先确定的命令序列发送到可拆卸设备100,并且从可拆卸设备100接收响应,从而执行与可拆卸设备100的通信。网络通信单元307经由网络120执行与输入/输出装置130的通信。
(可拆卸设备的布置)
图4是示出可拆卸设备100的硬件布置的示例的框图。作为示例,可拆卸设备100被配置为包括I/F单元401、FPGA 402、SD控制器403和存储单元404。可拆卸设备100被形成为可插入到设在图像捕获装置110中的SD I/F单元205的附接/拆卸插座中/从其中移除的形状,即,符合SD标准的形状。
I/F单元401是用于连接诸如图像捕获装置110之类的装置与可拆卸设备100的接口部。I/F单元401被配置为包括例如电接触端子,该电接触端子从图像捕获装置110接收电力供应并且生成和分配要在可拆卸设备100中使用的电力等。关于在(符合)SD标准中定义的项目,I/F单元401与图像捕获装置110的SD I/F单元205一样地符合。经由I/F单元401执行来自图像捕获装置110的图像和设置数据的接收以及从FPGA402到图像捕获装置110的数据的发送。
FPGA 402被配置为包括输入/输出控制单元410、处理切换单元411和算术处理单元412。FPGA 402是一种能够重复地重构内部逻辑电路结构的半导体设备。通过由FPGA 402实现的处理,可以向安装了可拆卸设备100的装置添加(提供)处理功能。此外,由于逻辑电路结构可以在稍后通过FPGA 402的重构功能来改变,因此当可拆卸设备100被安装在例如快速发展技术领域的装置中时,可以在适当的定时在装置中执行适当的处理。注意,在本实施例中,将描述使用FPGA的示例。但是,例如可以使用通用ASIC或专用LSI,只要能执行稍后描述的处理。通过从专用I/F写入包括要生成的逻辑电路结构的信息的设置数据或从专用I/F读出设置数据来激活FPGA 402。在本实施例中,设置数据被保持在存储单元404中。当通电时,FPGA 402从存储单元404中读出设置数据,并生成和激活逻辑电路。但是,本发明不限于此。例如,图像捕获装置110可以通过在可拆卸设备中实现专用电路来经由I/F单元401将设置数据写入到FPGA 402中。
输入/输出控制单元410被配置为包括用于向/从图像捕获装置110发送/接收图像的电路、分析从图像捕获装置110接收到的命令的电路、基于分析的结果进行控制的电路等。这里的命令由SD标准定义,并且输入/输出控制单元410可以检测其中的一些命令。稍后将描述功能的细节。输入/输出控制单元410进行控制,以在存储处理中将图像发送到SD控制器403,并在图像分析处理中将图像发送到算术处理单元412。如果接收到处理切换的设置数据,则输入/输出控制单元410将设置数据发送到处理切换单元411。处理切换单元411被配置为包括如下电路:该电路被配置为基于从图像捕获装置110接收到的设置数据从存储单元404获得图像分析处理功能的信息,并将该信息写入算术处理单元412中。图像分析处理功能的信息包括表示例如在算术处理单元412中处理的运算的次序和类型、运算的系数等的设置参数。算术处理单元412被配置为包括执行图像分析处理功能所需的多个算术电路。算术处理单元412基于从处理切换单元411接收到的图像分析处理功能的信息来执行每个算术处理、将处理结果发送到图像捕获装置110和/或将处理结果记录在存储单元404中。如上所述,FPGA 402提取在预先保持的与多个处理功能对应的设置数据中包括的执行目标处理功能的设置数据,并且基于提取出的设置数据来重写要由算术处理单元412执行的处理内容。这允许可拆卸设备100选择性地执行多个处理功能中的至少一个。另外,通过适当地添加要新添加的处理的设置数据,可以在图像捕获装置110侧执行最新处理。注意,在下文中,保持与多个处理功能对应的多个设置数据将被称为保持多个处理功能。也就是说,即使在可拆卸设备100的FPGA 402被配置为执行一个处理功能的状态下,如果可以通过另一个处理功能的设置数据来改变算术处理单元412的处理内容,则这也将被表达为保持多个处理功能。
SD控制器403是如由SD标准定义的已知控制IC(集成电路),并且执行对SD协议的从属操作的控制以及对存储单元404的数据读/写的控制。存储单元404由例如NAND闪存形成,并且存储各种信息,诸如从图像捕获装置110写入的存储数据、在算术处理单元412中写入的图像分析处理功能的信息以及FPGA 402的设置数据。
图5示出了可拆卸设备100的功能布置的示例。可拆卸设备100包括例如分析单元501、通信单元502和存储单元503作为其功能布置。分析单元501对图像执行分析处理。例如,如果输入了分析处理设置请求,则分析单元501执行设置以将输入的分析处理设置为可执行状态。如果输入了图像,则分析单元501对输入图像执行被设置为可执行状态的分析处理。在本实施例中,可执行的分析处理包括人体检测处理和面部检测处理,但是不限于这些。例如,它可以是确定预先存储的人是否被包括在图像中的处理(面部认证处理)。例如,如果计算出预先存储的人的特征和从输入图像检测到的人的特征之间的匹配程度,并且该匹配程度等于或大于阈值,则确定该人是预先存储的人。可替代地,出于隐私保护的目的,它可以是在从输入图像中检测到的人上叠加预定的掩模图像或执行马赛克处理的处理。它可以是使用通过机器学习已经学习到人的特定动作的学习模型来检测图像中的人是否正在采取特定动作的处理。此外,它可以是确定图像中的区域是哪种区域的处理。它可以是使用例如通过机器学习已学习到建筑物、道路、人、天空等的学习模型来确定图像中的区域是哪种区域的处理。如上所述,可执行的分析处理可以被应用于使用机器学习的图像分析处理和不使用机器学习的图像分析处理这两者。上述每个分析处理可以不由可拆卸设备100独立地执行,而是与图像捕获装置110合作执行。通信单元502经由I/F单元401执行与图像捕获装置110的通信。
存储单元503存储诸如分析前处理和分析后处理的设置内容的信息。分析前处理和分析后处理的设置内容可以是例如分析前处理和分析后处理的类型和参数。分析前处理的类型可以是例如图像分割处理、颜色空间转换处理和图像大小转换处理中的至少一个。注意,除了这些处理之外的处理也可以用作分析前处理。图像分割处理的参数包括例如分割之后的分割图像的大小。颜色空间转换处理的参数包括例如转换目的地的颜色空间。图像大小转换处理的参数包括例如转换之后的图像大小和转换算法的类型中的至少一个。分析后处理的类型可以包括:对作为分析处理的结果输出的数值进行合计的处理、对作为分析处理的结果输出的图像与分析之前的图像进行阿尔法混合的叠加处理、以及在分析之前的图像上描画作为分析处理的结果输出的图形的描画处理。叠加处理的参数包括例如阿尔法值、要混合的颜色及其组合。描画处理的参数可以包括例如要描画的图形的形状、要描画的图形的框架的厚度、要描画的图形的框架的颜色及其组合。
图6示出了输入/输出装置130的硬件布置的示例。输入/输出装置130被形成为诸如通用PC之类的计算机,并且被配置为包括例如诸如CPU之类的处理器601、诸如RAM 602和ROM 603之类的存储器、诸如HDD 604之类的存储设备、以及通信I/F 605,如图6中所示。输入/输出装置130可以通过处理器601执行存储在存储器和存储设备中的程序来执行各种功能。
图7示出了根据本实施例的输入/输出装置130的功能布置的示例。输入/输出装置130包括例如网络通信单元701、控制单元702、显示单元703和操作单元704作为其功能布置。网络通信单元701连接到例如网络120,并且经由网络120执行与诸如图像捕获装置110之类的外部装置的通信。注意,这仅仅是示例,并且例如,网络通信单元701可以被配置为建立与图像捕获装置110的直接通信并与图像捕获装置110通信而无需网络120或其它装置的干预。控制单元702进行控制,以使得网络通信单元701、显示单元703和操作单元704执行它们自己的处理。显示单元703经由例如显示器向用户呈现信息。在本实施例中,在显示器上显示浏览器的渲染结果,从而向用户呈现信息。注意,可以通过除屏幕显示以外的诸如语音或振动之类的方法来呈现信息。操作单元704接受来自用户的操作。在本实施例中,操作单元704是鼠标或键盘,并且用户对其进行操作以将用户操作输入到浏览器。但是,操作单元704不限于此,并且可以是例如能够检测用户意图的另一个任意设备,诸如触摸面板或麦克风。
<处理过程>
接下来将描述在系统中执行的处理过程的示例。注意,由图像捕获装置110在以下处理中执行的处理是例如通过算术处理单元203中的处理器执行存储器中存储的程序等而实现的。但是,这仅仅是示例,并且稍后描述的处理可以部分地或全部地由专用硬件实现。另外,由可拆卸设备100或输入/输出装置130执行的处理也可以通过每个装置中的处理器执行存储器中存储的程序等来实现,并且处理可以部分地或全部地由专用硬件实现。
(总体过程)
图8示意性地示出了由系统执行的图像分析处理的一系列过程。在该处理中,首先,用户将可拆卸设备100安装在图像捕获装置110上(步骤S801)。图像捕获装置110执行可拆卸设备100的初始化序列(步骤S802)。在该初始化序列中,在图像捕获装置110和可拆卸设备100之间发送/接收预定命令,并且图像捕获装置110这样使可拆卸设备100可用。之后,图像捕获装置110掌握可拆卸设备100可执行的处理,并且掌握可以在本地执行(可以仅由图像捕获装置110执行或者由图像捕获装置110和可拆卸设备100的组合执行)的处理(步骤S803)。注意,虽然可拆卸设备100可以被配置为执行任意处理,但是与应当在图像捕获装置110侧执行的处理无关的处理不需要纳入考虑。在示例中,图像捕获装置110可以保持预先从例如输入/输出装置130获得的可执行处理的列表。在这种情况下,当从可拆卸设备100获得表示可拆卸设备100可执行的处理的信息时,图像捕获装置110可以根据该处理是否被包括在列表中来仅掌握可执行处理。接下来,图像捕获装置110确定要执行的处理,并且根据需要执行可拆卸设备100的设置(步骤S804)。即,如果被确定为执行目标的处理的至少一部分要由可拆卸设备100执行,则执行针对该处理的可拆卸设备100的设置。在该设置中,例如,可以执行使用与执行目标的处理对应的设置数据的FPGA 402的重构。然后,图像捕获装置110或可拆卸设备100执行分析处理(步骤S805)。之后,图像捕获装置110执行后处理(步骤S806)。注意,步骤S805和S806的处理被重复地执行。图8中所示的处理是在例如安装可拆卸设备100时执行的。但是,图8中所示的处理的至少一部分可以被重复地执行,使得例如当可拆卸设备100被拆卸时再次执行步骤S803的处理。
(掌握可执行处理的处理)
图9示出了掌握图像捕获装置110可执行的处理的处理过程的示例。该处理对应于图8中的步骤S803的处理,并且如果诸如可拆卸设备100之类的设备被安装在图像捕获装置110上或被从图像捕获装置110移除,或者如果图像捕获装置110通电,则该处理可以被执行。在该处理中,图像捕获装置110读出可拆卸设备100可执行的处理,将其与图像捕获装置110本身可执行的分析处理集成,并掌握在图像捕获装置110侧可执行的分析处理。
首先,图像捕获装置110的控制单元304读出存储在存储单元303中的第一处理列表,第一处理列表是图像捕获装置110本身的分析单元305可执行的处理的列表(步骤S901)。接下来,控制单元304确定安装的设备是例如仅具有存储功能的常规设备还是诸如可拆卸设备100之类的具有特定处理功能的预定设备(步骤S902)。例如,控制单元304控制设备通信单元306向安装的设备发出对于特定地址的读取请求(读取命令),并读出在该特定地址处存储的标记数据。控制单元304可以基于读取的标志数据来确定可拆卸设备100是否是具有特定处理功能的预定设备。但是,这仅仅是示例,并且可以通过另一种方法确定安装的设备是否是预定设备。
如果安装的设备是预定设备(步骤S902中为“是”),则控制单元304执行掌握该设备(可拆卸设备100)中可执行的处理的处理。控制单元304控制设备通信单元306与可拆卸设备100通信,并获得在可拆卸设备100中可执行的处理的列表(在下文中将被称为“第二处理列表”)(步骤S903)。如在例如确定可拆卸设备100是否是预定设备的情况中那样,控制单元304读出在特定地址处存储的数据,从而获得第二处理列表。注意,例如,第二处理列表可以被存储在与用于确定可拆卸设备是否是预定设备的标志数据相同的地址处。在这种情况下,图像捕获装置110可以通过访问该地址并同时获得标志数据和第二处理列表来同时执行步骤S902的处理和步骤S903的处理。但是,本发明不限于此,并且这些数据可以被存储在不同的地址处。之后,控制单元304创建其中集成了从存储单元303读出的图像捕获装置110本身可执行的处理的第一处理列表和从可拆卸设备获得的第二处理列表的集成处理列表(步骤S904),并结束处理。
集成处理列表表示在无需通过诸如网络上的服务器装置之类的装置执行处理的情况下在图像捕获装置110侧可本地执行的处理的列表。注意,在本实施例中,集成处理列表是通过第一处理列表中包括的处理和第二处理列表中包括的处理的联合而获得的列表。集成处理列表是在第一处理列表和第二处理列表中的至少一个中包括的处理的列表。但是,本发明不限于此。例如,如果可以通过组合第一处理列表中包括的处理和第二处理列表中包括的处理来执行另一个处理,则可以将另一个可执行处理添加到集成处理列表中。
如果所安装的设备不是预定设备(步骤S902中为“否”),则控制单元304确定不存在所安装的设备可执行的处理。因此,控制单元304将从存储单元303中读出的可由自身装置执行的处理的第一处理列表设置为表示在图像捕获装置110侧可本地执行的处理的集成处理列表(步骤S905),并且结束处理。注意,当在设备移除时执行图9中所示的处理时,理所当然,预定设备没有被安装,因此,第一处理列表被处置为集成处理列表。
这使得可以基于能够执行特定处理的可拆卸设备100是否被安装在图像捕获装置110中来形成在图像捕获装置110侧可本地执行的处理的列表。另外,当将集成处理列表呈现给用户时,如稍后将描述的,用户可以选择通过可拆卸设备100的安装而在图像捕获装置110侧可本地执行的处理。
(确定分析处理内容的处理)
图10示出了由图像捕获装置110确定分析处理内容的处理过程的示例。在该处理中,经由输入/输出装置130将在图像捕获装置110侧可本地执行的分析处理呈现给用户,并且输入/输出装置130接受用户的选择。图像捕获装置110根据表示经由输入/输出装置130接受的用户选择的信息来确定要执行的分析处理。
在该处理中,首先,输入/输出装置130执行与图像捕获装置110的通信,并请求获得被捕获图像、集成处理列表和后处理列表(步骤S1001)。作为示例,输入/输出装置130将由ONVIF标准定义的请求消息发送到图像捕获装置110,从而请求将信息发送到图像捕获装置110。但是,本发明不限于此,并且信息发送请求可以通过另一个消息等来进行。在图像捕获装置110中,基于该请求,图像捕获控制单元301捕获外围环境,并且控制单元304控制信号处理单元302处理由图像捕获控制单元301捕获的图像并获得被捕获图像(步骤S1002)。注意,图像捕获装置110可以与请求的存在/不存在无关地捕获外围环境,并且连续获得被捕获图像。图像捕获装置110可以本地存储被捕获图像,或者将被捕获图像传送到诸如网络服务器之类的另一个装置并存储。控制单元304读出在存储单元303中存储的后处理列表。在本实施例中,后处理列表包括显示处理和存储处理,但不限于此。控制单元304控制网络通信单元307将后处理列表、通过图9中所示的处理获得的集成处理列表以及在步骤S1002中获得的被捕获图像发送到输入/输出装置130(步骤S1003)。作为示例,图像捕获装置110将对于由上述ONVIF标准定义的请求消息的响应消息发送到输入/输出装置130,从而将信息发送到输入/输出装置130。但是,本发明不限于此,并且信息可以通过另一个消息等来发送。注意,这里可以仅考虑要执行的处理,并且可以不执行步骤S1001中的由输入/输出装置130进行的被捕获图像请求、步骤S1002中的被捕获图像获得、以及步骤S1003中的到输入/输出装置130的被捕获图像发送。
输入/输出装置130从图像捕获装置110接收被捕获图像、集成处理列表和后处理列表。然后,输入/输出装置130通过屏幕显示等向用户呈现集成处理列表和后处理列表(步骤S1004)。注意,此时,输入/输出装置130还可以通过屏幕显示等向用户呈现被捕获图像。之后,用户确认所显示的集成处理列表和后处理列表,并从集成处理列表中选择要执行的分析处理(在下文中将被称为“执行目标处理”)(步骤S1005)。另外,用户选择要执行的后处理(在下文中将被称为“执行目标后处理”)(步骤S1006)。输入/输出装置130将表示执行目标处理和执行目标后处理的信息发送到图像捕获装置110(步骤S1007)。
图像捕获装置110的控制单元304控制网络通信单元307从输入/输出装置130接收表示由用户选择的执行目标处理的信息,并确定执行目标处理是否是被包括在第二处理列表中的处理(步骤S1008)。如果执行目标处理未被包括在第二处理列表中(步骤S1008中为“否”),则控制单元304结束图10中所示的处理,而无需通知可拆卸设备100在图像捕获装置110中执行处理。另一方面,如果执行目标处理被包括在第二处理列表中(步骤S1008中为“是”),则控制单元304控制设备通信单元306将执行目标处理设置请求传送到可拆卸设备100(步骤S1009)。
可拆卸设备100的通信单元502从图像捕获装置110接收执行目标处理设置请求。通信单元502将从图像捕获装置110接收到的执行目标处理设置请求输出到分析单元501。基于从通信单元502输入的执行目标处理设置请求,分析单元501从存储单元503获得执行目标处理的设置,并执行设置以将可拆卸设备100设置为执行目标处理可被执行的状态(步骤S1010)。例如,在完成设置处理之后,通信单元502将设置完成通知发送到图像捕获装置110(步骤S1011)。注意,通信单元502仅需要在可拆卸设备100的设置尚未完成的定时通知用于禁止图像捕获装置110写入数据的信息,并且可以在设置实际完成之前向图像捕获装置110通知设置完成定时等的信息。图像捕获装置110的控制单元304控制设备通信单元306从可拆卸设备100接收设置完成通知。
可以使用例如以下三种方法之一来执行从可拆卸设备100到图像捕获装置110的设置完成通知。在第一种通知方法中,在从图像捕获装置110对第一块的数据进行写入处理时,在执行目标处理的设置尚未结束的情况下,通信单元502输出BUSY信号。BUSY信号的输出例如通过将由SD标准定义的DATA的信号线驱动为低状态来执行。在这种情况下,图像捕获装置110确认BUSY信号,从而判别执行目标处理的设置是否完成。在第二种通知方法中,将直到执行目标处理的设置完成为止的时间预先存储在上述特定地址处,并且图像捕获装置110读出直到设置完成为止的时间的信息。在直到执行目标处理设置完成为止的时间过去之后,图像捕获装置110输出写入数据(发出写入命令)。这允许图像捕获装置110在执行目标处理的设置完成之后发送被捕获图像的数据。在第三种通知方法中,当执行目标处理的设置完成时,分析单元501将设置完成标志写入可拆卸设备100的第二特定地址处。图像捕获装置110读出第二特定地址处的数据,从而判别执行目标处理的设置是否完成。注意,设置完成标志被写入的地址的信息可以被存储在上述特定地址处,或者可以被存储在另一个地址处。
(分析处理的执行控制)
图11示出了当图像捕获装置110执行分析处理时的控制过程的示例。在该处理中,首先,图像捕获控制单元301捕获外围环境(步骤S1101)。控制单元304控制信号处理单元302处理由图像捕获控制单元301捕获的图像并获得被捕获图像。之后,控制单元304控制设备通信单元306从可拆卸设备100获得分析前处理和分析后处理的设置内容(步骤S1102)。之后,在控制单元304的控制下,基于从可拆卸设备100获得的分析前处理的设置内容,分析单元305对从控制单元304输入的被捕获图像执行分析前处理,并获得分析前处理结果的图像(步骤S1103)。控制单元304确定执行目标处理是否被包括在第二处理列表中(步骤S1104)。
在确定执行目标处理未被包括在第二处理列表中时(步骤S1104中为“否”),控制单元304控制分析单元305在图像捕获装置110中对分析前处理结果的图像执行执行目标处理(步骤S1105)。控制单元304控制分析单元305基于从可拆卸设备100获得的分析后处理的设置内容对分析处理结果执行分析后处理(步骤S1109),并结束处理。
如果执行目标处理被包括在第二处理列表中(步骤S1104中为“是”),则控制单元304控制设备通信单元306将分析前处理结果的图像发送到可拆卸设备100(步骤S1106)。例如,控制单元304发出分析前处理结果的写入请求(写入命令),从而将分析前处理结果的图像发送到可拆卸设备100。可拆卸设备100的通信单元502从图像捕获装置110接收分析前处理结果的图像,并将从图像捕获装置110接收到的图像输出到分析单元501。分析单元501对从通信单元502输入的图像执行在图10的步骤S1010中设置的执行目标处理(步骤S1107)。然后,通信单元502将通过分析单元501的处理获得的分析处理结果发送到图像捕获装置110(步骤S1108)。图像捕获装置110的控制单元304控制设备通信单元306从可拆卸设备100接收分析处理结果。之后,控制单元304控制分析单元305基于从可拆卸设备100获得的分析后处理的设置内容对分析处理结果执行分析后处理(步骤S1109)。
(后处理的执行控制)
图12示出了当图像捕获装置110执行后处理时的控制过程的示例。在该处理中,图像捕获装置110的控制单元304确定“显示”是否被包括在执行目标后处理中(步骤S1201)。在确定显示被包括在执行目标后处理中时(步骤S1201中为“是”),控制单元304控制网络通信单元307将分析处理的结果发送到输入/输出装置130(步骤S1202)。输入/输出装置130从图像捕获装置110接收分析处理的结果,并然后通过屏幕显示等向用户呈现分析处理的结果(步骤S1203)。另一方面,如果控制单元304确定显示未被包括在执行目标后处理中(步骤S1201中为“否”),则不执行步骤S1202和S1203的处理。
另外,图像捕获装置110的控制单元304确定“存储”是否被包括在执行目标后处理中(步骤S1204)。注意,步骤S1204的确定可以在步骤S1201之前执行,或者可以与步骤S1201并行执行。在确定存储被包括在执行目标后处理中时(步骤S1204中为“是”),控制单元304控制存储单元303存储分析处理的结果并结束处理。另一方面,在确定存储未被包括在执行目标后处理中时(步骤S1204中为“否”),控制单元304结束处理而无需执行步骤S1205的处理。
在本实施例中,如上所述,当使可拆卸设备100部分或全部执行分析处理时,图像捕获装置110从可拆卸设备100获得与这些处理对应的分析前处理和分析后处理的设置内容。图像捕获装置110基于所获得的分析前处理的设置内容来执行分析前处理,使可拆卸设备100执行分析处理,并且基于所获得的分析后处理的设置内容来对结果执行分析后处理。因此,即使可拆卸设备100可执行的分析处理改变,图像捕获装置110也可以执行适当的分析前处理和分析后处理,而无需改变图像捕获装置110的功能布置。即,例如,在相互不同的第一分析处理和第二分析处理中,诸如是否需要预先执行颜色转换以及应该输入的图像的大小之类的设置可以不同。此时,如果执行统一的分析前处理,则在第一分析处理和第二分析处理中的至少一个中进行不合适的输入,并且可能发生处理效率降低、处理失败等。另一方面,在本实施例中,可以执行与要由可拆卸设备100执行的处理对应的分析前处理。类似地,当执行与第一分析处理和第二分析处理有关的显示处理时,可以通过例如对检测到物体的区域执行阿尔法混合或使用矩形图案突出该区域来执行不同的分析后处理。此时,在本实施例中,可以执行与要由可拆卸设备100执行的处理对应的分析后处理。因此,如果通过例如可拆卸设备100的替换、可拆卸设备100中的FPGA的电路信息的重写等而改变了执行目标处理,则图像捕获装置110可以根据处理的改变来改变分析前处理和分析后处理的设置。注意,可拆卸设备100可以向图像捕获装置110通知前处理和后处理中的仅一个的设置信息。
注意,在本实施例中,从可拆卸设备100通知给图像捕获装置110的设置内容是分析前处理和分析后处理的设置内容。然而,设置内容可以是例如第二处理列表中包括的每个分析处理的设置内容。例如,可以将与要由可拆卸设备100和图像捕获装置110合作执行的图像分析处理有关的设置内容从可拆卸设备100通知给图像捕获装置110。分析处理的设置内容可以是分析处理的类型和参数。这里,分析处理可以包括由已经通过使用机器学习完成学习的学习模型进行的推理处理。此时,作为用于执行相同类型的分析的分析处理的类型,可以指定由学习模型进行的推理处理,或者可以指定不使用学习模型的推理处理。分析处理的参数可以是通过机器学习而学习到的学习模型的经学习参数。在这种情况下,与在图11的步骤S1107中由可拆卸设备100进行的执行目标处理的执行并行地,图像捕获装置110可以基于从可拆卸设备100获得的参数来执行从可拆卸设备100获得的类型的分析处理。这允许图像捕获装置110与可拆卸设备100合作执行分析处理而无需改变功能布置。
另外,分析处理的设置内容可以包括分析处理的描述。在这种情况下,当例如在图9的步骤S903中获得第二处理列表时,图像捕获装置110从可拆卸设备100获得关于第二处理列表中包括的每个分析处理的描述。在步骤S904中,图像捕获装置110可以创建包括分析处理的描述的集成处理列表。另外,在图10的步骤S1004中,输入/输出装置130可以将集成处理列表与每个分析处理的描述一起呈现给用户。这使得可以将可拆卸设备100可执行的分析处理与描述一起呈现给用户,而无需改变图像捕获装置110的功能布置。
另外,在本实施例中,已经描述了图像捕获装置110直接从可拆卸设备100获得分析前处理和分析后处理的设置内容的示例。然而,本发明不限于此。例如,图像捕获装置110可以从可拆卸设备100获得设置的标识信息,并且不需要获得设置内容本身。在这种情况下,图像捕获装置110可以经由网络120访问存储设置内容的外部装置(例如,服务器),将标识信息通知给外部服务器,并且获得与该标识信息对应的设置内容。这可以减少从可拆卸设备100通知给图像捕获装置110的信息量。而且,当使用具有大数据量的详细设置内容时,可拆卸设备100不需要保持设置内容,并且可拆卸设备100的存储容量可以防止被挤占。
在上述实施例中,已经描述了图像分析处理作为分析处理的示例。然而,本发明也适用于音频分析处理。例如,上述议论可以被应用于检测诸如尖叫、枪声或玻璃破裂声之类的音频模式的处理,或者被应用在由可拆卸设备100执行诸如声源位置估计处理之类的各种音频处理技术的情况下。在音频模式检测处理中,例如,通过诸如频谱分析之类的各种音频数据分析方法预先提取各种音频的特征量,并且将该特征量与基于所记录的音频的音频数据进行比较。通过计算匹配度,确定是否检测到特定的音频模式。在这种音频模式检测处理中,例如,当检测到与预定模式对应的音频时,可以执行通过屏幕显示或音频引导向用户通知检测到预定模式的后处理。而且,在声源位置估计处理中,使用例如由多个麦克风形成的阵列,基于每个麦克风检测到的音频的强度或相移来估计声源的位置。在声源位置估计处理中,执行用于引导声源存在的位置的屏幕显示或音频引导的处理可以作为后处理被执行。如上所述,在音频处理中,也可以通过要由可拆卸设备100执行的处理来改变后处理的设置内容。
注意,当执行音频分析处理时,可以将音频数据划分为预定时间的音频数据,并且可以使用预定时间的音频数据为单位来执行音频分析处理。此时,作为划分单位的预定时间的适当值可以根据要执行的处理而改变。由于这个原因,使用根据本实施例的处理使可拆卸设备100将设置内容通知给图像捕获装置110以使得针对每个处理执行适当的前处理是有用的。另外,在音频模式检测处理中,对于要检测的每个音频模式,预定时间可以不同。由于这个原因,可拆卸设备100可以将前处理的设置内容通知给图像捕获装置110,以使得每次与检测目标的音频模式对应的音频模式都被输入到可拆卸设备100。如上所述,如果可拆卸设备100具有分析输入音频数据的功能或保持输入音频数据的功能,通过应用上述处理,可以使图像捕获装置110执行适当的前处理和后处理。
在上述实施例中,已经描述了能够非临时性地存储从图像捕获装置110输入的数据的可拆卸设备100。然而,在一些实施例中,可以使用不能非临时性地存储从图像捕获装置110输入的数据的可拆卸设备100。即,可拆卸设备100可以仅对从图像捕获装置110输入的数据执行分析处理,并且可以不非临时性地存储数据。换句话说,上述议论可以被应用于其中使用了不像普通的SD卡那样以存储数据为目的而是仅以分析处理为目的的可拆卸设备100的系统。
其它实施例
本发明的(一个或多个)实施例还可以通过读出并执行记录在存储介质(也可以更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如,一个或多个程序)以执行一个或多个上述实施例的功能和/或包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如,专用集成电路(ASIC))的系统或装置的计算机来实现,以及通过由系统或装置的计算机例如通过从存储介质读出并执行计算机可执行指令以执行一个或多个上述实施例的功能和/或控制一个或多个电路执行一个或多个上述实施例的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如,中央处理单元(CPU)、微处理单元(MPU)),并且可以包括单独的计算机或单独的处理器的网络以读出并执行计算机可执行指令。可以例如从网络或存储介质将计算机可执行指令提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考示例性实施例描述了本发明,但是应该理解的是,本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释,以涵盖所有这样的修改以及等同的结构和功能。
Claims (21)
1.一种包括安装部的图像捕获装置,所述安装部能够附接/拆卸设备,所述图像捕获装置包括:
获得部件,用于如果被安装在安装部中的设备具有对由图像捕获装置获得的数据执行分析处理的功能,则从所述设备获得与为了使所述设备对数据执行分析处理而要由图像捕获装置执行的处理有关的设置的信息;
执行部件,用于基于所获得的所述设置的信息,执行要由图像捕获装置执行的处理;以及
输出部件,用于基于所述分析处理的结果和由执行部件进行的所述处理的结果来执行输出。
2.根据权利要求1所述的图像捕获装置,其中,要由图像捕获装置执行的处理包括所述分析处理的前处理。
3.根据权利要求1所述的图像捕获装置,其中,要由图像捕获装置执行的处理包括所述分析处理的后处理。
4.根据权利要求1所述的图像捕获装置,其中,要由图像捕获装置执行的处理包括在要由所述设备和图像捕获装置合作执行的分析处理中要由图像捕获装置执行的处理。
5.根据权利要求1所述的图像捕获装置,其中,所述设置的信息是用于标识设置值的标识信息,并且
所述图像捕获装置还包括用于基于所述标识信息从不同于所述设备的装置获得要由图像捕获装置执行的处理的设置值的部件。
6.根据权利要求1所述的图像捕获装置,其中,所述设置的信息包括设置值。
7.根据权利要求6所述的图像捕获装置,其中,所述设置值包括表示要由图像捕获装置执行的处理的类型的信息。
8.根据权利要求6所述的图像捕获装置,其中,所述设置值包括要由图像捕获装置执行的处理的参数。
9.根据权利要求1所述的图像捕获装置,其中,所述数据包括基于由图像捕获装置捕获的图像的图像数据。
10.根据权利要求1所述的图像捕获装置,其中,所述数据包括基于由图像捕获装置记录的音频的音频数据。
11.一种存储程序的计算机可读存储介质,所述程序被配置为使计算机充当权利要求1至10中任一项所述的图像捕获装置。
12.一种被安装在装置中的设备,所述装置包括能够附接/拆卸所述设备的安装部,所述设备包括:
处理部件,能够在所述设备被安装在包括安装部的图像捕获装置中时对由图像捕获装置获得的数据执行分析处理;以及
通知部件,用于向图像捕获装置通知与为了对数据执行分析处理而要由图像捕获装置执行的处理有关的设置的信息。
13.根据权利要求12所述的设备,其中,所述设置的信息包括要由图像捕获装置执行的处理的设置值。
14.根据权利要求12所述的设备,其中,所述设置的信息是由图像捕获装置用来从不同于所述设备的装置获得要由图像捕获装置执行的处理的设置值的标识信息。
15.根据权利要求13所述的设备,其中,所述设置值包括表示要由图像捕获装置执行的处理的类型的信息。
16.根据权利要求13所述的设备,其中,所述设置值包括要由图像捕获装置执行的处理的参数。
17.根据权利要求12所述的设备,其中,所述数据包括基于由图像捕获装置捕获的图像的图像数据。
18.根据权利要求12所述的设备,其中,所述数据包括基于由图像捕获装置记录的音频的音频数据。
19.一种存储程序的计算机可读存储介质,所述程序被配置为使计算机充当权利要求12至18中任一项所述的设备。
20.一种由图像捕获装置执行的控制方法,所述图像捕获装置包括能够附接/拆卸设备的安装部,所述控制方法包括:
如果被安装在安装部中的设备具有对由图像捕获装置获得的数据执行分析处理的功能,则从所述设备获得与为了使所述设备对数据执行分析处理而要由图像捕获装置执行的处理有关的设置的信息;
基于所获得的所述设置的信息,执行要由图像捕获装置执行的处理;以及
基于所述分析处理的结果和所述处理的结果,执行输出。
21.一种由设备执行的控制方法,所述设备被安装在包括能够附接/拆卸所述设备的安装部的装置中并且能够在所述设备被安装在包括安装部的图像捕获装置中时对由图像捕获装置获得的数据执行分析处理,所述控制方法包括:
向图像捕获装置通知与为了对数据执行分析处理而要由图像捕获装置执行的处理有关的设置的信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-033755 | 2020-02-28 | ||
JP2020033755A JP2021136666A (ja) | 2020-02-28 | 2020-02-28 | 撮像装置、デバイス、制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113329166A true CN113329166A (zh) | 2021-08-31 |
Family
ID=74758579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110211927.XA Pending CN113329166A (zh) | 2020-02-28 | 2021-02-25 | 图像捕获装置、设备、控制方法和计算机可读存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11765469B2 (zh) |
EP (1) | EP3873086A3 (zh) |
JP (1) | JP2021136666A (zh) |
CN (1) | CN113329166A (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441016B2 (ja) | 2019-09-20 | 2024-02-29 | キヤノン株式会社 | 撮像装置、情報処理装置、制御方法及びプログラム |
EP3817368A3 (en) | 2019-10-30 | 2021-09-29 | Canon Kabushiki Kaisha | Image capturing apparatus, control method, and program |
JP2021136664A (ja) | 2020-02-28 | 2021-09-13 | キヤノン株式会社 | デバイス、制御方法、およびプログラム |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6954859B1 (en) | 1999-10-08 | 2005-10-11 | Axcess, Inc. | Networked digital security system and methods |
JP2001147254A (ja) | 1999-11-19 | 2001-05-29 | Nec Ic Microcomput Syst Ltd | 半導体集積回路のテスト装置とそのテスト方法 |
US20040145660A1 (en) | 2001-06-06 | 2004-07-29 | Yosuke Kusaka | Electronic imaging apparatus and electronic imaging system |
JP2005345802A (ja) | 2004-06-03 | 2005-12-15 | Casio Comput Co Ltd | 撮像装置、この撮像装置に用いられる交換ユニット、交換ユニット使用制御方法及びプログラム |
JP2006019932A (ja) * | 2004-06-30 | 2006-01-19 | Canon Inc | 処理装置及び撮像装置 |
US7456872B2 (en) | 2004-11-29 | 2008-11-25 | Rothschild Trust Holdings, Llc | Device and method for embedding and retrieving information in digital images |
EP1860869B1 (en) * | 2005-03-18 | 2013-05-08 | Nikon Corporation | Digital camera |
KR100725981B1 (ko) | 2005-08-01 | 2007-06-08 | 삼성전자주식회사 | 멀티-인터페이스 컨트롤러, 상기 멀티-인터페이스컨트롤러를 구비하는 메모리 카드, 및 인터페이스 설정방법 |
US7739487B2 (en) | 2006-01-17 | 2010-06-15 | Nokia Corporation | Method for booting a host device from an MMC/SD device, a host device bootable from an MMC/SD device and an MMC/SD device method a host device may booted from |
JP2011168099A (ja) | 2010-02-16 | 2011-09-01 | Tokai Rika Co Ltd | タイヤ空気圧監視システム |
US20110304706A1 (en) | 2010-06-09 | 2011-12-15 | Border John N | Video camera providing videos with perceived depth |
JP5687602B2 (ja) * | 2011-11-07 | 2015-03-18 | オリンパス株式会社 | 無線通信機能付きメモリカード、無線通信機能付きメモリカードの動作方法、プログラム、デジタルカメラおよびデジタルカメラの動作方法 |
US9728077B1 (en) | 2013-03-14 | 2017-08-08 | Kuna Systems Corporation | eReceptionist and eNeighborhood watch system for crime prevention and/or verification |
US20140152777A1 (en) * | 2012-12-01 | 2014-06-05 | Csr Techology Inc. | Camera having additional functionality based on connectivity with a host device |
JP2015032890A (ja) | 2013-07-31 | 2015-02-16 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 撮像装置及び現像方法 |
JP6447505B2 (ja) * | 2013-10-07 | 2019-01-09 | ソニー株式会社 | 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法、撮像装置の制御方法およびプログラム |
KR102192198B1 (ko) | 2014-02-24 | 2020-12-17 | 삼성전자주식회사 | 전자 장치 및 그것의 통신 방법 |
JP6300202B2 (ja) | 2014-03-03 | 2018-03-28 | パナソニックIpマネジメント株式会社 | メモリカード及びメモリカード制御装置 |
JP5838371B1 (ja) | 2014-06-30 | 2016-01-06 | パナソニックIpマネジメント株式会社 | 動線分析システム、カメラ装置及び動線分析方法 |
JP6403784B2 (ja) | 2014-08-25 | 2018-10-10 | 株式会社日立国際電気 | 監視カメラシステム |
JP6447748B2 (ja) | 2015-12-18 | 2019-01-09 | 三菱電機株式会社 | 表示装置及び表示装置の更新方法 |
JP6758834B2 (ja) | 2016-01-14 | 2020-09-23 | キヤノン株式会社 | 表示装置、表示方法及びプログラム |
JP6543324B2 (ja) | 2017-12-15 | 2019-07-10 | 株式会社メガチップス | 情報処理システム、プログラム、及び付属装置の真贋判定方法 |
JP7080103B2 (ja) | 2018-05-16 | 2022-06-03 | キヤノン株式会社 | 撮像装置、その制御方法、および、プログラム |
JP2018157601A (ja) | 2018-06-14 | 2018-10-04 | 株式会社ニコン | 電子機器、プログラム、及び電子機器システム |
JP7129843B2 (ja) | 2018-08-01 | 2022-09-02 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム |
JP7204499B2 (ja) | 2019-01-21 | 2023-01-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、および、プログラム |
CN109993212B (zh) * | 2019-03-06 | 2023-06-20 | 西安电子科技大学 | 社交网络图片分享中的位置隐私保护方法、社交网络平台 |
JP7403242B2 (ja) | 2019-06-10 | 2023-12-22 | キヤノン株式会社 | 画像処理システム、画像処理方法、及びプログラム |
JP7441016B2 (ja) | 2019-09-20 | 2024-02-29 | キヤノン株式会社 | 撮像装置、情報処理装置、制御方法及びプログラム |
EP3817368A3 (en) | 2019-10-30 | 2021-09-29 | Canon Kabushiki Kaisha | Image capturing apparatus, control method, and program |
JP2021136664A (ja) | 2020-02-28 | 2021-09-13 | キヤノン株式会社 | デバイス、制御方法、およびプログラム |
JP7482649B2 (ja) | 2020-02-28 | 2024-05-14 | キヤノン株式会社 | 撮像装置、デバイス、制御方法、及びプログラム |
JP2021163998A (ja) | 2020-03-30 | 2021-10-11 | キヤノン株式会社 | 撮像装置、デバイス、制御方法、及びプログラム |
-
2020
- 2020-02-28 JP JP2020033755A patent/JP2021136666A/ja active Pending
-
2021
- 2021-02-25 US US17/184,925 patent/US11765469B2/en active Active
- 2021-02-25 CN CN202110211927.XA patent/CN113329166A/zh active Pending
- 2021-02-25 EP EP21159170.6A patent/EP3873086A3/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3873086A2 (en) | 2021-09-01 |
US11765469B2 (en) | 2023-09-19 |
JP2021136666A (ja) | 2021-09-13 |
EP3873086A3 (en) | 2022-01-26 |
US20210274095A1 (en) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113329166A (zh) | 图像捕获装置、设备、控制方法和计算机可读存储介质 | |
CN112752018B (zh) | 图像捕获装置、控制方法及计算机可读存储介质 | |
CN112543255B (zh) | 图像捕获装置、控制方法和计算机可读存储介质 | |
US20210274079A1 (en) | Image capturing apparatus, device, control method, and computer-readable storage medium | |
US11825194B2 (en) | Image capturing apparatus and method for controlling the same, and non-transitory computer-readable storage medium | |
US11729515B2 (en) | Imaging apparatus, information processing method, and recording medium for determining whether an image analysis of a predetermined image is complete | |
EP3926942B1 (en) | Method for processing photographed image and electronic device therefor | |
EP4027218B1 (en) | Detachable electrical device and control method thereof | |
CN112543304B (zh) | 设备、图像捕获装置、控制方法和计算机可读存储介质 | |
EP4054173A1 (en) | Image capturing apparatus, method for controlling image capturing apparatus | |
US11968469B2 (en) | Computing apparatus, image capturing apparatus, control method, and storage medium | |
CN112543256B (zh) | 图像捕获装置、控制方法和计算机可读存储介质 | |
US11843847B2 (en) | Device, information processing apparatus, control method therefor, and computer-readable storage medium | |
EP4221244A1 (en) | Image capturing apparatus, control method of image capturing apparatus, and computer program | |
JP2022072874A (ja) | 撮像装置、及び、その制御方法、及び、プログラム | |
JP2022167153A (ja) | 情報処理装置およびその制御方法 | |
JP2021163997A (ja) | 撮像装置、デバイス、通信方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |