CN112543257A - 图像捕获装置、设备、控制方法和计算机可读存储介质 - Google Patents
图像捕获装置、设备、控制方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112543257A CN112543257A CN202010985687.4A CN202010985687A CN112543257A CN 112543257 A CN112543257 A CN 112543257A CN 202010985687 A CN202010985687 A CN 202010985687A CN 112543257 A CN112543257 A CN 112543257A
- Authority
- CN
- China
- Prior art keywords
- processing
- image
- image capturing
- capturing apparatus
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
- H04N1/00954—Scheduling operations or managing resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
- H04N1/00965—Input arrangements for operating instructions or parameters, e.g. updating internal software using a plug-in memory module, e.g. memory card, memory stick
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2158—Intermediate information storage for one or a few pictures using a detachable storage unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Studio Devices (AREA)
- Information Transfer Systems (AREA)
- Facsimiles In General (AREA)
Abstract
本发明涉及图像捕获装置、设备、控制方法和计算机可读存储介质。一种图像捕获装置包括能够附接/拆卸至少能够存储被捕获图像的设备的安装部,该图像捕获装置生成基于被捕获图像的图像数据,如果被安装在安装部中的设备能对图像数据执行图像分析处理,则基于从设备获得的信息确定用于从设备获得图像分析处理结果的方法,将图像数据输出到设备,以及使用所确定的方法从设备获得结果。
Description
技术领域
本发明总体上涉及图像捕获装置、控制方法和计算机可读存储介质,尤其涉及加速数据传送的技术。
背景技术
近年来,在各种场景中使用由监视相机捕获的图像执行图像处理,诸如执行物体检测和跟踪或执行属性估计的图像分析以及基于这种图像分析的结果对物体数量的估计。常规上,已经通过将视频从监视相机传送到诸如执行实际图像处理的PC或服务器之类的高性能算术装置来执行这种图像处理。但是,移动算术装置的处理能力的最近提高允许监视相机侧执行图像处理。相机侧的处理可以通过例如被布置在相机主体中的算术装置来执行。当在诸如USB之类的可拆卸设备中布置有算术装置时,该可拆卸设备可以执行处理的至少一部分。
某些数据传送在相机和可拆卸设备之间以使可拆卸设备执行处理的形式发生。假设通过数据传送速度或数据传送量来控制诸如图像分析之类的整个处理的性能的情况。因此,重要的是要确保相机和可拆卸设备之间的接口有足够的通信频带。日本专利特许公开No.2019-003384描述了一种技术:当其数据传送未完成的读取请求的数量已达到预定数量时,使写入请求等待直到发出读取请求,从而维持读写之间的传送平衡并减少读取时延。但是,日本特许公开No.2019-003384中描述的技术控制传送顺序以防止读写不平衡,并且不能提高读写的传送效率。
本发明提供了一种提高数据传送效率的技术。
发明内容
根据本发明的一个方面,提供了一种图像捕获装置,该图像捕获装置包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部,所述图像捕获装置包括:生成部件,用于生成基于被捕获图像的图像数据;确定部件,用于如果被安装在安装部中的所述设备能对图像数据执行图像分析处理,则基于从所述设备获得的信息来确定要用于从所述设备获得图像分析处理的结果的方法;输出部件,用于将图像数据输出到所述设备;以及获得部件,用于使用由确定部件确定的方法从所述设备获得所述结果。
根据本发明的另一方面,提供了一种图像捕获装置,该图像捕获装置包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部,所述图像捕获装置包括:生成部件,用于生成基于被捕获图像的图像数据;输出部件,用于向所述设备输出图像数据和由图像捕获装置用来向被安装在安装部中的所述设备输出图像数据的命令;以及获得部件,用于如果所述设备能对图像数据执行图像分析处理,则接收对于所述命令的响应,从而获得图像分析处理的结果,所述响应包括所述结果。
根据本发明的又一方面,提供了一种能够至少存储被捕获图像并被安装在图像捕获装置中的设备,所述图像捕获装置包括能够附接/拆卸所述设备的安装部,所述设备包括:处理部件,用于对基于由图像捕获装置捕获的图像的图像数据执行图像分析处理;获得部件,用于从图像捕获装置获得图像数据和由图像捕获装置用来向所述设备输出图像数据的命令;以及发送部件,用于向图像捕获装置发送对于所述命令的响应,所述响应包括图像分析处理的结果。
根据本发明的又一方面,提供了一种由图像捕获装置执行的控制方法,所述图像捕获装置包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部,所述控制方法包括:生成基于被捕获图像的图像数据;如果被安装在安装部中的设备能对图像数据执行图像分析处理,则基于从所述设备获得的信息来确定要用于从所述设备获得图像分析处理的结果的方法;向所述设备输出图像数据;以及使用所确定的方法从所述设备获得所述结果。
根据本发明的又一方面,提供了一种由图像捕获装置执行的控制方法,所述图像捕获装置包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部,所述控制方法包括:生成基于被捕获图像的图像数据;向所述设备输出图像数据和由图像捕获装置用来向被安装在安装部中的所述设备输出图像数据的命令;以及如果所述设备能对图像数据执行图像分析处理,则接收对于所述命令的响应,从而获得图像分析处理的结果,所述响应包括所述结果。
根据本发明的又一方面,提供了一种由能够至少存储被捕获图像并被安装在图像捕获装置中的设备执行的控制方法,所述图像捕获装置包括能够附接/拆卸所述设备的安装部,所述控制方法包括:对基于由图像捕获装置捕获的图像的图像数据执行图像分析处理;从图像捕获装置获得图像数据和由所述图像捕获装置用来向所述设备输出图像数据的命令;以及向图像捕获装置发送对于所述命令的响应,所述响应包括图像分析处理的结果。
根据本发明的另一方面,提供了一种存储程序的计算机可读存储介质,所述程序被配置为使在包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部的图像捕获装置中提供的计算机:生成基于被捕获图像的图像数据;如果被安装在安装部中的所述设备能对图像数据执行图像分析处理,则基于从所述设备获得的信息来确定要用于从所述设备获得图像分析处理的结果的方法;向所述设备输出图像数据;以及使用所确定的方法从所述设备获得所述结果。
根据本发明的又一方面,提供了一种存储程序的计算机可读存储介质,所述程序被配置为使在包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部的图像捕获装置中提供的计算机:生成基于被捕获图像的图像数据;向所述设备输出图像数据和由图像捕获装置用来向被安装在安装部中的所述设备输出图像数据的命令;以及如果所述设备能对图像数据执行图像分析处理,则接收对于所述命令的响应,从而获得图像分析处理的结果,所述响应包括所述结果。
根据本发明的另一方面,提供了一种存储程序的计算机可读存储介质,所述程序被配置为使在设备中提供的计算机执行以下操作,所述设备能够至少存储被捕获图像并被安装在包括能够附接/拆卸所述设备的安装部的图像捕获装置中:对基于由图像捕获装置捕获的图像的图像数据执行图像分析处理;从图像捕获装置获得图像数据和由所述图像捕获装置用来向所述设备输出图像数据的命令;以及向图像捕获装置发送对于所述命令的响应,所述响应包括图像分析处理的结果。
通过(参考附图)对示例性实施例的以下描述,本发明的其它特征将变得清楚。
附图说明
图1是示出系统布置的示例的框图;
图2是示出图像捕获装置的硬件布置的示例的框图;
图3是示出图像捕获装置的功能布置的示例的框图;
图4是示出可拆卸设备的硬件布置的示例的框图;
图5是示出可拆卸设备的功能布置的示例的框图;
图6是示出输入/输出装置的硬件布置的示例的框图;
图7是示出输入/输出装置的功能布置的示例的框图;
图8是示出由系统执行的处理过程的示例的流程图;
图9是示出掌握分析处理的处理过程的示例的流程图;
图10是示出确定分析处理的内容的处理过程的示例的流程图;
图11是示出执行分析处理的控制过程的示例的流程图;
图12是示出执行后处理的控制过程的示例的流程图;
图13A和13B是示出命令和响应的结构的视图;
图14是示出响应自变量部分的布置的示例的视图;
图15是示出在使用读取命令发送/接收处理结果的情况下的数据发送/接收过程的示例的视图;
图16是示出在使用命令响应发送/接收处理结果的情况下的数据发送/接收过程的第一示例的视图;
图17是示出在系统中执行的处理过程的示例的流程图;
图18是示出由图像捕获装置执行的数据发送/接收处理过程的第一示例的流程图;
图19是示出由可拆卸设备执行的数据发送/接收处理过程的示例的流程图;
图20是示出在使用命令响应发送/接收处理结果的情况下的数据发送/接收过程的第二示例的视图;
图21A和图21B是示出由图像捕获装置执行的数据发送/接收处理的过程的第二示例的流程图;
图22是示出用户界面的示例的视图;
图23是示出处于显示处理结果的状态下的用户界面的示例的视图;
图24是示意性地示出用于面部认证处理的图像分析处理群和在每个装置中可执行的处理群的视图;
图25是示出要使用的处理功能的选择处理过程的示例的流程图;
图26是示出要使用的处理功能的选择处理过程的示例的流程图;以及
图27是示出要使用的处理功能的选择处理过程的示例的流程图。
具体实施方式
在下文中,将参考附图详细描述实施例。注意,以下实施例并非旨在限制所要求保护的发明的范围。在实施例中描述了多个特征,但是并非限制要求所有这样的特征的发明,并且可以适当地组合多个这样的特征。此外,在附图中,为相同或相似的配置赋予相同的附图标记,并且省略其重复描述。
<系统布置>
图1示出了根据本实施例的系统布置的示例。作为示例,下面将描述该系统是特定人物跟踪系统的情况。但是,本发明不限于此,并且以下讨论可以被应用于用于分析图像并执行预定信息输出的任意系统。该系统被配置为包括图像捕获装置110a至110d、网络120和输入/输出装置130。注意,图像捕获装置110a至110d均包括插槽,能够记录例如被捕获图像的设备可以附接至该插槽/从该插槽拆卸,并且当可拆卸设备100a至100d被插入到插槽中时,图像捕获装置110a至110d连接到可拆卸设备100a至100d。注意,可拆卸设备100a至100d将被称为“可拆卸设备100”,并且下文中图像捕获装置110a至110d将被称为“图像捕获装置110”。
可拆卸设备100是可附接到图像捕获装置110/可从图像捕获装置110拆卸的算术设备。作为示例,可拆卸设备100是在SD卡中安装有预定处理电路的设备。可拆卸设备100被配置为以例如SD卡的形式作为整体被插入到图像捕获装置110中,并且因此可以被配置为在没有任何部分从图像捕获装置110突出的情况下可连接到图像捕获装置110。可替代地,可拆卸设备100可以被配置为使得例如其一半或更多可以被插入到图像捕获装置110中,并且因此可以被配置为在使得一部分从图像捕获装置110稍微突出的同时可连接到图像捕获装置110。这可以防止可拆卸设备100受到诸如配线之类的障碍物的干扰,并且提高使用该设备时的便利性。另外,由于在许多现有的图像捕获装置110(诸如,网络相机)中准备了SD卡插槽,因此可拆卸设备100可以向现有的图像捕获装置110提供扩展功能。注意,除了SD卡的形式以外,可拆卸设备100可以被配置为经由在安装能够至少存储由图像捕获装置110捕获的图像的存储设备时使用的任意接口被安装在图像捕获装置110中。例如,可拆卸设备100可以包括USB(通用串行总线)接口,并且可以被配置为安装在图像捕获装置110的USB插座中。预定处理电路由例如被编程为执行预定处理的FPGA(现场可编程门阵列)来实现,但是可以以另一种形式来实现。
图像捕获装置110是诸如网络相机之类的图像捕获装置。在本实施例中,图像捕获装置110含有能够处理视频的算术装置,但是不限于此。例如,可以存在诸如连接到图像捕获装置110的外部计算机,诸如PC(个人计算机),并且可以将该组合作为图像捕获装置110来处置。此外,在本实施例中,可拆卸设备100被安装在图像捕获装置110中的至少一个中。注意,图1示出了四个图像捕获装置110以及被安装在这些图像捕获装置110中的可拆卸设备。设备的组合的数量可以是三个或更少、或者五个或更多。当具有图像分析处理功能的可拆卸设备100被安装在图像捕获装置110中时,即使图像捕获装置110不具有图像分析处理功能,也可以在图像捕获装置110侧执行视频处理。此外,如在本实施例中那样,以在图像捕获装置110中布置用于视频处理的算术装置的形式,通过将包括算术装置的可拆卸设备100安装在图像捕获装置110中,可以使在图像捕获装置110侧可执行的图像处理多样化/复杂化。
输入/输出装置130是执行来自用户的输入的接受以及到用户的信息(例如,显示信息)输出的装置。在本实施例中,例如,输入/输出装置130是诸如PC之类的计算机,并且信息通过计算机中安装的浏览器或本地应用来输入/输出。
图像捕获装置110和输入/输出装置130经由网络120可通信地连接。网络120被配置为包括满足例如的通信标准的多个路由器、交换机、电缆等。在本实施例中,网络120可以是使得能够在图像捕获装置110和输入/输出装置130之间进行通信的任意网络,并且可以由任意规模和布置以及所符合的通信标准来构造。例如,网络120可以是互联网、有线LAN(局域网)、无线LAN、WAN(广域网)等。网络120可以被配置为使得例如通过符合ONVIF(开放网络视频接口论坛)标准的通信协议的通信是可能的。但是,网络120不限于此,并且可以被配置为使得例如通过另一种通信协议(诸如唯一通信协议)的通信是可能的。
<装置布置>
(图像捕获装置的布置)
接下来将描述图像捕获装置110的布置。图2是示出图像捕获装置110的硬件布置的示例的框图。作为硬件布置,图像捕获装置110包括例如图像捕获单元201、图像处理单元202、算术处理单元203、分发单元204和SD I/F单元205。注意,I/F是接口(interface)的缩写。
图像捕获单元201被配置为包括:透镜部,其被配置为形成光的图像;以及图像捕获元件,其根据所形成的光的图像执行模拟信号转换。透镜部具有调整视角的变焦功能、调整光量的光阑功能等。图像捕获元件具有调整在将光转换成模拟信号时的灵敏度的增益功能。这些功能基于从图像处理单元202通知的设置值而被调整。由图像捕获单元201获得的模拟信号被模数转换电路转换成数字信号,并且作为图像信号被传送到图像处理单元202。
图像处理单元202被配置为包括图像处理引擎及其外围设备。外围设备包括例如RAM(随机存取存储器)、I/F的驱动器等。图像处理单元202例如对从图像捕获单元201获得的图像信号执行诸如显影处理、滤波处理、传感器校正和噪声去除之类的图像处理,从而生成图像数据。图像处理单元202还可以将设置值发送到透镜部和图像捕获元件,并且执行曝光调整以获得适当的曝光图像。由图像处理单元202生成的图像数据被传送到算术处理单元203。
算术处理单元203由诸如CPU或MPU之类的至少一个处理器、诸如RAM和ROM之类的存储器、I/F的驱动器等形成。注意,CPU是中央处理单元的首字母缩写,MPU是微处理单元的首字母缩写,RAM是随机存取存储器的首字母缩写,并且ROM是只读存储器的首字母缩写。在示例中,算术处理单元203可以确定关于图像捕获装置110和可拆卸设备100中的哪一个应当执行在上述系统中要执行的处理的每个部分的分配,并且执行与该分配对应的处理。稍后将描述处理内容和处理分配的细节。从图像处理单元202接收到的图像被传送到分发单元204或SD I/F单元205。处理结果的数据也被传送到分发单元204。
分发单元204被配置为包括网络分发引擎以及例如诸如RAM和ETH PHY模块之类的外围设备。ETH PHY模块是执行以太网的物理(PHY)层的处理的模块。分发单元204将从算术处理单元203获得的图像数据或处理结果的数据转换成可分发到网络120的格式,并将转换后的数据输出到网络120。SD I/F单元205是用于连接可拆卸设备100的接口部,并且被配置为包括例如电源和安装部,诸如用于附接/拆卸可拆卸设备100的附接/拆卸插座。这里,SDI/F单元205根据由SD协会制定的SD标准来配置。可拆卸设备100与图像捕获装置110之间的通信(诸如从算术处理单元203获得的图像到可拆卸设备100的传送或从可拆卸设备100获得的数据的传送)经由SD I/F单元205执行。
图3示出了图像捕获装置110的功能布置的示例。图像捕获装置110包括例如图像捕获控制单元301、信号处理单元302、存储单元303、控制单元304、分析单元305、设备通信单元306以及网络通信单元307作为其功能。
图像捕获控制单元301执行经由图像捕获单元201捕获外围环境的控制。信号处理单元302对由图像捕获控制单元301捕获的图像执行预定处理,从而生成被捕获图像的数据。下文中将被捕获图像的数据简称为“被捕获图像”。信号处理单元302例如对由图像捕获控制单元301捕获的图像进行编码。信号处理单元302使用例如诸如JPEG(联合图像专家组)之类的编码方法对静止图像执行编码。信号处理单元302使用诸如H.264/MPEG-4AVC(下文中将称为“H.264”)或HEVC(高效视频编码)之类的编码方法对运动图像执行编码。信号处理单元302可以使用由用户经由例如图像捕获装置110的操作单元(未示出)从预先设置的多种编码方法中选择的编码方法对图像进行编码。
存储单元303存储分析单元305可执行的分析处理的列表(下文中将称为“第一处理列表”)和针对分析处理的结果的后处理的列表。存储单元303还存储稍后描述的分析处理的结果。注意,在本实施例中,要执行的处理是分析处理。但是,可以执行任意处理,并且关于与要执行的处理相关联的处理,存储单元303可以存储第一处理列表和后处理的列表。控制单元304控制信号处理单元302、存储单元303、分析单元305、设备通信单元306和网络通信单元307以执行预定处理。
分析单元305针对被捕获图像选择性地执行稍后将描述的分析前处理、分析处理和分析后处理中的至少一个。分析前处理是在执行稍后将描述的分析处理之前对被捕获图像执行的处理。在根据本实施例的分析前处理中,作为示例,执行对被捕获图像进行分割以创建分割图像的处理。分析处理是输出通过对输入图像进行分析而获得的信息的处理。在根据本实施例的分析处理中,作为示例,执行如下处理:接收通过分析前处理获得的分割图像,执行人体检测处理、面部检测处理和车辆检测处理中的至少一个,以及输出分析处理结果。分析处理可以是被配置为使用机器学习模型输出对象在分割图像中的位置的处理,机器学习模型已经学习使用例如J.Redmon和A.Farhadi的“YOLO9000:Better FasterStronger”计算机视觉和模式识别(CVPR)2016中的技术来检测图像中包括的对象。分析后处理是在执行分析处理之后要执行的处理。在根据本实施例的分析后处理中,作为示例,执行输出通过基于针对每个分割图像的分析处理结果而在那些分割图像中检测到的对象的数量相加而获得的值作为处理结果的处理。注意,分析处理可以是通过执行模式匹配检测图像中的对象并输出对象的位置的处理。
设备通信单元306执行与可拆卸设备100的通信。设备通信单元306将输入数据转换成可拆卸设备100可处理的格式,并将通过转换获得的数据发送到可拆卸设备100。另外,设备通信单元306从可拆卸设备100接收数据,并将接收到的数据转换成图像捕获装置110可处理的格式。在本实施例中,作为转换处理,设备通信单元306执行在浮点格式和定点格式之间转换小数(decimal)的处理。但是,本发明不限于此,并且可以由设备通信单元306执行另一个处理。此外,在本实施例中,设备通信单元306将在SD标准的范围内预先确定的命令序列发送到可拆卸设备100,并且从可拆卸设备100接收响应,从而执行与可拆卸设备100的通信。网络通信单元307执行经由网络120与输入/输出装置130的通信。
(可拆卸设备的布置)
图4是示出可拆卸设备100的硬件布置的示例的框图。作为示例,可拆卸设备100被配置为包括I/F单元401、FPGA 402和SD控制器403。可拆卸设备100形成为可插入到设在图像捕获装置110中的SD I/F单元205的附接/拆卸插座中/从其中移除的形状,即,符合SD标准的形状。
I/F单元401是用于连接诸如图像捕获装置110之类的装置与可拆卸设备100的接口部。I/F单元401被配置为包括例如电接触端子,该电接触端子从图像捕获装置110接收电力供应并且生成和分配将在可拆卸设备100中使用的电力等。关于在(符合)SD标准中定义的项目,I/F单元401与图像捕获装置110的SD I/F单元205一样地符合。经由I/F单元401执行来自图像捕获装置110的图像和设置数据的接收以及从FPGA 402到图像捕获装置110的数据的发送。
FPGA 402被配置为包括输入/输出控制单元410、处理切换单元411和算术处理单元412。FPGA 402是一种能够重复地重建内部逻辑电路结构的半导体设备。通过由FPGA 402实现的处理,可以向安装有可拆卸设备100的装置添加(提供)处理功能。此外,由于逻辑电路结构可以在稍后通过FPGA 402的重构功能来改变,因此当可拆卸设备100被安装在例如快速发展技术领域中的装置中时,可以在适当的定时在装置中执行适当的处理。注意,在本实施例中,将描述使用FPGA的示例。但是,例如可以使用通用ASIC或专用LSI,只要能执行稍后描述的处理。通过从专用I/F写入包括要生成的逻辑电路结构的信息的设置数据或从专用I/F读出设置数据来激活FPGA 402。在本实施例中,设置数据被保持在存储单元404中。当加电时,FPGA 402从存储单元404中读出设置数据,并生成和激活逻辑电路。但是,本发明不限于此。例如,图像捕获装置110可以通过在可拆卸设备中实现专用电路来经由I/F单元401将设置数据写入到FPGA 402中。
输入/输出控制单元410被配置为包括用于向/从图像捕获装置110发送/接收图像的电路、分析从图像捕获装置110接收到的命令的电路、基于分析的结果进行控制的电路等。这里的命令由SD标准定义,并且输入/输出控制单元410可以检测其中的一些命令。稍后将描述功能的细节。输入/输出控制单元410进行控制,以在存储处理中将图像发送到SD控制器403,并在图像分析处理中将图像发送到算术处理单元412。如果接收到处理切换的设置数据,则输入/输出控制单元410将设置数据发送到处理切换单元411。处理切换单元411被配置为包括如下电路:该电路被配置为基于从图像捕获装置110接收到的设置数据从存储单元404获得图像分析处理功能的信息,并将该信息写入到算术处理单元412中。图像分析处理功能的信息包括表示例如在算术处理单元412中处理的运算的次序和类型、运算的系数等的设置参数。算术处理单元412被配置为包括执行图像分析处理功能所需的多个算术电路。算术处理单元412基于从处理切换单元411接收到的图像分析处理功能的信息来执行每个算术处理、将处理结果发送到图像捕获装置110和/或将处理结果记录在存储单元404中。如上所述,FPGA 402提取在预先保持的与多个处理功能对应的设置数据中包括的执行目标处理功能的设置数据,并且基于提取出的设置数据来重写要由算术处理单元412执行的处理内容。这允许可拆卸设备100选择性地执行多个处理功能中的至少一个。另外,通过适当地添加要新添加的处理的设置数据,可以在图像捕获装置110侧执行最新处理。注意,在下文中,保持与多个处理功能对应的多个设置数据将被称为保持多个处理功能。也就是说,即使在可拆卸设备100的FPGA 402被配置为执行一个处理功能的状态下,如果可以通过另一个处理功能的设置数据来改变算术处理单元412的处理内容,则这也将被表达为保持多个处理功能。
SD控制器403是如由SD标准定义的已知控制IC(集成电路),并且执行对SD协议的从属操作的控制以及对存储单元404的数据读/写的控制。存储单元404由例如NAND闪存形成,并且存储各种信息,诸如从图像捕获装置110写入的存储数据、在算术处理单元412中写入的图像分析处理功能的信息以及FPGA 402的设置数据。
图5示出了可拆卸设备100的功能布置的示例。可拆卸设备100包括例如分析单元501和通信单元502作为其功能布置。分析单元501对图像执行分析处理。例如,如果输入了分析处理设置请求,则分析单元501执行设置以将输入的分析处理设置为可执行状态。如果输入了图像,则分析单元501对输入图像执行被设置为可执行状态的分析处理。在本实施例中,可执行的分析处理包括人体检测处理和面部检测处理,但是不限于这些。例如,它可以是确定预先存储的人是否被包括在图像中的处理(面部认证处理)。例如,如果计算出预先存储的人的图像特征量和从输入图像检测到的人的图像特征量之间的匹配程度,并且该匹配程度等于或大于阈值,则确定该人是预先存储的人。可替代地,出于隐私保护的目的,它可以是在从输入图像中检测到的人上叠加预定的掩模图像或执行马赛克处理的处理。它可以是使用通过机器学习已经学习到人的特定动作的学习模型来检测图像中的人是否正在采取特定动作的处理。此外,它可以是确定图像中的区域是哪种区域的处理。它可以是使用例如通过机器学习已学习到建筑物、道路、人、天空等的学习模型来确定图像中的区域是哪种区域的处理。如上所述,可执行分析处理可以应用于使用机器学习的图像分析处理和不使用机器学习的图像分析处理这两者。上述每个分析处理可以不由可拆卸设备100独立地执行,而是与图像捕获装置110合作执行。通信单元502执行经由I/F单元401与图像捕获装置110的通信。
(输入/输出装置的布置)
图6示出了输入/输出装置130的硬件布置的示例。输入/输出装置130形成为诸如通用PC之类的计算机,并且被配置为包括例如诸如CPU之类的处理器601、诸如RAM 602和ROM 603之类的存储器、诸如HDD 604之类的存储设备、以及通信I/F 605,如图6中所示。输入/输出装置130可以通过处理器601执行存储在存储器和存储设备中的程序来执行各种功能。
图7示出了根据本实施例的输入/输出装置130的功能布置的示例。输入/输出装置130包括例如网络通信单元701、控制单元702、显示单元703和操作单元704作为其功能布置。网络通信单元701连接到例如网络120,并且执行经由网络120与诸如图像捕获装置110之类的外部装置的通信。注意,这仅仅是示例,并且例如,网络通信单元701可以被配置为建立与图像捕获装置110的直接通信并与图像捕获装置110通信而无需网络120或其它装置的干预。控制单元702进行控制,以使得网络通信单元701、显示单元703和操作单元704执行它们自己的处理。显示单元703经由例如显示器向用户呈现信息。在本实施例中,在显示器上显示通过浏览器的渲染结果,从而向用户呈现信息。注意,可以通过除屏幕显示以外的诸如语音或振动之类的方法来呈现信息。操作单元704接受来自用户的操作。在本实施例中,操作单元704是鼠标或键盘,并且用户对其进行操作以将用户操作输入到浏览器。但是,操作单元704不限于此,并且可以是例如能够检测用户的意图的另一个任意设备,诸如触摸面板或麦克风。
<处理过程>
接下来将描述在系统中执行的处理过程的示例。注意,由图像捕获装置110在以下处理中执行的处理是例如通过算术处理单元203中的处理器执行存储器中存储的程序等而实现的。但是,这仅仅是示例,并且稍后描述的处理可以部分地或全部地由专用硬件实现。另外,由可拆卸设备100或输入/输出装置130执行的处理也可以通过每个装置中的处理器执行存存储器中储的程序等来实现,并且处理可以部分地或全部地由专用硬件来实现。
(总体过程)
图8示意性地示出了由系统执行的图像分析处理的一系列过程。在该处理中,首先,用户将可拆卸设备100安装在图像捕获装置110中(步骤S801)。图像捕获装置110执行可拆卸设备100的初始化序列(步骤S802)。在该初始化序列中,在图像捕获装置110和可拆卸设备100之间发送/接收预定命令,并且这样将图像捕获装置110设置为它能使用可拆卸设备100的状态。之后,图像捕获装置110掌握可拆卸设备100可执行的处理,并且掌握可以在本地执行(可以仅由图像捕获装置110执行或者由图像捕获装置110和可拆卸设备100的组合执行)的处理(步骤S803)。注意,虽然可拆卸设备100可以被配置为执行任意处理,但是与应当在图像捕获装置110侧执行的处理无关的处理不需要纳入考虑。在示例中,图像捕获装置110可以保持预先从例如输入/输出装置130获得的可执行处理的列表。在这种情况下,当从可拆卸设备100获得表示可拆卸设备100可执行的处理的信息时,图像捕获装置110可以根据处理是否被包括在列表中来仅掌握可执行处理。接下来,图像捕获装置110确定要执行的处理,并且根据需要执行可拆卸设备100的设置(步骤S804)。即,如果被确定为执行目标的处理的至少一部分要由可拆卸设备100执行,则针对该处理的可拆卸设备100的设置被执行。在该设置中,例如,可以执行使用与执行目标的处理对应的设置数据的FPGA 402重构。然后,图像捕获装置110或可拆卸设备100执行分析处理(步骤S805)。之后,图像捕获装置110执行后处理(步骤S806)。注意,步骤S805和S806的处理被重复地执行。图8所示的处理是当例如安装可拆卸设备100时执行的。但是,图8中所示的处理的至少一部分可以被重复地执行,使得例如当可拆卸设备100被拆卸时再次执行步骤S803的处理。
(掌握激发处理的处理)
图9示出了掌握图像捕获装置110可执行的处理的处理过程的示例。该处理对应于图8中的步骤S803的处理,并且如果诸如可拆卸设备100之类的设备被安装在图像捕获装置110上或被移除,或者如果图像捕获装置110通电,则该处理可以被执行。在该处理中,图像捕获装置110读出可拆卸设备100可执行的处理、将其与图像捕获装置110本身可执行的分析处理集成,并掌握在图像捕获装置110侧可执行的分析处理。
首先,图像捕获装置110的控制单元304读出存储在存储单元303中的第一处理列表,第一处理列表是图像捕获装置110本身的分析单元305可执行的处理列表(步骤S901)。接下来,控制单元304确定所安装的设备是例如仅具有存储功能的常规设备还是诸如可拆卸设备100之类的具有特定处理功能的预定设备(步骤S902)。例如,控制单元304控制设备通信单元306向安装的设备发出对于特定地址的读取请求(读取命令),并读出在该特定地址处存储的标记数据。在下文中,有时将特定地址称为“地址A”。注意,稍后将描述在地址A处存储的数据的细节。控制单元304可以基于读取的标志数据来确定可拆卸设备100是否是具有特定处理功能的预定设备。但是,这仅仅是示例,并且可以通过另一种方法确定所安装的设备是否是预定设备。
如果安装的设备是预定设备(步骤S902中为“是”),则控制单元304执行掌握该设备(可拆卸设备100)中可执行的处理的处理。控制单元304控制设备通信单元306与可拆卸设备100通信,并获得在可拆卸设备100中可执行的处理的列表(在下文中将称为“第二处理列表”)(步骤S903)。例如,如在确定可拆卸设备100是否是预定设备的情况中那样,控制单元304读出在地址A处存储的数据,从而获得第二处理列表。注意,例如,第二处理列表可以被存储在与用于确定可拆卸设备是否是预定设备的标志数据相同的地址(地址A)处。在这种情况下,图像捕获装置110可以通过访问地址A并同时获得标志数据和第二处理列表来同时执行步骤S902的处理和步骤S903的处理。但是,本发明不限于此,并且这些数据可以被存储在不同的地址处。之后,控制单元304创建其中集成了从存储单元303读出的图像捕获装置110本身可执行的处理的第一处理列表和从可拆卸设备获得的第二处理列表的集成处理列表(步骤S904),并结束处理。
集成处理列表表示在无需诸如网络上的服务器装置之类的装置执行处理的情况下在图像捕获装置110侧可本地执行的处理的列表。注意,在本实施例中,集成处理列表是通过第一处理列表中包括的处理和第二处理列表中包括的处理的联合而获得的列表。集成处理列表是在第一处理列表和第二处理列表中的至少一个中包括的处理的列表。但是,本发明不限于此。例如,如果可以通过组合第一处理列表中包括的处理和第二处理列表中包括的处理来执行另一个处理,则可以将另一个可执行处理添加到集成处理列表中。即,如果可以使用第一处理列表中包括的至少一些处理和第二处理列表中包括的至少一些处理来执行新的分析处理,则可以在集成处理列表中包括该分析处理的信息。例如,可以通过面部检测处理功能、面部特征提取处理功能和面部特征校对处理功能的功能群来实现面部认证处理。此时,如果在第一处理列表中包括面部检测处理功能和面部特征提取处理功能,并且在第二处理列表中包括面部特征校对处理功能,则可以在集成处理列表中包括面部认证处理。
如果所安装的设备不是预定设备(步骤S902中为“否”),则控制单元304确定不存在所安装的设备可执行的处理。因此,控制单元304将从存储单元303中读出的可由自身装置执行的处理的第一处理列表设置为表示在图像捕获装置110侧可本地执行的处理的集成处理列表(步骤S905),并且结束处理。注意,当在设备移除时执行图9中所示的处理时,理所当然,预定设备没有被安装,因此,第一处理列表被处置为集成处理列表。
这使得可以基于能够执行特定处理的可拆卸设备100是否被安装在图像捕获装置110中来形成在图像捕获装置110侧可本地执行的处理的列表。另外,当将集成处理列表呈现给用户时,如稍后将描述的,用户可以选择通过可拆卸设备100的安装而在图像捕获装置110侧可本地执行的处理。
注意,在本实施例中,已经描述了生成集成处理列表的示例。但是,可以分开管理第一处理列表和第二处理列表,并且可以不生成集成处理列表。即,可以以可区分的方式管理和输出可拆卸设备100可执行的处理和在没有可拆卸设备100的情况下图像捕获装置110可执行的处理。即使以可区分的方式管理第一处理列表和第二处理列表,也可以生成和管理集成处理列表。例如,如果可以使用第一处理列表中包括的处理和第二处理列表中包括的处理一起执行新处理,则新处理不被包括在第一处理列表和第二处理列表中,而是被包括在集成处理列表中。注意,当输出集成处理列表时,可以一起输出以可区分的方式表示集成处理列表中包括的处理是被包括在第一处理列表中还是第二处理列表中的信息。这允许用户例如识别是否可以在没有可拆卸设备100的情况下执行所呈现的处理。
注意,上述处理列表被提供给至少在图像捕获装置110中不包括的外部装置,如输入/输出装置130,但是可以不被提供给外部。例如,通过在图像捕获装置110包括显示器的情况下将处理列表显示在显示器上,或者通过在图像捕获装置110具有语音输出功能的情况下用语音输出处理列表,处理列表可以被输出。如果将具有非预期功能的可拆卸设备100错误地安装在图像捕获装置110中,则用户可以通过在图像捕获装置110上显示处理列表来快速识别安装错误。如上所述,图像捕获装置110可以以任意格式输出基于表示图像捕获装置110可执行的处理的第一处理列表和表示可拆卸设备100可执行的处理的第二处理列表的信息。
此外,当可拆卸设备100被移除时,图像捕获装置110再次执行图9中所示的处理,从而更新集成处理列表。此时,图像捕获装置110可以丢弃与被移除的可拆卸设备100相关的第二处理列表。但是,本发明不限于此,并且即使在可拆卸设备100没有被安装的情况下,图像捕获装置110也可以将与某个可拆卸设备100相关的第二处理列表单独存储在存储单元303中并输出第二处理列表。即,图像捕获装置110可以输出用于过去安装和移除的可拆卸设备100的第二处理列表。图像捕获装置110可以输出表示通过使用在与过去安装和移除的可拆卸设备100相关的第二处理列表中包括的处理和在第一处理列表中包括的(可由自身装置执行的)处理而可执行的处理的信息。换句话说,图像捕获装置110可以输出不能仅由自身装置执行的处理的信息。这使得可以向用户通知存在能够执行由输出信息表示的处理的可拆卸设备100,并且该处理可以通过安装可拆卸设备100来执行。
此外,图像捕获装置110可以输出与过去从未被安装在自身装置中但能被安装在自身装置中的可拆卸设备100(未安装设备)相关的第二处理列表。表示这种未安装设备和该未安装设备可执行的分析处理的信息可以例如由图像捕获装置110经由外部服务器(未示出)获得。表示未安装设备和该未安装设备可执行的分析处理的信息可以例如预先由图像捕获装置110保持。
另外,图像捕获装置110可以输出表示通过使用在未安装设备的第二处理列表中包括的处理和在第一处理列表中包括的(自身装置可执行的)处理而可执行的处理的信息。换句话说,图像捕获装置110可以输出不能仅由自身装置执行的处理的信息。这使得可以向用户通知存在能够执行由输出信息表示的处理的可拆卸设备100,并且该处理可以通过安装可拆卸设备100来执行。
注意,当存储过去被安装和移除的可拆卸设备100的第二处理列表时,图像捕获装置110可以一起存储能够标识设备的信息,诸如可拆卸设备100的型号。当输出与可拆卸设备100相关的第二处理列表时,图像捕获装置110可以一起输出能够标识可拆卸设备100的信息。这允许用户容易地识别应该将哪个可拆卸设备100安装在图像捕获装置110中以使用所呈现的处理功能。
(确定分析处理内容的处理)
图10示出了由图像捕获装置110确定分析处理内容的处理过程的示例。在该处理中,经由输入/输出装置130将在图像捕获装置110侧可本地执行的分析处理呈现给用户,并且输入/输出装置130接受用户的选择。图像捕获装置110根据表示经由输入/输出装置130接受的用户选择的信息来确定要执行的分析处理。
在该处理中,首先,输入/输出装置130的控制单元702控制网络通信单元701执行与图像捕获装置110的通信,并请求获得被捕获图像、集成处理列表和后处理列表(步骤S1001)。作为示例,输入/输出装置130将由ONVIF标准定义的请求消息发送到图像捕获装置110,从而请求将信息发送到图像捕获装置110。但是,本发明不限于此,并且信息发送请求可以通过另一个消息等来进行。在图像捕获装置110中,网络通信单元307接收请求并将其输出到控制单元304。控制单元304基于请求执行控制,使得图像捕获控制单元301捕获外围环境,并且信号处理单元302处理由图像捕获控制单元301捕获的图像以获得被捕获图像(步骤S1002)。所获得的被捕获图像被输出到控制单元304。注意,图像捕获装置110可以与请求的存在/不存在无关地捕获外围环境,并且连续获得被捕获图像。图像捕获装置110可以本地存储被捕获图像,或者将被捕获图像传送到诸如网络服务器之类的另一个装置并进行存储。控制单元304读出在存储单元303中存储的后处理列表。在本实施例中,后处理列表包括显示处理和存储处理,但不限于此。控制单元304经由网络通信单元307将后处理列表、通过图9中所示的处理获得的集成处理列表以及在步骤S1002中获得的被捕获图像发送到输入/输出装置130(步骤S1003)。作为示例,图像捕获装置110将对于由上述ONVIF标准定义的请求消息的响应消息发送到输入/输出装置130,从而将信息发送到输入/输出装置130。但是,本发明不限于此,并且信息可以通过另一个消息等来发送。注意,这里可以仅考虑要执行的处理,并且可以不执行在步骤S1001中由输入/输出装置130进行的被捕获图像请求、在步骤S1002中的被捕获图像获得、以及在步骤S1003中的到输入/输出装置130的被捕获图像发送。
输入/输出装置130的控制单元702控制网络通信单元701从图像捕获装置110接收被捕获图像和集成处理列表。然后,控制单元702控制显示单元703通过屏幕显示等向用户呈现集成处理列表和后处理列表(步骤S1004)。注意,此时,控制单元702还可以通过屏幕显示等向用户呈现被捕获图像。之后,用户确认由显示单元703显示的集成处理列表和后处理列表,并经由操作单元704从集成处理列表中选择要执行的分析处理(在下文中将称为“执行目标处理”)(步骤S1005)。另外,用户经由操作单元704选择要执行的后处理(在下文中将称为“执行目标后处理”)(步骤S1006)。稍后将描述在步骤S1004中向用户的信息呈现、在步骤S1005中由用户进行的分析处理选择以及在步骤S1006中由用户进行的后处理选择的细节。操作单元704将执行目标处理和执行目标后处理的选择结果输出到控制单元702。控制单元702控制网络通信单元701将表示从操作单元704输入的执行目标处理和执行目标后处理的信息发送到图像捕获装置110(步骤S1007)。
图像捕获装置110的控制单元304控制网络通信单元307从输入/输出装置130接收表示由用户选择的执行目标处理的信息,并确定执行目标处理是否是被包括在第二处理列表中的处理(步骤S1008)。如果执行目标处理未被包括在第二处理列表中(步骤S1008中为“否”),则控制单元304结束图10所示的处理,而无需通知可拆卸设备100在图像捕获装置110中执行处理。另一方面,如果执行目标处理被包括在第二处理列表中(步骤S1008中为“是”),则控制单元304控制设备通信单元306将执行目标处理设置请求发送到可拆卸设备100(步骤S1009)。
可拆卸设备100的通信单元502从图像捕获装置110接收执行目标处理设置请求。此时,通信单元502可以通过从图像捕获装置110写入的数据量或写入命令的类型来区分执行目标处理设置请求。稍后将描述设置请求区分方法的细节。通信单元502将从图像捕获装置110接收到的执行目标处理设置请求输出到分析单元501。基于从通信单元502输入的执行目标处理设置请求,分析单元501执行设置以将可拆卸设备100设置为执行目标处理可被执行的状态(步骤S1010)。例如,在完成设置处理之后,通信单元502将设置完成通知发送到图像捕获装置110(步骤S1011)。注意,通信单元502仅需要在可拆卸设备100的设置尚未完成的时刻通知用于禁止图像捕获装置110写入数据的信息,并且可以在设置实际完成之前将设置完成定时等的信息通知给图像捕获装置110。图像捕获装置110的控制单元304控制设备通信单元306从可拆卸设备100接收设置完成通知。
可以使用例如以下三种方法之一来执行从可拆卸设备100到图像捕获装置110的设置完成通知。在第一种通知方法中,在从图像捕获装置110对第一块的数据进行写处理时,在执行目标处理的设置尚未结束的情况下,通信单元502输出BUSY(忙)信号。BUSY信号的输出例如通过将由SD标准定义的DATA的信号线驱动为低状态来执行。在这种情况下,图像捕获装置110确认BUSY信号,从而判别执行目标处理的设置是否完成。在第二种通知方法中,将直到执行目标处理的设置完成为止的时间预先存储在上述特定地址处,并且图像捕获装置110读出直到设置完成为止的时间的信息。在直到执行目标处理设置完成为止的时间过去之后,图像捕获装置110输出写入数据(发出写入命令)。这允许图像捕获装置110在执行目标处理的设置完成之后发送被捕获图像的数据。在第三种通知方法中,当执行目标处理的设置完成时,分析单元501将设置完成标志写在可拆卸设备100的第二特定地址处。图像捕获装置110在第二特定地址处读出数据,从而判别执行目标处理的设置是否完成。注意,写入设置完成标志的地址的信息可以被存储在上述特定地址处,或者可以被存储在另一个地址处。
如在图10中所示的处理中,当使用根据能够执行特定处理的可拆卸设备100是否被安装在图像捕获装置110中而确定的集成处理列表时,可以在考虑图像捕获装置110侧的状态的情况下适当地确定执行目标处理。如果执行目标处理包括要由可拆卸设备100执行的处理,则自动执行可拆卸设备100的设置,从而准备执行由用户选择的处理,而无需用户的设置操作。如果执行目标处理不包括要由可拆卸设备100执行的处理,则不执行可拆卸设备100的设置,从而防止在处理仅由图像捕获装置110执行的情况下不必要地执行可拆卸设备100的设置。
(分析处理的执行控制)
图11示出了当图像捕获装置110执行分析处理时的控制过程的示例。在该处理中,首先,图像捕获控制单元301捕获外围环境(步骤S1101)。控制单元304控制信号处理单元302处理由图像捕获控制单元301捕获的图像并获得被捕获图像。之后,控制单元304控制分析单元305对从控制单元304输入的被捕获图像执行分析前处理,并获得分析前处理结果的图像(步骤S1102)。控制单元304确定执行目标处理是否被包括在第二处理列表中(步骤S1103)。
在确定执行目标处理不被包括在第二处理列表中后(步骤S1103中为“否”),控制单元304控制分析单元305在图像捕获装置110中对分析前处理结果的图像执行执行目标处理(步骤S1104)。控制单元304控制分析单元305对分析处理结果执行分析后处理(步骤S1108),并结束处理。
如果执行目标处理被包括在第二处理列表中(步骤S1103中为“是”),则控制单元304控制设备通信单元306将分析前处理结果的图像发送到可拆卸设备100(步骤S1105)。例如,控制单元304发出分析前处理结果的写请求(写入命令),从而将分析前处理结果的图像发送到可拆卸设备100。可拆卸设备100的通信单元502从图像捕获装置110接收分析前处理结果的图像,并将从图像捕获装置110接收到的图像输出到分析单元501。分析单元501对从通信单元502输入的图像执行在图10的步骤S1010中设置的执行目标处理(步骤S1106)。然后,通信单元502将通过分析单元501的处理获得的分析处理结果发送到图像捕获装置110(步骤S1107)。图像捕获装置110的控制单元304控制设备通信单元306从可拆卸设备100接收分析处理结果。之后,控制单元304控制分析单元305对分析处理结果执行分析后处理(步骤S1108)。
例如,分析处理结果从可拆卸设备100到图像捕获装置110的发送以以下方式进行。可拆卸设备100的分析单元501将分析处理结果存储在针对每个执行目标处理分配的用于分析处理结果的存储目的地地址。图像捕获装置110读出表示与例如第二处理列表一起被存储在地址A处的分析处理结果的存储地址的信息,并且发出对存储地址的读取请求(读取命令)。可拆卸设备100经由通信单元502接收对于分析处理结果的存储地址的读取请求,并且将分析处理结果输出到图像捕获装置110。注意,图像捕获装置110可以例如在被存储在地址A处的估计处理时间过去之后发出对于分析处理结果的存储地址的读取请求。此外,可拆卸设备100可以输出从对于从图像捕获装置110发送的分析前处理结果的最后一个块的写入请求到执行目标处理的结束为止的BUSY信号。在这种情况下,当不再接收到BUSY信号时,图像捕获装置110可以发出对于分析处理结果的存储地址的读取请求。这允许图像捕获装置110在处理结束之后获得处理结果。
通过上述处理,图像捕获装置110可以根据选择的执行目标处理来确定是否将被捕获图像传送到可拆卸设备100。因此,虽然用户不知道图像捕获装置110或可拆卸设备100中的哪一个应当执行分析处理,但可以执行被捕获图像的分析处理。
(后处理的执行控制)
图12示出了当图像捕获装置110执行后处理时的控制过程的示例。在该处理中,图像捕获装置110的控制单元304确定“显示”是否被包括在执行目标后处理中(步骤S1201)。在确定显示被包括在执行目标后处理中后(步骤S1201中为“是”),控制单元304控制网络通信单元307将分析处理的结果发送到输入/输出装置130(步骤S1202)。输入/输出装置130的控制单元702控制网络通信单元701从图像捕获装置110接收分析处理的结果,并然后控制显示单元703通过屏幕显示等向用户呈现分析处理的结果(步骤S1203)。另一方面,如果控制单元304确定显示不被包括在执行目标后处理中(步骤S1201中为“否”),则不执行步骤S1202和S1203的处理。
另外,图像捕获装置110的控制单元304确定“存储”是否被包括在执行目标后处理中(步骤S1204)。注意,步骤S1204的确定可以在步骤S1201之前执行,或者可以与步骤S1201并行执行。在确定存储被包括在执行目标后处理中后(步骤S1204中为“是”),控制单元304控制存储单元303存储分析处理的结果并结束处理。另一方面,在确定存储不被包括在执行目标后处理中后(步骤S1204中为“否”),控制单元304结束该处理而无需执行步骤S1205的处理。
如上所述,根据选择的后处理,图像捕获装置110可以执行分析处理的结果到输入/输出装置130的传送或在存储单元303中的存储而无需接受用户的特殊设置操作,并且提高了便利性。
(图像捕获装置110与可拆卸设备100之间的通信)
这里将描述图像捕获装置110与可拆卸设备100之间的通信。图像捕获装置110的算术处理单元203和可拆卸设备100的SD控制器403经由图像捕获装置110的SD I/F单元205的设备插入插座通过电源线、GND线、时钟线、命令线和数据线连接。注意,时钟线、命令线和数据线是经由FPGA 402连接的。在时钟线上,传输从算术处理单元203输出的同步时钟。在命令线上,传输从算术处理单元203到SD控制器403的针对操作请求发出的命令以及从SD控制器403到算术处理单元203的对于命令的响应。在数据线上,传输来自算术处理单元203的写入数据和来自可拆卸设备100的读取数据。另外,算术处理单元203判别SD I/F单元205的设备插入插座的设备检测信号的高和低,从而识别是否插入了可拆卸设备100。
在供电之后,算术处理单元203在命令线上向SD控制器403发出命令。在接收到来自SD控制器403的响应和将设备信息表示为SD卡的输出数据后,算术处理单元203设置用于数据通信的电压、通信速度(时钟频率)等。
图13A和图13B示出了在命令线上传输的命令和响应的结构。命令和响应具有符合SD标准的结构。从算术处理单元203发出到SD控制器403的命令1301被配置为包括命令编号部分1303、命令自变量部分1304和纠错数据部分1305。在命令编号部分1303中,描述了指示命令的类型的值。例如,如果在命令编号部分1303中存储值“23”,则这指示该命令是用于指定数据块的数量的块计数指定命令。如果在命令编号部分1303中存储值“25”,则这指示该命令是多写入命令。如果在命令编号部分1303中存储值“12”,则这指示该命令是数据传送停止命令。在命令自变量部分1304中,根据命令的类型指定诸如传送数据块的数量和存储器的写入/读取地址之类的信息。表示命令的开始位置的命令开始位1302被添加到命令的第一位,并且表示命令的结束的命令结束位1306被添加到命令的最后位。此外,在命令开始位1302之后添加表示命令是从图像捕获装置110输出到可拆卸设备100的信号的方向位1303。
响应于来自算术处理单元203的命令而从SD控制器403返回的响应1311包括:响应编号部分1313,响应自变量部分1314,以及纠错数据部分1315,响应编号部分1313表示响应是针对哪个命令返回的。表示响应的开始位置的响应开始位1312被添加到响应的第一个位,并且表示响应的结束位置的响应结束位1316被添加到响应的最后位。在响应自变量部分1314中,根据命令类型存储诸如SD卡的状态之类的信息项。
图14示出了在本实施例中的响应自变量部分1314中存储的数据流的示例。图14的示例示出了在响应自变量部分1314中存储8位数据流的情况。在8位数据流中,数据“1”总是被存储在作为最低有效位的第一个位(索引为“0”的位)中,并且表示响应状态的状态1401存储在第二个至第四个位(索引为“1”至“3”的位)中。在本实施例中,从8位数据流的第五个至第八个位的区域被配置为存储DL_Data 1402,DL_Data 1402是表示来自可拆卸设备100的执行目标处理的执行结果的数据。
(数据传送的第一示例)
接下来将描述在图像捕获装置110和可拆卸设备100之间发送/接收数据的方法的示例。图像捕获装置110和可拆卸设备100之间的数据的发送/接收通过根据图像捕获装置110的SD I/F单元205和可拆卸设备100的I/F单元401中的SD标准的协议的数据写入和读取来执行。图15和图16示出了由图像捕获装置110将输入数据写入可拆卸设备100中并且在对输入数据执行了执行目标处理之后读取处理结果的处理过程的示例。在SD标准的协议中,分别准备了用于发送命令的命令线和用于发送数据的数据线。
图15中所示的示例是在图像捕获装置110和可拆卸设备100之间的数据的发送/接收中返回可拆卸设备100的处理结果的数据作为读取数据的情况的示例。在图15中所示的示例中,图像捕获装置110在命令线上将写入命令W1_Com 1501发送到可拆卸设备100以写入数据,并且从可拆卸设备100接收作为对于命令的响应的W1_Res 1502。注意,响应被发送为使得在命令发送之后的预定时间内完成发送。W1_Res 1502是从可拆卸设备100发送到图像捕获装置110的。在接收到对于写入命令W1_Com 1501的响应W1_Res 1502之后,图像捕获装置110在数据线上将作为写入目标数据的W1_Data 1511发送到可拆卸设备100。这里发送的数据是作为由可拆卸设备100进行的图像分析处理的目标的数据。
此后,为了读取图像分析处理的处理结果,图像捕获装置110在命令线上将读取命令R1_Com 1503发送到可拆卸设备100。然后,图像捕获装置110在命令线上从可拆卸设备100接收作为对于读取命令的响应的R1_Res 1504,并且在数据线上接收作为读取数据的R1_Data 1512。通过R1_Data 1512,例如,在可拆卸设备100中针对W1_Data 1511执行的执行目标处理的处理结果被从可拆卸设备100发送到图像捕获装置110。即,在图15中所示的示例中,可拆卸设备100中的执行目标处理的处理结果作为与从图像捕获装置110发送的读取命令相关联的读取数据而被从可拆卸设备100发送到图像捕获装置110。
此后,例如,为了将下一个处理目标的数据发送到可拆卸设备100,图像捕获装置110在命令线上发出写入命令W2_Com 1505。在命令线上从可拆卸设备100接收到响应W2_Res 1506后,图像捕获装置110在数据线上将作为写入目标数据的W1_Data 1513发送到可拆卸设备100。在图15中所示的处理中,可以使用数据线传送大容量的数据。
在图16中所示的示例中,在图像捕获装置110和可拆卸设备100之间的数据的发送/接收中,可拆卸设备100中的执行目标处理的处理结果的数据被包括在命令线上的对于命令的响应中并且被发送到图像捕获装置110。注意,在下文中有时将对于命令的响应称为命令响应。同样在图16中,首先,在命令线上,图像捕获装置110将写入命令W1_Com 1601发送到可拆卸设备100以写入数据,并且从可拆卸设备100接收作为对于命令的响应的W1_Res1602。在接收到对于写入命令W1_Com 1601的响应W1_Res 1602后,图像捕获装置110在数据线上将作为图像分析处理的目标的写入目标数据W1_Data 1611发送到可拆卸设备100。类似地,在图像捕获装置110和可拆卸设备100之间的命令线上发送/接收写入命令W2_Com1603和响应W2_Res 1604以及写入命令W2_Com 1605和响应W2_Res 1606。然后,W2_Data1612和W3_Data 1613分别作为写入命令W2_Com 1603和写入命令W2_Com 1605的写入数据而被从图像捕获装置110发送到可拆卸设备100。
这里,在本实施例中,W2_Res 1604存储由可拆卸设备100针对W1_Data 1611执行的执行目标处理的处理结果。执行目标处理的处理结果被存储在例如参考图14描述的DL_Data 1402的区域中。W3_Res 1606类似地存储由可拆卸设备100针对W2_Data 1612执行的执行目标处理的处理结果。注意,在图14中所示的示例中,DL_Data 1402为3位的区域,并且假定这足以发送例如诸如图像中存在的人数之类的分析结果。即,可以认为,当指示图像中存在的人数时,能够表示零至七个人的三位的容量是足够的容量。出于这个原因,当使用DL_Data 1402发送图像分析处理的处理结果时,图像捕获装置110可以在不使用读取命令的情况下获得处理结果。
如上所述,在图16中所示的示例中,通过对于写入命令的命令响应来将由可拆卸设备100执行的执行目标处理的处理结果从可拆卸设备100发送到图像捕获装置110。由于该过程是通过将SD标准的写入过程中的命令响应的一部分转变到数据的发送/接收而执行的,因此在SD标准中无需定义任何其它命令。因此,使用现有标准,缩短或省略了通过读取命令进行的通信时段,并且使得命令线可被用于写入数据的时间变长,从而加快了数据写入。另外,由于即使不存在读取命令,也可以获得与数据读取情况下相同的结果,因此还可以加快数据读取。
注意,在本实施例中,已经描述了根据现有的SD标准在响应于写入命令而形成响应自变量部分1314的八位中的三位被用于信息发送的情况。但是,这仅是示例,通过使用例如更多的位(诸如16位)形成响应自变量部分1314或者通过压缩状态1401,可以确保多于三个位用于信息发送。即,如果通过例如扩展命令的大小或改变状态1401的配置来改变SD标准的规定,则可以根据改变后的标准来发送信息。
另外,当将读取命令发送到可拆卸设备100时,图像捕获装置110可以发送包括读取命令的少量数据。据此,由于在需要写入少量数据的情况下不需要发出写入命令,因此可以提高数据写入和读取的速度。
在本实施例中,已经描述了使用SD标准的情况。在当发送诸如命令之类的预定控制消息时返回响应的预定标准中,可以执行图16中所示的处理。即,当在对于预定控制消息的响应中存储并发送少量数据时,可以降低来自响应发送侧的数据发送的频率,并且可以以高频率执行来自预定控制消息发送侧的数据发送。另外,如果可以将少量数据存储在预定控制消息中并进行发送,则可以降低来自消息发送侧的数据发送的频率,并且可以以高频率执行来自消息接收侧的数据发送。注意,因为不需要返回响应,因此可以将用于发送在预定控制消息中包括的数据的布置应用于各种系统。
在图16所示的处理中,当发送少量数据时,该数据被包括在对于命令的响应中。但是,响应中可包括的数据量是有限的。出于此原因,为了发送大量数据,即使在使用如图16中所示的处理时,图像捕获装置110也还需要发出读取命令以获得数据。另外,如果可以在命令线上发送大量数据,则命令和响应的发送/接收花费较长时间。因此,效率可能由于没有使用数据线而降低。在一些情况下,不使用图16所示的处理而是使用图15所示的处理是适当的。在本实施例中,视情况使用图15中所示的协议和图16中所示的协议中的适当的一个。通过例如在图像捕获装置110和可拆卸设备100之间执行的协商来确定要使用的协议的设置。图17示出了在执行这样的协商并且选择图16中所示的处理的情况下由图像捕获装置110和可拆卸设备100执行的处理过程的示例。注意,图17中所示的处理仅是示例,并且其部分可以被另一个处理代替或省略。
首先,图像捕获装置110经由SD I/F单元205向可拆卸设备100通知执行目标处理的执行请求(步骤S1701)。响应于该请求,可拆卸设备100将所请求的执行目标处理中从处理的开始到结束所需的处理时间以及表示处理结果的数据的数据长度(数据大小)的信息通知给图像捕获装置110(步骤S1702)。注意,处理时间的信息例如是在使用图16中所示的数据发送/接收方法的情况下能够指定在将处理目标的数据发送到可拆卸设备100之后直到可以返回包括对该数据的执行目标处理结果的响应为止的时间的信息。处理时间的信息可以是例如由诸如微秒或时钟之类的预定单位表示的值,或者可以是在发送处理目标的数据之后直到发送响应以返回处理结果为止的已发送命令或响应的数量的值。注意,如果图像捕获装置110可以通过计算等独立地指定这些信息,则可以省略步骤S1702的处理。
注意,图像捕获装置110可以如常规标准中那样在预定时间内完成对于命令的响应的发送。例如,图像捕获装置110可以选择执行目标处理的设置,使得在输出处理目标的数据之后,可以在预定时间内获得数据的处理结果。例如,在执行目标处理中,如果处理时间随着输入数据大小的减小而变短,则图像捕获装置110可以执行用于减小执行目标处理的输入数据大小的设置,使得在预定时间内获得处理结果。类似地,图像捕获装置110可以确定执行目标处理的设置,使得例如可以执行图16中所示的发送/接收方法。例如,在执行目标处理中,如果在输入数据大小小于预定大小的情况下可以将处理结果抑制到预定位数,则图像捕获装置110可以执行执行目标处理的设置以减少输入数据大小。例如,可拆卸设备100准备能够与不同输入数据大小对应地执行相同处理的多个设置数据,并且图像捕获装置110可以指示可拆卸设备100应当使用这多个设置数据中的哪一个。这可以防止直到返回输入数据的处理结果为止的时间变长。
基于在步骤S1702中通知的信息,图像捕获装置110向可拆卸设备100通知执行目标处理的数据发送/接收方法(步骤S1703)。例如,如果数据长度足够短,则图像捕获装置110选择图16中所示的数据发送/接收方法,并且如果数据长度较长,则选择图15中所示的数据发送/接收方法。图像捕获装置110可以根据处理时间来选择数据发送/接收方法。例如,如果在对于在发送处理目标数据时的第一命令之后的第二命令的响应之前尚未完成处理,但是在基于第二命令的数据发送/接收的定时中完成处理,则可以使用图15中所示的处理。即,当第二命令是读取命令时,图像捕获装置110可以快速获得处理结果。另外,当请求图16中所示的数据发送/接收方法时,基于处理时间,图像捕获装置110在将处理目标数据发送到可拆卸设备100之后请求返回数据的处理结果的响应的定时。如果请求被接受,则在处理目标数据的发送之后,在所请求的定时将数据的处理结果返回到图像捕获装置110。注意,可能不存在关于定时的请求。在这种情况下,例如,可以在由处理时间确定的最短定时发送包括处理结果的响应。注意,如果选择了图15中所示的数据发送/接收方法,则图像捕获装置110可以通过在处理目标数据的发送之后结束处理的定时之后发出读取命令来获得处理结果的数据。在这种情况下,由于可拆卸装置100仅需要响应于读取命令而发送处理结果,因此不需要预先确定定时。因此,如果选择了图15中所示的数据发送/接收方法,则图像捕获装置110不需要将定时的请求发送到可拆卸设备100。
基于步骤S1703的通知,为了接受所指定的数据发送/接收方法,可拆卸设备100将用于获得关于数据发送/接收方法的接受的通知发送到图像捕获装置110(步骤S1704)。
例如,如果数据大小大于预定值(例如,三位),则图像捕获装置110在步骤S1703中通知可拆卸设备100应使用图15中所示的协议,并且在步骤S1704中获得接受。例如,如果数据大小等于或小于预定值,则图像捕获装置110在步骤S1703中通知可拆卸设备100应当使用图16中所示的协议,并在步骤S1704中获得接受。例如,如果可拆卸设备100不支持由图像捕获装置110通知的数据发送/接收方法,则可以拒绝该数据发送/接收方法。例如,在图像捕获装置110通知使用具有扩展大小的DL_Data 1402的命令线的数据发送/接收方法的情况下,如果自身设备不支持这种大小扩展,则可拆卸设备100拒绝该方法。在这种情况下,可拆卸设备100可以将拒绝响应发送到图像捕获装置110,并促使其使用另一种数据发送/接收方法。图像捕获装置110根据拒绝响应的接收来选择另一种数据发送/接收方法,并再次执行步骤S1703的处理。图像捕获装置110确定将使用可拆卸设备100可接受的数据发送/接收方法(协议)执行后续的数据通信。
注意,例如,在指定图16中所示的数据发送/接收方法时指定了处理结果发送定时的情况下,可拆卸设备100也可以在该定时确定是否接受处理结果发送定时。如果不能接受发送定时,则可拆卸设备100可以将拒绝响应等发送给图像捕获装置110。这时,拒绝响应可以包括表示数据发送/接收方法是否不能被接受或者处理结果发送定时是否不能被接受的信息。
以这种方式,图像捕获装置110和可拆卸设备100通过协商确定数据发送/接收方法。在下文中,假定图像捕获装置110已经向可拆卸设备100通知要通过图16中所示的协议发送/接收数据,并且可拆卸设备100已经接受数据发送/接收方法。
在步骤S1704中接收到接受通知后,图像捕获装置110发出写入命令以发送要在执行目标处理中处理的输入数据1(步骤S1705)。在步骤S1705中接收到写入命令后,可拆卸设备100将对于命令的响应返回给图像捕获装置110(步骤S1706)。注意,由于在此时间点未执行执行目标处理,因此将未存储处理结果的响应发送到图像捕获装置110。在步骤S1706中接收到响应后,接下来,图像捕获装置110发出写入数据并将处理目标的输入数据1发送到可拆卸设备100(步骤S1707)。可拆卸设备100接收从图像捕获装置110发送的输入数据1(步骤S1708)。
接下来,图像捕获装置110发出写入命令以发送处理目标的输入数据2(步骤S1709)。这里假定在准备对于步骤S1709的命令的响应之前完成对被输入到可拆卸设备100的输入数据1的执行目标处理。可拆卸设备100响应于接收到步骤S1709中的写入命令而将响应发送到图像捕获装置110。此时,响应包括对输入数据1执行了执行目标处理之后的处理结果。即,响应于接收到用于将输入数据2从图像捕获装置110发送到可拆卸设备100的写入命令,可拆卸设备100将包括输入数据1的处理结果的响应发送到图像捕获装置110(步骤S1710)。在步骤S1710中接收到响应后,图像捕获装置110被设置处于其可以执行输入数据2的发送的状态,并且还可以获得输入数据1的处理结果。根据步骤S1710中响应的接收,图像捕获装置110随后发出写入数据并发送输入数据2(步骤S1711),并且可拆卸设备100接收所发送的输入数据2(步骤S1712)。从那时起,类似地,图像捕获装置110发出写入命令以发送另一个处理目标的输入数据3(步骤S1713),并且可拆卸设备100将包括输入数据2的处理结果的响应发送到图像捕获装置110(步骤S1714)。
在重复这些处理之后,图像捕获装置110发出写入命令以发送最终处理目标的输入数据N(步骤S1715)。响应于写入命令,可拆卸设备100将包括先前输入的输入数据N-1的处理结果的响应发送到图像捕获装置110(步骤S1716)。图像捕获装置110发出写入数据,并且将输入数据N发送到可拆卸设备100(步骤S1717),并且可拆卸设备100接收输入数据N(S1718)。此后,图像捕获装置110发出伪写入命令(dummy write command)以获得输入数据N的处理结果(步骤S1719)。响应于写入命令,可拆卸设备100将包括输入数据N的处理结果的响应发送到图像捕获装置110(步骤S1720)。因此,图像捕获装置110已经输入到可拆卸设备100的N个(N是正整数)数据的处理结果被返回到图像捕获装置110。注意,图像捕获装置110可以通过不发出伪写入命令而是发出读取命令来读取输入数据N的处理结果。即,伪写入命令的使用仅是示例,并且可以通过另一种方法来执行在没有到可拆卸装置100的输入数据的状态下获得处理结果。
图18示出了由图像捕获装置110执行的处理过程的示例。该处理可以通过例如执行预定程序并通过算术处理单元203控制各种功能单元来实现。注意,当例如输入/输出装置130指示执行预定图像分析处理时,该处理开始。
首先,图像捕获装置110确定执行目标处理的内容(步骤S1801)。该执行目标处理指示要由可拆卸设备100执行的处理。例如通过根据稍后描述的处理确定图像捕获装置110和可拆卸设备100之间的处理分配来确定执行目标处理。接下来,图像捕获装置110将执行目标处理的执行请求发送到可拆卸设备100(步骤S1802),并且从可拆卸设备100接收对于执行请求的响应(步骤S1803)。当可拆卸设备100执行执行目标处理时,图像捕获装置110指定要作为处理结果输出的数据的数据长度(步骤S1804)。图像捕获装置110可以如图17的步骤S1702中那样通过例如来自可拆卸设备100的通知来指定数据长度,或者可以不依赖于所提供的信息而独立地指定数据长度。例如,图像捕获装置110可以提取预先与执行目标处理相关联地存储在图像捕获装置110中的数据长度,或者可以基于执行目标处理的信息或图像捕获的设置来计算数据长度。基于在步骤S1804中指定的数据长度,图像捕获装置110确定是否使用如图16中所示的通过命令响应返回输出结果的方法作为可拆卸设备100的数据发送/接收方法(步骤S1805)。例如,如果处理结果的数据长度是三位、八位等并且等于或小于预定长度,则图像捕获装置110选择通过命令响应返回输出结果的方法。在这种情况下,如果数据长度是16位等并且超过预定长度,则图像捕获装置110可以选择通过读取命令返回输出结果的方法。
如果要通过命令响应来接收可拆卸设备100的输出结果的数据(步骤S1805中为“是”),则图像捕获装置110请求可拆卸设备100使用通过命令响应的数据发送/接收方法(步骤S1806)。为了接受通过命令响应的数据发送/接收方法,可拆卸设备100根据执行目标处理的处理时间向图像捕获装置110通知命令响应的定时信息。通过该通知,图像捕获装置110获得命令响应的定时信息(步骤S1807)。注意,命令响应的定时信息可以与例如在步骤S1804中指定的数据长度并行地指定。例如,图像捕获装置110可以在图17的步骤S1702中从可拆卸设备100获得命令响应的定时信息。此外,图像捕获装置110可以基于预先与执行目标处理相关联地存储在图像捕获装置110中的处理时间以及发送/接收命令和响应的周期来指定用于通知处理结果的命令响应的定时。
图像捕获装置110将执行目标处理的目标的输入数据发送到可拆卸设备100(步骤S1808)。如上所述,图像捕获装置110按照发出写入命令、接收对于该命令的响应以及发出写入数据的顺序来发送输入数据。此后,在继续发送输入数据的同时,图像捕获装置110在步骤S1807中指定的定时接收包括过去的输入数据的处理结果的数据的命令响应(步骤S1809)。例如,如果在输入数据通过写入命令被输入到可拆卸设备100之后并且在对于下一个写入命令的命令响应的发送定时之前完成处理,则通过下一个命令响应来发送处理结果的数据。即,通过对于输入数据2的写入命令的命令响应来发送输入数据1的处理结果。另外,如果在输入数据被输入到可拆卸设备100之后并且在第N个命令响应的发送定时之前完成处理,则通过第N个命令响应发送处理结果的数据。例如,如果N=2,则通过对于输入数据3的写入命令的命令响应来发送输入数据1的处理结果。在这种情况下,对于输入数据2的写入命令的命令响应不包括处理结果。注意,稍后将参考图21作为第二示例来描述这种处理的详细方法。以这种方式,基于在步骤S1807中指定的定时,图像捕获装置110可以指定通过命令响应接收到的处理结果是哪个的数据。即使不存在处理目标的输入数据,图像捕获装置110也在尚未输出所有处理结果(步骤S1810中为“否”)的时间期间重复伪数据的发送(步骤S1808)和处理结果的获得(步骤S1809)。如果接收到所有处理结果(步骤S1810中为“是”),则图像捕获装置110结束处理。
如果不通过命令响应接收可拆卸设备100的输出结果的数据(步骤S1805中为“否”),则图像捕获装置110请求可拆卸设备100使用使用读取命令的数据发送/接收方法(步骤S1811)。如在步骤S1808中那样,图像捕获装置110将处理目标的输入数据发送到可拆卸设备100(步骤S1812)。为了获得输入数据的处理结果的数据,图像捕获装置110将读取命令发送到可拆卸设备100(步骤S1813),并且基于读取命令从可拆卸设备100读取处理结果的数据(步骤S1814)。此后,图像捕获装置110重复步骤S1812至S1814的处理,直到获得针对所有处理目标数据的处理结果为止(步骤S1815中为“否”),并且当获得所有处理结果时,结束处理(步骤S1815中为“是”)。
图19示出了由可拆卸设备100执行的处理过程的示例。该处理可以通过例如由FPGA 402执行预定程序来实现。注意,该处理在例如可拆卸设备100被安装在图像捕获装置110中时变得可执行,并在从图像捕获装置110接收到执行目标处理的执行请求后开始(步骤S1901)。
在接收到执行请求之后(步骤S1901),可拆卸设备100将对于执行请求的响应发送到图像捕获装置110(步骤S1902)。可拆卸设备100从图像捕获装置110接收用于处理结果的数据发送/接收方法的请求(步骤S1903)。基于接收到的请求,可拆卸设备100与图像捕获装置110执行针对数据发送/接收方法的协商(步骤S1904)。
如果被请求通过命令响应将处理结果的数据发送到图像捕获装置110,并且可拆卸设备100接受它(步骤S1904中为“是”),则可拆卸设备100向图像捕获装置110通知命令响应的定时信息(步骤S1905)。注意,如果图像捕获装置110可以独立地指定命令响应的定时信息,则可以省略步骤S1905的处理。在从图像捕获装置110接收到处理目标的输入数据后(步骤S1906),可拆卸设备100对接收到的数据执行执行目标处理(步骤S1907),并将包括处理结果的命令响应发送到图像捕获装置110(步骤S1908)。在未完成所有处理目标数据的处理结果的发送的时间期间(步骤S1909中为“否”),可拆卸设备100重复执行步骤S1906至S1908的处理。如果完成了所有处理目标数据的处理结果的发送(步骤S1909中为“是”),则可拆卸设备100结束处理。
另一方面,如果被请求不使用命令响应将处理结果的数据发送到图像捕获装置110,并且可拆卸设备100接受它(步骤S1904中为“否”),则可拆卸设备100通过使用读取命令的方法将数据发送到图像捕获装置110。在这种情况下,可拆卸设备100从图像捕获装置110接收处理目标的输入数据(步骤S1910)。另外,当接收到输入数据时,可拆卸设备100将对于写入命令的命令响应发送到图像捕获装置110(步骤S1911)。然后,可拆卸设备100对接收到的数据执行执行目标处理(步骤S1912)。此后,可拆卸设备100从图像捕获装置110接收读取命令(步骤S1913),并且将对于读取命令的命令响应发送到图像捕获装置110(步骤S1914)。可拆卸设备100将在步骤S1912中获得的执行目标处理的处理结果作为读取数据发送到图像捕获装置110(步骤S1915)。在未完成所有处理目标数据的处理结果的发送的时间期间(步骤S1916中为“否”),可拆卸设备100重复执行步骤S1910至S1915的处理。如果完成了所有处理目标数据的处理结果的发送(步骤S1916中为“是”),则可拆卸设备100结束处理。
如上所述,在本实施例中,可以使用命令响应来执行图像捕获装置110与可拆卸设备100之间的数据发送/接收,并且例如,根据处理结果的数据大小来确定是否使用该方法。因此,在适合通过命令响应返回处理结果的环境中,抑制了发出读取命令的频率,并且增加了写入数据的频率,从而缩短了数据发送/接收所需的时间。另外,例如,如果处理结果的数据长度超过预定长度,则通过使用读取命令的方法来发送/接收数据,从而比使用命令响应时更高效地发送/接收数据。因此,通过视情况适当地确定应该使用哪种方法,可以缩短数据发送/接收所需的时间。
注意,在上述示例中,已经描述了从两种协议(即,图15中所示的协议和图16中所示的协议)中选择数据发送/接收方法的情况。但是,可以从三种或更多种协议中选择数据发送/接收方法。即,如果在图像捕获装置110和可拆卸设备100之间存在用于发送/接收数据的多个协议,则通过协商来确定应当使用哪个协议,并且可以使用除了所例示的协议之外的协议。这使得可以视情况使用适当的协议。
(数据传送的第二示例)
将参考图20描述在图像捕获装置110和可拆卸设备100之间发送/接收数据的方法的另一个示例。在图20中所示的示例中,由可拆卸设备100发送包括执行目标处理的处理结果的数据的命令响应的方法被用作图像捕获装置110和可拆卸设备100之间的数据发送/接收方法,如在图16中所示的示例中那样。但是,用于返回处理结果的命令响应不是与紧接在前的写入命令对应的命令响应。即,图20的示例示出了在图18的步骤S1807中指定的命令响应的定时信息指定通过第二或后续命令响应返回处理结果的情况。
在图20中,首先,在命令线上从图像捕获装置110向可拆卸设备100发送用于执行第一写入的写入命令W1_Com 2001。从可拆卸设备100向图像捕获装置110发送W1_Res 2002作为对于该命令的响应。然后,在数据线上,从图像捕获装置110向可拆卸设备100发送与写入命令W1_Com 2001对应的写入数据W1_Data 2011。类似地,在命令线上,从图像捕获装置110发送用于执行第二写入的写入命令W2_Com 2003,并且从可拆卸设备100发送W2_Res2004作为对于该命令的响应。注意,此后,在数据线上发送与写入命令W2_Com 2003对应的写入数据,虽然并未示出。另外,从图像捕获装置110发送第N写入命令WN_Com 2005,并且从可拆卸设备100发送WN_Res 2006作为命令响应。此后,在数据线上从图像捕获装置110向可拆卸设备100发送与写入命令W3_Com 2005对应的写入数据WN_Data 2012。在这个示例中,W1_Data 2011的处理结果被存储在WN_Res 2006中。该处理结果被存储在图14所示的DL_Data 1402中。如上所述,在这个示例中,根据可拆卸设备100中执行目标处理的处理时间,使用对于适当的写入命令的命令响应将处理结果从可拆卸设备100返回到图像捕获装置110。
图21示出了当执行如图20中所示的数据发送/接收时由图像捕获装置110执行的处理过程的示例。步骤S2101至S2107和S2118至S2122的处理与图18中的步骤S1801至S1807和S1811至S1815的处理相同,并且在此将省略其描述。
在步骤S2107中,图像捕获装置110接收表示哪个命令响应包括执行目标处理的处理结果并由可拆卸设备100发送的信息。图像捕获装置110通过该信息确定在可以从可拆卸装置100接收到包括处理结果的命令响应之前应该发送多少个命令。注意,这里假定可以在发送N个命令之后接收包括处理结果的命令响应。图像捕获装置110执行初始化以对命令数量进行计数,并且将计数值i设置为1(步骤S2108)。注意,如果可以指定命令数量,则可以通过另一种方法来进行计数和初始化。接下来,图像捕获装置110将处理目标的输入数据发送到可拆卸设备100(步骤S2109)。图像捕获装置110确定所发送的命令的数量是否已经达到N(是否i=N)(步骤S2110)。如果所发送的命令的数量尚未达到N(步骤S2110中为“否”),则将计数值i递增1(步骤S2111),并重复执行步骤S2109的处理。注意,当在步骤S2109中发送写入命令以发送数据时,执行步骤S2110的确定。另一方面,如果所发送的命令的数量已达到N(步骤S2110中为“是”),则图像捕获装置110通过命令响应接收处理结果(步骤S2112)。这里,当计数值为i=N-1时接收到的命令响应包括第一输入数据的处理结果。注意,值N由执行目标处理的处理时间确定。另外,执行目标处理的处理时间可以是根据可拆卸设备100的处理可预先指定的值。但是,执行目标处理的处理时间可以根据可拆卸设备100的处理负荷等而变化。在这种情况下,图像捕获装置110可以从可拆卸设备100获得能够指定接收处理结果的定时的信息,诸如处理时间或值N。
此后,将执行目标处理的输入数据发送到可拆卸设备100(步骤S2113)。注意,当第一次执行步骤S2113的处理时,发出与第N个命令对应的写入数据,并且从那时起执行写入命令的发出和写入数据的发出。图像捕获装置110确定所发送的命令的数量是否已经达到N+M-1(步骤S2114)。如果所发送的命令的数量尚未达到N+M-1(步骤S2114中为“否”),则将计数值i递增1(步骤S2115),并且处理返回到步骤S2112。这里,值M对应于执行目标处理所需的输入数据的总数。即,当命令被发送N+M-1次时,接收到第N至第(N+M-1)个命令响应,并且这应该使得可以接收所有处理结果。如果所发送的命令的数量已经达到N+M-1(步骤S2114中为“是”),则图像捕获装置110从可拆卸设备100接收剩余的处理结果(步骤S2116)。如果没有接收到所有处理结果(步骤S2117中为“否”),则图像捕获装置110重复执行步骤S2116的处理。如果接收到所有处理结果(步骤S2117中为“是”),则图像捕获装置110结束处理。注意,如果未正确接收到一些接收数据,则图像捕获装置110可以确定未接收到所有处理结果,并且发出读取命令以获得未正确接收的数据。
注意,例如,当存在实际输入数据时,图像捕获装置110可以通过命令响应来获得处理结果,并且在将所有输入数据输入到可拆卸设备100之后,图像捕获装置110可以不发出写入命令。在这种情况下,例如,图像捕获装置110可以在预定时间之后发出读取命令以立即获得剩余的处理结果。这使得可以防止由于伪数据的发送而引起的频带浪费,并且执行另一个数据的发送/接收来代替写入命令和伪数据的发送。
如上所述,在该处理示例中,根据直到在可拆卸设备100中完成执行目标处理为止的时间来适当地设置返回包括处理结果的命令响应的定时。因此,可以使用用于通过命令响应返回处理结果的协议而无需依赖于执行目标处理的处理时间。
(信息到用户的呈现和用户选择的接受)
将描述向用户呈现被捕获图像、集成处理列表和后处理列表以及接受用户选择的方法的示例。图22示出了经由显示单元703的被捕获图像、集成处理列表和后处理列表的屏幕显示的示例。通过显示屏幕,例如,显示用户界面2201。用户界面2201包括例如被捕获图像显示区域2202、集成处理列表显示区域2203和后处理列表显示区域2204。用户确认这些区域,从而掌握被捕获图像、集成处理列表和后处理列表。
注意,要显示的列表不仅限于集成处理列表。例如,图像捕获装置110可以将某个可拆卸设备100的第二处理列表存储在存储单元303中,并且即使可拆卸设备100未被安装,也将存储单元303中存储的第二处理列表发送到输入/输出装置130。即,图像捕获装置110可以输出过去安装的可拆卸设备100的第二处理列表。在这种情况下,输入/输出装置130可以以灰视(gray-out)状态显示在第二处理列表中包括但在集成处理列表中不包括的分析处理,作为通过安装可拆卸设备100启用的分析处理。因此,可以促使用户将可拆卸设备100安装在图像捕获装置110中,以使处于灰视状态的处理可执行。此外,例如,如果图像捕获装置110和可拆卸设备100具有相同的处理功能,则它们可以被集成并显示为一个处理。在这种情况下,图像捕获装置110可以确定图像捕获装置110和可拆卸设备100中的哪一个执行处理。稍后将描述这种确定方法。
注意,输入/输出装置130可以显示为用户显示的分析处理和后处理,使得用户可以识别图像捕获装置110和可拆卸设备100中的哪一个应当执行每个处理。例如,当创建集成处理列表时,图像捕获装置110使集成处理列表包括表示第一处理列表和第二处理列表中的哪一个包括集成处理列表中包括的每个分析处理的信息。根据表示第一处理列表和第二处理列表中的哪一个包括集成处理列表中包括的每个分析处理的信息,输入/输出装置130在改变字符颜色的同时显示每个分析处理。这允许用户确认每个处理是否是即使可拆卸设备100被移除也可执行的处理。注意,如果图像捕获装置110和可拆卸设备100可以执行相同的处理,并且它们被集成和显示为一个处理,则该处理可以以与图像捕获装置110对应的字符颜色来显示。这是因为即使可拆卸设备100被移除也可以执行该处理。但是,本发明不限于此,并且可以以表示处理是可由图像捕获装置110和可拆卸设备100这两者执行的处理的字符颜色来显示处理。
另外,如果在集成处理列表中包括当图像捕获装置110和可拆卸设备100合作时可执行的处理,则对于该处理,可以将表示合作必要性的信息包括在集成处理列表中。在这种情况下,可以以另一种字符颜色显示当图像捕获装置110和可拆卸设备100合作时实现的处理。例如,面部认证处理可以通过面部检测处理功能、面部特征提取处理功能和面部特征校对处理功能的功能群来实现。假定图像捕获装置110具有面部检测处理功能和面部特征提取处理功能,并且可拆卸设备100具有面部特征校对处理功能。在这种情况下,例如,在用户界面2201上,用蓝色字符显示面部检测处理和面部特征提取处理,用红色字符显示面部特征校对处理,并且用绿色字符显示面部认证处理。
注意,改变字符颜色仅仅是被配置为显示功能使得可以区分图像捕获装置110和可拆卸设备100中的哪一个应当执行功能或者功能是否通过它们的合作来执行的一种形式。这种可区分的显示可以通过另一种形式来进行。例如,可以通过改变每个处理的背景颜色来明确地显示处理的执行主体。另外,执行主体的差异可以由字符串指示。例如,可以在指示要由图像捕获设备110执行的处理的字符串之后添加指示图像捕获装置110的字符串,并且可以在指示要由可拆卸设备100执行的处理的字符串之后添加指示可拆卸设备100的字符串。可以向指示通过图像捕获装置110和可拆卸设备100的合作实现的处理的字符串添加指示图像捕获装置110和可拆卸设备100的合作的字符串。如上所述,图像捕获装置110向输入/输出装置130提供以可区分的方式表示第一处理列表中包括的处理和第二处理列表中包括的处理的信息,从而使输入/输出装置130的显示单元703以可区分的方式显示每个处理的执行主体。即使图像捕获装置110包括显示单元,也可以通过准备以可区分的方式表示第一处理列表中包括的处理和第二处理列表中包括的处理的信息来以可区分的方式显示每个处理的执行主体。即,通过输出以可区分的方式表示第一处理列表中包括的处理和第二处理列表中包括的处理的信息,图像捕获装置110可以使任意显示设备以可区分的方式显示每个处理的执行主体。
用户可以经由操作单元704从在用户界面2201的集成处理列表显示区域2203中显示的集成处理列表中选择执行目标处理。另外,用户可以经由操作单元704从在后处理列表显示区域2204中显示的处理列表中选择执行目标后处理。例如,图22示出了如下示例:用户选择“面部检测”处理作为执行目标分析处理,并且选择“显示”和“存储”作为执行目标后处理。注意,在本实施例中,示出了仅选择一个执行目标处理的示例。但是,本发明不限于此。该系统可以被配置为允许用户选择多个执行目标处理。例如,除了“面部检测”之外,还可以选择“人体检测”和“车辆检测”中的至少一个。如果选择了一个处理,则可以禁止选择另一个处理。作为示例,如果在图22中所示的集成处理列表显示区域2203中“面部检测”被选择的状态下选择“人体检测”,则可以取消“面部检测”的选择。图22示出了其中两个后处理都被选择的示例。但是,其中的仅一个可以是能选择的。
基于用户对执行目标处理和后处理的选择,在图10的步骤S1007中将选择结果通知给图像捕获装置110。另外,输入/输出装置130的控制单元702可以确认每个预定时段内用户选择的状态,并根据哪个处理被选择为执行目标来向图像捕获装置110通知执行目标处理。即,可以周期性地执行步骤S1005至S1007的处理,或者可以始终监视步骤S1005和S1006中的选择,并且当选择状态已经改变时,可以执行步骤S1007的处理。
图23示出了在“面部检测”被选择为执行目标处理并且“显示”被选择为执行目标后处理的情况下,在步骤S1203中显示信息的方法的示例。在这个示例中,通过脸部检测处理检测到的人数2301作为分析处理的结果被显示在图22中所示的用户界面2201的屏幕上。注意,图23仅仅是示例,并且处理的结果可以与用户界面2201分开被显示,并且处理的结果可以被显示在用户界面2201的另一个区域中。
另外,可以为用户选择的执行目标处理和后处理中的每一个设置优先级。例如,如果存在多个执行目标处理,并且设置了优先级,则图像捕获装置110的控制单元304按优先级顺序针对每个执行目标处理执行图11中所示的处理(例如,步骤S1103至S1107的处理)。注意,可以基于优先级来分配图像捕获装置110侧的计算资源或网络资源。例如,可以针对视频的每第一预定数量的帧执行高优先级的处理,并且可以针对视频的每第二预定数量的帧执行低优先级的处理,第二预定数量的帧多于第一预定数量的帧。即,可以按优先级确定执行处理的频率。另外,将高优先级的处理结果发送到输入/输出装置130的频率可以高于将低优先级的处理结果发送到输入/输出装置130的频率。
(确定图像捕获装置和可拆卸设备之间的处理分配的处理)
当多个处理被组合时,预定处理可以变为可执行的。例如,可以通过组合面部检测处理、面部特征提取处理和面部特征校对处理这三个处理来执行面部认证处理。如果图像捕获装置110和可拆卸设备100可以执行这三个处理中的至少一个,则可以在装置之间分配并执行这些处理。此外,在图像捕获装置110和可拆卸设备100中,例如,对于上述三个处理中的至少一个,可以准备适合于每个条件的不同处理功能,诸如获得作为处理目标的数据的条件(例如,图像捕获条件)或分析目标。例如,可以准备不同的处理功能以用于处理在白天捕获的图像和用于处理在夜间捕获的图像。例如,如图24中所示,图像捕获装置110和可拆卸设备100被配置为具有面部检测处理功能、面部特征提取处理功能和面部特征校对处理功能并执行面部认证处理。注意,即使图像捕获装置110和可拆卸设备100具有相同的功能,使用它们的合适条件也可以不同。另外,图像捕获装置110和可拆卸设备100中的每一个可以具有能够执行类似处理的多个处理功能,如图24中所示的可拆卸设备100,其具有两个面部特征提取处理功能。因此,当在图像捕获装置110和可拆卸设备100之间适当地分配处理时,可以执行适合于各种条件的处理。
注意,即使图像捕获装置110和可拆卸设备100执行相同的处理,由于布置的不同也会存在优点和缺点。例如,关于运算精度,图像捕获装置110的算术处理单元203可能是有利的,因为相对于数据的位宽度较大。关于运算速度,可拆卸设备100可能是有利的,因为运算由FPGA 402上的逻辑电路执行。如果存在能够执行相同处理的多个处理功能,则基于图像捕获装置110的图像捕获的环境选择适当的处理功能是有利的。考虑此类情况,如果可拆卸设备100具有处理功能,则重要的是适当地确定是否实际使用该处理功能并适当地选择要使用的处理功能。因此,下面将描述自动选择是否使可拆卸设备100执行处理、是否使图像捕获装置110执行处理、或者是否使图像捕获装置110和可拆卸设备100合作执行处理的方法。另外,还将描述在图像捕获装置110和可拆卸设备100具有能够执行相同处理的多个处理功能的情况下,通过例如确定应该使用这多个处理功能中的哪一个来自动选择要使用的处理功能的方法。注意,下面将单独描述三个处理示例,并且它们可以组合使用。
[第一处理示例]
将参考图25描述选择要使用的处理功能的第一处理示例。在这个示例中,为了满足执行图像分析处理所需的性能,从在图像捕获装置110和可拆卸设备100中提供的处理功能中选择要使用的处理功能。例如,在存在例如需要以预定帧速率或更高的帧速率执行处理的条件的情况下,可以执行该处理,并且图像捕获装置110和可拆卸设备100都可以执行相同的处理。
在该处理中,首先,用户经由例如输入/输出装置130上的在图22中所示的用户界面2201选择执行目标处理(步骤S2501)。基于用户选择,输入/输出装置130的控制单元702将用于执行目标处理的执行指令命令发送到图像捕获装置110。图像捕获装置110的控制单元304从输入/输出装置130获得表示所选择的处理的执行指令命令。注意,如果图像捕获装置110具有呈现可执行处理的信息呈现功能和使用户做出选择的操作接受功能,则用户可以直接操作图像捕获装置110并向图像捕获装置110的控制单元304指示执行目标处理。
图像捕获装置110的控制单元304确认在执行所选择的处理时需要的处理性能(步骤S2502)。至于处理性能的设置,可以预先针对每个处理确定设置值,或者用户可以在选择处理时设置目标值。控制单元304在图像捕获装置110中执行在步骤S2501中选择的处理(步骤S2503)。注意,该处理可以与图像捕获并行地执行。另外,在执行所选择的处理时要使用的处理功能中仅存在于可拆卸设备100中的功能由可拆卸设备100执行,而不在图像捕获装置110中执行。
在完成预定量的数据的处理之后的处理执行期间,控制单元304确认所执行的处理是否满足在步骤S2502中设置的处理性能(步骤S2504)。在确认满足处理性能后(步骤S2504中为“是”),控制单元304使处理返回到步骤S2503以直接继续处理。另一方面,在确认不满足处理性能后(步骤S2504中为“否”),控制单元304使处理前进到步骤S2505,以尝试改变为能够满足处理性能的处理分配。
在步骤S2505中,关于作为由图像捕获装置110执行的处理的一部分并且甚至在可拆卸设备100中也可执行的处理,执行主体被改变为可拆卸设备100。由于掌握了可拆卸设备100可执行的处理,因此图像捕获装置110的控制单元304从处理列表(第二处理列表)中选择要传送到可拆卸设备100的处理,并改变处理的执行主体。当改变完成时,在步骤S2501中选择的处理被分配给控制单元304和分析单元501并且被执行(步骤S2506)。此后,控制单元304确认是否将处理功能从可拆卸设备100返回到图像捕获装置110(步骤S2507)。当处理返回到图像捕获装置110时,可以以更高的运算精度执行处理。
例如,如果在步骤S2504中确定不能满足处理性能的原因是暂时的高负荷状态等,并且该状态已消除,则控制单元304可以确定处理可以返回到图像捕获装置110。即,控制单元304可以基于图像捕获装置110的处理负荷来确定图像捕获装置110和可拆卸设备100中的哪一个应当执行处理。注意,除了如上所述使可拆卸设备100在图像捕获装置110的处理负荷高的状态下执行处理之外,还可以使图像捕获装置110在可拆卸设备100的处理负荷高的状态下执行处理。即,可以基于可拆卸设备100的处理负荷来确定图像捕获装置110和可拆卸设备100中的哪一个应该执行处理。
此外,例如,如果用户降低处理性能的目标值,则控制单元304可以确定可以将处理返回到图像捕获装置110。在确定将处理返回到图像捕获装置110后(步骤S2507中为“是”),控制单元304将已经由可拆卸设备100执行的处理的一部分的执行主体改变为图像捕获装置110(步骤S2508)。注意,在步骤S2508中其执行主体返回到图像捕获装置110的处理可以是在步骤S2505中其执行主体被改变为可拆卸设备100的处理的一部分或全部。在处理的至少一部分的执行主体返回到图像捕获装置110之后,控制单元304使处理返回到步骤S2503。另一方面,在确定不将处理返回到图像捕获装置110(步骤S2507中为“否”)后,控制单元304将处理返回到步骤S2506,并且在不改变处理分配的情况下继续处理。
注意,在可拆卸设备100具有能够执行相同处理的多个处理功能的情况下,如果在将处理的一部分的执行主体转移到可拆卸设备100之后不能满足处理性能,则处理功能可以被切换到用于执行相同功能的处理功能。即,在步骤S2507中,代替切换处理的执行主体,可以在保持可拆卸设备100作为执行主体的同时改变要使用的处理功能。
另外,即使在处理的一部分的执行主体被转移到可拆卸设备100之后,如果不能满足步骤S2502中确认的处理性能,则控制单元304也可以将处理的执行主体返回到图像捕获装置110。此时,控制单元304可以存储表示在步骤S2502中确认的处理性能的信息作为当前安装的可拆卸设备100不能满足的处理性能的信息。如果需要类似的处理性能或更严格的处理性能,则控制单元304可以不使可拆卸设备100执行处理。类似地,例如,即使在图像捕获装置110的处理负荷足够小的情况下,如果不能满足在步骤S2502中确认的处理性能,则也可以存储处理性能的信息。在这种情况下,在随后的处理中,如果在步骤S2502中确认了所存储的处理性能或更严格的处理性能,则控制单元304可以将处理的一部分的执行主体转移到可拆卸设备100上而不执行步骤S2503的处理。
根据第一处理示例,选择在图像捕获装置110和可拆卸设备100中提供的处理功能,并且在装置之间分配并执行处理以满足所需的处理性能。这使得可以根据例如图像捕获装置110的状态执行适当的处理分配,并维持令人满意的处理性能。
[第二处理示例]
接下来将参考图26描述选择要使用的处理功能的第二处理示例。当在可拆卸设备100具有能够执行相同处理的多个处理功能的情况下选择要使用的处理功能时,执行该处理。注意,该处理可以在例如在第一处理示例中确定使可拆卸设备100执行一些处理的情况下执行。即,当可拆卸设备100执行处理时,可拆卸设备100可以使用该处理来确定应当使用能够执行处理的一个或多个处理功能中的哪一个。但是,这仅仅是示例,并且可以通过该处理示例来确定图像捕获装置110与可拆卸设备100之间的处理分配。例如,如果在集成了图像捕获装置110和可拆卸设备100可执行的处理的处理列表中存在能够执行相同处理的多个处理功能,则该处理示例可以用于确定应该使用处理功能中的哪一个。即,如果图像捕获装置110和可拆卸设备100中的每一个具有能够执行相同处理的一个或多个处理功能,则该处理示例可以用于确定应当在哪个装置中的使用哪个处理功能来执行处理。
在该处理中,首先,如在图25的步骤S2501中那样,用户在输入/输出装置130上选择执行目标处理,并且图像捕获装置110的控制单元304从输入/输出装置130获得表示所选择的处理的信息(步骤S2601)。控制单元304确认可拆卸设备100可执行的处理的列表(第二处理列表),并且对于执行目标处理,确认是否存在能够执行相同处理的多个处理功能(步骤S2602)。在确定仅存在能够执行执行目标处理的一个处理功能后(步骤S2602中为“否”),控制单元304使用该处理功能来执行处理(步骤S2603)。另一方面,在确定存在能够执行执行目标处理的多个处理功能后(步骤S2602中为“是”),控制单元304使处理前进到步骤S2604,以使用多个处理功能中的一个执行处理。
在步骤S2604中,控制单元304确认能够执行作为步骤S2602的确定目标的相同处理的多个处理功能中的每一个的特征。这里,关于例如面部特征提取,确认表示第一处理功能适合于处理白天的亮度相对较高的图像而第二处理功能适合于处理夜间的亮度相对较低的图像的特征。在确认了处理功能的特征之间的差异之后,控制单元304确认图像捕获装置110正在执行图像捕获的当前环境(步骤S2605)。基于在步骤S2604中获得的每个处理功能的特征和在步骤S2605中获得的图像捕获环境的信息,控制单元304选择要在实际分析处理中使用的处理功能(步骤S2606),并使用所选择的处理功能执行分析处理(步骤S2607)。
这里,可以基于例如图像捕获装置110的内部时钟或由图像捕获装置110捕获的图像的亮度值的分布来进行图像捕获环境的确认。例如,如果内部时钟指示夜晚时区,则选择适合于处理亮度值相对较低的图像的处理功能。如果被捕获图像的亮度值位于低亮度侧,则选择适合于处理亮度值相对较低的图像的处理功能。可替代地,可以针对每个处理功能准备亮度值的检测精度的评估值的分布,并且例如,可以选择如下处理功能:对于该处理功能,通过将被捕获图像的每个亮度值的频率和指示亮度值的检测精度的值相乘并相加而获得的值之和最优秀。可以基于例如在图像捕获装置110的图像捕获时的视角信息(平移/倾斜/变焦)来进行图像捕获环境的确认。例如,基于例如房间中的暗区域或窗户旁边的亮区域中的哪一个被捕获来选择要使用的处理功能。注意,处理功能的特征可以由亮度值以外的指标来定义。例如,诸如在包括预定对象(诸如窗口)的图像中的高面部提取精度或对于正在高速移动的对象的高检测精度之类的各种特征可以用作选择要使用的处理功能的参考。另外,例如,每个处理功能可以具有表示以高速度但以低精度进行处理的特征或者以相对低的速度但以高精度进行处理的特征。可以根据处理条件选择合适的处理功能。
控制单元304确认图像捕获环境是否已经改变(步骤S2608)。如果图像捕获环境已经改变(步骤S2608中为“是”),则控制单元304再次执行选择适合于改变之后的环境的处理功能的处理(步骤S2606),并通过所选择的处理功能执行分析处理(步骤S2607)。另一方面,如果图像捕获环境没有改变(步骤S2608中为“否”),则控制单元304继续分析处理而不改变处理功能(步骤S2607)。
根据该处理,可以从能够执行相同处理的多个处理功能中选择适合于环境的处理功能,并使用该处理功能。从处理精度等的观点看,这使得可以针对每种环境选择性地使用适当的处理功能。
[第三处理示例]
接下来将参考图27描述确定图像捕获装置110与可拆卸设备100之间的处理分配的第三处理示例。在该处理中,基于是否可以仅通过可拆卸设备100中提供的处理功能的组合完成处理来确定处理的分配。
在该处理中,首先,如图25的步骤S2501或图26的步骤S2601中那样,用户选择输入/输出装置130上的执行目标处理,并且图像捕获装置110的控制单元304获得表示来自输入/输出装置130的所选择的处理的信息(步骤S2701)。控制单元304确定所选择的处理是否可以仅由可拆卸设备100实现(完成)(步骤S2702)。注意,控制单元304可以例如基于所选择的处理的所有功能是否可以通过可拆卸设备100中提供的处理功能的组合满足,或者处理结果是否可以被存储在可拆卸设备100中,来执行步骤S2702的确定。例如,如果所选择的处理的所有功能可以通过可拆卸设备100中提供的处理功能的组合满足,并且处理结果可以被存储在可拆卸设备100中,则控制单元304确定处理可以仅由可拆卸设备100完成。
在确定所选择的处理不能仅由可拆卸设备100完成(步骤S2702中为“否”)后,控制单元304在图像捕获装置110和可拆卸设备100之间分配处理(步骤S2703)。在这种情况下,可以执行第一处理示例和第二处理示例中的处理分配。注意,在这种情况下,所有处理可以由图像捕获装置110执行,即,可拆卸设备100的处理功能的使用可以被禁止。另一方面,在确定所选择的处理可以仅由可拆卸设备100完成(步骤S2702中为“是”)后,控制单元304选择应当使用可拆卸设备100中提供的处理功能中的哪个处理功能(步骤S2704)。注意,如果可拆卸设备100具有能够执行相同处理的多个处理功能,则如第二处理示例中那样选择应当使用哪个处理功能。此后,控制单元304执行使可拆卸设备100使用所选择的处理功能执行图像分析处理的处理(步骤S2705)。另外,控制单元304执行将在步骤S2705中执行图像分析处理的结果存储在可拆卸设备100中的处理(步骤S2706)。使用例如SD标准的命令来执行这些处理。注意,在步骤S2706中,可以将结果存储在存储单元404中,或者如果在FPGA 402中设有RAM,则可以将结果存储在RAM中。
在该处理示例中,如果可以在可拆卸设备100中完成处理,则使可拆卸设备100执行处理。因此,要由图像捕获装置110执行的处理仅是向可拆卸设备100的图像发送,并且处理负荷可以大大减轻。
以上述方式,使用可拆卸设备100增加了在图像捕获装置110侧可执行的功能,从而增强了系统中的处理功能。例如,当在可拆卸设备100中实现最新处理功能时,可以在图像捕获设备110侧执行通过最新处理功能的图像分析处理而无需替换图像捕获设备110。这可以灵活地操作系统并提高便利性。
在上述实施例中,已经描述了图像分析处理作为分析处理的示例。但是,本发明也可以应用于声音分析处理。例如,本发明可以应用于检测诸如尖叫声、枪声或玻璃破碎声之类的声音模式的处理。例如,通过诸如频谱分析之类的各种声音数据分析方法提取声音的特征量,并将其与检测到的声音模式进行比较。通过计算匹配程度,可以检测到具体的声音模式。
当执行声音分析处理时,将声音数据分割成预定时间的声音数据,使用预定时间的声音数据为单位执行声音分析处理。另外,取决于检测目标的声音模式,适当地改变预定时间。出于此原因,将与要检测的声音模式对应的时间的声音数据输入到可拆卸设备100。可拆卸设备100具有分析输入声音数据的功能或保持输入声音数据的功能。
在上述实施例中,已经描述了能够非临时地存储从图像捕获装置110输入的数据的可拆卸设备100。但是,在一些实施例中,可以使用不能非临时地存储从图像捕获装置110输入的数据的可拆卸设备100。即,可拆卸设备100可以仅对从图像捕获装置110输入的数据执行分析处理,并且可以不非临时地存储数据。换句话说,可以使用不像普通SD卡那样旨在存储数据、而是旨在分析处理的可拆卸设备100。
其它实施例
本发明的(一个或多个)实施例还可以通过读出并执行记录在存储介质(也可以更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如,一个或多个程序)以执行一个或多个上述实施例的功能和/或包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如,专用集成电路(ASIC))的系统或装置的计算机来实现,以及通过由系统或装置的计算机例如通过从存储介质读出并执行计算机可执行指令以执行一个或多个上述实施例的功能和/或控制一个或多个电路执行一个或多个上述实施例的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如,中央处理单元(CPU)、微处理单元(MPU)),并且可以包括单独的计算机或单独的处理器的网络以读出并执行计算机可执行指令。可以例如从网络或存储介质将计算机可执行指令提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考示例性实施例描述了本发明,但是应该理解的是,本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释,以涵盖所有这样的修改以及等同的结构和功能。
Claims (18)
1.一种图像捕获装置,包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部,所述图像捕获装置包括:
生成部件,用于生成基于被捕获图像的图像数据;
确定部件,用于如果被安装在安装部中的所述设备能对图像数据执行图像分析处理,则基于从所述设备获得的信息来确定要用于从所述设备获得图像分析处理的结果的方法;
输出部件,用于将图像数据输出到所述设备;以及
获得部件,用于使用由确定部件确定的方法从所述设备获得所述结果。
2.根据权利要求1所述的图像捕获装置,其中,确定部件基于从所述设备获得的信息来确定要使用第一方法和第二方法中的哪一个,其中,在第一方法中,图像捕获装置接收对于由图像捕获装置用来向所述设备输出图像数据的第一命令的响应,该响应包括图像分析处理的结果,并且其中,在第二方法中,图像捕获装置向所述设备输出与第一命令不同的第二命令并且基于第二命令从设备读出结果。
3.根据权利要求2所述的图像捕获装置,其中,在第一方法中,与被配置为向所述设备输出第一图像数据的命令对应地接收包括对在第一图像数据之前向所述设备输出的第二图像数据的图像分析处理的结果的响应。
4.根据权利要求2所述的图像捕获装置,其中,当使用第一方法时,确定部件基于从所述设备获得的信息来确定在将图像数据输出到所述设备之后直到接收到包括对图像数据的图像分析处理结果的响应的定时。
5.根据权利要求4所述的图像捕获装置,其中,所述定时基于在图像分析处理中开始处理之后直到处理结束的时间。
6.根据权利要求2所述的图像捕获装置,其中,在发送第一命令之后的预定时间内从所述设备接收所述响应。
7.根据权利要求1所述的图像捕获装置,还包括:指定部件,用于指定表示所述结果的数据的数据长度;
其中,确定部件基于指定的数据长度来选择要使用的方法,并请求设备使用所选择的方法,从而确定要使用的方法。
8.根据权利要求7所述的图像捕获装置,其中,指定部件通过从所述设备获得关于数据长度的信息来指定数据长度。
9.根据权利要求7所述的图像捕获装置,其中,指定部件基于图像分析处理的信息来指定数据长度。
10.根据权利要求1所述的图像捕获装置,其中,确定部件基于在由输出部件输出图像数据之前从所述设备获得的信息来确定要使用的方法。
11.一种图像捕获装置,包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部,所述图像捕获装置包括:
生成部件,用于生成基于被捕获图像的图像数据;
输出部件,用于向所述设备输出图像数据和由图像捕获装置用来向被安装在安装部中的所述设备输出图像数据的命令;以及
获得部件,用于如果所述设备能对图像数据执行图像分析处理,则接收对于所述命令的响应,从而获得图像分析处理的结果,所述响应包括所述结果。
12.一种能够至少存储被捕获图像并被安装在图像捕获装置中的设备,所述图像捕获装置包括能够附接/拆卸所述设备的安装部,所述设备包括:
处理部件,用于对基于由图像捕获装置捕获的图像的图像数据执行图像分析处理;
获得部件,用于从图像捕获装置获得图像数据和由图像捕获装置用来向所述设备输出图像数据的命令;以及
发送部件,用于向图像捕获装置发送对于所述命令的响应,所述响应包括图像分析处理的结果。
13.一种由图像捕获装置执行的控制方法,所述图像捕获装置包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部,所述控制方法包括:
生成基于被捕获图像的图像数据;
如果被安装在安装部中的设备能对图像数据执行图像分析处理,则基于从所述设备获得的信息来确定要用于从所述设备获得图像分析处理的结果的方法;
向所述设备输出图像数据;以及
使用所确定的方法从所述设备获得所述结果。
14.一种由图像捕获装置执行的控制方法,所述图像捕获装置包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部,所述控制方法包括:
生成基于被捕获图像的图像数据;
向所述设备输出图像数据和由图像捕获装置用来向被安装在安装部中的所述设备输出图像数据的命令;以及
如果所述设备能对图像数据执行图像分析处理,则接收对于所述命令的响应,从而获得图像分析处理的结果,所述响应包括所述结果。
15.一种由能够至少存储被捕获图像并被安装在图像捕获装置中的设备执行的控制方法,所述图像捕获装置包括能够附接/拆卸所述设备的安装部,所述控制方法包括:
对基于由图像捕获装置捕获的图像的图像数据执行图像分析处理;
从图像捕获装置获得图像数据和由所述图像捕获装置用来向所述设备输出图像数据的命令;以及
向图像捕获装置发送对于所述命令的响应,所述响应包括图像分析处理的结果。
16.一种存储程序的计算机可读存储介质,所述程序被配置为使在包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部的图像捕获装置中提供的计算机:
生成基于被捕获图像的图像数据;
如果被安装在安装部中的所述设备能对图像数据执行图像分析处理,则基于从所述设备获得的信息来确定要用于从所述设备获得图像分析处理的结果的方法;
向所述设备输出图像数据;以及
使用所确定的方法从所述设备获得所述结果。
17.一种存储程序的计算机可读存储介质,所述程序被配置为使在包括能够附接/拆卸能够至少存储被捕获图像的设备的安装部的图像捕获装置中提供的计算机:
生成基于被捕获图像的图像数据;
向所述设备输出图像数据和由图像捕获装置用来向被安装在安装部中的所述设备输出图像数据的命令;以及
如果所述设备能对图像数据执行图像分析处理,则接收对于所述命令的响应,从而获得图像分析处理的结果,所述响应包括所述结果。
18.一种存储程序的计算机可读存储介质,所述程序被配置为使在设备中提供的计算机执行以下操作,所述设备能够至少存储被捕获图像并被安装在包括能够附接/拆卸所述设备的安装部的图像捕获装置中:
对基于由图像捕获装置捕获的图像的图像数据执行图像分析处理;
从图像捕获装置获得图像数据和由所述图像捕获装置用来向所述设备输出图像数据的命令;以及
向图像捕获装置发送对于所述命令的响应,所述响应包括图像分析处理的结果。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019171852A JP7425569B2 (ja) | 2019-09-20 | 2019-09-20 | 撮像装置、デバイス、制御方法及びプログラム |
JP2019-171852 | 2019-09-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112543257A true CN112543257A (zh) | 2021-03-23 |
CN112543257B CN112543257B (zh) | 2023-04-21 |
Family
ID=72561618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010985687.4A Active CN112543257B (zh) | 2019-09-20 | 2020-09-18 | 图像捕获装置、设备、控制方法和计算机可读存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11483464B2 (zh) |
EP (1) | EP3796640A1 (zh) |
JP (1) | JP7425569B2 (zh) |
CN (1) | CN112543257B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6229954B1 (en) * | 1993-03-22 | 2001-05-08 | Canon Kabushiki Kaisha | Recording and/or reproducing apparatus |
US20030193571A1 (en) * | 2002-04-10 | 2003-10-16 | Schultz Kevin L. | Smart camera with modular expansion capability |
US20040085442A1 (en) * | 2001-07-18 | 2004-05-06 | Olympus Optical Co., Ltd. | Electronic endoscope apparatus and signal processing apparatus |
US20060001746A1 (en) * | 2004-06-30 | 2006-01-05 | Canon Kabushiki Kaisha | Processing device and image sensing apparatus |
US20100182655A1 (en) * | 2007-09-13 | 2010-07-22 | Akira Murakata | Image processing device, image forming device, image processing method, image processing program, and recording medium |
JP2014060782A (ja) * | 2013-11-20 | 2014-04-03 | Olympus Imaging Corp | 撮影機器 |
US20160085624A1 (en) * | 2014-09-23 | 2016-03-24 | Empire Technology Development Llc | Memory controller with read unit length module |
WO2016175225A1 (ja) * | 2015-04-28 | 2016-11-03 | 株式会社ジェイエイアイコーポレーション | 機能拡張装置、機能拡張装置の脱着構造、及び機能拡張システム |
CN106294225A (zh) * | 2015-06-29 | 2017-01-04 | 深圳市中兴微电子技术有限公司 | 一种数据读取方法、对端设备及控制器 |
US20180131889A1 (en) * | 2016-11-10 | 2018-05-10 | Fujitsu Limited | Non-transitory computer-readable storage medium, control method, and control device |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3226271B2 (ja) * | 1989-07-27 | 2001-11-05 | オリンパス光学工業株式会社 | ディジタル電子スチルカメラ |
JP3134392B2 (ja) * | 1991-08-29 | 2001-02-13 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、信号記録装置及び方法、並びに信号再生装置及び方法 |
US5563655A (en) * | 1994-02-28 | 1996-10-08 | Eastman Kodak Company | Intelligent digital image storage for an electronic camera |
US7197189B2 (en) * | 2003-05-15 | 2007-03-27 | Hewlett-Packard Development Company, L.P. | System and method having removable storage medium with data compression |
US7409477B2 (en) * | 2003-09-03 | 2008-08-05 | Hewlett-Packard Development Company, L.P. | Memory card having a processor coupled between host interface and second interface wherein internal storage code provides a generic interface between host interface and processor |
JP4406339B2 (ja) * | 2004-09-21 | 2010-01-27 | 株式会社東芝 | コントローラ、メモリカード及びその制御方法 |
EP1826709A3 (en) | 2006-02-24 | 2012-04-25 | LG Electronics Inc. | Method and apparatus for contactless interface on ICC supporting high speed interface |
JP4891273B2 (ja) | 2008-01-30 | 2012-03-07 | キヤノン株式会社 | 画像形成装置及びその制御方法 |
JP2018101252A (ja) | 2016-12-20 | 2018-06-28 | 株式会社東芝 | Icカード、携帯可能電子装置及び処理装置 |
JP6981057B2 (ja) | 2017-06-14 | 2021-12-15 | 株式会社リコー | データ転送装置及びデータ転送方法 |
US11343434B2 (en) | 2018-12-20 | 2022-05-24 | Canon Kabushiki Kaisha | Image processing apparatus and control method for same |
-
2019
- 2019-09-20 JP JP2019171852A patent/JP7425569B2/ja active Active
-
2020
- 2020-09-18 EP EP20196841.9A patent/EP3796640A1/en active Pending
- 2020-09-18 CN CN202010985687.4A patent/CN112543257B/zh active Active
- 2020-09-18 US US17/025,065 patent/US11483464B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6229954B1 (en) * | 1993-03-22 | 2001-05-08 | Canon Kabushiki Kaisha | Recording and/or reproducing apparatus |
US20040085442A1 (en) * | 2001-07-18 | 2004-05-06 | Olympus Optical Co., Ltd. | Electronic endoscope apparatus and signal processing apparatus |
US20030193571A1 (en) * | 2002-04-10 | 2003-10-16 | Schultz Kevin L. | Smart camera with modular expansion capability |
US20060001746A1 (en) * | 2004-06-30 | 2006-01-05 | Canon Kabushiki Kaisha | Processing device and image sensing apparatus |
US20100182655A1 (en) * | 2007-09-13 | 2010-07-22 | Akira Murakata | Image processing device, image forming device, image processing method, image processing program, and recording medium |
JP2014060782A (ja) * | 2013-11-20 | 2014-04-03 | Olympus Imaging Corp | 撮影機器 |
US20160085624A1 (en) * | 2014-09-23 | 2016-03-24 | Empire Technology Development Llc | Memory controller with read unit length module |
WO2016175225A1 (ja) * | 2015-04-28 | 2016-11-03 | 株式会社ジェイエイアイコーポレーション | 機能拡張装置、機能拡張装置の脱着構造、及び機能拡張システム |
TW201703503A (zh) * | 2015-04-28 | 2017-01-16 | Jai Ltd | 功能擴充裝置、功能擴充裝置的裝卸構造以及功能擴充系統 |
CN106294225A (zh) * | 2015-06-29 | 2017-01-04 | 深圳市中兴微电子技术有限公司 | 一种数据读取方法、对端设备及控制器 |
US20180131889A1 (en) * | 2016-11-10 | 2018-05-10 | Fujitsu Limited | Non-transitory computer-readable storage medium, control method, and control device |
Also Published As
Publication number | Publication date |
---|---|
JP2021047828A (ja) | 2021-03-25 |
CN112543257B (zh) | 2023-04-21 |
JP7425569B2 (ja) | 2024-01-31 |
US20210092272A1 (en) | 2021-03-25 |
US11483464B2 (en) | 2022-10-25 |
EP3796640A1 (en) | 2021-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112752018B (zh) | 图像捕获装置、控制方法及计算机可读存储介质 | |
CN112543255B (zh) | 图像捕获装置、控制方法和计算机可读存储介质 | |
CN113329167A (zh) | 图像捕获装置、设备、控制方法和计算机可读存储介质 | |
CN113329166A (zh) | 图像捕获装置、设备、控制方法和计算机可读存储介质 | |
EP3890307A1 (en) | Image capturing apparatus, device, control method, and program | |
CN112543304B (zh) | 设备、图像捕获装置、控制方法和计算机可读存储介质 | |
CN112543257B (zh) | 图像捕获装置、设备、控制方法和计算机可读存储介质 | |
CN112543256B (zh) | 图像捕获装置、控制方法和计算机可读存储介质 | |
JP7500246B2 (ja) | 撮像装置、制御方法、及び、プログラム | |
EP4057147A1 (en) | Detection of anomalous processing means or anomalous storing means in an image capturing system. | |
US20230103764A1 (en) | Information processing apparatus, and control method | |
JP2023048984A (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2021163997A (ja) | 撮像装置、デバイス、通信方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |