CN118266228A - 信息处理装置、信息处理方法和程序 - Google Patents
信息处理装置、信息处理方法和程序 Download PDFInfo
- Publication number
- CN118266228A CN118266228A CN202280076203.1A CN202280076203A CN118266228A CN 118266228 A CN118266228 A CN 118266228A CN 202280076203 A CN202280076203 A CN 202280076203A CN 118266228 A CN118266228 A CN 118266228A
- Authority
- CN
- China
- Prior art keywords
- information
- image
- processing
- model
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 141
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 650
- 238000012545 processing Methods 0.000 claims abstract description 477
- 238000003384 imaging method Methods 0.000 claims abstract description 251
- 238000000034 method Methods 0.000 claims description 172
- 230000008569 process Effects 0.000 claims description 140
- 238000004458 analytical method Methods 0.000 claims description 47
- 230000007613 environmental effect Effects 0.000 claims description 29
- 238000005516 engineering process Methods 0.000 abstract description 22
- 230000006870 function Effects 0.000 description 137
- 238000007726 management method Methods 0.000 description 60
- 238000004891 communication Methods 0.000 description 36
- 238000012544 monitoring process Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 238000012549 training Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 239000003595 mist Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000013386 optimize process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000000256 polyoxyethylene sorbitan monolaurate Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
- H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
根据本技术的信息处理装置包括:搜索处理单元,从成像装置获取结果信息,该成像装置使用人工智能模型对通过捕获对象而获得的捕获图像执行图像处理,该结果信息指示图像处理的结果,并且基于获取的结果信息使用人工智能来对成像装置的成像设置信息和人工智能模型进行搜索;以及应用处理单元,将通过搜索处理单元搜索获得的成像设置信息和人工智能模型应用于成像装置。
Description
技术领域
本技术涉及用于搜索人工智能模型的信息处理装置、信息处理方法和程序的技术领域。
背景技术
随着机器学习领域的发展,机器学习被用来获得针对各种问题的最优解决方案。
例如,专利文献1公开了识别处理单元被设置为使用深度神经网络(DNN)执行识别处理的机器学习单元的技术。
引用列表
专利文献
专利文献1:日本专利号6638852
发明内容
本发明要解决的问题
为了通过机器学习提高图像识别的准确性,优化成像设置是重要的。即,即使用于机器学习的人工智能的性能高,存在图像识别结果的精度没有达到预期水平的可能性,除非成像设置是合适的。
鉴于这种问题,提出了本技术,因此,本技术的目的是通过优化用于图像识别处理的人工智能模型和成像装置的成像设置来提高图像识别精度,成像装置使用人工智能对通过捕获对象的图像而获得的捕获图像执行图像识别处理。
问题的解决方案
根据本技术的信息处理装置包括:搜索处理单元,被配置为从成像装置获取指示图像处理的结果的结果信息,该成像装置被配置为对通过捕获对象的图像而获得的捕获图像使用人工智能模型执行图像处理,并且基于所获取的结果信息使用人工智能搜索所述成像装置的成像设置信息和所述人工智能模型;应用处理单元,用于将所述搜索处理单元搜索得到的成像设置信息和人工智能模型应用于所述成像装置。
在广义上,成像设置信息表示与用于获得捕获图像的成像操作相关的设置信息。具体地,在广义上,成像设置信息包括诸如聚焦和光圈的光学设置、与读取捕获图像信号的操作相关的设置(诸如帧速率、曝光时间和增益)、以及与对所读取的捕获图像信号的图像信号处理相关的设置(诸如伽马校正处理、降噪处理和超分辨率处理)。
此外,人工智能模型是用于诸如图像识别处理和图像检测处理的图像处理的人工智能模型。人工智能模型的搜索是指例如在图像处理包括卷积运算的情况下优化诸如加权因子的各种处理参数、在使用神经网络执行图像处理的情况下优化关于网络结构的设置信息(包括例如诸如内核大小等的信息)等的处理。
附图说明
图1为示出信息处理系统的配置示例的示意图。
图2是用于描述经由设置在云侧信息处理装置中的市场功能注册和下载AI模型或AI应用的每个装置的示图。
图3与图4一起示出在经由市场功能注册或下载AI模型或AI应用时由每个装置执行的处理的流程的示例的示图。
图4与图3一起示出在通过市场功能注册或下载AI模型或AI应用时由每个装置执行的处理的流程的示例的示图。
图5为用于描述云侧信息处理装置与边缘侧信息处理装置之间的连接模式的示图。
图6是管理服务器的功能框图。
图7是云服务器的功能框图。
图8是示出相机的内部配置示例的框图。
图9是示出图像传感器的配置示例的示图。
图10是示出相机的软件配置的框图。
图11是示出在使用容器技术的情况下容器的运行时环境的框图。
图12是示出信息处理装置的硬件配置的示例的框图。
图13是示出由根据第一实施方式的每个装置执行的处理的流程的示例的示图。
图14是示出由根据第一实施方式的每个装置执行的处理的流程的示例的示图。
图15是根据第二实施方式的云服务器的功能框图。
图16是根据第二实施方式由云服务器执行的处理作为预训练的流程图。
图17是示出由根据第二实施方式的每个装置执行的处理的流程的示例的示图。
图18是根据第三实施方式的云服务器的功能框图。
图19是示出由根据第三实施方式的每个装置执行的处理的流程的示例的示图。
图20是示出根据第三实施方式的通过每个装置执行的处理的流程的示例的示图。
图21是用于描述根据变形例的处理流程的示图。
图22是示出用于登录到市场的登录画面的示例的图。
图23是示出呈现给使用市场的每个开发者的开发者屏幕的示例的示图。
图24是示出呈现给使用市场的应用用户的用户屏幕的示例的示图。
具体实施方式
在下文中,将参考附图按照下列顺序描述根据本技术的信息处理装置的实施方式。
<1.信息处理系统>
<1-1.整体系统结构>
<1-2.AI模型和AI应用的注册>
<1-3.系统的功能概述>
<1-4.成像装置的配置>
<1-5.信息处理装置的硬件配置>
<2.作为第一实施方式的搜索处理>
<3.作为第二实施方式的搜索处理>
<4.作为第三实施方式的搜索处理>
<5.变形例>
<6.市场的屏幕示例>
<7.结论>
<8.本技术>
<1.信息处理系统>
<1-1.整体系统结构>
图1是示出根据本技术的实施方式的信息处理系统100的示意性配置示例的框图。
如图所示,信息处理系统100至少包括云服务器1、用户终端2、多个相机3、雾服务器4和管理服务器5。在本示例中,至少云服务器1、用户终端2、雾服务器4和管理服务器5能够通过诸如互联网的网络6彼此通信。
云服务器1、用户终端2、雾灯服务器4以及管理服务器5均被配置为信息处理装置,该信息处理装置包括微计算机,该微计算机包括中央处理单元(CPU)、只读存储器(ROM)以及随机存取存储器(RAM)。
这里,用户终端2是被设计为由作为使用信息处理系统100的服务的接收者的用户使用的信息处理装置。此外,管理服务器5是被设计为供服务提供者使用的信息处理装置。
各相机3包括诸如电荷耦合器件(CCD)型图像传感器或互补金属氧化物半导体(CMOS)型图像传感器的图像传感器,并且拍摄对象的图像以获得作为数字数据的图像数据(捕获图像数据)。另外,如后所述,各相机3还具有使用人工智能(AI)对捕获图像进行处理(例如图像识别处理、图像检测处理等)的功能。在以下描述中,对图像执行的各种类型的处理(诸如,图像识别处理和图像检测处理)将被简称为“图像处理”。例如,使用AI(或AI模型)对图像执行的各种类型的处理将被称为“AI图像处理”。
各相机3能够与雾服务器4进行数据通信,例如能够向雾服务器4发送表示使用AI的处理(图像处理等)的结果的处理结果信息等各种数据,并从雾服务器4接收各种数据。
这里,图1中示出的信息处理系统100被设计为使得雾服务器4或云服务器1基于例如作为由每个相机3执行的AI图像处理的结果而获得的处理结果信息生成有关对象的分析的信息,并允许用户使用用户终端2观看生成的分析信息。
在这种情况下,每个相机3的可能使用包括作为各种类型的监控相机的使用。使用的示例包括用作:用于监控室内(诸如商店、办公室或房屋)的监控相机、用于监控室外(诸如停车场或街道)的监控相机(包括交通监控相机等)、用于工厂自动化(FA)或工业自动化(IA)的生产线的监控相机、以及用于监控车辆的内部或外部的监控相机。
例如,在相机3被用作用于商店的监视相机的情况下,可以想到将多个相机3布置在商店中的预定位置处,以便允许用户检查顾客人口统计(性别、年龄组等)、商店内的顾客动作(流程线)等。在这种情况下,作为上述分析信息,可以想象生成关于客户人口统计的信息、关于商店中的流线的信息、关于结账时的拥堵状态的信息(例如,结账时的等待时间)等。
可替代地,在相机3被用作交通监控相机的情况下,可想到将每个相机3布置在道路附近的位置,以便允许用户识别关于超车车辆的诸如许可证号码(车辆号码)、车辆颜色、车辆类型等的信息,并且在这种情况下,可想到产生诸如许可证号码、车辆颜色、车辆类型等的信息作为上述分析信息。
此外,在相机3用作停车场中的交通监控相机的情况下,可想到布置相机以便能够监控每个停放的车辆、监控在每个车辆周围是否存在可疑行为怀疑的人、以及在存在可疑人的情况下,通知存在可疑人的事实、可疑人的属性(性别或年龄组)等。
此外,还可以想到监测停车场中的街道或可用空间并且向用户通知可用停车位的位置。
在相机3被用作用于如上所述的商店的监视相机的情况下,雾灯服务器4被设计成与每个相机3一起被安排在正在被监测的商店中,即,例如被安排成用于正在被监测的每个物体。如上述那样针对店铺等各监视对象设置雾灯服务器4,无需云服务器1从设置于监视对象的多个相机3直接接收发送数据,因此能够减轻云服务器1的处理负担。
注意,在存在多个商店被监视并且所有商店属于同一公司组的情况下,可以为多个商店提供一个雾服务器4,而不是为每个商店提供一个雾服务器4。即,本技术不限于一个雾服务器4被设置用于每个被监视的对象,并且一个雾服务器4可被设置用于多个被监视的对象的配置。
注意,在由于云服务器1或每个相机3的处理能力大而使得云装置1或每个相机3可以具有雾灯服务器4的功能的情况下,雾灯服务器4可以从信息处理系统100移除,每个相机3可以直接连接到网络6,并且云服务器1可以直接从多个相机3接收发送数据。
<1-2.AI模型和AI应用的注册>
如上所述,在信息处理系统100中,用作边缘侧信息处理装置的相机3执行AI图像处理,并且使用在边缘侧上执行的AI图像处理的结果信息(例如,使用AI的图像识别处理的结果信息)的高级应用功能由用作云侧信息处理装置的云服务器1实现。
这里,存在用于在用作云侧信息处理装置的云服务器1(或包括雾灯服务器4)中注册应用功能的各种可能的方法。
将参照图2描述方法的一个示例。
应注意,尽管在图2中未示出雾服务器4,但可设置雾服务器4。在这种情况下,雾服务器4可以负责云侧功能的一部分或边缘侧功能的一部分。
上述云服务器1和管理服务器5是配置云侧环境的信息处理装置。
另外,相机3是构成边缘侧环境的信息处理装置。
此外,由使用云侧信息处理装置提供的各种服务的用户使用的用户终端2的示例包括由开发要用于AI图像处理的应用的用户使用的应用开发者终端2A、由使用应用的用户使用的应用用户终端2B、以及由开发要用于AI图像处理的AI模型的用户使用的AI模型开发者终端2C。
注意,开发不使用AI图像处理的应用的用户可以使用应用开发者终端2A。
在云侧信息处理装置中,准备用于AI训练的训练数据集。开发AI模型的用户使用AI模型开发者终端2C与云侧信息处理装置进行通信并下载训练数据集。此时,可以为训练数据集提供费用。例如,AI模型开发者可在如下状态下购买训练数据集:通过在市场中注册个人信息,在准备好为云侧功能的市场(电子市场)中注册的不同功能和材料可用于购买。
AI模型开发者使用训练数据集开发AI模型,然后使用AI模型开发者终端2C在市场中注册开发的AI模型。因而,当AI模型被下载时,激励可被支付给AI模型开发者。
此外,开发应用的用户使用应用开发者终端2A从市场下载AI模型并且使用AI模型开发应用(以下简称为“AI应用”)。此时,如上所述,激励可被支付给AI模型开发者。
应用开发用户使用应用开发者终端2A在市场中注册开发的AI应用。因而,当下载AI应用时,可以向开发该AI应用的用户支付奖励。
使用AI应用的用户利用应用用户终端2B执行从市场向用作由用户管理的边缘侧信息处理装置的相机3加载(部署)AI应用和AI模型的操作。此时,激励可被支付给AI模型开发者。
因此,相机3可以使用AI应用和AI模型执行AI图像处理,并且不仅可以捕获图像而且可以借助于AI图像处理来检测客户或检测车辆。
此外,相机3可以能够通过AI图像处理从由相机3捕获的捕获图像中提取顾客的属性信息。
该属性信息从相机3通过网络6向云侧信息处理装置发送。
云侧信息处理装置中已经加载了云应用,每个用户都可以通过网络6使用该云应用。然后,在云应用中,准备用于使用属性信息分析客户流线的应用或客户的捕获图像等。这样的云应用由应用开发用户等上传。
使用云应用使用应用用户终端2B来分析流程线允许应用用户分析他/她自己的商店中的客户流程线并查看分析结果。分析结果例如通过顾客流线在商店的地图上的图形表示来查看。
此外,可以以热图的形式显示流线分析的结果,并且可以通过呈现用户的密度等来查看分析结果。
此外,可以针对关于客户的每个属性的信息分开地显示这样的信息。
可以在云侧市场中注册为每个用户优化的AI模型。例如,由布置在由特定用户管理的商店中的相机3捕获的捕获图像根据需要被上传至并且累积在云侧信息处理装置中。
服务器侧信息处理装置在每次累积一定数量的上传的捕获图像时进行重新训练AI模型以更新AI模型并且在市场中重新注册AI模型的处理。
注意,重新学习AI模型的处理可以可选地由用户在市场上选择,例如。
例如,将使用来自设置在商店中的相机3的暗淡图像重新训练的AI模型加载到相机3中,以允许提高对在暗淡的地方等拍摄的图像执行图像处理的识别率。另外,通过将利用来自配置于店铺外的相机3的明亮的图像重新训练的AI模型装入相机3,能够提高对在明亮的地方等拍摄的图像进行图像处理的识别率。
即,应用用户可以通过将更新的AI模型重新加载到相机3中来正常地获得优化的处理结果信息。
注意,将再次描述重新训练AI模型的处理。
此外,在个人信息包括在从相机3上传到服务器侧信息处理装置的信息(捕获图像等)中的情况下,可从隐私保护的观点上传已删除关于隐私的信息的数据,或者可使已删除关于隐私的信息的数据对AI模型开发用户或应用开发用户可用。
图3和图4示出上述处理的流程。
应注意,云侧信息处理装置对应于图1中的云服务器1、管理服务器5等。
当AI模型开发者使用具有包括液晶显示器(LCD)、有机电致发光(EL)面板等的显示单元的AI模型开发者终端2C查看在市场中注册的数据集列表并且选择期望的数据集时,在步骤S21中,AI模型开发者终端2C向云侧信息处理装置发送下载所选择的数据集的请求。
因而,在步骤S1中,云侧信息处理装置接收请求,并且在步骤S2中执行将所请求的数据集发送到AI模型开发者终端2C的处理。
在步骤S22中,AI模型开发者终端2C执行接收数据集的处理。这允许AI模型开发者使用数据集开发AI模型。
在AI模型的开发结束之后,当AI模型开发者执行在市场中注册所开发的AI模型的操作(例如,指定AI模型的名称、放置AI模型的地址等)时,在步骤S23中,AI模型开发者终端2C向云侧信息处理装置发送在市场中注册AI模型的请求。
因而,云侧信息处理装置在步骤S3中接收注册请求,并且在步骤S4中执行注册AI模型的处理,以便能够例如在市场上显示AI模型。因此,不同于AI模型开发者的用户可以从市场下载AI模型。
例如,想要开发AI应用的应用开发者查看向应用开发者终端2A在市场中注册的AI模型的列表。响应于由应用开发者执行的操作(例如,选择市场上的AI模型之一的操作),在步骤S31中,应用开发者终端2A向云侧信息处理装置发送下载所选择的AI模型的请求。
云侧信息处理装置在步骤S5中接收该请求并且在步骤S6中将AI模型发送给应用开发者终端2A。
在步骤S32中,应用开发者终端2A接收AI模型。因此,应用开发者可以使用由另人开发的AI模型来开发AI应用。
在AI应用的开发结束之后,当应用开发者执行在市场中注册AI应用的操作(例如,指定AI应用的名称、放置AI模型的地址等的操作)时,应用开发者终端2A在步骤S33中向云侧信息处理装置发送注册AI应用的请求。
例如,云侧信息处理装置在步骤S7中接收注册请求并且在步骤S8中注册AI应用,以便能够在市场上显示AI应用。因此,不同于应用开发者的用户可以选择和下载市场上的AI应用。
例如,如图4所示,在步骤S41中,想要使用AI应用的用户使应用用户终端2B执行目的选择。在该用途选择中,将所选择的用途发送至云侧信息处理装置。
因而,在步骤S9中,云侧信息处理装置根据目的选择AI应用,并且在步骤S10中选择AI模型。例如,在云侧信息处理装置中存储根据目的AI应用和AI模型彼此相关联的表格数据,这使得根据目的AI应用和AI模型可选择。
在步骤S11中,云侧信息处理装置执行加载所选择的AI应用和AI模型的处理。在该加载处理中,AI应用和AI模型被发送到相机3。
因此,相机3在步骤S51中执行加载AI应用和AI模型的处理。因此,可以对由相机3拍摄的捕获图像执行AI图像处理。
相机3通过在步骤S52中执行成像操作来获取图像。然后,相机3在步骤S53对所获取的图像执行AI图像处理以获得例如图像识别结果。
相机3在步骤S54中执行发送捕获图像和AI图像处理的结果信息的处理。在步骤S54中的信息发送中,可以发送捕获图像和AI图像处理的结果信息两者或者任一个。
当接收到这样的信息时,云侧信息处理装置在步骤S12中执行分析处理。在该分析处理中,例如,执行分析用户流线或分析车辆以进行交通监测的处理。
在步骤S13中,云侧信息处理装置执行呈现分析结果的处理。该处理例如由用户使用上述云应用来实现。
响应于呈现分析结果的处理,应用用户终端2B在步骤S42中执行在监视器等上显示分析结果的处理。
到目前为止执行的处理允许作为AI应用用户的用户根据在步骤S41中选择的目的获得分析结果。
注意,可以对AI模型进行更新,以便针对由应用用户所管理的相机3所拍摄的图像进行优化。
例如,当相机3重复执行步骤S52、S53和S54的各处理时,从相机3接收的捕获图像和AI图像处理的结果信息被累积在云侧信息处理装置中。
然后,在累积了一定量的信息的情况下,在步骤S14中,云侧信息处理装置执行更新AI模型的处理。该处理对应于通过向AI模型提供新数据来重新训练AI模型的处理。
在步骤S15中,云侧信息处理装置执行加载更新的新AI模型的处理。
响应于该加载处理,相机3在步骤S55中执行加载新AI模型的处理。
注意,在AI应用也被更新的情况下,在步骤S55的处理中可以进一步加载更新的AI应用。
<1-3.系统的功能概述>
在本实施方式中,作为其中信息处理系统100被用作其中作为顾客的用户可以选择用于每个相机3的AI图像处理的功能的类型的服务的服务,被假定。在功能类型的选择中,例如,可以选择图像识别功能、图像检测功能等,或者可以选择更详细的功能类型,以显示针对特定对象的图像识别功能、图像检测功能等。
例如,作为商业模式,服务提供商向用户销售具有AI的图像识别功能的相机3和雾灯服务器4,并且使相机3和雾灯服务器4安装在要监控的位置处。然后,服务提供者使向用户提供如上所述的分析信息的服务可用。
此时,系统所需的用途(诸如商店监控用途或交通监控用途)对于每个客户是不同的,从而使得相机3的AI图像处理功能被选择性地配置,以便获得对应于客户所需的用途的分析信息。
在本示例中,管理服务器5具有选择性地配置相机3的这种AI图像处理功能的功能。
另外,云服务器1或雾灯服务器4也可以具有管理服务器5的功能。
此处,将参考图5描述均用作云侧信息处理装置的云服务器1和管理服务器5与用作边缘侧信息处理装置的相机3之间的连接。
在云侧信息处理装置中实现作为经由集线器(hub)可用的功能的再训练功能、装置管理功能和市场功能。
集线器与边缘侧信息处理装置进行安全且高度可靠的通信。因而,可以向边缘侧信息处理装置提供各种功能。
再训练功能是通过执行再训练来提供新优化的AI模型的功能,因此,提供了基于新训练材料的合适的AI模型。
装置管理功能是对作为边缘侧信息处理装置的相机3等进行管理的功能,例如能够提供对相机3中搭载的AI模型进行管理和监视的功能、对问题进行检测和应对的功能等。
此外,装置管理功能保护由认证用户进行的安全访问。
市场功能提供如上所述登记由AI模型开发者开发的AI模型或由应用开发者开发的AI应用的功能、将这些开发加载到授权的边缘侧信息处理装置中的功能等。此外,市场功能还提供与响应于所开发产品的装载的激励的支付相关的功能。
用作边缘侧信息处理装置的相机3包括边缘运行时、AI应用和AI模型、以及图像传感器IS。
边缘运行时刻起到用于管理加载到相机3中的应用或与云侧信息处理装置通信的嵌入式软件等的作用。
如上所述,通过在云侧信息处理装置中加载在市场中登记的AI模型来获得AI模型,从而相机3可以使用捕获图像根据目的获得AI图像处理的结果信息。
将参考图6描述管理服务器5的功能的概述。
如图所示,管理服务器5具有应用配置功能F1和处理分配搜索功能。
应用配置功能F1是配置信息处理系统100的应用的功能。本文中,应用是指上述AI应用,并且根据诸如商店监控使用或流量监控使用的使用来选择。应用配置功能F1是配置信息处理系统100的功能以获得与客户期望的使用相对应的分析信息的功能。
具体地,作为应用配置功能F1的处理,管理服务器5执行从用户终端2(对应于图2中的应用用户终端2B)接收AI应用的选择的处理。为每个相机3配置AI以获得与所选AI应用相对应的AI图像处理功能的处理;以及选择设置处理,用于选择和设置分析处理的处理细节,以获得与所选AI应用相对应的分析信息作为基于所述相机3的所述AI图像处理的结果而生成的分析信息。当由云服务器1执行分析处理时,分析处理的选择设置处理在云服务器1上进行,并且当由雾服务器4执行分析处理时,分析处理的选择设置处理在雾服务器4上进行。
注意,分析处理的示例包括分析流线的处理、分析业务量的处理等。例如,在分析流线的处理中,通过对由相机3捕获的每个捕获图像执行检测人的图像识别处理而获得识别结果信息。然后,基于识别结果信息来指定每个捕获图像的成像时间和检测到待检测的人的像素区域,并且最终掌握商店中的人的移动以分析目标人的流线。
在不仅特定人的移动而且商店访问者的移动作为整体被掌握的情况下,通过对每个商店访问者执行这样的处理并且最终执行统计处理,可以分析商店访问者的一般流程线等。
处理分配搜索功能F2意指使用AI执行搜索以便优化处理分配(诸如处理的哪个部分由哪个装置执行用于一系列处理,直到向用户呈现分析信息)的功能。注意,稍后将再次描述处理分配搜索功能F2的细节。
图7是用于描述云服务器1的功能的概况的示图。
如图所示,云服务器1具有云侧AI图像处理功能F3、成像设置搜索功能F4和AI模型搜索功能F5。
云侧AI图像处理功能F3是对从各相机3发送的捕获图像进行AI图像处理的功能。由云服务器1执行的AI图像处理将被称为“云侧AI图像处理”。然后,用于云侧AI图像处理的AI模型将被称为“云侧AI模型”。
作为云侧AI图像处理,例如,执行识别目标对象的图像识别处理。在本文中,目标指的是可以是来自图像的检测目标的对象。什么种类的对象成为对象,以取决于信息处理系统100等的使用的方式而不同,但是存在任何对象成为对象的可能性。任何对象可以是可应用的,并且将如下给出一些示例:包括人的动物;移动物体(汽车、自行车、飞机等);植物(蔬菜、水果、树等);工业产品或部件;建筑物;设施;山;大海;河流;星形;太阳;云;等等。
云侧AI图像处理所使用的AI与相机3中的AI图像处理所使用的AI不同。
注意,在以下描述中,使用AI的图像识别处理将被描述为AI图像处理的示例,但是本实施方式不限于这样的处理,并且如稍后所述,可以使用不同功能类型的AI图像处理,诸如图像检测处理。
成像设置搜索功能F4是从相机3获取表示AI图像处理的结果的图像识别的结果信息(以下称为“识别结果信息”),并且基于所获取的识别结果信息,使用AI搜索相机3的成像设置信息的功能。在此处,成像设置信息(在后文中简称为“成像设置”)在广义上表示与用于获得捕获图像的成像操作相关的设置信息。具体地,在广义上,成像设置信息包括诸如聚焦和光圈的光学设置、与读取捕获图像信号的操作相关的设置(诸如帧速率、曝光时间和增益)、以及与对所读取的捕获图像信号的图像信号处理相关的设置(诸如伽马校正处理、降噪处理和超分辨率处理)。
AI模型搜索功能F5是如下功能:从相机3获取表示AI图像处理的结果的识别结果信息,并且基于所获取的识别结果信息,使用另一AI搜索相机3中的图像识别处理所使用的最佳AI模型。此处,用于相机3中的图像识别处理的AI模型将被称为“边缘侧AI模型”。
此处,搜索AI模型对应于搜索边缘侧AI模型,并且对应于其中图像识别处理优化各种处理参数的处理,诸如包括卷积运算的卷积神经网络(CNN)等的加权因子、关于网络结构的设置信息(例如,包括诸如内核大小等的信息)等。
由于云服务器1具有成像设置搜索功能F4和AI模型搜索功能F5,即,使用AI搜索相机3的成像设置信息和边缘侧AI模型的功能,因此利用上述应用配置功能F1对经受功能设置的AI图像处理进行成像设置,以使得图像识别结果令人满意,并且根据实际使用环境,使用边缘侧AI模型进行AI图像处理。
注意,稍后将描述成像设置搜索功能F4和AI模型搜索功能F5的细节。
<1-4.成像装置的配置>
图8是示出相机3的内部配置示例的框图。
如图所示,相机3包括成像光学系统31、光学系统驱动单元32、图像传感器1S、控制单元33、存储器单元34和通信单元35。图像传感器IS、控制单元33、存储器单元34和通信单元35通过总线36彼此连接,以便彼此通信数据。
成像光学系统31包括诸如盖透镜、变焦透镜和聚焦透镜的透镜和光圈(光圈)机构。来自对象的光(入射光)由成像光学系统31引导,并且光会聚在图像传感器IS的光接收表面上。
光学系统驱动单元32全面地表示包括在成像光学系统31中的变焦透镜、聚焦透镜和光阑机构的驱动单元。具体地,光学系统驱动单元32包括用于驱动变焦透镜、聚焦透镜和光圈机构中的每的致动器以及致动器的驱动电路。
控制单元33包括例如包括CPU、ROM和RAM的微型计算机,并且通过使CPU根据存储在ROM中的程序或者加载到RAM中的程序来执行各种类型的处理来执行相机3的整体控制。
此外,控制单元33指示光学系统驱动单元32驱动变焦透镜、聚焦透镜、光圈机构等。光学系统驱动单元32响应于这样的驱动指令移动聚焦透镜和变焦透镜、打开或关闭光圈机构的光圈叶片等。
此外,控制单元33控制各种类型的数据到存储器单元34的写入和从存储器单元34的读取。
存储器单元34是非易失性存储装置,诸如硬盘驱动器(HDD)或闪存装置,并且用作从图像传感器IS输出的图像数据的存储目的地(记录目的地)。
此外,控制单元33经由通信单元35与外部装置通信各种数据。本示例中的通信单元35能够至少与图1中示出的雾服务器4(或云服务器1)通信数据。
例如,图像传感器IS被配置为CCD或CMOS图像传感器。
图像传感器IS包括成像单元41、图像信号处理单元42、传感器内控制单元43、AI图像处理单元44、存储器单元45和通信I/F 46,并且这些部件可通过总线47彼此通信数据。
成像单元41包括像素阵列单元和读出电路,在像素阵列单元中,二维布置各自具有光电转换元件(诸如光电二极管)的像素,读出电路从包括在像素阵列单元中的每个像素读出通过光电转换获得的电信号,并且可以输出电信号作为捕获图像信号。
该读出电路对通过光电转换获得的电信号执行例如相关双采样(CDS)处理、自动增益控制(AGC)处理等,并且进一步对电信号执行模拟/数字(A/D)转换处理。
图像信号处理单元42对作为A/D转换处理的结果而获得的数字数据的捕获图像信号执行预处理、同步处理、YC生成处理、分辨率转换处理、编解码处理等。
在预处理中,对捕获图像信号进行将R、G和B的黑色电平钳位到预定电平的钳位处理、R、G和B颜色通道之间的校正处理等。在同步处理中,进行颜色分离处理,以使得各像素的图像数据具有全部R、G和B颜色分量。例如,在使用拜耳滤色器的成像元件的情况下,执行去马赛克处理作为颜色分离处理。在YC生成处理中,从R、G和B的图像数据生成(分离)亮度(Y)信号和颜色(C)信号。在分辨率转换处理中,对经过各种类型的信号处理的图像数据执行分辨率转换处理。
在编解码器处理中,例如,对经过上述各种类型的处理的图像数据进行用于记录或通信的编码处理和文件生成。在编解码器处理中,能够以诸如运动图像专家组(MPEG)-2或H.264的格式生成文件作为运动图像文件格式。还可以想到生成诸如联合图像专家组(JPEG)、标记图像文件格式(TIFF)或图形交换格式(GIF)的格式的文件作为静止图像文件。
传感器内控制单元43对成像单元41给出指令以执行成像操作的执行控制。类似地,还对图像信号处理单元42执行处理执行控制。
AI图像处理单元44对捕获图像执行图像识别处理作为AI图像处理。在相机3中执行的AI图像处理将被称为“边缘侧AI图像处理”。
作为边缘侧AI图像处理,执行识别目标对象的处理。以类似于云侧AI图像处理的目标的方式,存在用于边缘侧AI图像处理的不同可能目标。
使用AI的边缘侧图像识别功能可以使用诸如CPU、现场可编程门阵列(FPGA)或数字信号处理器(DSP)的可编程算术处理装置来实现。
可以通过改变边缘侧AI图像处理的算法来切换AI图像处理单元44可以实现的边缘侧图像识别功能。换言之,可以通过切换用于边缘侧AI图像处理的边缘侧AI模型来切换AI图像处理的功能类型。虽然边缘AI图像处理的各种功能类型是可想到的,但是例如可以例示以下类型。
·类别识别
·语义分段
·人检测
·车检测
·目标跟踪
·光学字符识别(OCR)
在上述功能类型中,类别标识是标识目标的类别的功能。本文中描述的术语“类别”是指指示对象的类别的信息,并且例如是指诸如“人”、“汽车”、“飞机”、“轮船”、“卡车”、“鸟”、“猫”、“狗”、“鹿”、“蛙”、“马”等的分类。
目标跟踪是跟踪目标受试者的功能,并且还可以描述为获得受试者的位置的历史信息的功能。
存储器单元45被用作由图像信号处理部42得到的捕获图像数据等各种数据的存储目的地。此外,在本示例中,存储器单元45还可以用于临时存储AI图像处理单元44在边缘侧AI图像处理期间使用的数据。
此外,存储器单元45存储关于AI图像处理单元44所使用的AI应用和AI模型的信息。
注意,关于AI应用和AI模型的信息可以使用下面描述的容器技术加载到用作容器等的存储器单元45中。通过将用于边缘侧AI图像处理的边缘侧AI模型加载到存储器单元45中,可以改变AI图像处理的功能类型或将AI模型改变为通过重新训练提高了性能的AI模型。
注意,以上描述已经基于在本实施方式中用于图像识别的AI模型和AI应用的示例给出,但是本技术不限于这样的示例,并且可以针对使用AI技术执行的程序等。
此外,在存储器单元45的容量较小的情况下,在使用容器技术将关于AI应用和AI模型的信息作为容器加载到存储器(诸如位于图像传感器IS外部的存储器单元34)中之后,可以经由下面将要描述的通信I/F 46将仅AI模型存储在位于图像传感器IS内部的存储器单元45中。
通信I/F 46是与位于图像传感器IS外部的控制单元33、存储器单元34等通信的接口。通信I/F 46从外部进行用于获取要由图像信号处理单元42执行的程序、要由AI图像处理单元44使用的AI应用或AI模型等的通信,并且将该程序、AI应用、AI模型等存储在包括在图像传感器1S中的存储器单元45中。
因此,AI模型被存储在包括在图像传感器IS中的存储器单元45的一部分中,以便可供AI图像处理单元44使用。
AI图像处理单元44通过使用如此获得的AI应用或AI模型执行预定的图像识别处理,根据目的识别对象。
AI图像处理的识别结果信息经由通信I/F 46被输出到图像传感器IS的外部。
即,从图像传感器IS的通信I/F 46不仅输出从图像信号处理单元42输出的图像数据,而且还输出AI图像处理的识别结果信息。
注意,可以从图像传感器IS的通信I/F 46仅输出图像数据和识别结果信息中的任一个。
例如,在使用上述重新训练AI模型的功能的情况下,将用于重新训练功能的捕获图像数据从图像传感器IS经由通信I/F 46和通信单元35上传至云侧信息处理装置。
此外,在使用AI模型进行推断的情况下,AI图像处理的识别结果信息从图像传感器IS经由通信I/F 46和通信单元35输出至位于相机3外部的其他信息处理装置。
存在图像传感器1S的各种可能的配置。这里,将描述图像传感器1S具有两层堆叠结构的示例。
如图9所示,图像传感器IS被配置为一个芯片半导体器件,其中,两个芯片堆叠在彼此的顶部上。
图像传感器IS包括用作图8中所示的成像单元41的芯片D1和芯片D2的堆叠,芯片D2包括图像信号处理单元42、传感器内控制单元43、AI图像处理单元44、存储器单元45和通信I/F 46。
芯片D1和芯片D2例如通过Cu-Cu接合而电连接。
存在将AI模型、AI应用等加载到相机3中的各种可能的方法。将描述使用容器技术的示例。
在相机3中,操作系统51安装在各种类型的硬件50上,例如,如图8中所示的控制单元33的CPU或图形处理单元(GPU)、ROM、以及RAM(见图10)。
操作系统51是负责相机3的整体控制以实现相机3中的各种功能的基本软件。
通用中间件52安装在操作系统51上。
通用中间件52是例如实现基本操作的软件,诸如使用用作硬件50的通信单元35的通信功能和使用用作硬件50的显示单元(诸如监视器)的显示功能。
在操作系统51上,不仅安装通用中间件52,而且安装编排工具53和容器引擎54。
协调工具53和容器引擎54将群集56构建为容器55的运行时环境并且加载和运行容器55。
注意,图5中所示的边缘运行时对应于图10中所示的编排工具53和容器引擎54。
编排工具53具有使容器引擎54适当地分配上述硬件50和操作系统51的资源的功能。每个容器55通过编排工具53被收集到预定单元(下文将描述的网荚)中,并且每个网荚被加载到作为逻辑上不同区域的工作节点(下文将描述)中。
容器引擎54是安装在操作系统51中的多个中间件中的一个,并且是使容器55操作的引擎。具体地,容器引擎54具有基于包括在容器55内部的中间件中的配置文件等将硬件50和操作系统51的资源(存储器、计算能力等)分配给容器55的功能。
此外,在本实施方式中,所分配的资源不仅包括相机3中所包括的诸如控制单元33之类的资源,还包括图像传感器IS中包括的诸如传感器内控制单元43、存储器单元45和通信I/F 46之类的资源。
容器55包括应用和中间件,诸如用于实现预定功能的库。
容器55操作以使用由容器引擎54分配的硬件50和操作系统51的资源来实现预定功能。
在本实施方式中,图5所示的AI应用和AI模型对应于容器55中的一个。即,装载到相机3中的各种容器55中的一个使用AI应用和AI模型实现预定的AI图像处理功能。
将参考图11描述由容器引擎54和编排工具53构建的群集56的具体配置示例。注意,集群56可以跨多个装置构建,使得不仅使用包括在一个相机3中的硬件50的资源而且使用包括在其他装置中的其他硬件的资源来实现功能。
协调工具53基于每个工作节点57管理容器55的运行时环境。此外,协调工具53构建管理所有工作节点57的主节点58。
在每个工作节点57中,装载多个网荚59。每个荚体59包括一个或多个容器55并且实现预定功能。网荚59是通过编排工具53管理容器55的管理单元。
工作节点57中的网荚59在网荚管理库60的控制下进行操作。
网荚管理库60包括使网荚59使用硬件50的逻辑分配资源的容器运行时间、经受来自主节点58的控制的代理和负责网荚59之间的通信、与主节点58的通信等的网络代理。
也就是说,网荚管理库60允许每个网荚59使用每个资源来实现预定功能。
主节点58包括加载网荚59的应用服务器61、管理应用服务器61如何加载容器55的管理器62、确定容器55放置在其中的工作节点57的调度器63以及执行数据共享的数据共享单元64。
图10和图11中所示的部件的使用允许使用容器技术将上述AI应用和AI模型加载到相机3的图像传感器IS中。
要注意的是,如上所述,在图8中,AI模型经由通信I/F 46储存在图像传感器IS内的存储器单元45内的配置。可以采用在图像传感器IS中执行AI图像处理,或者可替换地,可以采用其中图10和图11中示出的组件被加载到图像传感器IS中的存储器单元45和传感器内控制单元43中以使用容器技术在图像传感器IS中运行上述AI应用和AI模型的配置。
<1-5.信息处理装置的硬件配置>
将参考图12描述包括在信息处理系统100中的诸如云服务器1、用户终端2、雾服务器4和管理服务器5的信息处理装置的硬件配置。
信息处理装置包括CPU 71。CPU 71用作执行上述各种类型的处理的算术处理单元,并且根据存储在诸如ROM 72的非易失性存储单元74或例如电可擦可编程只读存储器(EEP-ROM)中的程序或从存储单元79加载到RAM 73中的程序来执行各种类型的处理。RAM73还根据需要存储CPU 71执行各种类型的处理所需的数据等。
注意,包括在作为云服务器1的信息处理装置中的CPU 71包括用于实现上述功能的搜索处理单元和发送处理单元。然后,搜索处理单元实现成像设置搜索功能F4和AI模型搜索功能F5。
CPU 71、ROM 72、RAM 73和非易失性存储单元74通过总线83彼此连接。输入/输出接口(I/F)75也连接到总线83。
包括操作元件或操作装置的输入单元76连接到输入/输出接口75。
输入单元76的可能的示例包括各种类型的操作元件或操作装置,诸如键盘、鼠标、按键、拨号盘、触摸面板、触摸板和遥控器。
通过输入单元76检测用户操作,并且通过CPU 71解释与输入操作对应的信号。
此外,包括LCD、有机EL面板等的显示单元77和包括扬声器等的音频输出单元78整体或单独连接至输入/输出接口75。
显示单元77是执行各种类型的显示的显示单元,并且包括例如设置在计算机装置的壳体中的显示装置、连接至计算机装置的单独的显示装置等。
显示单元77基于来自CPU 71的指令在显示屏幕上显示用于各种类型的图像处理的图像、待处理的移动图像等。此外,显示单元77基于CPU 71的指令显示各种类型的操作菜单、图标、消息等,即,显示为图形用户界面(GUI)。
存在包括硬盘、固态存储器等的存储单元79和包括调制解调器等的通信单元80连接至输入/输出接口75的情况。
通信单元80在诸如互联网的传输路径上执行通信处理,并且与各种装置执行有线/无线通信、总线通信等。
根据需要,驱动器81还连接至输入/输出接口75,并且安装可移动存储介质82,诸如,磁盘、光盘、磁光盘或者半导体存储器。
可以通过驱动器81从可移动存储媒质82读取用于每个处理的诸如程序的数据文件。读出的数据文件被存储在存储部79中,包含在该数据文件中的图像或声音通过显示部77或声音输出部78输出。此外,根据需要将从可移动存储介质82读取的计算机程序等安装在存储单元79中。
在这种计算机装置中,例如,可通过通信单元80或者可移除存储介质82经由网络通信安装用于本实施方式的处理的软件。可替换地,软件可以预先存储在ROM 72、存储单元79等中。
此外,由相机3拍摄的捕获图像和AI图像处理的处理结果可以经由驱动器81被接收并存储在存储单元79或可移动存储媒质82中。
CPU 71基于各种程序执行处理操作,以执行用作包括上述运算处理单元的信息处理装置的云服务器1所需的信息处理或通信处理。
要注意的是,云服务器1不限于如图6中所示的单个计算机装置,并且可被配置为包括多个计算机装置的系统。多个计算机装置可以通过局域网(LAN)等系统化,或者可以通过使用互联网等的虚拟专用网(VPN)等布置在远程位置。多个计算机装置可以包括作为可以由云计算服务使用的服务器组(云)的计算机装置。
<2.作为第一实施方式的搜索处理>
在作为第一实施方式的搜索处理中,进行成像设置搜索和边缘侧AI模型搜索。
将参照图13和图14描述具体处理流程。
首先,用户操作用户终端2以选择用于从由相机3捕获的捕获图像数据中获得期望的分析信息的AI应用。应注意,在以下描述中,AI应用可简称为“应用”。
该应用用于例如如上所述的商店监控、交通监控、客户流线的抓取等,并且可以被描述为执行AI图像处理的目的。
注意,不仅存在根据目的(应用)存在一个AI应用的情况,而且还存在根据目的、存在多个AI应用的情况。具体地,例如,存在准备用于实现“商店监控”目的的多个AI应用的情况。在这种情况下,用户可以选择“商店监控”的目的,或者可以从用于实现“商店监控”的目的而准备的多个AI应用中选择一个AI应用。在前一种情况下,即,在用户选择“目的”的情况下,可以通过用“目的”替换以下描述中的“应用”来实现。
应注意,例如,上述目的(诸如,“商店监控”和“交通监控”)的列表和多个上述AI应用(例如,属性识别的AI应用)作为市场显示在用户终端2上,并且用户从目的和应用中选择期望的目的或期望的AI应用,以实现上述选择。
在接收到应用选择操作时,在步骤S101中,用户终端2执行向管理服务器5发送关于所选择的应用的信息的处理。
在步骤S201中,管理服务器5从用户终端2接收应用选择信息。
注意,管理服务器5从用户终端2接收环境信息以及应用选择信息。环境信息是与安装相机3的环境相关的信息,并且可以是与安装相机3的位置相关的信息,诸如商店内、室外或车辆内,或者指示相机3与诸如太阳的光源(诸如背光、前灯或侧灯)之间的位置关系的信息。另外,也可以将表示检测对象的信息包含在环境信息中,具体地说,包含对象的移动速度等。
此外,关于安装位置的信息可以是诸如室内和室外的信息,也可以是公共道路、公园等中的信息,并且可以是诸如高速公路、小巷、高速公路等的更详细的信息。
环境信息可以是由用户输入的信息,或者可以是作为对捕获的图像执行分析处理的结果而获得的信息。
此外,在由用户输入信息的情况下,上述环境信息可以显示为列表,使得可以在市场上选择环境信息,并且例如,当选择用途或多个AI应用时,用户可以选择环境信息。
管理服务器5在步骤S202中根据应用选择最佳成像设置。要注意的是,在本文中描述的术语最佳并不表示实际上最佳的成像设置,而是表示管理服务器5假设为最佳的成像设置。
随后,管理服务器5在步骤S203中根据应用选择最佳边缘侧AI模型。这里所述的最佳边缘侧AI模型还指管理服务器5假定为最佳的边缘侧AI模型。注意,在该处理中,还同时选择使用边缘侧AI模型的AI应用。
在管理服务器5中,迄今为止的数据已经被累积为大数据,并且彼此关联地管理应用于成像装置的多个应用、环境信息、边缘侧AI模型及其识别结果信息。识别结果信息是诸如被识别的对象的信息或诸如识别精度或可能性的数字信息。
通过分析处理分析了这种大数据之间的因果关系,并获得了变化的环境信息如何影响识别结果信息等知识。然后,也可以通过分析来指定用于提高AI图像处理等的性能而选择的边缘侧AI模型。
在管理服务器5中,选择利用最接近应用的组合获得最佳识别结果信息的成像设置和本次用户选择的环境信息作为最佳成像设置。
例如,假定存在在检测轿车型车辆时获得最佳识别结果的成像设置和边缘侧AI模型。并且,在本次使用同一相机3进行公共汽车的检测的情况下,在判断为公共汽车和作为对象的轿车型车辆的特征类似的情况下,推测最佳的是拍摄设定与检测轿车型车辆时使用的边缘侧AI模型。
在步骤S204中,管理服务器5将在步骤S202中选择的成像设置和在步骤S203中选择的边缘侧AI模型发送至相机3。在该处理中,不仅将边缘侧AI模型而且将AI应用发送至相机3。
在从管理服务器5接收成像设置和边缘侧AI模型之后,相机3在步骤S301中进行更新成像设置的处理。该处理是将从管理服务器5接收的成像设置应用于相机3的处理。
接下来,在步骤S302中,相机3进行更新(加载)从管理服务器5接收的边缘侧AI模型的处理。
通过在相机3中进行步骤S301的处理和步骤S302的处理,可以将由管理服务器5确定为最佳的成像设置和边缘侧AI模型应用于相机3,并且获得适当的捕获图像数据和识别结果信息作为初始值。
例如,识别结果信息是关于所检测的对象的类别识别信息、其可能性(诸如90%)、检测位置(捕获图像中的像素位置)等。
相机3在步骤S303对捕获图像执行边缘侧AI图像处理。
相机3在步骤S304将捕获图像数据和识别结果信息发送到云服务器1。经由雾灯服务器4向云服务器1发送信息,但也可以直接向云服务器1发送信息。
图14示出在相机3将捕获图像数据和识别结果信息发送至云服务器1之后的处理。
云服务器1在步骤S401中接收捕获图像数据和识别结果信息,并且在随后的步骤S402中执行云侧AI图像处理。
云侧AI图像处理是对接收到的捕获图像进行的处理。此外,使用与用于边缘侧AI图像处理的边缘侧AI模型不同的云侧AI模型来执行云侧AI图像处理。
云侧AI模型是与边缘侧AI模型相比性能比AI模型高的AI模型,并且如果云侧AI模型和边缘侧AI模型是CNN,则层数、通道数、滤波器大小、步幅等的至少一部分是不同的。具体地,与边缘侧AI模型相比,云侧AI模型在层数量、信道数量和滤波器尺寸方面更大,并且在步幅方面更小。
结果,云侧AI模型具有高性能,但是操作成本、要使用的存储器大小等比边缘侧AI模型高。
云服务器1进行步骤S403的识别结果信息的比较处理。具体地,将从相机3接收的识别结果信息与使用云侧AI模型的云侧AI图像处理的识别结果信息执行比较,并且确定相机3获得的结果是否等同于云服务器1获得的识别结果信息。注意,如果两侧之间的识别结果信息的差异在允许范围内,则在步骤S403中确定已经获得等同结果。
在已经获得等同识别结果信息的情况下,云服务器1不需要执行图14中示出的后续处理。
在没有获得等同识别结果信息的情况下,确定相机3的成像设置或边缘侧AI模型不是最佳的。
在这种情况下,在步骤S404中,云服务器1首先进行搜索要为相机3设置的适当成像设置的成像设置搜索处理。使用搜索AI执行成像设置搜索处理。
作为用于搜索AI的AI模型的搜索AI模型是通过学习相机3的相机设置、从由相机3捕获的捕获图像检测的检测目标(移动物体、人等)、环境信息(即,关于诸如相机3安装的位置和光源的条件的信息)、以及检测目标的移动速度、以及作为训练数据的识别结果信息之间的因果关系而构建的AI模型。即,搜索AI模型是通过将上述大数据学习为训练数据而获得的AI模型。
在步骤S404的成像设置搜索处理中,当将环境信息作为变量输入到这种搜索AI模型中时,搜索能够获得与云服务器1获得的识别结果信息相同或接近的识别结果信息的成像设置。
例如,在检测目标是移动物体并且移动物体的移动速度高的情况下,通过成像设置搜索获得光接收时间变短至8毫秒、ISO灵敏度变高、模糊校正增强以及HDR开启的设置。
或者,对于负责监视在半导体制造中抗蚀剂液是否被正确涂布的相机3,搜索对黑白图像进行AI图像处理、增强锐度增强处理等作为成像设置。
在这种对成像设置信息的搜索中,预先搜索的结果可以以列表的形式存储在云服务器1中。即,在步骤S404的处理中,可以基于环境信息从列表中选择一条成像设置信息。
注意,可以周期性地或者根据需要来执行搜索处理。与环境信息相对应的适当的成像设置信息仅仅表示被假定为适当的成像设置,并且在成像设置中不必是最佳的。此外,关于环境信息、成像设置以及识别结果信息的数据被逐天累积,并且不可否认的是,通过执行新的搜索处理可以找到更适当的成像设置信息。
在每次进行步骤S404的处理时进行搜索新的成像设置信息的处理允许增加搜索更适当的成像设置信息的可能性。
接下来,在步骤S405中,云服务器1进行搜索用于获得满意AI图像处理结果的边缘侧AI模型的AI模型搜索处理。
AI模型搜索处理例如是搜索在边缘侧AI模型的节点之间设定的加权因子的最佳数值的处理。
该搜索处理可以被描述为重新训练边缘侧AI模型以使用使得边缘侧AI图像处理的识别结果信息和云侧AI图像处理的识别结果信息彼此不同的捕获图像作为输入来获得云侧AI图像处理的识别结果信息的处理。
例如,在某个捕获图像中,在使用边缘侧AI模型的边缘侧AI图像处理的识别结果信息中,将轿车型车辆拍摄到的可能性设为10%,在使用云侧AI模型的云侧AI图像处理的识别结果信息中,将轿车型车辆拍摄到的可能性设为90%。
由于云侧AI模型的性能高于边缘侧AI模型,所以在这种情况下使用云侧AI模型的识别结果信息被视为正确的识别结果信息。
然后,在步骤S405的AI模型搜索处理中,云服务器1例如搜索边缘侧AI模型,例如以使识别结果信息的差异小的方式对上述权重系数进行校正的处理,具体而言,得到表示轿车型车辆被拍摄到的可能性高的识别结果信息。
由此获得的边缘侧AI模型与在步骤S403中获得的成像设置一起在云服务器1的步骤S406的处理中发送至管理服务器5。
在步骤S205中,管理服务器5从云服务器1接收成像设置和边缘侧AI模型。
接下来,管理服务器5存储通过搜索处理获得的成像设置和边缘侧AI模型,并且在步骤S206中将成像设置和边缘侧AI模型发送至相机3。
相机3从管理服务器5接收成像设置和边缘侧AI模型,并且在步骤S305中更新成像设置。此外,相机3在步骤S306中进行更新边缘侧AI模型的处理。
当装置执行图13和图14中示出的它们各自的处理时,相机3中的边缘侧AI图像处理的识别结果变得等同于使用云侧AI模型获得的识别结果。换言之,边缘侧AI图像处理的识别结果变得适当。
这允许雾服务器4和云服务器1基于识别结果信息获得关于对象流线的分析信息和关于车辆的分析信息。
应注意,在上述边缘侧AI模型的搜索中,基本上,搜索提高识别结果信息的质量的边缘侧AI模型。然而,无论上述如何,可以搜索边缘侧AI模型以便提高整体性能。
例如,在当相机3使用边缘侧AI模型执行图像识别处理时存储器使用量变得紧张并且处理速度显著下降的情况下,可以搜索即使识别结果信息的质量稍微劣化也使处理时间更短的边缘侧AI模型。
即,在考虑相机3的性能的情况下,可以进行本示例中的搜索边缘侧AI模型的处理。在本文中,相机3的性能对应于相机3中包括的算术处理单元的处理性能、相机3中包括的存储器的容量、存储单元的容量等。此外,对于边缘侧AI图像处理,可以考虑可允许的处理时间等。
例如,在相机3中包括的存储器的容量小的情况下,搜索减小由边缘侧AI图像处理使用的存储空间的边缘侧AI模型。
可选地,在相机3中包括的存储单元的容量小的情况下,搜索尺寸较小的边缘侧AI模型。
此外,在需要使边缘侧AI图像处理的处理时间更短的情况下,搜索使从捕获图像的输入至识别结果信息的输出的时间更短的边缘侧AI模型,即,计算复杂度更低的边缘侧AI模型。
注意,还可以由用户从市场输入使得处理时间更长或更短的这种期望作为上述环境信息,或者可以在市场上提供用户期望的项目(例如,强调速度、强调识别率等),以便允许用户从项目中进行选择。
此外,在考虑相机3的性能的情况下执行边缘侧AI模型搜索的情况下,可以考虑用于边缘侧AI图像处理的相机3的性能。
这里,关于相机3的性能等的信息可以被设计为当相机3连接至云服务器1时从相机3自动地发送至云服务器1等,或者可以由用户经由市场等手动地注册在云服务器1中。
例如,当考虑对通过成像操作获得的捕获图像执行边缘侧AI图像处理时,可以利用相机3的处理性能、存储器容量、对存储器的访问速度等搜索边缘侧AI模型。
这种边缘侧AI模型搜索通常称为称为知识蒸馏的技术。
要注意的是,在本实施方式中,根据由用户输入的环境信息是正确的,执行成像设置搜索和边缘侧AI模型搜索的示例。
然而,由用户输入的环境信息可能是不正确的。
例如,存在假定基于由用户输入的信息获得在前光环境中捕获的捕获图像的情况。然而,作为分析从相机3实际接收的捕获图像的结果,存在能够假定在背光环境中捕获捕获图像的情况。此外,与根据用户输入的信息的假定相反,存在假定在月光下捕获捕获图像的情况、假定在夜间捕获捕获图像的情况等。
可替换地,基于用户输入的环境信息的对象的移动速度可以不同于从捕获图像推定的对象的移动速度。
例如,在用户安装相机3时相机3的方位不同于相机3的当前方位的情况下,在用户误解对象的移动速度的情况下,在用户误解捕获图像的时区的情况下等,可能发生这种情况。
在这种情况下,期望在由用户输入的环境信息不正确但通过图像分析获得的环境信息正确的假设下,进行步骤S404的成像设置搜索处理或步骤S405的边缘侧AI模型搜索处理。
即,可以在校正由用户输入的环境信息的同时执行每个搜索处理。
此外,校正环境信息的处理可以与步骤S402中的云侧AI图像处理同步执行。即,在步骤S402的云侧AI图像处理中,可执行检测待检测对象并且推测获得捕获图像的环境或者与对象(的移动速度等)有关的信息的处理。
<3.作为第二实施方式的搜索处理>
根据第二实施方式的搜索处理是向包括相机3、雾服务器4、管理服务器5和云服务器1A的每个装置适当地分配要执行以实现用户指定的应用的目的的各个处理。
要分配的处理的示例包括图14中的步骤S403中的比较处理、为了实现应用的目的而执行的分析处理、将分析信息呈现给用户的显示处理或呈现处理、以及云侧AI图像处理。
此外,除了上述处理以外,要分发的处理可以包括直到用户获得关于应用的分析信息为止执行的各种处理。
在本实施方式中,假设云服务器1A进行用于分发处理的搜索处理,并且图15示出云服务器1A的功能配置。
应注意,如图6和图7所示,管理服务器5可执行搜索处理。
除了云侧AI图像处理功能F3、成像设置搜索功能F4和AI模型搜索功能F5之外,云服务器1A还具有应用配置功能F1和处理分配搜索功能F2。即,根据本实施方式的云服务器1A是通过集成根据第一实施方式的云服务器1和管理服务器5两者的功能而获得的服务器装置。
由于以上已经描述了每个功能,因此将省略其描述。
为了确定处理分布,云服务器1A提前执行机器学习。结果,云服务器1A获取用于确定处理分布的处理分布AI模型。
在预训练中,使用大数据。大数据包含应用的类型、关于相机3的信息、要分析的捕获图像、关于用于处理的操作系统(OS)和处理时间的信息、指示每个装置消耗多少容量的信息(诸如每个装置的算术功能的利用率和存储器容量的利用率)、以及诸如处理时间的每条信息(这些信息彼此关联)。另外,在监视具有多个相机3的店铺的情况下,该大数据中也包含店铺的大小等信息。即,可以包含关于监控目标的信息、关于检测目标的信息等。
此外,可以包含诸如每个装置的价格的其他成本信息。
图16示出在预训练中由云服务器1A执行的特定处理的流程图。
在步骤S501中,云服务器1A取得大数据。
随后,云服务器1A在步骤S502中执行机器学习。该机器学习使云服务器1A在步骤S503中获取处理分配AI模型作为用于处理分配搜索的AI模型。
在随时间累积大数据的情况下,每当累积数据时或者每隔一定时间间隔,云服务器1A可执行图16中所示的处理。
因此,可以基于最新的大数据来更新处理分配AI模型。
图17示出在实际使用处理分配AI模型的情况下由每个装置执行的处理的示例。
在接收到从由相机3捕获的捕获图像中选择用于获得期望的分析信息的应用的用户操作时,在步骤S101中,用户终端2向云服务器1A发送应用选择信息。
在步骤S201中接收到应用选择信息之后,云服务器1A在步骤S411中进行资源选择处理。资源选择处理是选择关于用于实现应用的诸如相机3或雾服务器4的每个装置的信息、上述环境信息等的处理。
可以基于由用户输入的信息执行资源选择处理,或者在例如提前注册设置在商店中的监控相机或信息处理装置的情况下,可以基于注册信息执行资源选择处理。
作为关于诸如相机3的每个装置的信息,指定信息可以由用户输入,或者可替换地,关于每个装置的信息可以借助于相机3的制造商信息、型号名称、型号信息等的输入间接地指定。这同样适用于关于诸如雾服务器4的信息处理装置的信息。
在步骤S412中,云服务器1A使用上述处理分配AI模型执行处理分配搜索。结果,获得关于每个装置执行什么处理的搜索结果。
在步骤S413中,云服务器1A根据处理分布生成执行程序作为每个装置的搜索结果,并且向每个装置发送执行程序。
因而,雾服务器4在步骤S601中接收执行程序,并且在步骤S602中加载执行程序。
类似地,相机3在步骤S311中接收执行程序,并且在步骤S312中加载执行程序。
此外,在步骤S414中,云服务器1A还加载执行程序。
结果,雾服务器4、相机3和云服务器1A根据处理分配来执行相应的处理。
<4.作为第三实施方式的搜索处理>
根据第三实施方式,关于隐私的信息的发送和接收的频率在设置在边缘侧(例如,商店侧)的信息处理装置(诸如相机3B和雾服务器4)和设置于云侧的信息处理装置(诸如云服务器1B和管理服务器5)之间被最小化。
这里,根据第一实施方式,由相机3B捕获的捕获图像被发送至云服务器1,以允许云服务器1使用捕获图像执行成像设置搜索、执行边缘侧AI模型搜索或再训练AI模型。
另一方面,根据第三实施方式,通过将通过处理捕获图像而获得的替代图像从相机3B发送至云服务器1B,在减少关于隐私的信息的发送和接收的频率的同时,适当地执行成像设置搜索和边缘侧AI模型搜索。
图18示出云服务器1B的功能配置。
云服务器1B除了具有云侧AI图像处理功能F3、成像设置搜索功能F4和AI模型搜索功能F5之外,还具有图像生成功能F6。
图像生成功能F6是基于由相机3B捕获的捕获图像生成虚拟图像的功能。
存在若干可能的虚拟图像生成方法。
例如,云服务器1B可从相机3B接收关于捕获图像的成像环境的信息,并且根据该信息生成虚拟图像。
可替换地,云服务器1B可以从相机3B接收没有成像任何人或物体的背景图像,并且通过将人图像叠加在所接收的背景图像上来生成虚拟图像。此时使用的人物图像不一定需要从相机3B接收,并且可以是由云服务器1B生成或者记录在云服务器1B中的虚拟人物图像,或者可以是不导致隐私问题的人物图像。
此外,叠加人物图像的位置可以是在由相机3B捕获的捕获图像中作为对象的人物的成像位置。在这种情况下,指示叠加位置的信息从相机3B发送至云服务器1B。
在以下示例中,相机3B将背景图像发送至云服务器1B。
将参照图19和图20描述根据本实施方式的每个装置的具体处理流程。
要注意的是,与在第一实施方式中引用的图13和图14中的处理相似的处理由相同的步骤号表示,并且根据需要将省略其描述。
在步骤S101中,用户终端2向管理服务器5发送关于由用户选择的应用的信息。
在步骤S201中,管理服务器5从用户终端2接收应用选择信息和环境信息。
管理服务器5在步骤S202中根据应用选择最佳成像设置。
随后,管理服务器5在步骤S203中根据应用选择最佳边缘侧AI模型。
在步骤S204中,管理服务器5将在步骤S202中选择的成像设置和在步骤S203中选择的边缘侧AI模型发送至相机3B。
在从管理服务器5接收成像设置和边缘侧AI模型之后,相机3B在步骤S301中进行更新成像设置的处理。
接下来,在步骤S302中,相机3B进行更新从管理服务器5接收的边缘侧AI模型的处理。
在步骤S303中,相机3B对捕获图像执行边缘侧AI图像处理。例如,这种边缘侧AI图像处理可以由使用上述图8中的图像传感器IS中的AI模型进行处理的AI图像处理单元44进行。
如上所述,在图像传感器IS中执行边缘侧AI图像处理允许更强地保护隐私。
在步骤S321中,相机3B生成背景图像。背景图像可以通过从人被成像的捕获图像中去除人来获得。例如,背景图像可以通过从多个捕获的图像中组合没有成像任何人或对象的区域来生成,或者可以是通过捕获没有人或对象在视角内的时刻而获得的捕获的图像。
在生成这种背景图像的处理中,例如,使用上述图8中的AI模型执行处理的AI图像处理单元44可执行从捕获图像中识别人等并从捕获图像中移除所识别的人的处理,并且提取图像中关于移除的人图像的位置信息。
在步骤S322,相机3B将背景图像和识别结果信息发送到云服务器1B。经由雾灯服务器4向云服务器1B发送信息,但也可以直接向云服务器1B发送信息。
图20示出在相机3B将背景图像数据和识别结果信息发送至云服务器1B之后的处理。
云服务器1B在步骤S421中接收背景图像数据和识别结果信息,并且在随后的步骤S422中生成虚拟图像。例如,通过在背景图像的预定位置上叠加虚拟人物图像来生成虚拟图像。
要注意的是,如上所述,接收虚拟人物图像叠加的位置,作为通过相机3B成像的人物的成像位置信息,并且该位置可以与成像人物的位置相同。
在步骤S402中,云服务器1B执行云侧AI图像处理。
本例中的云侧AI图像处理是对所生成的虚拟图像执行的处理。然而,例如,在没有隐私问题的情况下(诸如,从待成像的人获得许可的情况),不用说,可通过使用由相机3B捕获的人的捕获图像来实现。此外,使用与用于边缘侧AI图像处理的边缘侧AI模型不同的云侧AI模型来执行云侧AI图像处理。
在步骤S403中,云服务器IB执行比较识别结果信息的处理。具体地,将从相机3B接收的识别结果信息与使用云侧AI模型的云侧AI图像处理的识别结果信息执行比较,并且确定相机3B获得的结果是否等同于云服务器1B获得的识别结果信息。
在没有获得等同结果的情况下,云服务器1B进行步骤S404及后续步骤的各处理。
具体地,在步骤S404中,云服务器1B执行搜索要为相机3B设置的适当的成像设置的成像设置搜索处理。
接着,在步骤S405中,云服务器1B进行搜索用于获得满意的识别结果的边缘侧AI模型的AI模型搜索处理。
在步骤S406中,云服务器1B向管理服务器5发送在步骤S403中获得的成像设置和在步骤S404中获得的边缘侧AI模型。
在步骤S205中,管理服务器5从云服务器1B接收成像设置和边缘侧AI模型。
接下来,管理服务器5存储通过搜索处理获得的成像设置和边缘侧AI模型,并且在步骤S206中将成像设置和边缘侧AI模型发送至相机3B。
相机3B从管理服务器5接收成像设置和边缘侧AI模型,并且在步骤S305中更新成像设置。此外,在步骤S306中,相机3B进行更新边缘侧AI模型的处理。
应注意,在第三实施方式中,已经描述了云服务器1B具有图像生成功能F6的示例,但是相机3B可具有图像生成功能F6。
例如,相机3B可生成其中包括个人信息(诸如,人的面部)的区域被遮挡或移除的图像作为虚拟图像,并且将该图像发送至云服务器1B。云服务器1B可以用替代图像填充已变黑的区域或已从其移除信息的区域,或者使用虚拟图像照原样执行云侧AI图像处理、成像设置搜索处理或AI模型搜索处理。
可替换地,云服务器1B可以从相机3B接收背景图像并且原样使用背景图像作为捕获图像以实现各种功能。
如上所述,个人信息等不从边缘侧信息处理装置发送至云侧信息处理装置,使得可以保护主体的隐私。
此外,已经描述了由管理服务器5执行图13和图14中示出的步骤S201至S206的每个处理的示例,但是云服务器1可以具有管理服务器5的功能并且执行步骤S201至S206的每个处理。换言之,云服务器1和管理服务器5可以是相同的信息处理装置。
<5.变形例>
在以上描述中,已经描述了获得诸如正常RGB图像的感测图像(即,表示每个像素的光接收量的图像)的传感器用作相机3和3B的示例,但是本技术可应用于其他成像装置。具体地,例如,本技术还适当地应用于使用诸如飞行时间(ToF)传感器等获得深度图像作为感测图像的传感器(即,获得指示每个像素的距离的距离图像的深度传感器)的情况。可替代地,本技术还适当地应用于热传感器(即,获得表示每个像素的温度的热图像作为感测图像的传感器装置)或偏振传感器(即,获得表示每个像素的偏振信息的图像的传感器装置)的情况。
此外,除了上述传感器之外,本技术还适用于多波长(多光谱)传感器、基于事件的视觉传感器(EVS)、红外(IR)传感器、短波长红外(SWIR)传感器、湿度传感器、湿度传感器等。
然后,在本技术中,“成像”是在广义上包括不仅获得表示每个像素的光接收量的图像作为感测图像,而且还获得如上所述的深度图像、热图像、偏振图像、多波长图像、表示通过EVS获得的亮度变化的图像、预定波长带中的图像、湿度图像、水分分布图像等的概念。
在以上描述中,已经描述了在通过边缘侧AI模型的AI图像处理的结果与通过云侧AI模型的AI图像处理的结果不同的情况下搜索最佳边缘侧AI模型的示例。
除此之外,可以响应于由服务提供商或用户执行的操作来触发AI模型的重新训练以及边缘侧AI模型和加载到每个相机3中的AI应用的更新。
将参考图21详细描述此时的处理流程。应注意,图21是聚焦在多个相机3中的一个相机3上的示图。此外,在以下描述中,将要更新的边缘侧AI模型加载到相机3中包括的图像传感器IS中。注意,可以将边缘侧AI模型加载到相机3中,但是在图像传感器IS的外部。
首先,在处理步骤PS1中,服务提供商或用户做出重新训练AI模型的指令。该指令利用包含于云侧信息处理装置的API模块的应用接口(API)功能来进行。此外,在指令中,指定用于训练的图像量(例如,图像的数量)。在下文中,用于训练的图像量可以称为“预定数量的图像”。
在接收到指令时,API模块在处理步骤PS2中将重训练请求和图像量信息发送给集线器(与在图5中示出的集线器相似)。
在处理步骤PS3中,集线器将更新通知和图像量信息发送至用作边缘侧信息处理装置的相机3。
在处理步骤PS4中,相机3将通过捕获图像获得的捕获图像数据发送到存储组的图像数据库(DB)。执行图像处理和发送处理,直到图像的数量达到重新训练所需的预定数量的图像。
注意,在相机3获得对捕获的图像数据执行的推断处理的推断结果的情况下,相机3可在处理步骤PS4中将推断结果存储在图像DB中作为捕获的图像数据的元数据。
由于相机3中的推断结果作为元数据存储在图像DB中,因此可以小心地选择重新训练在云侧上执行的AI模型所需的数据。具体地,可以仅使用使相机3中的推断结果与使用云侧信息处理装置中的丰富的计算机资源执行的推断结果彼此不同的图像数据来执行重新训练。因此,可缩短重新训练所需的时间。
在捕获和发送预定数量的图像之后,在处理步骤PS5中,相机3通知集线器已完成预定数量的捕获图像数据的发送。
当接收到通知时,集线器在处理步骤PS6中通知编排工具重新训练数据的准备已经完成。
在处理步骤PS7中,编排工具向标记模块发送进行标记处理的指令。
标记模块从图像DB获取要进行标记处理的图像数据(处理步骤PS8),并且执行标记处理。
本文描述的标记处理可以是执行上述类别识别的处理、估计出现在图像中的对象的性别和年龄并附加标签的处理、估计对象的姿势并附加标签的处理、或估计对象的行为并附加标签的处理。
标记处理可以手动地或自动地执行。此外,标记处理可以在云侧信息处理装置中完成,或者可以通过使用由另服务器装置提供的服务来实现。
完成标注处理的标注模块在处理步骤PS9中将标注结果信息存储在数据集DB中。这里,要存储在数据集DB中的信息可以是标签信息和图像数据的集合,或者可以是用于指定图像数据的图像识别(ID)信息而不是图像数据本身。
当检测到已经存储了标记结果信息时,在处理步骤PS10中,存储管理单元向编排工具给出通知。
当接收到通知时,编排工具确认结束对预定数量的图像数据进行的标记处理,并且在处理步骤PS11中向再训练模块发送再训练指令。
当接收到重训练指令时,在处理步骤PS12中,重训练模块从数据集DB中获取用于训练的数据集,在处理步骤PS13中,从训练好的AI模型DB中获取待更新的AI模型。
重新训练模块使用所获取的数据集和AI模型来重新训练AI模型。在处理步骤PS14中,将由此获得的更新的AI模型再次存储在训练的AI模型DB中。
当检测到更新后的AI模型已经被存储时,在处理步骤PS15中存储管理单元向编排工具给出通知。
当接收到通知时,编排工具在处理步骤S16中向转换模块发送转换AI模型的指令。
当接收到转换指令时,转换模块在处理步骤PS17中从训练的AI模型DB获取更新的AI模型,并且执行转换AI模型的处理。
在转换处理中,根据作为装载目的地的装置的相机3的规格信息等,进行转换。在该处理中,在使性能劣化最小化的同时使AI模型小型化,并且转换Al模型的文件格式等以使得AI模型能够在相机3上运行。
由转换模块转换的AI模型是上述边缘侧AI模型。在处理步骤PS18中,将该转换后的AI模型存储在转换后的AI模型DB中。
在检测到转换的AI模型已经被存储时,在处理步骤PS19中存储管理单元向编排工具给出通知。
当接收到通知时,编排工具在处理步骤PS20中将用于更新AI模型的通知发送至集线器。该通知包括用于指定存储用于更新的AI模型的位置的信息。
集线器接收到通知后,向相机3发送更新AI模型的指令。更新指令还包括用于指定存储AI模型的位置的信息。
相机3在处理步骤PS22中进行从转换后的AI模型DB获取并载入对应的转换后的AI模型的处理。因此,更新相机3的图像传感器IS中使用的AI模型。
在加载AI模型所指示的AI模型的更新结束时,在处理步骤PS23中,相机3向集线器发送更新完成通知。
在接收到通知时,集线器在处理步骤PS24中通知编排工具更新相机3中的AI模型的处理已经完成。
注意,在仅执行AI模型的更新的情况下,这是处理结束。
除了AI模型之外,在更新使用AI模型的AI应用的情况下,进一步执行以下处理。
具体地,在处理步骤PS25中,编排工具向加载控制模块发送下载AI应用的指令,诸如更新的固件。
在处理步骤PS26中,加载控制模块向集线器发送加载AI应用的指令。该指令包括用于指定更新后的AI应用被存储的位置的信息。
在处理步骤PS27中,集线器向相机3发送加载指令。
在处理步骤PS28中,相机3从加载控制模块的容器DB下载更新的AI应用并且加载更新的AI应用。
注意,在以上描述中,已经描述了依次执行在相机3的图像传感器IS上运行的AI模型的更新和在相机3上运行但在图像传感器IS之外的AI应用的更新的示例。
在AI模型和AI应用两者运行在相机3上但是在图像传感器IS外部的情况下,AI模型和AI应用两者可以一起更新为一个容器。在这种情况下,可以不按顺序而是同时执行AI模型的更新和AI应用的更新。然后,通过执行处理步骤PS25、PS26、PS27以及PS28中的每个处理,可以实现更新。
注意,即使在容器可以装载到相机3的图像传感器IS中的情况下,也可以通过执行处理步骤PS25、PS26、PS27和PS28的每个处理来更新AI模型和AI应用。
通过进行上述处理,使用在用户的使用环境中拍摄到的捕获图像数据来重新训练AI模型。因此,能够生成能够在用户的使用环境中输出高精度识别结果的边缘侧AI模型。
另外,即使店铺内的布局变更或安装相机3的位置等用户的使用环境发生变化,也能够每次适当地重新训练AI模型,因此能够不降低地维持AI模型的识别精度。
此外,上述各处理不仅在重新训练AI模型的情况下执行,也可以在用户的使用环境下首次进行系统动作时执行。
<6.市场的屏幕示例>
将参考每个图描述呈现给用户的关于市场的屏幕的示例。
图22示出登录画面G1的示例。
在登录画面G1上设有用于输入用户ID的ID输入区域91和用于输入密码的密码输入区域92。
在密码输入区域92的下方,设置有进行登录的登录按钮93和取消登录的取消按钮94。
此外,根据需要在登录按钮93和取消按钮94的下方设置用于使忘记密码的用户向页面过渡的操作元件、用于使新用户登记的页面过渡的操作元件等。
当输入适当的用户ID和密码,然后按下登录按钮93时,在云服务器1和用户终端2中的每中执行促使向用户特定页面转换的处理。
图23示出呈现给例如使用应用开发者终端2A的AI应用开发者、使用AI模型开发者终端2C的AI模型开发者等的屏幕的示例。
每个开发者可以通过市场购买训练数据集、AI模型或AI应用以用于开发。此外,可以在市场中注册由开发者他/她自己开发的AI应用或AI模型。
在图23中所示的开发者屏幕G2上,在左侧显示可用于购买的训练数据集、AI模型、AI应用等(在下文中,统称为“数据”)。
注意,虽然图中未示出,但是当购买训练数据集时,可以简单地通过在显示器上显示训练数据集的图像、使用诸如鼠标的输入装置将图像的仅期望部分包围在帧中、以及输入名称来执行训练准备。
例如,在期望使用猫图像执行AI训练的情况下,可以通过在帧中仅包围图像的猫部分并输入“猫”作为文本输入,准备添加猫注释的图像用于AI训练。
此外,目的可以是可选择的,使得可以容易地找到期望的数据。即,在云服务器1和用户终端2中的每一个中执行仅显示适合于所选择的目的的数据的显示处理。
注意,每条数据的购买价格可以显示在开发者屏幕G2上。
此外,用于注册由开发者收集或生成的训练数据集、或由开发者开发的AI模型或AI应用的输入字段95被提供在开发者屏幕G2的右侧。
对每个数据设置用于输入名称和数据存储位置的输入字段95。此外,在AI模型中,设置用于设定是否需要重新训练的复选框96。
注意,可以提供可以设置购买要登记的数据所需的价格的价格设置字段(在附图中示出为输入字段95)等。
此外,在开发者屏幕G2的上侧,用户名、最后登录日期等被显示为用户信息的一部分。注意,除上述之外,可以显示当用户购买数据时可以使用的货币量、点数等。
例如,图24是示出通过将AI应用和AI模型加载到用作由用户管理的边缘侧信息处理装置的相机3中而呈现给执行各种分析等的用户(上述应用用户)的用户屏幕G3的示例的示图。
用户可以购买相机3以安排在有待经由市场监测的空间中。因此,单选按钮97布置在用户屏幕G3的左侧,通过该单选按钮可以选择安装在相机3上的图像传感器IS的类型或性能、相机3的性能等。
此外,用户可以经由市场购买用作雾服务器4的信息处理装置。因此,用于选择雾服务器4的每次表现的单选按钮97被安排在用户屏幕G3的左侧。
此外,已经具有雾服务器4的用户可以通过在此输入雾服务器4的性能信息来注册雾服务器4的性能。
用户通过将所购买的相机3(可替代地,可以使用未经过市场而购买的相机3)安装在任何期望的位置(诸如由用户管理的商店)来实现期望的功能,并且为了使每个相机3的功能最大化,可以在市场中注册关于相机3被安装的位置的信息。
单选按钮98布置在用户屏幕G3的右侧,通过该单选按钮98,可以选择与安装相机3的环境有关的环境信息。用户通过适当地选择关于安装相机3的环境的环境信息来设置目标相机3的上述最佳成像设置。
注意,在购买相机3并且确定了安排购买的相机3被安装的位置的情况下,通过选择用户屏幕G3的左侧上的每个项目和右侧上的每个项目,可以根据预期安装位置购买预先对其执行最佳成像设置的相机3。
用户屏幕G3具有执行按钮99。按下执行按钮99使得转变到确认购买的确认画面或确认环境信息的设定的确认画面。这允许用户购买期望的相机3或期望的雾服务器4并设置相机3的环境信息。
在市场上,当相机3的安装位置改变时,可以改变每个相机3的环境信息。当在改变画面(未示出)上再次输入关于安装相机3的位置的环境信息时,可以重置相机3的最佳成像设置。
<7.结论>
如上述各示例中所述,信息处理装置(云服务器1、1A、1B)包括:搜索处理单元(成像设置搜索功能F4和AI模型搜索功能F5),被配置为获取,成像装置(相机3、3B),被配置为使用人工智能模型(边缘侧AI模型)对通过捕获对象的图像而获得的捕获图像(由相机3捕获的捕获图像)执行图像处理(边缘侧AI图像处理),3B)、指示图像处理的结果的结果信息(例如,上述识别结果信息)、以及基于所获取的结果信息使用人工智能(搜索AI)搜索成像装置的成像设置信息和人工智能模型,应用处理单元(例如,通信单元80),被配置为将通过搜索处理单元执行的搜索获得的成像设置信息和人工智能模型应用于成像装置。
在广义上,成像设置信息表示与用于获得捕获图像的成像操作相关的设置信息。具体地,在广义上,成像设置信息包括诸如聚焦和光圈的光学设置、与读取捕获图像信号的操作相关的设置(诸如帧速率、曝光时间和增益)、以及与对所读取的捕获图像信号的图像信号处理相关的设置(诸如伽马校正处理、降噪处理和超分辨率处理)。
此外,人工智能模型包括例如用于AI图像处理的人工智能模型。人工智能模型的搜索是指例如在AI图像处理包括卷积运算的情况下优化诸如加权因子的各种处理参数、在使用神经网络执行AI图像处理的情况下优化关于网络结构的设置信息(包括例如诸如内核大小等的信息)等的处理。
根据本结构,在图像识别的可靠性或精度低的情况下,搜索用于AI图像处理的成像装置的成像设置信息和人工智能模型。然后,通过搜索获得使图像识别的可靠性或准确度更高的成像设置或人工智能模型,并且设置(加载到)成像装置。
因此,由于对以更合适的成像设置捕获的捕获图像使用可靠性更高的新构建的人工智能模型来执行AI图像处理,因此可以更高精度识别待检测对象。
此外,使用不同于成像装置的信息处理装置(云服务器1、1A和1B)允许使用处理性能高于成像装置的计算机装置进行搜索处理,使得可以缩短与搜索成像设置和人工智能模型有关的处理时间。
通过本配置,通过被称为神经架构搜索(NAS)的技术优化神经网络的结构。然后,在通过搜索处理单元的NAS中,神经网络(即,AI模型)不被定义为搜索空间,而是被定义为包括用于成像装置的曝光控制和对所捕获的图像信号执行的各种类型的处理的变量等的搜索空间。因此,可以优化包括云服务器1、1A和1B以及相机3和3B的整个信息处理系统100。换言之,为了实现用户期望的应用,不仅可以优化边缘侧AI模型,而且可以优化用于获得作为整体的捕获图像的各种设置和处理。因此,能够获得对于用户而言最佳的分析结果信息。
如上所述,图像处理单元(云侧AI图像处理功能F3)被配置为使用人工智能模型(云侧AI模型)对从成像装置(相机3)获取的捕获图像执行图像处理(云侧AI图像处理),3B)可设置,并且在由成像装置(相机3)执行的图像处理(边缘侧AI图像处理)的识别结果的情况下,搜索处理单元(成像设置搜索功能F4和AI模型搜索功能F5)可执行搜索,3B)以及由所述图像处理单元执行的所述图像处理(云侧AI图像处理)的识别结果彼此不同。
例如,通过使用不同于成像装置所使用的人工智能模型的人工智能模型执行AI图像处理并且比较结果,可以评估由成像装置执行的AI图像处理的精度。
因此,能够适当地确定是否需要改进用于由成像装置执行的AI图像处理的人工智能模型。
如参考图14等利用图像识别作为示例所描述的,由图像处理单元(云侧AI图像处理功能F3)使用的人工智能模型(云侧AI模型)的性能可高于由成像装置(相机3、3B)执行的图像处理(边缘侧AI图像处理)使用的人工智能模型(边缘侧AI模型)。
因此,可以基于通过使用云服务器1、1A和1B中的高性能人工智能模型获得的结果信息来确定由成像装置执行的AI图像处理的结果信息的精度。
因此,可以正确地确定由成像装置执行的AI图像处理的结果信息的精度,并且有助于提高加载到成像装置中的人工智能模型的性能。
此外,适当地减小加载到成像装置中的边缘侧AI模型的尺寸允许减小由边缘侧AI图像处理消耗的功率。
如参考图14等以图像识别为例所描述的,在搜索处理单元(AI模型搜索功能F5)执行的搜索中,可以搜索使成像装置(相机3、3B)执行的图像处理(边缘侧AI图像处理)的结果更接近图像处理单元(云侧AI图像处理功能F3)执行的图像处理(云侧AI图像处理)的结果的人工智能模型(边缘侧AI模型)。
因此,可以基于云服务器1、1A和1B中使用的高性能人工智能模型的结果信息来确定由成像装置执行的AI图像处理的结果信息是否正确。
然后,根据结果信息的差异重新搜索人工智能模型,从而搜索与高性能人工智能模型功能相似的人工智能模型并将其加载到成像装置中。因此,可以使用小型高性能人工智能模型在成像装置中执行AI图像处理。
如参考图14等利用图像识别作为示例所描述的,搜索处理单元(成像设置搜索功能F4)可以在获得捕获图像时基于环境信息搜索成像设置信息。
环境信息可包括关于安装有成像装置(相机3、3B)的位置的信息,诸如商店内、室外或车辆内,或者可包括指示成像装置与太阳之间的位置关系的信息,诸如背光、前光或侧光,即,关于光源的信息。此外,环境信息可包括指示待检测对象的信息,并且具体地可包括对象的移动速度等。
通过正确地掌握环境信息,可以根据用户期望做什么(即,考虑到检测对象的目的、特性或行为、成像条件等)来搜索适当的成像设置信息。
环境信息可包括关于安装成像装置(相机3、3B)的位置的信息。
捕获图像的特性可取决于成像装置所安装的位置的方式而改变。利用本配置,可以获得诸如入射在成像装置上的光量的信息作为关于安装成像装置的位置的信息。此外,在环境信息包括与成像装置的方位有关的信息的情况下,可从时间信息适当地估计与诸如太阳的光源的位置关系,从而可更适当地估计入射在成像装置等上的光量。
因此,可以搜索合适的成像设置信息。
此外,环境信息可包括关于入射在成像装置(相机3、3B)的光接收单元(成像单元41)上的光的信息。
在根据入射在成像装置的光接收单元上的光量未进行适当的成像设置的情况下,可获得难以识别检测目标的捕获图像。
利用本配置,由于根据包括关于入射在成像装置的光接收单元上的光的信息的环境信息来执行对成像设置信息的搜索,所以搜索根据入射在光接收单元上的光的量的合适的成像设置信息等。因此,可以为成像装置设置合适的成像设置信息。
如第一实施方式中所述,可以基于成像装置(相机3、3B)的性能执行人工智能模型(边缘侧AI模型)的搜索。
根据成像装置,存在不能加载尺寸大的人工智能模型的情况、相对于使用人工智能模型的AI图像处理的计算复杂度而言算术性能较低的情况等。
如果在不考虑这种成像装置的性能的情况下执行人工智能模型的搜索,则存在由成像装置执行的边缘侧AI图像处理的性能劣化或者不能首先执行边缘侧AI图像处理的可能性。然而,利用本配置,由于在考虑成像装置的性能的情况下执行人工智能模型的搜索,所以可以搜索能够执行最大限度地利用成像装置的算术单元的性能的边缘侧AI图像处理的人工智能模型。
可以基于与由成像装置(相机3、3B)执行的图像处理(边缘侧AI图像处理)有关的性能执行人工智能模型(边缘侧AI模型)的搜索。
在考虑与边缘侧AI图像处理有关的性能的情况下执行对边缘侧AI模型的搜索,从而搜索合适的边缘侧AI模型并将其加载到成像装置中。因此,无论哪种成像装置用作相机3和3B,都可以根据成像装置获得适当的AI图像处理的处理结果。
如参考图13等利用图像识别作为示例所描述的,通过搜索获得的成像设置信息和人工智能模型(边缘侧AI模型)可以取决于应用的方式而不同。
应用指示用户想要成像装置(相机3、3B)做什么样的工作,并且示例包括访问商店的客户的计数、客户流线的分析、交通量调查、生产线中的缺陷产品检测等。而且,在应用不同的情况下,考虑最佳人工智能模型(边缘侧AI模型)不同。
根据本结构,由于搜索根据应用而不同的人工智能模型,因此可以将针对应用最佳的人工智能模型加载到成像装置中以获得满意的结果信息。
注意,在第一实施方式中,图像识别处理已被例示为使用AI的处理(AI图像处理),但可以使用诸如图像检测处理等的使用AI的其他处理(AI图像处理)。
如第二实施方式中所述,搜索处理单元(处理分配搜索功能F2)可以执行用于将由包括成像装置(相机3、3B)和信息处理装置(云服务器1、1A、1B)的每个装置执行的处理的分配的搜索处理。
在包括成像装置和信息处理装置的每个装置之间可具有性能差异。此外,直到实现应用的目的而进行的图像处理(云侧AI图像处理)、比较处理和分析处理在处理所需的计算复杂度、存储器量等方面不同。
利用本配置,在每个处理被分配给每个装置的情况下,考虑每个装置的性能。因此,由于可以在正确的位置将每个处理分配给正确的装置,因此可以提高处理的效率。
此外,由每个装置执行的处理可包括使用结果信息执行的分析处理。
包括在要分配的每个处理中的分析处理是计算复杂度、存储器使用等以根据应用的方式不同的处理。
适当地分配这种处理允许用户有效地获得期望的分析结果。
注意,在第二实施方式中,图像识别处理已被例示为使用AI的处理(AI图像处理),但可以使用诸如图像检测处理等的使用AI的其他处理(AI图像处理)。
如第三实施方式中所述,在由图像处理单元(云侧AI图像处理功能F3)执行的图像处理(云侧AI图像处理)中,可以使用代替由成像装置(相机3、3B)获得的捕获图像而生成的替代图像。
例如,在为成像装置提供的具有本配置的信息处理装置(云服务器1、1A、1B)是服务器装置的情况下,从隐私的观点来看,存在将由成像装置捕获的捕获图像发送至服务器装置以便使服务器装置执行图像处理(云侧AI图像处理)是不适当的可能性。
根据本结构,由于向作为服务器装置的信息处理装置发送替代图像,因此保护了隐私。
注意,如上所述,可以使用由成像装置捕获的捕获图像的一部分来生成替代图像。因此,能够适当地进行结果信息的比较,因此,能够适当地搜索人工智能模型。
如第三实施方式中所述,替代图像可以是基于由成像装置(相机3、3B)获得的捕获图像而生成的虚拟图像。
在信息处理装置(云服务器1、1A、1B)是服务器装置的情况下,通过本配置,使用虚拟图像代替由成像装置捕获的捕获图像执行云侧AI图像处理。
因此可以进一步保护隐私。
注意,在第三实施方式中,图像识别处理已被例示为使用AI的处理(AI图像处理),但可以使用诸如图像检测处理之类的使用AI的其他处理(AI图像处理)。
如上所述,信息处理装置(云服务器1、1A、1B)可包括选择处理单元(应用配置功能),该选择处理单元获取关于应用的选择的信息(即,关于由用户使用用户终端2选择的应用的选择的信息),并且根据选择信息选择成像设置信息和人工智能模型(边缘侧AI模型)。
结果,用户仅通过选择应用,就能够将假定为最佳的成像设置信息和人工智能模型加载到成像装置(相机3、3B)中。
因此,无需进行从用户管理的成像装置发送作为训练数据集的捕获图像的处理和使用这些捕获图像重新训练人工智能模型的处理,就能够获得与AI图像处理对应的期望的分析结果信息。
如上述各例子所述,使用人工智能模型(AI模型)的图像处理(边缘侧AI图像处理)可以是使用人工智能模型的图像识别处理。
结果,可以在加载适当的AI应用或AI模型的状态下使用相机3中的AI执行图像识别处理,同时使用以适当的成像设置捕获的图像。因此,用户可以获得关于图像识别处理的最佳分析结果信息。
根据本技术的信息处理方法包括:通过计算机装置执行从成像装置(相机3、3B)获取的处理,成像装置被配置为使用人工智能(边缘侧AI模型)对捕获图像(由相机3捕获的捕获图像)执行图像处理(边缘侧AI图像处理);3B)通过捕获对象的图像、指示图像处理的结果的结果信息并且基于所获取的结果信息使用人工智能(搜索AI)搜索成像装置的成像设置信息和人工智能模型而获得的,将搜索得到的成像设置信息和人工智能模型应用于成像装置。
将由上述信息处理装置(云服务器1、1A、1B)执行的程序可以预先记录在硬盘驱动器(HDD)中,该硬盘驱动器是内置于诸如计算机装置的装置、具有CPU的微型计算机中的ROM等中的记录介质。可替换地,程序可以临时或者永久地存储(记录)在可移除记录介质中,诸如,软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、蓝光盘(注册商标)、磁盘、半导体存储器、或者存储卡。可以提供这种可移除记录介质作为所谓的封装软件。
此外,这样的程序可以从可移除记录介质安装到个人计算机等中,或者可以通过诸如局域网(LAN)、互联网等的网络从下载站点下载。
应注意,在本说明书中描述的效果仅是示例并且不受限制,并且可以施加其他效果。
此外,可以以任何方式组合上述示例,并且甚至在使用各种组合的情况下可以获得上述各种功能和效果。
<8.本技术>
本技术还可具有以下配置。
(1)
一种信息处理装置,包括:
搜索处理单元,被配置为从成像装置获取结果信息,所述成像装置被配置为对通过捕获对象的图像而获得的捕获图像执行使用人工智能模型的图像处理,所述结果信息指示所述图像处理的结果,并且所述搜索处理单元基于所获取的结果信息使用人工智能来搜索所述成像装置的成像设置信息和所述人工智能模型;以及
应用处理单元,被配置为将通过所述搜索处理单元搜索获得的所述成像设置信息和所述人工智能模型应用于所述成像装置。
(2)
根据上述(1)的信息处理装置,进一步包括:
图像处理单元,被配置为对从所述成像装置获取的所述捕获图像执行使用人工智能模型的图像处理,其中
在由所述成像装置执行的所述图像处理的识别结果和由所述图像处理单元执行的所述图像处理的识别结果彼此不同的情况下,所述搜索处理单元执行所述搜索。
(3)
根据上述(2)的信息处理装置,其中,
图像处理单元所使用的人工智能模型的性能高于成像装置进行图像处理所使用的人工智能模型。
(4)
根据上述(3)的信息处理装置,其中,
在所述搜索处理单元执行的搜索中,搜索使得所述成像装置执行的所述图像处理的结果更接近所述图像处理单元执行的所述图像处理的结果的人工智能模型。
(5)
根据以上(1)至(4)中任一项所述的信息处理装置,其中
所述搜索处理单元基于获得所述捕获图像时的环境信息搜索所述成像设置信息。
(6)
根据上述(5)的信息处理装置,其中,
所述环境信息包括关于所述成像装置被安装的位置的信息。
(7)
根据以上(5)或(6)所述的信息处理装置,其中
所述环境信息包括关于入射在所述成像装置的光接收单元上的光的信息。
(8)
根据以上(1)至(7)中任一项所述的信息处理装置,其中
基于成像装置的性能进行人工智能模型的搜索。
(9)
根据上述(8)的信息处理装置,其中,
成像装置的性能包括与图像处理有关的性能。
(10)
根据以上(1)至(9)中任一项所述的信息处理装置,其中
通过搜索得到的所述成像设置信息和所述人工智能模型根据应用的不同而不同。
(11)
根据以上(1)至(10)中任一项所述的信息处理装置,其中
所述搜索处理单元执行关于由包括所述成像装置和所述信息处理装置的每个装置执行的处理的分配的搜索处理。
(12)
根据上述(11)的信息处理装置,其中,
由每个装置执行的处理包括使用结果信息执行的分析处理。
(13)
根据上述(2)的信息处理装置,其中,
在由所述图像处理单元执行的所述图像处理中,使用所生成的替代图像代替由所述成像装置获得的所述捕获图像。
(14)
根据上述(13)的信息处理装置,其中,
所述替代图像包括基于由所述成像装置获得的所述捕获图像生成的虚拟图像。
(15)
根据以上(1)至(14)中任一项所述的信息处理装置,进一步包括:
选择处理单元,被配置为获取关于应用的选择的选择信息,并且根据所述选择信息选择所述成像设置信息和所述人工智能模型。
(16)
根据以上(1)至(15)中任一项所述的信息处理装置,其中
使用所述人工智能模型的所述图像处理包括使用人工智能模型的图像识别处理。
(17)
一种信息处理方法,包括:
通过计算机装置执行以下处理:
从成像装置获取结果信息,所述成像装置被配置为对通过捕获对象的图像而获得的捕获图像执行使用人工智能模型的图像处理,所述结果信息指示所述图像处理的结果,并且基于所获取的结果信息使用人工智能来搜索所述成像装置的成像设置信息和所述人工智能模型;以及
将搜索得到的成像设置信息和人工智能模型应用于成像装置。
(18)
一种程序,使算术处理装置执行以下功能:
从成像装置获取结果信息,所述成像装置被配置为对通过捕获对象的图像而获得的捕获图像执行使用人工智能模型的所图像处理,所述结果信息指示所述图像处理的结果,并且基于所获取的结果信息使用人工智能来搜索所述成像装置的成像设置信息和所述人工智能模型;以及
将搜索得到的成像设置信息和人工智能模型应用于成像装置。
参考符号列表
1、1A、1B云服务器
3、3B相机(成像装置)
41成像单元(光接收单元)
71CPU(应用处理单元)
80通信单元(应用处理单元)
F1应用配置功能(选择处理单元)
F2处理分配搜索功能(搜索处理单元)
F3云侧AI图像处理功能(图像处理单元)
F4成像设置搜索功能(搜索处理单元)
F5 AI模型搜索功能(搜索处理单元)。
Claims (18)
1.一种信息处理装置,包括:
搜索处理单元,被配置为从成像装置获取结果信息,所述成像装置被配置为对通过捕获对象的图像而获得的捕获图像执行使用人工智能模型的图像处理,所述结果信息指示所述图像处理的结果,并且所述搜索处理单元基于所获取的结果信息使用人工智能来搜索所述成像装置的成像设置信息和所述人工智能模型;以及
应用处理单元,被配置为将通过所述搜索处理单元搜索获得的所述成像设置信息和所述人工智能模型应用于所述成像装置。
2.根据权利要求1所述的信息处理装置,进一步包括:
图像处理单元,被配置为对从所述成像装置获取的所述捕获图像执行使用人工智能模型的图像处理,其中,
在由所述成像装置执行的所述图像处理的识别结果和由所述图像处理单元执行的所述图像处理的识别结果彼此不同的情况下,所述搜索处理单元执行所述搜索。
3.根据权利要求2所述的信息处理装置,其中,
所述图像处理单元所使用的人工智能模型的性能高于所述成像装置执行所述图像处理所使用的人工智能模型。
4.根据权利要求3所述的信息处理装置,其中,
在所述搜索处理单元执行的搜索中,搜索这样的人工智能模型,所述人工智能模型使得所述成像装置执行的所述图像处理的结果更接近所述图像处理单元执行的所述图像处理的结果。
5.根据权利要求1所述的信息处理装置,其中,
所述搜索处理单元基于获得所述捕获图像时的环境信息来搜索所述成像设置信息。
6.根据权利要求5所述的信息处理装置,其中,
所述环境信息包括关于所述成像装置被安装的位置的信息。
7.根据权利要求5所述的信息处理装置,其中,
所述环境信息包括关于入射在所述成像装置的光接收单元上的光的信息。
8.根据权利要求1所述的信息处理装置,其中,
基于所述成像装置的性能来执行所述人工智能模型的搜索。
9.根据权利要求8所述的信息处理装置,其中,
所述成像装置的性能包括与图像处理有关的性能。
10.根据权利要求1所述的信息处理装置,其中,
通过搜索得到的所述成像设置信息和所述人工智能模型根据应用的不同而不同。
11.根据权利要求1所述的信息处理装置,其中,
所述搜索处理单元执行关于由包括所述成像装置和所述信息处理装置的每个装置执行的处理的分配的搜索处理。
12.根据权利要求11所述的信息处理装置,其中,
由所述每个装置执行的处理包括使用所述结果信息执行的分析处理。
13.根据权利要求2所述的信息处理装置,其中,
在由所述图像处理单元执行的所述图像处理中,使用所生成的替代图像来代替由所述成像装置获得的所述捕获图像。
14.根据权利要求13所述的信息处理装置,其中,
所述替代图像包括基于由所述成像装置获得的所述捕获图像生成的虚拟图像。
15.根据权利要求1所述的信息处理装置,进一步包括:
选择处理单元,被配置为获取关于应用的选择的选择信息,并且根据所述选择信息选择所述成像设置信息和所述人工智能模型。
16.根据权利要求1所述的信息处理装置,其中,
使用所述人工智能模型的所述图像处理包括使用人工智能模型的图像识别处理。
17.一种信息处理方法,包括:
由计算机装置执行以下处理:
从成像装置获取结果信息,所述成像装置被配置为对通过捕获对象的图像而获得的捕获图像执行使用人工智能模型的图像处理,所述结果信息指示所述图像处理的结果,并且基于所获取的结果信息使用人工智能来搜索所述成像装置的成像设置信息和所述人工智能模型;并且
将通过搜索获得的所述成像设置信息和所述人工智能模型应用于所述成像装置。
18.一种程序,使算术处理装置执行以下功能:
从成像装置获取结果信息,所述成像装置被配置为对通过捕获对象的图像而获得的捕获图像执行使用人工智能模型的所图像处理,所述结果信息指示所述图像处理的结果,并且基于所获取的结果信息使用人工智能来搜索所述成像装置的成像设置信息和所述人工智能模型;并且
将通过搜索获得的所述成像设置信息和所述人工智能模型应用于所述成像装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-189366 | 2021-11-22 | ||
JP2021189366 | 2021-11-22 | ||
PCT/JP2022/038978 WO2023090036A1 (ja) | 2021-11-22 | 2022-10-19 | 情報処理装置、情報処理方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118266228A true CN118266228A (zh) | 2024-06-28 |
Family
ID=86396670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280076203.1A Pending CN118266228A (zh) | 2021-11-22 | 2022-10-19 | 信息处理装置、信息处理方法和程序 |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP4440130A1 (zh) |
JP (1) | JPWO2023090036A1 (zh) |
KR (1) | KR20240115228A (zh) |
CN (1) | CN118266228A (zh) |
TW (1) | TW202328980A (zh) |
WO (1) | WO2023090036A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111727412B (zh) * | 2018-03-05 | 2023-07-14 | 欧姆龙株式会社 | 用于设定照明条件的方法、装置、系统以及存储介质 |
JP6638852B1 (ja) | 2018-08-31 | 2020-01-29 | ソニー株式会社 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
EP4099678A4 (en) * | 2020-01-30 | 2023-07-26 | Sony Semiconductor Solutions Corporation | SOLID STATE IMAGING DEVICE, ELECTRONIC DEVICE AND IMAGING SYSTEM |
-
2022
- 2022-10-19 WO PCT/JP2022/038978 patent/WO2023090036A1/ja active Application Filing
- 2022-10-19 EP EP22895322.0A patent/EP4440130A1/en active Pending
- 2022-10-19 KR KR1020247013894A patent/KR20240115228A/ko unknown
- 2022-10-19 JP JP2023561470A patent/JPWO2023090036A1/ja active Pending
- 2022-10-19 CN CN202280076203.1A patent/CN118266228A/zh active Pending
- 2022-11-01 TW TW111141581A patent/TW202328980A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
EP4440130A1 (en) | 2024-10-02 |
TW202328980A (zh) | 2023-07-16 |
KR20240115228A (ko) | 2024-07-25 |
JPWO2023090036A1 (zh) | 2023-05-25 |
WO2023090036A1 (ja) | 2023-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI805869B (zh) | 計算場景的主要分類的系統及方法 | |
US11704905B2 (en) | Use of camera metadata for recommendations | |
EP4439294A1 (en) | Information processing device, information processing method, and program | |
US9058655B2 (en) | Region of interest based image registration | |
JP2018502488A (ja) | 視覚的画像アレイに関する、装置、方法およびシステム | |
KR20220156905A (ko) | 이미지 데이터에 대한 분석을 수행하기 위한 방법 및 장치 | |
EP4440130A1 (en) | Information processing device, information processing method, and program | |
WO2023029559A1 (zh) | 一种数据处理方法以及装置 | |
EP4439357A1 (en) | Information processing device, information processing method, image-capturing device, and control method | |
WO2024202366A1 (ja) | 情報処理装置、情報処理方法、記録媒体、推論装置、制御方法 | |
WO2023218936A1 (ja) | イメージセンサ、情報処理方法、プログラム | |
WO2024014293A1 (ja) | 送信装置、受信装置、情報処理方法 | |
WO2023218935A1 (ja) | イメージセンサ、情報処理方法、プログラム | |
WO2023218934A1 (ja) | イメージセンサ | |
WO2024085023A1 (en) | Signal processing device, signal processing method, and storage medium | |
WO2024053479A1 (ja) | 情報処理装置、情報処理方法、コンピュータ読み取り可能な非一時的記憶媒体及び端末装置 | |
WO2023189439A1 (ja) | 情報処理装置、情報処理システム | |
WO2023238723A1 (ja) | 情報処理装置、情報処理システム、情報処理回路及び情報処理方法 | |
WO2024034413A1 (ja) | 情報処理方法、サーバ装置、および情報処理装置 | |
WO2023171755A1 (ja) | 情報処理装置、情報処理方法、記録媒体、情報処理システム | |
WO2024034414A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2024202501A1 (ja) | 撮像装置、撮像装置システム、プログラム保護方法及び記憶媒体 | |
JP2024059288A (ja) | 画像処理装置、画像処理方法および記録媒体 | |
WO2024029347A1 (ja) | 情報処理装置、情報処理方法、及び情報処理システム | |
Gotthard et al. | Edge Machine Learning for Wildlife Conservation: A part of the Ngulia project |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |