CN114503550A - 信息处理系统、信息处理方法、图像拍摄装置和信息处理装置 - Google Patents

信息处理系统、信息处理方法、图像拍摄装置和信息处理装置 Download PDF

Info

Publication number
CN114503550A
CN114503550A CN202080068480.9A CN202080068480A CN114503550A CN 114503550 A CN114503550 A CN 114503550A CN 202080068480 A CN202080068480 A CN 202080068480A CN 114503550 A CN114503550 A CN 114503550A
Authority
CN
China
Prior art keywords
information
target
feature information
feature
image capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080068480.9A
Other languages
English (en)
Inventor
高塚进
铁川弘树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114503550A publication Critical patent/CN114503550A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/222Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving video stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving video stream encryption
    • H04N21/23476Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明减少根据拍摄图像确定是否存在目标被摄体的系统进行确定所需的通信数据量。根据本发明的信息处理系统包括图像拍摄装置和信息处理装置。图像拍摄装置包括:图像拍摄部,用于获得被摄体的拍摄图像;以及特征检测器,基于拍摄图像检测表示被摄体的特征的特征信息。图像拍摄装置或信息处理装置包括确定部,确定部使用由特征检测器检测的检测特征信息并且基于作为要作为目标的特征信息的目标特征信息,确定在拍摄图像中是否存在检测特征信息与目标特征信息匹配或相似的目标被摄体。

Description

信息处理系统、信息处理方法、图像拍摄装置和信息处理装置
技术领域
本技术涉及信息处理系统、信息处理方法、图像拍摄装置和信息处理装置,尤其涉及用于基于拍摄的图像确定是否存在目标被摄体的系统的技术领域。
背景技术
例如,在指定显示装置上显示图像或者在指定显示装置中记录图像的诸如监控摄像机系统的系统是已知的,该图像由放置在目标位置的摄像机拍摄。
当这种类型的系统用于例如监控的目的时,可以想到,可以构建通过执行图像分析等来检测(确定)是否已经拍摄了目标被摄体的图像(即是否已经在场景上出现诸如特定人的目标被摄体)的系统。
应注意,下面指出的专利文献1公开了相关的现有技术。
引用列表
专利文献
专利文献1:日本专利申请公开第2019-57880号
发明内容
关于确定是否存在目标被摄体的上述系统的特定配置,可想到上述系统可包括放置在场景上的至少一个图像拍摄装置和执行包括分析从图像拍摄装置获取的拍摄的图像并确定是否存在目标被摄体的处理的信息处理装置。
然而,当采用该配置时,拍摄图像从图像拍摄装置传输至信息处理装置以确定是否存在目标被摄体。结果,通信数据量可能增加。特别地,当使用多个图像拍摄装置时,这导致通信数据量的进一步增大。
鉴于上述情况,实现了本技术,并且本技术的目的是减少由基于拍摄的图像确定是否存在目标被摄体的系统执行确定所需的通信数据量。
问题的解决方案
根据本技术的信息处理系统是包括图像拍摄装置和信息处理装置的信息处理系统,图像拍摄装置包括图像拍摄部和特征检测器,图像拍摄部用于获得被摄体的拍摄图像,特征检测器基于拍摄图像检测特征信息,特征信息是指示被摄体的特征的信息。
此外,图像拍摄装置或信息处理装置包括确定部,确定部基于作为特征检测器检测的特征信息的检测特征信息,并且基于作为被作为目标的特征信息的目标特征信息,确定在拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
如上所述,当图像拍摄装置包括检测被摄体的特征的功能时,这导致不需要向信息处理装置发送拍摄图像以确定是否存在目标被摄体。
在根据本技术的上述信息处理系统中,图像拍摄部可以包括阵列传感器,该阵列传感器包括多个一维或二维排列的像素,每个像素包括接收可见光或不可见光的光接收元件,并且特征检测器可以与阵列传感器放置在一个封装件中。
可以在具有阵列传感器的一个封装件中执行用于检测被摄体的特征的图像处理,并且与当在传感器封装件的外部执行图像处理时相比,这使得能够降低图像内容泄漏的可能性。
在根据本技术的上述信息处理系统中,图像拍摄装置可包括确定部。
这导致用于确定是否存在被摄体的处理负荷被分配给各个图像拍摄装置,并且导致信息处理装置不需要进行该确定处理。
在根据本技术的上述信息处理系统中,信息处理装置可包括确定部。
这导致图像拍摄装置不需要执行确定是否存在目标被摄体的处理。
在根据本技术的上述信息处理系统中,图像拍摄装置可包括加密部和图像发送部,加密部对拍摄图像进行加密,图像发送部执行将由加密部加密的拍摄图像传输至信息处理装置的处理。
可以设想,当出现目标被摄体时拍摄的图像可在目标被摄体出现时被发送至信息处理装置。采用将加密的拍摄图像传输至信息处理装置的配置,使得可以防止在将目标被摄体出现时拍摄的图像传输至信息处理装置时图像内容的泄露。
在根据本技术的上述信息处理系统中,图像拍摄部可包括阵列传感器,所述阵列传感器包括多个一维或二维排列的像素,每个所述像素包括接收可见光或不可见光的光接收元件,并且加密部可基于光电随机数对拍摄图像进行加密,所述光电随机数是基于由阵列传感器执行的光电转换而获得的随机数。
这实现了与使用伪随机数时相比更难以进行解密的加密。
在根据本技术的上述信息处理系统中,加密部可对从阵列传感器中的像素中读取的信号执行加密。
对从像素读取的信号进行加密实现了防止拍摄图像信号以明文的形式存储在存储器中。
在根据本技术的上述信息处理系统中,图像拍摄装置可包括特征发送部,该特征发送部执行将由特征检测器检测的特征信息传输至信息处理装置的处理。
这使得可以使信息处理装置获取指示拍摄图像中的被摄体的特征的信息。
在根据本技术的上述信息处理系统中,特征检测器可检测具有被摄体的不同抽象度的每个特征的特征信息。
当被摄体是人时,具有不同抽象度的特征的示例包括具有高抽象度的特征,诸如高度和性别;以及具有低抽象度的特征(即,更具体的特征),诸如衣服的颜色和头发的颜色。此外,当被摄体是车辆时,具有不同抽象度的特征的实例包括具有高抽象度的特征,诸如车辆的颜色以及车辆类型,诸如标准尺寸的车辆或大型车辆;以及具有低抽象度的特征,诸如特定车辆型号和牌照中的特定编号。例如,根据使用特征信息的应用,可能不需要关于具有低抽象度的特征的信息,但是可能仅需要关于具有高抽象度的特征的信息。这样,在针对具有不同抽象度的每个特征检测特征信息的情况下,如上所述,能够从检测到的特征信息中仅选择并输出关于具有特定抽象度的特征的信息,或者输出所有检测到的特征信息而不考虑抽象度。
在根据本技术的上述信息处理系统中,信息处理系统可包括多个图像拍摄装置。
这使得可以基于从多个视点拍摄的图像来确定是否存在目标被摄体。
根据本技术的上述信息处理系统可进一步包括通知处理部,该通知处理部响应于确定部确定存在目标被摄体而执行输出通知信息的处理。
这使得可以向用户通知目标被摄体的出现。
根据本技术的上述信息处理系统可包括多个图像拍摄装置,并且信息处理装置可包括异常检测确定部,异常检测确定部基于由确定部执行的确定的结果来确定在物理上不可能的各个定时拍摄的图像中是否检测到目标被摄体,图像拍摄装置拍摄的拍摄图像彼此不同。
“在物理上不可能的定时检测”是指当在分别由两个图像拍摄装置拍摄的图像中检测到目标被摄体时,两个图像拍摄装置之间的目标被摄体检测的时间差小于对应于目标被摄体的对象在分别放置两个图像拍摄装置的位置之间移动所需的最短时间的状态。当在物理上不可能的各个定时通过不同的图像拍摄装置检测到目标被摄体时,可估计存在检测目标被摄体的精度方面的问题,或者可估计已经发生由于用于检测目标被摄体的算法引起的异常,或者由于对应于目标被摄体的对象引起的异常,例如,其中对应于目标被摄体的对象的伪造品已经上市的状态。
根据本技术的信息处理方法是由包括图像拍摄装置和信息处理装置的信息处理系统执行的信息处理方法,所述信息处理方法包括:由图像拍摄装置基于被摄体的拍摄图像检测特征信息,特征信息是表示被摄体的特征的信息;以及由图像拍摄装置或信息处理装置基于作为通过检测获得的特征信息的检测特征信息并且基于作为被作为目标的特征信息的目标特征信息,确定在所述拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
这种信息处理方法还能够提供与由根据本技术的上述信息处理系统提供的效果相似的效果。
此外,根据本技术的图像拍摄装置包括:图像拍摄部,用于获得被摄体的拍摄图像;特征检测器,基于拍摄图像检测特征信息,特征信息是指示被摄体的特征的信息;以及确定部,其基于作为由特征检测器检测到的特征信息的检测特征信息并且基于作为被作为目标的特征信息的目标特征信息,确定在拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
此外,根据本技术的信息处理装置包括确定部和特征检测器,确定部从图像拍摄装置获取检测特征信息,图像拍摄装置包括用于获得被摄体的拍摄图像的图像拍摄部,特征检测器基于拍摄图像检测特征信息,特征信息是指示被摄体的特征的信息,检测特征信息是由特征检测器检测的特征信息,确定部基于获取的检测特征信息并且基于作为被作为目标的特征信息的目标特征信息,确定在拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
图像拍摄装置和信息处理装置还使得能够提供与由根据本技术的上述信息处理系统提供的效果类似的效果。
附图说明
图1是示意性示出根据实施方式的信息处理系统的配置实例的框图。
图2是示出根据实施方式的图像拍摄装置的内部的配置的实例的框图。
图3是示出了根据实施方式的信息处理装置的内部的配置的实例的框图。
图4示出了用于基于光电随机数生成加密过滤器(加密密钥)的方法的实例。
图5示出了根据实施方式的由振幅控制电路执行的读取信号的加密的概念。
图6示出了当加密数字信号形式的读取信号时图像拍摄装置的配置的实例。
图7示出了根据实施方式的图像拍摄传感器部的配置的实例。
图8示出了根据实施方式的图像拍摄传感器部的配置的另一个实例。
图9示出了根据实施方式的图像拍摄传感器部的配置的又一实例。
图10是示出根据实施方式的为了实现图像加密而执行的处理的过程的流程图。
图11示出了当目标类别是人时每个级别的加密的概念。
图12示出了当目标类别是车辆时每个级别的加密的概念。
图13是用于描述针对每个级别执行加密的具体方法的实例的示图。
图14是用于描述机密性级别改变的实例的示图。
图15是用于描述针对每个级别执行加密的具体方法的实例的示图。
图16是用于描述ROI的修改的示图。
图17为示出在对每个级别进行加密时执行的处理的流程图,并且该处理对应于从拍摄种子帧到存储从中生成加密密钥的随机数的步骤。
图18是示出在对每个级别加密时基于所生成的加密密钥对目标图像进行加密的处理的流程图。
图19是用于描述根据实施方式的正常模式的示图。
图20是示出与记录正常模式下的特征信息有关的处理的实例的流程图。
图21为示出与在正常模式下传输特征信息和拍摄图像有关的处理的实例的流程图。
图22是用于描述通过第一实例的信息处理系统在目标搜索模式下执行的操作的示图。
图23是示出由第一实例的信息处理系统在目标搜索模式下执行的处理的具体过程的实例的流程图。
图24是用于描述在目标搜索模式下的第二实例的信息处理系统的功能配置以及通过第二实例的信息处理系统在目标搜索模式下执行的操作的示图。
图25是示出了第二实例的信息处理系统在目标搜索模式下执行的处理的具体过程的实例的流程图。
图26是示意性示出第三实例的信息处理系统的配置的实例的框图。
图27是用于描述在目标搜索模式下的第三实例的信息处理系统的功能配置以及通过第三实例的信息处理系统在目标搜索模式下执行的操作的示图。
图28是用于描述关于检测目标被摄体中的异常的确定的变形的信息处理系统的功能配置的示图。
图29是用于描述确定目标被摄体的异常检测的处理的流程图。
具体实施方式
以下将按照以下顺序描述实施例。
<1.信息处理系统的配置>
[1-1.系统的整体配置]
[1-2.图像拍摄装置的配置]
[1-3.信息处理装置的配置]
<2.关于安全措施>
[2-1.关于用于加密的随机数]
[2-2.关于加密-目标信号]
[2-3.关于防篡改]
[2-4.针对图像加密执行的处理过程]
[2-5.每个级别的加密]
[2-6.针对每个级别的加密所执行的处理的过程]
<3.与特征信息(正常模式)有关的处理>
<4.与特征信息(目标搜索模式)相关的处理>
[4-1.第一实例]
[4-2.第二实例]
[4-3.第三实例]
<5.变形例>
<6.关于实施例的结论>
<7.本技术>
<1.信息处理系统的配置>
[1-1.系统的整体配置]
图1是示意性示出根据本技术的实施方式的信息处理系统100的配置的实例的框图。
如图所示,信息处理系统100至少包括多个图像拍摄装置1、雾服务器2、云服务器3和用户终端4。在该实例中,雾服务器2、云服务器3和用户终端4可以通过例如互联网的网络Nt彼此通信。
雾服务器2、云服务器3和用户终端4分别被配置为包括微计算机的信息处理装置,该微计算机包括中央处理部(CPU)、只读存储器(ROM)和随机存取存储器(RAM)。这里,用户终端4是期望由作为服务的接收者的用户使用的信息处理装置,使用信息处理系统100提供服务。
图像拍摄装置1使用图像传感器执行图像拍摄以获得数字数据形式的图像数据(拍摄图像数据)。
雾服务器2可以与每个图像拍摄装置1执行数据通信。雾服务器2可以从图像拍摄装置1接收诸如拍摄图像数据的各种数据,并且可以将诸如指令数据的各种数据发送到图像拍摄装置1。
在此,图1中示出的信息处理系统100可以用作在雾服务器2或云服务器3中存储(记录)由图像拍摄装置1拍摄的图像的数据并且使用户使用用户终端4查看所记录的数据的监控摄像机系统。
放置在商店中的监控摄像机系统可设想作为信息处理系统100的示例。在这种情况下,每个图像拍摄装置1被布置在商店中的指定位置,使得用户能够确认例如来到商店的顾客的类型以及商店中的顾客的行为(顾客的流动线)。
此外,还可以想到,信息处理系统100例如可以用于监控诸如城市中的室外位置或者用于监控在工厂自动化(FA)中的生产线。
注意,存在图像拍摄装置1的各种应用,并且该各种应用的实例包括安全摄像机、用于收集顾客信息的店内摄像机、用于使用脸部认证来监控出入口的系统、行车记录仪、车载摄像机、交通监控摄像机、商店中的收银机和销售点(POS)系统、以及机器人(诸如在FA中使用的机器人)。
当信息处理系统100应用于商店中的监控摄像机系统时,假设雾服务器2与每个图像拍摄装置1一起被放置在监控目标商店中。例如,当存在多个监控目标商店时,假定针对各商店放置多个图像拍摄装置1。在这种情况下,当雾服务器2被提供给每个商店时,这使得云服务器3不需要直接接收由放置在每个商店中的多个图像拍摄装置1中的各个图像拍摄装置1传输的多条数据。由此,云服务器3的处理负荷降低。
在该实例的信息处理系统100中,在图像拍摄装置1发送拍摄图像数据时,拍摄图像数据被加密,以便增强拍摄图像数据的机密性。这将在后面描述。如下,本实施例的图像拍摄装置1执行用于上述加密拍摄图像数据的各种处理。
[1-2.图像拍摄装置的配置]
图2是示出图像拍摄装置1内部的配置实例的框图。
如图所示,图像拍摄装置1包括图像拍摄传感器部10、图像处理器21、传感器部22、控制器23、存储部24和通信部25。
对于每个像素,图像拍摄传感器部10接收通过图像拍摄装置1中包括的相机光学系统(未示出)进入的光,并且执行光电转换以获得拍摄图像数据。
图像拍摄传感器部10包括作为图像传感器装置的硬件组件、诸如动态随机存取存储器(DRAM)的存储器装置和处理器,但这里省略其图示。此外,图像拍摄传感器部10是通过创建三个部件的三层堆叠结构、通过创建要平放的单层结构或通过创建两层堆叠结构(例如,存储器装置和处理器在同一层中)而获得的具有集成部件的装置。
该示例的阵列传感器10包括使用图像分析来检测对象的功能,并且是可以被称为智能阵列传感器的装置。
如图所示,图像拍摄传感器部10包括阵列传感器12、振幅控制电路19、模数转换器(ADC)/像素选择器13、缓冲器14、逻辑部15、存储器16、接口部17和计算部18。
阵列传感器12包括多个一维或二维布置的像素,每个像素包括接收可见光或不可见光的光接收元件。例如,在大量像素中包括的像素在行方向和列方向上二维布置,并且通过在每个像素的光接收元件中执行光电转换来输出二维图像信号。
振幅控制电路19对通过阵列传感器12执行光电转换而获得的电信号(模拟信号)执行振幅控制。在该实例中,振幅控制电路19可基于由计算部18给出的指令改变放大因子。这将在后面再次描述。
通过由阵列传感器12执行光电转换而获得的电信号通过振幅控制电路19输入到ADC/像素选择器13。ADC/像素选择器13将模拟信号形式的输入电信号转换成数字数据,并且输出数字数据形式的图像信号(图像数据)。
此外,ADC/像素选择器13包括从阵列传感器12的像素(光接收元件)执行像素选择的功能。这使得可以仅获取包括在阵列传感器12中的所选择的像素的光电转换信号,将所获取的信号转换成数字数据,并且输出所获得的数字数据。换言之,ADC/像素选择器13通常针对构成一帧图像的所有有效像素将光电转换信号转换成数字数据并且输出所获得的数字数据,并且还可仅针对选择的像素将光电转换信号转换成数字数据并且输出所获得的数字数据。
由ADC/像素选择器13针对每个帧获取图像数据。各帧的图像数据被临时存储在缓冲器14中,并且在适当的定时被读取以用于逻辑部15的处理。
逻辑部15可对每个帧的输入图像信号执行各种必要的信号处理(图像处理)。
例如,逻辑部15可以通过执行颜色校正、伽马校正、色差处理、增益处理和边缘增强处理来调整图像质量。此外,可以想到,逻辑部15可以执行改变数据大小的处理,诸如数据压缩处理、分辨率转换和帧率转换。
对于逻辑部15所执行的各个处理,设置用于执行各个处理的参数。参数的实例包括诸如用于校正颜色或亮度的系数、增益值、压缩率和帧率的设置值。逻辑部15使用为过程设置的参数来执行必要的过程。在本实施方式中,参数可由计算部18设置。
通过逻辑部15进行了处理的图像数据被存储在包含例如DRAM的存储器16中。
存储在存储器16中的图像数据被传输以在需要图像数据的定时通过接口部17被输出到图像处理器21、控制器23和存储部24。
图像处理部21能够对从图像拍摄传感器部10发送的图像数据进行规定的图像信号处理。图像处理器21还可参考通过传感器部22执行检测而获得的检测信息。
此外,图像拍摄传感器部10中的计算部18被配置为例如人工智能(AI)处理器。此外,如图所示,计算部18包括关键帧选择器81、对象区域识别部82、类别识别部83、加密控制器84、特征检测器85、以及确定部86,它们是可执行的计算功能。注意,多个处理器可形成这些计算功能。
使用指定的算法,或响应于给出的指令,关键帧选择器81执行从对应于运动图像的图像数据的多个帧中选择关键帧的处理。
对于通过由阵列传感器12执行光电转换获得并且由ADC/像素选择器13获取的图像数据的帧,对象区域识别部82执行处理,该处理包括检测作为检测候选的对象的区域以及识别图像(帧)中围绕检测目标对象的区域(边界框)。
本文中,“检测目标对象”指可以是用于从图像识别对象的目的的检测目标的对象(object,物体)。检测目标对象根据例如信息处理系统100的应用而不同。然而,任何物体可以是上述检测目标对象。检测目标对象的实例包括诸如包括人类的动物、移动物体(诸如,汽车、自行车、以及飞机)、自然物体(诸如,蔬菜、以及植物)、工业产品/组件、建筑物、设施、山、海、河、星、太阳、以及云等所有物体,尽管这些仅是实例的一部分。任何物体可以对应于检测目标对象。
此外,在这个实例中,对象区域识别部82基于边界框执行感兴趣区域(ROI)的计算处理,感兴趣区域作为指示待处理的区域的区域信息。
类别识别部83将由对象区域识别部82检测的对象分组成类别。
该类别是表示对象的类别的信息,并且待检测的对象被分类为例如,“人”、“汽车”、“飞机”、“轮船”、“卡车”、“鸟”、“猫”、“狗”、“鹿”、“青蛙”以及“马”。
参数选择器84在其中存储用于根据类别执行信号处理的参数,并且例如使用由类别识别部83识别的所检测的对象的类别、或所检测的对象的边界框来选择至少对应的参数。然后,为逻辑部15设置至少一个参数。
加密控制器85执行控制,使得通过由阵列传感器12执行的图像拍摄获得的图像信号被加密。注意,稍后将再次描述为了执行图像信号的加密而由加密控制器85进行的处理的具体实例。
特征检测器85基于通过阵列传感器12执行光电转换获得并且通过ADC/像素选择器13获取的图像数据来检测特征信息,该特征信息是表示拍摄图像中的被摄体的特征的信息。
存在由特征检测器85检测的特征信息的各种实例。
当目标被摄体是人时的特征信息的实例包括关于诸如身高、性别和年龄的特征的信息;以及关于与运动(诸如步行方式)相关的特征的信息。此外,当目标被摄体是诸如汽车的车辆时的特征信息的实例包括关于例如颜色、诸如标准尺寸的车辆或大型车辆的车辆类型、车辆的牌照号码以及车辆的乘坐者的数量的信息。
此外,当目标被摄体是在工厂自动化(FA)中使用的组件时的特征信息的实例包括组件的类型;以及组件标识符,诸如印刷在组件上的数字或条形码。
注意,关于被摄体的运动(诸如上述步行方式)的特征信息可被生成作为例如通过对运动的特征进行编码而获得的信息。
此实例的特征检测器85针对被摄体的具有不同抽象度的每一特征检测关于被摄体的特征信息。具体地,该实例的特征检测器85检测关于具有高抽象度的特征的信息以及关于具有低抽象度的特征的信息,作为关于被摄体的特征信息。
例如,当目标被摄体是人时,诸如上述关于身高和性别的信息的信息被检测作为关于具有高抽象度的特征的信息;指示比关于具有高抽象度的特征的信息更具体的特征的信息(诸如关于衣服的颜色和头发的颜色的信息)被检测作为关于具有低抽象度的特征的信息。
此外,当目标被摄体是车辆时,诸如关于车辆的颜色的信息以及诸如标准尺寸车辆或大型车辆的车辆类型的信息被检测作为关于具有高抽象度的特征的信息;并且将关于作为更具体的特征的例如车辆型号和牌照号码的信息检测作为关于具有低抽象度的特征的信息。
另外,在目标被摄体是FA中使用的组件的情况下,将与例如组件的类型相关的信息检测作为关于具有高抽象度的特征的信息,将与例如印刷在组件上的数字、条形码等组件标识符相关的信息检测作为与具有低抽象度的特征相关的信息。
特征检测器85通过基于由ADC/像素选择器13获得的拍摄图像数据执行图像分析来执行检测特征信息的上述处理。在这个实例的信息处理系统100中,由ADC/像素选择器13获得的拍摄图像数据被加密,这将在后面描述。因此,特征检测器85执行检测特征信息的上述处理,同时依次对由ADC/像素选择器13获得的多条拍摄图像数据进行解密。
基于作为由特征检测器85检测的特征信息的检测特征信息以及作为要作为目标的特征信息的目标特征信息,确定部86确定在拍摄图像中存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。应注意,稍后将再次描述确定部86执行的处理。
这里,由计算部18中的各种功能执行的上述处理是通常在图像传感器中不执行的处理。在本实施例中,在图像传感器中执行对象检测、类别识别以及基于对象检测和类别识别的控制。
控制器23包括微型计算机,微型计算机例如包括CPU、ROM和RAM,并且通过CPU对图像拍摄装置1进行总体控制,以根据存储在ROM中的程序或加载到RAM中的程序来执行各种处理。
例如,控制器23向图像拍摄传感器部10发出指令,以控制各种处理(诸如获取拍摄图像数据的处理)的执行。同样地,对于图像处理器21,控制器23控制各种处理的执行。
此外,控制器23控制各种数据到存储部24的写入以及从存储部24读取各种数据。存储部24例如是诸如硬盘驱动器(HDD)或闪存装置等非易失性存储装置,用作图像拍摄传感器部10所获得的拍摄图像数据等各种数据的存储目的地(记录目的地)。
此外,控制器23通过通信部25将各种数据通信至外部装置。该实例的通信部25可以将数据通信至图1中示出的雾服务器2。
[1-3.信息处理装置的配置]
图3是示出了用作云服务器3的信息处理装置的内部的配置的实例的框图。注意,图1中示出的雾服务器2和用户终端4各自具有与图3中示出的硬件配置相似的硬件配置。因此,不再重复进行描述。
如图所示,云服务器3包括CPU 31、ROM 32、RAM 33、总线34、输入/输出接口35、输入部36、输出部37、存储器38以及通信部39。
CPU 31、ROM 32和RAM 33通过总线34彼此连接。输入/输出接口35还连接至总线34。CPU 31根据存储在ROM 32中的程序或从存储器38加载到RAM 33中的程序执行各种处理。另外,根据需要在RAM 33中还存储有CPU 31进行各种处理所需的数据等。
输入部36、输出部37、存储器38以及通信部39连接至输入/输出接口35。
输入部36总体地表示用于检测操作输入的装置,诸如键盘、鼠标、触摸面板等。
输出部37的实例包括显示器,该显示器包括例如液晶显示器(LCD)或有机电致发光(EL)面板;以及扬声器。
存储器38包括例如硬盘驱动器(HDD)或闪存装置。
通信部39通过网络Nt进行通信处理和装置之间的通信。
<2.关于安全措施>
[2-1.关于用于加密的随机数]
本实施例的图像拍摄装置1对拍摄图像数据进行加密,并且在该示例中,光电随机数用于加密。换言之,基于光电随机数来生成用于对拍摄图像数据进行加密的加密密钥。
在此,光电随机数指的是基于通过阵列传感器12执行的光电转换获得的随机数。具体地,在该实例中,获取通过阵列传感器12执行光电转换获得的各像素的电信号的值作为光电随机数,并且生成加密密钥。
图4示出了用于基于光电随机数生成关于图像数据的加密过滤器(加密密钥)的方法的实例。
首先,该图在左侧示出了通过由阵列传感器12执行光电转换而获得的各像素的电信号的值。在该实例中,通过阵列传感器12执行图像拍摄而获得的图像(静止图像)的各个像素的值(亮度值)被用作光电随机数。
在此处,在以下描述中,为了获得光电随机数而拍摄的帧图像(即,从其生成光电随机数的帧图像)称为“种子帧”。
在该实例中,各像素的电信号的上述值不会无变化地用作光电随机数,而是如图中右侧所示,各像素的电信号的值的至少一部分被分配给与实际获得分配值的像素位置不同的像素位置,并且生成光电随机数。即,将各像素的电信号的值的像素位置混洗而生成光电随机数。此外,在该实例中,如上生成的光电随机数被用作针对拍摄图像数据的加密密钥(加密过滤器)。
如上所述,当将像素位置混洗以产生光电随机数时,与将通过将各像素的电信号的值分配给实际获得电信号的值的像素位置而获得的光电随机数不改变地使用的情况相比,这使得更难以对加密密钥解密,并因此使得可以增强安全性。
这里,可使用用于产生加密密钥的指定算法来调制各像素的电信号的值。例如,通过将每个像素的电信号的值乘以指定系数获得的值可以被分配给像素以获得光电随机数。可选地,当各像素的电信号的值包括小数位的值时,小数位的值可以被四舍五入到整数以获得光电随机数。
注意,像素位置不必如上被混洗以产生加密密钥,并且用于各像素的电信号的值可没有改变地用作加密密钥。
这里,由软件生成的伪随机数传统上经常用作用于加密的随机数。然而,使用计算数值的算法来生成伪随机数,并且不生成真随机数。由此,加密密钥可以被解密而被复制。
另一方面,上述光电随机数可以是真随机数,并且可以通过基于光电随机数生成加密密钥来使得更难以解密加密密钥。
[2-2.关于加密-目标信号]
以下是用于对通过阵列传感器12执行图像拍摄而获得的图像信号进行加密的常规方法。通常,从阵列传感器12读取的图像信号一度以明文的形式存储在存储器中,并且存储的图像信号被加密。
然而,采用这种加密方法使得能够进行黑客攻击,该黑客攻击包括使用例如恶意软件在加密时有意地引起错误、以转储文件的形式输出存储器的内容、以及复制存储在存储器中的明文。
因此,在本实施方式中,从阵列传感器12的像素读取的信号被加密,以防止图像信号以明文的形式存储在存储器中。
具体地,在该实例中,图2中示出的振幅控制电路19使用取决于图4中示出的加密密钥(加密过滤器)的系数对从阵列传感器12的像素读取的信号执行振幅控制,并且这实现了加密读取信号。
图5示出了由振幅控制电路19执行的读取信号的加密的概念。
如图所示,使用包括在振幅控制电路19中的放大器将从阵列传感器12中的每个像素读取的信号(在这种情况下,电荷信号)的值乘以取决于加密密钥的系数。在图2中所示的图像拍摄装置1中,如上所述,对每个像素的具有模拟信号形式的读取信号进行振幅控制,然后,图像数据通过缓冲器14和逻辑部15临时存储(记录)在存储器16中。
加密控制器85为上述放大器设置取决于加密密钥的系数,使得从阵列传感器12中的每个像素读取的信号被加密。
要注意的是,图5仅仅为概念图,并且在振幅控制电路19中,并非必须为每个像素设置放大器。例如,如使用电荷耦合器件(CCD)图像传感器的情况,当执行批量读出时,包括在振幅控制电路19中的一个放大器可由各个像素共享。注意,在这种情况下,通过时分来执行各像素的振幅控制。
作为加密读出信号的示例,以上说明了对模拟信号形式的读出信号进行加密的示例。然而,通过执行A/D转换而获得的数字信号形式的读取信号也可以被加密。
图6示出了当数字信号形式的读取信号被加密时图像拍摄装置1的配置的实例。
在这种情况下,在图像拍摄装置1中,图像拍摄传感器部10具有振幅控制电路19A来代替振幅控制电路19,振幅控制电路19A对由ADC/像素选择部13转换为数字信号的读取信号进行振幅控制。
要注意的是,在这种情况下,由加密控制器85执行的处理与由图2的加密控制器85执行的处理相似,区别在于,设置每个像素的取决于加密密钥的系数的目标是振幅控制电路19A而非振幅控制电路19。因此,不再重复进行描述。
在此,如果如上所述对模拟读出信号进行加密,则难以从外部欺骗性地取得模拟信号。这使得增强了安全性。
另外,在对模拟读出信号进行加密的情况下,存在对加密图像进行解密而得到的图像的再现性降低的情况。
然而,例如,当使用目标图像来分析诸如人的目标的特征、属性和行为时,如果利用图像的再现性程度充分地执行对目标的检测和分析,那么这是足够的。因此,似乎没有实际问题。
另一方面,当对数字读取信号进行加密时,提高了加密处理的精度。这使得能够改善图像的再现性。
注意,上述读取信号的加密是使用流加密的加密类型。流加密是用于加密每条指定数据(即,例如,每个比特或每个字节)的明文的加密。
在流加密中,加密目标信号不必具有相等的数据长度,并且因此不需要在目标信号被加密之前执行预处理。由此,采用流加密使得可以加速加密处理。
注意,在模拟读取信号被加密时加密的拍摄图像数据开始获得。从这个观点来看,在此假设,加密模拟信号包括在加密拍摄图像数据中。
[2-3.关于防篡改]
如图7所示,该实例的图像拍摄传感器部10的阵列传感器12、存储器16和计算部18的各个芯片被封装以获得防篡改硬件。换言之,各个芯片形成在单个半导体封装件中。
在图7的实例中,存储器16的芯片堆叠在计算部18的芯片上,并且此外,阵列传感器12的芯片堆叠在存储器16的芯片上。
在该实例中,例如,加密读取信号的加密部形成在阵列传感器12的芯片中。
此外,加密控制器85包括在计算部18的芯片中,该加密控制器85基于光电随机数生成加密密钥并且使上述加密部基于加密密钥执行加密。
在该实例中,通过执行用于连接由Cu(铜)制成的焊盘的Cu-Cu连接,电连接各个芯片。因此,如果拆开图像拍摄传感器部10,则电连接部断开。换言之,这使得获得防篡改硬件。
图8示出了图像拍摄传感器部10的结构的另一实例,其中该另一实例与图7的实例的不同之处在于,改变计算部18和存储器16之间的位置关系,使得计算部18被放置在存储器16上。
图9示出了图像拍摄传感器部10的结构的又一实例,其中,另一实例与图7的实例的不同之处在于,堆叠存储器16的多个芯片中的芯片(图的实例中的两层)。
注意,图像拍摄传感器部10可具有其中存储器16形成在与计算部18相同的层中的两层结构,或者可具有其中阵列传感器12、存储器16和计算部18形成在相同的层中的单层结构,但省略其图示。
图7至图9中所示的单个封装配置的采用使得可以采取诸如上述Cu-Cu连接的措施,该措施用于增加对由于拆分而从存储器16获取的欺诈信息的抵抗性,并且这使得获得抗篡改硬件。
[2-4.针对图像加密执行的处理过程]
接下来,参照图10的流程图,描述由计算部18执行以实现上述图像加密的处理过程。
注意,以下描述的处理的至少一部分也可以被提供作为由硬件执行的处理。
首先,假设该实例的计算部18在激活时开始在图10中示出的处理。
要注意的是,也可响应于检测到对图像拍摄传感器部10的未授权访问(例如,对存储器16的未授权访问),开始在图10中所示的处理。这导致响应于检测到未授权访问获取光电随机数(S101)并生成加密密钥(S105)。换句话说,响应于检测到未经授权的访问,重新获取光电随机数,并且基于重新获取的光电随机数重新产生加密密钥。这使得获得防篡改软件。
可替换地,图10中示出的处理可以基于其他条件开始,诸如响应于来自外部的指令(诸如响应于操作输入而给出的指令)而开始的处理,或者以规则的时间间隔开始处理。
在图10中,计算部18在步骤S101中执行拍摄静止图像的处理。执行拍摄静止图像的该处理以拍摄从中生成加密密钥的静止图像,并且计算部18对阵列传感器12执行控制,使得拍摄一帧的图像(读取每个像素的电荷)。
当执行步骤S101中的拍摄静止图像的处理时,这导致与种子帧对应的图像数据存储在存储器16中。
在步骤S101之后的步骤S102中,计算部18执行检查像素值的均一性的处理。检查均一性的处理是检查种子帧中的各像素的亮度值的均一性的处理。具体地,计算部18对亮度值为零的像素数或亮度值为饱和度值(最大值)的像素数进行计数。
注意,检查读取信号的值的均一性的处理也可以被执行作为检查均一性的处理。
在步骤S102之后的步骤S103中,计算部18确定均一性是否过大。具体地,计算部18确定在步骤S102中计数的像素数量是否等于或大于指定阈值(例如,对应于有效像素的30%至50%的值)。
当计算部18已经获得表明在步骤S102中计数的像素数量等于或大于阈值并且均一性过大的确定结果时,计算部18移动至步骤S104以执行删除种子帧的处理,即,删除对应于种子帧并且存储在例如存储器16中的图像数据的处理,然后计算部18返回至步骤S101。
这使得当种子帧的像素值的随机性程度低时能够再次拍摄种子帧。换句话说,当光电随机数的随机性程度低时,可以再次获取光电随机数。
这使得能够防止使用基于随机性程度低的随机数的加密密钥来执行加密,并且因此增强安全性。
另一方面,在步骤S103中,当计算部18已经获得表明所计数的像素数量小于阈值并且均一性不过大的确定结果时,计算部18移动至步骤S105以生成加密密钥。具体而言,在该实例中,基于种子帧中的各像素的亮度值,生成表示要针对包括在振幅控制电路19(或19A)中的各放大器设置的系数的加密密钥。
在该实例中,在步骤S105的处理中,不是基于通过将各个像素的亮度值分配给实际获得亮度值的像素位置而不改变所获得的光电随机数来生成加密密钥。加密密钥基于通过将各个像素的亮度值的至少一部分分配给与实际获得所分配的亮度值的像素位置不同的像素位置而获得的光电随机数来生成。
这使得更难以对加密密钥解密,并因此使得可以增强安全性。
在步骤S105之后的步骤S106中,计算部18执行删除种子帧的处理即,删除通过步骤101中的图像拍摄处理而存储在例如存储器16中的与种子帧对应的图像数据的处理。
在进行删除种子帧的处理时,能够防止用于产生光电随机数的图像泄漏,并且能够防止估计光电随机数。
应注意,例如,当计算部18具有很大的处理能力或者种子帧的图像尺寸小时,种子帧不一定必须存储在存储器16中。在这种情况下,例如,计算部18(加密控制器85)从振幅控制电路19(或19A)接收光电随机数,并且执行步骤S102和S103的处理以在步骤S105中生成加密密钥。在这种情况下,不需要步骤S106的删除处理(当然,也不需要步骤S104的删除处理)。
随后,在步骤S107中,计算部18删除现有密钥(如果有的话)。例如,当以规则的时间间隔开始在图10中示出的处理时,通过在过去执行的步骤S108的处理,将加密密钥存储在存储器16中。如上所述,步骤S107的处理对应于如果现有加密密钥被存储在存储器16中删除现有加密密钥的处理。
当执行这种删除现有密钥的处理时,这使得可以防止过去用于加密的加密密钥泄漏,并且防止过去加密的信号被欺骗性地解密。
随后,在步骤S108中,计算部18执行存储加密密钥的处理。换言之,执行在存储器16中存储在步骤S105中生成的加密密钥的处理。
响应于执行步骤S108的存储处理,计算部18终止在图10中示出的一系列处理。
在图像拍摄装置1中,使用在步骤S108中存储的加密密钥对通过阵列传感器12执行图像拍摄而获得的图像数据(拍摄图像数据)进行加密。具体地,在图10中所示的处理结束之后,计算部18(加密控制器85)基于存储的加密密钥为包括在振幅控制电路19(或19A)中的各个放大器设置各像素的系数,使得通过阵列传感器12执行图像拍摄而获得的图像信号基于存储的加密密钥被加密。
在该实例中,阵列传感器12拍摄运动图像,并且振幅控制电路19(或19A)加密包括在运动图像中的各个帧图像。
在该实例中,如上所述被加密的作为运动图像的拍摄图像数据在控制器23的控制下被存储在存储部24中。控制器23可以通过通信部25将存储在存储部24中的拍摄图像数据发送到雾服务器2,如上所述。
如将从以上描述理解的,在该实例中,基于在与加密目标图像数据的帧周期不同的帧周期期间获得的光电随机数对图像数据进行加密。
这使得更难以从加密图像中估计加密密钥,并且因此使得可以增强安全性。
注意,图像数据还可以基于在与加密目标图像数据相同的帧周期期间获得的光电随机数来加密。
[2-5.每个级别的加密]
在此实例的图像拍摄装置1中,对图像数据中的指定目标区域进行加密。具体地,图像的整体和目标区域分别使用不同的加密密钥加密,并且在目标区域中,特定部分的区域和除了特定部分的区域之外的区域分别使用不同的加密密钥加密。这导致信息的机密性级别根据图像的接收者持有的解密密钥逐渐地改变(每个级别的加密)。
图11和图12是用于描述每个级别的加密的概念的示图。
图11示出了当目标类别是人时每个级别的加密的概念。
图11的A示出了加密之前的图像。在这种情况下,目标区域AT是图像中的人出现的部分的整个区域。此外,在这种情况下,作为特定部分的区域的特定区域AS是人的面部区域。
图11的B示出了仅特定区域AS被加密的图像,图11的C示出了仅包括特定区域AS的目标区域AT被加密的图像,并且图11的D示出了图像中的整个区域被加密的图像。
图12示出了当目标类别是车辆时每个级别的加密的概念,并且图12的A示出了加密之前的图像。
在这种情况下,目标区域AT是图像中车辆出现的部分的整个区域,并且特定区域AS是车辆的乘员和牌照的区域。
图12的B示出了仅对特定区域AS进行加密的图像,图12的C示出了仅对包括特定区域AS的目标区域AT进行加密的图像,并且图12的D示出了对图像中的整个区域进行加密的图像。
在图11和图12的实例中,生成至少三种类型的加密密钥,这三种类型的加密密钥是对应于图像中整个区域的加密的第一加密密钥、仅对应于目标区域AT的加密的第二加密密钥以及仅对应于特定区域AS的加密的第三加密密钥。
图13是用于描述逐阶段执行加密的具体方法的实例的示图。
在该实例中,不对目标图像分别执行基于第一、第二和第三加密密钥的加密,而是基于通过组合这些加密密钥而获得的组合密钥对目标图像进行加密。
首先,准备用于对特定区域AT进行加密的第三加密密钥、用于对目标区域AT的整体进行加密的第二加密密钥以及用于对图像中的整个区域进行加密的第一加密密钥。为了生成这三种类型的加密密钥,可以获得三种类型的光电随机数组(即,拍摄三种类型的种子帧的图像)。在此实例中,从共享的一组光电随机数产生三种类型的加密密钥,以便减少产生加密密钥所需的时间。具体地,在该实例中,当生成三种类型的加密密钥时,首先生成三种类型的随机数组(下文中分别称为第一随机数组、第二随机数组和第三随机数组),其中共享光电随机数中的各个像素的值的排列从三种类型的随机数组中的每一种的值的原始排列改变。
然后,生成通过从第三随机数组的值中提取特定区域AS的各个像素的值而获得的加密密钥作为第三加密密钥。
此外,生成通过从第二随机数组的值中提取目标区域AT的各个像素的值而获得的加密密钥作为第二加密密钥。
此外,通过没有改变地应用第一随机数组获得的加密密钥被生成作为第一加密密钥。
然后,如图所示,通过组合第一加密密钥、第二加密密钥和第三加密密钥获得的加密密钥被生成作为组合密钥。
此外,基于组合密钥对目标图像进行加密。
上述逐步加密使得可以根据图像的接收者(接收装置3)保持的解密密钥改变信息的机密性级别。
图14是用于描述机密性级别改变的实例的示图。
这里,从级别0到级别3的四个级别被定义为关于持有密钥的级别。如图所示,级别0是指没有密钥的状态,级别1是指仅持有第一加密密钥的状态,级别2是指持有通过组合第一加密密钥和第二加密密钥获得的组合密钥的状态,级别3是指持有通过组合第一加密密钥、第二加密密钥和第三加密密钥获得的组合密钥的状态。
在级别0,加密的图像不被图像的接收者解密,并且这导致获得其中整个区域被加密的图像。
在级别1,图像的接收者可以使用第一加密密钥来解密除目标区域AT之外的区域的一部分,并且这导致获得仅目标区域AT被加密的图像。
在级别2,图像的接收者可以使用通过组合第一加密密钥和第二加密密钥获得的组合密钥对特定区域AS以外的区域的一部分解密,并且这导致获得仅加密了目标中的特定区域AS的图像。
在级别3,图像的接收者可以使用通过组合第一加密密钥、第二加密密钥和第三加密密钥而获得的组合密钥来解密图像中的整个区域,并且这导致获得其中没有信息被保密的图像。
注意,在该实例中,加密目标图像是运动图像。由此,图像中出现的目标对象的位置可随时间在图像中改变。由此,当如上对目标区域AT进行加密时,需要跟踪目标。
参考图15描述用于执行每个级别的加密的具体方法的实例,该方法包括跟踪目标。
要注意的是,在图15中,假设目标的类别是“人”。此外,为了便于描述,图15示出了在加密时仅区分图像中的目标区域AT和除目标区域AT以外的区域,而不区分目标区域AT中的特定区域AC与除特定区域AC以外的区域的实例。
首先,图15的A示出了帧F1,在该帧中,对应于目标类别的人还未在帧内。要注意的是,在此处,图15的A示出了在图像内识别出作为“树”但不是目标类别的对象的实例。
这里,图像的整个区域被加密,而不管是否存在目标。换言之,在该实例中,基于与图像的整个区域对应的第一加密密钥,通过振幅控制电路19(或19A)对每个帧F的图像进行加密,然后将加密的图像存储在存储器16中。在图15的每个图中示出的白色密钥标记表示作为输出图像的图像的整个区域被加密的状态。
为了跟踪目标,计算部18检测图像中的对象的区域并且对对象执行类别识别(由上述对象区域识别部82执行的处理和由上述类别识别部83执行的处理)。为了执行这些处理,计算部18如上对加密并存储的帧图像进行解密。换言之,计算部18在解密基于第一加密密钥加密的帧图像的同时执行用于跟踪目标的处理。
计算部18使用即时方法执行解密。这使得可以减小当追踪目标时呈明文形式的图像信号将泄漏的可能性,并且因此增强安全性。
图15的B示出了帧F2,在该帧中,对应于目标类别的“人”在帧内。在这种状态中,对应于目标类别的“人”与所识别的“树”一起被识别。
当识别对应于目标类别的对象时,如上所述,计算部18(对象区域识别部82)计算边界框40,边界框40具有精确的位置坐标并包围对象的区域。
例如,图15的C示出了作为目标类别的人的图像的边界框40的示例。换言之,边界框40被计算为与目标类别相对应的对象的更准确的区域。
此外,基于边界框40,计算部18(对象区域识别部82)计算作为感兴趣区域的ROI41。
图15的D示出了ROI 41和边界框40。例如,通过将边界框40的长度和宽度大小(x×y)放大(ax×by)来计算ROI 41。用于放大的比例因子a和b可以针对长度和宽度单独地设置。放大比率可以是固定的,或者可以从图像拍摄传感器部10(诸如图像处理器21)的外部指定。
在该实例中,ROI 41被用作目标区域AT,并且使用与用于图像的整个区域的加密密钥不同的加密密钥来执行加密。
这里,帧F2是在图像中新识别出目标类别的帧,并且还可以被称为目标类别发现帧。
在该实例中,采用用于对从像素读取的信号进行加密的方法。因此,难以基于关于目标类别发现帧的第二加密密钥对ROI 41进行加密。目标类发现帧仅基于第一加密密钥被加密,并且被存储在存储器16中。如上,当没有改变地输出仅基于第一加密密钥加密的目标类别发现帧时,向仅持有第一加密密钥的接收者公开ROI 41的图像区域而没有机密。
因此,在该实例中,从存储器16中删除目标类别发现帧,从而实现取决于图像的接收者持有的解密密钥的信息的适当机密性级别。
图15的E示出了作为紧挨帧F2的帧的帧F3。
在与目标类别发现帧相邻的帧F中和之后,基于第二加密密钥对ROI41进行加密。这里,ROI 41是在与目标类别发现帧相对应的帧F2中计算的ROI 41。
当与目标类别对应的“人”移动时,与帧F2相比,帧F3中的人在移动方向上进一步移位。然而,通过将大于边界框40的范围设置为ROI 41,对应于目标类别的人在帧F3中的ROI 41内。换言之,与目标类别对应的人在基于第二加密密钥进行加密的范围内。
在帧F3之中和之后,相对于目标类别类似地计算边界框40和ROI41,使得跟踪目标类别(参照图15的F)。
此外,在帧F4中和帧F4之后,如在帧F3的情况下,基于第二加密密钥对针对最近的帧F计算的ROI 41进行加密(参考图15的G)。
图15的H示出了在对应于目标类别的‘人’移出帧之后的帧Fn。当目标类别在帧之外时,不计算ROI 41。因此,仅基于第一加密密钥对帧Fn的图像进行加密。
注意,上面已经描述了将通过放大边界框40而获得的矩形区域设置为ROI 41的实例。然而,ROI 41不限于矩形区域。
例如,可以使用语义分割(即,每个像素的对象区域检测)根据目标类别对象的区域计算ROI 41。
图16示出了基于语义分割的ROI 41。这是对应于对象(诸如人)的像素区域被扩展以设置为非矩形ROI 41的实例。
例如,当目标类别对象是例如具有突起的卡车或骑自行车的人时,存在目标类别对象的一部分将不在矩形ROI 41内或将过大的可能性。当根据每个像素的对象位置生成非矩形ROI 41时,这使得可以适当地设置与目标有关的机密区域,而不会过度或不足。
[2-6.针对每个级别的加密所执行的处理的过程]
参照图17和图18的流程图描述根据第二实施方式的由计算部18执行以实现上述图像加密的处理过程。
图17示出了与从拍摄种子帧到存储从中生成加密密钥的随机数的步骤对应的处理。要注意的是,在图17中,与参考图10描述的处理相似的处理由与在图10中使用的步骤号相似的步骤号表示,并且省略其描述。
如在图10的处理的情况下,在激活时可以开始图17的处理。可替换地,图17的处理还可以基于其他条件开始,诸如响应于检测到对图像拍摄传感器部10的未授权访问而开始处理,或者以规则的时间间隔开始处理。
要注意的是,参照图17和图18描述的至少一部分处理还可设置为由硬件执行的处理。
在图17中,当在步骤S103中计算部18在这种情况下已经确定均一性过高时,计算部18移动至步骤S151以针对每个级别生成随机数。这里,在目标区域AT中不区分特定区域AS。由此,产生两种类型的随机数组(即上文所描述的第一随机数组和第二随机数组)作为随机数。
注意,以上已经描述了用于基于种子帧的光电随机数来生成各种类型的随机数组的方法。因此,不再重复进行描述。
响应于在步骤S151中执行生成随机数的处理,计算部18在步骤S106中执行删除种子帧的处理。
然后,响应于在步骤S106中执行删除处理,计算部18在步骤S152中执行删除现有随机数(如果有的话)的处理。换言之,当存在在过去执行的步骤S153的处理中存储在存储器16中的用于每个级别的随机数(第一随机数组和第二随机数组)时,删除处理是删除这些随机数的处理。
在步骤S152之后的步骤S153中,计算部18执行在存储器16中存储在步骤S151中生成的每个级别的随机数的处理,并且终止在图17中示出的一系列处理。
图18示出了基于生成的加密密钥加密目标图像的处理。
首先,在步骤S401中,计算部18等待开始拍摄加密目标图像。当开始图像拍摄时,在步骤S402中,计算部18使用第一加密密钥进行加密的处理。换言之,计算部18基于第一加密密钥向振幅控制电路19(或19A)指示用于各像素的系数,使得振幅控制电路19(或19A)对从阵列传感器12读取的信号进行加密。如将从以上描述理解的,在该实例中,第一加密密钥是通过不改变地应用第一随机数组而获得的加密密钥。
在步骤S402之后的步骤S403中,计算部18执行对象区域识别处理。随后,在步骤S404中,计算部18进一步执行类别识别处理。步骤S403中的对象区域识别处理是由对象区域识别部82进行的上述处理,并且是包括从当前帧的图像检测候选对象并识别候选对象的区域的处理。此外,步骤S404中的类别识别处理是由类别识别部83进行的上述处理,并且对由所进行的上述对象区域识别处理所检测到的对象进行类别识别。当检测到多个对象或多个类型的对象时,针对每个对象执行类别识别,并且将各个对象分组成类别。例如,在上述图15的B的情况下,如以下所示,执行类别识别和分类:类别为“树”的一个对象,以及类别为“人”的一个对象。
应注意,计算部18在使用即时方法对步骤S402中或者稍后描述的步骤S413中加密的帧图像进行解密的同时执行步骤S403和S404的处理。
在步骤S404之后的步骤S405中,计算部18确定是否存在目标类别。换言之,计算部18确定在步骤S404中识别的类别中是否存在目标类别。
当不存在目标类别时,计算部18在步骤S406中等待下一帧(等待下一帧周期的开始),然后返回步骤S402。换句话说,对于每一帧重复步骤S402中对图像的整个区域进行加密的处理、步骤S403中的对象区域识别处理和步骤S404中的类别识别处理,直到检测到目标类别。
当计算部18在步骤S405中已经确定存在目标类别时,计算部18前进到步骤S407以计算边界框40。随后,在步骤S408中,计算部18计算ROI 41。
随后,在步骤S409中,计算部18通过组合第一加密密钥和仅将第二组随机数的值应用于ROI 41的第二加密密钥来生成组合密钥。
响应于在步骤S409中生成组合密钥,计算部18在步骤S410中确定当前帧是否是目标类别发现帧。在当前帧是目标类别发现帧时,在步骤S411中,计算部18执行删除目标类别发现帧的处理。这使得能够防止图像中的目标部分未被保持机密,尽管密钥持有的级别是相对于目标类别发现帧的级别1。
当计算部18在步骤S410中已经确定当前帧不是目标类别发现帧时,计算部18跳过步骤S411中的删除处理,并且在步骤S412中进行等待下一帧的处理。此外,当计算部18在步骤S411中执行删除处理时,计算部18在步骤S412中也执行等待下一帧的处理。
响应于在步骤S412中执行等待处理,在步骤S413中,计算部18使用针对最近帧生成的组合密钥执行加密处理。换言之,计算部18基于组合密钥向振幅控制电路19(或19A)指示用于各像素的系数,使得振幅控制电路19(或19A)加密从阵列传感器12读取的信号。
在步骤S413之后的步骤S414中,计算部18确定是否终止图像拍摄,即,是否由于例如从外部提供的终止图像拍摄的指令而终止加密目标图像的拍摄。
当计算部18已经确定图像拍摄没有终止时,计算部18返回至步骤S403。因而,重复上述处理,直到图像拍摄终止。换言之,当仍存在目标类别时,计算用于目标类别的ROI 41,基于所计算的ROI 41生成组合密钥,并且基于为最近帧生成的组合密钥执行加密处理。当不再存在目标类时,不执行使用组合密钥的加密的处理,并且执行使用第一加密密钥的加密的处理。
当计算部18已经确定图像拍摄将终止时,计算部18终止在图18中示出的一系列处理。
注意,在该实例中,将通过扩展边界框40而获得的区域设置为ROI 41,使得在下一帧中目标被摄体能够在ROI 41内。然而,当长度和宽度尺寸(x×y)被放大(ax×by)时用于放大的放大比例a和b可以对应于帧率。
例如,当帧率低时,与帧间隔对应的时间段变长,并且对象(诸如人)的移动量变大。由此,与帧率更高时相比,可以使ROI 41更大。
注意,当对目标区域AT进行加密时,在将特定部分的区域与除了特定部分的区域之外的区域区分开的情况下,使用与上述方法相似的方法来针对特定部分计算边界框40和ROI 41,并且生成其中将第三随机数组的值应用于所计算的ROI 41的第三加密密钥。然后,如果通过组合第一加密密钥、第二加密密钥和第三加密密钥获得的组合密钥被生成以用于对下一帧的图像进行加密,那么这是足够的。
<3.与特征信息(正常模式)有关的处理》
如上所述,在本实施例的图像拍摄装置1中,关于拍摄图像中的被摄体的特征信息可由特征检测器85检测。具体地,该实例的特征检测器85可以检测指示上述类别中的目标类别的对象(被摄体)的特征的特征信息。
例如,当通过由阵列传感器12执行图像拍摄而获得的图像是店内监控图像时,并且当人(顾客)被设置为目标类别时,这使得用户能够基于关于人的上述特征信息来掌握顾客的属性(诸如顾客的性别、年龄和高度)或掌握顾客的移动(诸如顾客在店铺中的移动路线(顾客的流线)以及顾客的姿势的变化)。
此外,当通过由阵列传感器12执行图像拍摄而获得的图像是用于监控正在道路上行驶的车辆的图像时,并且当车辆被设定为目标类别时,这使得用户能够掌握车辆的属性,诸如车辆的型号和颜色、乘客的数量和乘客的性别;道路上的流线;以及关于运动的信息,诸如车辆速度。
作为关于特征信息的操作模式,该实例的信息处理系统100具有正常模式,在正常模式中,每个图像拍摄装置1将拍摄的图像和特征信息发送给云服务器3,同时连续执行图像拍摄操作并检测被摄体的特征。
图19是用于描述正常模式的示图。
在正常模式中,由执行图10、图17和图18中示出的过程的每个图像拍摄装置1获得的加密拍摄图像(在图中称为‘加密图像’),以及关于由特征检测器85检测的被摄体的特征信息通过雾服务器2和网络Nt从图像拍摄装置1上传到云服务器3。
云服务器3将如上上传的拍摄图像和特征信息存储在例如存储器38(参考图3)中。
用户终端4请求云服务器3将拍摄图像和特征信息发送至用户终端4,并且执行使用户观看从云服务器3接收的拍摄图像和特征信息的处理。在用户终端4上安装有能够查看存储在云服务器3中的拍摄图像和特征信息的应用(应用程序),并且这使得用户能够使用该应用查看拍摄图像和特征信息。在该实例中,加密的拍摄图像存储在云服务器3中。由此,将加密的拍摄图像解密的功能提供给应用。例如,如上所述,当仅基于第一加密密钥对拍摄图像进行加密时(即,当通过图10中示出的处理进行加密时),对应于第一加密密钥的解密密钥存储在用户终端4中,并且应用使用解密密钥对加密拍摄图像进行解密。可替换地,如上所述,当针对每个级别加密拍摄图像时,取决于用户密钥持有的级别的解密密钥存储在用户终端4中,并且应用程序使用解密密钥对加密的拍摄图像解密。
图20和图21是用于描述在正常模式下由图像拍摄装置1执行的处理的流程图。图20示出了与特征信息的记录有关的处理,并且图21示出了与特征信息和拍摄图像的传输有关的处理。
通过计算部18执行图20的处理,并且通过控制器23进行图21的处理。
在图20中,在步骤S501中,计算部18确定是否已经指定目标类别。换言之,计算部18确定是否已经指定诸如人或者车辆的上述目标类别。当没有指定目标类别时,计算部18在步骤S502中使用默认类别(诸如“人”)作为目标类别执行处理,并且移至步骤S503。另一方面,当指定了目标类别时,计算部18跳过步骤S502的处理,并且移到步骤S503。
在步骤S503中,计算部18等待直到在图像中检测到目标类别为止。换言之,通过由对象区域识别部82进行的上述处理来进行包括检测当前帧的图像中的候选对象和识别对象的区域的处理,并且通过由类别识别部83进行的上述处理,针对检测到的对象进行类别识别。然后,连续地确定目标类别是否包括在所识别的类别中,直到获得表明包括该目标类别的确定结果。
当在步骤S503中已经获得表明已经检测到目标类别的确定结果时,计算部18在步骤S504中执行检测关于目标类别的特征信息的处理。换言之,关于作为目标类别的被摄体的特征信息通过由特征检测器85进行的上述处理来检测。
在此,检测目标类别的ID与检测特征信息相关联。在该实例中,每当在图像中检测到新的目标类别时,计算部18将ID(以下称为“被摄体ID”)分配给所检测的目标类别。然后,响应于在步骤S504中检测到特征信息,计算部18将检测目标类别的被摄体ID与检测到的特征信息相关联。
在步骤S504之后的步骤S505中,作为记录特征信息的处理,计算部18进行将在步骤S504中检测到的特征信息(与被摄体ID相关联)记录(存储)在存储器16中的处理。
注意,期望在记录特征信息时,将用于管理与拍摄图像的同步的时间戳等信息附加到特征信息,使得特征信息与拍摄图像的数据时间同步。
在步骤S505之后的步骤S506中,计算部18确定目标类别是否已从图像消失。当目标类别没有从图像消失时,计算部18返回步骤S504。结果,只要在图像中连续检测到目标类别,就重复检测关于目标类别的特征信息以及将特征信息记录在存储器中。在此,不需要对与被摄体的上述属性(例如身高、性别、车辆的颜色、诸如标准车辆或大型车辆的车辆类型)有关的特征信息重复进行检测和记录。另一方面,重复的检测和记录对于关于被摄体的移动的特征信息(诸如关于被摄体的位置的信息)是有效的。
在步骤S506中,当计算部18已经确定目标类别已经从图像中消失时,计算部18终止图20中所示的一系列处理。
随后,描述图21的处理。
首先,控制器23在步骤S510中确定向服务器(云服务器3)发送特征信息的设置是否开启。当发送设置开启时,控制器23移动到步骤S511,并执行将记录的未发送的特征信息发送到服务器的处理。这里,特征信息的发送目的地可以是雾服务器2。在这种情况下,响应于从图像拍摄装置1接收特征信息,雾服务器2将所接收的特征信息发送到云服务器3。可选地,特征信息的发送目的地可以是云服务器3。在这种情况下,雾服务器2基于关于发送目的地的信息向云服务器3发送从图像拍摄装置1接收的特征信息。
在步骤S511之后的步骤S512中,控制器23进行从存储器16中删除所发送的特征信息的处理,并且移动到步骤S513。
另一方面,当控制器23在步骤S510中已经确定发送特征信息的设置没有开启时,控制器23跳过步骤S511和S512的处理,并且前进到步骤S513。
在步骤S513中,控制器23确定向服务器发送记录数据的设置是否开启。换言之,控制器23确定向云服务器3发送记录在存储器16中的加密的拍摄图像的设置是否开启。
当发送记录数据的设置为开启时,控制器23移动到步骤S514,并且执行将未发送的特征信息发送到服务器的处理。这里采用与上述步骤S511中发送特征信息的方法类似的发送方法。结果,记录在存储器16中的加密拍摄图像的未发送数据被发送到云服务器3。
随后,在步骤S515中,控制器23进行从存储器16中删除传输的记录数据的处理,并且终止图21中所示的一系列处理。
此外,控制器23已经在步骤S513中确定发送记录数据的设置未开启,控制器23跳过步骤S514和S515的处理,并终止图21中所示的一系列处理。
通过执行正常模式下的上述处理从图像拍摄装置1发送的拍摄图像和特征信息存储在云服务器3中。用户可以通过使用用户终端4访问云服务器3来观看如上存储的拍摄图像和特征信息。这里,用户终端4的软件使得不仅可以查看特征信息本身,而且可以查看诸如满足特定特征条件的人数和人的比率的统计数据;以及从中看到流动线的图像等。
应注意,上面已经描述了加密的拍摄图像和特征信息的存储目的地是云服务器3的实例。然而,存储目的地可以是雾服务器2。或者,存储目的地可以是雾服务器2和云服务器3两者。
此外,发送的加密拍摄图像和发送的特征信息不一定必须从图像拍摄装置1中的存储器中删除。
<4.与特征信息(目标搜索模式)相关的处理>
[4-1.第一实例]
作为关于特征信息的操作模式,本实施例的信息处理系统100具有作为除上述正常模式之外的模式的目标搜索模式。目标搜索模式是基于通过图像拍摄装置1拍摄的图像确定是否存在目标被摄体的模式。换言之,目标搜索模式是在图像拍摄视场中搜索目标被摄体的模式。
存在目标搜索模式的多种应用。目标搜索模式可以应用于在图像拍摄目标位置中找到的人,这是目标搜索模式的应用的典型实例。例如,当在某商店中发生入店行窃时,可以通过应用目标搜索模式以搜索行窃者来提供以下功能。当行窃者再次进入商店并且拍摄到行窃者的图像时,向用户通知此事。
可替代地,通过应用目标搜索模式以在交通监测系统中搜索特定车辆(这是目标搜索模式的另一应用),可以提供以下功能。即,当拍摄到特定车辆的图像时,向用户通知该情况。
这里,在本实施例中,每个图像拍摄装置1包括特征检测器85。换言之,每个图像拍摄装置1包括将与在拍摄图像中检测到的被摄体有关的特征信息检测为目标类别的功能。从这个观点来看,在本实施例中采用了包括基于各图像拍摄装置1检测到的特征信息来确定是否存在搜索目标被摄体的方法。具体地,基于将作为由特征检测器85检测的特征信息的“检测特征信息”与作为关于搜索目标被摄体的特征信息的“目标特征信息”进行比较的结果,确定是否存在搜索目标被摄体。
应注意,“搜索目标被摄体”在下文中可被称为“目标被摄体”。
此外,在本实施方式中,确定部86基于“检测的特征信息”确定是否存在目标被摄体,并且将“目标特征信息”提供给每个图像拍摄装置1(参照图2)。换言之,在本实施方式中,每个图像拍摄装置1基于指定的“目标特征信息”执行处理,直到确定是否存在目标被摄体。
图22是用于描述如上所述将确定部86设置到每个图像拍摄装置1的第一实例的信息处理系统100在目标搜索模式下执行的操作的示图。
如图所示,每个图像拍摄装置1包括特征检测器85、确定部86和第一通知处理部51。另外,云服务器3具有目标特征信息发送部50和第二通知处理部52。
注意,在图22中,各图像拍摄装置1和云服务器3实际上通过雾服务器2和网络Nt彼此通信,云服务器3和用户终端4实际上通过网络Nt彼此通信。这里,为了便于说明,省略了雾服务器2和网络Nt的说明。
云服务器3中的目标特征信息发送部50是云服务器3中的CPU 31的功能之一,并且向各图像拍摄装置1发送目标特征信息。这里,目标特征信息是基于用户对用户终端4执行的操作而设置的。
例如,在用于搜索行窃者的上述应用的情况下,用户可以在观看在出现进店行窃的估计时间附近拍摄的图像的同时指定行窃者。在这种情况下,用户终端4在用户观看拍摄图像时从用户接收指定行窃者的被摄体的操作(诸如在屏幕上执行的触摸操作),并且向云服务器3指示由正在执行的指定操作所指定的被摄体的ID(被摄体ID)。云服务器3(CPU 31)使用目标特征信息发送部50将与指示的被摄体ID相关联的特征信息作为目标特征信息发送至各图像拍摄装置1。
这里,每个与被摄体ID相关联的所有特征信息可以是目标特征信息,或者仅一部分特征信息可以是目标特征信息。此外,用户可以选择用作“目标特征信息”的特征信息。
注意,如上所述,目标特征信息不限于基于指定被摄体的操作来设置,并且可以基于由用户进行的指定特征信息的操作来设置。例如,关于诸如车辆的数量的特征信息,可以接收输入数量的操作作为输入目标特征信息的操作。
基于“检测特征信息”和“目标特征信息”,每个图像拍摄装置1的确定部86确定在拍摄的图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
这里,当使用诸如性别、年龄和衣服的颜色等多种类型的特征信息作为目标特征信息时,多条特征信息匹配的状态是指针对所有的多种类型的特征信息,多条特征信息匹配的状态。
另外,在使用多种类型的特征信息作为目标特征信息的情况下,多条特征信息彼此相似的状态包括:针对多种类型的特征信息中的特定数量类型的特征信息,多条特征信息匹配的状态,特定数量为指定数量或大于指定数量的数量(针对多种类型的特征信息中的全部,多条特征信息匹配的状态除外);针对多种类型的特征信息中的全部,特征信息的相似度为特定程度或大于特定程度的状态;针对特定数量类型的特征信息,特征信息的相似度为特定程度或大于特定程度的状态,特定数量是指定数量或大于指定数量的数量。
如上所述,由确定部86执行的确定处理是确定“检测特征信息”和“目标特征信息”是否匹配,或基于相似度的确定。
第一通知处理部51响应于确定部86所获得的表示存在目标被摄体的确定结果,将通知信号发送至云服务器3。由第一通知处理部51执行的该处理由控制器23基于确定部86获得的确定结果进行。
云服务器3中的第二通知处理部52响应于接收到由第一通知处理部51发送的通知信号(即,响应于接收到指示表明存在目标被摄体的确定结果的信号)而向用户终端4发送通知信号。由第二通知处理部52进行的该处理由云服务器3内的CPU 31进行。
响应于从第二通知处理部分52接收到通信信号,用户终端4进行向用户给出通知的处理。因而,向用户通知搜索目标被摄体的出现。
图23是示出由第一实例的信息处理系统100在目标搜索模式下执行的处理的具体过程的实例的流程图。要注意的是,在图23中,由用户终端4执行的处理和由云服务器3执行的处理分别由用户终端4的CPU 31和云服务器3的CPU 31执行。此外,由控制器23执行由图像拍摄装置1执行的处理。
在图23中,首先,在步骤S701中用户终端4接收搜索目标的指定。例如,用户终端4接收使用例如在屏幕上执行的触摸操作来指定被摄体的操作,如上所述。
随后,在步骤S702中,用户终端4向服务器发送搜索目标的被摄体ID作为目标ID。换言之,用户终端4进行向云服务器3发送由正在执行的步骤S701中接收的指定操作所指定的被摄体的被摄体ID作为目标ID的处理。
在步骤S601中,云服务器3等待从用户终端4接收目标ID。当已经接收到目标ID时,在步骤S602中,云服务器3进行将与目标ID相对应的特征信息作为目标特征信息发送至各图像拍摄装置1的处理。
在步骤S520中,图像拍摄装置1(控制器23)等待从云服务器3接收目标特征信息。当已经接收到目标特征信息时,在步骤S521中,图像拍摄装置1执行向确定部86指示目标特征信息的处理。
如上所述,已经被指示了目标特征信息的确定部86基于由特征检测器85检测的检测特征信息和目标特征信息进行确定是否存在目标被摄体的处理。
响应于在步骤S521中执行指示目标特征信息的处理,图像拍摄装置1在步骤S522中等待,直到获得表明存在目标被摄体的确定结果。当确定部86已经获得表明存在目标被摄体的确定结果时,图像拍摄装置1移动至步骤S523以将发现通知发送至服务器(云服务器3),并且终止图23中示出的一系列处理。
在上述步骤S602之后的步骤S603中,云服务器3等待接收在步骤S523中发送的发现通知。当已经接收到发现通知时,云服务器3在步骤S604中执行将发现通知传输到用户终端4的处理,并且终止在图23中示出的一系列处理。
在上述步骤S702之后的步骤S703中,用户终端4等待从云服务器3接收发现通知。当已经接收到发现通知时,用户终端4在步骤S704中执行将通知提供给用户的处理,并且终止在图23中示出的一系列处理。
这里,步骤S704中的通知处理可以是,例如,由输出部37执行的使用显示器输出用于提供通知的图像信息的处理或使用扬声器输出通知声音的处理。
[4-2.第二实例]
图24是用于描述在目标搜索模式下的第二实例的信息处理系统100的功能配置以及通过第二实例的信息处理系统100在目标搜索模式下执行的操作的示图。注意,在以下描述中,与已经描述的部分相似的部分由与已经描述的部分的参考标号或步骤号相似的参考标号或步骤号表示,并且省略其描述。
在第二示例中,确定部86被提供给雾服务器2。换言之,雾服务器2基于从每个图像拍摄装置1发送的检测的特征信息确定是否存在目标被摄体。
由此,第二实例的每个图像拍摄装置1包括特征检测器85和特征信息发送部53,该特征信息发送部向雾服务器2发送由特征检测器85检测到的特征信息。
此外,在这种情况下,云服务器3中的目标特征信息发送部50将目标特征信息传输至雾服务器2。
图25为示出由第二实例的信息处理系统100在目标搜索模式下执行的处理的具体过程的实例的流程图。应注意,在图25中,由雾服务器2执行的处理由雾服务器2的CPU 31执行。
由用户终端4执行的处理与由用户终端4执行并在图23中示出的处理相似。因此,不再重复进行描述。
在这种情况下,响应于在步骤S601中从用户终端4接收到目标ID,云服务器3在步骤S610中执行将与目标ID相对应的特征信息作为目标特征信息发送至雾服务器2的处理。
在步骤S801中,雾服务器2等待从云服务器3接收目标特征信息。当已经接收到目标特征信息时,首先,在步骤S802中,雾服务器2向每个图像拍摄装置1通知开始搜索。
在步骤S530中,图像拍摄装置1等待接收搜索开始的通知。当已经接收到搜索开始的通知时,在步骤S531,图像拍摄装置1开始将特征信息发送到雾服务器2。换言之,图像拍摄装置1开始执行将由特征检测器85检测到的特征信息传输至雾服务器2的处理。
在步骤S802之后的步骤S803中,雾服务器2开始执行以下处理:基于从每个图像拍摄装置1发送的特征信息(检测到的特征信息)以及基于在步骤S801中接收的目标特征信息,确定是否存在目标被摄体。换言之,雾服务器2开始执行确定是否存在目标被摄体的处理。
在步骤S803之后的步骤S804中,雾服务器2等待直到获得示出存在目标被摄体的确定结果为止。当已经获得示出存在目标被摄体的确定结果时,在步骤S805中雾服务器2向服务器(云服务器3)提供发现通知。随后,在步骤S806中,雾服务器2终止在上述步骤S803中开始的确定处理,在步骤S807中向每个图像拍摄装置1给出终止搜索的通知,并且终止图25所示的一系列处理。
当图像拍摄装置1已经接收到在步骤S807中给出的搜索终止的通知时,图像拍摄装置1终止向雾服务器2发送特征信息,并且终止图25所示的一系列处理(参照步骤S532和S533)。
在上述步骤S610之后的步骤S603中,云服务器3等待接收在步骤S805中发送的发现通知。当已经接收到发现通知时,云服务器3移动到步骤S604以将发现通知传输到用户终端4,并且终止图25中示出的一系列处理。
这里,当雾服务器2包括确定部86时,这导致图像拍摄装置1不需要执行确定是否存在目标被摄体的处理。
这导致图像拍摄装置1的处理负荷减小。这使得可以缩小图像拍摄装置1的电路并且使该电路的尺寸更小。当为了将图像拍摄装置1应用于例如监控摄像机的目的而需要使图像拍摄装置1更小时,这种配置是合适的。
另一方面,如第一示例那样,在各图像拍摄装置1包括确定部86的情况下,向各图像拍摄装置1分配用于确定是否存在被摄体的处理负荷。这使得能够减小作为雾服务器2的信息处理装置的处理负荷。此外,不需要从图像拍摄装置1向信息处理装置发送特征信息,这使得可以减小通信数据量。
上面已经描述了将确定部86设置到雾服务器2的示例。然而,确定部86也可以被设置到云服务器3。
[4-3.第三实例]
图26是示意性示出第三实例的信息处理系统100'的配置的实例的框图。
如图所示,第三实例的信息处理系统100'包括多个图像拍摄装置1和用户终端4,其中省略了图1中示出的雾服务器2和云服务器3。在这种情况下,每个图像拍摄装置1可以通过网络Nt向用户终端4传送数据。
图27是用于描述在目标搜索模式下第三实例的信息处理系统100'的功能配置以及通过第三实例的信息处理系统100'在目标搜索模式中执行的操作的示图。
此外,在第三实例中,用户终端4基于用户执行的操作指定搜索目标被摄体的被摄体ID。
在这种情况下,每个图像拍摄装置1包括目标特征信息获取部54,其基于由用户终端4指定的搜索目标的被摄体ID(目标ID)来获取目标特征信息,如上所述。在这种情况下,图像拍摄装置1保持持有过去检测到的特征信息,并且目标特征信息获取部54获取来自如上持有的特征信息中与目标ID相关联的特征信息作为目标特征信息。
注意,同样在这种情况下,用户终端4可以直接接收对目标被摄体的特征信息的指定,而不是对目标ID的指定。在这种情况下,图像拍摄装置1中的目标特征信息获取部54接收并获取用户终端4指定的特征信息作为目标特征信息。
在这种情况下,每个图像拍摄装置1中的确定部86基于由目标特征信息获取部54获取的目标特征信息,并且基于由特征检测器85检测的特征信息,确定是否存在目标被摄体。
此外,这种情况下的各图像拍摄装置1包括第二通知处理部52。响应于由确定部86获得的表明存在目标被摄体的确定结果,第二通知处理部52将通知信号输出至用户终端4。
如上所述,向用户终端4通知目标被摄体的出现的系统的实例可包括不涉及雾服务器2和云服务器3的系统。
要注意的是,在图26中所示的信息处理系统100′的配置中,用户终端4可包括确定部86。在这种情况下,特征信息发送部53被提供至图像拍摄装置1,并且由特征检测器85检测的特征信息被传输至用户终端4,如在图24的情况下。
<5.变形例>
应注意,实施方式并不局限于上述具体实例,并且可对其进行各种变形。
例如,关于用于对从阵列传感器12的像素读取的信号进行加密的方法和用于对目标区域进行加密的方法,上面已经描述了光电随机数用于加密的实例。然而,对于这些方法,用于加密的随机数不限于光电随机数。例如,可以使用伪随机数。可替换地,当使用真随机数时,一种方法包括:使用相应的传感器检测基本上不可预测或可再现的自然现象,例如,热或声音的变化;以及基于通过检测获得的值生成随机数。
此外,在以上描述中,假定特征信息未被加密。然而,可以对特征信息进行加密。具体地,特征信息的加密的实例可以包括在正常模式下对从图像拍摄装置1传输至雾服务器2的特征信息进行加密。可替换地,如在第二实例(参考图24)中,特征信息的加密的实例可以包括当需要将特征信息从图像拍摄装置1传输至外部装置时,在目标搜索模式下对从图像拍摄装置1传输至外部装置的特征信息进行加密。
可以基于光电随机数来执行特征信息的加密。可选地,可以基于伪随机数执行加密。
此外,可以基于关于具有高抽象度的特征的信息和关于具有低抽象度的特征的信息中的一个来确定是否存在目标被摄体,尽管这在上面没有具体描述。仅基于关于具有高抽象度的特征的信息执行的确定的实例可包括确定多条特征信息是否在性别和身高方面匹配。此外,仅基于关于具有低抽象度的特征的信息执行的确定的实例可包括确定关于面部的多条特征信息(特征量)是否彼此相似。
上面已经描述了确定部86没有被提供给图像拍摄装置1,而是被提供给云服务器3的实例。在这种情况下,云服务器3还可以基于由云服务器3从图像拍摄装置1接收而存储在云服务器3中的过去的特征信息来确定是否存在目标被摄体。
例如,用户对用户终端4进行操作,进行操作以向云服务器3指示作为确定目标的指定日期、时间段和目标特征信息。云服务器3基于所存储的特征信息中在指定日期或指定时间段检测到的特征信息,搜索与指定的目标特征信息匹配或相似的特征信息的被摄体的ID。在这种情况下,目标特征信息可以仅是关于具有高抽象度的特征的信息,或可以仅是关于具有低抽象度的特征的信息,或可以是其组合。
此外,当确定存在目标被摄体时,将关于目标被摄体的信息呈现给用户。呈现的信息不限于对应被摄体的ID,并且例如,可以呈现对应被摄体的数目(诸如人的数目)或对应被摄体的图像。
注意,在目标搜索模式下,当各图像拍摄装置1被放置在彼此足够远离的位置(诸如不同的国家或地区)时,多个图像拍摄装置1中的图像拍摄装置1不可能同时找到目标被摄体(给出发现通知)。
然而,例如,当由确定部86执行的确定的准确度(即,检测目标被摄体的准确度)低时,多个图像拍摄装置1中的图像拍摄装置1可同时给出关于与目标被摄体相对应的同一人的相应发现通知。
可替换地,例如,当目标被摄体是一种艺术作品时,并且当艺术作品的伪造品(赝品)已经上市时,多个图像拍摄装置1中的图像拍摄装置1可同时给出关于与目标被摄体对应的艺术作品的相应发现通知。
由此,为了可确定是否发生由于目标物体的检测精度而导致的这种异常或者由于对应于目标被摄体的对象而导致的这种异常,可采用以下描述的信息处理系统100A的配置。
图28是用于描述信息处理系统100A的功能配置的示图。
信息处理系统100A与图22所示的信息处理系统100的不同之处在于包括云服务器3A来代替云服务器3。
云服务器3A与云服务器3的不同之处在于,除了上述的与目标特征信息发送部50和第二通知处理部52对应的功能以外,还具有与异常检测确定部55对应的功能。
基于由确定部86执行的确定的结果,异常检测确定部55确定在物理上不可能的各个定时的拍摄图像中是否检测到目标被摄体,拍摄图像是由彼此不同的图像拍摄装置1拍摄的。
此处,“在物理上不可能的定时检测”指以下状态:当在分别由两个图像拍摄装置1拍摄的图像中检测到目标被摄体时,两个图像拍摄装置1之间的目标被摄体检测的时间差小于对应于目标被摄体的对象在分别放置两个图像拍摄装置1的位置之间移动所需的最短时间。
这种确定使得可以适当地确定是否已经发生由于检测目标被摄体的精度而导致的异常或者由于对应于目标被摄体的对象而导致的异常。
参照图29的流程图,描述由异常检测确定部55执行的具体处理。
在这种情况下,图像拍摄装置1和用户终端4均执行与图23中示出的对应处理相似的处理。
在步骤S603的确定处理中,在云服务器3A已经确定图像拍摄装置I已经给出发现通知之后,云服务器3A执行步骤S620的处理。具体地,在该实例中,当在步骤S603中已经确定已经给出发现通知时,响应于执行步骤S604的通知处理,执行步骤S602的处理。
在步骤S620中,云服务器3A确定在物理上不可能的各个定时的多个图像拍摄装置1是否给出了发现通知。
在此,以下是用于在步骤S620中执行的确定的具体方法的两种类型的实例。
第一方法是包括将用于估计定时在物理上是否不可能的阈值时间设置为固定值的方法。具体地,首先,确定多个图像拍摄装置1中的图像拍摄装置1在过去的指定时间段(=阈值时间:例如,固定值,诸如一小时)内是否分别给出了关于同一目标被摄体的发现通知。当存在相应的图像拍摄装置1时,确定相应的图像拍摄装置1分别布置的位置之间的距离是否大于指定距离(例如,500公里)。当作为确定的结果已经确定距离小于或等于指定距离时,作为在步骤S620中执行的确定的结果,获得否定结果(即,在物理上不可能的定时未给出发现通知)。另一方面,当确定距离大于指定距离时,获得肯定结果作为在步骤S620中执行的确定的结果。
第二方法是包括根据放置位置之间的距离可变地设置上述阈值时间的方法。首先,确定多个图像拍摄装置1中的图像拍摄装置1是否在足够长的目标时间段内(诸如在最近的24小时内)已经针对同一目标被摄体给出了发现通知。当存在相应的图像拍摄装置1时,获得相应的图像拍摄装置1分别放置的位置之间的距离,并且获得由相应的图像拍摄装置1分别给出发现通知的定时之间的时间差(以下称为“通知-时间差”)。基于所获得的放置位置之间的距离来设置阈值时间。将比与目标被摄体相对应的对象移动所获得的放置位置之间的距离所需的最短时间短的时间设置为阈值时间。然后,使用如上设置的阈值时间来确定通知时间差是否小于或等于阈值时间。当确定通知时间差大于阈值时间时,获得否定结果作为在步骤S620中执行的确定的结果。当确定通知时间差小于或等于阈值时间时,获得肯定结果作为在步骤S620中执行的确定的结果。
注意,在步骤S620中执行的用于确定的方法不限于上述方法。例如,当假设分别放置任意组合的图像拍摄装置1的位置彼此足够远离时,在步骤S620中进行的确定的处理可以是确定已经给出相同目标被摄体的发现通知的各图像拍摄装置1之间的通知时间差是否小于或等于指定时间段的处理。可选地,当特定图像拍摄装置1已经给出发现通知时,可确定另一图像拍摄装置1在自特定图像拍摄装置1给出发现通知起的指定时间段内是否已经给出发现通知。
当已经获得肯定结果作为在步骤S620中执行的确定处理的结果时,云服务器3A移动到步骤S621以开启异常发现标志,并且终止在图29中示出的一系列处理。异常发现标志是用于指示是否发生了由于检测目标被摄体的精度而导致的异常或由于对应于目标被摄体的对象而导致的异常的标记,其中,“开”表示异常的发生,“关”表示初始值。
例如,云服务器3A可基于该异常发现标志通知(警报)云服务器3A的用户或用户终端4的用户已经发生异常。当已经识别出异常的发生时,用户可以提高检测目标被摄体的准确度,或者可以针对在市场上假冒品的事实采取措施。
另一方面,当通过在步骤S620中执行的确定处理已经获得否定结果时,云服务器3A跳过步骤S621的处理,并且终止图29中示出的一系列处理。
应注意,上面已经描述了将信息处理系统100A应用于图像拍摄装置1包括确定部86的情况(如在第一实例中)的实例作为应用信息处理系统100A的实例,。然而,其中针对目标被摄体执行异常检测确定的信息处理系统100A的这种配置也可应用于雾服务器2包括确定部86的情况,如在上述第二实例(图24和图25)中。
<6.关于实施例的结论>
如上所述,实施方式的信息处理系统(信息处理系统100、100′或100A)是包括图像拍摄装置(图像拍摄装置1)和信息处理装置(雾服务器2、或云服务器3或3A、或用户终端4)的信息处理系统,并且图像拍摄装置包括:图像拍摄部(例如,阵列传感器12),用于获得被摄体的拍摄图像;以及特征检测器(特征检测器85),基于拍摄图像检测特征信息,该特征信息是表示被摄体的特征的信息。
此外,图像拍摄装置或信息处理装置包括确定部(确定部86),其基于作为特征检测器检测到的特征信息的检测特征信息,并且基于作为要作为目标的特征信息的目标特征信息,确定在拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
如上所述,当图像拍摄装置包括检测被摄体的特征的功能时,这导致不需要向信息处理装置发送拍摄图像以便确定是否存在目标被摄体。
由此,能够减少在基于拍摄图像来确定是否存在目标被摄体的系统中进行确定所需的通信数据量。
此外,在根据实施方式的信息处理系统中,图像拍摄部包括阵列传感器(阵列传感器12),该阵列传感器包括多个一维或二维布置的像素,每个像素包括接收可见光或不可见光的光接收元件,并且特征检测器与阵列传感器被放置在一个封装件中(参照图12)。
可以在具有阵列传感器的一个封装件中执行用于检测被摄体的特征的图像处理,并且与当在传感器封装件的外部执行图像处理时相比,这使得能够降低图像内容泄漏的可能性。
这使得能够增强安全性。
此外,在根据实施方式的信息处理系统中,图像拍摄装置包括确定部。
这使得用于确定是否存在目标被摄体的处理负荷被分配给各个图像拍摄装置,并且使得信息处理装置不需要进行该确定的处理。
这使得可以减少信息处理装置的处理负荷。此外,不需要从图像拍摄装置向信息处理装置发送特征信息,这使得可以减小通信数据量。
此外,在根据实施方式的信息处理系统中,信息处理装置包括确定部。
这使得图像拍摄装置不需要执行确定是否存在目标被摄体的处理。
这使得图像拍摄装置的处理负荷减小。这使得可以缩小图像拍摄装置的电路并且使该电路的尺寸更小。当为了将图像拍摄装置应用于例如监控摄像机的目的而需要使图像拍摄装置更小时,这样的配置是合适的。
此外,在根据实施方式的信息处理系统中,图像拍摄装置包括加密部和图像发送部,加密部对拍摄图像进行加密,图像发送部执行将由加密部加密的拍摄图像发送至信息处理装置的处理。
可以设想,当出现目标被摄体时拍摄的图像可在目标被摄体出现时被发送至信息处理装置。采用将加密的拍摄图像传输至信息处理装置的配置,使得可以防止在将目标被摄体出现时拍摄的图像传输给信息处理装置时图像内容泄露。
这使得能够增强安全性。
此外,在根据实施方式的信息处理系统中,图像拍摄部包括阵列传感器(阵列传感器12),该阵列传感器包括多个一维或二维布置的像素,每个像素包括接收可见光或不可见光的光接收元件,并且加密部基于光电随机数对拍摄图像进行加密,该光电随机数是基于由阵列传感器执行的光电转换而获得的随机数。
这实现了与使用伪随机数时相比更难以实现解密的加密。
这使得能够增强安全性。
此外,在根据实施方式的信息处理系统中,加密部对阵列传感器从像素读取的信号进行加密。
对从像素读取的信号进行加密使得防止拍摄图像信号以明文的形式存储在存储器中。
这使得能够增强安全性。
此外,在根据实施方式的信息处理系统中,图像拍摄装置包括特征发送部(控制器23),其执行将由特征检测器检测的特征信息传输至信息处理装置的处理(参考图21)。
这使得可以使信息处理装置获取表示拍摄图像中的被摄体的特征的信息。
这使得在使信息处理装置获取特征信息时,信息处理装置不需要执行基于拍摄图像检测关于被摄体的特征信息的处理。换言之,不需要将拍摄图像传输至信息处理装置,并且这使得可以减少通信数据量。此外,即使当需要使信息处理装置获取关于被摄体的特征信息和拍摄图像时,也允许图像拍摄装置加密拍摄图像并发送加密的拍摄图像,因为不需要信息处理装置执行基于拍摄图像检测特征信息的处理。这使得能够增强安全性。
此外,在根据实施方式的信息处理系统中,特征检测器检测具有被摄体的不同抽象度的每个特征的特征信息。
当被摄体是人时,具有不同抽象度的特征的示例包括具有高抽象度的特征,诸如身高和性别;以及诸如衣服的颜色和头发的颜色的具有低抽象度的特征(即,更具体的特征)。此外,当被摄体是车辆时,具有不同抽象度的特征的实例包括具有高抽象度的特征,诸如车辆的颜色,以及车辆类型,诸如标准尺寸的车辆或大型车辆;以及具有低抽象度的特征,诸如特定车辆型号、牌照中的特定编号等。例如,根据使用特征信息的应用,可能不需要关于具有低抽象度的特征的信息,但是可能需要关于具有高抽象度的特征的信息。这样,在针对具有不同抽象度的每个特征检测特征信息的情况下,如上所述,能够从检测到的特征信息中仅选择并输出关于具有特定抽象度的特征的信息,或者不考虑抽象度而输出所有检测到的特征信息。
这使得可以增加选择输出目标特征信息的自由度。
例如,当仅选择并输出关于具有所需抽象度的特征的信息时,这使得可以减小通信特征信息所需的数据量。
此外,在针对具有不同抽象度的每个特征检测特征信息的情况下,还能够针对关于不同抽象度的特征的每条信息进行确定目标被摄体的处理。具体地,例如,可以基于关于具有高抽象度的特征(诸如身高和性别)的信息执行第一确定处理,以缩小被摄体;然后,基于关于诸如衣服的颜色和头发的颜色的具有低抽象度的特征的信息来执行第二确定处理,以获得最终确定结果。
此外,根据实施方式的信息处理系统包括多个图像拍摄装置。
这使得可以基于从多个视点拍摄的图像来确定是否存在目标被摄体。
这使得能够使搜索目标被摄体的范围更大。
此外,根据本实施方式的信息处理系统包括通知处理部(第一通知处理部51和第二通知处理部52),该通知处理部响应于确定存在目标被摄体而执行输出通知信息的处理。
这使得可以向用户通知目标被摄体的出现。
这使得用户不需要询问系统关于任何事物就可知道目标被摄体的出现。这使得能够减轻用户的负担。
此外,根据本实施方式的信息处理系统(信息处理系统100A)包括多个图像拍摄装置,并且信息处理装置(云服务器3A或雾服务器2)包括异常检测确定部(异常检测确定部55),异常检测确定部基于确定部进行的确定结果确定在物理上不可能的各个定时的拍摄图像中是否检测到目标被摄体,图像拍摄装置拍摄的拍摄图像彼此不同。
“在物理上不可能的定时检测”是指当在分别由两个图像拍摄装置拍摄的图像中检测到目标被摄体时,两个图像拍摄装置之间的目标被摄体检测的时间差小于对应于目标被摄体的被摄体在分别放置两个图像拍摄装置的位置之间移动所需的最短时间的状态。当在物理上不可能的各个定时通过不同的图像拍摄装置检测到目标被摄体时,可估计存在检测目标被摄体的精度方面的问题,或者可估计已经发生由于用于检测目标被摄体的算法引起的异常,或者由于对应于目标被摄体的对应引起的异常,例如,其中对应于目标被摄体的对象的伪造品已经上市的状态。
因此,上述配置使得可以适当地确定是否已经发生由于检测目标被摄体的精度而导致的异常或者由于对应于目标被摄体的对象而导致的异常。
此外,根据实施方式的信息处理方法是由包括图像拍摄装置和信息处理装置的信息处理系统执行的信息处理方法,信息处理方法包括:由图像拍摄装置基于被摄体的拍摄图像检测特征信息,该特征信息是指示被摄体的特征的信息;以及由图像拍摄装置或信息处理装置基于作为通过检测获得的特征信息的检测特征信息并且基于作为要作为目标的特征信息的目标特征信息,确定在拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
这种信息处理方法也使得可以提供与由根据上述实施方式的信息处理系统提供的效果类似的效果。
此外,根据实施方式的图像拍摄装置(图像拍摄装置1)包括:图像拍摄部,用于获得被摄体的拍摄图像;特征检测器,基于拍摄图像检测特征信息,特征信息是指示被摄体的特征的信息;以及确定部,其基于作为由特征检测器检测到的特征信息的检测特征信息,并且基于作为要作为目标的特征信息的目标特征信息,确定在拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
此外,根据实施例的信息处理装置(雾服务器2、云服务器3或用户终端4)包括确定部和特征检测器,确定部从图像拍摄装置获取检测特征信息,图像拍摄装置包括用于获得被摄体的拍摄图像的图像拍摄部,特征检测器基于拍摄图像检测特征信息,特征信息是指示被摄体的特征的信息,检测特征信息是由特征检测器检测的特征信息,确定部基于获取的检测特征信息并且基于作为要作为目标的特征信息的目标特征信息,确定在拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
图像拍摄装置和信息处理装置还使得能够提供与由根据上述实施方式的信息处理系统提供的效果类似的效果。
应注意,本文中描述的效果不是限制性的,而仅是示例性的,并且可提供其他效果。
这里,本技术可应用于所谓的物联网(IoT)的技术。IoT是对应于“事物”的IoT装置连接至例如另一IoT装置、互联网、云或雾,并且与连接对方交换信息,使得IoT装置和连接对方执行相互控制的机制。IoT可用于各种工业,例如,农业、房屋、汽车、生产、分配、以及能量的工业。
<7.本技术>
本技术还可采取以下配置。
(1)一种信息处理系统,包括:
图像拍摄装置;以及
信息处理装置,
图像拍摄装置包括:
图像拍摄部,用于获得被摄体的拍摄图像,以及
特征检测器,基于拍摄图像检测特征信息,特征信息是指示被摄体的特征的信息,
图像拍摄装置或信息处理装置包括确定部,确定部基于作为由特征检测器检测的特征信息的检测特征信息并且基于作为要作为目标的特征信息的目标特征信息,确定在拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
(2)根据(1)的信息处理系统,其中,
图像拍摄部包括阵列传感器,阵列传感器包括多个一维或二维布置的像素,每个像素包括接收可见光或不可见光的光接收元件,以及
特征检测器与阵列传感器放置在一个封装件中。
(3)根据(1)或(2)的信息处理系统,其中
图像拍摄装置包括确定部。
(4)根据(1)或(2)的信息处理系统,其中
信息处理装置包括确定部。
(5)根据(1)至(4)中任一项的信息处理系统,其中
图像拍摄装置包括:
加密部,加密所拍摄的图像,以及
图像发送部,其进行将由加密部加密后的拍摄图像发送到信息处理装置的处理。
(6)根据(5)的信息处理系统,其中,
图像拍摄部包括阵列传感器,阵列传感器包括多个一维或二维布置的像素,每个像素包括接收可见光或不可见光的光接收元件,以及
加密部基于光电随机数对拍摄图像进行加密,光电随机数是基于由阵列传感器执行的光电转换而获得的随机数。
(7)根据(6)的信息处理系统,其中,
加密部对从阵列传感器中的像素读取的信号执行加密。
(8)根据(1)至(7)中任一项的信息处理系统,其中
图像拍摄装置包括特征发送部,特征发送部执行将由特征检测器检测的特征信息传输至信息处理装置的处理。
(9)根据(1)至(8)中任一项的信息处理系统,其中
特征检测器针对具有被摄体的不同抽象度的每个特征检测特征信息。
(10)根据(1)至(9)中任一项的信息处理系统,其中
信息处理系统包括多个图像拍摄装置。
(11)根据(1)至(10)中任一项的信息处理系统,进一步包括:
通知处理部,响应于确定部确定存在目标被摄体,进行输出通知信息的处理。
(12)根据(1)至(11)中任一项的信息处理系统,其中
信息处理系统包括多个图像拍摄装置,并且
信息处理装置包括异常检测确定部,异常检测确定部基于由确定部执行的确定的结果来确定在物理上不可能的各个定时的拍摄图像中是否已检测到目标被摄体,由图像拍摄装置拍摄的拍摄图像彼此不同。
(13)一种由包括图像拍摄装置和信息处理装置的信息处理系统执行的信息处理方法,信息处理方法包括:
由图像拍摄装置基于被摄体的拍摄图像来检测特征信息,特征信息是指示被摄体的特征的信息;以及
由图像拍摄装置或信息处理装置基于作为通过检测获得的特征信息的检测特征信息并且基于作为要作为目标的特征信息的目标特征信息,确定在拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
(14)一种图像拍摄装置,包括:
图像拍摄部,用于获得被摄体的拍摄图像;
特征检测器,基于拍摄图像检测特征信息,特征信息是指示被摄体的特征的信息;以及
确定部,基于作为由特征检测器检测的特征信息的检测特征信息,并且基于作为要作为目标的特征信息的目标特征信息,确定在拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
(15)一种信息处理装置,包括:
确定部,其从图像拍摄装置获取检测特征信息,图像拍摄装置包括图像拍摄部和特征检测器,图像拍摄部用于获得被摄体的拍摄图像,特征检测器基于拍摄图像检测特征信息,特征信息是表示被摄体的特征的信息,检测特征信息是由特征检测器检测的特征信息,确定部基于所获取的检测特征信息并且基于作为要作为目标的特征信息的目标特征信息,确定拍摄图像中是否存在目标被摄体,目标被摄体是检测特征信息与目标特征信息匹配或相似的被摄体。
参考标号列表
100,100',100A 信息处理系统
1 图像拍摄装置
2 雾服务器
3,3A 云服务器
4 用户终端
10 图像拍摄传感器部
12 阵列传感器
18 计算部
19,19A 振幅控制电路
82 对象区域识别部
83 类别识别部
84 加密控制器
85 特征检测器
86 确定部
23 控制器
25 通信部
31 CPU
32 ROM
33 RAM
34 总线
35 输入输出接口
36 输入部
37 输出部
38 存储器
39 通信部
50 目标特征信息发送部
51 第一通知处理部
52 第二通知处理部
53 特征信息发送部
54 目标特征信息获取部
55 异常检测确定部

Claims (15)

1.一种信息处理系统,包括:
图像拍摄装置;以及
信息处理装置,
所述图像拍摄装置包括:
图像拍摄部,用于获得被摄体的拍摄图像,以及
特征检测器,基于所述拍摄图像检测特征信息,所述特征信息是指示所述被摄体的特征的信息,
所述图像拍摄装置或所述信息处理装置包括确定部,所述确定部基于作为由所述特征检测器检测的所述特征信息的检测特征信息并且基于作为要作为目标的特征信息的目标特征信息,确定在所述拍摄图像中是否存在目标被摄体,所述目标被摄体是所述检测特征信息与所述目标特征信息匹配或相似的被摄体。
2.根据权利要求1所述的信息处理系统,其中:
所述图像拍摄部包括阵列传感器,所述阵列传感器包括多个一维或二维布置的像素,每个所述像素包括接收可见光或不可见光的光接收元件,以及
所述特征检测器与所述阵列传感器放置在一个封装件中。
3.根据权利要求1所述的信息处理系统,其中:
所述图像拍摄装置包括所述确定部。
4.根据权利要求1所述的信息处理系统,其中:
所述信息处理装置包括所述确定部。
5.根据权利要求1所述的信息处理系统,其中:
所述图像拍摄装置包括:
加密部,加密所述拍摄图像,以及
图像发送部,执行将由所述加密部加密的所述拍摄图像发送到所述信息处理装置的处理。
6.根据权利要求5所述的信息处理系统,其中:
所述图像拍摄部包括阵列传感器,所述阵列传感器包括多个一维或二维布置的像素,每个所述像素包括接收可见光或不可见光的光接收元件,以及
所述加密部基于光电随机数对所述拍摄图像进行加密,所述光电随机数是基于由所述阵列传感器执行的光电转换而获得的随机数。
7.根据权利要求6所述的信息处理系统,其中:
所述加密部对从所述阵列传感器中的所述像素读取的信号执行所述加密。
8.根据权利要求1所述的信息处理系统,其中:
所述图像拍摄装置包括特征发送部,所述特征发送部执行将由所述特征检测器检测的所述特征信息传输至所述信息处理装置的处理。
9.根据权利要求1所述的信息处理系统,其中:
所述特征检测器针对所述被摄体的具有不同抽象度的每个特征检测所述特征信息。
10.根据权利要求1所述的信息处理系统,其中:
所述信息处理系统包括多个所述图像拍摄装置。
11.根据权利要求1所述的信息处理系统,进一步包括:
通知处理部,响应于所述确定部确定存在所述目标被摄体,执行输出通知信息的处理。
12.根据权利要求1所述的信息处理系统,其中:
所述信息处理系统包括多个所述图像拍摄装置,并且
所述信息处理装置包括异常检测确定部,所述异常检测确定部基于由所述确定部执行的确定的结果来确定在物理上不可能的各个定时的拍摄图像中是否检测到所述目标被摄体,由彼此不同的所述图像拍摄装置拍摄所述拍摄图像。
13.一种由信息处理系统执行的信息处理方法,所述信息处理系统包括图像拍摄装置和信息处理装置,所述信息处理方法包括:
由所述图像拍摄装置基于被摄体的拍摄图像来检测特征信息,所述特征信息是指示所述被摄体的特征的信息;以及
由所述图像拍摄装置或所述信息处理装置基于作为通过所述检测获得的所述特征信息的检测特征信息并且基于作为要作为目标的特征信息的目标特征信息,确定在所述拍摄图像中是否存在目标被摄体,所述目标被摄体是所述检测特征信息与所述目标特征信息匹配或相似的被摄体。
14.一种图像拍摄装置,包括:
图像拍摄部,用于获得被摄体的拍摄图像;
特征检测器,基于所述拍摄图像检测特征信息,所述特征信息是指示所述被摄体的特征的信息;以及
确定部,基于作为由所述特征检测器检测的所述特征信息的检测特征信息并且基于作为要作为目标的特征信息的目标特征信息,确定在所述拍摄图像中是否存在目标被摄体,所述目标被摄体是所述检测特征信息与所述目标特征信息匹配或相似的被摄体。
15.一种信息处理装置,包括:
确定部,从图像拍摄装置获取检测特征信息,所述图像拍摄装置包括图像拍摄部和特征检测器,所述图像拍摄部用于获得被摄体的拍摄图像,所述特征检测器基于所述拍摄图像检测特征信息,所述特征信息是指示所述被摄体的特征的信息,所述检测特征信息是由所述特征检测器检测的特征信息,所述确定部基于所获取的检测特征信息并且基于作为要作为目标的特征信息的目标特征信息,确定在所述拍摄图像中是否存在目标被摄体,所述目标被摄体是所述检测特征信息与所述目标特征信息匹配或相似的被摄体。
CN202080068480.9A 2019-10-30 2020-09-14 信息处理系统、信息处理方法、图像拍摄装置和信息处理装置 Pending CN114503550A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019197084 2019-10-30
JP2019-197084 2019-10-30
PCT/JP2020/034689 WO2021084944A1 (ja) 2019-10-30 2020-09-14 情報処理システム、情報処理方法、撮像装置、情報処理装置

Publications (1)

Publication Number Publication Date
CN114503550A true CN114503550A (zh) 2022-05-13

Family

ID=75715064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080068480.9A Pending CN114503550A (zh) 2019-10-30 2020-09-14 信息处理系统、信息处理方法、图像拍摄装置和信息处理装置

Country Status (6)

Country Link
US (1) US20220375197A1 (zh)
EP (1) EP4054171A4 (zh)
JP (1) JPWO2021084944A1 (zh)
KR (1) KR20220091471A (zh)
CN (1) CN114503550A (zh)
WO (1) WO2021084944A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11977766B2 (en) * 2022-02-28 2024-05-07 Nvidia Corporation Hierarchical network for stacked memory system
CN116260842B (zh) * 2023-02-21 2024-01-23 华智生物技术有限公司 温室大棚的物联网数据采集方法、系统、装置及介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005045705A (ja) * 2003-07-25 2005-02-17 Matsushita Electric Ind Co Ltd 暗号化撮像システム
JP4237131B2 (ja) * 2004-11-29 2009-03-11 株式会社日立国際電気 暗号化データ通信装置
US20100226495A1 (en) * 2007-10-29 2010-09-09 Michael Kelly Digital readout method and apparatus
KR100920266B1 (ko) * 2007-12-17 2009-10-05 한국전자통신연구원 카메라간 협업을 이용한 영상 감시 카메라 및 방법
GB0915000D0 (en) * 2009-08-27 2009-09-30 Univ Bruxelles Quantum random number generation
US20180278894A1 (en) * 2013-02-07 2018-09-27 Iomniscient Pty Ltd Surveillance system
WO2016132769A1 (ja) * 2015-02-19 2016-08-25 シャープ株式会社 撮影装置、撮影装置の制御方法、および制御プログラム
JP2017184198A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 イメージセンサ、撮像装置、イメージセンサ特定方法、画像偽造防止方法および画像改変制限方法
JP2018055607A (ja) * 2016-09-30 2018-04-05 富士通株式会社 イベント検知プログラム、イベント検知装置、及びイベント検知方法
JP2018191230A (ja) * 2017-05-11 2018-11-29 ソニーセミコンダクタソリューションズ株式会社 撮像素子及びその駆動方法、並びに、電子機器
JP2019057880A (ja) 2017-09-22 2019-04-11 学校法人東京理科大学 撮影装置、画像処理システム、画像処理プログラム、検索プログラム、及び撮影プログラム
US10797863B2 (en) * 2017-12-28 2020-10-06 Intel Corporation Multi-domain cascade convolutional neural network

Also Published As

Publication number Publication date
EP4054171A4 (en) 2022-11-09
EP4054171A1 (en) 2022-09-07
US20220375197A1 (en) 2022-11-24
KR20220091471A (ko) 2022-06-30
JPWO2021084944A1 (zh) 2021-05-06
WO2021084944A1 (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
US11030464B2 (en) Privacy processing based on person region depth
US11955032B2 (en) Sensor device and encryption method
WO2008143768A1 (en) Deriving video signatures that are insensitive to picture modification and frame-rate conversion
CN102693528B (zh) 低光度图像中的噪声抑制
CN114503550A (zh) 信息处理系统、信息处理方法、图像拍摄装置和信息处理装置
US20220028301A1 (en) Encryption device and encryption method
Purohit et al. Multi-sensor surveillance system based on integrated video analytics
EP3989206A1 (en) Cryptography key generation device and cryptography key generation method
Jöchl et al. Apart from in-field sensor defects, are there additional age traces hidden in a digital image?
TWI826638B (zh) 感測器裝置、密碼化方法
Yu et al. Efficient statistical validation of autonomous driving systems
Jöchl et al. Deep Learning Image Age Approximation-What is More Relevant: Image Content or Age Information?
Ciurapiński et al. Data fusion concept in multispectral system for perimeter protection of stationary and moving objects
JP7483140B2 (ja) 画像処理システム、撮像装置、端末装置及び画像処理方法
WO2022201973A1 (ja) 情報処理システム及び学習モデルの生成方法
US20240161443A1 (en) Information processing system and learning model generation method
US20240119598A1 (en) Image processing system, imaging device, terminal device, and image processing method
CN117099019A (zh) 信息处理装置
JP5602649B2 (ja) 画像検索システム
JP2022079164A (ja) 困難度マップ作成装置
JP2021166381A (ja) 情報処理装置、改ざん検知装置、情報処理方法、および検知方法
JP2022055243A (ja) ラベル付与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination