CN112738365A - 成像设备和信息处理系统 - Google Patents

成像设备和信息处理系统 Download PDF

Info

Publication number
CN112738365A
CN112738365A CN202011464687.6A CN202011464687A CN112738365A CN 112738365 A CN112738365 A CN 112738365A CN 202011464687 A CN202011464687 A CN 202011464687A CN 112738365 A CN112738365 A CN 112738365A
Authority
CN
China
Prior art keywords
pixels
pixel
sampling function
image sensor
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011464687.6A
Other languages
English (en)
Other versions
CN112738365B (zh
Inventor
光永知生
若林准人
奥村健市
人见康宣
矶大辅
增野智经
伊泽慎一郎
出羽恭子
原田耕一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112738365A publication Critical patent/CN112738365A/zh
Application granted granted Critical
Publication of CN112738365B publication Critical patent/CN112738365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及成像设备和信息处理系统。其中，所述成像设备可包括：图像传感器，包含多个像素，所述多个像素用于生成第一像素数据；像素控制部，用于控制所述图像传感器；特征检测部，用于从所述第一像素数据检测特征并且将特征检测的结果输出到所述像素控制部，其中，所述像素控制部基于所述特征检测的所述结果将第一采样函数应用到所述多个像素的第一区域并且将第二采样函数应用到所述多个像素的第二区域，其中，所述图像传感器基于所述第一采样函数和所述第二采样函数的应用生成第二像素数据；以及区域切出部，用于基于所述特征检测的所述结果切出所述第二像素数据中检测到所述特征的区域，并且输出所述第二像素数据的所述区域。

Description

成像设备和信息处理系统
本申请是申请日为2016年7月1日、发明名称为“摄像设备和信息处理系统”的申请号为201680040151.7的专利申请的分案申请。
技术领域
本公开涉及成像设备和图像处理系统，并且更明确地说，涉及适用于例如多个相机所采集的视频被聚集并分析的使用状况的成像设备和图像处理系统。
背景技术
通常，作为用于检测接近预定场所的可疑人物的安全系统或分析工厂中的工人或商店中的购物顾客的行为的分析系统，已提出由多个相机采集的视频经由网络而聚集在服务器中并且由服务器分析的系统。
例如，在专利文献1中，已公开能够分析商店中的购物顾客的行为的系统。在此系统中，从布置在多个区域中的相机供应的视频经由网络而聚集在服务器中，并且在视频内投影的店内顾客的移动路线被计算并记录在服务器中。在此服务器中，提供了用于登记面部图像的登记人数据库、从供应自多个相机的视频检测面部图像的面部检测引擎以及对照由面部检测引擎检测的面部图像与登记在登记人数据库中的面部图像的面部认证引擎，并且可提供用于经由面部图像的对照而识别视频中所投影的人物、计算移动路线并将使用可从面部图像确定的性别和年龄群组计算的移动路线分析信息分类的机构。
引用文献列表
专利文献
专利文献1：第2010-55594号日本专利申请特许公开
发明内容
本发明将解决的问题
在上述系统等中，在相机的数量增大或视频的图像质量提高以提高行为分析的准确性的状况下，可发生网络的带宽的拥塞。
然而，优选的是，经由网络传输的视频等的数据量减小到不影响行为分析的准确性的程度。此外，在相机的数量增大的状况下，其电力消耗与相机的数量成比例地增大，并且因此，优选的是，抑制每一相机的电力消耗。
本公开考虑到这些情形，并且实现经由网络传输的视频等的数据量的减小以及每一相机(成像设备)的电力消耗的抑制。
问题的解决方案
作为本公开的第一方面的成像设备包含：图像传感器，包含许多像素垂直地且水平地布置的成像表面；像素控制单元，控制所述图像传感器，针对通过将所述图像传感器的所述成像表面分隔为多个块而获取的每一块，通过应用采样函数而在构成块的像素中选择对应于所述采样函数的像素，并基于所述所选择的像素的像素值而输出采样信号；以及缩减图像产生单元，基于从所述图像传感器输出的每一块的所述采样信号而产生缩减图像。
所述图像传感器可根据来自所述像素控制单元的控制在构成所述块的所述像素中选择对应于所述采样函数的一个像素，并且输出所述所选择的一个像素的像素值作为所述采样信号。
所述图像传感器可根据从所述像素控制单元供应的行选择信号和列选择信号而在构成所述块的所述像素中选择对应于所述采样函数的一个像素。
所述图像传感器的每一像素可包含多位传送开关，所述多位传送开关基于从所述像素控制单元供应的所述行选择信号和所述列选择信号而执行切换。
所述图像传感器可根据从所述像素控制单元供应的行选择信号和列选择信号而在空间和时间上在构成所述块的所述像素中随机选择一个像素。
所述图像传感器可根据来自所述像素控制单元的控制在构成所述块的所述像素中选择对应于所述采样函数的多个像素，并且输出通过将所述多个所选择的像素的像素值相加而获取的相加值作为所述采样信号。
所述图像传感器可包含：模拟加法器，针对每一行而将根据从所述像素控制单元供应的所述行选择信号和所述列选择信号选择的所述像素的像素值相加；以及ADC单元，将来自所述模拟加法器的每一行的输出依序相加作为数字值。
所述图像传感器的每一像素可包含多位传送开关，所述多位传送开关基于从所述像素控制单元供应的所述行选择信号和所述列选择信号而执行切换。
所述图像传感器可根据从所述像素控制单元供应的行选择信号和列选择信号而在空间和时间上在构成所述块的所述像素中随机选择多个像素。
所述图像传感器可根据来自所述像素控制单元的控制在构成所述块的所述像素中选择对应于所述采样函数的多个像素，并且输出通过在添加正号或负号的情况下将所述多个所选择的像素的像素值相加而获取的相加值作为所述采样信号。
所述图像传感器可包含：模拟加法器，针对每一行而将根据从所述像素控制单元供应的所述行选择信号和所述列选择信号选择的所述像素的像素值相加；正负号反转器，将来自所述模拟加法器的输出的正负号反转；以及ADC单元，将来自所述模拟加法器或所述正负号反转器的每一行的输出依序相加作为数字值。
所述图像传感器的每一像素可包含多位传送开关，所述多位传送开关基于从所述像素控制单元供应的所述行选择信号和所述列选择信号而执行切换。
所述图像传感器可根据从所述像素控制单元供应的所述行选择信号和所述列选择信号而在空间和时间上在构成所述块的所述像素中随机选择多个像素。
所述像素控制单元可控制所述图像传感器，针对通过将所述图像传感器的所述成像表面分隔为多个块而获取的每一块，通过应用公用采样函数而在构成块的像素中选择对应于所述公用采样函数的像素，并基于所述所选择的像素的像素值而输出采样信号；并且所述缩减图像产生单元可基于从所述图像传感器输出的被应用所述公用采样函数的每一块的所述采样信号而产生所述缩减图像。
所述像素控制单元可控制所述图像传感器，针对通过将所述图像传感器的所述成像表面分隔为多个块而获取的每一块，通过应用公用采样函数或除所述公用采样函数之外的非公用采样函数而在构成块的像素中选择对应于所述公用采样函数或所述非公用采样函数的像素，并基于所述所选择的像素的像素值而输出采样信号；并且所述缩减图像产生单元可通过基于所述公用采样函数来对所述采样信号再采样而从存储从所述图像传感器输出的被应用所述公用采样函数或所述非公用采样函数的每一块的所述采样信号的存储单元产生所述缩减图像。
作为本公开的第一方面的成像设备还包含特征检测单元，所述特征检测单元对所述缩减图像执行特征检测处理。
作为本公开的第一方面的成像设备还包含区域切出单元，所述区域切出单元从所述图像传感器的输出切出对应于通过所述特征检测处理检测到特征的区域的每一块的所述采样信号，并将所述所切出的采样信号输出到下一级。
所述区域切出单元可从由所述图像传感器的所述输出形成的所述缩减图像切出通过所述特征检测处理检测到特征的区域，并将所述所切出的区域输出到下一级。
所述像素控制单元可控制所述图像传感器，针对通过将所述图像传感器的所述成像表面分隔为多个块而获取的块中对应于通过所述特征检测处理检测到特征的区域的块而应用除公用采样函数之外的非公用采样函数，并针对对应于未通过所述特征检测处理检测到特征的区域的块而应用所述公用采样函数，而在构成块的像素中选择对应于所述公用采样函数或所述非公用采样函数的像素，并基于所述所选择的像素的像素值而输出采样信号；并且所述区域切出单元可从所述图像传感器的所述输出切出对应于通过所述特征检测处理检测到特征的区域的被应用所述非公用采样函数的所述块的所述采样信号，并将所述所切出的采样信号输出到下一级。
根据本公开的第一方面，控制了图像传感器，针对通过将图像传感器的成像表面分隔为多个块而获取的每一块，通过应用公用采样函数而在构成块的像素中选择了对应于公用采样函数的像素，并基于所选择的像素的像素值而输出了采样信号，并且基于从图像传感器输出的每一块的采样信号而产生了缩减图像。
作为本公开的第二方面的信息处理系统包含：一个或更多个成像设备；以及信息处理设备，经由网络而连接到所述成像设备，其中所述成像设备包含：图像传感器，包含许多像素垂直地且水平地布置的成像表面；像素控制单元，控制所述图像传感器，针对通过将所述图像传感器的所述成像表面分隔为多个块而获取的每一块，通过应用采样函数而在构成块的像素中选择对应于所述采样函数的像素，并基于所述所选择的像素的像素值而输出采样信号；缩减图像产生单元，基于从所述图像传感器输出的每一块的所述采样信号而产生缩减图像；特征检测单元，对所述缩减图像执行特征检测处理；以及区域切出单元，从所述图像传感器的输出切出对应于通过所述特征检测处理检测到特征的区域的每一块的所述采样信号，并经由所述网络将所述所切出的采样信号输出到所述信息处理设备；并且所述信息设备包含信息处理单元，所述信息处理单元对经由所述网络传输的所述信息处理设备的所述输出执行预定信息处理。
根据作为本公开的第二方面的信息处理系统，通过成像设备控制了图像传感器，针对通过将图像传感器的成像表面分隔为多个块而获取的每一块，通过应用公用采样函数而在构成块的像素中选择了对应于公用采样函数的像素，并基于所选择的像素的像素值而输出了采样信号，基于从图像传感器输出的每一块的采样信号而产生了缩减图像，对缩减图像执行了特征检测处理，并且从图像传感器的输出切出了对应于通过特征检测处理检测到特征的区域的每一块的采样信号，并经由网络将所切出的采样信号输出到信息处理设备。此外，通过信息设备对经由网络传输的信息处理设备的输出执行了预定信息处理。
本发明的效果
根据本公开的第一实施例，经由网络而传输到信息处理设备的数据量可减小。
此外，根据本公开的第一实施例，成像设备的电力消耗可受到抑制。
根据本公开的第二实施例，经由网络而传输到信息处理设备的数据量可减小，并且成像设备的电力消耗可受到抑制。
附图说明
图1是图示根据本公开的相机监视系统的第一配置实例的框图。
图2是图示成像设备和确定服务器的第一配置实例的框图。
图3是图示图像传感器的成像表面以块为单位而分隔的状态的图。
图4是对应于像素的第一配置实例的等效电路图。
图5是示出图像传感器的第一配置实例的框图。
图6是图示采样函数、每一块的输出值以及图像传感器的输出数据格式之间的关系的图。
图7是图示以时间序列切换的采样函数、每一块的输出值以及图像传感器的输出数据格式之间的关系的图。
图8是图示采样函数的实例的图。
图9是图示基于图8所图示的采样函数的像素控制的外观的图。
图10是图示采样函数的实例的图。
图11是图示基于图10所图示的采样函数的像素控制的外观的图。
图12是示出图像传感器的第二配置实例的框图。
图13是图示采样函数的实例的图。
图14是图示基于图13所图示的采样函数的像素控制的外观的图。
图15是描述图2所图示的第一配置实例中的成像设备的处理的流程图。
图16是图示成像设备和确定服务器的第二配置实例的框图。
图17是图示采样函数的实例的图。
图18是图示基于图17所图示的采样函数的像素控制的外观的图。
图19是描述图16所图示的第二配置实例中的成像设备的处理的流程图。
图20是对应于像素的第二配置实例的等效电路图。
图21是图示像素的MOSFET的结构的横截面图。
图22是图示对应于像素的第二配置实例的图像传感器的配置实例(第三配置实例)的框图。
图23是图示可应用到像素的第一配置实例以及与其对应的图像传感器的第一配置实例的采样函数的定时图。
图24是图示对应于图23所图示的定时图的矩阵表示的采样函数的图。
图25是图示可应用到像素的第二配置实例以及与其对应的图像传感器的第三配置实例的采样函数的定时图。
图26是图示对应于图25所图示的定时图的矩阵表示的采样函数的图。
图27是对应于像素的第三配置实例的等效电路图。
图28是图示可应用到像素的第三配置实例以及与其对应的图像传感器的采样函数的实例的图。
图29是对应于像素的第三配置实例的等效电路图。
具体实施方式
下文中，将参照附图来详细描述用于执行本公开的优选实施例(下文中，称为实施例)。
<作为本公开的实施例的相机监视系统的配置实例>
图1图示作为本公开的实施例的相机监视系统的配置实例。
此相机监视系统10由多个成像设备20、确定服务器30和行为分析设备12配置而成。应注意，在图1的状况下，虽然图示了五个成像设备20，但成像设备20的数量可根据应用了相机监视系统10的设施等的规模而任意增大或减小。
每一成像设备20经由网络11而连接到确定服务器30，并且其输出经由网络11而传输到确定服务器30。
成像设备20除正常读取之外还可执行压缩感测(CS)读取(通过驱动成像设备20中所安装的图像传感器的所有像素，获取了所有像素的像素信号所形成的整体图像)。
此处，CS读取表示如下操作：将成像设备20中所安装的图像传感器的成像表面分隔为各自具有预定大小的块，针对每一所分隔的块而仅驱动块中所包含的像素中基于采样函数(下文将详细描述)而随机选择的像素，并通过对所驱动的像素所获取的像素信号执行预定算术运算而产生并输出一个值(下文中，称为CS数据)。因此，当执行CS读取时，可从通过分隔图像传感器的成像表面而获取的每一块获取CS数据。
在成像设备20中执行CS读取的状况下，与执行正常读取的状况相比，将驱动的像素的数量可减小，并且因此，电力消耗可受到抑制。此外，经由网络11而传输到确定服务器30的数据量可减小。
此外，成像设备20直接从通过CS读取获取的CS数据执行特征检测(存在人物、面部的区域的检测)，仅切出检测到人物、面部等的区域的CS数据，并经由网络11而将所切出的CS数据传输到确定服务器30。
此外，成像设备20可切出检测到人物、面部等的区域的像素信号，并经由网络11而将所切出的像素信号传输到确定服务器30。因此，下一级中所设置的确定服务器30等也可执行视频分析，从而获取较精细的视频，例如，人物表情等的检测。
确定服务器30从经由网络11而从成像设备20传输的检测到人物、面部等的区域的CS数据重新配置图像，并对重新配置的图像执行身份确定处理。
行为分析设备12基于由确定服务器30执行的身份确定处理的结果而执行作为对象的人物的行为分析处理等。
<成像设备20和确定服务器30的第一配置实例>
接着，图2图示成像设备20和确定服务器30的第一配置实例。应注意，在图2中，虽然仅图示一个成像设备20，但实际上，多个成像设备20经由网络11而连接到确定服务器30。
第一配置实例的成像设备20由采样函数存储单元21、像素控制单元22、图像传感器23、图像传感器输出存储单元24、特征检测单元25以及区域切出单元26配置而成。
采样函数存储单元21存储多个不同采样函数，并且响应于来自像素控制单元22的请求而将所存储的采样函数供应到像素控制单元22。
采样函数是矩阵数据或具有等同于矩阵数据的含义的格式的数据，用于表示分隔图像传感器23的成像表面的每一块中所包含的像素中将驱动的像素的位置。应注意，在第一配置实例的成像设备20中，公用采样函数应用到图像传感器23的所有块。
像素控制单元22控制图像传感器23的驱动(曝光和读取每一像素)。更具体来说，像素控制单元22通过将公用采样函数应用到图像传感器23的每一块而驱动对应像素，因此控制图像传感器23的CS读取。
图像传感器23通过根据来自像素控制单元22的控制来驱动像素等而产生每一块的CS数据，并同时或依序将每一块的所产生的CS数据输出到图像传感器输出存储单元24。
图像传感器输出存储单元24存储从图像传感器23输入的每一块的CS数据。应注意，图像传感器输出存储单元24中所存储的所有块中的每一个的CS数据是通过应用公用采样函数来获取，并且因此可被视为在图像传感器23的所有像素被驱动的状况下获取的图像的缩减图像。因此，下文中，存储在图像传感器输出存储单元24中的通过应用公用采样函数而获取的每一块的CS数据将也被一起称为缩减图像。
特征检测单元25对作为目标的存储在图像传感器输出存储单元24中的缩减图像执行例如检测具有例如人物或面部等特征的区域的特征检测处理，并向区域切出单元26通知检测到人物、面部等的区域。区域切出单元26根据来自特征检测单元25的通知而仅从图像传感器输出存储单元24中所存储的缩减图像切出检测到特征的区域，并经由网络11而将区域传输到确定服务器30。
应注意，现有技术可应用到特征检测单元25所执行的特征检测处理。例如，可应用一种检测技术，其中预先使用统计(学习)技术而产生多个模板，其中所述模板各自具有人物的面部和外貌的部分色调图案等粗略的结构；并且将缩减图像与这些模板之间的匹配度求和以进行检测。根据此技术，特征检测是基于粗略结构来执行，并且因此容易也从缩减图像检测特征。
更具体来说，在图像传感器23中，例如，每帧应用四种不同类型的采样函数以获取四个缩减图像，并且在特征检测处理中，针对每一采样函数而预备已预先学习的四种类型的模板。接着，针对每一输入缩减图像而调查与所学习的模板的匹配程度，并且针对每一块而确定希望检测的对象(例如，人物)的可能性。将此确定的结果作为对应于块的数量的位图图像来存储，并且在对应于下一不同采样函数的缩减图像的确定中，参考所存储的位图图像，并且仅将前一缩减图像的确定中检测到的区域视为调查与模板的匹配程度的目标。因此，特征检测处理的量可减小。
同时，第一配置实例的确定服务器30例如从传输自每一成像设备20的CS数据重新配置整体图像，作为对象的移动路线分析的初步信息，并且通过将重新配置的整体图像相互对照或通过执行与确定数据库中所存储的过去历史的对照来执行身份确定处理。此外，传输到确定服务器30的CS数据是已在成像设备20侧上执行特征检测处理(例如，面部检测处理等)的数据，并且因此，不需要在确定服务器30中执行高负载处理(例如，从大量视频数据搜索人物的处理)，并且可着重于身份确定处理。
然而，因为检测到特征的区域的CS数据是从缩减图像切出并且传输到确定服务器30，并且因此，在执行身份确定处理之前，从类似于正常读取时的输出的CS数据重新配置整体图像的处理是必要的。此外，根据CS的原理，已知整体图像可通过使用与成像设备20所应用的采样函数相同的采样函数来重新配置。
确定服务器30由成像设备输出存储单元31、图像重新配置单元32、采样函数存储单元33、身份确定单元34、确定数据库(DB)35和确定结果DB36配置而成。
在成像设备输出存储单元31中，存储了从缩减图像切出的区域的CS数据，所述CS数据是经由网络11而从多个成像设备20传输的。图像重新配置单元32从采样函数存储单元33获取与成像设备20在执行CS读取时所使用的采样函数相同的采样函数。此外，图像重新配置单元32基于采样函数而从存储在成像设备输出存储单元31中的缩减图像切出的区域的CS数据恢复整体图像。
与成像设备20的采样函数存储单元33类似的采样函数存储单元33存储多个采样函数，并响应于来自图像重新配置单元32的请求而供应采样函数。身份确定单元34通过将从每一成像设备20供应的被重新配置的整体图像相互对照或执行与确定DB 35中所存储的过去历史的对照来执行已检测到的面部等的身份确定处理，并将确定的结果登记在确定结果DB 36中。此外，登记在确定结果DB 36中的身份确定的结果用作由行为分析设备12执行的对象的相同路线分析处理的初步信息。
<图像传感器23的详细配置实例>
接着，图3图示图像传感器23的成像表面以块为单位而分隔的状态。
如本图所图示，在图像传感器23的成像表面40上，将入射光转换为电信号的许多像素42以二维格栅图案布置。成像表面40以各自由K×L个像素形成的块为单位而分隔为M×N个块。
<像素42的第一配置实例>
图4图示对应于图像传感器23的成像表面40上所布置的像素42的第一配置实例的等效电路。
在像素42中，形成了经由光电转换而将入射光转换为电信号的光电二极管(PD)421，并且浮动扩散部(FD)423经由传送开关422而连接到PD 421。
FD 423连接到读取AMP 424的栅极，并且读取AMP 424经由行选择开关426而连接到读取信号线51。此外，FD 423还连接到复位开关425。读取信号线51连接到处于像素42外的列选择开关52。
在像素42的第一配置实例中，当传送信号T施加到传送开关422时，PD421中所积累的电荷传输到FD 423。接着，当SR施加到行选择开关426时，并且同时当列选择信号SC施加到列选择开关52时，FD 423的电位由读取放大器424放大，并且所放大的信号是从读取信号线51读取。此外，当复位信号R施加到复位开关425时，FD 423的电位复位为电源的电位。
<图像传感器23的第一配置实例>
图5图示图像传感器23的第一配置实例。然而，本图仅图示通过将成像表面40分隔为M×N个块而获取的一个块41以及与其连接的像素控制信号线、像素信号读取线和外围电路，并且图示了16(＝4x4)个像素包含在块41中的状况。
图像传感器23内所设置的所有像素42是根据经由行选择信号线(行选择)、传送信号线(传送)、列选择信号线(列选择)和复位信号线(复位)从像素控制单元22通知的控制信号来驱动。
此处，属于同一行的像素共享行选择信号线、传送信号线以及复位信号线。公用读取信号线(读取)51连接到属于同一列的像素，并且列选择信号线通过使用列选择开关52而控制对应列的读取信号线51。因此，每一像素42被控制为像素信号的读取目标，或并不使用行选择信号线和列选择信号线根据X-Y寻址来控制。
此外，属于同一块41的所有像素42经由以列为单位公用的读取信号线51和列选择开关(SW)52而连接到针对每一块布置的模拟加法器53。ADC54在模拟加法器53的下一级针对每一块而布置。
在图像传感器23的第一配置实例中，由行选择信号线和列选择信号线选择的像素42的像素信号由针对每一列而布线的读取信号线51读取。在同一定时读取的像素信号由模拟加法器53相加，并且模拟加法器53的输出由ADC54依序相加作为数字数据。
<图像传感器23的输出>
接着，图6图示采样函数、每一块的输出值以及图像传感器的输出数据格式之间的关系。
如上所述，块中所包含的像素中像素信号被读取和相加的像素是使用采样函数来控制的。换句话说，像素控制单元22基于采样函数来产生并输出行选择信号、列选择信号和复位信号。
下文中，将构成一个块的K×L个像素是4×4个像素的状况作为实例来描述。在某块的像素的像素值是x＝[x1,x2,···,x16]的状况下，应用到块的采样函数是A＝[a1,a2,···,a16]，并且块的输出值(即，CS数据)是y，如图6所图示的此关系是y＝Ax，并且块的一个输出值y是对应于采样函数的一个行向量来确定的。
在图像传感器23中，在某时间，所有块41公用的采样函数A被应用，并且此时的输出值y是从每一块41获取。此外，因为来自图像传感器23中的ADC 54的信号输出线针对每一块而分开，所以通过执行对于所有块41来说同步的控制，一个输出值y可以是同时从所有块41中的每一个获取。换句话说，可获取具有二维阵列样式的M×N个输出值y。
此处，虽然采样函数A可被视为构成块41的4×4个像素的任意系数的再采样滤波器，但公用采样函数应用到所有块41，并且因此，从所有块41输出的M×N个输出值y是在来自整体图像的M×N个二维格栅点上执行某公用再采样的数据。因此，M×N个输出值y可被视为M×N个像素的缩减图像。
像素控制单元22和图像传感器23可在采样函数A之间的切换得以执行时以时间序列连续执行上述操作。
图7图示以时间序列连续切换的采样函数、每一块的输出值以及图像传感器的输出数据格式之间的关系。在本图的状况下，以时间序列连续切换的四种类型的采样函数A1＝[a11,a12,···,a116]、A2＝[a21,a22,···,a216]、A3＝[a31,a32,···,a316]和A4＝[a41,a42,···,a416]被一起表示为4行×16列的矩阵方程式A。
采样函数A1、A2、A3和A4的输出值y是[y1,y2,y3,y1]，它们各自是M×N二维阵列数据(缩减图像)。
<基于采样函数A的具体像素控制>
接着，将描述基于采样函数A的具体像素控制。
在采样函数A的每一行向量中，可存在至少一个元素“1”，并且剩余元素可以是“0”。
图8是在构成块41的16个像素中选择并读取一个像素并且所述一个像素由以时间序列依序应用的四种类型(对应于四行)的行向量配置的状况的采样函数A的实例。在应用此采样函数A的状况下，以时间序列读取并输出构成块41的16个像素中的一个像素以对应于四个像素。
图9图示由像素控制单元22基于图8所图示的采样函数A而执行的控制的外观。
换句话说，这对应于图8所图示的采样函数A的第一行的“0 0 0 0 0 0 0 0 0 0 00 1 0 0 0”，并且如图9的A所图示，每一块41中的第四行的行选择信号线以及第一列的列选择信号线变得起作用，并且4×4个像素中，定位在第四行和第一列中的一个像素被选择。此外，四个列选择开关52中的第一列的列选择开关和ADC 54被驱动。因此，4×4个像素中定位在第四行和第一列中的一个像素的像素值作为数字信号而输出。
在下一定时，类似控制对应于图8所图示的采样函数A的第二行的“0 0 0 0 0 0 10 0 0 0 0 0 0 0 0”而执行，并且如图9的B所图示，每一块41的4×4个像素中定位在第二行和第三列中的一个像素、四个列选择开关52中的第三列的列选择开关和ADC 54被驱动。因此，4×4个像素中定位在第二行和第三列中的一个像素的像素值作为数字信号而输出。
在下一定时，类似控制对应于图8所图示的采样函数A的第三行的“0 0 0 0 0 0 00 0 1 0 0 0 0 0 0”而执行，并且如图9的C所图示，每一块41的4×4个像素中定位在第三行和第二列中的一个像素、四个列选择开关52中的第二列的列选择开关和ADC 54被驱动。因此，4×4个像素中定位在第三行和第二列中的一个像素的像素值作为数字信号而输出。
在下一定时，类似控制对应于图8所图示的采样函数A的第四行的“0 0 0 1 0 0 00 0 0 0 0 0 0 0 0”而执行，并且如图9的D所图示，每一块41的4×4个像素中定位在第一行和第四列中的一个像素、四个列选择开关52中的第四列的列选择开关和ADC 54被驱动。因此，4×4个像素中定位在第一行和第四列中的一个像素的像素值作为数字信号而输出。
图10是在构成块41的16个像素中选择并读取六个像素的状况的采样函数A的实例，并且在本图的状况下，仅图示一种类型(对应于一行)的行向量。在应用此采样函数A的状况下，读取构成块41的16个像素中的六个像素并将其相加以进行输出。
图11图示由像素控制单元22基于图10所图示的采样函数A而驱动的像素42等。
如同在图10所图示的采样函数A的状况下，在从同一列读取两个或更多个像素的状况下，执行像素的读取以根据块41的行的数量而划分为四个阶段。
换句话说，在第一阶段中，这对应于图10所图示的采样函数A的行向量中的第一列到第四列的元素“1 0 1 0”，并且如图11的A所图示，每一块41中的第一行的行选择信号线以及第一列和第三列的列选择信号线变得起作用，并且4×4个像素中，定位在第一行和第一列中以及第一行和第三列中的两个像素被选择。此外，四个列选择开关52中的第一列和第三列的列选择开关、模拟加法器53和ADC 54被驱动。因此，4×4个像素中定位在第一行和第一列中以及第一行和第三列中的两个像素的像素值被转换为数字信号，并且数字值存储在ADC 54内所布置的计数器中。
在第二阶段中，类似控制对应于图10所图示的采样函数A的行向量中的第五列到第八列的元素“0 0 1 0”而执行，并且如图11的B所图示，4×4个像素中，定位在第二行和第三列中的一个像素被选择。此外，四个列选择开关52中的第三列的列选择开关、模拟加法器53和ADC 54被驱动。因此，4×4个像素中定位在第二行和第三列中的一个像素的像素值被转换为数字信号，并且数字值加入到ADC 54内所布置的计数器并存储在其中。
在第三阶段中，类似控制对应于图10所图示的采样函数A的行向量中的第九列到第十二列的元素“0 1 0 0”而执行，并且如图11的C所图示，4×4个像素中，定位在第三行和第二列中的一个像素被选择。此外，四个列选择开关52中的第二列的列选择开关、模拟加法器53和ADC 54被驱动。因此，4×4个像素中定位在第三行和第二列中的一个像素的像素值被转换为数字信号，并且数字值加入到ADC 54内所布置的计数器并存储在其中。
最终，在第四阶段中，类似控制对应于图10所图示的采样函数A的行向量中的第十三列到第十六列的元素“1 0 0 1”而执行，并且如图11的D所图示，4×4个像素中，定位在第四行和第一列中以及第四行和第四列中的两个像素被选择。此外，四个列选择开关52中的第一列和第三列的列选择开关、模拟加法器53和ADC 54被驱动。因此，4×4个像素中定位在第四行和第一列中以及第四行和第四列中的两个像素的像素值被转换为数字信号，并且数字值加入在ADC 54内所布置的计数器中并输出到下一级。
<图像传感器23的第二配置实例>
接着，图12图示图像传感器23的第二配置实例。在此第二配置实例中，针对图5所图示的第一配置实例，列选择开关52被替换为列选择开关61，并且模拟正负号反转器62被添加。相同附图标记被指派给与第一配置实例公用的配置元件，并且因此，视需要，其描述将不进行呈现。
列选择开关61具有连接到模拟加法器53和模拟正负号反转器62的输出侧，并经由列选择信号根据来自像素控制单元22的控制而将从像素42读取的像素信号输出到模拟加法器53或模拟正负号反转器62。模拟正负号反转器62具有连接到模拟加法器53的输出侧，并将负号与输入像素信号相加且将所得信号输出到模拟加法器53。
根据被添加模拟正负号反转器62的图像传感器23的第二配置实例，构成块41的16个像素中对应于采样函数A的像素的像素信号被读取，像素信号的加法或减法得以执行，并且接着所得信号可作为数字信号而输出。
图13图示可应用到图像传感器23的第二配置实例的采样函数A的实例。在本图所图示的采样函数A的行向量的元素中，针对对应于“1”的像素而读取像素值并加上所述像素值，针对对应于“-1”的像素而读取像素值并减去所述像素值，并且未针对对应于“0”的像素而读取像素值(未进行驱动)。
图14图示由像素控制单元22基于图13所图示的采样函数A而驱动的像素42等。
如同在图13所图示的采样函数A的状况下，在从同一列读取两个或更多个像素的状况下，执行像素的读取以根据块41的行的数量而划分为四个阶段。
换句话说，在第一阶段中，这对应于图13所图示的采样函数A的行向量中的第一列到第四列的元素“1-1 0 0”，并且如图14的A所图示，每一块41中的第一行的行选择信号线以及第一列和第二列的列选择信号线变得起作用，并且4×4个像素中定位在第一行和第一列中以及第一行和第二列中的两个像素被选择。此外，第一列的列选择开关61的输出目的地是模拟加法器53，并且第二列的列选择开关61的输出目的地是模拟正负号反转器62。此外，模拟加法器53、模拟正负号反转器62和ADC 54被驱动。因此，在通过负反转定位在第一行和第三列中的像素的正负号而获取的像素值与4×4像素中定位在第一行和第一列中的像素的像素值相加之后，所得值转换为数字信号并存储在ADC 54内所设置的计数器中。
接着，在第二阶段中，类似控制对应于图13所图示的采样函数A的行向量中的第五列到第八列的元素“0-1 0-1”而执行，并且如图14的B所图示，4×4个像素中，定位在第二行和第二列中以及第二行和第四列中的两个像素被选择。此外，第二列和第四列的列选择开关61的输出目的地是模拟正负号反转器62。此外，模拟加法器53、模拟正负号反转器62和ADC 54被驱动。因此，在通过负反转定位在第二行和第四列中的像素的正负号而获取的像素值与通过负反转4×4像素中定位在第二行和第一列中的像素的正负号而获取的像素值相加之后，所得信号转换为数字信号，并且加入到ADC 54内所设置的计数器并存储在其中。
在第三阶段中，类似控制对应于图13所图示的采样函数A的行向量中的第九列到第十二列的元素“0 0 1 0”而执行，并且如图14的C所图示，4×4个像素中，定位在第三行和第三列中的一个像素被选择。此外，第三列的列选择开关61的输出目的地是模拟加法器53。此外，模拟加法器53、模拟正负号反转器62和ADC 54被驱动。因此，4×4个像素中定位在第三行和第三列中的像素的像素值被转换为数字信号，并且加入到ADC 54内所布置的计数器并存储在其中。
最终，在第四阶段中，类似控制对应于图13所图示的采样函数A的行向量中的第十三列到第十六列的元素“-1 0 0 1”而执行，并且如图14的D所图示，4×4个像素中，定位在第四行和第一列以及第四行和第四列中的两个像素被选择。此外，第一列的列选择开关61的输出目的地是模拟正负号反转器62，并且第四列的列选择开关61的输出目的地是模拟加法器53。此外，模拟加法器53、模拟正负号反转器62和ADC 54被驱动。因此，定位在第四行和第四列中的像素的像素值与通过负反转4×4像素中定位在第四行和第一列中的像素的正负号而获取的像素值相加，所得值转换为数字信号并加入到ADC 54内所设置的计数器，并且所得值输出到下一级。
<根据图2所图示的第一配置实例的成像设备20的操作的描述>
接着，图15是描述根据图2所图示的第一配置实例的成像设备20的操作的流程图。
在步骤S1中，像素控制单元22从采样函数存储单元21获取在确定服务器30侧上预先确定的采样函数，并且根据所获取的采样函数来驱动图像传感器23。因此，缩减图像(每M×N个块的CS数据)从图像传感器23输出，并存储在图像传感器输出存储单元24中。
在步骤S2中，特征检测单元25对作为目标的存储在图像传感器输出存储单元24中的缩减图像执行例如检测存在人物、面部等的特征的区域的特征检测处理，并向区域切出单元26通知检测到人物、面部等的区域。
在步骤S3中，区域切出单元26根据来自特征检测单元25的通知而仅从图像传感器输出存储单元24中所存储的缩减图像切出检测到人物、面部等的区域，并经由网络11而将所切出的区域传输到确定服务器30。如上所述，对应于一帧的第一配置实例中的成像设备20的操作结束。
如上所述，在第一配置实例中的成像设备20中，根据采样函数的CS读取得以执行，并且因此，电力消耗可受到抑制。此外，在通过CS读取获取的缩减图像中，仅检测到特征的区域被传输到确定服务器30。因此，与使用图像传感器23经由正常成像获取的整体图像直接传输到确定服务器30的状况相比，数据通信量可显著减小。
此外，虽然图像重新配置处理在确定服务器30侧上是必要的，但身份确定处理可再次在不执行特征检测处理的情况下执行，并且因此，确定服务器30侧的处理负载可减小。
<成像设备20和确定服务器30的第二配置实例>
接着，图16图示成像设备20和确定服务器30的第二配置实例。应注意，在此第二配置实例的构成元件中，相同附图标记被指派给与图2所图示的第一配置实例公用的配置元件，并且因此，视需要，其描述将不进行呈现。
根据图2所图示的第一配置实例的成像设备20通过对图像传感器23的所有块应用公用采样函数而执行CS读取，并获取缩减图像。
与这相比，根据第二配置实例的成像设备20未必需要对所有块应用公用采样函数，并且可对具体块应用与公用采样函数不同的采样函数。
例如，在行为分析侧上，在将分析所检测的人物的精细表情的状况下，仅在人物的面部区域中，存在不需要CS数据而是需要包含所有像素的像素值的图像数据的状况。根据此状况，根据第二配置实例的成像设备20可应用表示检测到特征(面部等)的区域的块的所有像素的读取的采样函数。
根据第二配置实例的成像设备20由采样函数存储单元21、像素控制单元22、图像传感器23、图像传感器输出存储单元24、再采样单元71、缩减图像存储单元72、特征检测单元73以及区域切出单元26配置而成。
采样函数存储单元21存储多个不同采样函数，并且响应于来自像素控制单元22或再采样单元71的请求而供应所存储的采样函数。
应注意，共同应用到图像传感器23的每一块的采样函数以及应用到具体块的采样函数(例如，块内的所有像素的读取)被供应到像素控制单元22。另一方面，共同应用到图像传感器23的每一块的采样函数被供应到再采样单元71。
像素控制单元22控制图像传感器23的驱动(曝光和读取每一像素)。更具体来说，像素控制单元22仅驱动图像传感器23的每一块中对应于公用采样函数的像素，因此控制图像传感器23的CS读取。此外，在第二配置实例的状况下，像素控制单元22可将除共同应用到其它块的采样函数之外的采样函数应用到具体块。更具体来说，例如，用于读取所有像素的采样函数可应用到设置在从特征检测单元73通知的检测到特征的区域的周边上的块。
通过根据来自像素控制单元22的控制来驱动像素等，图像传感器23将每一块的CS数据输出到图像传感器输出存储单元24。
图像传感器输出存储单元24存储从图像传感器23输入的每一块的CS数据。然而，在第二配置实例的状况下，因为存在未应用公用采样函数的状况，所以图像传感器输出存储单元24中所存储的每一块的CS数据无法被视为缩减图像。
再采样单元71获取图像传感器输出存储单元24中所存储的每一块的CS数据，执行将公用采样函数应用到从采样函数存储单元21获取的每一块的CS数据的再采样处理，并将所述处理的结果存储在缩减图像存储单元72中。
因此，因为应用了公用采样函数，所以缩减图像存储单元72中所存储的再采样处理的结果可被视为缩减图像。此外，在图像传感器输出存储单元24中所存储的每一块的CS数据中，针对被应用公用采样函数的CS数据，可省去再采样处理。
特征检测单元73例如通过执行与图2所图示的特征检测单元25的特征检测处理类似的特征检测处理，针对作为目标的存储在缩减图像存储单元72中的缩减图像，检测具有例如人物或面部等特征的区域，并向区域切出单元26和像素控制单元22通知检测到人物、面部等的区域。
区域切出单元26根据来自特征检测单元25的通知而切出对应于检测到人物、面部等的区域的存储在图像传感器输出存储单元24中的每一块的CS数据，并经由网络11而将所切出的区域传输到确定服务器30。
然而，针对图像传感器输出存储单元24中所存储的每一块的CS数据，具体块(在先前特征检测处理中检测到特征的区域的周边的块)的CS数据是属于所述块的所有像素的像素值。因此，属于检测到特征的区域的块的所有像素的像素值被传输到确定服务器30。
因此，根据第二配置实例的确定服务器30中的图像重新配置处理是不必要的，并且因此，根据第二配置实例的确定服务器30可采用通过从根据图2所示的第一配置实例的确定服务器30省去图像重新配置单元32和采样函数存储单元33而获取的配置。根据第二配置实例的确定服务器30的其它构成元件类似于第一配置实例，并且因此，其描述将不进行呈现。
<指导全像素读取的采样函数的实例>
图17图示由像素控制单元22应用到具体块的采样函数的实例，其中所述采样函数不同于共同应用到其它块的采样函数。
在16行和16列的此采样函数A中，仅每一行向量的一个元素具有值“1”，并且另外15个元素具有值“0”。通过依序应用这16种类型的行向量(1行×16列的采样函数)，所有像素可以是从被应用此采样函数的块读取。
图18图示由像素控制单元22基于图17所图示的采样函数A而执行的控制的外观。
换句话说，这对应于图17所图示的采样函数A的第一行的“1 0 0 0 0 0 0 0 0 00 0 0 0 0 0”，并且如图18的A所图示，对应块41的第一行的行选择信号线以及第一列的列选择信号线变得起作用，并且4×4个像素中，定位在第一行和第一列中的一个像素被选择。此外，四个列选择开关52中的第一列的列选择开关和ADC 54被驱动。因此，4×4个像素中定位在第一行和第一列中的一个像素的像素值作为数字信号而输出。
在下一定时，类似控制对应于图17所图示的采样函数A的第二行的“0 1 0 0 0 00 0 0 0 0 0 0 0 0 0”而执行，并且如图18的B所图示，对应块41的4×4个像素中定位在第一行和第二列中的一个像素、四个列选择开关52中的第二列的列选择开关和ADC 54被驱动。因此，4×4个像素中定位在第一行和第二列中的一个像素的像素值作为数字信号而输出。
在下一定时，类似控制对应于图17所图示的采样函数A的第三行的“0 0 1 0 0 00 0 0 0 0 0 0 0 0 0”而执行，并且如图18的C所图示，对应块41的4×4个像素中定位在第一行和第三列中的一个像素、四个列选择开关52中的第三列的列选择开关和ADC 54被驱动。因此，4×4个像素中定位在第一行和第三列中的一个像素的像素值作为数字信号而输出。
在下一定时，类似控制对应于图17所图示的采样函数A的第四行的“0 0 0 1 0 00 0 0 0 0 0 0 0 0 0”而执行，并且如图18的D所图示，对应块41的4×4个像素中定位在第一行和第四列中的一个像素、四个列选择开关52中的第四列的列选择开关和ADC 54被驱动。因此，4×4个像素中定位在第一行和第四列中的一个像素的像素值作为数字信号而输出。
针对后续定时，虽然描述和图示被省去，但对应块41的4×4个像素中的一个像素的像素值类似地作为数字信号而输出。
然而，在根据如图17所图示应用到具体块的采样函数A而驱动的块以及根据如图8所图示共同应用到除具体块之外的采样函数A而驱动的块中，将读取的像素的数量是不同的，并且在块内选择每一行的次数是不同的，并且因此控制无法在块之间同步。例如，在全像素读取的块中，ADC需要以若干倍的速度(例如，针对图18所图示的实例的比，四倍)驱动。
然而，虽然行选择信号线和列选择信号线是在块之间分享，但ADC是针对每一块而设置。通过此举，给出选择控制信号的定时以块的行为单位延迟，而不使所有块同步，并且因此，仅用于具体块的全像素读取的控制信号可被输出。此外，通过根据此举以高速驱动块的ADC，根据相互不同的采样函数驱动的块可混合。此外，也通过以块为单位延迟给出选择控制信号的定时，根据相互不同的采样函数驱动的块可混合。
<根据图16所图示的第二配置实例的成像设备20的操作的描述>
接着，图19是描述根据图16所图示的第二配置实例的成像设备20的操作的流程图。
此处，作为前提，假设根据先前特征检测处理而检测到特征的区域预先从特征检测单元73通知给像素控制单元22。
在步骤S11中，像素控制单元22从采样函数存储单元21获取应用到具体块的采样函数以及共同应用到除具体块之外的块的采样函数，并根据所获取的采样函数而驱动图像传感器23。因此，每一块的CS数据从图像传感器23输出，并存储在图像传感器输出存储单元24中。
在步骤S12中，再采样单元71获取图像传感器输出存储单元24中所存储的每一块的CS数据，并从采样函数存储单元21获取将共同应用到图像传感器23的每一块的采样函数。此外，再采样单元71将公用采样函数应用到每一块的所获取的CS数据以产生缩减图像，并将所产生的缩减图像存储在缩减图像存储单元72中。
在步骤S13中，特征检测单元73对作为目标的存储在缩减图像存储单元72中的缩减图像执行例如检测存在人物、面部等的特征的区域的特征检测处理，并向区域切出单元26和像素控制单元22通知检测到人物、面部等的区域。
在步骤S14中，区域切出单元26根据来自特征检测单元73的通知而仅从图像传感器输出存储单元24中所存储的每一块的CS数据切出对应于检测到人物、面部等的区域的CS数据，并经由网络11而将所切出的CS数据传输到确定服务器30。此处，在图像传感器输出存储单元24中所存储的每一块的CS数据中，具体块(设置在先前特征检测处理中检测到特征的区域的周边上的块)的CS数据是属于所述块的所有像素的像素值。因此，属于检测到特征的区域的块的所有像素的像素值被传输到确定服务器30。如上所述，对应于一帧的根据第二配置实例的成像设备20的操作结束。
如上所述，在根据第二配置实例中的成像设备20中，根据采样函数的CS读取得以执行，并且因此，电力消耗可受到抑制。此外，针对检测到特征的区域，所有像素的像素值被传输到确定服务器30，并且因此，与经由图像传感器23的正常成像获取的整体图像直接传输到确定服务器30的状况相比，数据通信量可显著减小。
此外，在确定服务器30侧上，身份确定处理可再次在不执行特征检测处理的情况下使用检测到特征的区域的所有像素的像素值来执行，并且因此，除了确定服务器30侧的处理负载的减小之外，还可执行较详细的图像分析或较详细的行为分析。
<像素42的第二配置实例>
图20图示对应于图像传感器23的成像表面40上所布置的像素42的第二配置实例的等效电路。
在像素42的第二配置实例中，图4所图示的第一配置实例的传送开关422被替换为多位传送开关4221和4222，并且其它构成元件与第一配置实例公用，并且相同附图标记被指派给这些构成元件。
在图4所图示的第一配置实例中，当基于采样功能而读取所选择的像素时，未被选择的像素被复位，并且其中所积累的电荷无法被读取。
在第二配置实例中，仅在行传送信号TR和列传送信号TC同时施加到传送开关4221和4222的状况下，PD 421中所积累的电荷被传输到FD 423。以此方式，在未复位未基于采样函数来选择的像素的情况下，在基于稍后应用的采样函数而选择像素的状况下，可读取所积累的电荷。
图21图示横截面图，所述横截面图图示像素42的MOSFET的结构。此外，本图的A对应于图4所图示的像素42的第一配置实例，并且本图的B对应于图20所图示的像素42的第二配置实例。
图21的A和图21的B公用的是，MOSFET通过以下方式形成：在源极和漏极中布置具有相同性质(在本图的状况下，N型)的半导体，并在栅极正下方的沟道区域中布置具有相反特性(在本图的状况下，P型)的半导体。
通过将金属电极设置在每一区域中，源极具有电流的入口的功能，漏极具有出口的功能，并且栅极具有控制电流的流动的栅极的功能。在电压未施加到栅极的状况下，具有不同特性的半导体介入在源极与漏极之间的结构得以形成，并且源极和漏极相互电绝缘。相比之下，在电压施加到栅极的状况下，自由电子被吸引到设置在栅极正下方的沟道区域中。出于此原因，一种状态形成，其中自由电子在连接源极与漏极的所有路径中是丰富的，并且电流可容易流动。
在本图的B中，栅极1和2对应于第二配置实例中的传送开关4221和4222。在第二配置实例中，仅在电压同时施加到传送开关4221和4222的状况下，电流可容易流动。
<对应于像素42的第二配置实例的图像传感器的配置实例>
图22图示对应于像素42的第二配置实例的图像传感器的配置实例(第三配置实例)。
在第三配置实例中，图5所图示的第一配置实例中的传送信号线(传送)被替换为连接到每一像素42的多位传送开关4221和4222的行传送信号线(行传送)和列传送信号线(列传送)，并且相同附图标记被指派给其它公用构成元件中的每一个。
在图像传感器23的第三配置实例中，通过不施加未被选择的列的列传送信号，未被选择的像素42的所积累的电荷可存储在PD 421中。接着，在同一行的读取的下一定时，PD421中所存储的电荷可被传输到FD 423，以便读取。
此外，在图像传感器23的第三配置实例中，在相同传送信号恒定地从行传送信号线和列传送信号线输出的状况下，可执行与图5所图示的第一配置实例相同的操作。
如上所述，根据像素42的第二配置实例以及与其对应的图像传感器23的第三配置实例，图像传感器23的每一像素42可在任意定时传输PD 421的所积累的电荷，而不限于FD423的复位定时。通过使用此举，可在任意曝光时间对每一像素的像素信号进行采样。换句话说，每一像素的像素信号可在时间和空间上随机相加。
此处，为了进行比较，图23图示每一像素的像素信号在时间和空间上随机地采样的状况的采样函数的实例，其中所述采样函数可应用到像素42的第一配置实例以及与其对应的图像传感器23的第一配置实例。
在下文呈现的描述中，如本图的A所图示，一个块假设被分隔为3×3个像素。本图的B将采样函数图示为定时图，行表示每一像素的采样定时，并且采样是在每一有色方块处执行。列表示采样定时。在本图的B的状况下，对应于一帧的数据(实线分隔)被采样5次(虚线分隔)，并且对应于三帧的总计15次采样得以执行。应注意，以三行为单位的列的略微偏离表示来自像素42的像素信号的每一行的读取通过使用焦平面读取而在时间上略微偏离。然而，因为时间差小于1H，所以构成一个块的九个像素的读取可被认为是同时执行。
如上所述，在像素42的第一配置实例中，针对每一采样定时，PD 421的所积累的电荷被复位，而不管所有像素42中的每一个是否被选择(读取)。出于此原因，例如，即使在多次采样对第一帧中的像素P11和P22连续执行的状况下，在每一次，仍必须复位并执行采样。因此，必须对第一帧的像素P11执行三次采样，并对像素P22执行五次采样。
图24图示对应于图23的B所图示的定时图的矩阵表示的采样函数。如本图所图示，因为对三个帧执行总计15次采样，所以采样函数被一起表示为15行和9列的矩阵，这表示各自包含九个元素的15行向量。
接着，图25图示像素的像素信号在时间和空间上随机地相加的状况的采样函数的实例，其中所述采样函数可应用到像素42的第二配置实例以及与其对应的图像传感器23的第三配置实例。
在图25所图示的状况下，类似于图23，虽然对应于一帧的数据(实线分隔)可被采样5次(虚线分隔)，并且最多总计15次采样可针对三帧来执行，但采样可连续执行而未复位，并且因此，任何像素可在帧内被采样一次。
换句话说，在像素42的第二配置中，可控制PD 421的所积累的电荷是否被传输，而不管像素42是否被选择以进行读取，并且因此，连续周期的所积累的电荷不需要在每一周期传输，而是可在周期结束时一起传输以进行读取。
图26图示对应于图25所图示的定时图的矩阵表示的采样函数。在本图中，除“1”之外的系数，例如，定位在第四行和第一列中的“3”表示在采样间隔是“1”的状况下，持续达三次曝光周期的曝光周期的信号被采样。
<像素42的第三配置实例>
接着，图27图示对应于图像传感器23的成像表面40上所布置的像素42的第三配置实例的等效电路图。
在像素42的第三配置实例中，图20所图示的第二配置实例的复位开关425被替换为多位复位开关4251和4252，并且其它构成元件与第二配置实例公用，并且相同附图标记被指派给这些构成元件。
在第三配置实例中，可控制FD 423是否针对每一像素来复位，而不管像素是否被选择为用于信号读取的目标。通过使用此举，例如，在被图示为图25中的定时图的采样函数中，如果全像素复位仅在每一帧的曝光周期的结束时应用，那么通过在空间上将帧内的不同周期中曝光的块内的像素相加而获取的信号可被读取。在此状况下，采样函数的矩阵表示如图28所图示。
此外，在此状况下，因为读取是对针对每一帧而相加的块内的像素执行，所以每帧的输出值是一个值，并且对应于输出值的采样函数的行向量是具有45个(9像素×5周期)元素的向量，这是帧内的采样单元的总数。
<像素42的第四配置实例>
接着，图29图示对应于图像传感器23的成像表面40上所布置的像素42的第四配置实例的等效电路图。
在像素42的第四配置实例中，图27所图示的第三配置实例的行选择开关426被替换为多位选择开关4261和4262，并且列选择开关52停止，并且连接到列选择开关52的列选择信号线SC连接到选择开关4262。其它构成元件与第三配置实例公用，并且相同附图标记被指派给这些构成元件。
像素42的第四配置实例可类似于图27所图示的第三配置实例而操作。
<作为实施例的相机监视系统的应用实例>
作为此实施例的相机监视系统例如可应用到检测可疑人物的安全系统、分析工厂中的工人或商店中的购物顾客的行为的系统等。
此外，本公开的实施例不限于上文所述的实施例，并且可在范围上进行各种改变，而不偏离本公开的概念。
本公开也还可采用以下配置。
(1)
一种成像设备，包含：
图像传感器，包含许多像素垂直地且水平地布置的成像表面；
像素控制单元，控制所述图像传感器，针对通过将所述图像传感器的所述成像表面分隔为多个块而获取的每一块，通过应用采样函数而在构成块的像素中选择对应于所述采样函数的像素，并基于所述所选择的像素的像素值而输出采样信号；以及
缩减图像产生单元，基于从所述图像传感器输出的每一块的所述采样信号而产生缩减图像。
(2)
根据(1)的成像设备，其中所述图像传感器根据来自所述像素控制单元的控制，在构成所述块的所述像素中选择对应于所述采样函数的一个像素，并且输出所述所选择的一个像素的像素值作为所述采样信号。
(3)
根据(1)或(2)的成像设备，其中所述图像传感器根据从所述像素控制单元供应的行选择信号和列选择信号而在构成所述块的所述像素中选择对应于所述采样函数的一个像素。
(4)
根据(3)的成像设备，其中所述图像传感器的每一像素包含多位传送开关，所述多位传送开关基于从所述像素控制单元供应的所述行选择信号和所述列选择信号而执行切换。
(5)
根据(4)的成像设备，其中所述图像传感器根据从所述像素控制单元供应的行选择信号和列选择信号而在空间和时间上在构成所述块的所述像素中随机选择一个像素。
(6)
根据(1)的成像设备，其中所述图像传感器根据来自所述像素控制单元的控制在构成所述块的所述像素中选择对应于所述采样函数的多个像素，并且输出通过将所述多个所选择的像素的像素值相加而获取的相加值作为所述采样信号。
(7)
根据(1)或(5)的成像设备，其中所述图像传感器包含：
模拟加法器，针对每一行而将根据从所述像素控制单元供应的所述行选择信号和所述列选择信号选择的所述像素的像素值相加；以及
ADC单元，将来自所述模拟加法器的每一行的输出依序相加作为数字值。
(8)
根据(7)的成像设备，其中所述图像传感器的每一像素包含多位传送开关，所述多位传送开关基于从所述像素控制单元供应的所述行选择信号和所述列选择信号而执行切换。
(9)
根据(8)的成像设备，其中所述图像传感器根据从所述像素控制单元供应的行选择信号和列选择信号而在空间和时间上在构成所述块的所述像素中随机选择多个像素。
(10)
根据(1)的成像设备，其中所述图像传感器根据来自所述像素控制单元的控制在构成所述块的所述像素中选择对应于所述采样函数的多个像素，并且输出通过在添加正号或负号的情况下将所述多个所选择的像素的像素值相加而获取的相加值作为所述采样信号。
(11)
根据(1)或(10)的成像设备，其中所述图像传感器包含：
模拟加法器，针对每一行而将根据从所述像素控制单元供应的所述行选择信号和所述列选择信号选择的所述像素的像素值相加；
正负号反转器，将来自所述模拟加法器的输出的正负号反转；以及
ADC单元，将来自所述模拟加法器或所述正负号反转器的每一行的输出依序相加作为数字值。
(12)
根据(11)的成像设备，其中所述图像传感器的每一像素包含多位传送开关，所述多位传送开关基于从所述像素控制单元供应的所述行选择信号和所述列选择信号而执行切换。
(13)
根据(12)的成像设备，其中所述图像传感器根据从所述像素控制单元供应的所述行选择信号和所述列选择信号而在空间和时间上在构成所述块的所述像素中随机选择多个像素。
(14)
根据(1)的成像设备，
其中所述像素控制单元控制所述图像传感器，针对通过将所述图像传感器的所述成像表面分隔为多个块而获取的每一块，通过应用公用采样函数而在构成块的像素中选择对应于所述公用采样函数的像素，并基于所述所选择的像素的像素值而输出采样信号；并且
所述缩减图像产生单元基于从所述图像传感器输出的被应用所述公用采样函数的每一块的所述采样信号而产生所述缩减图像。
(15)
根据(1)的成像设备，
其中所述像素控制单元控制所述图像传感器，针对通过将所述图像传感器的所述成像表面分隔为多个块而获取的每一块，通过应用公用采样函数或除所述公用采样函数之外的非公用采样函数而在构成块的像素中选择对应于所述公用采样函数或所述非公用采样函数的像素，并基于所述所选择的像素的像素值而输出采样信号；并且
所述缩减图像产生单元通过基于所述公用采样函数来对所述采样信号再采样而从存储从所述图像传感器输出的被应用所述公用采样函数或所述非公用采样函数的每一块的所述采样信号的存储单元产生所述缩减图像。
(16)
根据(1)到(15)中任一项的成像设备，还包含特征检测单元，所述特征检测单元对所述缩减图像执行特征检测处理。
(17)
根据(1)到(16)中任一项的成像设备，还包含区域切出单元，所述区域切出单元从所述图像传感器的输出切出对应于通过所述特征检测处理检测到特征的区域的每一块的所述采样信号，并将所述所切出的采样信号输出到下一级。
(18)
根据(17)的成像设备，其中所述区域切出单元从由所述图像传感器的所述输出形成的所述缩减图像切出通过所述特征检测处理检测到特征的区域，并将所述所切出的区域输出到下一级。
(19)
根据(17)的成像设备，
其中所述像素控制单元控制所述图像传感器，针对通过将所述图像传感器的所述成像表面分隔为多个块而获取的块中对应于通过所述特征检测处理检测到特征的区域的块而应用除公用采样函数之外的非公用采样函数，并针对对应于未通过所述特征检测处理检测到特征的区域的块而应用所述公用采样函数，而在构成块的像素中选择对应于所述公用采样函数或所述非公用采样函数的像素，并基于所述所选择的像素的像素值而输出采样信号；并且
所述区域切出单元从所述图像传感器的所述输出切出对应于通过所述特征检测处理检测到特征的区域的被应用所述非公用采样函数的所述块的所述采样信号，并将所述所切出的采样信号输出到下一级。
(20)
一种信息处理系统，包含：
一个或更多个成像设备；以及
信息处理设备，经由网络而连接到所述成像设备，
其中所述成像设备包含：
图像传感器，包含许多像素垂直地且水平地布置的成像表面；
像素控制单元，控制所述图像传感器，针对通过将所述图像传感器的所述成像表面分隔为多个块而获取的每一块，通过应用采样函数而在构成块的像素中选择对应于所述采样函数的像素，并基于所述所选择的像素的像素值而输出采样信号；
缩减图像产生单元，基于从所述图像传感器输出的每一块的所述采样信号而产生缩减图像；
特征检测单元，对所述缩减图像执行特征检测处理；以及
区域切出单元，从所述图像传感器的输出切出对应于通过所述特征检测处理检测到特征的区域的每一块的所述采样信号，并经由所述网络将所述所切出的采样信号输出到所述信息处理设备；并且
所述信息设备包含信息处理单元，所述信息处理单元对经由所述网络传输的所述信息处理设备的所述输出执行预定信息处理。
附图标记列表
10 相机监视系统
11 网络
12 行为分析设备
20 成像设备
21 采样函数存储单元
22 像素控制单元
23 图像传感器
24 图像传感器输出存储单元
25 特征检测单元
26 区域切出单元
30 确定服务器
31 成像设备输出存储单元
32 图像重新配置单元
33 采样函数存储单元
34 身份确定单元
35 确定DB
36 确定结果DB
40 成像表面
41 块
42 像素。

Claims (15)

1.一种成像设备，包括：
图像传感器，包含多个像素，所述多个像素用于生成第一像素数据；
像素控制部，用于控制所述图像传感器；
特征检测部，用于从所述第一像素数据检测特征并且将特征检测的结果输出到所述像素控制部，
其中，所述像素控制部基于所述特征检测的所述结果将第一采样函数应用到所述多个像素的第一区域并且将第二采样函数应用到所述多个像素的第二区域，
其中，所述图像传感器基于所述第一采样函数和所述第二采样函数的应用生成第二像素数据；以及
区域切出部，用于基于所述特征检测的所述结果切出所述第二像素数据中检测到所述特征的区域，并且输出所述第二像素数据的所述区域。
2.根据权利要求1所述的成像设备，其中，所述第一采样函数与所述第二采样函数不同。
3.根据权利要求2所述的成像设备，其中，所述第二采样函数读取所述多个像素中检测到所述特征的所述第二区域中的全部像素。
4.根据权利要求1所述的成像设备，其中，所述特征是人物的面部以及人物。
5.根据权利要求1所述的成像设备，其中，所述区域切出部将所述第二像素数据的所述区域输出到确定服务器。
6.根据权利要求1所述的成像设备，其中，所述图像传感器根据来自所述像素控制部的控制，在所述多个像素的所述第一区域和所述第二区域中分别选择对应于所述第一采样函数和所述第二采样函数的像素，并且输出所选择的像素的像素值作为所述第二像素数据。
7.根据权利要求6所述的成像设备，其中，所述第二区域为检测到所述特征的区域，并且与所述第一采样函数不同的所述第二采样函数对应于所述第二区域中的全部像素。
8.根据权利要求6所述的成像设备，其中，所述图像传感器根据从所述像素控制部供应的行选择信号和列选择信号而在所述多个像素的所述第一区域和所述第二区域中分别选择对应于所述第一采样函数和所述第二采样函数的像素。
9.根据权利要求8所述的成像设备，其中，所述多个像素中的每个像素包含多位传送开关，所述多位传送开关基于从所述像素控制部供应的所述行选择信号和所述列选择信号而执行切换。
10.根据权利要求1所述的成像设备，其中，所述图像传感器根据来自所述像素控制部的控制，在所述多个像素的所述第一区域和所述第二区域中分别选择对应于所述第一采样函数和所述第二采样函数的像素，并且输出通过在添加正号或负号的情况下将多个所选择的像素的像素值相加而获取的相加值。
11.根据权利要求10所述的成像设备，其中，所述图像传感器包含：
模拟加法器，针对每一行而将根据从所述像素控制部供应的行选择信号和列选择信号选择的所述像素的像素值相加；
正负号反转器，将来自所述模拟加法器的输出的正负号反转；以及
ADC单元，将来自所述模拟加法器或所述正负号反转器的每一行的输出依序相加作为数字值。
12.根据权利要求11所述的成像设备，其中，所述多个像素中的每个像素包含多位传送开关，所述多位传送开关基于从所述像素控制部供应的所述行选择信号和所述列选择信号而执行切换。
13.根据权利要求1所述的成像设备，其还包括：
再采样部，用于对所述第二图像数据进行再采样处理。
14.根据权利要求13所述的成像设备，其还包括：
缩减图像存储部，用于存储所述再采样处理的结果，
其中，所述区域切出部从所述再采样处理的结果中切出检测到所述特征的区域，并且输出所述区域。
15.一种信息处理系统，包括：
一个或更多个成像设备，所述成像设备是根据权利要求1-14中任一项所述的成像设备；以及
信息处理设备，经由网络而连接到所述成像设备，其中，所述信息处理设备包含信息处理单元，所述信息处理单元对经由所述网络传输的所述成像设备的所述输出执行预定信息处理。
CN202011464687.6A 2015-07-16 2016-07-01 成像设备和信息处理系统 Active CN112738365B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015141882 2015-07-16
JP2015-141882 2015-07-16
CN201680040151.7A CN107736014B (zh) 2015-07-16 2016-07-01 摄像设备和信息处理系统
PCT/JP2016/069646 WO2017010316A1 (ja) 2015-07-16 2016-07-01 撮像装置、および情報処理システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680040151.7A Division CN107736014B (zh) 2015-07-16 2016-07-01 摄像设备和信息处理系统

Publications (2)

Publication Number Publication Date
CN112738365A true CN112738365A (zh) 2021-04-30
CN112738365B CN112738365B (zh) 2022-11-18

Family

ID=57757221

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011464687.6A Active CN112738365B (zh) 2015-07-16 2016-07-01 成像设备和信息处理系统
CN201680040151.7A Active CN107736014B (zh) 2015-07-16 2016-07-01 摄像设备和信息处理系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680040151.7A Active CN107736014B (zh) 2015-07-16 2016-07-01 摄像设备和信息处理系统

Country Status (4)

Country Link
US (1) US10602084B2 (zh)
JP (1) JP6863281B2 (zh)
CN (2) CN112738365B (zh)
WO (1) WO2017010316A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6806494B2 (ja) * 2016-08-24 2021-01-06 キヤノン株式会社 撮像装置、撮像システム、移動体及び撮像装置の駆動方法
JP7140580B2 (ja) * 2018-07-13 2022-09-21 マクセル株式会社 ステレオ撮像装置
JP6635222B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US20230035728A1 (en) * 2021-07-29 2023-02-02 Omnivision Technologies, Inc. Color-infrared sensor with a low power binning readout mode

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5558670A (en) * 1978-10-25 1980-05-01 Ricoh Co Ltd Picture processing system
DE60207785D1 (de) * 2001-06-07 2006-01-12 Noritsu Koki Co Ltd Bildverarbeitungsvorrichtung und -verfahren
CN1774935A (zh) * 2003-02-21 2006-05-17 索尼株式会社 固态图像拾取设备及其驱动方法
US20070076269A1 (en) * 2005-10-03 2007-04-05 Konica Minolta Photo Imaging, Inc. Imaging unit and image sensor
US20080024631A1 (en) * 2006-07-28 2008-01-31 Sanyo Electric Co., Ltd Pixel information readout method and image pickup apparatus
JP2008035279A (ja) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd 画素情報読出方法および撮像装置
JP2008092005A (ja) * 2006-09-29 2008-04-17 Casio Comput Co Ltd 電子カメラ、撮像制御プログラム及び撮像制御方法
US20080129855A1 (en) * 2006-12-01 2008-06-05 Ilia Vitsnudel Method and Apparatus for Dynamic Panormaic Capturing
US20090219418A1 (en) * 2008-02-29 2009-09-03 Hiroaki Fujita Image sensor and method to reduce dark current of cmos image sensor
US20100134662A1 (en) * 2007-05-10 2010-06-03 Isis Innovation Ltd Image capture device and method
JP2011004345A (ja) * 2009-06-22 2011-01-06 Nippon Hoso Kyokai <Nhk> 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム
CN102857706A (zh) * 2011-06-29 2013-01-02 佳能株式会社 图像传感器和摄像设备
CN102870407A (zh) * 2010-05-04 2013-01-09 E2V半导体公司 具有采样器阵列的图像传感器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4403687B2 (ja) * 2002-09-18 2010-01-27 ソニー株式会社 固体撮像装置およびその駆動制御方法
JP4290066B2 (ja) * 2004-05-20 2009-07-01 キヤノン株式会社 固体撮像装置および撮像システム
CN2838168Y (zh) * 2005-10-19 2006-11-15 上海广电（集团）有限公司中央研究院 用于图像显示的截断误差补偿装置
JP4753193B2 (ja) 2008-07-31 2011-08-24 九州日本電気ソフトウェア株式会社 動線管理システムおよびプログラム
CN203894772U (zh) * 2014-03-11 2014-10-22 深圳市中安视科技有限公司 一种海量人脸发现与识别系统
US20150334299A1 (en) * 2014-05-14 2015-11-19 Panasonic Intellectual Property Management Co., Ltd. Monitoring system

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5558670A (en) * 1978-10-25 1980-05-01 Ricoh Co Ltd Picture processing system
DE60207785D1 (de) * 2001-06-07 2006-01-12 Noritsu Koki Co Ltd Bildverarbeitungsvorrichtung und -verfahren
CN1774935A (zh) * 2003-02-21 2006-05-17 索尼株式会社 固态图像拾取设备及其驱动方法
US20070076269A1 (en) * 2005-10-03 2007-04-05 Konica Minolta Photo Imaging, Inc. Imaging unit and image sensor
US20080024631A1 (en) * 2006-07-28 2008-01-31 Sanyo Electric Co., Ltd Pixel information readout method and image pickup apparatus
JP2008035279A (ja) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd 画素情報読出方法および撮像装置
JP2008092005A (ja) * 2006-09-29 2008-04-17 Casio Comput Co Ltd 電子カメラ、撮像制御プログラム及び撮像制御方法
US20080129855A1 (en) * 2006-12-01 2008-06-05 Ilia Vitsnudel Method and Apparatus for Dynamic Panormaic Capturing
US20100134662A1 (en) * 2007-05-10 2010-06-03 Isis Innovation Ltd Image capture device and method
US20090219418A1 (en) * 2008-02-29 2009-09-03 Hiroaki Fujita Image sensor and method to reduce dark current of cmos image sensor
JP2011004345A (ja) * 2009-06-22 2011-01-06 Nippon Hoso Kyokai <Nhk> 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム
CN102870407A (zh) * 2010-05-04 2013-01-09 E2V半导体公司 具有采样器阵列的图像传感器
CN102857706A (zh) * 2011-06-29 2013-01-02 佳能株式会社 图像传感器和摄像设备

Also Published As

Publication number Publication date
WO2017010316A1 (ja) 2017-01-19
US10602084B2 (en) 2020-03-24
JP6863281B2 (ja) 2021-04-21
CN112738365B (zh) 2022-11-18
JPWO2017010316A1 (ja) 2018-04-26
CN107736014B (zh) 2020-12-18
US20180205895A1 (en) 2018-07-19
CN107736014A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN107736014B (zh) 摄像设备和信息处理系统
US10531069B2 (en) Three-dimensional image sensors
CN110192387A (zh) 用于基于事件的视觉传感器的数据速率控制
TWI393076B (zh) 視訊分析技術
CN110536078A (zh) 处理动态视觉传感器的数据的方法和动态视觉传感器
US10225441B2 (en) Time delay and integration (TDI) imaging sensor and method
EP3761631A1 (en) Pixel acquisition circuit and optical flow sensor
WO2006078861A9 (en) Method, system and apparatus for a time stamped visual motion sensor
US9613429B2 (en) Image reading out control apparatus, image reading out control method thereof, and storage medium
US20070274402A1 (en) Application of short term and long term background scene dynamics in motion detection
Li et al. Dynamic, data-driven processing of multispectral video streams
CN103313032B (zh) 用于分析多通道图像的方法和系统
US20210350129A1 (en) Using neural networks for object detection in a scene having a wide range of light intensities
US11164019B1 (en) Object detection for event cameras
Goyal et al. Photon-starved scene inference using single photon cameras
US20190230381A1 (en) Compressing multiple video files using localized camera meta data
KR20230145296A (ko) 히트맵을 생성하는 장치 및 방법
JP5002575B2 (ja) 非定常度推定装置、非定常度推定方法、非定常度推定プログラム
Liang et al. Robust object detection in severe imaging conditions using co-occurrence background model
KR101701138B1 (ko) 해상도 및 초점 향상
US10326950B1 (en) Image capture at multiple resolutions
Jerez et al. Spectral image fusion for increasing the spatio-spectral resolution through side information
CN115526814A (zh) 图像预测的方法以及装置
JP2024000518A (ja) クロップされた画像を使用した物体検出のための方法
Åström et al. Statistical approach to time-to-impact estimation suitable for real-time near-sensor implementation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant