CN112995616A - 摄像装置和摄像系统 - Google Patents

摄像装置和摄像系统 Download PDF

Info

Publication number
CN112995616A
CN112995616A CN202110183267.9A CN202110183267A CN112995616A CN 112995616 A CN112995616 A CN 112995616A CN 202110183267 A CN202110183267 A CN 202110183267A CN 112995616 A CN112995616 A CN 112995616A
Authority
CN
China
Prior art keywords
image
infrared
unit
imaging
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110183267.9A
Other languages
English (en)
Inventor
川前治
大野千代
大坪宏安
石崎修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to CN202110183267.9A priority Critical patent/CN112995616A/zh
Publication of CN112995616A publication Critical patent/CN112995616A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Blocking Light For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Camera Data Copying Or Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供能够以可见图像和红外图像这两者进行立体拍摄，能够提高可见光拍摄时的颜色再现性的摄像系统。摄像系统包括：2个摄像传感器(1)；和在可见光波段和第二波段具有透射特性，并且与2个摄像传感器分别对应地设置有2个作为光学滤波器的DBPF(5)。摄像系统具有与可见光波段的波长对应的分光透射特性彼此不同并且第二波段的透射率彼此近似的至少4种滤波器部，并且具有与2个摄像传感器分别对应地设置有2个滤色片。摄像系统基于2个可见或红外图像信号测定至对象的距离。

Description

摄像装置和摄像系统
技术领域
本发明涉及摄像装置和摄像系统。
背景技术
近年来，通过图像识别技术和生物体认证的组合，用面部认证检测犯罪者、偷窃犯、恐怖分子等的监视摄像机、在汽车的自动驾驶中使用的车载摄像机的开发不断发展。
例如，在监视摄像机中，已知使用立体摄像机进行距离检测从而检测可疑者的侵入的系统(参照专利文献1)。在专利文献1中，作为检测物体的形状、距离的方法，记载了“使用了立体图像的距离计测用图像识别装置”，已知根据立体图像求取距离的被称为立体法的技术。该立体法首先将被称作立体图像的左右2幅图像输入，通过图像中的特征量的计算，求取左右图像的对应点(左图像的某位置的对象物体在右图像中被映在哪个位置)。关于求取对应点的方法的详细内容，例如在专利文献2中记载了“图像匹配方法”。当求取左右2幅图像的对应点时，能够以三角测量的原理计算至物体表面的距离，因此能够得知距物体的距离、物体表面的形状。
此外，在专利文献1中，提出了通过利用立体图像的已知的对应关系，能够高精度且高速地检测活动物体，并测定其形状、距离的活动物体识别装置。
监视摄像机、自动驾驶用摄像机无论室外和室内、白天和夜晚等场所、时间均需要进行拍摄，根据状况可能无法得到充分的照明。此时，考虑使用人看不到的红外照明进行红外拍摄。此外，在自动驾驶用摄像机中，也考虑夜间的车头灯对相对车的影响，作为照亮远方的照明装置使用红外光进行红外拍摄。总之，考虑在可见光的光量充分的可能性高的白天以无照明的方式进行可见光拍摄，在需要夜间照明时使用人眼难以看到的红外照明进行红外拍摄。
当考虑了这样的状况时，监视摄像机、自动驾驶用摄像机中优选摄像机一起使用可见光和红外光的拍摄。
在昼夜连续地进行拍摄的监视摄像机等的摄像装置中，在夜间时检测红外光进行拍摄。作为CCD传感器、CMOS传感器等摄像传感器的受光部的光学二极管(受光元件)，能够接收到1300nm左右的近红外的波段，因此如果是使用这些摄像传感器的摄像装置，则原理上能够至红外波段地进行拍摄。
另外，人的视灵敏度高的光的波段是400nm～700nm，因此在摄像传感器中当检测近红外光时，人的眼中影像看起来红色增加。因此，在白天、室内的明亮场所进行拍摄时，为了使摄像传感器的灵敏度与人的视灵敏度匹配，优选在摄像传感器前设置用于阻隔红外波段的光的红外截止滤波器，除去波长为700nm以上的光。另一方面，在夜间、暗场所进行拍摄时，需要不设置红外截止滤波器地进行拍摄。
作为这样的摄像装置，现有技术中已知手动地进行红外截止滤波器的安装/卸除的摄像装置、自动地插拔红外截止滤波器的摄像装置。进而，公开了不需要上述的红外截止滤波器的插拔的摄像装置。例如，提案了在可见光波段具有透射特性，在与可见光波段的长波长侧邻接的第一波段具有阻隔特性，在作为所述第一波段内的一部分的第二波段具有透射特性的光学滤波器(参照专利文献3)。通过该滤波器，能够在可见光波段和可见光波段的长波长侧即红外侧中从可见光波段离开的第二波段这两者中使光透射。
以下，将上述的使可见光波段和红外侧的第二波段的光透射，阻隔其它波段的光的光学滤波器称为DBPF(双带通滤波器)。
此外，近年来，作为生物体认证，指纹、面部、虹膜、静脉、署名、声纹、步行等各种认证技术不断被开发，作为与上述监视摄像机、自动驾驶用摄像机中拍摄的图像识别技术一起使用的生物体认证，主要能够举出面部认证、虹膜认证。
现有技术文献
专利文献
专利文献1：日本特开平3-81878号公报
专利文献2：日本特开昭62-107386号公报
专利文献3：日本专利第5009395号公报
发明内容
发明要解决的技术课题
在专利文献3的DBPF中，红外(近红外)的波段中所含的第二波段的光(包含于红外波段的比较窄的波段)总是不被阻隔而透射光。即，与使用将比可见光波段靠长波长侧的光截止的红外截止滤波器时不同，在可见光波段的拍摄中，受到透射第二波段的红外光的影响虽然少但还是存在。
作为在可见光波段的拍摄，在进行彩色的拍摄的摄像传感器中，使用滤色片。滤色片与摄像传感器的各像素对应地将红、绿、蓝的各颜色的区域(滤波器部)按规定的图案配置，基本上，在各颜色的波段具有光的透射率的峰，阻隔其它颜色的波段的光的透射。
但是，在比可见光波段靠长波长侧的光中，根据各颜色的区域和波长的不同而光透射率不同，但基本上会使光透射。由此，当像上述DBPF那样在红外侧的第二波段中使红外光透射时，该红外光通过滤色片到达摄像传感器的光学二极管(受光元件)，由光学二极管的光电效应引起的电子的产生量变多。
此外，在进行可见光下的彩色拍摄和红外光照明下的拍摄两者时，例如，在以规定的图案配置有红、绿、蓝的各颜色的区域的滤色片，设置在上述的第二波段具有光透射率的峰的红外光用的区域(红外区域)。即，滤色片的排列(图案)包括红R、绿G、蓝B、红外IR这4个区域。此时红外光用的区域阻隔可见光波段的光，主要使第二波段的光透射，因此考虑利用从接收通过了滤色片的红外光用的区域的光的摄像传感器输出的红外光的图像信号，从红、绿、蓝的各颜色的图像信号中除去红外光成分。但是，即使通过这样的信号处理，也难以进行与使用红外截止滤波器时的彩色拍摄时大致同等的颜色再现。此外，在进行立体化而计算距离时，如果存在左右的信号电平偏差，则成为在视差计算中产生误差的原因。
进而，在使用摄像机的摄像图像来进行面部认证时，主要有在办公室、大楼等的出入室管理系统、机场的搭乘手续、出入国管理等中令用户将面部朝向规定的摄像机的类型，和以犯人追踪、恐怖袭击防止、可疑者的早期发现等为目的而在公共施设、机场、交通设施等场所在用户无意识的情况下对由多个摄像机拍摄的不特定多数的用户进行认证的类型。在前者的类型中，拍摄条件被限定，因此在近年来的技术中也能够高精度地进行识别，但后者的类型中，由于环境变化而照明的程度、面部的朝向、角度等的拍摄条件存在大幅不同，因此识别率被很大程度影响。
为了使用监视摄像机来实施可疑者检测等，能够使用可见光和红外光两者而不依赖于拍摄场所、拍摄时间地24小时连续进行拍摄，而且，如果能够使拍摄的像尽可能地噪声小、鲜明且分辨率高，则能够大幅提高可疑者的早期检测、犯罪产生时的状况分析的能力。
此外，通过设为能够使用2个摄像机来以立体法测距的结构，在自动驾驶用摄像机中，即使在如上所述一起使用红外光和可见光的拍摄时，也能够得到噪声少的鲜明图像，由此能够达到图像识别的精度的提高。
根据以上内容，希望能够进行红外图像和可见图像这两者的同时拍摄，且噪声、分辨率、颜色再现性等的画质为通常的不包含红外图像的可见图像的同等级以上，而且能够由2个摄像机结构进行立体拍摄。
本发明提供能够进行可见图像和红外图像这两者的拍摄，能够提高可见光拍摄时的颜色再现性，拍摄高品质的图像的技术。
用于解决问题的技术方案
本发明的一个方式的摄像装置或摄像系统包括：摄像元件；滤波器部，其具有至少使可见光波段和红外波段透射的特性，且基于上述特性对来自上述摄像元件的信号进行滤波；信号处理部，其处理由上述滤波器部滤波后的信号，输出可见光信号和红外信号；移动体区域提取部，其从由上述信号处理部输出的红外信号，生成关于由上述摄像元件拍摄的图像内的移动体的信息；和信号输出控制部，其对基于从上述信号处理部输出的可见光信号而得到的第一数据，附加或叠加基于由上述移动体区域提取部生成的上述关于移动体的信息而得到的第二数据后，向外部发送。
进一步，本发明的另一方式的摄像装置或摄像系统包括：2个摄像元件；具有至少使可见光波段和红外波段透射的特性，基于该特性对来自所述摄像元件的信号分别进行滤波的2个滤波器部；处理由所述滤波器部滤波后的信号，输出可见光信号和红外信号的2个信号处理部；使用由所述信号处理部输出的2个可见光信号和/或2个红外信号，计算基于可见图像信号的可见图像和/或基于红外图像信号的红外图像中至拍摄的被摄体的距离的距离计算部；从由所述信号处理部输出的红外信号，生成关于由所述摄像元件拍摄的图像内的移动体的信息的移动体区域提取部；和将包含从所述信号处理输出的可见光信号或红外信号的至少任一者的第一数据、基于由所述移动体区域提取部生成的所述关于移动体的信息而得到的第二数据和基于由所述距离计算部计算出的距离信息而得到的第三数据，向外部发送的信号输出控制部。
发明效果
根据本发明，能够得到高品质的图像。更详细地说，例如根据本发明的一个方式，能够用由1个摄像传感器和1个光学膜构成的摄像机同时拍摄高品质的红外图像和可见图像这两者，因此在照明不足等的环境变化、夜间也能够提高视认性。此外根据本发明的另一方式，能够利用红外图像和可见图像这两者更正确地测定对象物的距离，能够将其信息与可见图像或红外图像一起向外部系统提供。此外根据本发明的另一方式，通过不使用可见图像而使用红外图像，能够更高速地提取图像内的移动体区域，能够将其信息与可见图像或红外图像一起向外部系统提供。
附图说明
图1是表示本发明的实施方式1的摄像系统的概略图。
图2是表示本发明的实施方式1的摄像系统的摄像传感器部的结构的概略图。
图3是表示本发明的实施方式1的摄像系统的摄像传感器的DBPF和滤色片的透射率光谱的图表。
图4是表示本发明的实施方式1的摄像系统的滤色片的一结构例的概略图。
图5是用于说明本发明的实施方式1的摄像系统的信号处理部的框图。
图6是说明本发明的实施方式1的摄像系统的摄像机和控制器的通信流程的流程图。
图7是表示本发明的实施方式1的摄像系统中处理的各种图像信息的一结构的图。
图8是表示本发明的实施方式2的摄像系统的概略图。
图9是表示本发明的实施方式2的摄像系统中处理的各种分析元数据信息的一结构的图。
图10是说明本发明的实施方式2的摄像系统的摄像机和控制器的通信流程的流程图。
图11是表示本发明的实施方式2的摄像系统中处理的图像的图像画面例的图。
图12是表示本发明的实施方式2的摄像系统中处理的分析元数据信息的一结构例的图。
图13是表示本发明的实施方式3的摄像系统的概略图。
图14是表示本发明的实施方式3的摄像系统的其它结构例的概略图。
图15是表示本发明的实施方式3的摄像系统的其它结构例的概略图。
图16是表示本发明的实施方式3的摄像系统的其它结构例的概略图。
图17是表示本发明的实施方式3的摄像系统中处理的各种图像信息的一结构的图。
图18是表示本发明的实施方式3的摄像系统中处理的各种图像信息的一结构的图。
图19是表示本发明的实施方式3的摄像系统中处理的分析元数据信息的一结构的图。
图20是表示本发明的实施方式3的摄像系统中处理的分析元数据信息的一结构例的图。
图21是表示本发明的实施方式1的摄像系统的摄像传感器的DBPF和滤色片的透射率光谱的图表。
图22是表示本发明的实施方式3的摄像系统的摄像装置的处理流程的图。
图23是运用本发明的实施方式3的摄像系统的一例。
图24是运用本发明的实施方式3的摄像系统的一例。
具体实施方式
(实施方式1)
以下，参照附图，说明本发明的实施方式。
图1表示本发明的实施方式1的摄像系统的结构例。摄像系统主要由1台以上的摄像装置100((a)～(n))和1台以上的控制器装置200构成。摄像装置100和控制器装置200经由网络303连接。网络303在本实施方式中以是有线LAN(Local Area Network，局域网)为前提进行说明，但也可以是无线LAN(WiFi)、USB(Universal Serial Bus，通用串行总线)、IEEE1394等通用网络。
在网络303中，作为网络协议使用标准的IP(Internet Protocol，互联网协议)，作为上级的传输协议使用TCP(Transmission Control Protocol，传输控制协议)、UDP(UserDatagram Protocol，用户数据报协议)。在摄像装置100拍摄的图像的传送中，使用更上级的应用协议，例如RTP(Real-time Transport Protocol，实时传输协议)/RTCP(RTPControl Protocol，RTP控制协议)、HTTP(Hyper Text Transfer Protocol，超文本传输协议)等，在传送控制中使用RTSP(Real-Time Streaming Protocol，实时流协议)等。另外，IP可以使用IPv4、IPv6的任一个。此外，能够使用采用上述HTTP、RTP等技术的Web服务，进行更上级应用间的通信。此外，虽然没有图示，但也能够经由集线器、路由器进行因特网连接。
控制器装置200能够控制多个摄像装置100，也能够在与其它控制器装置200之间进行信息的交换。
本实施方式的摄像系统能够在监视用途、出入室管理等的应用、服务中利用。
本实施方式的作为特征的摄像装置100包括透镜11、摄像传感器部12、信号处理部13、信号输出控制部14、通信控制部15、IF部16、异常检测部17、照度监视部18、GPS19、时钟20、存储器21、维护IF部22、控制部23、红外LED24。
透镜11是使来自被摄体的可见光301、红外光(非可见光)302在摄像传感器部12上的规定的焦点距离成像的拍摄用的光学透镜，包括多个透镜。
摄像传感器部12是通过将由透镜11成像的可见光和红外光用各种滤波器分光后进行光电转换，输出与规定的波长成分对应的多个像素信号的部分。
信号处理部13对从所述摄像传感器部12输出的输出信号进行处理，对图像信号实施内装处理、彩色拍摄时的除去通过了第二波段的红外光的影响的图像处理、γ修正、白平衡、RGB矩阵修正等的图像处理，输出可见图像的输出信号和红外图像的输出信号的部分。
信号输出控制部14将从所述信号处理部13输出的“以相同时机对对象物进行拍摄而得的”可见图像信号和红外图像信号，根据通信控制部15或控制部23的指示，经由IF部16向网络连接着的规定的控制器装置200发送。
通信控制部15是进行从所述信号输出控制部14经由IF部16输出的图像信号的控制和经由IF部在与所述控制器装置200之间进行控制信号的发送接收的部分。也是执行所述网络协议、应用协议、Web服务等的部分。
IF部16是将摄像装置100和网络303连接的通信IF部分。
异常检测部17是经常或定期监视摄像装置100的硬件、软件中是否产生异常，而检测异常的部分。例如有摄像装置100从规定的设置场所被卸下的情况、不能够进行图像拍摄的情况、不能够进行网络通信的情况等、存在不当访问的情况等。
照度监视部18是利用照度传感器等经常或定期地监视摄像装置100的拍摄范围的明亮度的部分。在检测到照度不足时，向控制部23通知该情况，使红外LED24照射。
GPS19是根据从卫星接收的位置信息来取得摄像装置100自身的当前位置的部分。取得的位置信息也能够经由IF部16向控制器装置200通知。
时钟20是执行当前的时间信息的管理、定时器设定/解除的部分。时间信息使用NTP(Network Time Protocol，网络时间协议)、标准电波等通用技术进行自动调整。
存储器21是存储程序、各种设定信息、属性信息的存储装置(ROM(Read-OnlyMemory，只读存储器)区域、FROM(Flash ROM，闪存只读存储器)区域)、载入这些程序、数据并暂时保管、存储工作数据的存储装置(RAM(Random Access Memory，随机存取存储器)区域)。此处，记录装置除了内置存储器之外，也可以一起使用外设存储器(USB存储器、NAS(Network-Attached Storage))、可移动型介质(微型闪存、SD卡、磁带等)。
维护IF部22是为了摄像装置100的维护员进行程序的更新处理、在故障产生时进行诊断而进行通信的IF部分。此外，在所述异常检测部17检测出异常时，能够对处于远距离场所的维护网站自动通知异常检测出的内容。
控制部23是总体控制上述各构成要素的动作的部分。
另一方面，控制器装置200包括用户IF部201、显示部202、时钟203、存储器204、记录再现部205、通信控制部206、IF部207、摄像机管理部208、移动体区域提取部209、面部区域检测部210、面部特征点检测部211、面部比对部212、面部DB213、控制部214。
用户IF部201是使用遥控器、触摸面板、键盘、鼠标、按钮等供用户操作控制器装置200的部分。
显示部202是在外设或内置的监视器中显示控制器装置200的操作画面、经由网络303接收到的可见图像、红外图像、面部认证的结果、警告画面等的部分。
时钟203是执行当前的时间信息的管理、定时器设定/解除的部分。时间信息使用NTP、标准电波等通用技术自动调整。
存储器204是存储程序、各种设定信息、属性信息的存储装置(ROM区域、FROM区域)、载入这些程序、数据并暂时保管、存储工作数据的存储装置(RAM区域)。此处，记录装置除了内置存储器之外，也可以一起使用外设存储器(USB存储器、NAS)、可移动型介质(微型闪存、SD卡、DVD、Blu-ray(注册商标)盘、磁带等)。
记录再现部205是将经由网络303和IF部207接收到的可见图像、红外图像、附带于这些图像的元数据等在所述存储器204记录、再现的部分。根据需要进行这些记录对象数据的加密、解密化、压缩、解压缩。
通信控制部206是经由网络303和IF部207在与所述摄像装置100之间进行控制信号的发送接收的部分。也是执行所述网络协议、应用协议、Web服务等的部分。
IF部207是将控制器装置200和网络303连接的通信IF部分。
摄像机管理部208是经由网络303管理该控制装置200所管理的1台以上的摄像装置100的部分。是生成、保持、更新、删除关于管理对象的所述摄像装置100的信息(例如IP地址、设置场所、制造商名、型号名、导入时期/运行时间、功能说明、维护联络对象等)的部分。
移动体区域提取部209提取经由IF部207接收或由记录再现部205记录的可见图像、红外图像内所存在的人、动物、物体等的移动体，取得其位置信息的部分。作为提取图像内的移动体的方法，有根据连续的多个图像(例如3个)生成差异图像(例如第一个与第二个的差异图像、第二个与第三个的差异图像)，通过对其进行比较而提取移动体，或从摄像图像生成背景图像并使用背景差异法而提取移动体的方法等。
面部区域检测部210从经由IF部207接收的或由记录再现部205记录的可见图像、红外图像内直接检测存在人的面部的区域，或者从由所述移动体区域提取部209提取的移动体区域中检测存在人的面部的区域。检测的方法有使用Viola&Johns的积分图像和级联型识别器的高速面部检测算法的技术等。
面部特征点检测部211是检测由所述面部区域检测部210检测出的面部区域内的眼、鼻、唇缘等特征点的部分。由此，能够进行图像位置修正使得能够正确地取出面部的特征。
面部比对部212是从由所述面部特征点检测部211检测出的特征点中，选择用于识别个人的最佳特征，使用面部DB213进行匹配的部分。此处，作为用于区分面部的特征，能够利用使用面部区域内的浓淡信息全体的方法(例如应用主成分分析的固有法)、以面部区域内的局部的浓淡变化的间隔和方向成分作为特征量的方法(例如Elastic Bunch GraphMatching，弹性束图匹配)、将这两者的方法融合而得的方法等。此外，作为匹配的方法，能够应用最近法、线形判别分析等。
面部DB213是为了由所述面部比对部212进行匹配而将预先登记了面部图像的数据存储于内置或外设的存储媒体的部分。也能够登记从这些登记的图像人工地生成了照明变化、面部朝向变化等的图像。例如，在出入室管理系统中登记允许进入特定的区域的用户、作为工作人员的用户的面部图像。此外，也能够追加登记在特定的场所进行面部认证的结果、能够确认为本人的图像。此处，该面部DB213可以不在控制器装置200，而是经由网络303能够访问的外部的DB。例如，在机场等的监视摄像机系统中，利用从警察、法律机关提供的嫌疑者、恐怖分子等的面部DB。此外，也可以在多个控制器装置间共用DB。
控制部214是总体控制上述各构成要素的动作的部分。此外，在所述面部比对部212进行匹配而得的结果不是预先登记的用户(可疑者等)时或者与嫌疑者一致时，能够自动生成基于规定的格式的报告，对管理者、警察的联络对象通知并且发送该报告。
图2表示摄像机部100的摄像传感器部12的结构例。
摄像传感器部12包括传感器主体2、滤色片3、玻璃罩4、DBPF5。
传感器主体2是CCD(Charge Coupled Device，电荷耦合器件)图像传感器，是在各像素配置有作为受光元件的光学二极管的部分。也可以代替CCD图像传感器而使用CMOS(Complementary Metal·Oxide Semiconductor，互补金属氧化物半导体)图像传感器。
滤色片3是设置于上述传感器主体2，对传感器主体2的各像素以规定的排列配置有红(R)、绿(G)、蓝(B)、红外(IR)的各区域的部分。图4中表示在本实施方式使用的滤色片的变化。
玻璃罩4是覆盖在所述传感器主体2和滤色片3上对它们进行保护的部件。
DBPF5是在所述玻璃罩4成膜的光学滤波器。DBPF5是在可见光波段具有透射特性，在与可见光波段的长波长侧邻接的第一波段中具有阻隔特性，在作为所述第一波段内的一部分的第二波段具有透射特性的光学滤波器。另外，DBPF5的配置位置没有限定，例如可以设置于透镜11。
图3表示所述滤色片3的R、G、B、IR的各滤波器的透射率光谱，纵轴是透射率，横轴是波长。图表中的波长的范围包括可见光波段和近红外波段的一部分，表示例如300nm～1100nm的波长范围。
R滤波器部如图表的R(双重线)所示，在波长600nm成为大致最大的透射率，其长波长侧成为即使超过1000nm，透射率也维持为大致最大的状态的状态。
G滤波器部如图表的G(间隔大的虚线)所示，在波长为540nm左右的部分具有透射率极大的峰，在其长波长侧的620nm左右的部分有透射率极小的部分。此外，G滤波器部中比透射率极小的部分靠长波长侧的部分具有上升倾向，在850nm左右透射率最大。在比其更靠长波长侧的部分，即使超过1000nm，透射率也为最大的状态。
B滤波器部如图表的B(间隔小的虚线)所示，在波长为460nm左右的部分具有透射率极大的峰，在其长波长侧的630nm左右的部分具有透射率极小的部分。此外，在比其靠长波长侧的部分具有上升倾向，在860nm左右，透射率最大，在比其靠长波长侧的部分，即使超过1000nm，透射率也为最大的状态。
IR滤波器部阻隔从780nm左右起的短波长侧的光，且阻隔从1020nm左右起的长波长侧的光，820nm～920nm左右的部分透射率最大。
R、G、B、IR的各滤波器部的透射率光谱不限于图3等所示，现在一般使用的滤色片3中，表示与此相近的透射率光谱。另外，表示透射率的横轴的1并不意味着使光100％透射，而表示在滤色片3中例如最大的透射率。
此处，本实施方式中使用的DBPF5如图表中DBPF(实线)所示，由DBPF(VR)表示的可见光波段和在相对于可见光波段向长波长侧稍离开的位置的由DBPF(IR)表示的红外波段(第二波段)这2个波段的透射率高。此外，作为可见光波段的透射率高的波段的DBPF(VR)例如是370nm～700nm左右的波段。此外，作为在红外侧透射率高的第二波段的DBPF(IR)例如是830nm～970nm左右的波段。
本实施方式中，上述的滤色片3的各滤波器部的透射率光谱与DBPF5的透射率光谱的关系以下述方式规定。即，DBPF5的透射率光谱的使红外光透射的第二波段即DBPF(IR)，包含在R滤波器部、G滤波器部、B滤波器部全部为大致最大透射率而各滤波器部中透射率大致相同的图2所示的波段A内，且包含在IR滤波器部的以最大的透射率使光透射的波段B内。
此处，R、G、B的各滤波器部的透射率相同的波段A是各滤波器部的透射率的差是透射率的10％以下的部分。另外，比该波段A靠短波长侧的部分，相比于透射率大致最大的R滤波器部，G、B滤波器部的透射率较低。DBPF5中，该R、G、B的各滤波器部的透射率存在差的部分，对应于作为可见光波段的透射率高的部分的DBPF(VR)与作为红外波段的第二波段的透射率高的部分的DBPF(IR)之间的大致阻隔DBPF5的光的透射率极小的部分。即，在红外侧，R、G、B的各滤波器部的透射率的差变大的部分的光的透射被阻隔，在比其靠长波长侧的部分，在各滤波器部的透射率成为最大、透射率变得相同的波段A使光透射。
根据以上内容，在本实施方式中，代替红外光截止滤波器使用的DBPF5中，不仅在可见光波段，在红外光侧的第二波段也存在透射光的区域，在进行利用可见光的彩色拍摄时，受到通过了第二波段的光的影响。但是，如上所述，在第二波段，使R、G、B的各滤波器部的透射率不同的部分的光不透射，仅使各滤波器部的透射率最大而成为相同的透射率的波段的光透射。
此外，在DBPF5的第二波段中，在IR滤波器部使透射率最大的部分的光透射。由此，在假设在被照射相同光的极近的4个像素分别设置有R、G、B、IR滤波器部时，在第二波段，在R滤波器部、G滤波器部、B滤波器部、IR滤波器部同样地通过光，作为红外侧的光，在包含IR的各滤波器部相同光量的光到达摄像传感器主体的光学二极管。即，透射R、G、B的各滤波器的光中的通过红外侧的第二波段的光的光量与通过IR滤波器部的光的光量同样。在像上述那样假设时，基本上来自接收到透射R、G、B的各滤波器的光的传感器主体2的上述那样假设的像素的输出信号与来自接收到通过IR滤波器的光的传感器主体2的上述那样假设的像素的输出信号的差值，是将在各R、G、B滤波器部通过的红外侧的光截止了的R、G、B各自的可见光部分的输出信号。
实际上，滤色片3中，在传感器主体2的各像素配置R、G、B、IR的任一个滤波器部，照射于各像素的各颜色的光各自的光量不同的可能性高。因此，例如，在各像素中，使用公知的内插法(interpolation)，求取各像素的各颜色的亮度，能够使该内插的各像素的R、G、B的亮度与同样内插的IR的亮度的差值分别为R、G、B的亮度。另外，从R、G、B的各颜色的亮度除去红外光成分的图像处理方法并不限定于此，只要是能够最终从R、G、B的各亮度去除通过第二波段的光的影响的方法，可以使用任意方法。在任意方法中，DBPF5中在红外侧将R、G、B滤波器部的透射率比10％差异更多的部分，即透射率比规定比例差异更多的部分阻隔，因此在各像素中，容易进行去除红外光的影响的处理。
以上，通过使用上述摄像传感器部12，能够实现可进行彩色拍摄和红外光拍摄这两者的摄像装置100。一般来说，将通常的拍摄以彩色拍摄进行，在夜间不使用可见光的照明，使用人难以识别的红外光的照明进行红外拍摄。例如，在各种监视摄像机等中，在不需要夜间照明或优选不进行夜间照明的场所进行夜间拍摄，进行使用红外光照明的利用红外光的夜间拍摄。此外，也能够在用于观察野生动物的白天的拍摄和夜间的拍摄等用途中使用。
在将红外光拍摄用于夜间拍摄时，即使是红外光也与可见光同样，夜间光量会不足，因此需要红外光照明。
图21所示的DBPF5的透射率光谱(A)和(B)，考虑R、G、B、IR的各滤波器部的透射率光谱和红外光照明用的光例如照明用红外光LED的发光谱地加以确定。
图21中，图示了与图2同样的各颜色的滤波器部的透射率光谱R、G、B、IR、DBPF5的透射率光谱DBPF，以及LED照明的发光谱IR-light。
图21(A)所示的由作为DBPF的使红外光透射的部分的DBPF(IR)表示的第二波段，与图2所示的DBPF同样，包含于R滤波器部、G滤波器部、B滤波器部全部成为大致最大的透射率而各滤波器部中透射率大致相同的图2所示的波段A内，而且包含在IR滤波器部的以最大的透射率使光透射的波段B内。
此外，包含于上述波段A和波段B这两者的成为红外光照明的发光谱的峰的波段的大致全体包含于DBPF(IR)的波段。另外，在使红外光拍摄不在夜间的自然光下而在红外光照明下进行时，由DBPF(IR)表示的第二波段不需要比红外光照明的光谱的峰宽大，在红外光照明的谱包含于上述的波段A和波段B两者时，可以用与以红外光照明的发光谱的例如860程度为顶点的峰的峰宽大致同样的峰宽设置作为第二波段用DBPF(IR)表示的DBPF5的透射率的峰部分。
即，在图21(A)中，以IR-light所示的红外光照明的发光谱中的峰位于上述波段A和波段B的短波长侧，以DBPF(IR)所示的DBPF的第二波段与波段A和波段B的短波长侧部分的IR-light的发光谱的峰重叠。
此外，图21(B)所示的图表中，也与(A)同样，在图2所示的图表上加以红外光照明的发光谱，并且使DBPF5的透射率光谱的红外侧的透射率高的部分即以DBPF(IR)所示的第二波段与上述的红外光照明的以IR-light所示的发光谱的峰重叠。
在图21(B)中，作为红外光照明，使用与(A)相比发光谱的峰的波长较长的照明，该峰包含于上述波段A和波段B，并且存在于波段A和波段B的长波长侧。与其相对应地，DBPF5的以DBPF(IR)所示的第二波段以在上述波段A和波段B内与红外照明的以IR-light所示的峰重叠的方式设置。
DBPF5的第二波段可以如图2、图21的任一者所示，只要第二波段包含于上述波段A和波段B这两者即可。此外，确定了在夜间的红外光拍摄中使用的红外光照明的成为发光谱的峰的波段时，优选使该波段包含于上述波段A和波段B这两者，并且使红外光照明的发光谱的峰与DBPF5的第二波段重叠。
这样的摄像传感器中，在DBPF5的红外侧使光透射的第二波段，在R、G、B、IR的各滤波器部的红外侧，包含于各滤波器部的透射率成为最大、各滤波器部的透射率相同的波段A，并且包含于IR滤波器部的透射率最大的波段B。换言之，在比可见光波段靠长波长侧的部分，R、G、B的各滤波器的透射率仅R滤波器部成为最大，G、B滤波器部的透射率没有成为最大，由此R、G、B的各滤波器部的透射率不相同而有差异的部分的光被DBPF5截止。
即，在R、G、B、IR的各滤波器部中，在红外侧使第二波段的光透射，因此各滤波器部的红外侧的透射率完全相同。如果为第二波段的光以相同光量照射，则R、G、B、IR的各滤波器部的透射光量相同。由此，如上所述基于从与R、G、B的各滤波器部对应的像素的输出信号进行颜色修正，能够容易地得到抑制了彩色拍摄时的颜色的通过第二波段的红外光造成的影响的图像。
此外，通过使第二波段与包含于上述波段A和波段B的红外光照明的发光谱的峰对应，能够高效地利用红外光照明的光，并且能够使第二波段的宽度变小，在彩色拍摄时使通过第二波段的红外光的影响变小。
图5将上述信号处理部12的信号处理以块图表示。
说明对于从图4中记载的搭载有滤色片的所述摄像传感器部12的输出信号的处理概要。
R、G、B、IR的各像素的输出信号向各内装处理块21r、21g、21b、21ir发送。各内装处理块21r、21g、21b、21ir使用应用公知的方法的内插处理(interpolation)，在上述滤色片3的各帧的图像数据中，分别以全部像素为以红R表示的图像数据20r、全部像素为以绿G表示的图像数据20g、全部像素为以蓝B表示的图像数据20b、全部像素为以红外IR表示的图像数据20ir的方式转移R、G、B、IR的信号。
接着，红外光除去信号生成块22r、22g、22b、22ir中，为了除去从上述第二波段受光的红外光的影响，从IR信号生成从R、G、B的各颜色的信号减去的信号。将由该红外光除去信号生成块22r、22g、22b按R、G、B生成的信号从R、G、B的各颜色的信号中减去。此时，如上所述在相同像素中，基本上从R、G、B的各信号除去IR信号即可，因此处理变得容易。实际上，由于各像素的滤波器部的特性等而各颜色的每个像素的灵敏度有差异，因此按R、G、B的图像从IR信号生成从R、G、B的各信号减去的信号。
接着，R、G、B的各信号的图像处理块23中，进行使用行列式转换R、G、B的各信号而修正颜色的公知的RGB矩阵处理、以在图像中为白的部分中R、G、B的各信号的输出值相同的方式进行的公知的白平衡处理、作为为了修正对显示器等的图像输出的修正的公知的γ修正。接着，在亮度矩阵块24中，对R、G、B的各颜色的信号乘以系数而生成亮度Y的信号。此外，通过蓝B信号、红R信号除以亮度Y信号，计算R-Y与B-Y的颜色差信号，输出Y、R-Y、B-Y的信号。
此外，IR信号以基本上白黑的等级的图像的形式输出。
图6表示在图1所示的摄像装置100与控制器装置200之间用于进行可见图像、红外图像、控制命令的交换的通信流程。此处，通信流程可以是独自通信协议，也可以使用例如作为监视摄像机的标准通信，ONVIF(Open Network Video Interface Forum，开放型网络视频接口论坛)制定的协议等。
首先，将摄像装置100设置在规定的场所，与网络303连接后，投入电源时，该摄像装置100起动，摄像装置100的控制部23执行初始设定处理。例如，存储器21中存储的程序的载入、GPS19的当前场所取得等，主要是硬件的起动、软件的初始参数设定处理等。另外，可以利用PoE(Power Over Ethernet，以太网供电)，利用PoE对应集线器在与网络303连接的时机起动(步骤601)。
当必要的初始设定处理结束时，摄像装置100的控制部23设定在通信控制部15、IF部16使用的IP地址。IP地址通过在维护IF部22直接连接PC、平板终端等而设定固态(Static)IP地址的方法、使用DHCP(Dynamic Host Configuration Protocol，动态主机配置协议)而自动设定IP地址的方法等，使用通用的网络协议设定(步骤602)。
当IP地址的设定结束时，摄像装置100的控制部23指示通信控制部15，向控制器装置200通知自身的存在。作为自动地发现在网络上存在的装置的方法，可以利用UPnP(Universal Plug and Play，通用即插即用)、WS-Discovery(Web Services DynamicDiscovery，网络服务动态发现)等协议。此外，在进行通知时，可以包括自身的制造商名、型号名、设置场所、日期时间等(步骤603)。此时，设置场所可以是预先初始设定的信息、从GPS19取得的信息。此外，可以含有使用GPS19、照度监视部18判断是在室外还是室内而得的信息。
接收到所述通知的控制器装置200的控制部214取得摄像装置100的IP地址，由此能够识别摄像装置100的存在。控制部214经由显示部202将连接了新的摄像装置100的内容向管理者通知，等待自身是否管理该摄像装置100的来自管理者的指示。在经由用户IF部201有来自管理者的指示时，或者，在确认该控制器装置200当前管理的摄像装置100的数量而没有达到最大数时，自动地指示通信控制部206，对所述摄像装置100发送搭载功能信息的取得请求(步骤605)。
接收到所述功能信息取得请求的摄像装置100的控制部23，取得在存储器21中存储的功能信息，指示通信控制部15将该功能信息向控制器装置200发送。功能信息例如有装置管理信息(网络、系统、有无关于安全的支持、参数值)、摄像装置性能信息(逆光修正、明亮度、对比度、白平衡、聚焦调整、宽动态范围等的关于画质的参数值、分辨率、帧率、编码译码器种类等的关于媒体的属性的参数值)、PTZ(摄像机云台)功能信息(坐标系的定义、可动参数、预设位置等)、分析功能信息(支持的分析功能、认证的种类、分析结果的格式等)(步骤606)。
此处，图7中表示关于本实施方式的摄像装置100的信息的一结构。本实施方式的摄像装置100作为输出图像的种类701有“可见图像”和“红外图像”，作为向控制器装置200发送的输出模式702具有“仅输出可见图像”、“仅输出红外图像”、“将两图像根据照度、时间自动地切换成其中任一方输出”、“同时输出可见图像和红外图像这两者”的4个种类。此外，作为可见图像的访问目标信息703，有控制器装置200为了从摄像装置100取得关于可见图像的信息、实际上的可见图像而进行访问的URI/URL信息，同样作为红外图像的访问目标信息704，有控制器装置200为了从摄像装置100取得关于红外图像的信息、实际上的红外图像而进行访问的URI/URL信息。此外，作为可见图像的信息705包括能够输出的可见图像的编码译码器、传送率、分辨率等，同样作为红外图像的信息706包括能够输出的红外图像的编码译码器、传送率、分辨率等。本结构是一例，也可以包含其它信息。
接收所述摄像装置100的功能信息的控制器装置200的控制部214，将功能信息的内容经由显示部202向管理者通知或自动确认，在确定由该控制器装置200管理时作为管理对象向摄像机管理部208添加。摄像机管理部208在存储器204中存储功能信息的全部或一部分并进行管理。此外，控制部214确认控制器装置200自身支持的分析功能、认证功能，判断是否利用所述摄像装置100的图像。或者/进而，可以确认摄像装置100支持的分析功能信息，在利用该摄像装置100时确定要执行的认证的方法、分析方法(步骤607)。
控制器装置200的控制部214决定利用所述摄像装置100时，控制部214为了以包含在由步骤606取得的功能信息的参数设定需要进行变更、设定的部分，指示通信控制部206，对摄像装置100发送设备设定请求。例如，在本实施方式中，作为所述输出模式702设定“同时输出可见图像和红外图像这两者”(步骤608)。此处，可以基于例如所述摄像装置100的设置场所，确定所述输出模式702。
接收到所述设备设定请求的摄像装置100的控制部23，确认接收到的设定是否能够执行，将执行的结果向控制器装置200回送(步骤609)。
接着，控制器装置200的控制部214指示通信控制部206，发送用于取得实际上取得可见图像、红外图像所需的协议、参数的访问目标信息取得请求(步骤610)。
接收到所述访问目标信息取得请求的摄像装置100的控制部23指示通信控制部15，将包含所述可见图像的访问目标信息703、红外图像的访问目标信息704的对媒体的访问目标信息(例如，媒体类型、端口编号、传送协议、有效负载编号等)回送(步骤611)。
接收到所述访问目标信息的控制器装置200的控制部214接着对摄像装置100发送图像接收所需的会话信息(DESCRIBE，描述)的取得请求(步骤612)。
接收到所述会话信息取得请求的摄像装置100的控制部23指示通信控制部15生成使用SDP(Session Description Protocol，会话描述协议)记述的会话信息，向控制器装置200发送(步骤613)。
接收到所述会话信息的控制器装置200的控制部214指示通信控制部206在与摄像装置100之间建立RTSP会话。此处，RTSP会话通常对于可见图像的传送用和红外图像的传送用分别建立(步骤614)。
在建立所述RTSP会话后，控制器装置200进行这些图像的接收准备、面部认证的准备(步骤615)，摄像装置100进行可见图像、红外图像的发送准备(步骤616)，发送结果(步骤617)。
控制器装置200的控制部214在确认全部准备完成时，指示通信控制部206，向摄像装置100发送流开始请求(PLAY，播放)(步骤618)。
接收到所述流开始请求的摄像装置100的控制部23指示信号输出控制部14，使得按步骤608中控制器装置200要求的方式输出图像，指示通信控制部15，使得将信号输出控制部14输出的图像在所述步骤612/613中建立的会话上使用RTP向摄像装置100发送(步骤620)。
此外，控制器装置200的控制部214开始图像的接收(步骤621)。
之后，执行摄像装置100拍摄的可见图像和红外图像的RTP传送(步骤621、622)。此处，摄像装置100的通信控制部15为了减轻控制器装置侧的处理负担，可以利用RTP头的标记位，使得能够区分帧的隔开处。
此外，摄像装置100的通信控制部15在每传送规定的帧数时，向控制器装置200发送RTCP的发送报告。为了表示可见图像和红外图像同时被拍摄，在所述报告中存储相同的时间戳、帧编号、包计数等(步骤623)。
从摄像装置100接收可见图像和红外图像的控制器装置200的控制部214，经由记录再现部205将这些图像存储于存储器204，并且使用移动体区域提取部209、面部区域检测部210、面部特征点检测部211、面部比对部212执行面部认证。根据需要控制流的中断、停止(步骤624)。
以上说明的是控制器装置200与摄像装置100间的基本的通信流程。
此处，在上述的通信流程中使用RTP通信，但也可以使用HTTP通信、其它独自通信方法。此外，可以不是将可见图像和红外图像以单独的流传送，而在相同的流中重叠传送(例如，共用头(包括时间戳、顺序编号)+第一幅可见图像+第一幅红外图像+……等)。此外，同时传送两图像时通信带的使用率高，因此可以每1帧传送红外图像，每30帧发送可见图像。此时，对于以相同时间拍摄的帧，在红外图像和可见图像使用相同的时间戳和帧编号。
此处，在步骤623中，摄像装置100对控制器装置200送出发送报告，但同样控制器装置200可以对摄像装置100发送包括关于包丢失、传送延迟的信息的接收报告。
此外，在步骤623为了表示同时拍摄可见图像和红外图像，记载为发送设定为相同时间戳、帧编号的发送报告，但例如还有将发送的RTP头的时间戳、顺序编号设定为相同值的方法、在RTP头的扩展头设定相同的时间戳和帧编号的方法。
控制器装置200的控制部214指示记录再现部205，将接收到的可见图像、红外图像存储于存储器204，使用移动体区域提取部209、面部区域检测部210、面部特征点检测部211、面部比对部212，检测包含于图像内的人物，执行是否有可疑者等的面部认证。此时，有由于能够取得以相同时机对相同对象物进行拍摄而得的可见图像和红外图像，而且添加相同的时间戳、顺序编号，而具有两图像容易同步的优点，在两个图像进行面部认证以提高认证精度的方法，通常仅对任一个图像进行面部认证(例如仅红外图像)，希望比较两图像进行确认时(希望掌握背景、颜色等的附加信息，在另一个图像中存在希望进行面部认证的部分等)利用相同顺序编号的另一个图像的方法。
此外，在本实施方式中，在步骤608中作为所述输出模式702设定了“同时输出可见图像和红外图像这两者”，但也可以白天设定为“同时输出可见图像和红外图像这两者”，在夜间设定为“仅红外图像”等，根据时间、周围的环境进行变更。或者，在一边接收任一方的图像一边同时执行面部认证时，在希望取得用面部比对部212匹配的结果是可能为可疑者的人物的进一步信息时，可以以在途中接收两方图像的方式自动地进行切换。
控制器装置200的控制部214在由面部比对部212进行比对的结果是判断为在图像内存在可疑者或判断为在图像内存在可疑者的候选人时，经由显示部202向管理者通知，或者经由IF部207向其它控制器装置200通知、信息共有，能够在多个摄像装置100之间追踪该可疑者。
(实施方式2)
接着说明本发明的实施方式2的摄像系统的结构。
图8表示本发明的实施方式2的摄像系统的结构例。另外，所述实施方式1的摄像装置100和本实施方式的摄像装置800、810能够在相同摄像系统上同时存在而设置有多个，控制器装置200能够管理这些摄像装置。
本实施方式的摄像装置800是在所述实施方式1的摄像装置100搭载有具有与控制器装置200的移动体区域提取部209同样的功能的移动体区域提取部801的结构。除此之外的构成部分是与摄像装置100相同的结构。
摄像装置800的控制部23将信号处理部13输出的可见图像和红外图像中仅红外图像向移动体区域提取部801输入。仅使用红外图像的理由能够举出：能够检测用可见图像不能够检测的物体、与可见图像相比人与背景的对比度较大而有利于人检测等。
所述移动体区域提取部801使用输入的红外图像提取图像内的移动体区域，将其数量和位置信息输出。这些结果向控制部25或信号输出控制部14输出。可以存储于存储器22。
根据以上内容，所述摄像装置800能够在以相同时机拍摄的可见图像和红外图像中使用红外图像总是监视图像内的移动体区域，将关于高精度地提取的移动体区域的信息与可见图像或红外图像一起向控制器装置200提供。控制器装置200能够与图像一起取得关于移动体区域的信息，因此能够减轻图像处理负担。
此处，摄像装置800的控制部23为了减少网络上的通信带的使用量，可以仅在由移动体区域提取部801提取到移动体区域时从信号输出控制部14经由IF部16输出图像，在不能够提取移动体区域时不从信号输出控制部14输出图像，或者使从信号输出控制部14输出的图像的帧率下降。
此外，摄像装置800的控制部23组合由移动体区域提取部801提取到的移动体区域和由信号处理部13输出的可见图像和/或红外图像，可以指示信号输出控制部14，使得生成/加工在图像上移动体区域被矩形包围的图像。
同样，本实施方式的摄像装置810是在所述摄像装置800搭载有具有与控制器装置200的面部区域检测部210同样的功能的面部区域检测部802的结构。除此之外的构成部分是与摄像装置100同样的结构。
摄像装置810的控制部23仅将信号处理部13输出的可见图像和红外图像中的红外图像向移动体区域提取部801输入。所述移动体区域提取部801使用输入的红外图像提取图像内的移动体区域，将其数量和位置信息向控制部23或信号输出控制部14输出，同时向面部区域检测部802输入。所述面部区域检测部802从输入的移动体区域中检测存在人的面部的区域，向控制部23或信号输出控制部14输出。
根据以上内容，所述摄像装置810使用以相同时机拍摄的可见图像和红外图像中的红外图像来经常监视图像内的移动体区域，能够高精度地提取移动体区域，而且从该移动体区域检测存在人的面部的区域，能够与可见图像或红外图像一起将移动体区域的信息和面部区域的信息向控制器装置200提供。控制器装置200能够与图像一起取得这些信息，因此能够减轻图像处理负担。
此处，摄像装置810的控制部23为了减少网络上的通信带的使用量，可以仅在由面部区域检测部802检测到人的面部区域时从信号输出控制部14经由IF部16输出图像，在虽然提取了移动体区域但不能够检测到人的面部区域时不从信号输出控制部14输出图像，或者使从信号输出控制部14输出的图像的帧率下降。同样，为了仅检测物体，可以在仅检测到没有检测到人的面部区域的移动体区域时，从信号输出控制部14经由IF部16输出图像。
此外，摄像装置810的控制部23可以组合由面部区域检测部802提取的面部区域(和由移动体区域提取部801提取的移动体区域)和由信号处理部13输出的可见图像和/或红外图像，指示信号输出控制部14，使得生成/加工在图像上面部区域被矩形包围的图像。
摄像装置800、810与控制器装置200间的通信流程与实施方式1的图6记载的内容大致相同，以下仅记载不同的点。
首先，在图6的步骤606中，摄像装置800、810向控制器装置200提供的功能信息的例子是，在图7所示的信息上，提供图9所示的信息作为所述分析功能信息。即，功能信息中，包括表示摄像装置800自身搭载有“移动体区域提取功能”的内容，表示摄像装置801搭载“移动体区域提取功能”和“面部区域检测功能”的内容。
在本实施方式中，将这些信息作为分析元数据，作为功能信息(分析功能信息)，包括图9所示的分析元数据的种类901、分析元数据的输出模式902、移动体区域元数据的访问目标信息903、面部区域元数据的访问目标信息904、移动体区域/面部区域元数据的访问目标信息905、移动体区域元数据的信息906、面部区域元数据的信息907。
接收到所述功能信息的控制器装置200的控制部214在步骤607中确认控制器装置200自身支持的分析功能、认证功能，判断是否利用所述摄像装置800输出的分析元数据。例如，能够选择：对于摄像装置800、810两者仅利用分析元数据“移动体区域的位置信息”，或者不利用摄像装置800的分析元数据，仅利用摄像装置810的分析元数据的“面部区域的位置信息”。
图10表示用于在摄像装置800、810与控制器装置200之间发送可见图像、红外图像、分析元数据的通信流程。在该说明中，摄像装置800发送“移动体区域的位置信息”，摄像装置810发送“移动体区域的位置信息”、“面部区域的位置信息”两者的分析元数据。此外，摄像装置800、810在图6的步骤614中，除了可见图像和红外图像之外，也建立分析元数据传送用的会话。
摄像装置800、810开始可见图像和红外图像的帧传送(步骤1001、1002)，每传送规定的帧数(步骤1003、1004)，发送由移动体区域提取部801、面部区域检测部802提取的分析元数据(步骤1005)。此处，分析元数据的发送也可以在检测到移动体区域、面部区域的时刻发送。
接收到所述分析元数据1200的控制器装置200的控制部214，确认在所述分析元数据1200中是否包含移动体区域的信息或面部区域的信息(步骤1006)。在不包含移动体区域的信息时使用自身具有的移动体区域提取部209执行移动体区域的提取处理(步骤1007)。
另一方面，在包含移动体区域的信息或面部区域的信息时，确认是否包含面部区域的信息(步骤1008)。在不包含面部区域的信息(即，仅包含移动体区域的信息)时使用接收到的移动体区域的信息和自身具有的面部区域检测部210执行面部区域的检测处理(步骤1008)。
另一方面，在包含面部区域的信息时，使用接收到的面部区域的信息和自身具有的面部特征点检测部211提取面部的特征点(步骤1010)，使用面部比对部212执行匹配(步骤10100)。
图11表示摄像装置800、810处理的图像。图像1100是摄像装置800、810拍摄的可见图像的例子。从图像1100除去背景，仅提取移动体区域而得到图像1101。在该图像例中，能够提取(A)、(B)、(C)3个区域(由虚线的四角包围的部分)。从图像1101进一步提取面部区域而得到图像1102。在该图像例中，能够提取(a)、(b)2个区域(由实线的四角包围的部分)。
在图12中，表示步骤1005中摄像装置800、810发送的分析元数据1200的结构例。
分析元数据1200主要由通信标题1201和有效负载1210构成。通信标题1201例如与RTP头、HTTP头等同样。
有效负载1210中存储分析元数据。例如包括：在移动体区域或面部区域的提取中使用的红外图像的帧编号1211；可见图像的帧编号1212；摄像装置800、810能够提取的移动体区域的最大数1213；能够实际上由移动体区域提取部801提取的移动体区域提取数1214(此处是n个)；提取的移动体区域的坐标信息1～n(1215～1216)；摄像装置810能够提取的面部区域的最大数1217；能够实际上由面部区域检测部802提取的面部区域提取数1218(此处是m个≤n个)；提取的移动体区域的坐标信息1～m(1219～1220)。
根据以上内容，本实施方式的所述摄像装置800、810除了可见图像、红外图像之外，能够将关于使用红外图像高精度提取的移动体区域的信息、关于人区域的信息与必要的图像输出同时地向控制器装置200提供。
另一方面，控制器装置200能够立即利用接收到的移动体区域的信息、人区域的信息从而省去现有技术的处理，因此能够与现有技术相比缩短面部认证的执行时间。这在由1台控制器装置200管理多个摄像装置时，在减小控制器装置200的处理负荷的方面是有效的。
此处，在本实施方式中，记载了摄像装置800、810对控制器装置200至少发送可见图像、红外图像的任一个图像和分析参数的例子，但为了减少网络上的数据量，可以发送分析参数和仅分析参数所示的部分(移动体区域、面部区域)的图像。
此外，摄像装置800、810的控制部23可以在由移动体区域提取部801最初检测出图像内的移动体区域时保持对应的图像的帧编号，从接续该图像拍摄的图像追踪至不再存在该移动体区域的对象，作为图12所示的分析元数据1200内的坐标信息的附属信息添加所述帧编号。由此，控制器装置200通过参照分析元数据1200，能够容易地掌握包含移动体区域的帧编号，计算时间。
(实施方式3)
接着说明本发明的实施方式3的摄像系统的结构。
前述的实施方式1、实施方式2的摄像装置使用1组透镜11、摄像传感器部12、信号处理部13拍摄可见图像和红外图像。本实施方式的摄像装置能够为左右配置有2组透镜11、摄像传感器部12、信号处理部13的结构，对可见光和红外光以分别拍摄包括左右2个图像的立体图像(距离图像)。
图13表示本实施方式的摄像系统的结构例。本摄像系统包括1台以上的摄像装置1300和控制器装置1310。
摄像装置1300如前所述具有2组透镜11、摄像传感器部12、信号处理部13，还具有修正参数计算部1301、距离计算部1302。2个透镜11(a)、(b)以各自的光轴彼此平行的方式左右配置。除此之外的构成部分基本上为与实施方式1、实施方式2的摄像装置100、800、810同样的结构。
修正参数计算部1301为了使从2个信号处理部13(a)、(b)输出的各个可见图像的信号强度(信号电平)近似，设定限幅等级或信号电平的修正值(例如，对可见图像信号、红外图像信号、红外信号、各颜色信号等的信号进行加、减、乘、除的修正值)等参数，使2个可见图像信号(2个红外图像信号)的信号电平近似。关于图像信号修正处理部203的修正量，能够观察从2个信号处理部13(a)、(b)的输出，通过分别对它们设定而使图像信号的电平相匹配。使左右的图像信号的电平匹配的处理能够对红外图像信号和可见图像信号两者进行。
即，修正参数计算部1301基于从2个信号处理部13(a)、(b)输出的图像信号的信号电平确定修正量，使从2个信号处理部13(a)、(b)输出的图像信号的信号电平近似。由此，能够抑制在2个图像数据中例如由于亮度等级不同而将被摄体的不同的部分识别为相同的部分(对应点)，在测定的距离产生误差、或产生故障。
距离计算部1302使用从2个信号处理部13(a)、(b)分别输入的2个可见图像信号或红外图像信号，计算至对象物的距离。此时，从2个图像确定相同的被摄体(对应点)，检测作为该相同被摄体的图像上的位置的差异的视差，由此能够与现有技术同样地求取距离。即，差的测定用的对应点通过图像识别来确定，基于对应点的图像中的位置的差异即视差计算距离。基于与各像素对应的距离信息生成立体图像(距离图像)，向信号输出控制部14输出。
信号输出控制部14除了左右拍摄的2个可见图像、红外图像之外，还能够将所述距离计算部1302生成的立体图像(距离图像)向控制器装置1310提供。
根据以上内容，在本摄像装置1300中，能够同时取得被摄体的可见光图像、红外图像，能够根据这两者的图像来计算距离。此时，可见图像和红外图像的位置匹配，因此能够防止在两图像间计测的距离发生变化。
此处，上述距离计算部1302可以使用2幅可见图像、2幅红外图像，计算各自的距离后，生成2幅立体图像(距离图像)直接输出。或者，比较生成的2幅立体图像，如果这些距离信息的差异在规定的阈值范围内则输出任一者的距离图像，在超过阈值时输出两者的距离图像，或者输出预先进行了输出设定的距离图像(例如，以红外图像计算出的距离图像为优先，表示距离近的值的距离图像等)，或者可以将超过的区域部分以分析元数据的方式单独输出。图22表示距离计算部1302的处理概要的一例。
此外，本摄像装置1300的控制部23依据控制器装置200的指示，使用信号输出控制部14，控制从2个信号处理部13(a)、(b)输出的可见图像、红外图像和从距离计算部1302输出的立体图像(距离图像)中经由IF部16输出的数据。例如，能够进行在本摄像装置1300设置在需要隐私保护的场所(例如厕所、更衣室)时仅输出立体图像，在设置在要求高安全性的场所时输出全部图像的利用。
另一方面，控制器装置1310代替实施方式1、实施方式2的控制器装置200的移动体区域提取部209、面部区域检测部210、面部特征点检测部211、面部比对部212、面部DB213，为了除了可见图像和红外图像还使用立体图像(距离图像)或仅使用立体图像进行分析处理、认证处理，搭载不同的移动体区域提取部1311、面部区域检测部1312、面部特征点检测部1313、面部比对部1314、3D面部DB1315。由此，例如，在面部识别中，取得关于面部的凸凹的3维数据并利用它，由此能够高精度且容易地检测面部区域、执行面部特征点的检测。
此外，控制器装置1310能够通过从摄像装置1300取得立体图像(距离图像)，参照由移动体区域提取部209提取的移动体区域的距离，如果在规定的距离以内则判断为执行面部认证，否则判断为不执行等。
图23是表示控制器装置1310显示设置在不同的场所的摄像装置1300(a)、(b)、(c)的样子的例子。使用从设置在办公室、大楼等的入口的摄像装置1300(a)接收的可见图像或红外图像和距离图像，控制器装置1310进行3D基准的面部认证，显示执行结果。由此，容易确认来场者、可疑者，有助于消除接待时的混乱。此外，使用从设置于公共施设、商业施设等的店铺的摄像装置1300(b)接收的距离图像，控制器装置1310显示查看商品架的人的数量、不能够确定人物的范围的信息(例如，性别、身高、面部的朝向、身体的朝向、姿态等)。由此，判断购买的客人的购买层、视线、姿态显示的关心度等，有助于强化关于商品、陈列的市场营销/销售。使用从设置于游乐园、公园等的室外的摄像装置1300(c)接收到的可见图像、红外图像、距离图像，控制器装置1310从图像中提取人物，进行3D基准的面部认证，在能够确认是预先登记的人物时将该部分以距离图像显示，仅将不能够确认的人物用可见图像或红外图像显示。或者，显示不能够确定人物的范围的信息(例如性别、身高、面部的朝向、带孩子、姿态等)。由此，有助于来园客人的安全确保和可疑者的早期发现。
接着，图14表示本实施方式的摄像系统的其它结构例。本摄像系统包括1台以上的摄像装置1400和控制器装置1410。此外，虽然没有图示，但在网络303上可以同时存在实施方式1的摄像装置100、实施方式2的摄像装置800、810、上述摄像装置1300。控制器装置1410能够管理任一个摄像装置。
摄像装置1400在所述摄像装置1300搭载2个移动体区域提取部1401(a)、(b)。该移动体区域提取部1401可以与所述控制器装置1310的移动体区域提取部1311同样。除此之外的构成部分是与摄像装置1300同样的结构。
移动体区域提取部1401(a)、(b)是使用从2个信号处理部13(a)、(b)输出的红外图像，从各个图像提取移动体区域的部分。这些提取出的移动体区域的信息与所述实施方式2同样，能够向信号输出控制部14或控制部23输出，向控制器装置1410提供。此外，移动体区域提取部1401(a)、(b)通过使用从所述距离计算部1302输出的立体图像(距离图像)提取移动体区域，与前述的方法比较结果而能够更高精度地提取移动体区域。或者，可以最初使用立体图像(距离图像)提取移动体区域，接着使用红外图像进一步仅对所述提取的移动体区域的部分进行详细确认。
此处，控制部23能够参照从所述移动体区域提取部1401(a)、(b)输出的2个移动体区域的信息，比较提取的数量、位置，将其比较结果以分析元数据的方式发送。控制器装置1410能够利用所述分析元数据，选择使用左右哪一者的可见图像或红外图像进行面部认证。例如，由移动体区域提取部1401(a)、(b)提取移动体区域而得的结果是，由移动体区域提取部1401(a)(或移动体区域提取部1401(b))提取的结果中移动体区域的数量较多时，摄像装置1400的控制部23发送由移动体区域提取部1401(a)(或移动体区域提取部1401(b))提取的移动体区域的信息和从信号处理部13(a)(或信号处理部13(b))输出的可见图像或红外图像。
另一方面，控制器装置1410在所述控制器装置1310搭载实施方式1中记载的控制器装置200的面部区域检测部210、面部特征点211、面部比对部212、面部DB213和综合判定部1411。
由此，摄像装置1400能够一起执行实施方式1记载的使用面部区域检测部210、面部特征点211、面部比对部212、面部DB213进行的面部认证处理(使用可见图像、红外图像)，和使用前述面部区域检测部1312、面部特征点检测部1313、面部比对部1314、3D面部DB1315的面部认证处理(使用可见图像、红外图像、立体图像)。综合判定部1411是基于执行两个面部认证处理的结果，进行人认证结果的最终判定的部分。由此通过执行2种不同的面部认证方法，能够执行精度更高的面部认证。
同样，图15表示本实施方式的摄像系统的其它结构例。本摄像系统包括1台以上的摄像装置1500和控制器装置1510。此外，虽然没有图示，但在网络303上，可以同时存在实施方式1的摄像装置100、实施方式2的摄像装置800、810、上述摄像装置1300、1400。控制器装置1510能够管理任一个摄像装置。
摄像装置1500在所述摄像装置1400搭载2个面部区域检测部1502(a)、(b)。该面部区域检测部1502可以与所述控制器装置1310的面部区域检测部1312同样。除此之外的构成部分是与摄像装置1400同样的结构。
面部区域检测部1501(a)、(b)是使用从2个移动体区域提取部1401(a)、(b)输出的移动体区域的信息，提取人的面部区域的部分。这些提取的面部区域的信息与所述实施方式2同样，能够向信号输出控制部14或控制部23输出，向控制器装置1510提供。
此处，控制部23能够参照从所述面部区域检测部1501(a)、(b)输出的2个面部区域的信息，比较提取的数量、位置、面部的朝向，将其比较结果以分析元数据的方式发送。控制器装置1510利用所述分析元数据，选择更适于面部认证的图像，由此能够进行精度更高的面部认证。
另一方面，控制器装置1510在所述控制器装置200或控制器装置1410搭载新的认证方式选择部1511、虹膜检测部1512、虹膜比对部1513、虹膜DB1514。
认证方式选择部1511是使用从摄像装置1500接收的可见图像、红外图像、立体图像(距离图像)、分析参数信息等，选择执行面部认证和虹膜认证的哪一者的部分。例如，对象物处于规定的距离范围时执行虹膜认证，否则执行面部认证。或者，通常执行面部认证，在满足能够进行虹膜认证的条件时也进行虹膜认证。
虹膜检测部1512使用包括从摄像装置1500接收到的红外图像、从该图像提取的面部区域的分析参数，检测人的眼的虹膜位置，进而检测虹膜与眼白的边界和虹膜与瞳孔的边界，进行虹膜区域的确定，生成瞳孔码。另外，这些方法可以应用公知的任一手法。
虹膜比对部1513基于由所述虹膜检测部1512检测出的信息，与面部认证同样地使用虹膜DB1514进行匹配。
由此控制器装置1510能够使用从摄像装置1500接收到的可见图像、红外图像、立体图像(距离图像)、分析参数信息等，选择最佳的生物体认证，能够执行精度更高的本人认证。
图24表示控制器装置1410、控制器装置1510处理设置于机场、大楼入口等的摄像装置1500的摄像映像的例子。本例中，控制器装置1410从摄像装置1500以可见图像和分析参数的方式取得面部区域和距离信息，由此对于距离远的面部区域实施图像处理负担较轻的2D面部认证，对距离近的面部区域进行图像处理负担大的3D面部认证。此外，控制器装置1510通过从摄像装置1500以可见图像、红外图像、分析参数的方式取得面部区域和距离信息，对距离远的面部区域使用可见图像进行面部认证，对距离近的面部区域使用红外图像进行虹膜认证。此外，为了消除排队等待带来的混乱，能够在摄像图像内判断处于距规定的位置较近的距离的人，按其顺序执行面部认证。
图16表示本实施方式的摄像系统的其它结构例。本摄像系统表示搭载于例如智能手机、平板电脑等便携终端的例子。
图17、图18表示关于本实施方式中使用的摄像装置1400、1500的功能信息、分析参数的结构例。
所述摄像装置生成的立体图像(距离图像)如图17所示，能够以与可见图像、红外图像同样的传送方法向控制器装置提供。
或者，如图18所示，能够以附加于移动体区域的位置信息、面部区域的位置信息的方法提供。此时，仅将关于对应于移动体区域、面部区域的坐标区域的距离信息取出而附加。
图20表示作为分析参数的一部分发送距离信息的结构例。在有效负载1210内存储距离信息，例如关于提取的移动体区域(个数n)的距离信息紧跟着移动体区域的坐标信息存储(2001，2002)，关于面部区域(个数m)的距离信息紧跟着面部区域的坐标信息存储(2003，2004)。在该结构之外，也可以是交替存储坐标信息和距离信息的结构。
图19表示本实施方式的摄像系统的其它结构例。本摄像系统的摄像装置1900是具有1个移动体区域提取部1901，使用左右的信号处理部13(a)、(b)的某一方的红外图像提取移动体区域的结构。或者是使用某一方的红外图像和从距离计算部1302输出的立体图像提取移动体区域的结构。
附图标记说明
2……传感器主体，3……滤色片，5……DBPF(光学滤波器)，11……透镜(光学系)，12……摄像传感器部，13……信号处理部，14……信号输出控制部，15……通信控制部，16……IF部，23……控制部，100、800、810、1300、1400、1500……摄像装置，200、1310、1410、1510……控制器装置，801、1401……移动体区域提取部，802、1501……面部区域检测部，1301……修正参数计算部，1302……距离计算部，1600……便携终端。

Claims (1)

1.一种摄像装置，其特征在于，包括：
2个摄像元件；
2个滤波器部，其与所述2个摄像元件分别对应地设置，具有至少使可见光波段和红外波段透射的特性，且基于所述特性对射向所述2个摄像元件中的各个摄像元件的光进行滤波；
信号处理部，其对由所述摄像元件对通过所述滤波器部后的光进行摄像而得到的信号进行处理，输出可见光信号和红外信号；
距离计算部，其使用由所述信号处理部输出的2个所述可见光信号或2个所述红外信号，计算至被摄体的距离；和
对象物检测部，其根据从所述2个信号处理部输出的所述可见光信号或所述红外信号，对由所述摄像元件摄像得到的图像内的对象物的至少一部分进行检测，
以向外部输出关于所述距离计算部计算出的所述距离的数据和基于所述对象物检测部检测出的所述对象物的检测信息的数据的方式进行控制。
CN202110183267.9A 2016-06-03 2016-06-03 摄像装置和摄像系统 Pending CN112995616A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110183267.9A CN112995616A (zh) 2016-06-03 2016-06-03 摄像装置和摄像系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/066612 WO2017208437A1 (ja) 2016-06-03 2016-06-03 撮像装置および撮像システム
CN201680086253.2A CN109196850B (zh) 2016-06-03 2016-06-03 摄像装置和摄像系统
CN202110183267.9A CN112995616A (zh) 2016-06-03 2016-06-03 摄像装置和摄像系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680086253.2A Division CN109196850B (zh) 2016-06-03 2016-06-03 摄像装置和摄像系统

Publications (1)

Publication Number Publication Date
CN112995616A true CN112995616A (zh) 2021-06-18

Family

ID=60478122

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110183267.9A Pending CN112995616A (zh) 2016-06-03 2016-06-03 摄像装置和摄像系统
CN201680086253.2A Active CN109196850B (zh) 2016-06-03 2016-06-03 摄像装置和摄像系统
CN202110183309.9A Pending CN112995617A (zh) 2016-06-03 2016-06-03 摄像装置和摄像系统

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201680086253.2A Active CN109196850B (zh) 2016-06-03 2016-06-03 摄像装置和摄像系统
CN202110183309.9A Pending CN112995617A (zh) 2016-06-03 2016-06-03 摄像装置和摄像系统

Country Status (4)

Country Link
US (3) US11367309B2 (zh)
JP (1) JP6732902B2 (zh)
CN (3) CN112995616A (zh)
WO (1) WO2017208437A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816937B2 (en) * 2016-07-12 2020-10-27 Stryker Corporation Patient support apparatuses with clocks
JPWO2019026925A1 (ja) * 2017-08-01 2020-07-30 パナソニックＩｐマネジメント株式会社 個人認証装置
US10692196B2 (en) * 2017-10-18 2020-06-23 Gopro, Inc. Color correction integrations for global tone mapping
JP7073120B2 (ja) * 2018-01-26 2022-05-23 キヤノン株式会社 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム
TWI672957B (zh) * 2018-03-29 2019-09-21 瑞昱半導體股份有限公司 影像處理裝置及影像處理方法
US10785422B2 (en) * 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
JP7151992B2 (ja) * 2018-06-19 2022-10-12 明治石油株式会社 情報処理装置、燃料供給装置、情報処理方法、およびプログラム
JP2021532640A (ja) * 2018-07-17 2021-11-25 ベステル エレクトロニク サナイー ベ ティカレト エー．エス． ただ二つのカメラを備える装置およびこの装置を用いて二つの画像を生成する方法
GB201813740D0 (en) * 2018-08-23 2018-10-10 Ethersec Ind Ltd Method of apparatus for volumetric video analytics
JP7351124B2 (ja) * 2019-07-16 2023-09-27 株式会社リコー 画像処理装置、画像処理方法およびプログラム
FR3104363B1 (fr) * 2019-12-09 2022-03-25 Valeo Comfort & Driving Assistance Dispositif de capture d’images
CN111199221A (zh) * 2020-01-21 2020-05-26 成都国翼电子技术有限公司 用于提高复杂光环境下的人脸抓拍识别率的装置及方法
KR102248888B1 (ko) * 2020-03-16 2021-05-06 국방과학연구소 환경 적응형 표적 감시 장치 및 표적 감시 방법
JP7414327B2 (ja) * 2020-04-09 2024-01-16 Ｎｅｃソリューションイノベータ株式会社 認証装置
CN111901517B (zh) * 2020-06-13 2022-02-25 无锡利水管业有限公司 基于时区检测的帧率调节系统以及相应终端
KR102251307B1 (ko) * 2020-09-10 2021-05-13 주식회사 콕스 거리측정 기능을 갖는 열상 카메라 시스템
KR102487590B1 (ko) * 2020-12-04 2023-01-13 주식회사 콕스 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법
GB2611156B (en) * 2021-07-30 2024-06-05 Canon Kk Image capture apparatus, control method, and program
CN114827479B (zh) * 2022-06-29 2022-09-27 深圳比特微电子科技有限公司 一种监控设备的工作模式切换方法和装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0695340B2 (ja) 1985-11-05 1994-11-24 株式会社東芝 画像マッチング方法
JPH0381878A (ja) 1989-08-24 1991-04-08 Hideo Fujimoto ステレオ画像を用いた距離計測用画像認識装置
JP4235018B2 (ja) * 2003-03-31 2009-03-04 本田技研工業株式会社 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP3952460B2 (ja) * 2002-11-19 2007-08-01 本田技研工業株式会社 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
US7251346B2 (en) * 2002-11-19 2007-07-31 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
CN1282132C (zh) 2004-05-20 2006-10-25 上海交通大学 基于运动目标检测的红外和可见光动态图像融合方法
US7564019B2 (en) * 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
JP2008289000A (ja) * 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
JP2011015087A (ja) * 2009-06-30 2011-01-20 Panasonic Corp 撮像装置および撮像方法
JP5009395B2 (ja) 2010-05-26 2012-08-22 日立マクセル株式会社 撮像装置
JP5979500B2 (ja) 2011-04-07 2016-08-24 パナソニックＩｐマネジメント株式会社 立体撮像装置
US9143704B2 (en) * 2012-01-20 2015-09-22 Htc Corporation Image capturing device and method thereof
JP6182396B2 (ja) 2013-08-30 2017-08-16 日立オートモティブシステムズ株式会社 撮像装置
JP6303689B2 (ja) 2014-03-25 2018-04-04 株式会社ニコン 電子機器
CN106464850B (zh) 2014-06-24 2019-10-11 麦克赛尔株式会社 摄像传感器以及摄像装置
JP2016102697A (ja) 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム
WO2016084926A1 (ja) 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム
JP6517499B2 (ja) * 2014-11-28 2019-05-22 マクセル株式会社 撮像システム
US20160300410A1 (en) * 2015-04-10 2016-10-13 Jaguar Land Rover Limited Door Access System for a Vehicle
JP6607308B2 (ja) * 2016-03-17 2019-11-27 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラム

Also Published As

Publication number Publication date
JPWO2017208437A1 (ja) 2019-04-25
CN109196850B (zh) 2021-03-09
US11367309B2 (en) 2022-06-21
JP6732902B2 (ja) 2020-07-29
US20240062578A1 (en) 2024-02-22
US20220277589A1 (en) 2022-09-01
WO2017208437A1 (ja) 2017-12-07
CN112995617A (zh) 2021-06-18
US11842564B2 (en) 2023-12-12
CN109196850A (zh) 2019-01-11
US20190163964A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
CN109196850B (zh) 摄像装置和摄像系统
US10671877B2 (en) Method and apparatus for performing privacy masking by reflecting characteristic information of objects
JP5545016B2 (ja) 撮像装置
CN107292860B (zh) 一种图像处理的方法及装置
US9648285B2 (en) Monitoring method and camera
US8300890B1 (en) Person/object image and screening
JP7539951B2 (ja) 撮像装置
US20230343129A1 (en) Detecting device, detecting method, and recording medium
KR101514061B1 (ko) 노인 관리용 무선 카메라 장치 및 이를 통한 노인 관리 시스템
WO2021073140A1 (zh) 单目摄像机、图像处理系统以及图像处理方法
CN109389719A (zh) 一种小区单元门门禁系统及开门方法
CN111225157B (zh) 追焦方法及相关设备
CN112165573A (zh) 拍摄处理方法和装置、设备、存储介质
KR101754152B1 (ko) 복수 대역 카메라를 이용한 발열환자 감시 시스템 및 이를 이용한 발열환자 감시 방법
JP2004219277A (ja) 人体検知方法およびシステム、プログラム、記録媒体
US20230360297A1 (en) Method and apparatus for performing privacy masking by reflecting characteristic information of objects
KR102152072B1 (ko) 실영상카메라와 열영상카메라를 일체형으로 한 객체 감지 시스템
KR20140022670A (ko) 배경 영상을 제외한 단순화된 움직임 정보를 전송하고 아바타를 이용하여 디스플레이하는 장치와 그 방법
TW201603557A (zh) 立體影像處理系統、裝置與方法
CN112601054B (zh) 摄像画面的采集方法及装置、存储介质、电子设备
JP5703120B2 (ja) テレビジョン視聴支援装置
KR101736813B1 (ko) 착모확인을 통한 출입문의 보안장치
US20230095323A1 (en) Face Identification System Using Multiple Spectrum Analysis
JP6934987B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2021109458A1 (zh) 对象识别方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL HOLDINGS, Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220216

Address after: Kyoto Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL, Ltd.