CN115398883A - 红外线拍摄装置以及红外线拍摄系统 - Google Patents
红外线拍摄装置以及红外线拍摄系统 Download PDFInfo
- Publication number
- CN115398883A CN115398883A CN202080099339.5A CN202080099339A CN115398883A CN 115398883 A CN115398883 A CN 115398883A CN 202080099339 A CN202080099339 A CN 202080099339A CN 115398883 A CN115398883 A CN 115398883A
- Authority
- CN
- China
- Prior art keywords
- infrared
- imaging device
- infrared rays
- light emitting
- light emission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003331 infrared imaging Methods 0.000 title claims abstract description 104
- 238000003384 imaging method Methods 0.000 claims abstract description 49
- 238000005096 rolling process Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 description 25
- 238000012544 monitoring process Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000005286 illumination Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Vascular Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
发光部(11)照射红外线。拍摄元件(122)将入射的红外线转换为电信号并输出。控制部(13)基于红外线图像来估计从另一个红外线拍摄装置照射红外线的发光定时，并在另一个红外线拍摄装置没有照射红外线的期间控制发光部(11)使其照射红外线，红外线图像是基于从拍摄元件(122)输出的电信号而生成的。
Description
技术领域
本发明涉及向被摄体照射红外线并对从被摄体反射的红外线进行拍摄的红外线拍摄装置以及红外线拍摄系统。
背景技术
近年来，设置有驾驶员监控系统(Driver Monitoring System)的车辆逐渐增多。在驾驶员监控系统中，通过拍摄驾驶员的脸部，能够检测驾驶员的左顾右盼或打瞌睡，从而提醒驾驶员注意。为了即使在夜间或隧道等周围暗的状况下也能够高品质地拍摄驾驶员的脸部，一般使用红外线相机(例如，参照专利文献1)。
此外，设置有不仅可以监控驾驶员的脸部还可以监控包括副驾驶座和后部座席在内的整个车室的车室内监控系统(In-Cabin Monitoring System)也逐渐增多。在驾驶员监控系统和车室内监控系统分别具备红外线照明和红外线相机的情况下，如果在已经设置有驾驶员监控系统的车辆上后安装车室内监控系统，则在车室内并存两个红外线照明。
现有技术文献
专利文献
专利文献1：日本特开2003-209742号公报
发明内容
发明所要解决的问题
在上述环境下，如果两个红外线照明同时发光，则光会发生干扰，所拍摄的影像的亮度不稳定。在驾驶员监控系统和车室内监控系统中，乘员的脸部识别精度有可能降低。
本实施方式是鉴于这样的状况而完成的，其目的在于，提供一种在存在多个红外线照明的环境下避免红外线干扰的技术。
用于解决问题的手段
为了解决上述问题，本实施方式的一个方式的红外线拍摄装置是一种红外线拍摄装置，包括：发光部，照射红外线；拍摄元件，将入射的红外线转换为电信号并输出；以及控制部，基于红外线图像来估计从另一个红外线拍摄装置照射红外线的发光定时，并在从所述另一个红外线拍摄装置没有照射红外线的期间控制所述发光部使其照射红外线，所述红外线图像是基于从所述拍摄元件输出的电信号而生成的。
本实施方式的另一方式也是一种红外线拍摄装置。该装置是红外线拍摄装置，包括：发光部，照射红外线；拍摄元件，将入射的红外线转换为电信号并输出；照度传感器，测量入射的红外线的照度；以及控制部，基于所述照度传感器的接收光图案来估计从另一个红外线拍摄装置照射红外线的发光定时，并在从所述另一个红外线拍摄装置没有照射红外线的期间控制所述发光部使其照射红外线。
本实施方式的其他方式是一种红外线拍摄系统。该红外线拍摄系统包括设置在车室内的第一红外线拍摄装置和第二红外线拍摄装置，其中，所述第一红外线拍摄装置具有：发光部，照射红外线；拍摄元件，将入射的红外线转换为电信号并输出；以及控制部，基于红外线图像来估计从另一个红外线拍摄装置照射红外线的发光定时，并在从所述第二红外线拍摄装置没有照射红外线的期间控制所述发光部使其照射红外线，所述红外线图像是基于从所述拍摄元件输出的电信号而生成的。
发明效果
根据本实施方式，在存在多个红外线照明的环境下，能够避免红外线的干扰。
附图说明
图1是示出车辆内的第一红外线拍摄装置和第二红外线拍摄装置的设置例的图。
图2是示出实施方式1涉及的第一红外线拍摄装置的结构例的图。
图3是示出控制第一红外线拍摄装置的发光部的发光定时和拍摄部的曝光定时的基本概念的图。
图4是示出估计滚动快门方式中的第二红外线拍摄装置的发光部的发光定时的处理的具体示例的图。
图5是示出估计全局快门方式中的第二红外线拍摄装置的发光部的发光定时的处理的具体示例的图。
图6是示出实施方式2涉及的第一红外线拍摄装置的结构例的图。
具体实施方式
图1是示出车辆1内的第一红外线拍摄装置10和第二红外线拍摄装置20的设置例的图。第二红外线拍摄装置20是构成驾驶员监控系统的设备，第一红外线拍摄装置10是构成车室内监控系统的设备。
在图1中，第二红外线拍摄装置20设置在转向柱的上部，隔着方向盘的间隙面对驾驶员的脸部。另外，第二红外线拍摄装置20也可以组装在方向盘上。使用了第二红外线拍摄装置20的驾驶员监控系统是专用于监控驾驶员的系统，设定拍摄部的朝向和参数，以使驾驶员的脸部映现在视场角的中央。
在图1中，第一红外线拍摄装置10安装在车内后视镜上。另外，第一红外线拍摄装置10也可以设置在中央遮阳板或中央控制台上。使用了第一红外线拍摄装置10的车室内监控系统是对包括副驾驶席和后部座席在内的整个车室进行监控的系统，除了检测驾驶员打瞌睡或左顾右盼之外，还能够检测坐在副驾驶席和后部座席上的乘员的数量、包括驾驶员在内的全体乘员是否佩戴安全带等。
图2是示出实施方式1涉及的第一红外线拍摄装置10的结构例的图。图2所示的第一红外线拍摄装置10包括发光部11、拍摄部12、控制部13、记录部14以及扬声器15。发光部11包括用于向车室内照射红外线的红外线照明。作为红外线照明，例如可以使用红外线LED。
拍摄部12接收红外线而生成红外线图像。以下，在本实施方式中，将由发光部11照射并由拍摄部12拍摄的红外线设为近红外线。与远红外线图像不同，在拍摄近红外线图像的情况下，需要对被摄体照射近红外线，并拍摄来自被摄体的反射光。
拍摄部12包括透镜121、拍摄元件122。透镜121对车室内的预定区域的光进行聚光，并使其入射到拍摄元件122上。拍摄元件122将入射的光转换为电信号。拍摄元件122使用CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器或CCD(Charge Coupled Devices：电荷耦合器件)图像传感器等固态拍摄元件。
拍摄元件122在近红外线区域具有灵敏度。在拍摄元件122上设置可见光截止滤波器，该可见光截止滤波器截止可见光并透射红外线。另外，在使用仅对近红外线区域具有灵敏度的拍摄元件的情况下，可以省略可见光截止滤波器。
在本实施方式中采用电子式快门。拍摄元件122通常以30Hz或60Hz的帧率进行拍摄。在拍摄元件122的后级设置有信号处理电路(未图示)。信号处理电路对从拍摄元件122输入的电信号实施A/D转换、噪声去除等信号处理。从信号处理电路以帧为单位输出的图像信号被提供给控制部13。
控制部13包括图像处理部131、图像识别部132、发光定时估计部133、发光控制部134、曝光控制部135、记录控制部136以及警报控制部137。这些构成要素可以通过硬件资源和软件资源的协作、或者仅通过硬件资源来实现。作为硬件资源可以利用CPU、ROM、RAM、GPU(Graphics Processing Unit：图形处理单元)、DSP(Digital Signal Processor：数字信号处理器)、ISP(Image Signal Processor：图像信号处理器)、ASIC(Application SpecificIntegrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)和其他LSI。作为软件资源可以利用固件等程序。
图像处理部131对从拍摄部12输入的图像信号实施灰度校正、轮廓校正等各种图像处理并输出。
图像识别部132具有各种对象的识别器作为辞典数据，该各种对象的识别器为学习映现有人物的多个图像而生成的人物的识别器、学习映现有安全带的多个图像而生成的安全带的识别器等。另外，也可以具有用于识别特定人物的识别器。
图像识别部132使用各种对象的识别器来从图像处理部131输入的红外线图像中搜索各种对象。在对象的检测中，例如，可以使用Haar-like特征量、HOG(Histogram ofGradients：梯度直方图)特征量、LBP(Local Binary Patterns：局部二值模式)特征量等。
曝光控制部135根据来自发光定时估计部133的指示来控制拍摄元件122的曝光定时。在拍摄元件122采用滚动快门方式的情况下，曝光控制部135按每行控制曝光定时和读出定时。在拍摄元件122采用全局快门方式的情况下，曝光控制部135对所有像素同时控制曝光定时和读出定时。在拍摄元件122中使用CCD图像传感器的情况下，成为全局快门方式。在拍摄元件122中使用CMOS图像传感器的情况下，大多采用滚动快门方式，但近年来，全局快门方式的CMOS图像传感器也在增加。
发光控制部134与曝光控制部135进行的拍摄元件122的曝光定时同步地控制发光部11的发光定时(在本实施方式中为红外线LED的照射定时)。发光部11只要仅在拍摄元件122曝光的期间发光即可，即使在拍摄元件122未曝光的期间发光也是消耗电力的浪费。此外，如本实施方式那样，在邻接的场所设置有多个红外线拍摄装置的情况下，为了抑制红外线彼此的干扰，需要抑制地运用红外线的照射。
发光定时估计部133向发光控制部134和曝光控制部135分别指定发光定时和曝光定时。将在后面描述发光定时估计部133的详细动作。
记录部14具备内置型或装卸自如的外置型的非易失性记录介质。作为内置型，可以使用NAND闪存、SSD、HDD等。作为外置型，可以使用闪存卡(例如SD卡)、光盘、磁带等。
记录控制部136能够将由拍摄部12拍摄的图像记录在记录部14内的记录介质中。记录控制部136既可以像行车记录仪那样记录驾驶中的动态图像，也可以记录基于图像识别检测出预定事件时的静态图像。作为事件的检测，例如可以举出驾驶员打瞌睡或左顾右盼的检测。
扬声器15向驾驶员或驾驶员以外的乘员输出警告音、警告消息或语音播报。当基于图像识别检测到预定事件时，警报控制部137使得扬声器15输出与检测到的事件的内容对应的警告音或语音消息。例如，在检测到驾驶员打瞌睡或左顾右盼的情况下，警报控制部137使扬声器15输出警告音。此外，当坐在后部座席上的孩子从座席掉下来时，警报控制部137使扬声器15输出“从后部座席掉了下来。”这样的语音消息。
构成车室内监控系统的第一红外线拍摄装置10和构成驾驶员监控系统的第二红外线拍摄装置20的基本结构相同。在两者间，拍摄部的拍摄范围、发光部的红外线的照射范围、能够进行图像识别的对象的种类、以及基于图像识别而执行的应用的种类不同。
在将第一红外线拍摄装置10和第二红外线拍摄装置20构成为一体化的系统的情况下，能够将两者的控制部整合为一个。与此相对，在第一红外线拍摄装置10和第二红外线拍摄装置20的设置时期不同的情况下(通常，第一红外线拍摄装置10在之后设置)、或第一红外线拍摄装置10和第二红外线拍摄装置20的制造商不同的情况下，第一红外线拍摄装置10和第二红外线拍摄装置20不协作而分别独立地动作。
在这种情况下，从第一红外线拍摄装置10的发光部照射的红外线和从第二红外线拍摄装置20的发光部照射的红外线可能彼此干扰。在同时照射两者的红外线的期间拍摄的红外线图像中，发生高光过白(blown-out highlights)的概率变高。在发生高光过白的红外线图像中，存在图像识别的精度降低、驾驶辅助功能不能有效工作的可能性。在实施方式1涉及的第一红外线拍摄装置10中，导入了对该红外线干扰的对策的结构。
图3是示出控制第一红外线拍摄装置10的发光部11的发光定时和拍摄部12的曝光定时的基本概念的图。发光定时估计部133基于从图像处理部131输入的红外线图像估计从第二红外线拍摄装置20的发光部照射的红外线的发光定时。
例如，发光定时估计部133针对所输入的每个红外线图像计算所有像素的亮度的平均值。当该平均值为阈值以上时，发光定时估计部133判定为是在第二红外线拍摄装置20的发光部点亮的期间拍摄到的红外线图像。相反，当该平均值小于阈值时，发光定时估计部133判定为是在第二红外线拍摄装置20的发光部熄灭的期间拍摄到的红外线图像。
发光控制部134和曝光控制部135控制发光部11的发光定时和拍摄元件122的曝光定时，使得在由发光定时估计部133估计的未从第二红外线拍摄装置20的发光部照射红外线的期间，使发光部11照射红外线，并使拍摄元件122曝光。
另外，在图3中示出了第二红外线拍摄装置20的发光部的熄灭期间与第一红外线拍摄装置10的发光部11的点亮期间一致的例子，但是第一红外线拍摄装置10的发光部11的点亮期间只要包含在第二红外线拍摄装置20的发光部的熄灭期间即可。即，第二红外线拍摄装置20的发光部的发光图案和第一红外线拍摄装置10的发光部11的发光图案不需要完全成为相反相位。
图4是示出估计滚动快门方式中的第二红外线拍摄装置20的发光部的发光定时的处理的具体示例的图。在使用滚动快门方式的CMOS图像传感器中，从由配置成矩阵状的多个像素构成的拍摄区域的最上面的水平线到最下面的水平线以行为单位依次曝光，并且按照曝光的行顺序依次读出像素信息。
在滚动快门方式中，在一张帧图像内，对每条水平线的曝光定时不同，因此在一张帧图像内成为越往下相对于先头行的图像在时间上越滞后的图像。因此，在拍摄高速移动的被摄体的情况下，被摄体被拍得失真。
在滚动快门方式中，在一张帧图像内受到闪烁的影响。在滚动快门方式中，有时以帧图像内某一行为边界，由于闪烁的影响而明暗发生变化。与此相对，在全局快门方式中，根据光源的闪烁，有时产生亮的帧图像和暗的帧图像，但在一张帧图像内，不会产生光源的闪烁引起的明暗差。
当估计第二红外线拍摄装置20的发光部的发光定时时，发光控制部134熄灭发光部11。在使用滚动快门方式的拍摄元件122的情况下，曝光控制部135将帧期间中的曝光时间设定得尽可能长，将读出时间设定得尽可能短。优选将曝光时间设定为与帧期间相等。即，优选将快门速度设定得慢到与帧期间相等。
发光定时估计部133在由拍摄部12拍摄的帧图像内确定亮区域和暗区域切换的边界位置(即边界线)。在图4所示的例子中，发光定时估计部133测量从在第一帧图像F1中从暗区域切换到亮区域的行的曝光开始定时到下一个从亮区域切换到暗区域的行的曝光开始定时为止的期间。发光定时估计部133将该测量出的期间估计为第二红外线拍摄装置20的发光部的点亮期间。
发光定时估计部133测量从在第一帧图像F1中从亮区域切换到暗区域的行的曝光开始定时到在第二帧图像F2中从暗区域切换到亮区域的行的曝光开始定时为止的期间。发光定时估计部133将该测量出的期间估计为第二红外线拍摄装置20的发光部的熄灭期间。
通过以上处理，发光定时估计部133能够估计第二红外线拍摄装置20的发光部的发光定时。该发光定时的估计处理在第一红外线拍摄装置10起动时执行。在车辆1的行驶开始后，例如，可以在车辆1暂时停止的期间执行，也可以定期执行。
图5是示出估计全局快门方式中的第二红外线拍摄装置20的发光部的发光定时的处理的具体示例的图。当估计第二红外线拍摄装置20的发光部的发光定时时，发光控制部134熄灭发光部11。在使用全局快门方式的拍摄元件122的情况下，曝光控制部135使用扫描用曝光图案来控制发光部11的发光定时。
扫描用曝光图案是帧率可变的曝光图案。如图5所示，扫描用曝光图案是各帧的曝光时间一定、帧间的曝光间隔变化的曝光图案。发光定时估计部133确定各帧图像是亮图像还是暗图像。例如，如上所述，可以通过将图像中的所有像素的亮度的平均值与阈值进行比较来确定是亮图像还是暗图像。发光定时估计部133能够基于预先生成的扫描用曝光图案和各帧图像的明暗推移，来估计第二红外线拍摄装置20的发光部的发光定时。
图6是示出实施方式2涉及的第一红外线拍摄装置10的结构例的图。图6所示的实施方式2涉及的第一红外线拍摄装置10的结构是在图2所示的实施方式1涉及的第一红外线拍摄装置10的结构中追加了照度传感器16的结构。照度传感器16包括红外线检测用接收光元件(例如光电二极管)，测量红外线的照度并输出到发光定时估计部133。
当估计第二红外线拍摄装置20的发光部的发光定时时，发光控制部134熄灭发光部11。在实施方式2中，发光定时估计部133基于由照度传感器16测量的红外线的接收光图案来估计第二红外线拍摄装置20的发光部的发光定时。由于照度传感器16连续地进行接收光，所以能够输出与第二红外线拍摄装置20的发光部的发光定时大致相同的接收光图案。
在实施方式2中，在第一红外线拍摄装置10的动作中，能够实时地检测到第二红外线拍摄装置20的发光部的发光定时发生变化的情况。发光定时估计部133根据照度传感器16的输出来提取未从第一红外线拍摄装置10的发光部11照射红外线的期间的接收光图案并进行监控。当发光定时估计部133检测出该期间的接收光图案发生了变化时，使发光控制部134熄灭发光部11。发光定时估计部133在该环境下基于由照度传感器16测量的红外线的接收光图案来估计第二红外线拍摄装置20的发光部的发光定时。
在实施方式2中，基本上不需要基于由实施方式1中说明的拍摄元件122拍摄的红外线图像来估计第二红外线拍摄装置20的发光部的发光定时的功能。
另外，也可以并用基于由照度传感器16测量的红外线的接收光图案的第二红外线拍摄装置20的发光部的发光定时的估计处理、和基于由拍摄元件122拍摄的红外线图像的第二红外线拍摄装置20的发光部的发光定时的估计处理。在两者的测量结果实质上不一致的情况下，有可能在拍摄元件122或照度传感器16中发生了异常。通过并用两者，能够作为拍摄元件122或照度传感器16的故障检测模式使用。
如以上说明的那样，根据实施方式1、2，能够防止第一红外线拍摄装置10和第二红外线拍摄装置20同时照射红外线，能够避免红外线彼此的干扰。由此，能够使由第一红外线拍摄装置10以及第二红外线拍摄装置20拍摄的红外线图像的亮度稳定化，能够防止图像识别的精度降低。
此外，不需要用配线连接第一红外线拍摄装置10和第二红外线拍摄装置20之间，从而不需要用于设置配线的追加成本。此外，不存在因通过配线连接而导致第一红外线拍摄装置10和第二红外线拍摄装置20的设置位置自由度降低的情况。此外，不会发生因通过配线连接而导致车室内的外观性降低的情况。
此外，根据实施方式1，即使在未设置照度传感器16的情况下，也能够避免红外线彼此的干扰。此外，根据实施方式2，通过设置照度传感器16，能够始终监控第二红外线拍摄装置20的发光部的发光定时。
以上，基于实施方式对本发明进行了说明。本领域技术人员应理解，该实施方式为例示，这些各构成要素和各处理过程的组合可以有各种变形例，并且这样的变形例也在本发明的范围内。
在上述实施方式1、2中，说明了如下例子，即，第一红外线拍摄装置10估计第二红外线拍摄装置20的发光部的发光定时，在未从第二红外线拍摄装置20照射红外线的期间，控制为从第一红外线拍摄装置10的发光部11照射红外线。关于这一点，也可以如下控制，使得第二红外线拍摄装置20估计第一红外线拍摄装置10的发光部11的发光定时，在未从第一红外线拍摄装置10照射红外线的期间，从第二红外线拍摄装置20的发光部照射红外线。
在上述实施方式1、2中，说明了第一红外线拍摄装置10和第二红外线拍摄装置20设置在车室内的例子。关于这一点，也可以作为监控相机设置在路上或建筑物内。特别是对于具有检测可疑者或入侵者的图像识别功能的监控相机是有效的。
产业上的可利用性
本发明可以在存在多个红外线照明的环境下利用。
符号说明
1车辆、10第一红外线拍摄装置、20第二红外线拍摄装置、11发光部、12拍摄部、121透镜、122拍摄元件、13控制部、131图像处理部、132图像识别部、133发光定时估计部、134发光控制部、135曝光控制部、136记录控制部、137警报控制部、14记录部、15扬声器、16照度传感器。
Claims (5)
1.一种红外线拍摄装置，包括：
发光部，照射红外线；
拍摄元件，将入射的红外线转换为电信号并输出；以及
控制部，基于红外线图像来估计从另一个红外线拍摄装置照射红外线的发光定时，并在从所述另一个红外线拍摄装置没有照射红外线的期间控制所述发光部使其照射红外线，所述红外线图像是基于从所述拍摄元件输出的电信号而生成的。
2.根据权利要求1所述的红外线拍摄装置，其中，
当所述拍摄元件为全局快门方式时，
所述控制部使来自所述发光部的红外线的照射停止，并且基于使帧率改变的情况下由所述拍摄元件拍摄的各红外线图像是亮图像还是暗图像，来估计从所述另一个红外线拍摄装置照射红外线的发光定时。
3.根据权利要求1所述的红外线拍摄装置，其中，
当所述拍摄元件为滚动快门方式时，
所述控制部使来自所述发光部的红外线的照射停止，并且基于由所述拍摄元件拍摄的各红外线图像的亮区域和暗区域的边界位置来估计从所述另一个红外线拍摄装置照射红外线的发光定时。
4.一种红外线拍摄装置，包括：
发光部，照射红外线；
拍摄元件，将入射的红外线转换为电信号并输出；
照度传感器，测量入射的红外线的照度；以及
控制部，基于所述照度传感器的接收光图案来估计从另一个红外线拍摄装置照射红外线的发光定时，并在从所述另一个红外线拍摄装置没有照射红外线的期间控制所述发光部使其照射红外线。
5.一种红外线拍摄系统，包括设置在车室内的第一红外线拍摄装置和第二红外线拍摄装置，其中，
所述第一红外线拍摄装置具有：
发光部，照射红外线；
拍摄元件，将入射的红外线转换为电信号并输出；以及
控制部，基于红外线图像来估计从另一个红外线拍摄装置照射红外线的发光定时，并在从所述第二红外线拍摄装置没有照射红外线的期间控制所述发光部使其照射红外线，所述红外线图像是基于从所述拍摄元件输出的电信号而生成的。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020-128014 | 2020-07-29 | ||
| JP2020128014A JP2022025280A (ja) | 2020-07-29 | 2020-07-29 | 赤外線撮像装置、及び赤外線撮像システム |
| PCT/JP2020/047126 WO2022024411A1 (ja) | 2020-07-29 | 2020-12-17 | 赤外線撮像装置、及び赤外線撮像システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115398883A true CN115398883A (zh) | 2022-11-25 |
| CN115398883B CN115398883B (zh) | 2024-01-09 |
Family
ID=80037883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080099339.5A Active CN115398883B (zh) | 2020-07-29 | 2020-12-17 | 红外线拍摄装置以及红外线拍摄系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230019442A1 (zh) |
| EP (1) | EP4191998A4 (zh) |
| JP (1) | JP2022025280A (zh) |
| CN (1) | CN115398883B (zh) |
| WO (1) | WO2022024411A1 (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020171813A1 (en) * | 2001-05-16 | 2002-11-21 | Katsumi Kimura | Imaging prevention method and system |
| JP2004220147A (ja) * | 2003-01-10 | 2004-08-05 | Takenaka Engineering Co Ltd | 視野妨害監視機構を備えた監視カメラ |
| JP2006248365A (ja) * | 2005-03-10 | 2006-09-21 | Omron Corp | 移動体の後方監視ミラー、運転者撮影装置、運転者監視装置および安全運転支援装置 |
| US20080029701A1 (en) * | 2006-07-25 | 2008-02-07 | Matsushita Electric Industrial Co. Ltd. | Night-vision imaging apparatus, control method of the same, and headlight module |
| JP2009071789A (ja) * | 2007-09-18 | 2009-04-02 | Denso Corp | 車両周辺監視システム |
| WO2012008651A1 (ko) * | 2010-07-16 | 2012-01-19 | 주식회사 니씨콤 | 차량용 감시카메라 |
| JP2016046634A (ja) * | 2014-08-21 | 2016-04-04 | 任天堂株式会社 | 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法 |
| WO2016114015A1 (ja) * | 2015-01-15 | 2016-07-21 | ソニー株式会社 | 撮像制御装置、撮像制御方法及びプログラム |
| CN105917638A (zh) * | 2014-02-06 | 2016-08-31 | Jvc建伍株式会社 | 摄像装置和摄像装置的控制方法、以及摄像系统和摄像系统的控制方法 |
| CN206117865U (zh) * | 2016-01-16 | 2017-04-19 | 上海图漾信息科技有限公司 | 深度数据监控装置 |
| US20180081043A1 (en) * | 2016-09-16 | 2018-03-22 | Analog Devices, Inc. | Interference handling in time-of-flight depth sensing |
| US20190208104A1 (en) * | 2018-01-03 | 2019-07-04 | Getac Technology Corporation | Vehicular image pickup device and method of configuring same |
| WO2019200434A1 (en) * | 2018-04-19 | 2019-10-24 | Seeing Machines Limited | Infrared light source protective system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3850021B2 (ja) | 2002-01-11 | 2006-11-29 | アルパイン株式会社 | 赤外線照明付撮影装置 |
| JP5374277B2 (ja) * | 2009-08-26 | 2013-12-25 | パナソニック株式会社 | 撮像システム |
| US10419703B2 (en) * | 2014-06-20 | 2019-09-17 | Qualcomm Incorporated | Automatic multiple depth cameras synchronization using time sharing |
| WO2018053292A1 (en) * | 2016-09-16 | 2018-03-22 | Analog Devices, Inc. | Interference handling in time-of-flight depth sensing |
-
2020
- 2020-07-29 JP JP2020128014A patent/JP2022025280A/ja active Pending
- 2020-12-17 CN CN202080099339.5A patent/CN115398883B/zh active Active
- 2020-12-17 EP EP20947753.8A patent/EP4191998A4/en active Pending
- 2020-12-17 WO PCT/JP2020/047126 patent/WO2022024411A1/ja active Application Filing
-
2022
- 2022-09-23 US US17/934,595 patent/US20230019442A1/en active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020171813A1 (en) * | 2001-05-16 | 2002-11-21 | Katsumi Kimura | Imaging prevention method and system |
| JP2004220147A (ja) * | 2003-01-10 | 2004-08-05 | Takenaka Engineering Co Ltd | 視野妨害監視機構を備えた監視カメラ |
| JP2006248365A (ja) * | 2005-03-10 | 2006-09-21 | Omron Corp | 移動体の後方監視ミラー、運転者撮影装置、運転者監視装置および安全運転支援装置 |
| US20080029701A1 (en) * | 2006-07-25 | 2008-02-07 | Matsushita Electric Industrial Co. Ltd. | Night-vision imaging apparatus, control method of the same, and headlight module |
| JP2009071789A (ja) * | 2007-09-18 | 2009-04-02 | Denso Corp | 車両周辺監視システム |
| WO2012008651A1 (ko) * | 2010-07-16 | 2012-01-19 | 주식회사 니씨콤 | 차량용 감시카메라 |
| CN105917638A (zh) * | 2014-02-06 | 2016-08-31 | Jvc建伍株式会社 | 摄像装置和摄像装置的控制方法、以及摄像系统和摄像系统的控制方法 |
| JP2016046634A (ja) * | 2014-08-21 | 2016-04-04 | 任天堂株式会社 | 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法 |
| WO2016114015A1 (ja) * | 2015-01-15 | 2016-07-21 | ソニー株式会社 | 撮像制御装置、撮像制御方法及びプログラム |
| CN206117865U (zh) * | 2016-01-16 | 2017-04-19 | 上海图漾信息科技有限公司 | 深度数据监控装置 |
| US20180081043A1 (en) * | 2016-09-16 | 2018-03-22 | Analog Devices, Inc. | Interference handling in time-of-flight depth sensing |
| US20190208104A1 (en) * | 2018-01-03 | 2019-07-04 | Getac Technology Corporation | Vehicular image pickup device and method of configuring same |
| WO2019200434A1 (en) * | 2018-04-19 | 2019-10-24 | Seeing Machines Limited | Infrared light source protective system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022024411A1 (ja) | 2022-02-03 |
| EP4191998A4 (en) | 2024-01-03 |
| US20230019442A1 (en) | 2023-01-19 |
| EP4191998A1 (en) | 2023-06-07 |
| JP2022025280A (ja) | 2022-02-10 |
| CN115398883B (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4738778B2 (ja) | 画像処理装置、運転支援装置および運転支援システム | |
| JP7296350B2 (ja) | 振幅変調光のフリッカ補正のためのビデオストリーム画像処理システムおよび方法 | |
| JP4218670B2 (ja) | 前方撮影装置 | |
| RU2453884C1 (ru) | Устройство для формирования изображения водителя и способ формирования изображения водителя | |
| JP5437855B2 (ja) | 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 | |
| JP5629521B2 (ja) | 障害物検知システム及び方法、障害物検知装置 | |
| US10791252B2 (en) | Image monitoring device, image monitoring method, and recording medium | |
| JP2010223685A (ja) | 車両用撮像装置 | |
| US20150085118A1 (en) | Method and camera assembly for detecting raindrops on a windscreen of a vehicle | |
| JP7331483B2 (ja) | 撮像制御装置 | |
| CN113826105A (zh) | 图像识别装置和图像识别方法 | |
| JP2023035327A (ja) | 搭乗者を撮像する撮像機能を備えた車両 | |
| JP2010210374A (ja) | 車両用撮像装置 | |
| CN115398883B (zh) | 红外线拍摄装置以及红外线拍摄系统 | |
| JP2007251555A (ja) | 診断装置および方法、プログラム、並びに、記録媒体 | |
| US7791670B2 (en) | Method of operation for a vision-based occupant sensing system | |
| JP7262043B2 (ja) | 異常検出システム、移動体、異常検出方法、及びプログラム | |
| WO2023032029A1 (ja) | 遮蔽判定装置、乗員監視装置及び遮蔽判定方法 | |
| CN115769250A (zh) | 用于机动车的视觉系统 | |
| JP2022025343A (ja) | 赤外線撮像システム、赤外線撮像方法、及び赤外線照射装置 | |
| JP3929420B2 (ja) | 車両用光量検出装置及び車両用照明制御装置 | |
| JP4577301B2 (ja) | 顔向き検知装置 | |
| WO2023074903A1 (ja) | センシングシステムおよび自動車 | |
| US20220232177A1 (en) | Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element | |
| JP2009126391A (ja) | 車載撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |