CN114128245A - 成像装置及其照明装置、车辆、车辆用灯具 - Google Patents

成像装置及其照明装置、车辆、车辆用灯具 Download PDF

Info

Publication number
CN114128245A
CN114128245A CN202080050563.5A CN202080050563A CN114128245A CN 114128245 A CN114128245 A CN 114128245A CN 202080050563 A CN202080050563 A CN 202080050563A CN 114128245 A CN114128245 A CN 114128245A
Authority
CN
China
Prior art keywords
image data
image
mode
pixel
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080050563.5A
Other languages
English (en)
Other versions
CN114128245B (zh
Inventor
鸟居辉明
春濑祐太
杉本真太郎
新田健人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Publication of CN114128245A publication Critical patent/CN114128245A/zh
Application granted granted Critical
Publication of CN114128245B publication Critical patent/CN114128245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

图案化设备(114)根据具有第1像素数且二灰阶的第1图像数据(IMG1)来调制光束的强度分布。运算处理装置(130)进行基于光检测器(120)的输出的检测强度b、以及具有比第1像素数更少的第2像素数且随机的m灰阶(m≥2)的第2图像数据(IMG2)的相关计算，并重构物体的复原图像G(x，y)。在将第1图像数据(IMG1)与第2图像数据(IMG2)缩放到相同尺寸并重叠时，第2图像数据(IMG2)的任意像素与和其重叠的第1图像数据(IMG1)的包含多个像素的像素组对应。在将任意像素的被归一化的灰阶值记为k，将像素组所包含的像素的个数记为L，将像素组所包含的值为1的像素的个数记为l时，l＝L×k成立。

Description

成像装置及其照明装置、车辆、车辆用灯具
技术领域
本发明涉及成像装置。
背景技术
为了自动驾驶或前照灯的配光的自动控制，会利用对存在于车辆周围的物体的位置及种类进行感测的物体识别系统。物体识别系统包含传感器，以及对传感器的输出进行分析的运算处理装置。关于传感器，考虑用途、要求精度及成本地从照相机、LiDAR(LightDetection and Ranging，Laser Imaging Detection and Ranging：光探测和测距，激光成像探测和测距)、毫米波雷达、以及超声波声呐等中选择。
作为成像装置(传感器)之一，已知利用了鬼成像(ghost imaging)原理的成像装置(以下，称为量子雷达)。鬼成像中，一边随机切换参照光的强度分布(图案)一边使其向物体照射，并针对每个图案来测定反射光的光检测强度。光检测强度为某一平面的能量或强度的积分值，而非强度分布。然后，通过取得对应的图案与光检测强度的相关来重构(reconstruct)物体的复原图像。
[现有技术文献]
[专利文献]
专利文献1:日本特许第6412673号公报
发明内容
[发明要解决的课题]
量子雷达能够在雾中等视野不良的环境下，拍摄以通常的二维成像传感器(照相机)无法拍摄的物体，但为了复原1张图像，需要照射多次参照光，与一般的照相机相比，帧率会变低。因此，在视野良好的环境下，可能会发生如下状况：与量子雷达相比，优选二维成像传感器。
1.本发明的一个方案在上述状况下完成，其例示性的目的之一在于提供一种兼顾高画质与高帧率的成像装置及其照明装置。
2.此外，本发明的一个方案的目的之一在于提供一种兼具量子雷达与二维成像传感器的优点的成像装置。
[用于解决技术课题的技术方案]
1.本发明的一个方案涉及一种利用了相关计算的成像装置。成像装置包括：光源，其生成具有均匀的强度分布的光束；图案化设备，其根据二灰阶的第1图像数据来对光束的强度分布进行调制；光检测器，其对来自物体的反射光进行测定；以及运算处理装置，其进行基于光检测器的输出的检测强度和m灰阶(m≥2)的第2图像数据的相关计算，对物体的复原图像进行重构。第1图像数据的像素数比第2图像数据的像素数更多。第2图像数据的1个像素与第1图像数据的包含多个(L个)像素的像素组对应。在将第2图像数据的某一像素的被归一化的灰阶值记为k，将与其对应的像素组所包含的值为1的像素的个数记为l时，l＝L×k成立。
本发明的另一方案涉及一种被用于利用了相关计算的成像装置的照明装置。照明装置包括：光源，其生成具有均匀的强度分布的光束；图案化设备，其包含第1像素数的像素的阵列，并根据具有第1像素数，且二灰阶的第1图像数据来调制光束的强度分布；以及控制器，其生成具有比第1像素数更少的第2像素数，且随机的m灰阶(m≥2)的第2图像数据，并将其提供给相关计算，并且将第2图像数据转换为第1图像数据，并供给到图案化设备。
2.本发明的另一方案涉及一种成像装置。成像装置包括：照明装置，其将可控制强度分布的红外的参照光向物体照射；二维成像传感器，其对红外线区域具有灵敏度を有する；以及运算处理装置，其对二维成像传感器所拍摄的图像进行处理。(i)在第1模式下，照明装置基于多个(M个)图案化数据的序列来使参照光的强度分布变化。与其并行地，二维成像传感器拍摄多张(M张)图像。运算处理装置针对多个图像，分别计算与多个像素的累计值相应的光检测强度。然后，运算处理装置进行多个图像所对应的多个光检测强度和多个图案化数据的相关计算，并输出第1输出图像。(ii)在第2模式下，运算处理装置输出基于二维成像传感器所拍摄的图像的第2输出图像。
[发明效果]
根据本发明的一个方案，能够兼顾高画质与高帧率。此外，根据另一方案，能够提供一种兼具量子雷达与二维成像传感器的优点的成像装置。
附图说明
图1是表示实施方式1的成像装置的图。
图2的(a)～图2的(c)是对图案化设备即DMD的像素进行说明的图。
图3是对第2图像数据与第1图像数据的关系进行说明的图。
图4是表示第1图像数据和第2图像数据的具体例的图。
图5的(a)、图5的(b)是表示配置规则的例子的图。
图6是表示对比技术的成像装置的1帧的感测的时序图。
图7是表示图1的成像装置的1帧的感测的时序图。
图8是表示第2图像数据和第1图像数据的一例的图。
图9是表示仿真结果的图。
图10的(a)～图10的(c)是表示变形例1.1的第2图像数据的图。
图11是表示变形例1.2的第1图像数据和第2图像数据的图。
图12是表示实施方式2的成像装置的图。
图13是图12的成像装置的动作的流程图。
图14是表示第1模式、第2模式、第3模式下的照明装置、二维成像传感器、运算处理装置的状态及处理的图。
图15的(a)～图15的(c)是对混合模式进行说明的图。
图16是物体识别系统的框图。
图17是表示具备物体识别系统的汽车的图。
图18是表示具备物体检测系统的车辆用灯具的框图。
具体实施方式
(实施方式的概要)
以下，对本公开的几个例示性的实施方式的概要进行说明。该概要作为后述的详细说明的前置，以实施方式的基本理解为目的，将一个或多个实施方式中的几个概念简化并对其进行说明，并不会限定发明或公开的广度。此外，该概要并非可考虑的全部实施方式的概括性的概要，并不对实施方式的不可或缺的构成要素进行限定。方便起见，“一个实施方式”有时用于指代本说明书所公开的一个实施方式(实施例或变形例)或多个实施方式(实施例或变形例)。
1.一个实施方式涉及一种利用了相关计算的成像装置。成像装置包括：光源，其生成具有均匀的强度分布的光束；图案化设备，其根据二灰阶的第1图像数据来对光束的强度分布进行调制；光检测器，其对来自物体的反射光进行测定；以及运算处理装置，其进行基于光检测器的输出的检测强度和m灰阶(m≥2)的第2图像数据的相关计算，对物体的复原图像进行重构。第1图像数据的像素数比第2图像数据的像素数多。第2图像数据的1个像素与第1图像数据的包含多个(L个)像素的像素组对应。在将第2图像数据的某一像素的被归一化后的灰阶值记为k，将与其对应的像素组所包含的值为1的像素的个数记为l时，l＝L×k成立。
一般地，在使图案化设备多灰阶地动作的情况下，帧率会降低。根据该实施方式，能够通过使用像素数比用于相关计算的第2图像数据更多的图案化设备，并使图案化设备进行1位动作，从而实现高帧率。在以第2图像数据的像素数(分辨率)观察时，图案化设备所生成的参照光的强度分布被多灰阶表示，因此也能够实现高画质。
也可以是，成像装置还包括生成第2图像数据的控制器。也可以是，控制器对第2图像数据进行转换，生成第1图像数据。
也可以是，控制器按照预定的配置规则，将值1、0分配给像素组。
也可以是，配置规则被确定为：从像素组的中央的像素起优先填值1。在该情况下，能够降低图案化设备的相邻像素组彼此的干扰。
也可以是，配置规则被确定为：在像素组中，值1被均匀地配置。
也可以是，在像素组中，值1和0被随机地配置。
也可以是，构成第2图像数据的像素的尺寸根据位置而不同。由此，能够局部地控制分辨率。
也可以是，图案化设备为DMD(Digital Micromirror Device：数字微镜器件)。
照明装置能够在利用相关计算的成像装置中使用。成像装置除了照明装置外，还包括：光检测器，其对来自物体的反射光进行测定；以及运算处理装置，其进行基于光检测器的输出的检测强度和第2图像数据的相关计算，并重构物体的复原图像。
2.一个实施方式的成像装置包括：照明装置，其向物体照射可控制强度分布的红外的参照光；二维成像传感器，其对红外线区域具有灵敏度；以及运算处理装置，其对二维成像传感器所拍摄的图像进行处理。成像装置能够在第1模式与第2模式间进行切换。
(i)第1模式
照明装置基于多个图案化数据的序列来使参照光的强度分布变化。在此期间，二维成像传感器拍摄多个图像。运算处理装置针对多个图像分别计算与多个像素的累计值相应的光检测强度，进行多个图像所对应的多个光检测强度和多个图案化数据的相关计算，并输出第1输出图像。
(ii)第2模式
运算处理装置被构成为输出基于二维成像传感器所拍摄的图像的第2输出图像。
该成像装置在第1模式下作为量子雷达来动作，在第2模式下作为照相机(二维成像传感器)来动作，因此能够兼具量子雷达与二维成像传感器的优点。
此外，因为在第1模式与第2模式下，能够共享二维成像传感器及光学系统，所以在第1模式与第2模式下，能够得到相同视场角的图像，也不存在2个模式间的视差。
在第2模式下，照明装置也可以照射具有均匀的强度分布的参照光。也可以是，二维成像传感器作为有源传感器来动作，该有源传感器对来自物体的参照光的反射光进行检测。能够将成像装置作为夜视照相机来使用。
也可以是，运算处理部被构成为可判定视野的良与不良，并在判定为视野不良时，选择第1模式，在判定为视野良好时，选择第2模式。
在第3模式下，成像装置也可以作为无源传感器来动作。在第3模式下，照明装置也可以停止发光。也可以是，运算处理装置输出基于二维成像传感器所拍摄的图像的第3输出图像。
也可以是，除了红外线区域以外，二维成像传感器还对可见光区域具有灵敏度。第3输出图像也可以为可见光图像。
也可以是，运算处理部被构成为可判定视野的良与不良及周围的明亮度，并(i)在判定为视野不良时，选择第1模式，(ii)在判定为视野良好，且周围较暗时，选择第2模式，(iii)在判定为视野良好，且周围较亮时，选择第3模式。
也可以是，第3输出图像为红外光图像。
也可以是，成像装置支持混合模式。
在混合模式下，照明装置使参照光的第1部分的强度分布变化，使参照光的第2部分的强度分布均匀，运算处理装置针对参照光的第1部分的照射范围，通过相关计算来生成第1输出图像，针对参照光的第2部分的照射范围，生成基于二维成像传感器所拍摄的图像的第2输出图像。
由此，能够在视野局部较差这样的状况下，仅使视野较差的区域作为量子雷达来动作。
也可以是，在第2模式下，成像装置作为无源传感器来动作。在第2模式下，照明装置也可以停止发光。
以下，参照附图，基于优选的实施方式来对本发明进行说明。对于各附图所示的相同或等同的构成要素、构件、以及处理，标注相同的附图标记，并适当省略重复的说明。此外，实施方式并不对发明进行限定，仅为例示，实施方式所记述的一切特征或其组合不一定都是发明的实质性内容。
本说明书中的所谓“强度分布随机”，并不意味着完全的随机，只要可在鬼成像中重建图像程度地随机即可。因此，关于本说明书中的“随机”，其中可包含某种程度的规则性。此外，“随机”并不要求完全无法预测，也可以是可预测、可再生的。
(实施方式1)
图1是表示实施方式1的成像装置100的图。成像装置100是使用了鬼成像的原理的相关函数成像传感器，包括照明装置110、光检测器120及运算处理装置130。也将成像装置100称为量子雷达照相机。
照明装置110为伪热光源，生成具有实质上可视为随机的强度分布I(x，y)的参照光S1，并向物体OBJ进行照射。关于参照光S1向物体OBJ的照射，一边使其强度分布根据M种(M＞1)图案变化一边进行。
照明装置110包含光源112、图案化设备114及控制器116。光源112生成具有均匀的强度分布的光束S0。光源112也可以使用激光或发光二极管等。优选的是，光束S0为红外光，但其波长或光谱不被特别地限定，既可以为具有多个或连续光谱的白色光，也可以为包含预定的波长的单色光。
图案化设备114包含第1像素数(X×Y)的像素的阵列。图案化设备114接收具有第1像素数(X×Y)，且二灰阶的第1图像数据IMG1，根据第1图像数据IMG1来控制像素的阵列，并对光束S0的强度分布进行调制。作为图案化设备114，能够使用DMD(Digital MicromirrorDevice：数字微镜器件)或液晶设备。在本实施方式中，图案化设备114为DMD。
图2的(a)～图2的(c)为对图案化设备114即DMD的像素进行说明的图。如图2的(a)所示，DMD是被配置为Y行X列的矩阵状的多个微镜的(像素PIX)的阵列。如图2的(b)所示，各像素PIX为正方形的镜子，并能够以被设置于对角的铰链为轴，沿ON方向和OFF方向倾动。图案化设备114被构成为能够独立地对所有像素进行开、关控制。在以下的说明中，将矩阵的形状如图2的(c)那样地简化示出。
回到图1。构成DMD的各微镜的状态与第1图像数据IMG1的对应的像素建立对应。即，在第1图像数据IMG1的某一像素PB(i，j)的值为1时，该像素PB(i，j)所对应的微镜向“开”侧倾动，当某一像素PB(i，j)的值为0时，该像素所对应的微镜向“关”侧倾动。如此，光束S0根据第1图像数据IMG1而被图案化，具有强度分布Ir(X，Y)的参照光S1被生成，并被向前方的物体照射。
除了用于控制图案化设备114的第1图像数据IMG1以外，控制器116还会生成用于相关计算的第2图像数据IMG2。第2图像数据IMG2具有第2像素数(x×y)，各像素为m灰阶(m≥3)。第2像素数x×y比第1像素数X×Y少。满足X为x的整数倍，Y为y的整数倍的关系。
X＝ax
Y＝by
(a、b为自然数，至少一者为2以上)
在本实施方式中，控制器116生成第2图像数据IMG2，并基于第2图像数据IMG2来生成第1图像数据IMG1。第2图像数据IMG2被供给到重构处理部134，并被利用于用于生成复原图像G(x，y)的相关计算。
光检测器120对来自物体OBJ的反射光进行测定，并输出检测信号Dr。检测信号Dr为在使具有强度分布Ir的参照光照射到物体OBJ时，入射到光检测器120的光能量(或强度)的空间积分值。因此，光检测器120能够使用单像素的设备(光电探测器)。与M种(M＞1)强度分布I1～IM分别对应的多个检测信号D1～DM被从光检测器120输出。
运算处理装置130包含重构处理部134。重构处理部134进行多个第2图像数据IMG2所规定的多个强度分布I1～IM和多个检测强度b1～bM的相关计算，并对物体OBJ的复原图像G(x，y)进行重构。最终的复原图像G(x，y)的像素数与第2图像数据IMG2的像素数一致，比图案化设备114的像素数更少。
检测强度b1～bM基于检测信号D1～DM。检测强度br与检测信号Dr的关系可以考虑光检测器120的种类或方式等来确定即可。
将某一强度分布Ir的参照光S1设为遍及某一照射期间地照射。此外，检测信号Dr表示某一时刻(或微小时间)的受光量，即瞬时值。在该情况下，也可以是，在照射期间内，多次对检测信号Dr进行采样，并将检测强度br设为检测信号Dr的所有采样值的积分值、平均值或最大值。或者也可以是，筛选出所有采样值中的几个，并使用筛选出的采样值的积分值或平均值、最大值。多个采样值的筛选例如既可以从最大值数起，提取第a个～第b个序列，也可以根据任意的阈值来去除较低的采样值，还可以提取信号变动的大小较小的范围的采样值。
作为光检测器120，在使用可像照相机那样设定曝光时间的设备的情况下，能够将光检测器120的输出Dr直接作为检测强度br。
从检测信号Dr向检测强度br的转换既可以由运算处理装置130执行，也可以在运算处理装置130的外部进行。
对于相关，使用式(1)的相关函数。Ir为第r个第2图像数据IMG2的像素值的分布，br为第r个检测强度的值。
【式1】
Figure BDA0003464605340000081
Figure BDA0003464605340000082
运算处理装置130能够以CPU(Central Processing Unit：中央处理器)或MPU(Micro Processing Unit：微处理器)、微机等处理器(硬件)，与处理器(硬件)所执行的软件程序的组合来实现。运算处理装置130也可以为多个处理器的组合。或者也可以是，运算处理装置130仅由硬件构成。也可以是，控制器116被安装于运算处理装置130的内部。
以上是成像装置100的整体的基本构成。接着，针对第1图像数据IMG1和第2图像数据IMG2进行说明。
图3是对第2图像数据IMG2与第1图像数据IMG1的关系进行说明的图。将第2图像数据IMG2的第i行j列(i＝1～x，j＝1～y)的像素表示为Pm(i，j)。同样，将第1图像数据IMG1的第I行J列(I＝1～X，J＝1～Y)的像素表示为PB(I，J)。
针对第2图像数据IMG2的任意的像素Pm(i，j)，将其被归一化后的灰阶值记为k。例如，在第2图像数据IMG2为2位4灰阶的情况下，被归一化后的灰阶值k可以取0、1/3、2/3、1这4个值。在第2图像数据IMG2为6灰阶的情况下，被归一化后的灰阶值k可以取0、1/5、2/5、3/5、4/5、5/5这6个值。若进行通式化，则在第2图像数据IMG2为m灰阶(m≥3)的情况下，被归一化后的灰阶值k可以取0、1/(m－1)、2/(m－1)、…、(m－2)/(m－1)、1这m个值。
第2图像数据IMG2的1个像素Pm(i，j)与第1图像数据IMG1的包含多个(L个)像素的像素组PG(i，j)对应。具体而言，如图3所示，在将第1图像数据IMG1与第2图像数据IMG2缩放到相同尺寸的状态下，在将它们重叠时，第1图像数据IMG1中的多个(L割)像素PB与第2图像数据IMG2的任意像素Pm(i，j)重叠。与该像素Pm(i，j)重叠的L个像素PB的集合为像素组PG(i，j)。
将第2图像数据IMG2的某一像素Pm(i，j)的被归一化后的灰阶值记为k。此外，将与该像素Pm(i，j)对应的像素组PG(i，j)所包含的L个像素中的、值为1的像素的个数记为l。此时，l＝L×k成立。另外，在(L×k)为非整数的情况下，l可以设为以下中的任意一个：(i)最接近L×k的整数、(ii)舍去L×k的小数点以后得到的整数、或者(iii)将L×k的小数点以后进位得到的整数，或者(iv)将L×k的小数点后第1位四舍五入得到的整数。
图4是表示第1图像数据IMG1和第2图像数据IMG2的具体例的图。在该例中，x＝5，y＝4，X＝15，Y＝12，a＝b＝3，在1个像素组PG中，包含L(＝a×b)个像素PB。另外，实际的像素数x、y分别为数十～数百的量级。
在图4中，使得第2图像数据IMG2的灰阶数为4，且被归一化的灰阶值k取0、1/3、2/3、1中的任意一个。
第2图像数据IMG2的像素Pm(1，1)的灰阶值为k＝1，关于对应的第1图像数据IMG1的像素组PG(1，1)，L个中的全部L个的值为1。
例如，第2图像数据IMG2的像素Pm(3，2)的灰阶值k为1/3，关于对应的第1图像数据IMG1的像素组PG(3，2)，L个像素中的l＝3个为1，6个为0。
此外，第2图像数据IMG2的像素Pm(2，1)的灰阶值k为0，对应的第1图像数据IMG1的像素组PG(2，1)中的、值为1的像素的数量l为0，全部L个都为0。
在将第1图像数据IMG1视为第2图像数据IMG2的像素数的图像时，换言之，在将第1图像数据IMG1设为以像素组PG为1个像素的图像时，像素组PG的有效值为其所包含的多个像素的值的平均数，因此，根据对应的第2图像数据IMG2的像素Pm的值来进行多灰阶控制。
通过将基于这样的第1图像数据IMG1而被图案化的参照光S1向物体照射，并进行从反射光得到的检测强度b和第2图像数据IMG2的相关计算，从而能够得到高画质。
以下，对像素组PG内的值1和0的配置进行说明。控制器116也可以按照预定的配置规则来配置像素组PG内的值1、0。图5的(a)、图5的(b)是表示配置规则的例子的图。在这些例子中，像素组PG包含5×5＝25个像素。图5的(a)所示的第1配置规则被定为：从像素组的中央的像素起，优先填“1”。在光源112所生成的光束S0具有较大的扩散角的情况下，在各像素组PG中反射的光束会扩散，有在相邻的像素组彼此中发生干扰的风险。在该情况下，能够通过使值1的像素集中于中央，从而降低相邻的像素组的干扰。
图5的(b)的第2配置规则被确定为：在像素组PG内，1被均匀地配置。
或者，也可以是，不确定配置规则，而是将1和0随机地配置。
以上是成像装置100的构成。接着，对成像装置100的动作进行说明。通过与对比技术的对比，成像装置100的优点会变得明确。因此，对对比技术中的感测进行说明。
在对比技术中，基于x×y的像素数的、m灰阶的图像数据来控制图案化设备。此外，相关计算也以x×y的像素数基于m灰阶的相同图像数据来控制。
图6是表示对比技术的成像装置的1帧的感测的时序图。为了生成1张复原图像G(x，y)，会进行M次图案照射。在对比技术中，对于相关计算，使用多灰阶的图像数据，图案化设备的有效像素数与图像数据的像素数相等。图案化设备以多灰阶模式(多位模式)来动作。
DMD的各像素(微镜)如图2所示，可以取开状态和关状态这2个状态。因此，多灰阶的DMD通过高速地切换开状态与关状态，使开状态与关状态的时间比例(占空比)变化来实现多灰阶。出于上述理由，多灰阶模式的DMD的帧周期比1位模式的DMD更长。
因此，在对比技术中，基于1个图像数据的参照光S1的照射时间会变长。当第1次参照光S1的照射完成时，得到检测强度b1，并转移到第2次参照光S1的照射。当M次照射完成，得到检测强度b1～bM时，进行相关计算，得到复原图像G(x，y)。参照光S1的照射时间越长，生成1张复原图像G(x，y)所需的时间就越长。
接着，对图1的成像装置100的动作进行说明。图7是表示图1的成像装置100的1帧的感测的时序图。在本实施方式中，对于相关计算，使用多灰阶、低像素数的第2图像数据IMG2，而对于图案化设备114，使用二灰阶、高像素数的第1图像数据IMG1。
在本实施方式中，图案化设备114以1位模式动作，因此无需多灰阶模式那样的占空比控制。因此，DMD的1次参照光S1的照射时间与对比技术相比更短。结果，与对比技术相比，能够缩短生成1张复原图像G(x，y)所需的时间，从而能够提高帧率。
此外，根据实施方式1，参照光S1的强度分布被以像素组PG单位进行多灰阶控制，因此能够得到与对比技术同等的画质。针对为了对此进行确认而进行的仿真进行说明。在仿真中，设x＝y＝32，X＝Y＝640。此外，将第2图像数据IMG2的灰阶数设为m＝6灰阶。图8是表示第2图像数据IMG2和第1图像数据IMG1的一例的图。
图9是表示仿真结果的图。仿真针对M＝100、5000、10000、50000这4种来进行。在图9的上部，示出了针对对比技术得到的结果。图9的中部示出了采用实施方式1的方法、使用了第1配置规则的情况的结果。图9的下部示出了采用实施方式1的方法、使用了第2配置规则的情况的结果。根据本实施方式可知，能够得到与对比技术同等的画质。
即，根据实施方式1的成像装置100，能够兼顾高画质与高帧率。
接着，针对与实施方式1关联的变形例进行说明。
(变形例1.1)
在实施方式中，使构成第2图像数据IMG2的像素的大小及形状均匀，但也可以使其不均匀。即，局部地，既可以使像素尺寸变大，也可以使其变小。图10的(a)～图10的(c)是表示变形例1.1的第2图像数据IMG2的图。例如，在复原图像的中央处需要高分辨率的情况下，如图10的(a)所示，使第2图像数据IMG2的中央的像素的大小变小即可，在复原图像的下方处需要高分辨率的情况下，如图10的(b)所示，使第2图像数据IMG2的下方的像素的大小变小即可。此外，如图10的(c)所示，第2图像数据IMG2也可以包含长方形的像素。
(变形例1.2)
在实施方式中，在生成第2图像数据IMG2后，将其转换为第1图像数据IMG1，但也可以交换顺序。即，也可以是，在以1位二灰阶生成第1像素数(X×Y)的随机的第1图像数据IMG1后，将其转换为第2图像数据IMG2。在该情况下，在第1图像数据IMG1的、某一像素组PG(i，j)的像素数为L，值为1的像素的个数为l时，将对应的第2图像数据IMG1的像素Pm(i，j)的值(归一化值)设为l/L即可。
图11是表示变形例1.2的第1图像数据IMG1和第2图像数据IMG2的图。如图11所示，能够根据像素数(X×Y)和二灰阶的第1图像数据IMG1来生成像素数与灰阶数的组合不同的多个第2图像数据IMG2。换言之，能够在取得检测强度b1～bM后也灵活地改变复原图像G(x，y)的分辨率。
(实施方式2)
图12是表示实施方式2的成像装置100的图。成像装置100包括照明装置110、二维成像传感器120、以及运算处理装置130。
成像装置100被构成为能够切换3个模式(第1模式～第3模式)。
照明装置110向物体照射可控制强度分布的红外的参照光S1。例如，照明装置110包含光源112、图案化设备114及图案产生器116。光源112生成具有均匀的强度分布的光束S0。光源112也可以使用激光或发光二极管等。参照光S1的波长或光谱并不被特别地限定，在本实施方式中为红外。
图案化设备114具有被矩阵状地配置的多个像素，并被构成为能够基于多个像素的开、关的组合来对光的强度分布I进行空间调制。在本说明书中，将开状态的像素称为开像素，将关状态的像素称为关像素。另外，在以下的说明中，为了易于理解，各像素仅取开与关这2个值(1、0)，但不限于此，也可以取中间的灰阶。
作为图案化设备114，能够使用反射型的DMD(Digital Micromirror Device：数字微镜器件)或透射型的液晶设备。图案产生器116所产生的图案化数据PTN(图像数据)被提供到图案化设备114。
图案产生器116产生指定参照光S1的强度分布Ir的图案化数据PTNr。图案产生器116的动作及图案化数据PTNr根据模式而不同。图案产生器116也可以被安装在运算处理装置130的内部。
二维成像传感器120对红外线区域及可见光区域具有灵敏度。二维成像传感器120为CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器或CCD(Charge Coupled Device：电荷耦合器件)。
运算处理装置130对二维成像传感器120所拍摄的图像IMG0进行处理。运算处理装置130能够以CPU(Central Processing Unit：中央处理器)或MPU(Micro ProcessingUnit：微处理器)、微机等处理器(硬件)与处理器(硬件)所执行的软件程序的组合来实现。运算处理装置130也可以为多个处理器的组合。或者也可以是，运算处理装置130仅由硬件构成。
接着，针对第1模式～第3模式进行说明。
(第1模式)
在第1模式中，成像装置100作为量子雷达来动作。照明装置110作为模拟热光源来动作，生成具有实质上可视为随机的强度分布I(x，y)的参照光S1，并将其向物体OBJ照射。在第1模式下，图案产生器116生成实质上随机的M个图案化数据PTN1～PTNM的序列。因此，关于参照光S1向物体OBJ的照射，一边使其强度分布根据多个(M个)图案化数据PTN1～PTNM的序列来变化一边进行。
二维成像传感器120与基于多个图案化数据PTN1～PTNM的M次参照光S1的照射对应地，拍摄多个图像IMG01～IMGM。在第1模式下，仅红外光入射到二维成像传感器120中，可见光由滤波器来除去。
例如，也可以是，成像装置100包括被设置在二维成像传感器120的入射光路上的可见光滤波器和红外线滤波器，并根据模式，机械地对可见光滤波器与红外线滤波器进行转换。
或者，也可以是，成像装置100包含透射过可见光滤波器而入射到二维成像传感器120的光路、以及透射过红外线滤波器而入射到二维成像传感器120的光路，并被构成为可根据模式来选择光路。或者，也可以是，使用波长可变滤波器，根据模式来控制透射波长。
运算处理装置130针对多个图像IMG01～IMG0M，分别计算与多个像素的累计值相应的光检测强度b1～bM。最典型地，运算处理装置130能够对各图像IMG0r的全部像素的值进行累计(或平均)，并计算光检测强度br。
然后，运算处理装置130进行多个图像IMG01～IMG0M所对应的多个光检测强度b1～bM和多个图案化数据PTN1～PTNM的相关计算，生成复原图像G(x，y)。
对于相关，使用式(1)的相关函数。Ir为第r个强度分布，br为第r个检测强度的值。
【式2】
Figure BDA0003464605340000131
Figure BDA0003464605340000132
运算处理装置130输出基于复原图像G(x，y)的第1输出图像IMG1。
(ii)第2模式
运算处理装置130被构成为输出基于二维成像传感器120所拍摄的图像IMG0的第2输出图像IMG2。更具体而言，照明装置110照射具有均匀的强度分布的红外光的参照光S1。二维成像传感器120作为有源传感器来动作，该有源传感器对来自物体OBJ的参照光S1的反射光S2进行检测。在第2模式下，也是仅红外光入射到二维成像传感器120，可见光由滤波器来除去。在第2模式下，成像装置100作为夜视照相机来动作。
(ii)第3模式
运算处理装置130被构成为输出基于二维成像传感器120所拍摄的图像IMG0的第3输出图像IMG3。在第3模式和第2模式下，照明装置110的动作不同，在第3模式下，照明装置110停止发光。此外，在第3模式下，仅可见光入射到二维成像传感器120，红外光由滤波器来除去。即，在第3模式下，成像装置100作为可见光的无源传感器，换言之，作为一般的照相机来动作。
运算处理装置130被构成为可判定视野的良与不良。视野优劣的判定方法并不被特别地限定，运算处理装置130也可以基于外部信息来判定视野的优劣。例如，从设置于信号灯等交通基础设施的传感器中，既可以取得雾产生信息，也可以取得动态地图的准动态信息(局地气象信息)。
或者，也可以是，运算处理装置130通过对二维成像传感器120的图像IMG0进行图像处理来判定视野的优劣。作为一例，也可以是，基于(i)基于机器学习的聚类分类、或(ii)白线的可认知距离、(iii)前车的距离信息与亮度的关系来判定视认性。或者，也可以是，基于水滴的均匀性和大小来判定。
或者，也可以是，在相同场景下，通过切换第1模式与第2模式地进行拍摄，并基于在各模式下得到的图像IMG1、IMG2的差分来判定视野的优劣。
或者，也可以是，运算处理装置130基于来自驾驶员的指示输入来判定视野的优劣。
或者，也可以是，成像装置100包括传感器，该传感器可提供视野优劣的判断材料，运算处理装置130基于该传感器的输出来判定视野的优劣。例如，既可以使用照射脉冲光，并检测反射光强度的传感器，也可以使用能见度仪。
运算处理装置130被构成为，除了视野的优劣之外，还能够判定周围的明亮度。例如，也可以是，运算处理装置130与未图示的照度传感器连接，并基于照度传感器的输出来判定明亮度。或者，也可以是，基于时区或GPS信息来推定周围的明亮度。
上述第1模式～第3模式基于视野的优劣及周围的明亮度来选择。图13是图12的成像装置100的动作的流程图。
首先，判定视野的优劣(S100)。然后，在视野较差时(S100中的“否”)，选择第1模式(S102)，成像装置100作为量子雷达来动作。
在视野良好时(S100中的“是”)，判定周围的明亮度(S104)。然后，在周围较暗时(S104中的“否”)，选择第2模式(S106)，成像装置100作为夜视照相机来动作。在周围较亮时(S104中的“是”)，选择第3模式(S108)，成像装置100作为通常的可见光照相机来动作。
图14是表示第1模式、第2模式、第3模式下的照明装置110、二维成像传感器120、运算处理装置130的状态及处理的图。在第1模式下，照明装置110照射随机强度分布的参照光。此外，二维成像传感器120的检测波长为与参照光相同的红外，合成全部像素，并虚拟地作为单像素的光检测器来动作。运算处理装置130通过相关计算来复原图像。
在第2模式下，照明装置110照射均匀的强度分布的参照光。此外，二维成像传感器12的检测波长为与参照光相同的红外。二维成像传感器120拍摄来自物体的红外的反射光。
在第3模式下，照明装置110为“关”。二维成像传感器120的检测波长为可见光区域，并拍摄物体反射环境光(主要为太阳光)而成的光。
以上为成像装置100的动作。该成像装置100能够通过在视野较差的状态下选择第1模式，并作为量子雷达来动作，从而检测到以通常的照相机难以检测的物体。此外，在视野较佳的状态下，能够通过选择第2模式拿货第3模式来以高帧率生成图像。即，成像装置100能够兼具量子雷达与二维成像传感器的优点。
此外，在第1模式～第3模式下，能够共享二维成像传感器120及未图示的光学系统，因此能够降低硬件的成本，进而能够在3个模式下得到相同视场角的图像。此外，具有也不存在3个模式间的视差这样的优点。
接着，对混合模式进行说明。成像装置100能够支持第1模式与第2模式的组合即混合模式。
图15的(a)～图15的(c)是对混合模式进行说明的图。图15的(a)表示适用混合模式的行驶场景的一例。在该例中，在中央产生了浓雾，视野部分变差，其他部分的视野良好。成像装置100针对视野较差的范围，在第1模式下动作，针对视野良好的范围，在第2模式下动作。
在混合模式下，照明装置110使参照光S1的第1部分X的强度分布随机地变化，并固定参照光S1的第2部分Y的强度分布而进行均匀照射。
图15的(b)是表示二维成像传感器120所拍摄的图像IMG0r的图。在一张图像IMG0r中，在第1部分X所对应的区域Rx中，拍摄到由物体OBJ3将具有随机强度分布的参照光S1反射后的光。
另一方面，当着眼于图像IMG0r的第2部分Y所对应的区域Ry时，拍摄到由存在于成像装置100前方的物体OBJ1、OBJ2将均匀的参照光S0反射后的光。即，区域Ry为通常的夜视照相机。
运算处理装置130针对图像IMG0r的参照光S1的第1部分X的照射范围Rx，针对多个图像IMG01～IMGM，进行在第1模式下说明的相关计算，并复原第1输出图像IMG1＝G(x，y)。即，针对各图像IMG0r，累计照射范围Rx的像素值，并计算光检测强度br。然后，通过基于式(1)的相关计算来复原第1输出图像G(x，y)。
在图15的(c)中，示出了在混合模式下最终得到的图像IMG4。该图像IMG4在中央部分包含第1输出图像G(x，y)，在周围包含第2输出图像IMG2。存在于雾的对侧的物体OBJ3的形状被摄入到第1输出图像G(x，y)中。
如此，根据混合模式，能够在前方一部分视野较差那样的状况下，仅在视野较差的区域中，使其作为量子雷达来动作，关于视野良好的部分，使其作为夜视照相机来动作。
另外，混合模式也能够以第1模式与第3模式的组合来动作。在该情况下，针对第2部分Y，参照光S1的强度为零。
接着，对与实施方式2关联的变形例进行说明。
(变形例2.1)
在实施方式2中，以光源112与图案化设备114的组合构成了照明装置110，但不限于此。例如也可以是，照明装置110由被矩阵状地配置的多个半导体光源(LED(发光二极管)或LD(激光二极管))的阵列构成，并构成为可控制半导体光源的开、关(或亮度)。
(变形例2.2)
在实施方式中，支持第1～第3模式，但也可以是，成像装置100仅支持第1模式和第2模式，或仅支持第1模式和第3模式。
(变形例2.3)
也可以是，使得在成像装置100以第1模式(或混合模式)动作时，在二维成像传感器120所拍摄的图像IMG0的一部分像素值饱和的情况下，排除饱和的像素来进行相关计算。在使用了现有的单像素的光检测器的鬼成像中，当光检测器的输出饱和时，会无法复原图像。与此不同，在使用了二维成像传感器120的量子雷达中，能够通过排除饱和的像素，从而针对其他部分来复原图像。
(变形例2.4)
在实施方式中，在第3模式下，通过二维成像传感器120来拍摄可见光图像，但不限于此，二维成像传感器120也可以拍摄红外线图像。即，也可以是，使成像装置100作为红外线的无源传感器来动作。
(变形例2.5)
也可以是，使得驾驶员手动地操作多个模式的切换。
(变形例6)
或者，也可以是，无论周围的明亮度或雾的有无等，周期性地自动切换多个模式(第1模式～第3模式)。
(用途)
接着，对成像装置100的用途进行说明。图16是物体识别系统10的框图。该物体识别系统10被搭载于汽车或摩托车等车辆，并对存在于车辆周围的物体OBJ的种类(类别)进行判定。
物体识别系统10包括成像装置100和运算处理装置40。成像装置100如上所述，通过向物体OBJ照射参照光S1，并对反射光S2进行测定来生成物体OBJ的复原图像G。
运算处理装置40对成像装置100的输出图像G进行处理，并对物体OBJ的位置及种类(类别)进行判定。
运算处理装置40的分类器42接受图像G作为输入，并对其所包含的物体OBJ的位置及种类进行判定。分类器42基于通过机械学习生成的模型来实现。分类器42的算法并不被特别地限定，但能够采用YOLO(You Only Look Once：你只看一遍)、SSD(Single ShotMultiBox Detector：单发多边框检测器)、R-CNN(Region-based Convolutional NeuralNetwork：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution-SSD：反卷积单发多边框检测器)、以及Mask R-CNN等，或者能够采用将来被开发出来的算法。
以上是物体识别系统10的构成。作为物体识别系统10的传感器，能够通过使用成像装置100来获得以下优点。
通过使用成像装置100即量子雷达照相机，抗噪性大大提高。例如，在降雨时、降雪时或雾中行驶的情况下，难以以肉眼识别出物体OBJ，但能够通过使用成像装置100来不受雨、雪、雾的影响地，得到物体OBJ的复原图像G。
图17是表示具备物体识别系统10的汽车的图。汽车300包括前照灯302L、302R。成像装置100被内置于前照灯302L、302R中的至少一者。前照灯302位于车体的最前端，在对周围的物体进行检测上，作为成像装置100的设置位置最为有利。
图18是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一同构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、以及光学系统206。进而，在车辆用灯具200，设置有物体检测系统210。物体检测系统210与上述物体识别系统10对应，包含成像装置100及运算处理装置40。
运算处理装置40所检测到的与物体OBJ有关的信息也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40所生成的与物体OBJ的种类及其位置有关的信息来生成适当的配光图案。点亮电路204及光学系统206以会得到灯具侧ECU208所生成的配光图案的方式进行动作。
此外，也可以是，将运算处理装置40所检测到的与物体OBJ有关的信息发送到车辆侧ECU304。也可以是，车辆侧ECU基于该信息来进行自动驾驶。
另外，成像装置100的用途不被限定于车载，也能够适用于其他用途。
虽然基于实施方式，用具体的语句来对本发明进行了说明，但实施方式仅表示本发明的原理及应用的一个侧面，对于实施方式，在不脱离权利要求书所规定的本发明的思想的范围内，允许许多变形例或配置的变更。
[工业可利用性]
本发明涉及成像装置。
[附图标记说明]
OBJ 物体
10 物体识别系统
40 运算处理装置
42 分类器
100 成像装置
110 照明装置
112 光源
114 图案化设备
116 控制器
120 光检测器
130 运算处理装置
134 重构处理部
200 车辆用灯具
202 光源
204 点亮电路
206 光学系统
300 汽车
302 前照灯
310 灯具系统
304 车辆侧ECU
IMG1 第1图像数据
IMG2 第2图像数据。

Claims (22)

1.一种成像装置，其利用了相关计算；
该成像装置的特征在于，包括：
光源，其生成具有均匀的强度分布的光束，
图案化设备，其根据二灰阶的第1图像数据来调制上述光束的强度分布，
光检测器，其对来自物体的反射光进行测定，以及
运算处理装置，其进行基于上述光检测器的输出的检测强度和m灰阶的第2图像数据的相关计算，并重构上述物体的复原图像，其中，m≥2；
上述第1图像数据的像素数比上述第2图像数据的像素数更多；
上述第2图像数据的1个像素与上述第1图像数据的包含复数L个像素的像素组建立对应；
在将上述第2图像数据的某一像素的被归一化后的灰阶值记为k，将与其对应的上述像素组所包含的值为1的像素的个数记为l时，l＝L×k成立。
2.如权利要求1所述的成像装置，其特征在于，
还包括生成上述第2图像数据的控制器；
上述控制器对上述第2图像数据进行转换，生成上述第1图像数据。
3.如权利要求2所述的成像装置，其特征在于，
上述控制器按照预定的配置规则来将值1、0分配到上述像素组。
4.如权利要求3所述的成像装置，其特征在于，
上述配置规则被确定为：从上述像素组的中央的像素起，优先填值1。
5.如权利要求3所述的成像装置，其特征在于，
上述配置规则被确定为：在上述像素组中，值1被均匀地配置。
6.如权利要求2所述的成像装置，其特征在于，
在上述像素组中，值1和0被随机地配置。
7.如权利要求1～6的任何一项所述的成像装置，其特征在于，
构成上述第2图像数据的像素的尺寸根据位置而不同。
8.如权利要求1～7的任何一项所述的成像装置，其特征在于，
上述图案化设备为DMD(Digital Micromirror Device：数字微镜器件)。
9.一种车辆用灯具，其特征在于，
包括如权利要求1～8的任何一项所述的成像装置。
10.一种车辆，其特征在于，
包括如权利要求1～8的任何一项所述的成像装置。
11.一种照明装置，其被用于利用了相关计算的成像装置；
该照明装置的特征在于，包括：
光源，其生成具有均匀的强度分布的光束，
图案化设备，其根据第1图像数据来调制上述光束的强度分布，该第1图像数据包含第1像素数的像素的阵列，具有上述第1像素数，且为二灰阶，以及
控制器，其生成具有比上述第1像素数更少的第2像素数且随机的m灰阶的第2图像数据，并将其提供给相关计算，并且将上述第2图像数据转换为上述第1图像数据，并供给到上述图案化设备，其中m≥2。
12.一种成像装置，其特征在于，包括：
照明装置，其被构成为可向物体照射可控制强度分布的红外的参照光，
二维成像传感器，其对红外线区域具有灵敏度，以及
运算处理装置，其对上述二维成像传感器所拍摄的图像进行处理；
该成像装置被构成为：(i)在第1模式下，在上述照明装置基于多个图案化数据的序列来使上述参照光的强度分布变化期间，上述二维成像传感器拍摄多个图像，上述运算处理装置针对多个图像分别计算与多个像素的累计值相应的光检测强度，进行上述多个图像所对应的多个光检测强度和上述多个图案化数据的相关计算，并输出第1输出图像，(ii)在第2模式下，上述运算处理装置输出基于上述二维成像传感器所拍摄的图像的第2输出图像。
13.如权利要求12所述的成像装置，其特征在于，
在上述第2模式中，上述照明装置照射具有均匀的强度分布的上述参照光，并作为有源传感器来动作。
14.如权利要求12或13所述的成像装置，其特征在于，
还包括判定部，该判定部对视野的良与不良进行判定；
在判定为视野不良时，选择上述第1模式，在判定为视野良好时，选择上述第2模式。
15.如权利要求13所述的成像装置，其特征在于，
在第3模式下，上述成像装置作为无源传感器来动作；
在上述第3模式下，上述照明装置停止发光，上述运算处理装置输出基于上述二维成像传感器所拍摄的图像的第3输出图像。
16.如权利要求15所述的成像装置，其特征在于，
上述二维成像传感器除了上述红外线区域之外，还对可见光区域具有灵敏度；
上述第3输出图像为可见光图像。
17.如权利要求16所述的成像装置，其特征在于，
还包括判定部，该判定部对视野的良与不良及周围的明亮度进行判定；
(i)在判定为视野不良时，选择上述第1模式，(ii)在判定为视野良好且周围较暗时，选择上述第2模式，(iii)在判定为视野良好，且周围较亮时，选择上述第3模式。
18.如权利要求15所述的成像装置，其特征在于，
上述第3输出图像为红外光图像。
19.如权利要求12～18的任何一项所述的成像装置，其特征在于，
在混合模式下，上述照明装置使上述参照光的第1部分的强度分布变化，并使上述参照光的第2部分的强度分布均匀；
上述运算处理装置针对上述参照光的上述第1部分的照射范围，通过相关计算；
运算处理装置针对参照光的第1部分的照射范围，通过相关计算来生成上述第1输出图像，针对参照光的第2部分的照射范围，生成基于二维成像传感器所拍摄的图像的上述第2输出图像。
20.如权利要求1所述的成像装置，其特征在于，
在上述第2模式下，上述成像装置作为无源传感器来动作，上述照明装置停止发光。
21.一种车辆用灯具，其特征在于，
包括如权利要求12～20的任何一项所述的成像装置。
22.一种车辆，其特征在于，
包括如权利要求12～20的任何一项所述的成像装置。
CN202080050563.5A 2019-07-12 2020-07-10 成像装置及其照明装置、车辆、车辆用灯具 Active CN114128245B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2019130478 2019-07-12
JP2019-130478 2019-07-12
JP2019131347 2019-07-16
JP2019-131347 2019-07-16
PCT/JP2020/027092 WO2021010339A1 (ja) 2019-07-12 2020-07-10 イメージング装置およびその照明装置、車両、車両用灯具

Publications (2)

Publication Number Publication Date
CN114128245A true CN114128245A (zh) 2022-03-01
CN114128245B CN114128245B (zh) 2024-08-20

Family

ID=74210943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080050563.5A Active CN114128245B (zh) 2019-07-12 2020-07-10 成像装置及其照明装置、车辆、车辆用灯具

Country Status (5)

Country Link
US (1) US12047667B2 (zh)
EP (1) EP3998767B1 (zh)
JP (1) JP7472136B2 (zh)
CN (1) CN114128245B (zh)
WO (1) WO2021010339A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114208154A (zh) * 2019-09-24 2022-03-18 索尼半导体解决方案公司 成像装置
JPWO2023085329A1 (zh) * 2021-11-12 2023-05-19

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1538528A (zh) * 2003-04-07 2004-10-20 ���µ�����ҵ��ʽ���� 固态成像装置、信号处理装置、摄像机及光谱装置
CN1672428A (zh) * 2002-07-26 2005-09-21 奥林巴斯株式会社 图像处理系统
CN101363729A (zh) * 2007-08-06 2009-02-11 日产自动车株式会社 距离计测方法和装置、以及配备距离计测装置的车辆
JP2013117575A (ja) * 2011-12-01 2013-06-13 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP2013181806A (ja) * 2012-03-01 2013-09-12 Nissan Motor Co Ltd 距離計測装置
CN103363924A (zh) * 2013-07-15 2013-10-23 中国科学院空间科学与应用研究中心 一种压缩的三维计算鬼成像系统及方法
JP2015045587A (ja) * 2013-08-28 2015-03-12 株式会社キーエンス 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2016138772A (ja) * 2015-01-27 2016-08-04 国立研究開発法人理化学研究所 イメージング装置及び方法
CN107229056A (zh) * 2016-03-23 2017-10-03 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
US20170328535A1 (en) * 2016-05-12 2017-11-16 Koito Manufacturing Co., Ltd. Vehicular lamp
WO2018124285A1 (ja) * 2016-12-29 2018-07-05 国立大学法人東京大学 イメージング装置及び方法
CN108616677A (zh) * 2016-12-13 2018-10-02 株式会社日立制作所 摄像装置
CN109343078A (zh) * 2018-11-27 2019-02-15 北京理工大学 一种具有目标导向性切片三维鬼成像实现方法
JP2019092088A (ja) * 2017-11-16 2019-06-13 株式会社日立製作所 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10188289B2 (en) * 2014-06-20 2019-01-29 Rambus Inc. Systems and methods for lensed and lensless optical sensing
US9823350B2 (en) * 2014-07-31 2017-11-21 Raytheon Company Linear mode computational sensing LADAR
CN104570000B (zh) * 2015-01-07 2017-02-22 太原理工大学 一种基于混沌压缩编码的光学综合孔径成像系统及方法
JPWO2017187484A1 (ja) * 2016-04-25 2018-12-20 株式会社日立製作所 物体撮像装置
WO2018179093A1 (ja) * 2017-03-28 2018-10-04 マクセル株式会社 車載用前照灯および光の投射方法
JP6412673B1 (ja) 2017-07-21 2018-10-24 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム
CN108363069A (zh) 2018-01-18 2018-08-03 中国科学院理化技术研究所 基于分布式半导体激光阵列的关联成像装置及方法
US11250266B2 (en) * 2019-08-09 2022-02-15 Clearview Ai, Inc. Methods for providing information about a person based on facial recognition

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1672428A (zh) * 2002-07-26 2005-09-21 奥林巴斯株式会社 图像处理系统
CN1538528A (zh) * 2003-04-07 2004-10-20 ���µ�����ҵ��ʽ���� 固态成像装置、信号处理装置、摄像机及光谱装置
CN101363729A (zh) * 2007-08-06 2009-02-11 日产自动车株式会社 距离计测方法和装置、以及配备距离计测装置的车辆
JP2013117575A (ja) * 2011-12-01 2013-06-13 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP2013181806A (ja) * 2012-03-01 2013-09-12 Nissan Motor Co Ltd 距離計測装置
CN103363924A (zh) * 2013-07-15 2013-10-23 中国科学院空间科学与应用研究中心 一种压缩的三维计算鬼成像系统及方法
JP2015045587A (ja) * 2013-08-28 2015-03-12 株式会社キーエンス 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2016138772A (ja) * 2015-01-27 2016-08-04 国立研究開発法人理化学研究所 イメージング装置及び方法
CN107229056A (zh) * 2016-03-23 2017-10-03 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
US20170328535A1 (en) * 2016-05-12 2017-11-16 Koito Manufacturing Co., Ltd. Vehicular lamp
CN107366867A (zh) * 2016-05-12 2017-11-21 株式会社小糸制作所 车辆用灯具
CN108616677A (zh) * 2016-12-13 2018-10-02 株式会社日立制作所 摄像装置
WO2018124285A1 (ja) * 2016-12-29 2018-07-05 国立大学法人東京大学 イメージング装置及び方法
JP2019092088A (ja) * 2017-11-16 2019-06-13 株式会社日立製作所 撮像装置
CN109343078A (zh) * 2018-11-27 2019-02-15 北京理工大学 一种具有目标导向性切片三维鬼成像实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAODONG MEI，ET AL: "Experimental Demonstration of Vehicle-Borne Near Infrared Three-Dimensional Ghost Imaging LiDAR", 《2019 CONFERENCE ON LASERS AND ELECTRO-OPTICS (CLEO)》, 1 July 2019 (2019-07-01) *
蔡阳健: "关联成像及其应用研究进展", 《四川师范大学学报(自然科学版)》, 30 November 2018 (2018-11-30) *

Also Published As

Publication number Publication date
EP3998767B1 (en) 2023-10-11
JP7472136B2 (ja) 2024-04-22
CN114128245B (zh) 2024-08-20
US20220132022A1 (en) 2022-04-28
EP3998767A1 (en) 2022-05-18
EP3998767A4 (en) 2022-08-31
US12047667B2 (en) 2024-07-23
JPWO2021010339A1 (zh) 2021-01-21
WO2021010339A1 (ja) 2021-01-21

Similar Documents

Publication Publication Date Title
CN113227838B (zh) 车辆用灯具及车辆
CN113366340B (zh) 车载用成像装置、车辆用灯具、汽车
JP7268001B2 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
CN113767304B (zh) 成像装置、车辆用灯具、汽车、成像方法
US12047667B2 (en) Imaging device
CN113383280A (zh) 用于经由雾的图像增强的弹道光调制
CN110536814B (zh) 摄像机装置及与周围环境相适应地检测车辆周围环境区域的方法
US12108164B2 (en) Imaging apparatus
WO2021079810A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
CN111948670A (zh) 光感知装置、成像装置和关联成像方法
WO2022091972A1 (ja) イメージング装置および車両用灯具、車両
CN111965664A (zh) 光发射装置、成像系统和发射光调制方法
WO2023074759A1 (ja) イメージング装置、車両用灯具、車両
WO2022044961A1 (ja) イメージング装置、イメージング方法および車両用灯具、車両
JP7524207B2 (ja) イメージング装置、車両用灯具、車両、イメージング方法
WO2023085329A1 (ja) イメージングシステム、センサユニット、車両用灯具、車両
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
CN113302520B (zh) 成像装置、其运算处理装置、车辆用灯具、车辆、感测方法
WO2022102775A1 (ja) センシング装置、車両用灯具、車両
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
CN116457700A (zh) 感测装置、车辆用灯具、车辆
CN117795377A (zh) 门控照相机、车辆用传感系统、车辆用灯具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant