CN104253947B - 智能相机闪光灯 - Google Patents

智能相机闪光灯 Download PDF

Info

Publication number
CN104253947B
CN104253947B CN201310418701.2A CN201310418701A CN104253947B CN 104253947 B CN104253947 B CN 104253947B CN 201310418701 A CN201310418701 A CN 201310418701A CN 104253947 B CN104253947 B CN 104253947B
Authority
CN
China
Prior art keywords
volume
scene
acquisition device
method described
fractiion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310418701.2A
Other languages
English (en)
Other versions
CN104253947A (zh
Inventor
约阿夫·格劳尔
奥弗·戴维
埃亚尔·莱维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brightway Vision Ltd
Original Assignee
Brightway Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brightway Vision Ltd filed Critical Brightway Vision Ltd
Publication of CN104253947A publication Critical patent/CN104253947A/zh
Application granted granted Critical
Publication of CN104253947B publication Critical patent/CN104253947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/70—Exposure-making shutters; Diaphragms with flash-synchronising contacts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及智能相机闪光灯，具体提供了一种用于对象选择性的相机闪光灯的系统和方法。该方法的步骤可包括：使用获取装置获取场景的图像；通过指示所获取的图像上的至少一个点来选择所述场景内的体积；生成导向所述场景的具有特定参数的闪光脉冲；当来自所选择的体积的所述闪光脉冲的反射光到达所述获取装置时，同步执行所述获取装置的曝光；以及在单个图像上通过所述曝光蓄积所述反射光，以产生选通图像。实施前述方法的系统可包括选通成像装置，被配置为用于选择性的视场且也可在可见光中操作。

Description

智能相机闪光灯
技术领域
本公开的技术一般涉及照明和成像系统，具体地，涉及用于相机装置的低光度增强的方法。
背景技术
在摄影中，传统的相机闪光灯（可见或者不可见光谱）被用于在低光度的情况下通过在照相时用脉冲（单脉冲或者多脉冲）照亮现场来改善照片质量。典型的闪光灯源可包括发光二极管（LED）或者可包括气体放电灯，或者甚至可包括激光器。典型的相机包括CCD、CMOS或具有对于每个传感器单曝光时间单帧读出的混合传感器。
诸如美国专利第7,962,031 B2号题为“相机闪光灯的脉冲控制”的现有技术是针对在后续的去模糊或者运动补偿操作期间改善后续区分图像的高频或者边缘分量的能力。所描述的技术未提供用于照亮所选择的获取的场景图像的体积（volume，容量）的任何方法。
诸如美国专利第8,194,126 B2号题为“选通成像”的另一现有技术是针对选通（gated）相机成像体系和方法，利用激光装置来生成朝向目标的长持续时间的激光脉冲光束。相机接收从目标反射的脉冲能量。相机选通至少在其用激光装置产生激光脉冲的基本全部的持续时间内被同步设置为“关（OFF）”，该持续时间包括激光脉冲的结束，且除了其使用激光脉冲完成通过系统附近的区域并返回到相机的时间之外。然后，相机选通在其后的“开（ON）”持续时间内被设置为“开（ON）”，直至激光脉冲从目标反射回来并被相机接收。激光脉冲的宽度基本上至少与“开（ON）”持续时间相对应。
对比所提出的方法，现有技术未提供在低光度条件下的选择性和可控制的场景体成像，也未解决在诸如雨或雪的恶劣天气中低光度下的成像增强。此外，现有技术未提供任何解决方案以在低光度的条件下在某个范围内提供统一的图像增强。
发明内容
根据所公开的技术，由此提供了一种具有用于照相的相机装置的系统，其中，控制单元使每个相机的脉冲闪光与每个相机的曝光同步，以产生选择性的和可控制的场景体积。如这里重新定义，术语“选择性的场景体积”被认为是照明和蓄积的所视场景的一部分，其中，最小范围（Rmin≥0m），且其中，最大范围（Rmax）是可应用的。如这里重新定义，术语“可控制的场景体积”被认为是由用户所选择的和/或由控制单元自动选择的特定选择性的场景体积。此外，单个图像帧（即，静态图像帧或者视频帧）可具有几个选择性的和可控制的场景体积（例如，具有不同的Rmin和不同的Rmax的两个场景体积或者具有类似的Rmin和不同的Rmax的两个场景体积等）。
前述的用户输入可通过选择诸如场景中的三维（3D）框的特定体积、选择场景中的特定范围以及选择被忽略的场景中的一个或多个对象并对该被忽略的对象不施加闪光照明来执行。
实施在相机中蓄积的最小范围（Rmin>0m）提供了一种在具有恶劣天气条件（例如，雨、雪和雾）的低照度下或者在不同空间位置中提供增强图像的方法。
本发明的这些附加的和/或其他方面和/或优势在随后的详细说明中阐述；其可能从详细说明中推断；和/或可通过本发明的实践来习得。
附图说明
结合以下附图，根据对其实施方式进行的详细描述，本发明将变得更容易理解：
图1是根据本发明的某些实施方式构造和操作的系统的操作示意图；
图2是根据本发明的某些实施方式的利用典型的便携式相机使用其闪光灯所拍摄的照片；
图3A至图3C示出了根据本发明的某些实施方式的不同选择性的和可控制的场景体积；
图4是根据本发明的某些实施方式的由获得改善的照片质量的智能相机装置所执行的操作的流程图；
图5是根据本发明的某些实施方式构造和操作的设备的前视示意图；
图6至图8是根据本发明的某些实施方式构造和操作以获得选择性的和可控制的场景体积的设备的前视示意图；
图9是根据本发明的某些实施方式构造和操作的系统的操作示意图。
具体实施方式
在详细说明本发明的至少一种实施方式之前，应理解，本发明不限于将其应用于以下描述中所阐述的或在附图中示出的部件的构造和布置的细节。本发明可适用于其他实施方式或者以各种方式被实践或者实施。同样，应理解，本文中采用的措词和术语是为了描述的目的且不应被认为是限制。
根据本发明，所公开的技术提供了用于基于传感器原理和有效照明同步使用电-光技术来蓄积选择性的和可控制的场景体积的方法和系统。因此，术语“目标”或者“对象”通常是指任何对象，“相机脉冲闪光灯”是指发出电磁能量辐射（即，任何已知波长的光子）的任何合适的源以及“传感器”指的是在相机中收集电磁能量辐射（即，任何已知波长的光子）以提供信号的任何设备（例如，像素、一维（1D）像素阵列、二维（2D）像素阵列等）。“传感器”可基于：CMOS成像传感器、CCD、SPAD、光二极管、混合型FPA、光电倍增管（包括图像增强器）等。
因此，所公开的技术在相机设计中，通过改变闪光照明参数、通过改变传感器参数来提供信号捕获的操作，以作为蓄积景深的功能。根据一种实施方式，该系统是便携式部件，例如，移动电话、平板电脑、笔记本电脑或者任何其他的数字相机设计。所公开的技术不限于便携式和/或手持平台的实施方式。
本领域已知的选通成像系统在标题为“选通成像”的美国专利第8,194,126 B2号中被描述。（在自由空间中）光源脉冲被定义为：其中参数在以下指数中被定义。选通相机开启时间（在自由空间中）被定义为：选通相机关闭时间（在自由空间中）被定义为：其中c是光速，R0、Rmin和Rmax是特定范围。利用选通成像通过TLASER、TON和TOFF的时间同步来建立成像灵敏度以作为范围的函数。
现参照图1，图1是根据所公开技术的实施方式构造和操作的系统（通常标记为10）的操作的示意图。
系统10包括闪光模块14、成像传感器15和控制单元（11、12和13）。闪光模块14以脉冲（单脉冲/连续脉冲）的形式生成光束31。闪光模块14向着场景发出光束31。光束31照亮场景中的潜在目标33。成像传感器15从目标33接收被反射的光源光束32。成像传感器15和闪光模块14由于通过系统控制11与TLASER、TON和TOFF相关而彼此同步。
由区域30表示的大气条件（诸如浮质、湿度、霾、雾、烟雾、烟、雨、雪等）可能存在于系统10的周围区域。来自紧邻系统10的区域的反向散射比来自更远的区域的反向散射具有对成像传感器15的更显著的影响。指定为Rmin的近似范围定义了免受由闪光模块14发出的反向散射光的紧邻系统10的区域。不期望潜在目标33位于Rmin范围内，因此，在成像传感器单元15内从获取的信号中去除在这个范围内的大气条件30的影响。这些大气条件在光束31照亮目标33的光路上干扰光束31，并干扰从目标33反射的光束32。对于场景的具体体积，成像传感器15未在某一持续时间内蓄积光束31，该持续时间为光束31完全向着场景的特定体积中的目标33传播距离Rmin且包括从距离Rmin的场景的特定体积到成像传感器15的返回路径的持续时间。系统10和潜在目标33之间的距离被指定为范围Rmax（即，潜在目标33可位于范围Rmin和Rmax之间的任何地方）。这种技术利用低反射信号背景对比源自潜在目标33的高反射信号。在室内系统10的使用中，大气条件30通常可忽略，而对室外系统10的使用忽略大气条件30则可能显著偏离。
成像传感器15被适配成与光信号（光子）同步，且可被适配成在读出传感器信号前蓄积光电信号。成像光学模块16可被适配成滤除某些波长的光谱（如可由带通滤波器执行）和/或被适配成滤除各种光偏振。成像光学模块16被适配成操作和检测与由成像传感器15提供的那些电磁波长类似的电磁波长。成像光学模块16还被适配成将入射光聚焦到传感器15的感光区域上并提供其所需的视场。
闪光模块14被适配成提供通过成像传感器15可检测的电磁波长。闪光模块14可被适配成投射和/或滤除光偏振。闪光模块14还可被适配为漫射光（例如，全息散射器、光学透镜等）并投射一个或多个照明区域（FOI）。闪光模块14的FOI可在系统10操作期间被控制（即，使其变窄或变宽）。闪光模块14还包括提供脉冲照明的脉冲光源（例如，LED、激光器、闪光灯等）。闪光模块14可包括基于电学法（例如，热电冷却器）和/或合适的机械法和/或任何光学法的光源波长控制器，以及用于稳定照明波长的装置，如本领域普通技术人员所理解。
闪光模块14可由闪光控制13经由专用信道20控制。闪光控制13被适配成从系统控制11接收触发信号，且每次触发都将驱动对闪光模块14的脉冲事件。闪光控制13还可管理闪光模块14的照明参数，诸如：FOI、波长和脉冲特性（例如，上升/下降时间、持续时间以及峰值功率）。
成像传感器15和成像光学模块16可由成像控制12经由专用信道19控制。成像控制12被适配成从系统控制11接收触发信号，且每次触发都使成像传感器15曝光。成像控制12还可管理传感器参数（成像传感器15和成像光学模块16）：焦距、快门、曝光时间、增益、传感器感兴趣区（ROI）以及传感器读出机制。
成像控制12和闪光控制13分别由系统控制11经由专用信道17和18控制。系统控制11被适配成触发成像控制12和闪光控制13，以提供选择性的和可控制的场景体积成像。在以上低光度条件下，闪光控制13可能不会激活闪光模块14且成像控制12可具有不同操作模式，例如CIS（成像传感器15）可在低光度期间以选通模式来操作，而该传感器在其他照明条件下可利用“4T”模式（即，光电探测器、浮动扩散、传输门、复位门、选择门以及源跟随读出晶体管）或者任何其他像素的晶体管设计/模式来操作。信号21在其被管控的便携式装置中控制系统10。
Rmax范围也可基于以下系统10的参数中的至少一个来选择：成像传感器15的最大分辨率、闪光模块14的最大峰值功率以及摄影（成像）的边界条件（例如，图像是在户外、室内、静态、移动中等状态下拍摄的）。例如，若图像是在暗室拍摄的，其中Rmax=10m、则TON不应比0.33μs更多（即，可以更短）。此外，摄影（成像）边界条件也可能影响最小范围Rmin。
图2是利用典型的便携式相机使用其闪光灯拍摄的照片。该照片示出了相机中从相机闪光灯反射的信号蓄积的问题。在低光度环境条件（即，暗室）中，三个目标（在该情况下的人）位于距相机的三个不同的距离位置处。从到相机最接近的目标蓄积的信号对比从后面的目标蓄积的微弱的信号几乎是饱和的。该影响至少由于两个原因：平方反比定律和相机自动增益控制（AGC）机制。此外，现有的相机装置不提供选择期望的特定蓄积的场景体积（即，聚焦在位于到相机最长距离处的第三目标上）的可能性。
图3A至图3C示出了对于现有技术使用所述方法的一个好处。系统10照明和蓄积在特定场景50内的不同场景体积（即，不同的最小范围Rmin和不同的最大范围Rmax）中被反射的照明闪光。三个目标（51、52和53）被定位在对于系统10的不同范围处的场景中。图3A示出了由具有目标52的54表示的选择性蓄积的场景体积。在该示图中，其余目标（51和53）可能不具有能被注意的最小信号水平。图3B示出了由具有目标52和53的55表示的选择性蓄积的场景体积。在该示图中，第三目标（51）可能不具有能被注意的最小信号水平。图3C示出了由带有具有Rmin(2)和Rmax(2)的目标51的场景体积56和带有具有Rmin(1)和Rmax(1)的目标53的场景体积57表示的两个选择性蓄积的场景体积。在该示图中，第三目标（52）不具有能被注意的最小信号水平（例如，相对于场景中的其他目标更暗）。此外，单个图像帧（即，静态图像帧或视频帧）可具有几个选择性的和可控制的场景体积（例如，两个或更多具有不同Rmin和不同Rmax的场景体积或者两个或更多具有相似的Rmin和不同的Rmax的场景体积等）。
图4是根据本发明的某些实施方式的由获得改善的照片质量的智能相机装置所执行的操作的流程图。该方法的操作可由装置10执行，且具体地，由上述系统控制器11来执行。在系统（“或”装置）10被开启且智能相机功能准备好拍摄照片之后，接收输入（框61）来拍摄照片。该照片可以是单个静态图像帧，或者可以是单个图像视频帧。
此时，相机功能可检测诸如周围环境光线、目标状况（例如，静止的或者移动的）的场景条件，基于该场景条件然后可确定所需要的曝光时间、透镜位置（变焦和聚焦）并确定是否需要闪光。闪光灯的使用可由用户决定或者基于场景照明条件自动确定。
一旦所观察到的场景需要闪光灯来提高照片品质，则框62就提供（显示）所观察场景的基本原始图像（静态图像或者视频流）。基本原始图像可由闪光模块14照明或者不用闪光模块14照明。
在这一阶段，接收输入（框63）来选择特定的场景体积（特定的景深）。特定的场景体积可通过指示所获取图像上的至少一个点来选择。例如，体积选择可基于场景内一个或多个对象的数据识别自动被执行。
然后，在框64中相机功能设置合适的相机闪光和相机曝光时间顺序（即，所需要的TLASER、TON和TOFF以提供所选择的特定场景体积）。这一内部自动输入（框65）重复相机闪光和相机曝光时间顺序，随后是蓄积信号的相机读出。该多个闪光/相机曝光顺序提供所期望的信号水平来对抗相机噪声。各个时间顺序可以有不同的系统设置条件，例如：相机脉冲闪光持续时间（TLASER）、相机脉冲闪光强度、相机脉冲闪光上升/下降时间、相机脉冲闪光到相机曝光（TOFF）之间的延迟时间、相机曝光时间（TON）、相机曝光上升/下降时间等。当所选择的特定场景体积被建立（基于框63的输入）时，额外输入（框66）可更新为新的特定场景体积，这可设置新的/更新的如上所述的时间顺序和不同系统设置条件。
在这一阶段，接收内部自动输入（框67）以读出和存储包括系统10参数的所蓄积的信号（图像），该系统10的参数诸如：系统设置条件（如上所述）、相机变焦、相机曝光时间、闪光模块FOI、系统10时间标签、位置（可基于GPS数据）等。
然后，可在所存储的照片文件上使用存储的系统参数来执行图像处理（框68）。该处理可包括现有技术，诸如：伪像去除、去模糊操作、运动补偿等。此外，场景范围数据可从被增加到照片的时间顺序（TLASER、TON和TOFF）提取。最后，所存储的处理过的照片（框69）后期被显示或者从存储器中被提取以用于其他用途。
指示所获取图像上的至少一个点包括以下中的至少一个：触觉事件、视觉事件、声音事件以及预先确定的设置。
预先确定的设置条件包括可提前为系统10的至少一个参数设置的配置，该参数诸如：照明和曝光时间顺序（TLASER、TON、TOFF）、闪光照明/传感器曝光的次数、以及甚至闪光照明和传感器信号蓄积的感兴趣区。预先确定的设置选择可基于所成像场景中的模式识别。在这种配置中，图像被处理（框62）以识别特定的模式（例如，家庭成员的面部）。这种识别的输出可提供出自所观察的场景的特定模式（在该实例中是家庭成员的面部）的最佳信噪比（SNR）。这种模式识别的另一输出可将出自所观察的场景的这种特定模式（在该实例中是家庭成员的面部）排除在外，因此提供对比该对象的背景的较低SNR。
预先确定的设置选择也可基于所成像场景中的信号标识。在这种配置中，信号识别可基于特定平台ID（例如，对于移动电话，该ID是移动电话号码）。该标识的输出可提供出自所观察场景的特定平台（在该实例中是拿着手机的人）的最佳SNR。这种标识的另一输出可将出自所观察的场景的这种特定平台（在该实例中是拿着手机的人）排除在外，因此提供对比该对象的背景的较低SNR。
在另一实施方式中，预先确定的设置选择也可基于摄影（成像）的边界条件（在下文中限定）。
图5是具有显示位于所观察的场景内距设备70不同距离范围的三个目标（80、81和82）的显示器71的设备70的前视示意图。系统10可以是设备70的部件或者被整合到设备70内或连接到设备70以提供如前面所述的图像增强。
图6是设备70的前视示意图，该设备70利用系统10来获取所观察场景内的关于目标81的增强图像。如图4中的流程图所述，提供选择性的和可控制的包含目标81的场景体积（由Rmin和Rmax限定的84）。在图6中输入63和输入66（图4）由指示所获取图像上的至少一个点的触碰来提供。显示器71可以是触摸屏，其中，每次接触使用单个触针或者单个手指72。触觉方法可限定Rmin和Rmax，例如，由下文中的以下选项（选项A到选项C）中的至少一个来限定。
选项A可由以下步骤组成；触摸72显示器71上的目标81直至Rmin被选择（即，系统10扫描TOFF直至手指72抬起），再次触摸72显示器71上的目标81直至Rmax被选择（即，系统10扫描TON和TLASER直至手指72抬起）以及抬起手指72来拍摄选通照片（gated picture，所选照片、选通图像）。
选项B可由以下步骤组成；触摸72显示器71直至Rmin被选择（即，系统10扫描TOFF直至手指72抬起），再次触摸72显示器71直至Rmax被选择（即，系统10扫描TON和TLASER直至抬起手指72）以及抬起手指72来拍摄选通的照片。
选项C可由以下步骤组成；触摸72显示器71上的目标81，Rmin被选择（即，系统10扫描TOFF直至具有良好信号的目标81可见），Rmax被选择（即，系统10扫描TON和TLASER直至具有良好信号的目标81可见），拍摄选通的照片。
图7是设备70的前视示意图，该设备70利用系统10来获取所观察场景内的关于目标81的增强图像。选择性的和可控制的包含目标81的场景体积（由Rmin和Rmax限定的84）如图4中的流程图所述被提供。在图7中输入63和输入66（图4）通过指示所获取图像上的至少一个点的触碰来提供。显示器71可以是触摸屏，其中，两个感兴趣点由两个手指76的每次触摸形成。触觉方法可限定Rmin和Rmax，例如，由下文中的一个以下选项（选项D）来限定。
选项D可由以下步骤组成：触摸76显示器71上的目标81直至Rmin和Rmax被选择（即，系统10扫描TON和TLASER直至手指76抬起）。一旦手指76抬起，则拍摄选通的照片。
在另一实施方式中，指示所获取图像上的一个点（图4中的输入63和输入66）可通过声音方法被提供。例如，语音命令可指示Rmin或者Rmax或者所获取图像中的特定对象。
图8是设备70的前视示意图，该设备70利用系统10来获取所观察场景内的关于目标81的增强图像。选择性的和可控制的包含目标81的场景体积（由Rmin和Rmax限定的84）如图4中的流程图所述来提供。在图8中输入63和输入66（图4）通过指示所获取图像上的至少一个点的视觉被提供。眼追踪模块73可位于设备70中以提供眼睛75的位置74和用于设置以下中的至少一个的移动数据：所显示图像中的Rmin、Rmax以及期望对象。
图9是诸如在上文描述的系统10的具有多个装置（10a、10b和10c）的情况的示意图。这些系统可彼此之间通信以传递摄影（成像）边界条件。例如，系统之间的距离（例如，装置10a与装置10b和装置10c之间的距离）可被传送。这些输入可被用于设置拍摄照片的装置（10a、10b和10c）中的一个的一些照明和曝光时间顺序。
在诸如图9中描述的情况（即，多个装置）的另一实施方式中，特定装置可使用另一装置来照射闪光和/或甚至拍摄图像。该方法利用装置（10a、10b和10c）在特定体积中的扩展来优化和最大化所获取的图像。
尽管针对有限数量的实施方式描述了本发明，但这些实施方式不应被理解为对本发明的范围的限制，而是作为一些优选实施方式的范例。其他可行的变化、变形和应用也存在于本发明范围内。因此，本发明的范围不应被至此所描述的内容所限定，而是受所附权利要求和它们的法律等同物来限定。

Claims (22)

1.一种用于移动装置的成像方法，包括：
在多个装置之间进行通信以至少传递边界条件并且确定场景条件，并且基于所述场景条件确定是否需要闪光；
使用操作于选通模式下的具有曝光时间顺序的获取装置获取场景的图像，其中，所述场景包括由所述获取装置看到的背景和对象；
接收指示所获取的原始图像上的两个或两个以上位置的输入，其中，所获取的原始图像上的每个位置与所述场景中的位置对应；
基于所指示的所述获取的原始图像上的两个或两个以上位置计算所述场景内的相应的体积部分，其中，所述体积部分与所述获取装置相距不同的距离并且彼此间隔开；
至少基于所述边界条件确定导向所述场景的具有特定参数的辐射闪光脉冲和所述获取装置的曝光时间顺序；
对各个和每个所计算的体积部分独立地执行所述确定闪光脉冲和曝光时间顺序，其中，所述获取装置的曝光与来自所计算的体积部分的所述闪光脉冲的反射光到达所述获取装置相同步；以及
执行所述闪光脉冲和曝光顺序并且蓄积在单个图像帧内的至少两个场景体积部分的所述反射光，以产生用于所述移动装置的增强图像。
2.根据权利要求1所述的方法，其中，各个体积部分由为所述获取装置和所述体积部分之间的最小距离的最小范围Rmin和为所述获取装置和所述体积部分之间的最大距离的最大范围Rmax限定，且其中，所述体积的计算通过在所获取的原始图像上指示Rmin和Rmax来执行。
3.根据权利要求1所述的方法，其中，所述指示包括下列中的至少一个：触觉事件、视觉事件、声音事件和预定设置。
4.根据权利要求3所述的方法，其中，响应于用户输入来手动执行所述指示。
5.根据权利要求3所述的方法，其中，所述指示由下列中的至少一个执行：三维框的选择、特定范围的选择以及选择一个或多个要忽略的对象使得所选择的体积部分不包括被忽略的对象。
6.根据权利要求3所述的方法，其中，所述声音事件通过用户声音输入来执行。
7.根据权利要求4所述的方法，其中，所述用户输入通过在触摸屏上指示一个或多个对象被执行。
8.根据权利要求1所述的方法，其中，所述闪光脉冲在可见光的范围内。
9.根据权利要求1所述的方法，其中，所述闪光脉冲在不可见光的范围内。
10.根据权利要求1所述的方法，其中，所述闪光脉冲的参数包括：强度、频率和持续时间，且其中，所述脉冲的参数是基于所计算的体积部分参数被调整的参数。
11.根据权利要求1所述的方法，其中，基于所述场景内的一个或多个对象的数据识别来自动执行各个体积部分的计算。
12.根据权利要求1所述的方法，其中，响应于用户输入来手动执行所述体积部分的选择。
13.根据权利要求1所述的方法，其中，所述体积部分由为所述获取装置和所述体积部分之间的最小距离的最小范围Rmin和为所述获取装置和所述体积部分之间的最大距离的最大范围Rmax限定，且其中，所述体积的计算通过在所获取的原始图像上指示Rmin来执行。
14.根据权利要求1所述的方法，其中，所述体积部分由为所述获取装置和所述体积部分之间的最小距离的最小范围Rmin和为所述获取装置和所述体积部分之间的最大距离的最大范围Rmax限定，且其中，所述体积的计算通过在所获取的原始图像上指示Rmax来执行。
15.一种用于相机闪光灯的系统，被配置为实施根据权利要求1所述的方法的步骤，所述系统包括：
获取装置，被配置为获取场景的所述原始图像；
指示器，被配置用于指示所获取的原始图像上的至少一个位置，其中，所获取的图像上的位置与所述场景中的位置对应；
计算机处理器，被配置为基于所获取的原始图像上的所述至少一个位置计算所述场景内的体积部分；
光源，被配置为生成导向所述场景的具有特定参数的闪光脉冲，
其中，所述计算机处理器进一步被配置用于所述同步所述获取装置的曝光。
16.根据权利要求15所述的系统，其中，所述体积部分由为所述获取装置和所述体积部分之间的最小距离的最小范围Rmin和为所述获取装置和所述体积部分之间的最大距离的最大范围Rmax限定，且其中，所述体积的计算通过在所获取的图像上指示Rmin和Rmax来执行。
17.根据权利要求15所述的系统，其中，所述闪光脉冲在可见光范围内。
18.根据权利要求15所述的系统，其中，所述闪光脉冲的参数包括强度、频率和持续时间，且其中，所述脉冲的参数基于所计算的体积部分参数来调整。
19.根据权利要求15所述的系统，其中，基于所述场景内的一个或多个对象的数据识别来自动执行所述体积的计算。
20.根据权利要求15所述的系统，其中，响应于用户输入来手动执行所述位置的选择。
21.根据权利要求20所述的系统，其中，所述用户输入是通过在触摸屏上指示一个或多个对象。
22.根据权利要求21所述的系统，其中，所述用户输入包括下列中的至少一个：特定体积的选择、特定范围的选择、选择一个或多个要忽略的对象使得所计算的体积不包括被忽略的对象。
CN201310418701.2A 2013-06-30 2013-09-13 智能相机闪光灯 Active CN104253947B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL227265A IL227265A0 (en) 2013-06-30 2013-06-30 Smart flash for the camera
IL227265 2013-06-30

Publications (2)

Publication Number Publication Date
CN104253947A CN104253947A (zh) 2014-12-31
CN104253947B true CN104253947B (zh) 2018-04-13

Family

ID=49784198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310418701.2A Active CN104253947B (zh) 2013-06-30 2013-09-13 智能相机闪光灯

Country Status (6)

Country Link
US (1) US9712754B2 (zh)
EP (1) EP3017339A4 (zh)
KR (1) KR102210928B1 (zh)
CN (1) CN104253947B (zh)
IL (1) IL227265A0 (zh)
WO (1) WO2015001550A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007330B2 (en) 2011-06-21 2018-06-26 Microsoft Technology Licensing, Llc Region of interest segmentation
CN105391948A (zh) * 2015-11-05 2016-03-09 浙江宇视科技有限公司 一种具有夜视透雾功能的前端设备及其控制方法
CN108431631A (zh) * 2015-12-21 2018-08-21 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
EP3396413A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. VEHICLE APPARATUS FOR VEHICLES, CONTROL APPARATUS, VEHICLE EQUIPPED WITH THE IMAGE RECORDING DEVICE FOR VEHICLES AND THE CONTROL DEVICE IMAGE FORMULATION OF VEHICLES
EP3396414A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGING APPARATUS FOR USE BY A VEHICLE, CONTROL DEVICE, VEHICLE WITH THE CONTROL DEVICE OR IMAGING DEVICE FOR USE BY A VEHICLE AND IMAGE RECORDING FOR USE BY A VEHICLE
EP3396411A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGING DEVICE FOR VEHICLES AND VEHICLE THEREWITH
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
KR102370763B1 (ko) * 2017-09-26 2022-03-04 삼성전자주식회사 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
CN107745697A (zh) 2017-11-16 2018-03-02 北京图森未来科技有限公司 一种自动清洁系统及方法
WO2019140005A1 (en) 2018-01-09 2019-07-18 TuSimple Real-time remote control of vehicles with high redundancy
US11305782B2 (en) 2018-01-11 2022-04-19 Tusimple, Inc. Monitoring system for autonomous vehicle operation
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US10565728B2 (en) 2018-06-01 2020-02-18 Tusimple, Inc. Smoothness constraint for camera pose estimation
US11023742B2 (en) 2018-09-07 2021-06-01 Tusimple, Inc. Rear-facing perception system for vehicles
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
AU2019339418A1 (en) 2018-09-13 2021-05-13 Tusimple, Inc. Remote safe driving methods and systems
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN111800585B (zh) * 2019-11-21 2021-06-04 天津九安医疗电子股份有限公司 一种智能照明控制系统
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN113928307A (zh) 2020-06-29 2022-01-14 图森有限公司 自动泊车技术
CN117455809B (zh) * 2023-10-24 2024-05-24 武汉大学 基于深度引导扩散模型的图像混合雨去除方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1194056A (zh) * 1995-06-22 1998-09-23 3Dv系统有限公司 改进型光学测距摄象机
US6876392B1 (en) * 1998-12-22 2005-04-05 Matsushita Electric Industrial Co., Ltd. Rangefinder for obtaining information from a three-dimensional object
CN101652627A (zh) * 2007-01-14 2010-02-17 微软国际控股私有有限公司 一种用于成像的方法、设备和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3404396A1 (de) * 1984-02-08 1985-08-14 Dornier Gmbh, 7990 Friedrichshafen Vorrichtung und verfahren zur aufnahme von entfernungsbildern
US4920412A (en) * 1988-12-22 1990-04-24 Sperry Marine Inc. Atmospheric obscurant penetrating target observation system with range gating
IL154479A0 (en) 2003-02-16 2003-09-17 Elbit Systems Ltd Laser gated intensified ccd
WO2005076037A1 (en) * 2004-02-04 2005-08-18 Elbit Systems Ltd. Gated imaging
US7541588B2 (en) * 2005-07-12 2009-06-02 Northrop Grumman Corporation Infrared laser illuminated imaging systems and methods
US7962031B2 (en) 2009-10-06 2011-06-14 Apple Inc. Pulsed control of camera flash
US9060113B2 (en) * 2012-05-21 2015-06-16 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US8786767B2 (en) * 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
US20140247368A1 (en) * 2013-03-04 2014-09-04 Colby Labs, Llc Ready click camera control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1194056A (zh) * 1995-06-22 1998-09-23 3Dv系统有限公司 改进型光学测距摄象机
US6876392B1 (en) * 1998-12-22 2005-04-05 Matsushita Electric Industrial Co., Ltd. Rangefinder for obtaining information from a three-dimensional object
CN101652627A (zh) * 2007-01-14 2010-02-17 微软国际控股私有有限公司 一种用于成像的方法、设备和系统

Also Published As

Publication number Publication date
IL227265A0 (en) 2013-12-31
EP3017339A1 (en) 2016-05-11
WO2015001550A1 (en) 2015-01-08
KR102210928B1 (ko) 2021-02-03
US9712754B2 (en) 2017-07-18
EP3017339A4 (en) 2017-02-22
KR20160027162A (ko) 2016-03-09
US20160373633A1 (en) 2016-12-22
CN104253947A (zh) 2014-12-31

Similar Documents

Publication Publication Date Title
CN104253947B (zh) 智能相机闪光灯
KR102604336B1 (ko) 비행시간 센서를 사용하여 노출 추정을 수행하기 위한 방법들 및 장치들
US9953428B2 (en) Digital camera unit with simultaneous structured and unstructured illumination
US10516834B2 (en) Methods and apparatus for facilitating selective blurring of one or more image portions
US9544503B2 (en) Exposure control methods and apparatus
CN1926851B (zh) 通过深度信息优化捕获装置设置的方法和设备
CN108513078A (zh) 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统
CN103516988B (zh) 利用透镜移动的增强图像处理
JP2018119942A (ja) 撮像装置及びその監視方法並びにプログラム
TW201830957A (zh) 用於具有背景去除的主動深度成像儀的系統和方法
JP2015119277A (ja) 表示機器、表示方法及び表示プログラム
US8199247B2 (en) Method for using flash to assist in focal length detection
JP2010187184A (ja) 被写体追尾装置および撮像装置
US9113088B2 (en) Method and apparatus for photographing an image using light from multiple light sources
JP2004328657A (ja) 画像入力装置、画像入力方法およびプログラム
CN111182199A (zh) 电子装置及拍照方法
CN114521240A (zh) 处理装置、电子设备、处理方法及程序
JP2015149611A (ja) 撮影機器、撮影支援方法及び撮影支援プログラム
US11438486B2 (en) 3D active depth sensing with laser pulse train bursts and a gated sensor
CN113301240B (zh) 控制拍照的方法和装置、电子设备、计算机可读存储介质
WO2024076531A1 (en) Hybrid auto-focus system with robust macro object priority focusing
GB2603115A (en) Imaging device
JP5981898B2 (ja) 撮像装置およびその制御方法
JP2016004133A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant