CN114667729B - 多孔变焦数码摄像头及其使用方法 - Google Patents

多孔变焦数码摄像头及其使用方法 Download PDF

Info

Publication number
CN114667729B
CN114667729B CN202080077889.7A CN202080077889A CN114667729B CN 114667729 B CN114667729 B CN 114667729B CN 202080077889 A CN202080077889 A CN 202080077889A CN 114667729 B CN114667729 B CN 114667729B
Authority
CN
China
Prior art keywords
camera
scanning
view
field
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080077889.7A
Other languages
English (en)
Other versions
CN114667729A (zh
Inventor
奥德·吉古辛斯基
纳达夫·吉瓦
盖伊·利夫希茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Corephotonics Ltd
Original Assignee
Corephotonics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Corephotonics Ltd filed Critical Corephotonics Ltd
Publication of CN114667729A publication Critical patent/CN114667729A/zh
Application granted granted Critical
Publication of CN114667729B publication Critical patent/CN114667729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/18Motion-picture cameras
    • G03B19/22Double cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0053Driving means for the movement of one or more optical element
    • G03B2205/0069Driving means for the movement of one or more optical element using electromagnetic actuators, e.g. voice coils
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

多种多孔变焦数码摄像头,包括第一扫描式摄像头以及第二扫描式摄像头,第一扫描式摄像头以及第二扫描式摄像头具有各自的原生的第一视场及原生的第二视场(field of view,FOV),并且用于在大于各自的原生的视场的立体角上扫描各自的基本上平行的第一平面及第二平面中的场景,其中第一摄像头及第二摄像头具有各自的中心,所述各自的中心位于垂直于所述第一平面及所述第二平面的轴线上,并且以一距离B彼此分开,并且摄像头控制器用于连接到第一扫描式摄像头以及第二扫描式摄像头,并且配置为控制每个摄像头的扫描。

Description

多孔变焦数码摄像头及其使用方法
相关申请的交叉引用
本申请要求于2020年1月8日提交的美国临时专利申请第62/958488号的优先权,其全部内容通过引用并入本文。
技术领域
本文公开的实施例总体上涉及数码摄像头,尤其是薄变焦数码摄像头。
背景技术
与雷达、激光雷达、超声波传感器等一起,多摄像头(Multi-cameras)正在成为先进驾驶辅助系统(Advanced driver-assistance systems,ADAS)的汽车传感器系统的标准组件。汽车多摄像头设置通常包括具有不同视场(field-of-view,FOV)的摄像头,例如双摄像头,包括一个具有广角(Wide,W)视场(FOVW)的摄像头以及一个具有窄视场(FOVT)的摄像头,称为远摄(长焦)(Telephoto,Tele或T)摄像头;或是三摄像头,其还包括一个具有超广角(Ultra-Wide,UW)视场(FOVUW)的摄像头。多摄像头可以捕捉具有高度相关图像信息的区域,通常位于视场的中心(例如,街道路段及前方的汽车),分辨率高于以较低分辨率捕捉的某些环境(例如,人行道区域)分辨率(resolution)。此后,术语“分辨率”是指图像空间分辨率。
从摄像头数据中添加深度信息可以显着提高ADAS操作的质量。此信息可以由立体摄像头设置提供。已知的立体摄像头设置基于两种不同的设计:第一种设计使用具有相同视场的两个摄像头(以及相同的附加摄像头组件,例如,光学模块及图像传感器),第二种设计使用具有不同视场的两个或更多个摄像头。第一种设计的优点是,可以利用两个摄像头中每个摄像头的全分辨率从立体摄像头数据中进行深度计算。缺点是需要额外的专用于立体成像的摄像头。第二种设计的优势在于,包括不同视场的多摄像头无论如何都可以在ADAS中使用。缺点是分辨率较低的摄像头限制了整个立体摄像头系统的深度分辨率,而窄视场摄像头限制了立体图像数据可用的视场。
因此,需要一种在大视场上提供高分辨率立体图像数据的立体摄像头系统,这将是有益的。
发明内容
本文公开的实施例教示使用具有两个扫描式远摄摄像头(scanning Telecameras)的立体摄像头设置,每个包括光路折叠元件(optical path folding element,OPFE),其沿着基线(baseline)定位并被所述基线分开,并且为了不将扫描误差转化为立体深度估计的误差,基于光路折叠元件在一维上的移动,通过在与所述基线正交的方向上扫描来获得深度。
在各种示例性实施例中,提供了多种系统,包含:第一扫描式摄像头,用于提供物体或场景的第一图像数据,并且具有原生的第一视场(field of view,FOV1),所述第一扫描式摄像头用于在大于所述原生的第一视场的立体角上的第一平面中扫描;第二扫描式摄像头,用于提供物体或场景的第二图像数据,并且具有原生的第二视场(field of view,FOV2),所述第二扫描式摄像头用于在大于所述原生的第二视场的立体角上的第二平面中扫描,其中所述第一平面与所述第二平面基本上平行,其中所述第一扫描式摄像头以及所述第二扫描式摄像头具有各自的中心,所述各自的中心位于垂直于所述第一平面及所述第二平面的第一轴线上,并且以一距离B彼此分开;以及一摄像头控制器,用于连接到所述第一扫描式摄像头及所述第二扫描式摄像头,并且配置为控制每个摄像头的扫描。
在一些实施例中,所述第一扫描式摄像头以及所述第二扫描式摄像头是折叠式扫描式摄像头,每个摄像头包括各自的光路折叠元件。
在一些实施例中,所述扫描是通过旋转所述各自的光路折叠元件来执行的。
在一些实施例中,所述各自的光路折叠元件的旋转是围绕基本上平行于所述第一轴线的轴线来进行的。
在一些实施例中,所述摄像头控制器配置为自动地控制每个摄像头的所述扫描。
在一些实施例中,每个摄像头的所述扫描的控制是基于作为输入的所述第一图像数据及/或所述第二图像数据的使用。
在一些实施例中,所述摄像头控制器配置为根据所述第一图像数据及/或根据所述第二图像数据来计算深度信息。
在一些实施例中,所述摄像头控制器配置为根据从所述第一图像数据及所述第二图像数据导出的立体图像数据来计算深度信息。
在一些实施例中,2厘米(cm)<所述距离B<20厘米。
在一些实施例中,7.5厘米<所述距离B<15厘米。在一些实施例中,所述第一视场=所述第二视场。
在一些实施例中,所述系统包含一第三摄像头,用于提供所述物体或所述场景的第三图像数据,并且具有大于所述第一视场及所述第二视场的第三视场。
在一些实施例中,所述第一摄像头或所述第二摄像头具有比所述第三摄像头的分辨率高至少两倍的各自的分辨率。
在一些实施例中,每个摄像头的所述扫描的控制是基于作为输入的所述第三图像的使用。
在一些实施例中,所述系统还包含传感器,所述传感器选自于由雷达传感器、超声波传感器以及光学雷达(light detection and ranging)传感器所组成的群组。
在一些实施例中,每个摄像头的所述扫描的控制是基于来自所述第一摄像头及/或所述第二摄像头及/或所述传感器的图像数据的使用。
附图说明
下面参考在此段落之后列出的附图描述本文公开的实施例的非限制性示例。出现在不止一个图中的相同结构、元件或部件通常在它们出现的所有图中用相同的数字标记。附图以及描述旨在阐明及说明本文公开的实施例,并且不应以任何方式被认为是限制性的。
图1A示出了示例性的三摄像头(triple-camera)的输出的图像尺寸及其之间的比率;
图1B示出了包括二维(2D)扫描式变焦摄像头的双摄像头(dual-camera)的示例性视场;
图2A以框图示意性地示出了本文公开的系统的实施例;
图2B以框图示意性地示出了本文公开的另一系统的实施例;
图3A示出了如本文所述的具有广角摄像头以及两个在一个方向上具有扫描能力的远摄摄像头的三摄像头的实施例;
图3B示出了图3A的三摄像头以及其组件的立体图;
图3C示出了具有各自的视场的两个远摄摄像头,(a)在第一(分开)位置;以及(b)在第二(重叠)位置;
图4示意性地示出了如图2A或图2B中的系统的示例性操作的图示;
图5A示意性地示出了如图2A及图2B所示的操作方法的流程图中的主要步骤;
图5B示出了图5A中的一些步骤的细节;
图5C示意性地示出了如图2A及图2B所示的另一操作方法的流程图中的主要步骤;
图5D示出了图5B中的一些步骤的细节;
图6A示出了基于像素D视差的输入值的不同误差,对于长达200米的距离的深度估计精度的比较;以及
图6B显示了基于像素D视差的输入值的不同误差,对于长达200米的距离的深度估计精度的百分比的比较。
具体实施方式
图1A图示了已知的三摄像头(triple-camera)的输出的图像尺寸以及其之间的比率。如上所述,三摄像头可以包括例如超广角(ultra-Wide)视场(field of view,FOV)102、广角(Wide)视场104以及长焦(Tele)视场106。超广角视场(FOVUW)可以是120至160度,广角视场(FOVW)可以是40至60度,并且长焦视场(FOVT)可以是20至35度,指水平视场。广角或是超广角摄像头中的任一个都可以用作广角摄像头,用于检测感兴趣的物体(object ofinterest,OOI)或是感兴趣的区域(region of interest,ROI)。远摄摄像头(Tele camera)可用于捕捉感兴趣的区域或感兴趣的物体的高分辨率图像。感兴趣的物体可以是例如危险、另一辆车、道路上的洞或障碍物、行人、碎片、标志等。
图1B示出了双摄像头的输出的图像的视场,用于包括如本领域已知的一个二维(2D)扫描式远摄摄像头的双摄像头。2D扫描式远摄摄像头具有原生(native)的长焦视场,其中场景中的原生的长焦视场的位置可以在2D上进行更改,从而能够覆盖或扫描在水平及垂直维度上比原生的长焦视场更大的场景的片段。此更大的场景片段被称为“扩展(extended)的长焦视场”。例如,可以在共同拥有的国际专利申请PCT/IB2019/055734、PCT/IB2016/057366、PCT/IB2019/053315及PCT/IB2018/050988中找到扫描式远摄摄像头的示例。在其他示例中,扫描式远摄摄像头可以扫描场景的片段,所述场景的片段仅在一个维度上(例如,仅在水平维度或是仅在垂直维度)大于原生的长焦视场。
显示了两个不同的原生的长焦视场106”位置及其与广角视场104的关系。原生的长焦视场106”可以扫描广角视场104的特定片段,整个广角视场或是在广角视场之外的场景的片段。视场扫描,例如,扫描2°至5°可能需要约1至50毫秒(ms)的时间尺度,而扫描10至25°可能需要约2至100ms的时间尺度。
包含扫描式远摄摄像头的汽车多摄像头(automotive multi-camera)可以在大视场上提供高分辨率图像数据。包含两个扫描式远摄摄像头的汽车多摄像头可以为具有高帧率(rate of frames per second,fps)的场景的大视场提供高分辨率视觉图像数据,或高分辨率立体图像数据。图2A示出了本文所公开且编号为200的系统的实施例。系统200包括车辆202以及基于三摄像头的先进驾驶辅助系统(Advanced driver-assistance systems,ADAS)210。车辆202可以是例如汽车、公共汽车、卡车、摩托车、长途汽车或任何其他类型的机动车辆。ADAS210可以安装在或连接到车辆202。ADAS210包括三摄像头220,所述三摄像头220包括第一远摄摄像头222、第二远摄摄像头224以及广角摄像头226;以及处理单元228。处理单元228可以是中央处理器(Central Processing Unit,CPU)、图形处理器(GraphicsProcessing Unit,GPU)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)或任何其他能够进行图形分析的处理器。
图2B显示了本文公开的编号为202’的另一个系统的实施例。系统202’包括车辆202’以及ADAS210’。ADAS210’可以安装在车辆202中,或是连接到车辆202。ADAS210’包括视觉系统220’,其包括第一远摄摄像头222’、第二远摄摄像头224’、处理单元228’及传感器232。传感器232可以是单个成像传感器,或是基于一个或多个成像传感器的系统,例如雷达传感器、超声波传感器、光学雷达(light detection and ranging,LIDAR)技术的传感器等。处理单元228或228’可以是配置为自动控制第一远摄摄像头及/或第二远摄摄像头的扫描。
在其他示例中,本文描述的系统可以不包括在车辆中,而是包括在使用两个例如,用于监视的扫描式摄像头的任何其他系统中。
图3A示出了本文公开的编号为300的立体系统(三摄像头)的实施例。与摄像头220一样,三摄像头300包括第一远摄摄像头302、第二远摄摄像头304及广角摄像头306。如图所示,例如,两个远摄摄像头位于在Y(垂直)方向上广角摄像头的两侧。在一些实施例中,广角摄像头可以被超广角摄像头替代,或是被广角摄像头与超广角摄像头的组合替代。在替代实施例中,广角摄像头可以由传感器232之类的传感器代替。远摄摄像头302及304具有被基线B分开的中心(镜头光轴),在此基本上平行于Y轴线定向。在各种示例中,B可以在2至20厘米(cm)(例如:12cm)或是15至50cm的范围内。三摄像头300可以安装在或包含在车辆(ADAS)上。
在一些实施例中,第一远摄摄像头和第二远摄摄像头可以是折叠式扫描式远摄摄像头,扫描在X-Z平面中执行,即,与基线B正交。它们可以通过旋转一个或多个光路折叠元件(optical path folding element,OPFE)来扫描场景。例如,通过围绕基本上平行于Y轴线(及基线B)的旋转轴线旋转光路折叠元件,摄像头302及304的视场可以在X-Z平面中进行扫描。
在一些实施例中,第一远摄摄像头可以是折叠式扫描式远摄摄像头,并且第二远摄摄像头可以是具有固定视场的(非扫描式)远摄摄像头。
在一些实施例中,通过围绕基本上平行于Z轴线的旋转轴线旋转光路折叠元件,视场扫描可以在平行于基线B的方向上(即,在X-Z平面中)。
在一些实施例中,可以在2D中执行视场扫描。例如,通过分别围绕基本上平行于Y轴线的旋转轴线以及围绕基本上平行于Z轴线的旋转轴线旋转光路折叠元件,摄像头302及304的视场可以在X-Z平面及X-Y平面中进行扫描。
图3B以立体图示出三摄像头300及其组件。第一远摄摄像头302是折叠式扫描式摄像头,包括图像传感器312a及具有相应的镜头光轴308的镜头314a。第二远摄摄像头304是折叠式扫描式摄像头,包括图像传感器312b及具有相应的镜头光轴310的镜头314b。图像传感器312a及312b各自的特征在于各自的传感器有效区域尺寸及传感器像素尺寸。镜头314a及314b各自的特征在于各自的有效焦距(effective focal length,EFLT),远摄摄像头302标记为EFLT1,远摄摄像头304标记为EFLT2。远摄摄像头302及304还具有各自的原生的视场FOVT1及FOVT2。远摄摄像头302及304还包括各自的光路折叠元件316a及316b,例如镜子(如图所示)或棱镜。每个光路折叠元件都有一个反射面,在静止点从各自的远摄镜头光轴倾斜45度。远摄摄像头302及304还包括各自的致动器318a及318b。致动器318可将各自的光路折叠元件的反射表面从静止点倾斜至多±α度(其中示例性地,α可以至多为10、20、40或70度)。致动器318a或318b可以是,例如步进电机或是音圈电机(Voice Coil Motor,VCM),例如在共同拥有的专利申请PCT/IB2017/057706中所描述的。
广角摄像头306包括图像传感器322以及具有镜头光轴326的镜头324。在一个实施例中,镜头324可以具有固定的(恒定的)有效焦距EFLW。广角视场在水平车辆面对平面(即,平行于路面的平面)中可以是30至130度。示例性地(参见图4),广角视场被给出为110度。
在一些实施例中并且如图3B所示,光轴308及310可以垂直于基线B定向。所示的基线B基本上平行于X。在其他实施例中,光轴308及310可以平行于基线B定向。
在一些实施例中,远摄摄像头302及/或远摄摄像头304可以包括两个或更多个光路折叠元件。可以通过旋转一个光路折叠元件、两个光路折叠元件或两个或多个光路折叠元件中的两个以上光路折叠元件,来执行视场扫描。在3B中,旋转使得每个原生的视场的中心平行于Y轴移动。
图3C示出了两个远摄摄像头(现在标记为Tele 1及Tele 2),其各自的原生的视场在(a)在原生的FOVT1与原生的FOVT2之间没有重叠的第一位置;以及(b)在第二位置(重叠)位置。所示坐标与图3B中的坐标对齐。通过在与基线正交的方向上扫描,例如在如图3A所标记的X-Z平面上进行扫描,Tele 1及Tele 2都具有明显大于原生的FOVT1及原生的FOVT2的扩展的FOVT。对于本文所述的方法,(b)中标记的重叠区域,图的中心,具有最高相关性,因为在此重叠区域中可以创建深度估计的立体图像数据。具有在一个扫描方向上的扫描能力并具有在此方向上约5至35度的原生的FOVT的远摄摄像头可以覆盖在此方向上例如5至180度的扩展的视场。
在一些示例中(如图4中),广角摄像头306、第一远摄摄像头302及第二远摄摄像头304面向车辆前侧,并且共享至少一些它们各自的原生的视场。通常,FOVW远离车辆朝向前方(行驶)方向,并且相对于车辆的两侧基本上对称。在一种操作模式下,第一远摄摄像头及第二远摄摄像头可用于扫描FOVW内部及/或FOVW外部的扩展的FOVT(FOVT1及FOVT2)。
图4示意性地示出了系统200或200’的示例性操作方法的图示。三摄像头300安装在车辆400的前部。三角形404代表FOVW,三角形410及412分别代表原生的FOVT1及原生的FOVT2,它们都投影在同一水平面上。在FOVW中,“观察距离(observation distance)Odis”406被定义为最小距离,所述最小距离允许系统300使用来自广角摄像头的图像来观察潜在感兴趣的物体的存在。“识别距离(identification distance)Idis”408被定义为最小距离,所述最小距离允许系统300使用来识别所有需要的信息,以决定来自广角摄像头的图像的最小距离,如本领域已知的。根据一个示例,感兴趣的物体可以是路标,在观察距离中可观察但不可读。感兴趣的物体可以在观察距离中观察到,但仅在识别距离中进行识别或区分它是道路标志还是行人。换言之,如果感兴趣的物体位于观察距离406之前(比广角摄像头更近)但比识别距离408更远,那么系统300可以使用来自广角摄像头的图像来计算感兴趣的物体位于FOVW中,而不是充分计算所需的行动措施或所需的反应。第一远摄摄像头及第二远摄摄像头的输出图像比广角摄像头的输出图像具有更高的分辨率。例如,第一远摄摄像头及第二远摄摄像头的输出图像可能具有比广角摄像头的输出图像高3到25倍的分辨率,因此第一远摄摄像头及第二远摄摄像头的识别距离可以比广角摄像头的识别距离408远3到25倍。
根据一些示例,ADAS210或210’的行动措施或响应可以包括以下一项或多项或以下的组合:改变车辆400的速度及/或路线、向驾驶员操作内部警报、操作外部警报、向互联网或云服务、警察、道路援助服务等发送数据信息或呼叫。
在图4(a)所示的示例中,车辆400接近第一感兴趣的物体及第二感兴趣的物体404。两个感兴趣的物体都位于观察距离406与识别距离408之间。虽然感兴趣的物体402及感兴趣的物体404可以被广角摄像头观察到,但它们可以是不可识别的。在(a)中,在初始状态下,原生的FOVT1与原生的FOVT2重叠,并且指向同一方向。如图所示。如图4(b)所示,然后扫描原生的FOVT1,以面对感兴趣的物体402,使得第一远摄摄像头302可以捕捉具有更多细节的感兴趣的物体402。扩展的FOVT2可以同时或非同时(即顺序)扫描以面对感兴趣的物体404,使得第二远摄摄像头304可以捕捉感兴趣的物体404。在其他示例中,例如基于像系统220’这样的视觉系统,感兴趣的物体的检测可以由诸如传感器232的传感器执行。这样的传感器数据可以用于将第一远摄摄像头及第二远摄摄像头分别指向感兴趣的物体402及感兴趣的物体404。在其他示例中,第一远摄摄像头及/或第二远摄摄像头的图像数据可用于将第一远摄摄像头及/或第二远摄摄像头指向感兴趣的物体。例如,长焦图像数据可用于推断未来位置,其可用于将第一远摄摄像头及第二远摄摄像头指向各个感兴趣的物体的可能未来位置。例如,关于感兴趣的物体的移动的信息可以在由第一远摄摄像头及/或第二远摄摄像头捕捉的一系列长焦图像帧中确定。此信息可用于推断同一感兴趣的物体的未来移动及位置,并引导第一远摄摄像头及/或第二远摄摄像头跟随感兴趣的物体。在又一些示例中,第一远摄摄像头及第二远摄摄像头可以指向单个感兴趣的物体,从而存在原生的FOVT1与原生的FOVT2的显着重叠。在原生的FOVT1与原生的FOVT2重叠的场景片段中(如图4(a)所示),创建了具有高长焦分辨率(Tele resolution)的立体成像数据。在其他示例中,一个或两个远摄摄像头可以“引导自身(guide itself)”,即,仅长焦图像数据可用于扫描或引导长焦视场。
图5A示出了如图4的示例中的系统200或系统200’的操作方法的流程图。在步骤502中,使用广角摄像头或是传感器来检测感兴趣的物体402,并得出其位置。或者,图像可以附加地或可选地由一个或两个远摄摄像头以及如上所述导出的感兴趣的物体的位置来获取。在步骤504中,基于在步骤502中获得的信息,第一远摄摄像头及第二远摄摄像头被引导到检测到的感兴趣的物体(参见图6的描述)。在步骤506中,两个远摄摄像头获取感兴趣的物体的图像(例如,同时或在与场景内的车辆或是感兴趣的物体的移动相比较小的时间窗口中),以提供高(长焦)分辨率的立体图像数据。如本领域已知,进一步处理立体图像数据,以生成感兴趣的物体402的高分辨率深度图。
图5B更详细地示出了图5A的操作方法的一个变体。在步骤510中,广角摄像头或传感器从车辆周围获取场景信息。在步骤512中,处理单元接收场景信息,并且在场景内定位感兴趣的物体402。在步骤514中,处理单元引导第一远摄摄像头及第二远摄摄像头,使其原生的FOVT1及原生的FOVT2包括感兴趣的物体402。在步骤516中,第一远摄摄像头及第二远摄摄像头以高分辨率获取感兴趣的物体402的立体图像(即,在原生的FOVT1与原生的FOVT之间有一些或显着重叠的图像)。在步骤518中,处理单元接收感兴趣的物体上的高分辨率立体信息,并且基于高分辨率立体信息计算高分辨率深度图。可选地,处理单元可以对接收的图像数据运行进一步的2D检测算法。
图5C更详细地示出了图5A的操作方法的一个变体。所述变体指的是像402这样的感兴趣的物体覆盖大于原生的FOVT1及原生的FOVT2的视场片段的情况。在这种情况下,当视场片段被分成N个片段0、1、...、n、(n+1)、...N时,可以使用长焦图像分辨率捕捉视场片段,每个第n个片段的第n个视场(FOVn)等于原生的FOVT。被分割的片段被依次扫描,一次一个。感兴趣的物体的位置可以来自广角摄像头或其他传感器数据,或者可以针对特定的地理或街道情况提供先验(priori)。车辆视场的先验片段可以包括通常许多感兴趣的物体所在的带,例如,城市内的步行区及/或快车道或前方街道上的交通标志。
在步骤520中,处理单元识别视场>原生的FOVT的感兴趣的物体,并且将此视场划分为N个片段,每个片段n具有等于或小于原生的FOVT的FOVn。在步骤522中,在依序扫描视场的过程中,处理单元引导第一远摄摄像头及第二远摄摄像头使其原生的FOVT面对感兴趣的物体的第n个视场。在步骤524中,第一远摄摄像头及第二远摄摄像头获取感兴趣的物体中第n个图像片段的立体图像(即,具有一些或显着视场重叠的图像)。在步骤526中,处理单元接收第一长焦图像数据及第二长焦图像数据,因此在感兴趣的物体402上具有长焦信息及立体信息。在步骤528中,处理单元基于立体数据计算高分辨率深度图。在步骤530中,处理单元引导第一远摄摄像头及第二远摄摄像头使其各自的原生的FOVT面向感兴趣的物体的第(n+1)个视场。在步骤532中,第一远摄摄像头及第二远摄摄像头获取感兴趣的物体的第(n+1)图像片段的立体图像。
图5D在流程图中示出了如图4的示例中的系统200及/或200’的另一种操作方法。在步骤540中,广角摄像头或传感器从车辆周围获取场景信息。在步骤542中,处理单元接收在步骤540中获取的场景信息,并检测周围是否存在第一感兴趣的物体402及第二感兴趣的物体404。在步骤544中,处理单元引导第一远摄摄像头使其原生的FOVT1面向感兴趣的物体402,并且引导第二远摄摄像头使其原生的FOVT2面向感兴趣的物体404。在步骤546中,第一远摄摄像头获取感兴趣的物体402的长焦图像,并且第二远摄摄像头获取感兴趣的物体404的长焦图像。在步骤548中,处理单元接收第一长焦图像及第二长焦图像,从而具有关于感兴趣的物体402及感兴趣的物体404的高分辨率(长焦)信息。
假设第一扫描式远摄摄像头及第二扫描式远摄摄像头的所有内在及外在参数都是已知的,则可以使用等式1来计算物体的距离Z:
其中Z是要由处理单元计算的深度估计值,f是摄像头的焦距或是有效焦距,B是基线,D是像素视差(disparity),ps是图像传感器的像素大小。视差构成根据等式1进行深度估计的输入变量。B、ps及f是已知的,并且是校准集的一部分。作为视差误差ΔD的函数的深度估计误差Δ由等式2给出::
B是垂直方向的(相对于水平方向的街道)。对于典型的立体系统,ΔD受系统校准集质量的限制,例如其机械稳定性(对温度、机械冲击如跌落等)。对于基于扫描摄像头的立体系统,ΔD可能还由扫描过程产生的位置误差引起(例如,由于多个远摄摄像头的扫描过程之间的延迟)。某个扫描方向的位置误差位于B与一个物点所跨越的平面内。在如本文所述的系统中,B被定向为与扫描方向正交,使得源自扫描误差的扫描引起的位置误差不会转化为视差误差,因此不会将误差引入深度图估计中。等式2表明,本文所述的基于远摄摄像头(以大的有效焦距为特征)的系统比基于广角摄像头的系统(假设相同的附加参数)具有更好的准确度。这允许设计具有小基线(即,小整体尺寸)的系统,但仍然表现出不错的准确性。
与使用具有不同原生的视场的两个摄像头的系统相比,包括具有相同原生的视场的两个远摄摄像头的实施例具有优势,因为立体图像数据的校准可以通过本领域已知的“线对线同步(“line-to-line synchronization)”来完成。
图6A示出了基于D的输入值的不同误差,对于长达200米的距离的深度估计精度(以米为单位)的比较。以米为单位的实际z距离显示在x轴上(ground truth),而通过以米为单位的视差确定z距离的精度显示在y轴上。图6B示出了基于D的输入值的不同误差对长达200米的距离的深度估计精度的百分比比较。通常,在本领域已知的良好对准的立体摄像头系统中,在非常好的校准中,校准数据中的累积误差加起来约为0.25像素(虚线)的误差,在适当的校准中,累积误差加起来约为0.5像素(点划线)的误差。
在包括两个远摄摄像头的立体摄像头系统中,这些摄像头在平行于基线矢量的方向上扫描视场,并且用于根据像素差异确定深度图,深度图的精度取决于扫描机构的位置传感器的准确性。假设第一远摄摄像头第二远摄摄像头的有效焦距为22毫米,B为120毫米,并且每个长焦图像传感器有3000个水平像素。在水平方向上扫描大约60度的范围。通常,扫描由光路折叠元件启用,光路折叠元件的位置由与光路折叠元件刚性连接的霍尔(Hall)传感器以及与光路折叠元件周围的外壳刚性连接的传感磁体测量(反之亦然)。霍尔传感器可以为光路折叠元件的位置提供12位信息。基于这些值,在最佳情况下,视差误差为2个像素(实线)(霍尔传感器12位信息给出的理论限制)。
图6A及图6B示出了使用本文所述的立体摄像头系统(虚线或点划线)并且在与基线正交的方向上扫描长焦视场的设计的深度图估计在100米处具有约3%的准确度,优于扫描与基线矢量平行的视场的系统,后者在100米处提供约15%的精度(实线)。
总之并且示例性地,使用本文描述的系统及方法可以预期总体上五倍更好的深度估计精度。此外,使用如本文所述的远摄摄像头的立体摄像头系统相对于使用大视场广角摄像头的立体摄像头系统的优势在于,如本领域已知的,“广角畸变(wide-angledistortion)”显着减少。广角畸变描述了靠近摄像头的物体相对于更远的物体显得异常大的事实。
为了清楚起见,本文使用术语“基本上”来暗示值在可接受范围内变化的可能性。根据一个示例,本文使用的术语“基本上”应被解释为暗示高于或低于任何指定值的最多5%的可能变化。根据另一示例,本文使用的术语“基本上”应解释为暗示高于或低于任何指定值的最多2.5%的可能变化。根据另一示例,本文使用的术语“基本上”应被解释为暗示高于或低于任何指定值的最多1%的可能变化。
尽管本公开描述了有限数量的实施例,但是应当理解,可以对这些实施例进行许多变化、修改和其他应用。一般而言,本公开应理解为不受本文描述的特定实施例的限制,而仅受所附权利要求的范围的限制。
本说明书中提及的所有参考文献均以引用方式整体并入本说明书中,其程度如同每个单独的参考文献被具体地及单独地指示以引用方式并入本文一样。此外,本申请中任何参考文献的引用或标识不应被解释为承认所述参考文献可作为本申请的现有技术使用。

Claims (14)

1.一种系统,其特征在于,所述系统包含:
第一扫描式摄像头,用于提供物体或场景的第一图像数据,并且具有原生的第一视场,所述第一扫描式摄像头用于在大于所述原生的第一视场的立体角上的第一平面中扫描;
第二扫描式摄像头,用于提供物体或场景的第二图像数据,并且具有原生的第二视场,所述第二扫描式摄像头用于在大于所述原生的第二视场的立体角上的第二平面中扫描,其中所述第一平面与所述第二平面基本上平行,其中所述第一扫描式摄像头以及所述第二扫描式摄像头具有各自的中心,所述各自的中心位于垂直于所述第一平面及所述第二平面的第一轴线上,并且以一距离B彼此分开,其中所述第一扫描式摄像头以及所述第二扫描式摄像头是折叠式扫描式摄像头,每个摄像头包括各自的光路折叠元件;以及
一摄像头控制器,用于连接到所述第一扫描式摄像头及所述第二扫描式摄像头,并且配置为控制每个摄像头的扫描,
其中所述系统还包含一第三摄像头,用于提供所述物体或所述场景的第三图像数据,并且具有大于所述第一视场及所述第二视场的第三视场。
2.如权利要求1所述的系统,其特征在于:所述扫描是通过旋转所述各自的光路折叠元件来执行的。
3.如权利要求2所述的系统,其特征在于:所述各自的光路折叠元件的旋转是围绕基本上平行于所述第一轴线的轴线来进行的。
4.如权利要求1所述的系统,其特征在于:所述摄像头控制器配置为自动地控制每个摄像头的所述扫描。
5.如权利要求4所述的系统,其特征在于:每个摄像头的所述扫描的控制是基于作为输入的所述第一图像数据及/或所述第二图像数据的使用。
6.如权利要求1所述的系统,其特征在于:所述摄像头控制器配置为根据所述第一图像数据及/或根据所述第二图像数据来计算深度信息。
7.如权利要求1所述的系统,其特征在于:所述摄像头控制器配置为根据从所述第一图像数据及所述第二图像数据导出的立体图像数据来计算深度信息。
8.如权利要求1所述的系统,其特征在于:所述系统还包含传感器,所述传感器选自于由雷达传感器、超声波传感器以及光学雷达传感器所组成的群组。
9.如权利要求8所述的系统,其特征在于:每个摄像头的所述扫描的控制是基于来自所述第一扫描式摄像头及/或所述第二扫描式摄像头及/或所述传感器的图像数据的使用。
10.如权利要求1所述的系统,其特征在于:所述第一扫描式摄像头或所述第二扫描式摄像头具有比所述第三摄像头的分辨率高至少两倍的各自的分辨率。
11.如权利要求1所述的系统,其特征在于:每个摄像头的所述扫描的控制是基于作为输入的所述第三图像的使用。
12.一种系统,其特征在于,所述系统包含:第一扫描式摄像头,用于提供物体或场景的第一图像数据,并且具有原生的第一视场,所述第一扫描式摄像头用于在大于所述原生的第一视场的立体角上的第一平面中扫描;第二扫描式摄像头,用于提供物体或场景的第二图像数据,并且具有原生的第二视场,所述第二扫描式摄像头用于在大于所述原生的第二视场的立体角上的第二平面中扫描,其中所述第一平面与所述第二平面基本上平行,其中所述系统还包含一第三摄像头,用于提供所述物体或所述场景的第三图像数据,并且具有大于所述第一视场及所述第二视场的第三视场,所述第一扫描式摄像头以及所述第二扫描式摄像头是折叠式扫描式摄像头,每个摄像头包括各自的光路折叠元件,所述第一扫描式摄像头以及所述第二扫描式摄像头具有各自的中心,所述各自的中心位于垂直于所述第一平面及所述第二平面的第一轴线上,并且以一距离B彼此分开,其中2厘米<所述距离B<20厘米;以及一摄像头控制器,用于连接到所述第一扫描式摄像头及所述第二扫描式摄像头,并且配置为控制每个摄像头的扫描。
13.如权利要求12所述的系统,其特征在于:7.5厘米<所述距离B<15厘米。
14.如权利要求12所述的系统,其特征在于:所述第一视场=所述第二视场。
CN202080077889.7A 2020-01-08 2020-12-27 多孔变焦数码摄像头及其使用方法 Active CN114667729B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062958488P 2020-01-08 2020-01-08
US62/958,488 2020-01-08
PCT/IB2020/062463 WO2021140403A1 (en) 2020-01-08 2020-12-27 Multi-aperture zoom digital cameras and methods of using same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410291174.1A Division CN118158379A (zh) 2020-01-08 2020-12-27 多孔变焦数码摄像系统

Publications (2)

Publication Number Publication Date
CN114667729A CN114667729A (zh) 2022-06-24
CN114667729B true CN114667729B (zh) 2024-04-19

Family

ID=76788493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080077889.7A Active CN114667729B (zh) 2020-01-08 2020-12-27 多孔变焦数码摄像头及其使用方法

Country Status (5)

Country Link
US (2) US11689708B2 (zh)
EP (1) EP4052093A4 (zh)
KR (2) KR102494753B1 (zh)
CN (1) CN114667729B (zh)
WO (1) WO2021140403A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4052093A4 (en) * 2020-01-08 2022-12-28 Corephotonics Ltd. DIGITAL MULTI-APERTURE ZOOM CAMERAS AND METHODS OF USE THEREOF

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130051709A (ko) * 2011-11-10 2013-05-21 삼성전기주식회사 스테레오 카메라 모듈
CN105657290A (zh) * 2016-01-29 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种基于双摄像头的扫描方法及装置
KR101632168B1 (ko) * 2016-02-03 2016-06-22 주식회사 싸인텔레콤 원샷 전방위탐지와 카메라영상으로 이루어진 하이브리드 분석형 스마트 감시카메라장치
CN106797461A (zh) * 2014-10-10 2017-05-31 康蒂-特米克微电子有限公司 用于机动车辆的立体摄像机
CN206623754U (zh) * 2017-02-14 2017-11-10 驭势科技(北京)有限公司 车道线检测装置
CN107396080A (zh) * 2016-05-17 2017-11-24 纬创资通股份有限公司 产生深度信息的方法及系统
CN108353118A (zh) * 2015-12-29 2018-07-31 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
CN109155842A (zh) * 2016-05-17 2019-01-04 富士胶片株式会社 立体相机及立体相机的控制方法
CN110471050A (zh) * 2018-05-10 2019-11-19 三星电子株式会社 结构光成像系统和扫描场景的方法
CN110557517A (zh) * 2019-09-18 2019-12-10 广州讯宝电子科技有限公司 一种双摄像头二维扫描装置及控制方法

Family Cites Families (172)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2106752A (en) 1934-12-03 1938-02-01 Sheet Polarizer Company Inc Field divider
US2354503A (en) 1941-12-01 1944-07-25 Taylor Taylor & Hobson Ltd Optical objective of the telephoto type
US2378170A (en) 1943-06-25 1945-06-12 Eastman Kodak Co Telephoto lens
US2441093A (en) 1946-07-22 1948-05-04 Eastman Kodak Co Telephoto lens
US3388956A (en) 1963-04-10 1968-06-18 Voigtlaender Ag Photographic telephoto lenses of high telephoto power
DE1447278A1 (de) 1964-06-20 1968-12-19 Voigtlaender Ag Tele-Anastigmat mittlerer Lichtstaerke mit grossem Telephoto-Effekt
US3558218A (en) 1967-12-01 1971-01-26 Polaroid Corp Three-element telephoto objective lens
JPS5116135B2 (zh) 1972-05-10 1976-05-21
US3942876A (en) 1972-09-07 1976-03-09 Ponder & Best, Inc. Telephoto lens
JPS5327421A (en) 1976-08-26 1978-03-14 Asahi Optical Co Ltd Small telephotographic lens
JPS54157620A (en) 1978-06-01 1979-12-12 Konishiroku Photo Ind Co Ltd Photographic telephoto lens
JPS55163510A (en) 1979-06-06 1980-12-19 Nippon Kogaku Kk <Nikon> Telephoto lens
JPS5850509A (ja) 1981-09-21 1983-03-25 Ricoh Co Ltd 小型望遠レンズ
JPS59121015A (ja) 1982-12-28 1984-07-12 Nippon Kogaku Kk <Nikon> 近距離補正された写真レンズ
JPS6165212A (ja) 1984-09-07 1986-04-03 Fuji Xerox Co Ltd 複写機の結像レンズ
JPS6370211A (ja) 1986-09-11 1988-03-30 Canon Inc プラスチツク製光学素子
US5000551A (en) 1989-06-05 1991-03-19 Nikon Corporation Zoom lens
JPH0659195A (ja) 1992-08-07 1994-03-04 Fuji Photo Optical Co Ltd 内視鏡用光学系装置
JP3676524B2 (ja) 1996-10-25 2005-07-27 ペンタックス株式会社 プリズム
JPH1195105A (ja) 1997-07-22 1999-04-09 Nikon Corp 変倍光学系の合焦方式
JPH11223771A (ja) 1998-02-06 1999-08-17 Nikon Corp 可変焦点距離レンズ系
US6147702A (en) 1998-04-17 2000-11-14 Intel Corporation Calibration of digital cameras
US6195209B1 (en) 1999-05-04 2001-02-27 U.S. Precision Lens Incorporated Projection lenses having reduced lateral color for use with pixelized panels
JP4278879B2 (ja) 2001-02-27 2009-06-17 株式会社オートネットワーク技術研究所 車両周辺視認装置
US20030035100A1 (en) 2001-08-02 2003-02-20 Jerry Dimsdale Automated lens calibration
JP3503941B2 (ja) 2002-02-04 2004-03-08 富士写真光機株式会社 3群ズームレンズ
JP2004334185A (ja) 2003-04-18 2004-11-25 Canon Inc ズームレンズ
US6924948B2 (en) 2003-08-21 2005-08-02 Arc Design, Inc. Multifocal lens system for digital cameras
JP4276914B2 (ja) 2003-09-18 2009-06-10 オリンパス株式会社 振動波リニアモータ及びその駆動方法
JP2005134486A (ja) 2003-10-28 2005-05-26 Ricoh Co Ltd カラー画像読取レンズ、カラー画像読取レンズユニット、カラー画像読取装置および画像形成装置
JP2005173191A (ja) 2003-12-11 2005-06-30 Olympus Corp 光路折り曲げ光学系
JP2005215473A (ja) 2004-01-30 2005-08-11 Sekinosu Kk 投影レンズ装置
US6980379B1 (en) 2004-07-19 2005-12-27 Microalign Technologies, Inc. Flat wide-angle objective
US9155483B2 (en) 2004-12-03 2015-10-13 The Invention Science Fund I, Llc Vision modification with reflected image
JP4679906B2 (ja) 2005-01-13 2011-05-11 株式会社リコー レンズ固定構造
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
JP4731977B2 (ja) 2005-04-22 2011-07-27 キヤノン株式会社 光学機器
JP4794912B2 (ja) 2005-06-02 2011-10-19 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
JP2007133096A (ja) 2005-11-09 2007-05-31 Konica Minolta Opto Inc 撮像光学系、撮像レンズ装置及びデジタル機器
JP2007219199A (ja) 2006-02-17 2007-08-30 Konica Minolta Opto Inc レンズユニット、撮像装置及びレンズの製造方法
JP4905653B2 (ja) 2006-03-28 2012-03-28 ペンタックスリコーイメージング株式会社 中望遠レンズ系
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
US20090222061A1 (en) * 2006-05-22 2009-09-03 Culp Gordon W Pyrode neurostimulator
KR100900486B1 (ko) 2006-09-04 2009-06-03 삼성테크윈 주식회사 촬상 장치용 광학 모듈 및 이를 구비한 촬상 장치
JP4956343B2 (ja) 2006-09-25 2012-06-20 富士フイルム株式会社 2焦点撮像光学系および撮像機器
JP2008102427A (ja) 2006-10-20 2008-05-01 Tamron Co Ltd 光学装置および撮像装置
JP2008191423A (ja) 2007-02-05 2008-08-21 Sharp Corp レンズユニット及びカメラモジュール、並びに該カメラモジュールを備えた撮像装置
TWI332584B (en) 2007-04-25 2010-11-01 Largan Precision Co Ltd Optical lens system for taking image
US8794526B2 (en) 2007-06-04 2014-08-05 Hand Held Products, Inc. Indicia reading terminal processing plurality of frames of image data responsively to trigger signal activation
JP2008304708A (ja) 2007-06-07 2008-12-18 Konica Minolta Opto Inc ズームレンズ及び撮像装置
TWI351530B (en) 2007-07-05 2011-11-01 Largan Precision Co Ltd Inverse telephoto with correction lenses
TWI354820B (en) 2007-08-14 2011-12-21 Largan Precision Co Ltd Optical lens system for taking image
JP4947423B2 (ja) 2007-08-29 2012-06-06 コニカミノルタオプト株式会社 撮像レンズ
EP2037306A1 (en) 2007-09-12 2009-03-18 Fujinon Corporation Imaging lens and imaging apparatus
US7710665B2 (en) 2007-11-08 2010-05-04 Samsung Electro-Mechanics Co., Ltd. Imaging optical system
TWI361914B (en) 2007-11-16 2012-04-11 Largan Precision Co Ltd Optical lens system for taking image
JP2009134175A (ja) 2007-11-30 2009-06-18 Olympus Imaging Corp 結像光学系
WO2009073387A1 (en) 2007-12-04 2009-06-11 Blackeye Optics, Llc Zoom lens of the telephoto type having a liquid lens in a fixed group
KR100956250B1 (ko) 2007-12-10 2010-05-06 삼성전기주식회사 웨이퍼 스케일 렌즈조립체 제조방법 및 이에 의해 제조된웨이퍼 스케일 렌즈조립체
TWI354821B (en) 2007-12-18 2011-12-21 Largan Precision Co Ltd Optical lens system for taking image
US8184380B2 (en) 2007-12-28 2012-05-22 Panasonic Corporation Lens barrel
TWI361915B (en) 2008-02-18 2012-04-11 Largan Precision Co Ltd Optical lens system for taking image
TWI361913B (en) 2008-02-27 2012-04-11 Largan Precision Co Ltd Optical lens system for taking image
TWI361903B (en) 2008-02-27 2012-04-11 Largan Precision Co Ltd Optical lens system for taking image
JP2009216941A (ja) 2008-03-10 2009-09-24 Tamron Co Ltd 屈曲変倍光学系
JP2009258286A (ja) 2008-04-15 2009-11-05 Konica Minolta Opto Inc 撮像レンズ、撮像ユニット及び携帯端末
KR100962970B1 (ko) 2008-06-19 2010-06-10 엘지이노텍 주식회사 촬상 렌즈
TWI395992B (zh) 2008-07-25 2013-05-11 Largan Precision Co 四片式攝影光學鏡組
JP5304117B2 (ja) 2008-09-05 2013-10-02 コニカミノルタ株式会社 撮像レンズ及び撮像装置並びに携帯端末
TWI384254B (zh) 2008-10-16 2013-02-01 Largan Precision Co Ltd 取像透鏡組
TWI379102B (en) 2008-11-20 2012-12-11 Largan Precision Co Ltd Optical lens system for taking image
TWI388878B (zh) 2008-12-01 2013-03-11 Largan Precision Co Ltd 取像光學鏡片組
TWI382199B (zh) 2008-12-16 2013-01-11 Largan Precision Co Ltd 攝像用透鏡組
JP5201679B2 (ja) 2008-12-25 2013-06-05 株式会社オプトロジック 撮像レンズ
JP5300467B2 (ja) 2008-12-26 2013-09-25 キヤノン株式会社 光学系及びそれを有する光学機器
US7826149B2 (en) 2008-12-27 2010-11-02 Largan Precision Co., Ltd. Optical lens system for taking image
JP2010164841A (ja) 2009-01-16 2010-07-29 Sharp Corp 撮像モジュール、撮像装置及び光学機器
TWI394979B (zh) 2009-01-22 2013-05-01 Largan Precision Co Ltd 薄型攝影光學鏡組
TWI406004B (zh) 2009-02-19 2013-08-21 Largan Precision Co Ltd 成像光學透鏡組
TWI395990B (zh) 2009-05-11 2013-05-11 Largan Precision Co Ltd 攝影用透鏡組
TWI401466B (zh) 2009-06-19 2013-07-11 Largan Precision Co 二片式攝影光學鏡組
TWI404972B (zh) 2009-06-19 2013-08-11 Largan Precision Co 成像光學鏡組
KR20110002630A (ko) 2009-07-02 2011-01-10 삼성전자주식회사 휴대 단말기의 카메라 운용 방법 및 장치
TWI421557B (zh) 2009-07-14 2014-01-01 Largan Precision Co Ltd 攝像透鏡系統
DE102009028861B4 (de) 2009-08-25 2015-03-05 Trimble Jena Gmbh Messvorrichtung mit verringertem Anteil an Störlicht und Herstellungsverfahren für diese
US8559118B2 (en) 2009-11-18 2013-10-15 DigitalOptics Corporation Europe Limited Fixed focal length optical lens architecture providing a customized depth of focus optical system
JP2011128445A (ja) 2009-12-18 2011-06-30 Sony Corp ズームレンズ及び撮像装置
JP2011138047A (ja) 2009-12-28 2011-07-14 Olympus Imaging Corp 光路反射型のズームレンズを備えた撮像装置
JP2011141396A (ja) 2010-01-06 2011-07-21 Tamron Co Ltd 撮影レンズ、カメラモジュール、および撮像装置
CN102193162A (zh) 2010-03-16 2011-09-21 大立光电股份有限公司 可变焦摄影模块
TWI406027B (zh) 2010-04-08 2013-08-21 Largan Precision Co Ltd 取像用光學鏡頭
JP5498259B2 (ja) 2010-05-24 2014-05-21 株式会社タムロン 高変倍率ズームレンズ
TWI401485B (zh) 2010-06-10 2013-07-11 Largan Precision Co Ltd 成像光學鏡片組
TWI434096B (zh) 2010-09-16 2014-04-11 Largan Precision Co Ltd 光學攝像透鏡組
JP2012068510A (ja) 2010-09-24 2012-04-05 Hoya Corp 撮影光学系、及び撮影装置
US20120075518A1 (en) 2010-09-29 2012-03-29 Hoya Corporation Imaging unit
TWI435135B (zh) 2010-10-06 2014-04-21 Largan Precision Co Ltd 光學透鏡系統
US8339714B2 (en) 2010-10-13 2012-12-25 Olympus Imaging Corp. Zoom lens and imaging apparatus incorporating the same
JP5804878B2 (ja) 2010-11-01 2015-11-04 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
TWI418877B (zh) 2010-12-15 2013-12-11 Largan Precision Co 成像用光學系統
JP5802401B2 (ja) 2011-02-22 2015-10-28 オリンパス株式会社 レンズ鏡枠およびレンズ組立体
US8976466B2 (en) 2011-03-11 2015-03-10 Olympus Corporation Imaging optical system and imaging apparatus using the same
JP2012203234A (ja) 2011-03-25 2012-10-22 Konica Minolta Advanced Layers Inc 撮像光学系、撮像装置およびデジタル機器
TWI429979B (zh) 2011-04-13 2014-03-11 Largan Precision Co Ltd 光學影像透鏡組
CN102147519B (zh) 2011-04-20 2013-01-09 中国科学院光电技术研究所 一种宽角和长后工作距离的航测相机全色物镜
CN103502868B (zh) 2011-07-25 2016-01-20 富士胶片株式会社 摄像透镜和设置有该摄像透镜的摄像装置
KR20130025137A (ko) 2011-09-01 2013-03-11 삼성전자주식회사 파노라마 촬상 렌즈 및 이를 이용한 파노라마 촬상 시스템
US20130083201A1 (en) * 2011-10-03 2013-04-04 Raytheon Company Methods and apparatus for determining misalignment of first and second sensors
KR101301314B1 (ko) 2011-10-10 2013-08-29 삼성전기주식회사 촬상렌즈 유닛
JP5904208B2 (ja) 2011-10-20 2016-04-13 コニカミノルタ株式会社 撮像レンズ,撮像光学装置及びデジタル機器
CN104105991B (zh) 2011-10-24 2017-06-30 数位光学Mems有限公司 具有五个附前向聚焦的透镜的光学物镜
JP2013105049A (ja) 2011-11-15 2013-05-30 Sharp Corp レンズホルダ及びそれを備えた撮像装置
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
KR101932717B1 (ko) 2012-02-13 2018-12-26 삼성전자주식회사 결상렌즈 시스템
KR101964297B1 (ko) 2012-02-16 2019-04-01 엘지이노텍 주식회사 촬상 렌즈
WO2013156530A1 (en) * 2012-04-18 2013-10-24 3Shape A/S 3d scanner using merged partial images
TWI460465B (zh) 2012-04-20 2014-11-11 Largan Precision Co Ltd 光學影像鏡頭系統組
KR101422910B1 (ko) 2012-04-30 2014-07-23 삼성전기주식회사 카메라용 광학계
KR101941248B1 (ko) 2012-07-23 2019-04-10 삼성전자주식회사 줌 렌즈 및 이를 구비한 촬상장치
KR102012749B1 (ko) 2012-08-16 2019-08-21 엘지이노텍 주식회사 광학계
TWI438520B (zh) 2012-10-02 2014-05-21 Largan Precision Co Ltd 攝像系統鏡頭組
JP5808311B2 (ja) 2012-11-28 2015-11-10 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
KR101452084B1 (ko) 2013-01-22 2014-10-16 삼성전기주식회사 초소형 광학계 및 이를 구비하는 휴대용 기기
JP6150535B2 (ja) 2013-01-25 2017-06-21 日本電産サンキョー株式会社 レンズユニットおよびレンズユニットの製造方法
TWI476435B (zh) 2013-03-20 2015-03-11 Largan Precision Co Ltd 結像鏡頭系統組
JP5904623B2 (ja) 2013-03-25 2016-04-13 富士フイルム株式会社 撮像レンズおよび撮像レンズを備えた撮像装置
JP6000179B2 (ja) 2013-03-29 2016-09-28 富士フイルム株式会社 撮像レンズおよび撮像レンズを備えた撮像装置
JP2014209163A (ja) 2013-03-29 2014-11-06 富士フイルム株式会社 撮像レンズおよび撮像レンズを備えた撮像装置
JP5886230B2 (ja) 2013-03-29 2016-03-16 富士フイルム株式会社 撮像レンズおよび撮像レンズを備えた撮像装置
TWI461779B (zh) 2013-04-25 2014-11-21 Largan Precision Co Ltd 結像鏡組
KR20140135909A (ko) 2013-05-16 2014-11-27 주식회사 테크웍스플러스 카메라모듈 조립체
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6136588B2 (ja) 2013-05-31 2017-05-31 ソニー株式会社 ズームレンズ及び撮像装置
US10168882B2 (en) 2013-06-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for switching between camera interfaces
KR101634516B1 (ko) 2013-06-13 2016-06-28 코어포토닉스 리미티드 이중 조리개 줌 디지털 카메라
CN108519656A (zh) 2013-07-04 2018-09-11 核心光电有限公司 小型长焦透镜套件
WO2015056105A1 (en) 2013-10-14 2015-04-23 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
US9223118B2 (en) 2013-10-31 2015-12-29 Apple Inc. Small form factor telephoto camera
US9946047B2 (en) 2014-03-04 2018-04-17 Largan Precision Co., Ltd. Annual optical spacer, image lens system, and mobile terminal
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
TWI518360B (zh) 2014-08-26 2016-01-21 大立光電股份有限公司 取像光學透鏡組、取像裝置以及電子裝置
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
CN105467563B (zh) 2014-09-11 2019-02-22 玉晶光电(厦门)有限公司 便携设备之小型窄视场光学成像镜头
CN104297906A (zh) 2014-10-20 2015-01-21 宁波舜宇车载光学技术有限公司 一种光学镜头
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
KR101544792B1 (ko) 2014-12-30 2015-08-18 주식회사 세코닉스 홍채 인식 렌즈 시스템
JP6401103B2 (ja) 2015-04-20 2018-10-03 富士フイルム株式会社 内視鏡用対物レンズおよび内視鏡
US9817213B2 (en) 2015-04-23 2017-11-14 Apple Inc. Camera lens system with five lens components
TWI585485B (zh) 2015-05-19 2017-06-01 先進光電科技股份有限公司 光學成像系統
DE102016206493A1 (de) * 2015-06-23 2016-12-29 Robert Bosch Gmbh Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
KR102494776B1 (ko) 2015-08-04 2023-02-02 엘지이노텍 주식회사 촬상렌즈
KR102225727B1 (ko) 2015-09-06 2021-03-10 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
WO2017053874A1 (en) * 2015-09-23 2017-03-30 Datalogic ADC, Inc. Imaging systems and methods for tracking objects
KR101813329B1 (ko) 2015-10-13 2017-12-28 삼성전기주식회사 촬상 광학계
US10185123B2 (en) 2015-10-22 2019-01-22 Apple Inc. Lens system
KR102570101B1 (ko) 2015-12-04 2023-08-23 삼성전자주식회사 렌즈 어셈블리 및 그를 포함하는 전자 장치
CN106526788B (zh) 2016-08-25 2020-05-01 玉晶光电(厦门)有限公司 光学成像镜头
US10636167B2 (en) * 2016-11-14 2020-04-28 Samsung Electronics Co., Ltd. Method and device for determining distance
CN111542860A (zh) * 2016-12-30 2020-08-14 迪普迈普有限公司 用于自主车辆的高清地图的标志和车道创建
EP4145206A1 (en) 2017-01-12 2023-03-08 Corephotonics Ltd. Compact folded camera
JP6898460B2 (ja) 2017-02-23 2021-07-07 コアフォトニクス リミテッド 屈曲式カメラレンズ設計
CN114137791A (zh) 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的照相装置及移动装置
US20180364033A1 (en) * 2017-06-19 2018-12-20 Faro Technologies, Inc. Three-dimensional measurement device with color camera
US10935374B2 (en) 2018-02-21 2021-03-02 Faro Technologies, Inc. Systems and methods for generating models of scanned environments
US10670719B2 (en) * 2018-05-31 2020-06-02 Beijing Voyager Technology Co., Ltd. Light detection system having multiple lens-receiver units
EP4052093A4 (en) * 2020-01-08 2022-12-28 Corephotonics Ltd. DIGITAL MULTI-APERTURE ZOOM CAMERAS AND METHODS OF USE THEREOF

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130051709A (ko) * 2011-11-10 2013-05-21 삼성전기주식회사 스테레오 카메라 모듈
CN106797461A (zh) * 2014-10-10 2017-05-31 康蒂-特米克微电子有限公司 用于机动车辆的立体摄像机
CN108353118A (zh) * 2015-12-29 2018-07-31 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
CN105657290A (zh) * 2016-01-29 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种基于双摄像头的扫描方法及装置
KR101632168B1 (ko) * 2016-02-03 2016-06-22 주식회사 싸인텔레콤 원샷 전방위탐지와 카메라영상으로 이루어진 하이브리드 분석형 스마트 감시카메라장치
CN107396080A (zh) * 2016-05-17 2017-11-24 纬创资通股份有限公司 产生深度信息的方法及系统
CN109155842A (zh) * 2016-05-17 2019-01-04 富士胶片株式会社 立体相机及立体相机的控制方法
CN206623754U (zh) * 2017-02-14 2017-11-10 驭势科技(北京)有限公司 车道线检测装置
CN110471050A (zh) * 2018-05-10 2019-11-19 三星电子株式会社 结构光成像系统和扫描场景的方法
CN110557517A (zh) * 2019-09-18 2019-12-10 广州讯宝电子科技有限公司 一种双摄像头二维扫描装置及控制方法

Also Published As

Publication number Publication date
US20230283758A1 (en) 2023-09-07
CN114667729A (zh) 2022-06-24
KR20220046006A (ko) 2022-04-13
US20220394233A1 (en) 2022-12-08
WO2021140403A1 (en) 2021-07-15
US11689708B2 (en) 2023-06-27
EP4052093A4 (en) 2022-12-28
KR20230019225A (ko) 2023-02-07
KR102494753B1 (ko) 2023-01-31
EP4052093A1 (en) 2022-09-07

Similar Documents

Publication Publication Date Title
EP2910971B1 (en) Object recognition apparatus and object recognition method
EP3160138B1 (en) Image synthesis system, image synthesis device therefor, and image synthesis method
KR100466458B1 (ko) 운전지원장치
US7684590B2 (en) Method of recognizing and/or tracking objects
US9426364B2 (en) Image processing apparatus and image processing method
EP2743889A2 (en) Stereoscopic camera object detection system and method of aligning the same
JP5273356B2 (ja) 複眼画像入力装置及びそれを用いた距離測定装置
JP2007064804A (ja) 車両用障害物検出装置
US20180137607A1 (en) Processing apparatus, imaging apparatus and automatic control system
US10869002B2 (en) Vehicle camera device for capturing the surroundings of a motor vehicle and driver assistance device for detecting objects with such a vehicle camera device
JPWO2018003532A1 (ja) 物体検出表示装置、移動体及び物体検出表示方法
US10992920B2 (en) Stereo image processing device
JP2004258266A (ja) ステレオアダプタ及びそれを用いた距離画像入力装置
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
JP2014154898A (ja) 物体検知装置
US20230283758A1 (en) Multi-aperture zoom digital cameras and methods of using same
US20240144507A1 (en) Electronic device and control method
US20180338095A1 (en) Imaging system and moving body control system
JP2015230703A (ja) 物体検出装置及び物体検出方法
CN113614810A (zh) 图像处理装置、车辆控制装置、方法和程序
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
CN118158379A (zh) 多孔变焦数码摄像系统
JP2020086884A (ja) 区画線推定装置、表示制御装置、方法、及びコンピュータ・プログラム
JP7207889B2 (ja) 測距装置および車載カメラシステム
US11780368B2 (en) Electronic mirror system, image display method, and moving vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant