CN109690628B - 图像处理设备 - Google Patents

图像处理设备 Download PDF

Info

Publication number
CN109690628B
CN109690628B CN201780055715.9A CN201780055715A CN109690628B CN 109690628 B CN109690628 B CN 109690628B CN 201780055715 A CN201780055715 A CN 201780055715A CN 109690628 B CN109690628 B CN 109690628B
Authority
CN
China
Prior art keywords
image
unit
bayer
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780055715.9A
Other languages
English (en)
Other versions
CN109690628A (zh
Inventor
林圣炫
申制容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160164418A external-priority patent/KR102718457B1/ko
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Priority claimed from PCT/KR2017/007571 external-priority patent/WO2018012925A1/ko
Publication of CN109690628A publication Critical patent/CN109690628A/zh
Application granted granted Critical
Publication of CN109690628B publication Critical patent/CN109690628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

公开了一种图像处理设备，包括：解串器，其接收从多个摄像机获取的各个拜耳图像信息片；以及图像处理器，其处理由解串器处理并输出的拜耳数据以根据从多个摄像机获取的多个拜耳图像产生一个拼接图像，其中，所述一个拼接图像被输出。

Description

图像处理设备
技术领域
实施方式涉及图像处理设备，并且更具体地，涉及用于处理用于全景式监控(around view monitoring，AVM)的图像的设备。
背景技术
近来，由于汽车工业的发展，交通事故的迅速增加已经成为一个社会问题，因此，积极地开展了对用于预防事故的驾驶员辅助系统的研究。驾驶员辅助系统帮助驾驶员驾驶或停放车辆以实现驾驶员安全驾驶。
近来，已经积极研究出作为驾驶员辅助系统之一的全景式监控(AVM)系统，以利用安装在系统中的多个摄像机以图像的形式向驾驶员提供车辆周围环境。来自德国和日本的各种汽车公司已经以产品的形式开发和发布了AVM系统。近来，最主要使用这样系统：该系统包括安装在其中的多个摄像机以提供鸟瞰图作为从上方朝向驾驶员的对象的升高视图。
AVM系统可以使用由有限数目的摄像机获取的图像来通过用于产生图像的设备生成指示对象(例如，360度视角的车辆周围环境)的图像。在这种情况下，为了获取宽视角，鱼眼镜头或类似类型的广角镜头可以是作为安装在摄像机中的镜头的镜头。然而，由镜头获取的图像与基于人类视觉的图像不同，并且最终输出的图像是与安装在车辆中的摄像机镜头的方向相比而言的俯视图类型的图像，并且因此，需要使用各种图像信号处理(ISP)过程对从多个摄像机获取的图像进行处理。
因为无法在车辆中安装摄像机以从上方捕获车辆的车顶，因此需要这样的一系列过程。
图1是示出常规的图像产生设备的图。
参照图1，摄像机单元10可以包括图像获取单元11、去马赛克+ISP单元12和传送单元13。图像产生设备20包括接收单元21、拼接单元22和输出单元23。根据常规技术，去马赛克+ISP单元12被包括在摄像机单元10中。替选地，在去马赛克+ISP单元12被包括在图像产生设备中时，可以在由接收单元21进行接收图像的操作之后也就是在由拼接单元22进行图像拼接(或者，图像配准)操作之前，依序执行由去马赛克+ISP单元12进行的图像信号处理(ISP)过程。
也就是说，根据常规技术存在这样的问题：需要用于图像信号处理(ISP)的单元或者需要对通过多个摄像机获取的每个图像执行ISP过程，并且因此需花费大量的时间和成本。根据常规技术，在进行图像拼接之前，各个摄像机单元执行图像信号处理(ISP)操作中的自动曝光(AE)、自动白平衡(AWB)等，因此存在这样的问题：由于安装摄像机的环境不同而在一个拼接图像中存在具有不同亮度或图像质量程度的区域。
发明内容
技术问题
实施方式提供了一种用于提供具有均匀质量的拼接图像的宽图像处理设备。
实施方式提供了一种图像产生与获取车辆电气设备，其从车辆中安装的多个摄像机装置向图像处理设备传送拜耳图案，以减少通过通信网络传送的数据量，从而在不受车载通信网络的速度和性能的影响的情况下管理高质量的摄像机装置。
此外，实施方式提供了一种车辆图像处理设备，其拼接从多个摄像机装置传送的图像，然后执行多个摄像机的自动曝光(AE)或自动白平衡(AWB)，从而减少针对图像拼接的校正，使得可以在向用户或驾驶员显示拼接图像而不是从多个摄像机传送的图像时减少图像畸变。
应当理解，对实施方式的前述总体描述和以下详细描述二者都是示例性和说明性的，并且旨在提供对所要求保护的实施方式的进一步说明。技术解决方案
在一个实施方式中，用于输出图像的车辆电气设备可以包括：多个摄像机装置，其用于输出拜耳图案；车载网络(IVN)，其用于传送拜耳图案；以及图像处理器，其用于处理通过IVN传送的拜耳图案。
拜耳图案可以具有未压缩的版本，并且可以被转换为IVN所需的格式。
可以使用低压差分信令(LVDS)方法来管理IVN，并且拜耳图案可以被包括在以太网帧格式中。
可以使用低压差分信令(LVDS)方法来管理IVN，并且可以通过独立专用线路将多个摄像机装置连接至图像处理器。
摄像机装置可以包括：镜头组件，其用于收集引入的光信号；图像传感器，其用于将通过镜头组件收集的光信号转换成电信号以输出拜耳图案；以及传送单元，其用于传送拜耳图案。
传送单元还包括串行器，其用于将拜耳图案串行化为串行数据以使用LVDS方法进行传送。
传送单元还包括编码器，其用于将串行数据转换为以太网帧格式。
图像处理器还可以包括：颜色插值单元，其用于接收拜耳图案并且执行颜色插值和去马赛克；校正单元，其用于对从颜色插值单元传送的图像执行第一图像处理；拼接单元，其用于拼接从校正单元输出的图像；以及调节单元，其用于基于拼接单元的输出来调节自动曝光(AE)。
第一图像处理可以包括执行校准、镜头畸变校正、颜色校正、伽马校正、颜色空间转换或边缘增强中的至少一者。
第一图像处理可以包括执行逆透视映射变换，其用于产生通过去除从颜色插值单元传送的图像中的透视而获得的转换图像。
图像处理器还可以包括解串器，其用于接收拜耳图案并且将拜耳图案转换成并行数据以将该并行数据提供至颜色插值单元。
图像处理器还可以包括解码器，其用于在以以太网帧格式传送拜耳图案时从以太网帧格式提取拜耳图案。
在另一实施方式中，车辆摄像机装置包括：镜头组件，其包括用于收集引入的光信号的多个镜头；图像传感器，其用于将通过镜头组件收集的光信号转换成电信号以输出拜耳图案；以及传送单元，其用于传送拜耳图案。
传送单元还可以包括串行器，其用于将拜耳图案转换成用于使用LVDS方法传送的串行数据。
传送单元还可以包括编码器，其用于将串行数据转换成以太网帧格式。
在又一实施方式中，图像处理设备可以包括：颜色插值单元，其用于接收多个拜耳图案并且对该拜耳图案执行颜色插值或者去马赛克；校正单元，其用于对从颜色插值单元传送的多个插值图像执行第一图像处理；拼接单元，其用于拼接从校正单元输出的多个校正图像；以及调节单元，其用于基于拼接单元的输出来调节获取多个拜耳图案的摄像机的自动曝光。
第一图像处理可以包括执行校准、镜头畸变校正、颜色校正、伽马校正、颜色空间转换或边缘增强中的至少一者。
第一图像处理可以包括执行逆透视映射变换，其用于产生通过去除从颜色插值单元传送的图像中的透视而获得的转换图像。
图像处理设备还可以包括解串器，其用于接收多个拜耳图案并且将该拜耳图案转换成并行数据以将该并行数据提供至颜色插值单元。
图像处理设备还可以包括解码器，其用于在以以太网帧格式传送拜耳图案时从以太网帧格式提取拜耳图案。
在又一实施方式中，图像处理设备可以包括处理系统，该处理系统包括：至少一个存储器装置，其用于存储计算机程序；以及至少一个处理器，其中，处理系统可以使图像处理设备：执行接收多个拜耳图案并且对多个拜耳图案执行颜色插值或者去马赛克以输出多个插值图像；对多个插值图像执行第一图像处理以输出多个校正图像；并且拼接多个校正图像以输出拼接图像。
上述多个拜耳图案可以通过车载网络(IVN)来传送，该车载网络可操作地连接至安装在车辆中的多个摄像机装置。
在以串行数据的形式传送多个拜耳图案时，处理系统可以使图像处理设备进一步执行将串行数据形式的多个拜耳图案转换为并行数据形式。
处理系统可以使图像处理设备基于拼接图像进一步执行调节获取多个拜耳图案的多个摄像机装置的自动曝光(AE)。
第一图像处理可以包括执行校准、镜头畸变校正、颜色校正、伽马校正、颜色空间转换或边缘增强中的至少一者。
第一图像处理可以包括执行逆透视映射变换，其用于产生通过去除多个插值图像中的透视而获得的转换图像。
在又一实施方式中，图像处理方法可以包括：接收多个拜耳图案并且对多个拜耳图案执行颜色插值或去马赛克以输出多个插值图像，对多个插值图像执行第一图像处理以输出多个校正图像，并且拼接多个校正图像以输出拼接图像。
图像处理方法还可以包括：基于拼接图像来调节获取多个拜耳图案的多个摄像机装置的自动曝光(AE)。
第一图像处理可以包括执行校准、镜头畸变校正、颜色校正、伽马校正、颜色空间转换或边缘增强中的至少一者。
第一图像处理可以包括执行逆透视映射变换，其用于产生通过去除多个插值图像中的透视而获得的转换图像。
在又一实施方式中，计算机可读记录介质可以记录将由处理器执行的用于执行前述图像处理方法的应用程序。
在又一实施方式中，图像产生设备可以是用于产生广角图像的设备，并且包括：处理器，其用于处理关于拼接多个图像以形成一个图像的计算；以及存储器，其用于存储通过处理器执行的至少一个程序指令，其中，可以执行至少一个程序指令以执行：接收由多个摄像机单元实时捕获的多个拜耳图像；拼接多个拜耳图像以产生去马赛克形式的一个图像；以及在拼接一个图像之后进行的包括自动曝光(AE)和自动白平衡(AWB)的图像信号处理(ISP)。
在又一实施方式中，图像产生设备可以是用于产生广角图像的设备，并且包括：处理器，其用于处理关于拼接多个图像以形成一个图像的计算；以及存储器，其用于存储通过处理器执行的至少一个程序指令，其中，可以执行至少一个程序指令以执行：接收由多个摄像机单元实时捕获的多个拜耳图像；拼接多个拜耳图像以产生一个拜耳图像；以及在拼接一个拜耳图像之后执行包括自动曝光(AE)和自动白平衡(AWB)的图像信号处理(ISP)。
在又一实施方式中，图像产生设备可以是用于产生广角图像的设备，并且包括：处理器，其用于处理关于拼接多个图像以形成一个图像的计算；以及存储器，其用于存储通过处理器执行的至少一个程序指令，其中，可以执行至少一个程序指令以执行：接收由多个摄像机单元实时捕获的多个拜耳图像；对多个拜耳图像去马赛克；拼接多个去马赛克图像以形成一个图像；以及在拼接一个图像之后进行的包括自动曝光(AE)和自动白平衡(AWB)的图像信号处理(ISP)。
应当理解，对实施方式的前述总体描述和以下详细描述二者都是示例性和说明性的，并且旨在提供对要求保护的实施方式的进一步说明。
有益效果
根据实施方式的设备可以具有以下效果。
根据实施方式，可以使用多个图像通过少量时间和成本产生一个拼接图像。此外，可以拼接具有整体均匀质量的像素的图像。
根据实施方式，可以减少从多个摄像机传送至图像处理设备的数据量，并且因此可以提供不受车载网络(IVN)的限制而自由设计的图像获取车辆电气设备。
此外，根据实施方式，可以在合成从多个摄像机获取的图像的同时减少图像之间的不匹配，从而减少合成图像的畸变。
本领域技术人员将理解，可以通过实施方式实现的效果不限于上文具体描述的内容，并且根据结合附图进行的以下详细描述将更清楚地理解实施方式的其他优点。
附图说明
可以参照以下附图详细描述布置和实施方式，在附图中，相同的附图标记指代相同的元素，并且在附图中：
图1是示出根据常规技术的广角图像产生设备的图；
图2至图4是示出根据不同实施方式的广角图像产生设备的图；
图5是用于说明用于输出图像的车辆电气设备的第一示例的图；
图6是用于说明参照图5描述的图像处理设备与用于车辆的摄像机模块的连接的图；
图7是用于说明参照图5描述的用于车辆的摄像机模块的示例的图；
图8是用于说明参照图5描述的图像处理设备的示例的图；
图9是示出根据另一实施方式的产生广角图像的方法的流程图；
图10是图9的操作S520中的拼接过程的流程图；
图11至图16是用于说明图9的整个操作的示例的图；
图17是根据与图3有关的第二实施方式的广角图像产生方法的流程图；
图18是根据与图4有关的第三实施方式的广角图像产生方法的流程图；
图19是根据又一实施方式的广角图像产生设备的框图；
图20是示出根据实施方式的对效果进行比较的示例的图；
图21是用于说明用于输出图像的车辆电气设备的第二示例的图；
图22是用于说明参照图21描述的图像处理设备与用于车辆的摄像机模块的连接的图；
图23是示出参照图21描述的车辆摄像机模块的示例的图；以及
图24是用于说明参照图21描述的图像处理设备的示例的图。
具体实施方式
可以以示出了说明性实施方式的各种形式对示例性实施方式进行各种改变和实施。然而，示例性实施方式不应该被解释为限于本文阐述的实施方式，并且在实施方式的精神和范围内的任何变化、等同物或替代物应该被理解为落入本实施方式的范围内。
应该理解，尽管本文中可以使用术语第一、第二、第三等来描述各种元件，但是这些元件不应该受限于这些术语。这些术语仅用于将一个元件与另一个元件区分开。例如，在不脱离实施方式的教导的情况下，第一元件可以被称为第二元件并且第二元件可以被称为第一元件。术语“和/或”包括相关联的所列项中的一个或更多个的任何和所有组合。
应该理解，当元件被称为“连接至”或“耦合至”另一元件时，它可以是直接连接或耦合至其他元件，或者可以存在中间元件。相反，当元件被称为“直接连接至”或“直接耦合至”另一元件或层时，不存在中间元件。
本说明书中使用的术语用于说明特定的示例性实施方式而不是限制本发明构思。因此，除非在上下文中另外清楚地说明，否则本说明书中的单数表述包括复数表述。此外，诸如“包括”或“包含”的术语可以被解释为表示某个特征、数目、步骤、操作、组成元件或其组合，但是可以不被解释为排除存在或可能添加一个或更多个其他的特征、数目、步骤、操作、组成元件或其组合。
除非另外定义，否则本文使用的所有术语(包括技术术语和科学术语)具有与本发明构思所属领域的普通技术人员通常理解的含义相同的含义。还应该理解，诸如在常用词典中定义的那些术语应该被解释为具有与其在相关领域的上下文中的含义一致的含义，并且除非本文明确地定义，否则将不被解释为具有理想化或过分形式化的含义。
在下文中，将参照附图描述实施方式。为了便于容易地理解对实施方式的描述，在附图中用相同的附图标记表示相同的元件，并且将不给出对相同元件的重复说明。
图2是示出根据实施方式的图像产生设备的图。
参照图2，摄像机单元可以包括图像获取单元110和传送单元120。
用于将通过摄像机镜头传播的光转换成电信号的诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的图像传感器可以对应于图像获取单元110。
发送单元120可以将由图像获取单元110获取的图像发送至图像产生设备200的接收单元210。
返回参照图2，根据实施方式的图像产生设备200可以包括接收单元210、去马赛克+拼接单元220B、图像信号处理(ISP)单元230和输出单元240。
这里，去马赛克+拼接单元220B和ISP单元230可以由用于ISP的处理器和用于存储通过该处理器执行的至少一个程序指令的存储器来实施，该处理器用于执行根据另一实施方式的产生图像的方法的每个操作。以上描述也可以应用于另一实施方式。
接收单元210可以接收由发送单元120发送的拜耳图像。
去马赛克+拼接单元220B可以对由接收单元210接收的拜耳图像执行去马赛克和图像拼接过程以生成一个图像。这里，由接收单元210接收的拜耳图像可以优选地是多个拜耳图像。也就是说，拜耳图像可以优选地是由多个摄像机中包括的多个图像获取单元110获取的多个拜耳图像。
去马赛克+拼接单元220B可以同时执行去马赛克过程和拼接过程，并且就此而言，将针对根据另一实施方式的图像产生方法来描述对去马赛克+拼接单元220B的详细描述。
这里，一个图像可以优选地是用于全景式监控(AVM)的鸟瞰图或俯视图形式的图像。
ISP单元230可以对经由去马赛克形式的拼接形成的一个图像执行信号处理(ISP)操作。将针对根据另一实施方式的产生图像的方法来详细描述ISP操作。
输出单元240可以将通过去马赛克操作和ISP操作校正的图像输出至显示装置等。
图3是示出根据另一实施方式的图像产生设备200的图。以下将仅描述与图2的差异。
参照图3，根据实施方式的图像产生设备200可以包括接收单元210、拼接单元220、去马赛克+ISP单元230A和输出单元240。与图2相比，去马赛克单元可以被包括在ISP单元中。因此，去马赛克+ISP单元230A可以对一个拼接拜耳图像执行去马赛克过程和ISP过程。
图4是示出根据另一实施方式的图像产生设备的图。以下将仅描述与图2的差异。
参照图4，根据实施方式的图像产生设备200可以包括接收单元210、去马赛克单元215、拼接单元220、ISP单元230和输出单元240。与图2和图3相比，去马赛克单元215可以是独立的。因此，去马赛克单元215可以在拼接多个拜耳图像以形成一个图像之前对多个拜耳图像执行去马赛克操作。
图5是用于说明用于输出图像的车辆电气设备的第一示例的图。
参照图5，用于输出图像的车辆电气设备可以包括：用于输出拜耳图案的多个摄像机装置62、64、66和68；用于传送拜耳图案的车载网络(IVN)；以及图像处理器(或者，图像处理设备)60，其用于处理通过用于车辆的通信网络传送的拜耳图案。
具体地，用于输出图像的车辆电气设备(即，用于车辆的图像产生设备)可以包括多个摄像机装置，例如，前摄像机装置62、后摄像机装置64、左摄像机装置66、右摄像机装置68和图像处理器60。这里，前摄像机装置62、后摄像机装置64、左摄像机装置66和右摄像机装置68可以通过专用通信线路连接至图像处理器60。
可以根据车辆的大小、摄像机的视角、用于车辆的图像产生设备的用途等改变在用于车辆的图像产生设备中包括的多个摄像机的数目。
多个摄像机装置62、64、66和68可以通过车载网络(IVN)连接至图像处理器60。在这种情况下，IVN可以支持诸如低压差分信令(LVDS)的串行通信。IVN可以包括使用多种方法的通信网络，例如CAN、LIN、MOST和FlexRay。在这些通信网络之中，CAN如今在所有汽车领域一直被用作从传动系统到车身的车辆网络架构，而LIN总线是一种简单且经济的方法，并且因此LIN总线可能适合于在不需要考虑安全性的非驾驶区域的便捷区域中交换信号数据。此外，在实时要求增加并且需要更宽的带宽时，可以使用FlexRay和MOST总线来替代CAN。近来，已经提出用于以太网的低压差分信令(LVDS)作为用于连接车辆中的多个部件的通信网络，并且在将两条线缆以与CAN类似的方式用作非屏蔽双绞线时，该低压差分信令(LVDS)有利于实现具有100Mbit/s的全双工传输速度的物理层。
在用于车辆的图像产生设备中包括的多个摄像机装置62、64、66和68可以通过车载网络(IVN)将拜耳图案传送至图像处理器60。这里，拜耳图案可以包括由用于将在摄像机装置或摄像机模块中包括的光信号转换成电信号的图像传感器输出的原始数据。
例如，可以通过在图像传感器上设置的用于检测R颜色、G颜色和B颜色的各个像素将通过摄像机装置或模块中包括的镜头传播的光信号转换成电信号。在摄像机装置或模块的规格是5百万像素时，可以认为摄像机装置或模块包括具有能够检测R颜色、G颜色和B颜色的5百万像素的图像传感器。像素的数目是5百万，但是实际上各个像素是用于检测仅黑色和白色的亮度而不是检测颜色的单色像素与R滤色器、G滤色器和B滤色器中的任何一个的组合。也就是说，图像传感器可以被配置成使得R滤色器、G滤色器和B滤色器在根据像素的数目设置的单色像素单元格上以特定的图案排列。R颜色图案、G颜色图案和B颜色图案被设置成根据用户(即，人)的视觉特性而彼此交错并且其被称为拜耳图案。
一般的摄像机装置或模块经过从图像传感器接收拜耳图案以及对该拜耳图案着色的过程(颜色插值或去马赛克)来输出图像形式的数据，并且在另一方面，参照图5描述的多个摄像机装置62、64、66和68可以输出拜耳图案。与图像形式的数据相比，拜耳图案具有更少量的数据。因此，即使使用具有100Mbit/s的全双工传输速度的低压差分信令(LVDS)，也不会影响驾驶员或使用车辆的用户的安全。此外，可以减少通过车载通信网络传送的数据量，并且即使在自动驾驶车辆中使用该方法，也可以去除在分析从车辆中设置的多个摄像机装置获取的周围信息时由于通信方法、通信速度等引起的问题。
图6是用于说明参照图5描述的图像处理设备与用于车辆的摄像机模块的连接的图。
如图所示，摄像机装置62可以单独连接至图像处理器60。在这种情况下，可以经由诸如低压差分信令(LVDS)的串行通信将摄像机装置62以从模式Sx连接至图像处理器60，并且可以将图像处理器60以主模式Mx连接至摄像机装置62。
摄像机装置62可以将从图像传感器输出的拜耳图案串行化为串行数据，并且然后可以将串行化的拜耳图案传送至图像处理器60。在摄像机装置62和图像处理器60通过串行通信方法彼此独立地连接时，在不限于预设通信速度的情况下，两个装置以所需的数据量和所需的速度彼此同步地发送和接收数据可能是有利的。
摄像机装置62不必对用于传送拜耳图案的数据进行压缩。通常，当两个不同装置之间的通信中的通信速度受到限制时，需要经由数据压缩而在有限时间内传送尽可能大量的数据，但是在摄像机装置62和图像处理器60通过串行通信方法独立地连接到彼此时，可以以串行数据的形式简单地串行化并且可以发送处于未压缩状态的拜耳图案。
图7是用于说明参照图5描述的用于车辆的摄像机模块的示例的图。
参照图7，车辆摄像机模块62可以包括：镜头组件70，其包括用于收集输入至其中的光信号的多个镜头；图像传感器72，其用于将通过镜头组件70收集的光信号转换成电信号以输出拜耳图案；以及传送单元，其用于传送拜耳图案。这里，可以根据将车辆摄像机模块62连接至图像处理器60的车载通信网络来改变传送单元的配置(参照图6)。
例如，传送单元可以包括串行器74，其用于将拜耳图案串行化为串行数据以使用诸如低压差分信令(LVDS)方法的串行通信方法传送该拜耳图案。通常，串行器74可以包括针对时间数据的缓冲器76和用于形成周期性的传送数据的锁相环(PLL)78，或者串行器74可以与缓冲器76和锁相环(PLL)78一起实施。
图8是用于说明参照图5描述的图像处理设备60的示例的图。
参照图8，图像处理设备60可以包括：图像产生单元40，其用于基于从不同摄像机装置单独传送的拜耳图案来产生图像；拼接单元42，其用于拼接每个图像；以及调节单元44，其用于基于拼接图像来控制多个摄像机装置的自动曝光(AE)。
详细地，图像处理设备60中的图像产生单元40可以包括：颜色插值(去马赛克)单元38，其用于接收多个拜耳图案BP1并且对多个拜耳图案BP1执行颜色插值和去马赛克；以及校正单元46，其用于对从颜色插值(去马赛克)单元传送的多个插值图像执行第一图像处理。
图像处理设备60还可以包括调节单元44，其用于基于拼接单元42的输出来调节获取多个拜耳图案的摄像机的自动曝光(AE)。
图像处理设备60可以通过车载网络(IVN)从多个摄像机装置接收多个拜耳图案BP1(参照图5)。图像处理设备60可以接收多个拜耳图案BP1，并且然后可以将多个拜耳图案BP1中的每个转换成图像形式的数据。在拜耳图案BP1被转换成多个图像之后，然后可以拼接该多个图像。然后，可以将拼接图像传送至显示设备50以向用户或驾驶员显示拼接图像，并且可以输出用于基于该拼接图像调节摄像机的自动曝光(AE)的控制信号ET。
特别地，由各个摄像机装置获取的图像并非被单独地显示给用户，而是拼接至少两个图像并且向用户显示该拼接图像，因此，当基于拼接图像调节摄像机的自动曝光(AE)时，图像处理设备60可以向用户提供从各个摄像机获得的图像同时减少图像质量的劣化。
图像处理设备60还可以包括：解串器34，其接收拜耳图案BP1、将拜耳图案BP1串行化为并行数据并且将该并行数据提供给颜色插值(去马赛克)单元38。与输出图像形式的数据的一般摄像机装置不同，参照图5和图6描述的摄像机装置或摄像机模块可以输出拜耳图案BP1。拜耳图案BP1被串行成串行数据的形式以通过支持串行通信的车载网络(IVN)传送，并且因此，可以再次请求将以串行数据形式接收的拜耳图案BP1转换成并行数据形式以基于拜耳图案BP1执行颜色插值和去马赛克。
例如，图像处理设备60可以包括多个解串器34以将从不同摄像机装置传送的拜耳图案BP1独立地恢复为由各个摄像机装置中包括的图像传感器输出的拜耳图案。然而，在一些实施方式中，与通过车载网络(IVN)传送拜耳图案的速度相比，其中实施图像产生单元40的集成电路等的操作速度可以快几倍至几十倍。因此，与图像处理设备60包括多个解串器34的情况相比，图像处理设备60根据情况包括一个解串器34和复用器(未示出)可能更有效。这里，复用器可以接收通过车载网络(IVN)传送的多个拜耳图案BP1，并且可以将多个拜耳图案BP1依次传送至解串器34。然后，解串器34可以恢复依次传送的多个拜耳图案BP1以对其执行颜色插值。
在一些实施方式中，在图像处理设备60包括多个解串器34时，由多个解串器34恢复的拜耳图案可以被传送至颜色插值(去马赛克)单元38，但是在图像处理设备60包括一个解串器34时，则可以通过使用去复用器将恢复的拜耳图案传送至颜色插值(去马赛克)单元38。
在一些实施方式中，解串器34和颜色插值(去马赛克)单元38可以通过用于传送多个拜耳图案的多个线路或者用于传送多个拜耳图案的一个线路彼此连接。
颜色插值(去马赛克)单元38可以对传送的拜耳图案BP1应用非自适应算法或自适应算法以执行颜色插值。
在颜色插值(去马赛克)单元38中被转换成图像形式的数据可以被传送至执行第一图像处理的校正单元46。这里，在一些实施方式中，第一图像处理可以包括执行颜色校正、伽马校正、颜色空间转换和边缘增强中的至少一者。
在一些实施方式中，颜色插值(去马赛克)单元38和校正单元46可以被实施为一个单元或模块，或者可以通过组合不同的多个算法而被同时实施。在以这种方式对拜耳图案执行颜色插值和校正时，可以获得图像并且可以将该图像存储在存储介质(未示出)中。
拼接单元42可以执行校准、镜头畸变校正和逆透视映射变换中的至少一者以生成从中去除透视的变换图像。校正单元46可以选择性地包括根据图像处理设备所需的规格执行各种功能的软件算法、硬件电路等。
例如，拼接单元42可以对从颜色插值(去马赛克)单元38输出的图像数据执行校准，并且可以将结果应用于镜头畸变校正。这里，校准可以包括由于用户眼睛看到的实际三维3D空间在被摄像机装置拍摄时被转换为二维2D图像而所需的校正。例如，可以根据摄像机捕获图像时该摄像机的位置和方向来确定2D图像上形成3D点的位置，并且就此而言，实际图像很大程度上受摄像机的仪器因素(例如使用的镜头类型、镜头与图像传感器之间的距离以及镜头与图像传感器之间的角度)的影响，因此，为了获取图像中投射3D点的位置，或者为了根据图像坐标反向恢复空间中的3D坐标，需要去除这些内部因素以实现准确计算。在这种情况下，获取这种内部因素的参数值的过程可以对应于摄像机装置的校准操作。
拼接单元42可以基于校准结果执行镜头畸变校正。例如，由使用具有宽视角(FOV)的超广角镜头或广角镜头的摄像机装置获取的图像可以提供宽范围，但是可能从图像中心朝向边缘畸变。这种镜头畸变可以包括径向畸变、切向畸变等，并且为了克服这种畸变，校正单元46可以利用建模来投射从中去除了摄像机的内部参数的影响的标准化图像平面。
拼接单元42可以执行产生通过去除图像中的透视而形成的变换图像的操作。例如，为了将由安装在车辆中的摄像机模块获取的图像变换成顶视图图像的形式，可能需要去除关于图像中的对象和事物的透视效果。当存在关于摄像机在车辆中安装的高度和角度以及摄像机的水平视角和垂直视角的信息时，可以识别由摄像机获取的图像平面与驾驶员或用户将观看到的实际平面(俯视图形式的目标图像平面)之间的关系。基于该关系，可以将由摄像机获取的图像平面转换为用户将观看到的平面。
拼接单元42可以响应于用户输入来确定是否拼接图像，即，确定多个图像中要被拼接的目标图像，并且可以确定是否将每个图像转换成特定形式或格式。在用户不打算拼接多个图像时，拼接单元42不必执行不必要的拼接过程。此外，在用户想要得到未经改变的由摄像机装置获取的图像时，拼接单元42可以不必执行诸如去除透视的转换。
通过由多个图像产生单元40接收多个拜耳图案并且对这些拜耳图案进行转换而获得的多个图像可以被拼接单元42组合。拼接图像可以被传送至用于输出调节多个摄像机装置的自动曝光(AE)的控制信号ET的调节单元44以及被传送至显示设备50。在一些实施方式中，调节单元44可以是用于控制多个摄像机装置的控制器(未示出)的一部分。这里，控制器可以是被包括在图像处理装置60中的模块，并且控制器出于各种目的而基于拼接图像来控制多个摄像机装置。
例如，在一些实施方式中，调节单元44可以执行多个装置的自动白平衡(AWB)以及自动曝光(AE)等。这里，AWB是对要通过摄像机装置拍摄的场景的色温与由该摄像机装置设置的色温进行匹配的过程。调节单元44可以应用约2000K至10000K范围内的色温，并且可以自动设置最佳白平衡。
图9是示出根据另一实施方式的产生广角图像的方法的流程图。
参照图9，根据另一实施方式的视角图像产生方法可以包括：接收由多个摄像机单元实时拍摄的多个拜耳图像(S510)；以去马赛克形式拼接多个拜耳图像以形成一个图像(S520)；以及对以去马赛克形式拼接的一个图像执行图像信号处理(ISP)(S530)。
首先，接收单元210可以接收由传送单元120传送并且由多个摄像机单元100实时拍摄的多个拜耳图像(S510)。这里，多个图像可以是拜耳图像。构成拜耳图像的每个像素可以仅包括R、G和B中的一个信息片。
然后，去马赛克+拼接单元220B可以使用多个拜耳图像生成去马赛克形式的一个图像(S520)。换句话说，去马赛克+拼接单元220B可以使用多个拜耳图像同时执行去马赛克过程和拼接过程以生成去马赛克形式的一个图像。
这里，去马赛克形式的一个图像可以是用于全景式监控(AVM)的鸟瞰图或顶视图形式的图像。
首先将描述去马赛克+拼接单元220B进行的多个过程中的去马赛克过程和拼接过程中的每一个，并且以下将描述同时执行这两个过程的方法。
首先，去马赛克过程可以是这样的过程：在该过程中，诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的图像传感器对在将光转换为电信号时产生的图像的形式进行变换。在创建图像传感器的早期阶段，无法在一个半导体层中包含所有R、G和B信息片，并且因此，以在一个像素中仅包含R、G和B信息的仅一个信息片的方式创造图像传感器。因此，在去马赛克过程中，可以经过插值来校正每个像素以包含使用R、G和B中的一个信息片以及周围像素的R、G和B中的一个信息片的整个RGB信息。因此，将看起来像马赛克的图像的各个像素转换为包括整个RGB信息的颜色像素的去马赛克过程也可以被称为插值过程。
然后，拼接多个拜耳图像以形成一个图像的过程可以是这样的过程：在该过程中，对从多个拜耳图像中的每个的所有像素中提取的一些像素进行组合以生成一个图像。也就是说，拼接过程可以是连接这些像素中的与同一对象区域对应的像素并且产生一个图像的操作。
例如，当目标车辆中安装有附接至目标(即，车辆)的散热器格栅以朝向前方的第一摄像机、附接至车辆的右侧视镜以朝向右方向的第二摄像机、附接至车辆的后备箱罩以朝向后方向的第三摄像机以及附接至车辆的左侧视镜以朝向左方向的第四摄像机时，可以在由各个摄像机捕获的图像中呈现出具有同一目标区域的公共区域。例如，以顺时针观察，第一摄像机的右区域和第二摄像机的左区域可以是公共区域，第二摄像机的右区域和第三摄像机的左区域可以是公共区域，第三摄像机的右区域和第四摄像机的左区域可以是公共区域，以及第四摄像机的右区域和第一摄像机的左区域可以是公共区域。基于在从具有不同视点的图像提取的公共区域中呈现的像素，经由校正过程来拼接四个独立图像以形成一个图像。
这里，对图像的拼接过程可以包括其中的子过程。
图10是图9的操作S520中的拼接过程的流程图。
参照图10，拼接多个图像以形成一个图像的过程可以包括鱼眼镜头畸变校正S621、单应变换S622和图像拼接S623。
每个操作均是公知的技术，因此以下将进行简单地描述。
首先，鱼眼镜头畸变校正S621可以是校正由广角镜头捕获的图像的畸变的操作。当使用多个图像产生一个图像时，可以以使得一个图像总体上指示360度的方式执行拼接。因此，在使用有限数目的摄像机时，每个摄像机的镜头都可以使用广角镜头以加宽视角。广角镜头具有与鱼的视野类似的宽视角，但可能使图像畸变。因此，将由鱼眼观看到的图像校正为人眼观看到的图像的过程可以是上述鱼眼镜头畸变校正操作。
然后，单应变换S622可以是这样的操作：在顶视图形式的一个平面上指示对应于不同视图的多个图像，并且将多个图像的交叠区域彼此连接。该操作也可以称为均匀化。
然后，图像拼接S623可以是通过连接在单应变换操作中获得的多个图像的交叠区域来产生单个图像的操作。
可以向随时间获取的多个图像对逐个应用上述拼接多个图像以形成一个图像的过程，但是可以使用查找表简单地执行。
使用查找表的方法是公知的技术，因此以下将简单描述。查找表可以指示与经由拼接形成的一个图像的每个像素对应的原始图像的地址。
通过构成拼接过程的鱼眼镜头畸变校正、单应变换和图像拼接操作输出的图像可以包括在未改变安装的摄像机的位置的环境中的重复过程。也就是说，即使时间流逝，构成一个图像的每个像素所参照的摄像机以及像素地址也可以是公共的。因此，可以通过一个采样过程获得指示构成拼接图像的像素的地址的查找表。然后，无需使用查找表逐个执行图像拼接过程就可以产生一个拼接图像。
可以使用查找表来完成由去马赛克+拼接单元220B同时执行去马赛克过程和拼接过程的多过程。在下文中，将根据多个拜耳图像的输入操作来详细描述该多过程。
图11是示出多个图像的拜耳图像的图。
参照图11，拜耳图像是马赛克形式的图像，并且构成每个图像的像素仅包括RGB信息的一个信息片。这里，尽管示出了四个图像，但是可以在虚拟车辆中安装四个或更多个摄像机并且可以捕获四个或更多个图像。
图12是示出去马赛克过程中的参照四个周围像素的插值方法的示例的图。
参照图12，可以参照使用红色指示的周围区域的像素的RGB值来对由四个箭头指示的区域的像素进行插值。
图13是示出去马赛克过程中的参照六个周围像素的插值方法的示例的图。
参照图13，当在四个像素中存在RGB值为空的像素时，可以参照六个周围像素对像素进行插值。
在去马赛克和拼接的多过程中，可以预先产生完全去马赛克和拼接的样本图像。可以写成示出构成样本图像的像素所参照的图像并且指示所参照的图像的像素坐标的查找表。此外，将要经由拼接产生的图像的像素可以使用查找表反向地指代所参照的图像和像素坐标，并且因此可以构建一个拼接图像。
查找表可以记录合成输出图像所需的信息(关于作为参照目标的输入图像的点的信息、关于如何拼接多个输入图像的信息等)。
查找表可以被配置成具有与输出图像相同的像素数的矩阵，并且根据拼接方法可能需要多个矩阵。可以根据需要将矩阵的每个元素选择为诸如整数类型或浮点类型的数据类型。
例如，在参照一个图像的浮点的位置产生输出图像时，可能需要具有总共两个浮点的数据类型的矩阵来记录所参照的图像的X坐标和Y坐标。
作为另一示例，在参照两个图像的浮点的位置产生输出图像时，可能需要具有总共四个浮点数据类型的矩阵来记录第一参照图像的X坐标和Y坐标以及第二参照图像的X坐标和Y坐标，并且可能需要一个整数类型矩阵来记录指示拼接两个图像的方法的标记。
此外，可以根据以整数或浮点类型指示输出图像的准确性来确定分配给记录装置的大小。
图14是示出了示出在多个拜耳图像的去马赛克过程和拼接过程中使用查找表反向参照的坐标的示例的图。
图14示出了由要使用查找表经过拼接产生的图像的像素所参照的图像的参考坐标。
图15是示出使用坐标周围的四个像素的去马赛克过程的示例的图。
可以基于查找表使用所指示的坐标周围的四个像素经由双线性插值来同时执行合成和去马赛克。
图16是示出使用四个像素的RGB的双线性插值的示例的图。
参照图16，可以将要经由拼接产生的图像的像素中的任何一个像素的信息生成为使用四个像素的RGB值进行插值的值。
返回参照图16，最后，ISP单元230可以对以去马赛克形式拼接的一个图像执行ISP(S530)。
图像信号处理(ISP)操作可以包括其中的多个子过程。例如，ISP操作可以包括伽马校正过程、颜色校正过程、自动曝光校正过程和自动白平衡过程中的一个或更多个。这些过程对应于公知的技术，因此本文省略了对这些过程的详细描述。
图17是根据与图3有关的第二实施方式的广角图像产生方法的流程图。
参照图17，根据另一实施方式的广角图像产生方法可以包括：接收由多个摄像机单元实时捕获的多个拜耳图像(S610)；执行拼接以使用多个拜耳图像形成一个拜耳图像(S620)；对拼接的拜耳图像进行去马赛克(S630)；以及对经拼接且马赛克的图像执行图像信号处理(ISP)操作(S640)。
首先，接收单元210可以接收由多个摄像机单元100实时捕获并且由传送单元120传送的多个拜耳图像(S610)。
然后，拼接单元220可以对由接收单元210接收的多个拜耳图像进行拼接以形成一个图像(S620)。
然后，去马赛克+ISP单元230A可以对拼接的拜耳图像执行去马赛克操作(S630)。
然后，去马赛克+ISP单元230可以对一个经拼接且去马赛克的图像执行ISP操作(S640)。
最后，可以产生通过对一个拼接图像执行去马赛克操作和ISP操作而形成的一个图像，并且输出单元240可以向显示装置等输出校正图像。
图18是根据与图4有关的第三实施方式的广角图像产生方法的流程图。
与图9相比，参照图18，可以在接收由多个摄像机单元实时捕获的多个图像的操作(S810)与拼接一个图像的操作(S820)之间执行对多个接收的拜耳图像执行去马赛克操作(S815)的操作(S815)。
图19是根据又一实施方式的广角图像产生设备的框图。
参照图19，根据又一实施方式的广角图像产生设备200可以包括：处理器225，其用于执行关于使用多个图像拼接一个广角图像的计算；以及存储器235，其用于存储由处理器225执行的至少一个程序指令，并且此外，该广角图像产生设备可以包括：输入接口装置210，其用于接收多个图像；输出接口装置240，其用于输出完全校正图像；以及非易失性存储装置250。
这里，可以执行至少一个程序指令以执行以下操作：接收由多个摄像机单元实时捕获的多个图像的操作；拼接多个图像以形成一个图像的操作；以及对一个拼接图像进行图像信号处理(ISP)的操作。
处理器225可以执行在存储器235和/或存储装置250中存储的程序指令。处理器225可以对应于中央处理单元(CPU)、图形处理单元(GPU)或用于执行根据实施方式的方法的专用处理器。存储器235和存储装置250可以包括易失性存储介质和/或非易失性存储介质。例如，存储器235可以包括只读存储器(ROM)和/或随机存取存储器(RAM)。
在根据实施方式的图1至图4(配置的框图)中，尽管为了便于描述而在不同的框中示出和例示了各个部件，但是这些部件可以被配置在一个框中。例如，可以在控制器、处理器等中配置这些部件以执行一系列操作。
根据实施方式，可以以少量的时间和成本使用多个图像来产生一个拼接图像。此外，可以拼接包括具有整体均匀质量的像素的图像。
图20是示出根据实施方式的对效果进行比较的示例的图。
参照图20，左图像是根据常规技术在执行了去马赛克过程和ISP过程之后执行拼接时的输出图像，右图像是根据第一实施方式在最后执行ISP过程时的输出图像。与左图像相比，正如从右图像看到的，可以获得整体增强的图像质量，并且在前侧区域、右侧区域、后侧区域和左侧区域中示出了均匀的亮度和均匀的颜色。
图21是用于说明用于输出图像的车辆电气设备的第二示例的图。
参照图21，用于输出图像的车辆电气设备可以类似于参照图5给出的描述。但是，图21与图5的不同之处在于，多个摄像机装置162、164、166和168与图像处理器160通过公共网络连接而不是通过独立专用线路单独连接。也就是说，车载网络(IVN)可以使用用于连接多个部件的公共网络或者可以使用至少在多个摄像机装置162、164、166和168与图像处理器160之间的公共网络。
在使用公共网络时，多个摄像机装置162、164、166和168中的每个可以各自指示针对相应传送数据的发送数据的源或接收数据的接收器，并且图像处理器160需要接收数据并且识别该数据的源。然而，可能有利的是，减少了图像处理器160的输入端子和输出端子的数目并且可以更灵活地设计图像处理器。
图22是用于说明经由参照图21描述的车载网络(IVN)传送的数据的类型的图。
参照图22，车载网络(IVN)的低压差分信令(LVDS)可以支持以太网类型的通信。在这种情况下，可以根据1:n来连接一个图像处理器160与多个摄像机装置162、164、166和168。为此，由摄像机装置162、164、166和168中的每个传送的数据表单可以包括目标地址272、源地址274和数据276。数据形式可以包括帧校验序列(FCS)字段、用于检查图像质量的超精细细节(super fine detail，SFD)信息等。
图22所示的数据帧可以仅是示例，并且可以取决于根据1:n来连接一个图像处理器160与多个摄像机装置162、164、166和168的车载网络(IVN)来改变数据帧。
图23是示出参照图21描述的车辆摄像机模块的示例的图。
参照图23，车辆摄像机模块162可以具有与参照图7描述的车辆摄像机模块62类似的结构，但是可以进一步包括编码器180，该编码器用于将串行数据形式的拜耳图案转换成要在连接至公共网络时在公共网络中使用的数据帧形式。
图24是用于说明参照图21描述的图像处理设备的示例的图。
参照图24，图像处理设备160可以具有与参照图8描述的图像处理设备60类似的结构，但是可以进一步包括解码器148，该解码器用于接收和解码包括传送的拜耳图案(BP)的数据帧。
在这种情况下，可以不需要多个解串器134。当通过公共网络依序传送了从多个摄像机传送的数据并且通过解码器148验证了传送数据的摄像机装置时，可以响应于对应的信息将并行化数据分发至多个图像生成单元140。
包括颜色插值(去马赛克)单元138和校正单元146的图像生成单元140可以对并行化数据执行颜色插值，并且可以校正数据以产生图像。
拼接单元142可以对多个产生的图像进行组合，并且可以通过显示装置150将组合的图像提供给用户，并且可以将组合的图像传送至校正单元144以调节摄像机的自动曝光(AE)或者调节摄像机的自动白平衡(AWB)。
尽管已经参照本发明的多个说明性实施方式描述了各个实施方式，但是应该理解，本领域技术人员可以设计出许多其他修改和实施方式，这些修改和实施方式将落入本公开内容的原则的精神和范围内。

Claims (18)

1.一种图像处理设备，包括：
解串器，其接收从多个摄像机获取的各个拜耳图像信息片；以及
图像处理器，其被配置成：
处理由所述解串器处理并输出的拜耳数据，以对根据从所述多个摄像机获取的多个拜耳图像执行颜色插值和去马赛克；
对经受颜色插值和去马赛克后的图像执行第一图像处理；
拼接从所述第一图像处理得到的图像，以获得一个拼接图像；以及
基于所述拼接图像来调节所述多个摄像机的自动曝光，
其中，所述一个拼接图像被输出。
2.根据权利要求1所述的图像处理设备，其中，所述拜耳图像信息片中的每个是单色数据，并且所述一个拼接图像与包括RGB或YUV方式的颜色的数据对应。
3.根据权利要求1所述的图像处理设备，其中，通过独立网络线路传送所述拜耳图像信息片中的每个拜耳图像信息片。
4.一种图像处理设备，包括：
接收单元，其通过多个独立网络线路接收通过串行化拜耳图像信息而获得的多个不同数据；
图像处理器，其处理多个拜耳数据以输出一个拼接图像，
其中，所述图像处理器包括：
至少一个插值校正单元，其对所述多个拜耳数据执行颜色插值和校正处理以输出多个图像数据；
转换与拼接单元，其将所述多个图像数据转换成与所述拼接图像对应，并且然后拼接转换后的图像以获得所述一个拼接图像；以及
调节单元，其基于所述一个拼接图像来调节产生所述拜耳图像信息的多个摄像机的自动曝光，
其中，所述一个拼接图像是RGB图像或YUV图像。
5.根据权利要求4所述的图像处理设备，其中，所述接收单元包括解串器，所述解串器用于恢复和输出通过所述多个独立网络线路传送的所述多个数据。
6.根据权利要求4所述的图像处理设备，其中，所述接收单元包括：
复用器，其从所述多个独立网络线路接收所述多个数据；以及
解串器，其恢复通过所述复用器依序传送的所述多个数据以输出所述多个拜耳数据。
7.根据权利要求4所述的图像处理设备，其中，使用低压差分信令LVDS方法来操作所述网络线路。
8.根据权利要求4所述的图像处理设备，还包括存储单元，其存储从所述至少一个插值校正单元输出的所述多个图像数据，并且根据所述转换与拼接单元的请求来传送所述多个图像数据。
9.一种图像处理设备，包括：
多个摄像机装置，其输出拜耳图案；
车载网络IVN，其传送所述拜耳图案；以及
图像处理器，其处理通过所述IVN传送的所述拜耳图案，
其中，所述图像处理器包括：
颜色插值单元，其接收所述拜耳图案并且对所述拜耳图案执行颜色插值和去马赛克；
校正单元，其对从所述颜色插值单元传送的图像执行第一图像处理；
拼接单元，其拼接从所述校正单元输出的图像；以及
调节单元，其基于所述拼接单元的输出来调节所述多个摄像机装置的自动曝光。
10.根据权利要求9所述的图像处理设备，其中，所述拜耳图案具有未压缩的版本并且被转换成所述IVN所需的格式。
11.根据权利要求9所述的图像处理设备，其中，所述多个摄像机装置通过独立专用线路连接至所述图像处理器。
12.根据权利要求9所述的图像处理设备，其中，所述摄像机装置包括：
镜头组件，其收集引入的光信号；
图像传感器，其将通过所述镜头组件收集的所述光信号转换成电信号以输出所述拜耳图案；以及
传送单元，其传送所述拜耳图案。
13.根据权利要求12所述的图像处理设备，其中，所述传送单元包括串行器，所述串行器将所述拜耳图案转换成串行数据以使用低压差分信令方法进行传送。
14.根据权利要求13所述的图像处理设备，其中，所述传送单元还包括编码器，所述编码器将所述串行数据转换为以太网帧格式。
15.根据权利要求9所述的图像处理设备，其中，所述校正单元执行逆透视映射变换作为所述第一图像处理，所述逆透视映射变换用于产生通过去除从所述颜色插值单元传送的所述图像中的透视而获得的变换图像。
16.根据权利要求9所述的图像处理设备，其中，所述图像处理器还包括解串器，其用于接收所述拜耳图案并且将所述拜耳图案转换成并行数据以将并行数据提供给所述颜色插值单元。
17.根据权利要求9所述的图像处理设备，其中，所述图像处理器还包括解码器，其用于在按以太网帧格式传送所述拜耳图案时从所述以太网帧格式提取所述拜耳图案。
18.根据权利要求9所述的图像处理设备，其中，所述第一图像处理包括校准、镜头畸变校正、颜色校正、伽马校正、颜色空间转换或边缘增强中的至少一者。
CN201780055715.9A 2016-07-14 2017-07-14 图像处理设备 Active CN109690628B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2016-0089490 2016-07-14
KR20160089490 2016-07-14
KR1020160164418A KR102718457B1 (ko) 2016-07-14 2016-12-05 영상 처리 장치
KR10-2016-0164418 2016-12-05
PCT/KR2017/007571 WO2018012925A1 (ko) 2016-07-14 2017-07-14 이미지 생성 방법 및 생성 장치

Publications (2)

Publication Number Publication Date
CN109690628A CN109690628A (zh) 2019-04-26
CN109690628B true CN109690628B (zh) 2023-08-22

Family

ID=61028986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780055715.9A Active CN109690628B (zh) 2016-07-14 2017-07-14 图像处理设备

Country Status (3)

Country Link
US (1) US11115636B2 (zh)
EP (1) EP3486874A4 (zh)
CN (1) CN109690628B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11235776B2 (en) * 2019-01-31 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for controlling a vehicle based on driver engagement
CN114270799B (zh) * 2019-06-13 2024-04-05 Lg伊诺特有限公司 相机装置以及相机装置的图像生成方法
CN110910312A (zh) * 2019-11-21 2020-03-24 北京百度网讯科技有限公司 图像处理方法和装置、自动驾驶车辆、电子设备
CN111242847B (zh) * 2020-01-10 2021-03-30 上海西井信息科技有限公司 基于闸道的图像拼接方法、系统、设备及存储介质
CN111738923B (zh) * 2020-06-19 2024-05-10 京东方科技集团股份有限公司 图像处理方法、设备及存储介质
CN112351172B (zh) * 2020-10-26 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
KR102558507B1 (ko) * 2021-11-17 2023-07-25 주식회사 넥스트칩 영상 신호를 처리하기 위한 전자 장치, 시스템 및 그 동작방법
CN114387163A (zh) * 2021-12-10 2022-04-22 爱芯元智半导体(上海)有限公司 图像处理方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631193A (zh) * 2008-07-17 2010-01-20 索尼株式会社 图像处理设备、图像处理方法和程序
CN102025926A (zh) * 2009-09-15 2011-04-20 三星电子株式会社 用于输出红绿蓝拜耳信号的图像传感器及其图像处理装置
CN102201114A (zh) * 2010-03-23 2011-09-28 奥林巴斯株式会社 图像处理装置和图像处理方法
CN103685938A (zh) * 2012-09-26 2014-03-26 奥林巴斯映像株式会社 图像编辑装置以及图像编辑方法
TW201618034A (zh) * 2014-08-04 2016-05-16 輝達公司 藉由使用ｙｕｖ插值來對交錯式高動態範圍影像去交錯
WO2016093117A1 (ja) * 2014-12-08 2016-06-16 株式会社ジャパンディスプレイ 表示システム及び表示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US9900522B2 (en) * 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9264672B2 (en) * 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
WO2013081985A1 (en) * 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
JP6137800B2 (ja) * 2012-09-26 2017-05-31 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
KR101990540B1 (ko) * 2012-10-31 2019-06-18 삼성전자주식회사 이미지 프로세싱 방법, 그 이미지 신호 프로세서 및 이를 포함하는 이미지 센싱 시스템
WO2014084730A1 (en) 2012-11-27 2014-06-05 Multimagnetic Solutions Ltd System and method for generating image using multiple lenses and multiple imagers
US9481301B2 (en) * 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
JP2014198144A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム
US9508014B2 (en) * 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
JP2014230051A (ja) * 2013-05-22 2014-12-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9538077B1 (en) * 2013-07-26 2017-01-03 Ambarella, Inc. Surround camera to generate a parking video signal and a recorder video signal from a single sensor
KR20150047900A (ko) 2013-10-25 2015-05-06 대우전자부품(주) 사고 예방과 상해치 경감을 위한 영상 기반 능동 제어 시스템
US9426361B2 (en) * 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
JP6194819B2 (ja) * 2014-03-03 2017-09-13 Smk株式会社 画像処理システム
KR101579100B1 (ko) 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6582642B2 (ja) * 2014-08-11 2019-10-02 セイコーエプソン株式会社 車両用撮像装置、車両用撮像表示システム、及び車両
KR102227853B1 (ko) 2014-10-31 2021-03-15 현대모비스 주식회사 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법
KR102192260B1 (ko) 2014-12-11 2020-12-17 현대모비스 주식회사 카메라 위치 판별 장치 및 그 제어방법
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US20180335503A1 (en) * 2017-05-19 2018-11-22 Magna Electronics Inc. Vehicle system using mems microphone module

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631193A (zh) * 2008-07-17 2010-01-20 索尼株式会社 图像处理设备、图像处理方法和程序
CN102025926A (zh) * 2009-09-15 2011-04-20 三星电子株式会社 用于输出红绿蓝拜耳信号的图像传感器及其图像处理装置
CN102201114A (zh) * 2010-03-23 2011-09-28 奥林巴斯株式会社 图像处理装置和图像处理方法
CN103685938A (zh) * 2012-09-26 2014-03-26 奥林巴斯映像株式会社 图像编辑装置以及图像编辑方法
TW201618034A (zh) * 2014-08-04 2016-05-16 輝達公司 藉由使用ｙｕｖ插值來對交錯式高動態範圍影像去交錯
WO2016093117A1 (ja) * 2014-12-08 2016-06-16 株式会社ジャパンディスプレイ 表示システム及び表示装置

Also Published As

Publication number Publication date
US20190253681A1 (en) 2019-08-15
EP3486874A1 (en) 2019-05-22
US11115636B2 (en) 2021-09-07
CN109690628A (zh) 2019-04-26
EP3486874A4 (en) 2019-07-17
KR20180008244A (ko) 2018-01-24

Similar Documents

Publication Publication Date Title
CN109690628B (zh) 图像处理设备
US11303806B2 (en) Three dimensional rendering for surround view using predetermined viewpoint lookup tables
CN110874817B (zh) 图像拼接方法和装置、车载图像处理装置、设备、介质
Zhang et al. A surround view camera solution for embedded systems
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
US20110242356A1 (en) Combining data from multiple image sensors
US20120081519A1 (en) Combining data from multiple image sensors
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
CN110366740B (zh) 图像处理装置和摄像装置
JPWO2020090511A1 (ja) 撮影装置、画像処理方法、及び、プログラム
KR101478980B1 (ko) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
WO2020247905A1 (en) Enhanced rendering of surround view images
CN109089048A (zh) 多镜头全景联动装置及方法
CN109792475B (zh) Svm系统及其图像输入和处理方法
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
KR102718457B1 (ko) 영상 처리 장치
JP2005229317A (ja) 画像表示システム及び撮像装置
KR20180028354A (ko) 다중 뷰 모드에서의 영상 디스플레이 방법
KR20110088680A (ko) 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치
CN111355942A (zh) 半导体设备、图像处理系统、方法和计算机可读存储介质
US20240073390A1 (en) Image processing device and image processing method
KR20130006906A (ko) 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법
JP2022529657A (ja) 車両周辺部の画像を生成するための方法ならびに車両周辺部の画像を生成するための装置
CN115129159A (zh) 展示方法、装置、头戴设备、电子设备及计算机介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant