CN103581568B - 使用多个摄像器以提供延伸视野的影像处理系统及方法 - Google Patents

使用多个摄像器以提供延伸视野的影像处理系统及方法 Download PDF

Info

Publication number
CN103581568B
CN103581568B CN201310319912.0A CN201310319912A CN103581568B CN 103581568 B CN103581568 B CN 103581568B CN 201310319912 A CN201310319912 A CN 201310319912A CN 103581568 B CN103581568 B CN 103581568B
Authority
CN
China
Prior art keywords
image
sampling
field image
unit
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310319912.0A
Other languages
English (en)
Other versions
CN103581568A (zh
Inventor
单继章
熊伟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Priority to CN201610910903.2A priority Critical patent/CN106572287B/zh
Publication of CN103581568A publication Critical patent/CN103581568A/zh
Application granted granted Critical
Publication of CN103581568B publication Critical patent/CN103581568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/253—Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine

Abstract

一种系统及方法，用以生成影像，包括有多个摄像单元，摄像单元互相耦接；以及系统控制器，与摄像单元耦接，以对各摄像单元提供至少一个信号。各摄像单元包括有：影像感测单元，用以产生现场影像，各现场影像为影像的一部分，第一输入端，用以接收现场影像，组合单元，用以接收第一复合影像且产生第二复合影像，第二复合影像为第一复合影像与现场影像的组合，以及输出端，提供第二复合影像。

Description

使用多个摄像器以提供延伸视野的影像处理系统及方法
技术领域
本发明关于一种影像处理系统及方法，特别是关于一种提供延伸至单一摄像器所能提供视野之外的复合视野或影像的影像处理系统及方法。
背景技术
在许多应用中，希望能使用多个相机或摄像器来生成物体或场景的影像。例如，在车用全周影像系统中，可同时利用多个（例如四个）相机来生成车辆的全周影像。在此种系统中，各相机均提供影像以作为全周影像的一部份。各相机将其影像数据传输至拼接处理单元，拼接处理单元将个别的影像拼接在一起以生成复合影像。
图1为现有摄像系统10的功能方块示意图，利用四个相机或摄像器12，来生成场景的复合影像。在现有摄像系统10中，摄像器12与单一的拼接处理器20以并联方式进行介接。换句话说，四个摄像器中的每一个都与单一中央式的拼接处理器20直接介接以传输其对应的影像数据（亦即，第一影像、第二影像、第三影像及第四影像）至拼接处理器20。拼接处理器20处收集并储存自所有的摄像器12而来的数据，并将数据拼接在一起以形成显示在屏幕22上的复合影像。
在此种系统中，硬件配置必须固定以配合摄像器12的数量。例如，拼接处理器一般具有对应于各相机或摄像器12的输入缓冲区，中央处理单元（CPU）来控制在拼接处理器20之中的数据流及组件，表格存储器包括有位置转换表用来将个别影像转换至复合影像，输出缓冲区以及内部总线用来传输及控制信号。这些所有的硬件配置，基于摄像器12的数量，都是固定且专用的，且用于生成复合影像。换句话说，硬件组件设计来处理固定数量相机的数据输入。结果，现有摄像系统10，举例而言，对于改变用以生成复合影像的相机12的数量缺乏弹性。如果相机12的数量需要进行改变，不论是增加或减少一个或多个的相机12，都必须要对这些硬件组件进行重新设计。此种重新设计成本十分高昂且亦非常费时。
发明内容
本发明的目的在于，提供一种摄像系统，用以生成影像。摄像系统包括有多个互相耦接的摄像单元，以及与摄像单元耦接的系统控制器，以对各摄像单元提供至少一个信号。各摄像单元包括有：影像感测单元，用以产生现场（in-situ）影像，各现场影像为影像的一部分，第一输入端，用以接收现场影像，组合单元，用以接收第一复合影像且产生第二复合影像，第二复合影像为第一复合影像与现场影像的组合，以及输出端，提供第二复合影像。
本发明的另一目的在于，提供一种设置于用以生成影像的摄像系统中的摄像单元。摄像单元包括有：影像感测单元，用以产生现场（in-situ）影像，各现场影像为影像的一部分，第一输入端，用以接收现场影像，组合单元，用以接收第一复合影像且产生第二复合影像，第二复合影像为第一复合影像与现场影像的组合，以及输出端，提供第二复合影像。
本发明的再一目的在于，提供一种方法，用以生成影像。方法包括有：将多个摄像单元互相耦接；将系统控制器与摄像单元耦接，以对各摄像单元提供至少一个信号；以及，在各摄像单元中：产生现场（in-situ）影像，各现场影像为影像的一部分，接收第一复合影像，产生第二复合影像，第二复合影像为第一复合影像与现场影像的组合，以及提供第二复合影像作为输出。
附图说明
本发明前述及其它特征可参照相关附图及例示实施例即可明了，其中相同的组件将以相同的符号加以标示。同时，附图表达与本发明特征有关的示意，并未且亦不需要依据实际情形完整绘制。附图中特征的尺寸可能为清楚说明的目的而放大。
图1为现有摄像系统的功能方块示意图，利用四个相机或摄像器12，来生成场景的复合影像。
图2为根据本发明的例示实施例的摄像系统功能方块示意图。
图3A及3B为根据本发明的例示实施例，为图2所示的多个摄像器或相机其中之一的功能方块示意图。
图4A至4C为根据本发明的例示实施例的示意图，绘示利用多个摄像器或相机来生成全景复合影像的流程。
图5A至5B为根据本发明的例示实施例的示意图，绘示用来裁切现场影像以消除再现场影像中的偏移瑕疵（artifact）的采样操作。图5C为根据本发明的例示实施例的示意图，绘示在复合影像中消除偏移瑕疵。
图6A至6D为根据本发明的例示实施例的示意图，绘示用来矫正在现场影像中的影像失真的采样操作。
图6E至6G为根据本发明的例示实施例的示意图，绘示矫正式采样的不同应用，以矫正在现场影像中的失真。
图7A为根据本发明的例示实施例的示意图，绘示通过采样来矫正现场影像中的倾斜瑕疵。
图7B为根据本发明的例示实施例的示意图，绘示通过采样或定位操作经过坐标转换来矫正现场影像中的倾斜瑕疵。
图8为根据本发明的例示实施例的示意图，绘示摄像器或相机的系统，用以生成复合周边影像。
图9为根据本发明的例示实施例的示意图，绘示处理北面、东面、南面、与西面的现场影像以生成复合周边影像。
图9A及9B为根据本发明的例示实施例的示意图，绘示对图9中所示影像的其中之一执行采样及/或定位操作。
图10A-10G为根据本发明的例示实施例的示意图，绘示生成周边影像226。
具体实施方式
图2为根据本发明的例示实施例的摄像系统100的功能方块示意图。参考图2，多个摄像器或相机102（此处亦指第一相机、第二相机、…、第N相机）彼此串联（亦即，联成一串）。每个相机102则连接至共通的系统控制器108。通过将控制参数送至各个相机102，系统控制器108个别地控制各个摄像器或相机102。
根据本发明的例示实施例，复合影像经多个阶段而生成。在生成影像的过程中，各个摄像器或相机102做为单一阶段。各个摄像器或相机102以其自身的摄像组件（例如互补式金属氧化物半导体（CMOS）或是电荷耦合组件（CCD）影像传感器）来产生其当地或现场影像。但有一个例外，各个摄像器或相机102亦自其所紧邻的上一阶（亦称”上游”）的相机或摄像器102处接收复合影像，其例外为，第一阶的相机或摄像器102接收一个零（null）复合影像或是于内部生成一个零复合影像。由第一阶的相机或摄像器102接收或所生成的零复合影像可为一个所有数据均为零、未知或无关的影像。
各个相机或摄像器102根据由系统控制器108处所接收到的指示，对其现场影像进行处理。各个相机或摄像器102将经其处理后的现场影像与自上游相机或摄像器102所接收到的复合影像（或是与自第一阶相机或摄像器102处所接收到的零复合影像）拼贴在一起，以生成一个新的或是经修正的复合影像。相机或摄像器102将此新的复合影像传至位在相机102串行的下游的下一个相机或摄像器102。串行中的最后一个相机或摄像器102将最终的复合影像输出以进行显示、储存及/或其它功能。
本发明的摄像系统100的优点，为摄像系统100在数量缩放上（换句话说，即是用来生成最终复合影像的摄像器或相机102的数量）具有灵活性。根据本发明的摄像系统100，摄像器或相机102可根据最终复合影像的使用场合（例如全景、周边、多处等）而轻易地增加或减少。
特别的是，参考图2，第一相机产生第一复合影像。为了要生成第一复合影像，第一相机接收或是自己生成一个空的或是「零」的第零复合影像。第一相机亦以自身的摄像组件（例如CMOS或是CCD影像传感器）生成一个现场影像，此处称为第一影像。第一相机处理或操作其第一（现场）影像，且将其拼贴至第零复合影像上，以生成第一复合影像。用来处理/操作与拼贴的控制参数，此处亦称校正参数，则由第一相机自系统控制器108处所接收。第一相机输出第一复合影像给下游的第二相机。
第二相机生成第二复合影像。第二相机自上游的第一相机处接收第一复合影像，第二相机以其自身的摄像组件（例如CMOS或是CCD影像传感器）产生一个现场影像（第二影像）。第二相机处理或操作其第二（现场）影像，且将其拼贴至第一复合影像上，以生成第二复合影像。第二复合影像主要是经过处理的第一（现场）影像与第二（现场）影像的和，亦即，第二复合影像＝第一影像＋第二影像。如同第一相机一般，第二相机自系统控制器108处接收所需的的控制或校正参数。第二相机输出第二复合影像。
第一相机及第二相机的组合，可视为一个单一的虚拟相机。例如，单一虚拟相机，此处称第一虚拟相机104，生成第二复合影像且将第二复合影像向下游传输至在相机102串行中的下一个相机102。此操作沿着摄像器或相机102所形成的串行向下重复。最后的第N相机同样地生成最终的第N复合影像，且，举例而言，将其送至屏幕22。最终的第N复合影像主要是经处理的现场影像的拼贴总和，亦即第一影像＋第二影像＋…＋第N影像。第一相机、第二相机、…、以及第N相机的组合可视为一个单一的虚拟相机，亦即第N－1虚拟相机，其生成最终的第N复合影像。
因此，根据本发明某些例示实施例，拼贴操作于各个相机102中，每次在一个相机102中执行。相机102的串行或序列则以一连串的多个步骤完成整个拼贴操作。个别的现场影像则依需求来生成及修改，接着在操作阶段中以一次一个的方式加入至推衍中的复合影像。系统控制器108控制在串行中的各个相机102以操纵或处理各个现场影像以及将各个修改/处理后的影象拼贴在一起以形成在操作阶段中的复合影像。
图3A及3B为根据本发明的例示实施例，为图2所示的多个摄像器或相机102其中之一的功能方块示意图。参考图3A及3B，相机102包括有影像感测单元或影像传感器112，根据本发明某些例示实施例，其可为CMOS影像传感器。在某些例示实施例中，影像传感器112可为CCD影像传感器。
摄像器或相机102亦可包括数据处理单元114，其处理像机102所需的影像数据。数据处理单元114包括输入－输出端，其于适当时候进行接收及传输。特别的是，数据处理单元114包括有复合影像输入端116，其自所紧邻的”上游”的相机或摄像器102处接收复合影像。如前所述的，如果相机102是在串行中的第一个，则在复合影像输入端116处所接收到的复合影像为”零”（null）影像的数据。另一方面，在相机102的串行中的第一个相机102的零复合影像亦可不是在复合影像输入端116处接收，而是通过数据处理单元114来内部生成。数据处理单元114亦包括一个现场影像输入端118，其自影像感测单元112处接收现场影像的数据。数据处理单元114亦包括复合影像输出端120，由数据处理单元114所生成的复合影像于此处传输至位于下游方向的下一个相机102。另一方面，如果相机102是在相机串行中的最后一个，则最终的复合影像可通过复合影像输出端120输出以显示、储存或进行其它适当的操作。
数据处理单元114亦包括有数据处理组件，在某些实施例中，其可包括采样区块122、定位区块124以及组合区块126。采样区块122从现场影像输入端118处接收现场影像的数据，且通过选择性的对数据采样，将数据进行操作或处理，以生成经采样影像的数据。由采样区块122所执行的数据采样，可用来矫正现场影像中的偏移、失真、倾斜瑕疵或其它需要矫正的影像特殊处。定位区块124则自采样区块122处接收经采样的影像数据，而将采样后的影像数据进行操作或处理，以执行各种操作。例如，定位区块124可操作或处理采样后的影像数据来将采样后的影像旋转至一个适当的方向。同样地，定位区块124指派位于复合影像范围内位置给采样后的影像，使得后续将采样后影像拼贴至复合影像中的操作，会以被拼贴至复合影像的正确位置的采样后影像来执行。
在本发明的某些例示实施例中，如图3A所示，数据处理单元114可包括单元控制器128，其执行对采样区块122与定位区块124的控制。单元控制器128由系统控制器108（如图2所示）处接收校正参数。控制信号于图3A以虚线代表。控制信号由单元控制器128来传输至其所属的适当位置，亦即，采样区块122、定位区块124等。
参考图3B，在另一实施例中的相机102A，系统控制器108可直接控制采样区块122及定位区块124，而不需要单元控制器128。换句话说，在本发明的某些例示实施例中，如图3B所示的相机102A，并无使用单元控制器128。应注意的是，不论具不具有单元控制器128，在本文中对于相机102所描述的内容，亦可适用于如图3B所示的摄像器或相机102A。
参考图3A及3B，影像数据处理单元114亦可包括组合区块126。组合单元126经由复合影像输入端116，自前一或”上游”的摄像器或相机102处来接收或输入复合影像，或是自第一阶相机或摄像器102处接收到零复合影像。组合区块126将处理后的经采样影像插入或拼贴至其所接收的复合影像上，以生成更新后的复合影像。组合区块126接着经由复合影像输出端120将更新后的复合影像传送或输出至在下游的下一个摄像器或相机102。
图4A至4C为根据本发明的例示实施例的示意图，绘示利用多个摄像器或相机来生成全景复合影像的流程。参考图4A，绘示第一阶的摄像器或相机102。影像感测单元112（未绘示）生成现场影像129，此处称为第一现场影像，且于现场影像输入端118进行接收。现场影像129被传输至采样区块122，采样区块122则对现场影像129进行采样以生成采样影像123。由采样区块122根据由单元控制器128处所接收到的指示对现场影像129进行采样。单元控制器128根据其由系统控制器108处所接收到的校正信号来传输适当的控制信号，例如采样指示。
采样影像123则作为第一现场影像的代表。在一般情形下，亦即第一现场影像不需要进行矫正的情形下，代表性质的采样影像123在不需要矫正其影像瑕疵（artifact）（例如偏移、失真、倾斜等）的情形下被取得。例如，在一般情形下，根据本发明某个特定的例示实施例，采样区块122可对现场影像数据每隔一列进行读取且抛弃其它列。其亦可对现场影像数据每隔一行进行读取而抛弃其它行。在此例示实施例下，结果就是采样影像123的大小及分辨率均为现场影像129的1/4，且代表整个现场影像129。
对现场影像129进行采样的方法有许多种，其可加入实施矫正各种在现场影像129中不良瑕疵的操作。例如，裁切或是选择采样，在其中可不执行对现场影像129的某部份的采样，结果使部份自采样影像123中略去，亦不进行坐标转换。如下所详述的，可经由执行这些不同的采样操作来矫正例如失真、倾斜与偏移的瑕疵。在采样区块122中所执行的采样操作可降低影像分辨率，或是裁切、弯曲及/或旋转现场影像129。
定位区块124指派在生成后的复合影像范围内的位置给现场影像123。采样影像123的定位操作，则是基于从单元控制器128处所接收到的定位指示。单元控制器128根据其自系统控制器108处所接收到的校正参数，传送适当的控制信号，例如定位指示。在图4A所绘示的特定例示实施例中，采样影像123被放置于复合影像140的最左端。
组合区块126生成更新后的复合影像140。组合区块126经由复合影像输入端116接收复合影像141。在此处，亦即在第一阶相机102的情况下，复合影像141为零影像。如前所述的，零复合影像141可另于相机102中而非于其外部产生。组合区块126将经过处理的采样影像123插入至零复合影像141，以生成更新的复合影像140。组合区块126接着则经由复合影像输出端120将复合影像输出至位于下游的下一个相机102。
参考图4B，绘示相机串行中的下一个或是中介的摄像器或相机102。由前一个位在上游的相机102所生成的复合影像140，于复合影像输入端116处进行接收。现场影像131，此处亦称为第二现场影像，亦由本地相机102所生成。现场影像131则由采样区块122进行采样，以生成采样影像125。定位区块124则将采样影像125定位于复合影像142之中。在此特定例示实施例中，采样影像125被放置于紧邻于采样影像123的右边。组合区块126将经过处理的采样影像125插入到复合影像140之中，以生成复合影像142，且经由复合影像输出端120将复合影像142输出至位在下游的下一个相机102。
此步骤一阶一阶的重复，直到最后一阶（此处亦称为第N阶）的摄像器或相机102。图4C则绘示最后一阶或是第N阶的摄像器或相机102。参考图4C，第N阶的相机102在复合影像输入端116从上游的第N-1相机102处接收第N-1复合影像143。第N阶相机102生成第N阶的现场影像133，此处亦称第N现场影像。采样区块122对现场影像133进行采样，以生成第N阶的采样影像127。定位区块124将经过处理的采样影像127定位于最终的复合影像144之中。在此特定例示实施例中，采样影像127被放置于最终复合影像144的最右端。组合区块126将经过处理的采样影像127插入到（第N-1阶）复合影像143之中，以生成最终复合影像144。组合区块126经由复合影像输出端120输出复合影像142以进行储存或显示。
以上所详述的生成复合影像的方式，一般用于从未受有例如偏移、失真与倾斜的瑕疵所影响的现场影像，来生成根据本发明的复合影像。其结果为，前述的采样与定位操作并未包括任何用来矫正影像瑕疵的预防措施。但是，根据本发明，如同以下将详述的，当其适合用来将现场影像处理至采样及/或复位的影像中，以矫正例如偏移、失真及倾斜的瑕疵时，可利用多种采样及/或定位操作做为生成如上详述的复合影像的操作的一部份。
图5A至5B根据本发明的例示实施例的示意图，绘示用来裁切现场影像以消除再现场影像中的偏移瑕疵的采样操作。参考图5A，两个现场影像，此处称为现场影像A与现场影像B，分别由两个摄像器或相机102（此处分别称为摄像器A及摄像器B）所生成。图5A所示的，为现场影像A与现场影像B，因为各自对应摄像器的错位，而产生各自中心线的偏移。换句话说，在左方的摄像器A生成包括有物体左侧影像的现场影像A，其对准现场影像A的中心。在右方的摄相机B生成包括有物体右侧影像的现场影像B，则向现场影像B的下方部份产生偏移。换句话说，在左方的摄像器A的定位与物体齐平，但是在右方的摄像器B的定位则高于物体。
根据本发明的某些例示实施例，图5B绘示使用采样作业以矫正此种在复合影像中的偏移瑕疵。特别的是，根据本发明的某些例示实施例，通过选择性的对现场影像进行采样，现场影像的裁切被调整使得在现场影像A与现场影像B之中的偏移被消除。参考图5B，在现场影像A中，因为物体的影像位于现场影像A的中央，故执行正常的裁切。于此，当对现场影像A进行采样时，采样区块122经由单元控制器128受到系统控制器108的控制，以在开始采样前，先略过从现场影像A的顶端向内延伸如箭头A1-A2所指的部分，即以虚线所标示的裁切区域A以外的区域。现场影像B的裁切区域B则调整至消除偏移瑕疵。特别的是，裁切区域B朝向现场影像B的下方区域有偏移，如由摄像器水平线朝向裁切区域B的上方区域所示。与正常裁切模式相较，对现场影像B所进行的采样操作，在开始采样前，省略了现场影像B中较多的区域，如现场影像B的顶端向内延伸由箭头B1-B2所指的部份。此种执行裁切来对准影像而消除偏移的采样调整，受到系统控制器108的控制，且如前所述，在某些实施例中，经由单元控制器128对采样区块提供命令。在其它实施例中，单元控制器128并不存在，而系统控制器108将命令直接提供给系统控制器108。
参考图5C，当这两个经过裁切的采样影像，采样影像A与采样影像B，结合以生成复合影像时，偏移已被消除。如同图5C所示，物体影像的左方部分与右方部份则正确地互相对齐。
在某些例示实施例中，采样操作可用来矫正影像失真。影像失真可能为光径的过度弯曲（收敛性或发散性）所导致，例如由鱼眼镜头所造成的光径弯曲。根据本发明的某些例示实施例，采样操作通过改变采样频率来矫正影像失真，且对于失真影像中的被压缩区域使用较高的采样频率，而对于被扩张区域则使用较低的采样频率。
图6A-6D为根据本发明的例示实施例的示意图，绘示用来矫正在现场影像中的影像失真的采样操作。图6A为被摄物体的代表示意图。参考图6A，物体由一连串的垂直线所代表。物体的左边部份由实线所代表，而右边部分则由虚线代表。图6A中实线和虚线的比例正常为12:7，彼此之间的间隔则为相等。
图6B则绘示图6A中所示的物体的现场影像示意图。参考图6B，应注意的是现场影像已失真。影像包括有12条实线与7条虚线，但彼此之间的间隔并不相等。特别的是，在影像的左边区域中，线条之间的间距被压缩，显示光线收敛，而在影像的右边区域中，线条之间的间距被扩张，显示光线发散。这些失真可能由，例如，形成影像的透镜形状所导致。
图6C及6D为根据本发明的某些例示实施例，绘示利用采样来矫正影像失真。特别的是，在失真现场影像中的被压缩左边区域中，以较高的采样频率来执行矫正性质的采样操作，亦即进行更高频率的采样。而在失真现场影像中的被扩张右边区域中，以相对较低的采样频率来执行矫正性质的采样操作，亦即进行更低频率的采样。举例而言，如果在失真现场影像中的被压缩左边区域中，以每隔一行（或列）的方式进行采样（如图中粗实线所示），而对于失真现场影像中的被扩张右边区域，则以每隔两行（或列）的方式进行采样，使得每条线条的间隔均为相等。以最低限度的影像数据流失来维持近似的影像外观。特别的是，在此例示实施例中，结果是对影像尺寸与分辨率缩减了将近50%，经矫正后的影像包括有6条实线及3条虚线。
图6A-6D绘示了以改变采样频率来消除在单一维度上发生空间失真的矫正式采样操作。根据本发明的某些例示实施例，这种型态的矫正式采样可应用于在现场影像中同时矫正两个维度上发生的失真。图6E至6G为根据本发明的例示实施例的示意图，绘示矫正式采样的不同应用，以矫正在现场影像中的失真。参考图6E，绘示针对单一维度的失真进行矫正。第一个影像显示物体，第二个影像则显示物体的现场影像。如图中所示的，现场影像则在单一维度上发生失真。第三个影像则显示经过矫正的影像，其通过使用改变采样频率的选择式采样操作而产生，如前所详述。参考图6F，绘示针对在两个互相垂直维度上发生的失真进行矫正。第一个影像显示物体，第二个影像则显示物体的现场影像。如图中所示，现场影像在两个维度上发生失真。第三个影像显示经过矫正的影像，其通过在水平维度和垂直维度上都使用改变采样频率的选择式采样操作而产生。参考图6G，绘示针对在两个互相垂直维度上发生且偏离中心的失真进行矫正。第一个影像显示物体，第二个影像则显示物体的失真现场影像。如图中所示的，现场影像则在两个维度上发生失真，且在现场影像中物体被显示成偏离相对影像的中心。第三个影像则显示经过矫正的影像，其通过在水平维度和垂直维度上都使用改变采样频率的选择式采样操作而产生，使得前述的偏离中心的现象，如矫正采样影像中所示的，改正为位在中央。
根据本发明某些例示实施例来矫正的瑕疵，为在现场影像中发生的倾斜（slanting）现象。倾斜现象由摄像器或相机对物体的指向角度发生倾斜所导致。根据本发明某些例示实施例，倾斜可通过选择性的采样及/或定位操作来矫正或加以缓和。
图7A为根据本发明的例示实施例的示意图，绘示通过采样来矫正现场影像中的倾斜瑕疵。参考图7A，物体，此处称为AB，自基准线BC向外倾斜，而定义出倾斜角ABC。根据本发明某些例示实施例，倾斜瑕疵通过缩减倾斜角ABC而矫正。角度缩减可通过选择式的针对某些行或列进行采样来实现，而省略其它行及/或列。
参考图7A，左方为带有倾斜瑕疵的失真现场影像。根据本发明某些例示实施例，在进行列采样时，为了要矫正倾斜瑕疵则以每隔一列的方式进行采样。例如，可针对如图中所示的实线所示的列进行采样，而省略由虚线所示的列。在倾斜物体AB中的点，只有点A、D、E及B被采样，而生成如图7A右方所示的经矫正的采样影像中的点A’、D’、E’及B’。在现场影像中的点F、G及H则被省略。在图7A右方的所生成采样影像，物体A’B’纸包括有经过采样的点A’、D’、E’及B’。基准线B’C’则保持水平，经矫正的采样影像中的倾斜角A’B’C’小于现场影像中的倾斜角ABC，如此至少部份减少了倾斜瑕疵。在此处所示的例子中，以每隔一列的方式进行省略，则降低了物体的高度，因此，A’C’=1/2AC。对于行则不省略，使B’C’=BC。在此例示实施例中，角度缩减倍率可以下列算式加以计算：
角度缩减倍率＝角A’B’C’/角ABC＝tan-1(x/2)/tan-1(x)，
其中x＝AC线段长度/BC线段长度
若采样操作包括有省略行及列，则通过操纵省略行及列的频率，倾斜角A’B’C’可做出不同变化。例如，当A’C’＝1/2AC（通过省略列）而B’C’=2/3BC（通过省略行）时，则角度缩减倍率＝tan-1(3x/4)/tan-1(x)。此角度缩减倍率的角度矫正小于上段所述其值为tan-1(x/2)/tan-1(x)的角度缩减倍率。亦应注意的是，相较于上段所述，此时物体A’B’较远离基准线B’C’。在另外一例子中，A’C’＝1/3AC（通过省略列）而B’C’＝5/6BC（通过省略行）时，则角度缩减倍率＝tan-1(2x/5)/tan-1(x)。此角度缩减倍率的角度矫正大于上段所述其值为tan-1(x/2)/tan-1(x)的角度缩减倍率。亦应注意的是，相较于上段所述，此时物体A’B’较接近基准线B’C’。
如前所述，根据本发明某些例示实施例，倾斜可通过选择性的采样及/或定位操作来矫正或加以缓和。图7B为根据本发明的例示实施例的示意图，绘示通过采样或定位操作经过坐标转换来矫正现场影像中的倾斜瑕疵。
参考图7B，在现场影像中的物体A1-A4及物体B1-B4以相对于垂直方向的45度角产生倾斜。如矫正后的影像中所示，为了要矫正现场影像，点A1则转变为A1’，点A2转变为A2’，点A3转变为A3’，点A4转变为A4’，点B1转变为B1’，点B2则转变为B2’，点B3则转变为B3’，点B4则转变为B4’。
根据本发明的例示实施例，图7B所示的倾斜矫正可于采样区块122或是定位区块中执行。根据某些例示实施例，矫正操作通过从现场影像中单独一个采样点来实施，举例而言，读取在第5行第2列上的点A1或是坐标组（2，5），并且对坐标组套用转换命令，以改变/转换坐标组。例如，如本处所示的例示实施例，点A1的坐标组（2，5）则转换为点A1的坐标组（2，2）。为了利用采样区块来生成经矫正的采样影像，或是利用定位区块来生成经矫正的复位影像，经转换的坐标组（2，2）为点A1所使用。同样地，点A2（3，4）则转换为点A2’（3，2）、点A3（4，3）转换为点A3’（4，2）、点A4（5，2）则保持为点A4’（5，2）。此坐标转换的结果为，在现场影像中的倾斜物体A1-A4发生旋转，而生成在经矫正的采样或是复位影像中的笔直物体A1’-A4’。
同样的坐标转换也可套用于物体B1-B4上。在经过坐标转换作业后，点B1（2，7）则转换为点B1’（2，4）、点B2（3，6）转换为点B2’（3，4）、点B3（4，5）转换为点B3’（4，4）、点B4（5，4）则保持为点B4’（5，4）。
在此转换操作下，对现场影像所发生的唯一影响为物体的旋转。物体之间的空间关系，例如间距，则不因为旋转转换操作而改变。在某些例示实施例中，所述转换可将物体旋转至任何所欲的角度。旋转角度可为90度的倍数，如后于生成复合周边影像中所详述的。
图8为根据本发明的例示实施例的示意图，绘示摄像器或相机102的系统200，用以生成复合周边影像。在此系统200中，每个相机102负责一个方面，亦即生成一个方面的影像。例如，自此处所述的实施例中，第一相机负责北面，第二相机负责东面，第三相机负责南面，而第四相机负责西面。摄像器或相机102则组成串行（亦即彼此串联），如前所详述。
举例而言，图8所示的系统200可用于周边摄影，例如应用于车辆四周的监视摄影。在此种系统中，根据之前所详述，各个相机102于获取在不同方面上的现场影像。如前所详述，各个现场影像可被裁切及旋转。所生成的经矫正的采样影像则被拼贴在一起以生成复合周边影像。
图9为根据本发明的例示实施例的示意图，绘示处理北面、东面、南面、与西面的现场影像（分别标示为210、212、214、216）以生成复合周边影像226。参考图9，各个现场影像210、212、214、216则经由裁切来消除重迭的区域，例如，如图中在北面的现场影像210中所显示的。应明了的是，根据本发明某些例示实施例，所有的现场影像210、212、214、216都包括有会被裁切掉的重迭区域。各个现场影像210、212、214、216亦被旋转至正确的方向，以便纳入复合周边影像226中。经过正确地裁切及旋转的影像218、220、222、224，则组合而成最终周边影像226。
图9A及9B为根据本发明的例示实施例的示意图，绘示对图9中所示影像的其中之一执行采样及/或定位操作。在图9A及9B中，以东面的现场影像212/220为例进行说明。应明了的是，本发明所揭示的内容对于所有的现场影像210、212、214、216均适用。参考图9A，取得东面原始的现场影像212，并辨别出重迭的区域。接着，各个现场影像212经过裁切以自影像数据中消除重迭区域。虚线外部的数据（即为重迭的区域）遭到抛弃，因此而生成经过裁切的影像。接着，参考图9B，裁切后的东面影像进行旋转以产生具有正确方向而代表东面经裁切的现场影像220。在此处所示的特定例示实施例中，进行顺时针方向90度旋转。旋转操作可通过采样（包括省略列及/或行）来实施，或是，如图7A及7B与相关实施例中所详述的，通过坐标的转换来实施。如同本说明书所描述，旋转可由采样区块122或定位区块124来执行。
图10A-10G为根据本发明的例示实施例的示意图，绘示生成周边影像226。图10A-10G中各图绘示了如本文中所详述的摄像器或相机102（和102A）。各个相机102在复合影像接收端116自上游的摄像器或相机102或是从零复合影像生成器211接收复合影像，而在现场影像输入端118接收现场影像，且在复合影像输出端120将更新过的复合影像输出给在下游方向上的下一个摄像器或相机102。如本文中所详述，各个相机102包括有采样区块122、定位区块124，与组合区块126。各个相机102亦显示包括有单元控制器128，如前所详述，单元控制器128从系统控制器108处接收信号。应明了的是，单元控制器128为选择性，而如前所详述，系统控制器108可直接提供信号给采样区块122、定位区块124及/或组合区块126。
参考图10A，接收北面的现场影像210。采样区块122对北面的现场影像210进行采样以裁切，而移除重迭的区域以生成采样影像213。采样影像213则为定位区块124所接收，定位区块124对采样影像213指派北面的方位。组合区块126将采样影像213插入零复合影像211的北面部份，以生成复合影像1，其传输给下游方向上的下一个相机102。
参考图10B，复合影像1由下游方向上的下一个相机102所接收，且其亦接收东面的现场影像212。采样区块122对东面的现场影像212进行采样以裁切，而移除重迭的区域以生成采样影像215。定位区块124接收采样影像215，并将其顺时针旋转90度至东面的方向。定位区块124亦指派在复合影像中东面的位置给旋转过的采样影像220。组合区块126将旋转过的采样影像220插入复合影像1的东面部份，以生成复合影像2，其传输给下游方向上的下一个相机102。
图10C绘示与图10B不同的流程。特别的是，图10C绘示一种实施例，其将东面的现场影像212由采样区块122来进行裁切及旋转。换句话说，在一个操作中，如前所述，采样区块122对东面的现场影像212进行采样以裁切，而移除重迭的区域。在另一操作中，采样区块122对现场影像进行顺时针方向90度的旋转至东面的方向。定位区块124指派在复合影像中东面的位置给旋转过的采样（裁切）影像220，而不对现场影像进行旋转。组合区块126将旋转过的采样影像220插入复合影像1的东面部份，以生成复合影像2，其传输给下游方向上的下一个相机102。
参考图10D，复合影像2由下游方向上的下一个相机102所接收，且其亦接收南面的现场影像214。采样区块122对南面的现场影像214进行采样以裁切，而移除重迭的区域以生成采样影像217。定位区块124接收采样影像217，并将其旋转180度至南面的方向。定位区块124亦指派在复合影像中南面的位置给旋转过的采样影像222。组合区块126将旋转过的采样影像222插入复合影像2的南面部份，以生成复合影像3，其传输给下游方向上的下一个相机102。
图10E绘示与图10D不同的流程。特别的是，图10E绘示一种实施例，其将南面的现场影像214由采样区块122来进行裁切及旋转。换句话说，在一个操作中，如前所述，采样区块122对南面的现场影像214进行采样以裁切，而移除重迭的区域。在另一操作中，采样区块122对现场影像进行180度的旋转至南面的方向。定位区块124指派在复合影像中南面的位置给旋转过的采样（裁切）影像222，而不对现场影像进行旋转。组合区块126将旋转过的采样影像220插入复合影像2的南面部份，以生成复合影像3，其传输给下游方向上的下一个相机102。
参考图10F，复合影像3由下游方向上的下一个相机102所接收，且其亦接收西面的现场影像216。采样区块122对西面的现场影像216进行采样以裁切，而移除重迭的区域以生成采样影像219。定位区块124接收采样影像219，并将采样影像219进行顺时针方向270度（或逆时针方向90度）的旋转至西面的方向。定位区块124亦指派在复合影像中西面的位置给旋转过的采样影像224。组合区块126将旋转过的采样影像224插入复合影像3的西面部份，以生成完成的复合影像4，其进行传输以做为进一步处理使用，例如储存及/或显示。
图10G绘示与图10F不同的流程。特别的是，图10G绘示一种实施例，其将西面的现场影像216由采样区块122来进行裁切及旋转。换句话说，在一个操作中，如前所述，采样区块122对西面的现场影像216进行采样以裁切，而移除重迭的区域。在另一操作中，采样区块122对现场影像进行顺时针270度（或是逆时针90度）的旋转至西面的方向。定位区块124指派在复合影像中西面的位置给旋转过的采样（裁切）影像222，而不对现场影像进行旋转。组合区块126将旋转过的采样影像224插入复合影像3的南面部份，以生成复合影像4，其传输给下游方向上的下一个相机102，其进行传输以做为进一步处理使用，例如储存及/或显示。
特征的组合
本发明不同的特征已如上所详述，除本发明有明示排除外，本发明的范围涵盖所述特征的任意数量的组合。以下则根据本发明的概念，举数例说明本发明特征的数种组合。
在本发明任何所详述的实施例及/或权利要求之中，多个摄像单元以串联方式互相耦接。
在本发明任何所详述的实施例及/或权利要求之中，第二输入端接收第一复合影像
在本发明任何所详述的实施例及/或权利要求之中，第一复合影像为摄像单元所生成。
在本发明任何所详述的实施例及/或权利要求之中，各摄像单元进一步包括一采样单元，对现场影像进行采样以生成采样影像。
在本发明任何所详述的实施例及/或权利要求之中，其中采样单元以第一采样频率对现场影像中的第一部份进行采样，且以第二采样频率对现场影像中的第二部份进行采样，第一采样频率不同于第二采样频率，使得现场影像的失真（distortion）降低。
在本发明任何所详述的实施例及/或权利要求之中，当现场影像中的第一及第二部份的其中之一为相对压缩时，相对高的采样频率用于对现场影像中的第一及第二部份的该其中之一进行采样。
在本发明任何所详述的实施例及/或权利要求之中，当现场影像中的第一及第二部份的其中之一为相对扩张时，相对低的采样频率用于对现场影像中的第一及第二部份的该其中之一进行采样。
在本发明任何所详述的实施例及/或权利要求之中，采样单元对现场影像进行采样，使现场影像被裁切。
在本发明任何所详述的实施例及/或权利要求之中，采样单元通过省略对现场影像的至少一部份采样，来对现场影像进行裁切。
在本发明任何所详述的实施例及/或权利要求之中，采样单元对现场影像进行裁切以矫正影像偏移瑕疵（artifact）。
在本发明任何所详述的实施例及/或权利要求之中，采样单元对现场影像进行采样使现场影像被旋转。
在本发明任何所详述的实施例及/或权利要求之中，采样单元对现场影像进行采样使现场影像中的倾斜瑕疵被缩小。
在本发明任何所详述的实施例及/或权利要求之中，采样单元通过省略对包括有倾斜瑕疵的现场影像的至少一部份采样，以缩小倾斜瑕疵。
在本发明任何所详述的实施例及/或权利要求之中，采样单元通过转换包括有倾斜瑕疵的现场影像的至少一部份中数据点的坐标，以缩小倾斜瑕疵。
在本发明任何所详述的实施例及/或权利要求之中，采样单元仅对现场影像的预先选取的列进行采样，而抛弃现场影像的未选取的列。
在本发明任何所详述的实施例及/或权利要求之中，采样单元仅对现场影像的预先选取的行进行采样，而抛弃现场影像的未选取的行。
在本发明任何所详述的实施例及/或权利要求之中，各摄像单元进一步包括定位单元指派在第二复合影像范围内的位置给采样影像。
在本发明任何所详述的实施例及/或权利要求之中，定位单元将采样影像旋转至正确方向。
在本发明任何所详述的实施例及/或权利要求之中，各摄像单元进一步包括有一单元控制器，单元控制器自系统控制器处接收至少一个信号，以控制至少一个采样单元、定位单元及组合单元。
以上所述仅是举例性，而非限制性。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包括在权利要求所限定的范围内。

Claims (51)

1.一种摄像系统，用以生成影像，其特征在于，包括有：
多个摄像单元，所述摄像单元互相耦接；以及
系统控制器，与所述摄像单元耦接，以对各摄像单元提供至少一个信号；其中
各摄像单元包括有：
影像感测单元，用以产生现场影像，各现场影像为所述影像的一部分，
第一输入端，用以接收所述现场影像，
采样单元，对所述现场影像进行采样以生成采样影像，所述采样单元以第一采样频率对所述现场影像中的第一部份进行采样，且以第二采样频率对所述现场影像中的第二部份进行采样，所述第一采样频率不同于所述第二采样频率，使得所述现场影像的失真降低，
组合单元，用以接收第一复合影像且产生第二复合影像，所述第二复合影像为所述第一复合影像与所述采样影像的组合，以及
输出端，提供所述第二复合影像。
2.如权利要求1所述的摄像系统，其特征在于，所述多个摄像单元以串联方式互相耦接。
3.如权利要求1所述的摄像系统，其特征在于，各摄像单元进一步包括有第二输入端以接收所述第一复合影像。
4.如权利要求1所述的摄像系统，其特征在于，所述第一复合影像为所述摄像单元所生成。
5.如权利要求1所述的摄像系统，其特征在于，当所述现场影像中的所述第一及第二部份的其中之一为相对压缩时，相对高的采样频率用于对所述现场影像中的所述第一及第二部份的所述其中之一进行采样。
6.如权利要求1所述的摄像系统，其特征在于，当所述现场影像中的所述第一及第二部份的其中之一为相对扩张时，相对低的采样频率用于对所述现场影像中的所述第一及第二部份的所述其中之一进行采样。
7.如权利要求1所述的摄像系统，其特征在于，所述采样单元对所述现场影像进行采样，使所述现场影像被裁切。
8.如权利要求7所述的摄像系统，其特征在于，所述采样单元通过省略对所述现场影像的至少一部份采样，来对所述现场影像进行裁切。
9.如权利要求7所述的摄像系统，其特征在于，所述采样单元对所述现场影像进行裁切以矫正影像偏移瑕疵。
10.如权利要求1所述的摄像系统，其特征在于，所述采样单元对所述现场影像进行采样使所述现场影像被旋转。
11.如权利要求1所述的摄像系统，其特征在于，所述采样单元对所述现场影像进行采样使所述现场影像中的倾斜瑕疵被缩小。
12.如权利要求11所述的摄像系统，其特征在于，所述采样单元通过省略对包括有所述倾斜瑕疵的所述现场影像的至少一部份采样，以缩小所述倾斜瑕疵。
13.如权利要求11所述的摄像系统，其特征在于，所述采样单元通过转换包括有所述倾斜瑕疵的所述现场影像的至少一部份中数据点的坐标，以缩小所述倾斜瑕疵。
14.如权利要求1所述的摄像系统，其特征在于，所述采样单元仅对所述现场影像的预先选取的列进行采样，而抛弃所述现场影像的未选取的列。
15.如权利要求1所述的摄像系统，其特征在于，所述采样单元仅对所述现场影像的预先选取的行进行采样，而抛弃所述现场影像的未选取的行。
16.如权利要求1所述的摄像系统，其特征在于，各摄像单元进一步包括定位单元指派在所述第二复合影像范围内的位置给所述采样影像。
17.如权利要求16所述的摄像系统，其特征在于，所述定位单元将所述采样影像旋转至正确方向。
18.如权利要求16所述的摄像系统，其特征在于，所述摄像单元进一步包括有单元控制器，所述单元控制器自所述系统控制器处接收所述至少一个信号，以控制至少一个所述采样单元、所述定位单元及所述组合单元。
19.一种摄像单元，设置于用以生成影像的摄像系统中，其特征在于，所述摄像单元包括有：
影像感测单元，用以产生现场影像，所述现场影像为所述影像的一部分，
第一输入端，用以接收所述现场影像，
采样单元，对所述现场影像进行采样以生成采样影像，所述采样单元以第一采样频率对所述现场影像中的第一部份进行采样，且以第二采样频率对所述现场影像中的第二部份进行采样，所述第一采样频率不同于所述第二采样频率，使得所述现场影像的失真降低，
组合单元，用以接收第一复合影像且产生第二复合影像，所述第二复合影像为所述第一复合影像与所述采样影像的组合，以及
输出端，提供所述第二复合影像。
20.如权利要求19所述的摄像单元，其特征在于，进一步包括有第二输入端以接收所述第一复合影像。
21.如权利要求19所述的摄像单元，其特征在于，所述第一复合影像为所述摄像单元所生成。
22.如权利要求19所述的摄像单元，其特征在于，当所述现场影像中的所述第一及第二部份的其中之一为相对压缩时，相对高的采样频率用于对所述现场影像中的所述第一及第二部份的所述其中之一进行采样。
23.如权利要求19所述的摄像单元，其特征在于，当所述现场影像中的所述第一及第二部份的其中之一为相对扩张时，相对低的采样频率用于对所述现场影像中的所述第一及第二部份的所述其中之一进行采样。
24.如权利要求19所述的摄像单元，其特征在于，所述采样单元对所述现场影像进行采样，使所述现场影像被裁切。
25.如权利要求24所述的摄像单元，其特征在于，所述采样单元通过省略对所述现场影像的至少一部份采样，来对所述现场影像进行裁切。
26.如权利要求24所述的摄像单元，其特征在于，所述采样单元对所述现场影像进行裁切以矫正影像偏移瑕疵。
27.如权利要求19所述的摄像单元，其特征在于，所述采样单元对所述现场影像进行采样使所述现场影像被旋转。
28.如权利要求19所述的摄像单元，其特征在于，所述采样单元对所述现场影像进行采样使所述现场影像中的倾斜瑕疵被缩小。
29.如权利要求28所述的摄像单元，其特征在于，所述采样单元通过省略对包括有所述倾斜瑕疵的所述现场影像的至少一部份采样，以缩小所述倾斜瑕疵。
30.如权利要求28所述的摄像单元，其特征在于，所述采样单元通过转换包括有所述倾斜瑕疵的所述现场影像的至少一部份中数据点的坐标，以缩小所述倾斜瑕疵。
31.如权利要求19所述的摄像单元，其特征在于，所述采样单元仅对所述现场影像的预先选取的列进行采样，而抛弃所述现场影像的未选取的列。
32.如权利要求19所述的摄像单元，其特征在于，所述采样单元仅对所述现场影像的预先选取的行进行采样，而抛弃所述现场影像的未选取的行。
33.如权利要求19所述的摄像单元，其特征在于，进一步包括定位单元指派在所述第二复合影像范围内的位置给所述采样影像。
34.如权利要求33所述的摄像单元，其特征在于，所述定位单元将所述采样影像旋转至正确方向。
35.如权利要求33所述的摄像单元，其特征在于，进一步包括有单元控制器，所述单元控制器自与所述摄像单元耦接的系统控制器处接收至少一个信号，以控制至少一个所述采样单元、所述定位单元及所述组合单元。
36.一种方法，用以生成影像，其特征在于，包括有：
将多个摄像单元互相耦接；
将系统控制器与所述摄像单元耦接，以对各摄像单元提供至少一个信号；以及
在各摄像单元中：
产生现场影像，
对所述现场影像进行采样以生成采样影像，各采样影像为所述影像的一部分，所述采样的步骤包括以第一采样频率对所述现场影像中的第一部份进行采样，且以第二采样频率对所述现场影像中的第二部份进行采样，所述第一采样频率不同于所述第二采样频率，使得所述现场影像的失真降低，
接收第一复合影像，
产生第二复合影像，所述第二复合影像为所述第一复合影像与所述采样影像的组合，以及
提供所述第二复合影像作为输出。
37.如权利要求36所述的方法，其特征在于，所述多个摄像单元以串联方式互相耦接。
38.如权利要求36所述的方法，其特征在于，接收所述第一复合影像的步骤包括有生成所述第一复合影像。
39.如权利要求36所述的方法，其特征在于，当所述现场影像中的所述第一及第二部份的其中之一为相对压缩时，相对高的采样频率用于对所述现场影像中的所述第一及第二部份的所述其中之一进行采样。
40.如权利要求36所述的方法，其特征在于，当所述现场影像中的所述第一及第二部份的其中之一为相对扩张时，相对低的采样频率用于对所述现场影像中的所述第一及第二部份的所述其中之一进行采样。
41.如权利要求36所述的方法，其特征在于，所述现场影像经采样而使所述现场影像被裁切。
42.如权利要求41所述的方法，其特征在于，所述采样的步骤通过省略对所述现场影像的至少一部份采样，来对所述现场影像进行裁切。
43.如权利要求41所述的方法，其特征在于，所述采样的步骤对所述现场影像进行裁切以矫正影像偏移瑕疵。
44.如权利要求36所述的方法，其特征在于，所述现场影像经采样使所述现场影像被旋转。
45.如权利要求36所述的方法，其特征在于，所述现场影像经采样而使所述现场影像中的倾斜瑕疵被缩小。
46.如权利要求45所述的方法，其特征在于，所述采样的步骤通过省略对包括有所述倾斜瑕疵的所述现场影像的至少一部份采样，以缩小所述倾斜瑕疵。
47.如权利要求45所述的方法，其特征在于，所述采样的步骤通过转换包括有所述倾斜瑕疵的所述现场影像的至少一部份中数据点的坐标，以缩小所述倾斜瑕疵。
48.如权利要求36所述的方法，其特征在于，所述采样的步骤仅对所述现场影像的预先选取的列进行采样，而抛弃所述现场影像的未选取的列。
49.如权利要求36所述的方法，其特征在于，所述采样的步骤仅对所述现场影像的预先选取的行进行采样，而抛弃所述现场影像的未选取的行。
50.如权利要求36所述的方法，其特征在于，进一步包括对在所述第二复合影像范围内的所述采样影像指定位置。
51.如权利要求36所述的方法，其特征在于，进一步包括将所述采样影像旋转至正确方向。
CN201310319912.0A 2012-07-26 2013-07-26 使用多个摄像器以提供延伸视野的影像处理系统及方法 Active CN103581568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610910903.2A CN106572287B (zh) 2012-07-26 2013-07-26 使用多个摄像器以提供延伸视野的影像处理系统及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/559,257 2012-07-26
US13/559,257 US9124801B2 (en) 2012-07-26 2012-07-26 Image processing system and method using multiple imagers for providing extended view

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610910903.2A Division CN106572287B (zh) 2012-07-26 2013-07-26 使用多个摄像器以提供延伸视野的影像处理系统及方法

Publications (2)

Publication Number Publication Date
CN103581568A CN103581568A (zh) 2014-02-12
CN103581568B true CN103581568B (zh) 2017-06-06

Family

ID=49994523

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310319912.0A Active CN103581568B (zh) 2012-07-26 2013-07-26 使用多个摄像器以提供延伸视野的影像处理系统及方法
CN201610910903.2A Active CN106572287B (zh) 2012-07-26 2013-07-26 使用多个摄像器以提供延伸视野的影像处理系统及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610910903.2A Active CN106572287B (zh) 2012-07-26 2013-07-26 使用多个摄像器以提供延伸视野的影像处理系统及方法

Country Status (3)

Country Link
US (2) US9124801B2 (zh)
CN (2) CN103581568B (zh)
TW (2) TWI514872B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5938292B2 (ja) * 2012-08-03 2016-06-22 日立建機株式会社 運搬車両の監視装置
US9699379B1 (en) * 2012-09-17 2017-07-04 Amazon Technologies, Inc. Camera arrangements for wide-angle imaging
TWI545388B (zh) 2013-06-14 2016-08-11 豪威科技股份有限公司 產生全景圖像的系統和方法
JP2016066842A (ja) * 2014-09-24 2016-04-28 ソニー株式会社 信号処理回路および撮像装置
JP5846549B1 (ja) * 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
DE102015205479A1 (de) * 2015-03-26 2016-09-29 Robert Bosch Gmbh Verfahren zum Darstellen einer Fahrzeugumgebung eines Fahrzeuges
US20170127045A1 (en) * 2015-10-28 2017-05-04 Toppano Co., Ltd. Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
US20170243384A1 (en) * 2016-02-19 2017-08-24 Mediatek Inc. Image data processing system and associated methods for processing panorama images and image blending using the same
EP3264740B1 (en) 2016-06-30 2019-08-28 Nokia Technologies Oy Modular camera blocks for virtual reality capture
US10419681B2 (en) 2016-10-26 2019-09-17 Robert Bosch Gmbh Variable field of view multi-imager
TWI638221B (zh) * 2017-01-05 2018-10-11 旺玖科技股份有限公司 具有至少兩個鏡頭的全景影像擷取裝置及其全景影像擷取模組
WO2020174978A1 (ja) * 2019-02-27 2020-09-03 富士フイルム株式会社 撮像装置、撮像装置の画像データ処理方法、及びプログラム
CN111147742B (zh) * 2019-12-29 2020-07-14 张美燕 360度拍照方法、装置、计算机设备和存储介质
KR102282117B1 (ko) * 2020-01-31 2021-07-27 엘지전자 주식회사 인공지능 디스플레이 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543194A (zh) * 2003-03-08 2004-11-03 成津C&C株式会社 嵌入了网络集线器的网络摄像机
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4206840C2 (de) * 1991-03-05 1997-05-22 Ricoh Kk Einrichtung zum Erzeugen eines zusammengesetzten Bildes
AU5317696A (en) * 1995-03-24 1996-10-16 Ppt Vision, Inc. High speed digital video serial link
DE19900498B4 (de) * 1999-01-08 2009-01-29 Volkswagen Ag Verfahren und Einrichtung zur Einsichtnahme des rückwärtigen Beobachtungsraumes bei Kraftfahrzeugen
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
US7183945B2 (en) * 2001-08-17 2007-02-27 Spx Corporation Method and system for video capture of vehicle information
JP2004015286A (ja) * 2002-06-05 2004-01-15 Seiko Epson Corp ディジタルカメラ
US7046284B2 (en) 2003-09-30 2006-05-16 Innovative Technology Licensing Llc CMOS imaging system with low fixed pattern noise
JP2006155782A (ja) 2004-11-30 2006-06-15 Sony Corp 記録装置、再生装置、画像ファイル生成方法、表示制御方法
US7782374B2 (en) 2005-03-03 2010-08-24 Nissan Motor Co., Ltd. Processor and processing method for generating a panoramic image for a vehicle
CN101258743B (zh) * 2005-09-08 2010-07-14 汤姆森许可贸易公司 数字电影投影仪水印系统及方法
JP4449880B2 (ja) 2005-10-12 2010-04-14 ソニー株式会社 撮像装置
JP2007129404A (ja) * 2005-11-02 2007-05-24 Olympus Corp カメラシステム
US9152837B2 (en) * 2007-06-11 2015-10-06 Jeffrey A. Matos Apparatus and method for verifying the identity of an author and a person receiving information
JP4859652B2 (ja) * 2006-12-15 2012-01-25 アルパイン株式会社 画像表示装置
US9565419B2 (en) * 2007-04-13 2017-02-07 Ari M. Presler Digital camera system for recording, editing and visualizing images
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
KR100903566B1 (ko) * 2007-08-03 2009-06-23 김영기 인자 측정 및 표시 방법, 인자 측정 및 표시 장치, 인자측정 및 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는매체 및 음향 스캐너
TW200907557A (en) * 2007-08-08 2009-02-16 Behavior Tech Computer Corp Camera array apparatus and the method for capturing wide-angle video over a network
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP2010273038A (ja) * 2009-05-20 2010-12-02 Hoya Corp 撮像装置
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5300756B2 (ja) * 2010-02-05 2013-09-25 キヤノン株式会社 撮像装置及び画像処理方法
JP5364627B2 (ja) * 2010-03-17 2013-12-11 富士フイルム株式会社 パノラマ画像生成方法、パノラマ画像生成プログラム、撮像装置
US20120013776A1 (en) * 2010-07-16 2012-01-19 Chia-Jung Tsou Camera with at least two image sensor sets
US8705967B2 (en) * 2011-07-28 2014-04-22 Motorola Solutions, Inc. Serially-distributed access points in a communication network
US8855404B2 (en) * 2012-08-27 2014-10-07 The Boeing Company Methods and systems for inspecting a workpiece

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543194A (zh) * 2003-03-08 2004-11-03 成津C&C株式会社 嵌入了网络集线器的网络摄像机
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置

Also Published As

Publication number Publication date
CN103581568A (zh) 2014-02-12
TW201412106A (zh) 2014-03-16
TW201605240A (zh) 2016-02-01
TWI514872B (zh) 2015-12-21
TWI569643B (zh) 2017-02-01
CN106572287A (zh) 2017-04-19
CN106572287B (zh) 2019-02-01
US9124801B2 (en) 2015-09-01
US9485424B2 (en) 2016-11-01
US20150373270A1 (en) 2015-12-24
US20140028851A1 (en) 2014-01-30

Similar Documents

Publication Publication Date Title
CN103581568B (zh) 使用多个摄像器以提供延伸视野的影像处理系统及方法
US9420175B2 (en) Image processing system, image processing method, and computer-readable medium
CN102859989B (zh) 组合来自多个图像传感器的数据
JP6123274B2 (ja) 撮像装置
CN106357991A (zh) 图像处理方法、图像处理装置及显示系统
US20100111440A1 (en) Method and apparatus for transforming a non-linear lens-distorted image
US7071968B2 (en) System and method for a software steerable web camera with multiple image subset capture
US20050185047A1 (en) Method and apparatus for providing a combined image
US20160028950A1 (en) Panoramic Video from Unstructured Camera Arrays with Globally Consistent Parallax Removal
US8081232B2 (en) Correcting defective pixels of an image pickup element in an image pickup apparatus
JP2007282245A (ja) 画像合成装置及び画像合成方法
WO1998012866A1 (fr) Dispositif et procede de synthese d'images
EP1336293A1 (en) System and method for camera calibration
JP2011139367A (ja) 画像処理装置および画像処理方法
KR102354960B1 (ko) 복수 개의 이미지 합성을 통한 고해상도 이미지를 획득하는 장치 및 이 장치의 제어 방법
CN102314678B (zh) 图像分辨率提高装置及方法
KR100312964B1 (ko) 다중카메라 영상 합성시스템 및 영상 합성 방법
TWI353779B (zh)
JP3232408B2 (ja) 画像生成装置，画像呈示装置及び画像生成方法
CN110166688B (zh) 摄像设备和摄像设备的控制方法
EP1881451A2 (en) Edge-driven image interpolation
US8482570B2 (en) Parallel image processing apparatus and method with sampling pattern
JP2022137105A (ja) 撮影装置およびプログラム
TWI784605B (zh) 影像拼接方法
JP2022182840A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1189319

Country of ref document: HK

CB02 Change of applicant information

Address after: American California

Applicant after: OmniVision Technologies, Inc.

Address before: American California

Applicant before: Full Vision Technology Co., Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1189319

Country of ref document: HK