CN115883938A

CN115883938A - 图像系统

Info

Publication number: CN115883938A
Application number: CN202211663147.XA
Authority: CN
Inventors: 彭明辉
Original assignee: Xingchen Technology Co ltd
Current assignee: Xingchen Technology Co ltd
Priority date: 2022-12-23
Filing date: 2022-12-23
Publication date: 2023-03-31
Also published as: US20240214673A1

Abstract

本申请实施例公开了一种图像系统，图像系统包括多个数据传输接口电路、多个视讯输入接口电路以及自动曝光控制电路。每一个数据传输接口电路根据第一控制信号与一第二控制信号触发以提供曝光参数数据给多个图像传感器中的对应者。多个视讯输入接口电路分别从该些图像传感器接收多个图像数据，而该第二控制信号与至少一图像数据的一图像帧时序相关。自动曝光控制电路从多个视讯输入接口电路接收多个图像数据，并根据该些图像数据更新该曝光参数数据，并在更新曝光参数数据后产生该第一控制信号。

Description

图像系统

技术领域

本申请涉及图像系统，具体涉及一种可同步更新多个图像传感器的图像拼接系统。

背景技术

在现有的图像拼接系统中，是通过系统中的中央处理器来依序更新多个图像传感器的曝光参数。如此一来，多个图像传感器的新曝光参数可能会在不同期间生效，因此可能发生多个图像传感器依不同的曝光参数拍摄所得的多张图像拼接成一拼接图像而造成图像质量不佳的情况。此外，若待处理的图像传感器的数量较多，会使得中央处理器的工作负载变多，从而导致整体运行效率降低。

发明内容

本申请实施例提供一种图像系统，其可改善上述先前技术的不足。

本申请实施例提供一种图像系统，包括多个数据传输接口电路、多个视讯输入接口电路以及自动曝光控制电路。该些数据传输接口电路中每一者根据一第一控制信号与一第二控制信号触发以提供一曝光参数数据给多个图像传感器中的一对应者。多个视讯输入接口电路分别从该些图像传感器接收多个图像数据。其中，该些图像数据用以拼接为一单一图像，且该第二控制信号与该些图像数据中至少一者的一图像帧时序相关。自动曝光控制电路从该些视讯输入接口电路接收该些图像数据，并根据该些图像数据更新该曝光参数数据，并在更新该曝光参数数据后产生该第一控制信号。

有关本申请的特征、实作与功效，兹配合图式作较佳实施例详细说明如下。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为本申请实施例提供的图像系统的示意图；

图1B为本申请实施例提供的与图1A中的多个图像数据相关的图像帧时序的波形图；

图2A为本申请实施例提供的图像系统的示意图；

图2B为本申请实施例提供的图2A中的视讯输入接口电路的示意图；

图2C为本申请实施例提供的图2B中的时序侦测器所执行的操作流程图；

图3为本申请实施例提供的图像系统的示意图；

图4为根本申请实施例提供的图像系统的示意图；

图5为本申请实施例提供的图像系统的示意图；

图6为本申请实施例提供的图像系统的示意图；以及

图7为本申请实施例提供的图像系统的示意图。

【符号说明】

0～3:图像帧

100:图像系统

110[1],110[2]:数据传输接口电路

111[1],111[2]:直接存储器存取电路

120[1],120[2]:视讯输入接口电路

130:自动曝光控制电路

140:同步电路

150:时序控制电路

160:更新控制电路

200,300,400,500,600,700:图像系统

205:存储器

205A,205B:缓冲器

215:中央处理器

221:图像接收器

222:字组直接存储器存取电路

223:时序侦测器

510[1],510[2],610[2]:缓冲器

AE1,AE2:曝光参数数据

FS:图像帧同步信号

ID1,ID2:图像数据

IF1,IF2:图像传感器

LS:行同步信号

S21,S22,S23:操作

SC1:控制信号

SC2:控制信号

ST:触发信号

VS:同步信号

Vsync:垂直同步信号

t0～t2:时间

具体实施方式

本文所使用的所有词汇具有其通常的意涵。上述词汇在普遍常用字典中的定义，在本申请的内容中包括任一于此讨论的词汇的使用例子仅为示例，不应限制到本申请的范围与意涵。同样地，本申请亦不仅以于此说明书所示出的各种实施例为限。

关于本文中所使用的“耦接”或“连接”，均可指二或多个组件相互直接作实体或电性接触，或是相互间接作实体或电性接触，亦可指二或多个组件相互操作或动作。如本文所用，用语“电路”可为由至少一个晶体管和/或至少一个主被动组件按一定方式连接以处理信号的装置。

图1A为本申请实施例提供的图像系统100的示意图。在一些应用中，图像系统100可控制多个图像传感器IF1～IF2同步进行拍摄以产生多个图像数据ID1～ID2，以组合该些图像数据ID1～ID2为单一图像。

图像系统100包括多个数据传输接口电路110[1]～110[2]、多个视讯输入接口电路120[1]～120[2]、自动曝光控制电路130、同步电路140、时序控制电路150、更新控制电路160。数据传输接口电路110[1]～110[2]分别耦接到多个图像传感器IF1～IF2。在一些实施例中，数据传输接口电路110[1]～110[2]中每一者可为，但不限于，集成电路间(Inter-Integrated Circuit,I2C)总线接口电路。多个数据传输接口电路110[1]～110[2]中每一者可传输曝光参数数据给多个图像传感器IF1～IF2中的一对应者。

具体而言，数据传输接口电路110[1]可传输曝光参数数据AE1给图像传感器IF1，且数据传输接口电路110[2]可传输曝光参数数据AE2给图像传感器IF2。曝光参数数据包括对应的图像传感器在后续拍摄中要套用的控制参数，例如包括，但不限于，曝光时间、快门速度、放大增益等等。

多个视讯输入接口(video input interface)电路120[1]～120[2]分别耦接到多个图像传感器IF1～IF2。多个视讯输入接口电路120[1]～120[2]中每一者可从多个图像传感器IF1～IF2中的一对应者接收一对应的图像数据。详细而言，视讯输入接口电路120[1]可从图像传感器IF1接收图像数据ID1，且视讯输入接口电路120[2]可自图像传感器IF2接收图像数据ID2。

自动曝光控制电路130可从多个视讯输入接口电路120[1]～120[2]接收多个图像数据ID1～ID2，并根据该些图像数据ID1～ID2执行一自动曝光算法以决定是否更新曝光参数数据AE1～AE2。例如，若自动曝光控制电路130判断多个图像数据ID1～ID2的图像内容的亮度过低，自动曝光控制电路130可决定增加多个图像传感器IF1～IF2的曝光时间，并据此更新曝光参数数据AE1～AE2。在更新完曝光参数数据AE1～AE2后，自动曝光控制电路130更输出控制信号SC1，控制信号SC1用以指示曝光参数数据AE1～AE2已更新。

在一些实施例中，自动曝光控制电路130可包括图像处理电路(未示出)以及执行自动曝光算法的处理电路(未示出)。图像处理电路可接收多个图像数据ID1～ID2，并对该些图像数据ID1～ID2进行处理以产生多个图像信息(例如包括，但不限于，亮度分布统计、灰阶值、饱和度、对比等等)。该处理电路可根据该些图像信息执行该自动曝光算法以决定是否更新曝光参数数据AE1～AE2。在一些实施例中，执行自动曝光算法的处理电路可为，但不限于，系统中的中央处理器(例如为图2A的中央处理器215)。

同步电路140产生同步信号VS，以控制多个图像传感器IF1～IF2同时进行拍摄以同步地产生该些图像数据ID1～ID2。在一些实施例中，同步电路140可为多个图像传感器IF1～IF2的从属(slave)控制器。时序控制电路150根据多个图像数据ID1～ID2产生至少一控制信号SC2，其中至少一控制信号SC2与该些图像数据ID1～ID2中至少一者的图像帧(frame)时序相关。更新控制电路160根据控制信号SC1以及至少一控制信号SC2产生触发信号ST。如此，数据传输接口电路110[1]～110[2]可根据触发信号ST同时将更新后的曝光参数数据AE1～AE2传送到多个图像传感器IF1～IF2，使多个图像传感器IF1～IF2以更新后的曝光参数数据AE1～AE2进行后续拍摄。

在不同实施例中，时序控制电路150的操作可由独立电路执行，或是由多个视讯输入接口电路120[1]～120[2]中的至少一者执行(即将时序控制电路150功能整合到视讯输入接口电路120[1]～120[2]，如图2A、图3、图4、图5或图6所示)，或是由同步电路140执行(即将时序控制电路150的功能整合到同步电路140，如图7所示)。在不同实施例中，更新控制电路160可由独立电路(例如为图2A、图5、图6或图7的中央处理器215)执行，或是由数据传输接口电路110[1]～110[2]执行(即将时序控制电路150的功能整合到数据传输接口电路110[1]～110[2]，如图3或图4所示)。

通过上述设置方式，多个图像传感器IF1～IF2可在相同时间内载入更新后的曝光参数数据AE1～AE2，并开始进行后续拍摄。如此，可确保多个图像传感器IF1～IF2可在相同时间改为基于更新后的曝光参数数据AE1～AE2产生后续的图像数据AE1～AE2，以获得相近图像质量的图像内容。

图1B为本申请实施例提供的与图1A中的多个图像数据ID1～ID2相关的图像帧时序的波形图。如前所述，多个图像传感器IF1与IF2受控于同步信号VS而同时产生多个图像数据ID1～ID2。多个图像数据ID1～ID2中每一者可包括多个图像帧0～3，且每一个图像帧的期间可由垂直同步信号Vsync设定。

在此例中，在时间t0(例如是图像帧0结束的时间点)，自动曝光控制电路130接收到多个图像数据ID1～ID2中每一者的图像帧0，并开始根据图像帧0的图像内容决定是否要调整曝光参数数据AE1～AE2。在时间t1(在图像帧1的期间内)，自动曝光控制电路130计算出新的曝光参数数据AE1～AE2，并产生控信号SC1。在时间t2(在图像帧1的期间内)，时序控制电路150根据图像数据ID1或图像数据ID2中至少一者的图像帧时序产生至少一控制信号SC2，使得更新控制电路160根据控制信号SC1以及至少一控制信号SC2产生触发信号ST。在此条件下，数据传输接口电路110[1]～110[2]可根据触发信号ST将更新后的曝光参数数据AE1～AE2传送到多个图像传感器IF1～IF2。接着，在图像帧3开始后，更新后的曝光参数数据AE1～AE2可生效，使得多个图像传感器IF1～IF2可基于更新后的曝光参数数据AE1～AE2进行拍摄来产生图像数据ID1与ID2中的图像帧3。

在一些熟知相关技术中，多个图像传感器的曝光参数数据是在不同时间内被调整，使得更新后的曝光参数数据可能会在不同时间内生效，而导致多个图像传感器在不同的图像帧期间开始使用更新后的曝光参数数据进行拍摄。在某些图像帧期间内，可能会有部分的图像传感器使用更新后的曝光参数数据进行拍摄，且另一部分的图像传感器仍在使用更新前的曝光参数数据进行拍摄。如此一来，拼接后所得到的图像在该些图像帧内会具有较差的拍摄效果(例如，部分区域的亮度会过高等等)。通过图1A中的设置方式，可使得多个图像传感器IF1～IF2在相同时间内载入更新后的曝光参数数据，以同时使用更新后的曝光参数数据来进行拍摄，使得拼接后所得到的图像可具有较佳的拍摄效果。

图2A为本申请实施例提供的图像系统200的示意图。在此例中，图像系统200还包括存储器205，存储器205中包括由不同记忆区块构成的缓冲器205A及缓冲器205B，且图1A的更新控制电路160可由系统中的中央处理器215实施，数据传输接口电路110[1]包括直接存储器存取(direct memory access,DMA)电路111[1]，且数据传输接口电路110[2]包括直接存储器存取电路111[2]。在一些实施例中，存储器205可为，但不限于，动态随机存取存储器。在一些实施例中，存储器205设置于图像系统200之外，图像系统200以外接的方式与存储器205连接，存储器205可为系统中与其他电路共享的存储器。

自动曝光控制电路130可将曝光参数数据AE1储存到存储器205中的缓冲器205A，并将曝光参数数据AE2储存到存储器205中的缓冲器205B。数据传输接口电路110[1]与110[2]可根据控制信号SC1与至少一控制信号SC2控制直接存储器存取电路111[1]与111[2]分别自缓冲器205A与205B读取曝光参数数据AE1与AE2并将曝光参数数据AE1与AE2传送给图像传感器IF1与IF2。例如，中央处理器215可根据控制信号SC1与控制信号SC2产生触发信号ST，且数据传输接口电路110[1]与110[2]可根据触发信号ST的触发而分别控制直接存储器存取电路111[1]与111[2]进行上述操作。

在此例中，图1A的时序控制电路150的功能可整合到多个视讯输入接口电路120[1]～120[2]中的一者。例如，视讯输入接口电路120[2]可侦测图像数据ID2的图像帧时序以产生至少一控制信号SC2。详细而言，视讯输入接口电路120[2]还包括时序侦测器(例如为图2B的时序侦测器223)，其可侦测所接收到的图像数据ID2的行数，并在该行数符合一目标值时产生至少一控制信号SC2。关于此处的操作与设置方式将于后参照图2B与图2C说明。

图2B为本申请实施例提供的图2A中的视讯输入接口电路120[2]的示意图。视讯输入接口电路120[2]包括图像接收器221、字组直接存储器存取(word DMA)电路222以及时序侦测器223。图像接收器221可接收图像数据ID2，并根据该图像数据ID2的图像帧时序产生行同步信号LS以及图像帧同步信号FS。字组直接存储器存取电路222可将图像数据ID2转存到存储器205中的图像缓冲器(未示出)。时序侦测器223可根据行同步信号LS以及图像帧同步信号FS确认当下所接收到图像数据ID2的行数。

应当理解，图像数据中的一图像帧可由多个行(line)组成，且可透过逐行处理图像数据中的像素以显示该图像帧。例如，当图像帧同步信号FS转态一次(例如为图1B中的垂直同步信号)，代表图像数据ID2的图像帧开始。接着，若行同步信号LS转态，代表处理/接收完图像数据ID2的第1行。依此类推，若行同步信号LS转态N次，代表处理/接收完图像数据ID2的第N行。如此，时序侦测器223可包括一行计数器(未示出)，其可根据行同步信号LS以及图像帧同步信号FS进行计数，以确认图像数据ID1的当前行数。时序侦测器223可将此行数与目标值进行比较，以决定是否输出至少一控制信号SC2。在此例中，至少一控制信号SC2可为对中央处理器215的中断请求。

图2C为本申请实施例提供的图2B中的时序侦测器223所执行的操作流程图。在操作S21，根据行同步信号进行计数，以得到当前行数，并在接收到图像帧同步信号FS时重置计数值。在操作S22，比较该当前行数与目标值，以确认当前行数是否等于该目标值。若当前行数等于该目标值，执行操作S23；反之，则再次执行操作S21。在操作S23，输出至少一控制信号(即至少一控制信号SC2)。

在一些实施例中，该目标值可为一特定行数，该特定行数对应的时间点为足以让自动曝光控制电路130产生更新后的曝光参数数据AE1或AE2的时间(例如可为图1B中的时间t2)。在不同实施例中，依据实际需求，该目标值亦可设定为图像帧起始时间或图像帧结束时间所对应的行数，且本申请并不以此为限。

图3为本申请实施例提供的图像系统300的示意图。在此例中，图1A的更新控制电路160的功能可整合到多个数据传输接口电路110[1]与110[2]，且图1B的时序控制电路150的功能可整合到多个视讯输入接口电路120[1]与120[2]。

详细而言，多个视讯输入接口电路120[1]与120[2]中每一者的时序侦测器(例如为图2B中的时序侦测器223)可根据一对应图像数据产生至少一控制信号SC2的一对应者，并将至少一控制信号SC2的该对应者传输给对应的数据传输接口电路，使得该对应的数据传输接口电路可提供对应的曝光参数数据给对应的图像传感器。例如，视讯输入接口电路120[1]根据图像数据ID1产生至少一控制信号SC2中的一信号，并将此信号传输给数据传输接口电路110[1]。如此，数据传输接口电路110[1]可根据此信号触发而将曝光参数数据AE1载入到产生图像数据ID1的图像传感器IF1。类似地，视讯输入接口电路120[2]、数据传输接口电路110[2]以及图像传感器IF2之间的操作亦可依此类推。

如前所述，图1A的更新控制电路160的功能可整合到多个数据传输接口电路110[1]与110[2]。例如，多个数据传输接口电路110[1]与110[2]中每一者的直接存取存储器电路(例如为图2A中的直接存储器存取电路111[1]与111[2])可根据控制信号SC1以及至少一控制信号SC2中的一对应者触发，而自存储器205读取对应的曝光参数数据AE1或AE2并通过数据传输接口电路110[1]或110[2]传输给对应的图像传感器IF1或IF2。如此，可避免中央处理器215受到过多的中断请求，进而提升中央处理器215的处理效率。

在一些实施例中，图3所示的设置方式可适用于图像传感器IF1与图像传感器IF2属于不同类型的图像传感器的情形。例如，在一些应用中，图像传感器IF1可为一般图像传感器，而图像传感器IF2为红外光传感器。在此情形下，由于两者的硬件上可能存在不同的传输或处理延迟，通过使用各自对应的一组数据传输接口电路以及视讯输入接口电路来直接控制图像传感器IF1与IF2，可避免中央处理器215受到延迟时间较长(可能要等待延迟时间较长的图像传感器完成运作)的中断请求。

图4为根本申请实施例提供的图像系统400的示意图。不同于图3，在此例中，多个视讯输入接口电路120[1]与120[2]中的一对应者(例如为视讯输入接口电路120[2])可根据对应图像数据ID2产生至少一控制信号SC2，并将此至少一控制信号SC2传输给多个数据传输接口电路110[1]与110[2]。例如，视讯输入接口电路120[2]中的时序侦测器(例如为图2B中的时序侦测器223)可根据对应图像数据ID2产生至少一控制信号SC2，并将至少一控制信号SC2传输给多个数据传输接口电路110[1]与110[2]。如此，多个数据传输接口电路110[1]与110[2]可根据控制信号SC1以及至少一控制信号SC2以传输对应的曝光参数数据AE1或AE2给对应的图像传感器IF1或IF2。

图5为本申请实施例提供的图像系统500的示意图。相较于图2，图像系统500未使用到存储器205。在此例中，多个数据传输接口电路110[1]与110[2]中每一者包括缓冲器(分别标示为缓冲器510[0]以及缓冲器510[2])。缓冲器510[0]与缓冲器510[2]可由暂存器或静态随机存取存储器(SRAM)所构成。缓冲器510[1]可储存图像传感器IF1要接收的曝光参数数据AE1，且缓冲器510[2]可储存图像传感器IF2要接收的曝光参数数据AE2。多个数据传输接口电路110[1]与110[2]可根据触发信号ST触发，而将缓冲器510[0]以及缓冲器510[2]中的曝光参数数据AE1～AE2分别载入到图像传感器IF1与IF2。

图6为本申请实施例提供的图像系统600的示意图。不同于图5。在此例中，多个数据传输接口电路110[1]与110[2]中的一者包括缓冲器，且此缓冲器储存所有图像传感器IF1～IF2所要接收的曝光参数数据AE1与AE2。例如，数据传输接口电路110[2]包括缓冲器610[2]，其可储存曝光参数数据AE1与AE2。缓冲器610[2]可由暂存器或静态随机存取存储器所构成。数据传输接口电路110[1]可从缓冲器610[2]读出该曝光参数数据AE1。在一实施例中，缓冲器610[2]可设置于数据传输接口电路110[2]的外部，并由多个数据传输接口电路110[1]与110[2]所共享。

图7为本申请实施例提供的图像系统700的示意图。不同于图2。在此例中，图1A的时序控制电路150(或图2B中的时序侦测器223)的功能整合到同步电路140。换言之，同步电路140可根据同步信号VS的相关信息(例如包括，但不限于，图1B中的垂直同步信号Vsync的时序)来产生至少一控制信号SC2。中央处理器215可根据此至少一控制信号SC2以及控制信号SC1决定是否产生触发信号ST。

为方便说明，上述多个实施例仅以两个图像传感器为例说明。依据实际应用需求，上述的多个实施例可使用2个或2个以上的图像传感器。因此，本申请所适用的图像传感器数量并不限于上述的多个实施例。在上述多个实施例中，中央处理器215亦可由独立电路实施，以更进一步降低中央处理器215的负载。此外，上述多个实施例中系以图像拼接的应用场景来说明本申请可使多个图像传感器同时更新曝光参数数据的图像系统，然而该些实施例并非用来限定本申请的图像系统亦应用于其它场景。

需要说明的是，本申请实施例中，“多个”包括“两个”以及“两个以上”。

综上所述，本申请一些实施例中的图像系统具有多种设置方式，以使多个图像传感器可同时更新曝光参数数据以获得较为一致的拼接图像。再者，在一些设置方式中，可将更新曝光参数数据的操作整合到其他电路或是由独立电路执行以降低中央处理器的负载，从而改善整体系统的运行效率。

以上对本申请实施例所提供的图像系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种图像系统，其特征在于，包括：

多个数据传输接口电路，其中，所述多个数据传输接口电路中每一者根据一第一控制信号与一第二控制信号触发以提供一曝光参数数据给多个图像传感器中的一对应者；

多个视讯输入接口电路，分别从所述多个图像传感器接收多个图像数据，其中，所述第二控制信号与所述多个图像数据中至少一者的一图像帧时序相关；以及

一自动曝光控制电路，从所述多个视讯输入接口电路接收所述多个图像数据，并根据所述多个图像数据更新所述曝光参数数据，并在更新所述曝光参数数据后产生所述第一控制信号。

2.如权利要求1所述的图像系统，其特征在于，所述多个图像数据用以拼接为一单一图像。

3.如权利要求1所述的图像系统，其特征在于，所述自动曝光控制电路传输所述第一控制信号给一中央处理器，所述中央处理器根据所述第一控制信号与所述第二控制信号产生一触发信号，且所述多个数据传输接口电路中每一者根据所述触发信号触发以提供所述曝光参数数据给所述多个图像传感器中的所述对应者。

4.如权利要求1所述的图像系统，其特征在于，所述曝光参数数据储存在一存储器，所述多个数据传输接口电路中每一者包括一直接存储器存取电路，且所述直接存储器存取电路根据所述第一控制信号与所述第二控制信号触发以从所述存储器传输所述曝光参数数据给所述多个图像传感器中的所述对应者。

5.如权利要求1所述的图像系统，其特征在于，所述多个视讯输入接口电路中的一者侦测所述多个图像数据中的一对应者的所述图像帧时序以产生所述第二控制信号。

6.如权利要求5所述的图像系统，其特征在于，所述多个视讯输入接口电路中的所述者侦测所述多个图像数据中的所述对应者的一行数，并在所述行数符合一目标值时产生所述第二控制信号。

7.如权利要求1所述的图像系统，其特征在于，所述多个视讯输入接口电路中的一对应视讯输入接口根据所述多个图像数据中的一对应图像数据产生所述第二控制信号，并传输所述第二控制信号到所述多个数据传输接口电路。

8.如权利要求1所述的图像系统，其特征在于，所述多个数据传输接口电路中每一者包括一缓冲器，且所述缓冲器储存所述多个图像传感器中的所述对应者所要接收的所述曝光参数数据。

9.如权利要求1所述的图像系统，其特征在于，所述多个数据传输接口电路中的一者包括一缓冲器，所述缓冲器储存所述多个图像传感器中每一者所要接收的所述曝光参数数据，且所述多个数据传输接口电路中的剩余者从所述缓冲器读取所述曝光参数数据。

10.如权利要求1所述的图像系统，其特征在于，所述图像系统还包括：

一同步电路，产生一同步信号，以控制所述多个图像传感器同步产生所述多个图像数据。

11.如权利要求10所述的图像系统，其特征在于，所述同步电路还产生所述第二控制信号。