CN114374797A - 具有两个输出接口的摄像装置 - Google Patents

Abstract

一种具有两个输出接口的摄像装置，所述两个输出接口分别用于输出第一图像帧及第二图像帧。所述第一图像帧用于提供所述摄像装置的处理器进行特征获取并据以标记所述第二图像帧。标记后的第二图像帧用于提供外部的后端电路进行录像。

Description

具有两个输出接口的摄像装置

本申请是申请号为201911293936.7、申请日为2019年12月16日、名称为“摄像装置”的中国发明专利申请的分案申请。

技术领域

本发明有关一种摄像系统，更特别有关一种使用具有两个输出接口的摄像装置分别输出不同图像帧至后端电路，以执行图像特征辨识及标记与录像的智能型摄像系统。

背景技术

请参照图1所示，其显示已知的影像系统，包含图像传感器11及后端电路13。所述图像传感器11用于监视环境变化，并输出符合超高画质(Full HD)或更高分辨率格式的视频至所述后端电路13。该后端电路13记录所述视频并接着进行图像分析以对记录的视频中的图像特征进行标记。

一般而言，后端电路13的耗能较高，在现今节能省电的趋势下，需要尽量降低系统耗能。

有鉴于此，本发明提供一种智能型摄像系统，其可降低后端电路的数据处理量来降低整体耗能。

发明内容

本发明是提供一种智能型摄像系统，其使用具有两个输出接口的摄像装置分别输出不同分辨率的图像帧至不同接收端，并在进行录像之前完成特征标记。

本发明还提供一种包含图像传感器、第一输出接口以及第二输出接口的摄像装置。所述图像传感器用于获取多个像素的图像数据。所述第一输出接口耦接所述图像传感器并用于输出相对获取的所述图像数据的一部分并具有第一尺寸的第一图像帧至处理器。所述第二输出接口耦接所述图像传感器并用于输出相对获取的所述图像数据并具有第二尺寸的第二图像帧至后端电路，其中所述第二尺寸大于所述第一尺寸。

本发明实施例的特征标记为时间标记以外的任何标记，例如包含移动物标记、身份标记、人脸标记、肤色标记、人形物标记、车辆标记、车牌标记等。所述标记为附加于第二图像帧的像素数据的额外信息。

为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，详细说明如下。此外，于本发明的说明中，相同的构件以相同的符号表示，于此合先述明。

附图说明

图1是已知的影像系统的方框图；

图2是本发明实施例的摄像系统的方框图；

图3是本发明实施例的摄像装置的运作示意图；

图4是本发明另一实施例的摄像系统的方框图。

附图标记说明

200 摄像系统

20 摄像装置

21 图像传感器

22 第一输出接口

23 第二输出接口

24 处理器

25 缓存器

9 后端电路

具体实施方式

本发明适用于将所获取的图像帧传送至后端电路进行后处理的图像处理系统，该图像处理系统例如是安全监控系统。

本发明的一个目的在于减少后端电路的工作量以降低系统的整体耗能。后端电路可配置成纪录摄像装置输出的多个图像(或称为视频)，并在屏幕上拨放视频时通过选择所记录的特征标记，即可选择所欲观看的视频区间，从而实现智能型摄像系统。

请参照图2所示，其为本发明实施例的智能型摄像系统200的方框图，其包含相互耦接的摄像装置20以及后端电路9；其中，后端电路9具有图像录像(例如记录于内存)及播放(例如通过屏幕)的功能。后端电路9为电脑系统，例如笔记本电脑、平板电脑、桌面计算机或中央监视系统等。根据不同实施方式，后端电路9可具有快速拨放、倒带、选择视频区间等不同拨放模式。某些实施方式中，摄像系统200还可记录环境声音且后端电路9具有拨放音频资料的功能。

摄像装置20及后端电路9可配置成单一装置，或配置成彼此有线或无线耦接的两个装置，并无特定限制。后端电路9例如是摄像装置20外部的遥控中央服务器。

摄像装置20例如是感测芯片并形成为积体电路封装，并具有引脚(pin)以与外部电子组件通讯。摄像装置20包含图像传感器21、第一输出接口22、第二输出接口23以及处理器24。

第一输出接口22耦接处理器24，用于输出第一尺寸的第一图像帧Im1至处理器24进行图像辨识及分析。第二输出接口23通过引脚(未绘示)或通过其他有线或无线方式耦接摄像装置20外部的后端电路9，用于输出第二尺寸的第二图像帧Im2至后端电路9，例如通过传输线、总线和/或无线通道等方式。

一种非限定的实施方式中，所述第一尺寸优选远小于所述第二尺寸。例如，第二尺寸具有符合超高画质(full HD)或更高画质格式的尺寸，以记录适合用户观看的视频；第一尺寸具有符合标准画质(SD)或更低画质格式的尺寸，以降低处理器24所处理的数据量。

图像传感器21例如为CCD图像传感器、CMOS图像传感器或其他用于将光能量转换为电信号的感光装置。图像传感器21包含多个像素，用于在每个帧周期产生图像数据至第一输出接口22或第二输出接口23。例如，图像传感器21包含像素阵列用以产生图像数据，并具有取样电路(例如相关性双重取样电路，CDS)取样出每个像素的图像数据后，经由模拟数字转换单元(ADC)转换为数字数据以形成第一图像帧Im1或第二图像帧Im2。

图像传感器21以预定图框率获取相对连续图像帧的一连串图像数据。第一图像帧相对所述一连串图像数据的第一部分而第二图像帧相对所述一连串图像数据的第二部分。所述一连串图像数据的第一部分及第二部分是相同图像帧或不同图像帧的图像数据。

为了实现第一图像帧Im1小于第二图像帧Im2，一种实施方式中，所述第一图像帧Im1例如是通过在所述帧周期中关闭图像传感器21的像素阵列的部分像素所获取而得，亦即第一图像帧Im1包含像素阵列的部分像素输出的图像数据。另一种实施方式中，所述第一图像帧Im1是根据所述图像传感器输出的所述图像数据通过降低取样频率(downsampling)所产生，但本发明不限于此，其他用于降低图像传感器输出的图像帧尺寸的工艺亦可适用于本发明。

处理器24例如是特殊用途集成电路(ASIC)或数字处理器(DSP)，用于接收第一图像帧Im1并判断所述第一图像帧Im1中是否包含预定特征。例如，当第一图像帧Im1包含移动物体(例如通过比对多个图像帧)时即判断包含预定特征，但并不限于此。处理器24还可判断(例如通过机器学习或与预存特征比对)第一图像帧Im1中的人脸、人形物体、预定人物身份(ID)、预定车辆、预定车牌、肤色等，以表示第一图像帧Im1包含预定特征。当第一图像帧Im1包含所述预定特征时，处理器24则通知图像传感器21输出连续图像帧(或称视频)，即第二图像Im2，至后端电路9进行录像。

请参照图3，其为本发明某些实施例的摄像装置20的几种运作方式的示意图。图3中的每个箭号表示一个图像帧。图3中的第一行表示图像传感器21产生的图像帧，且图3中的每个箭号表示获取一个图像帧的图像数据。

实施方式I中，当处理器24判断第一图像帧Im1(例如时间T0的图像帧)包含预定特征时，控制图像传感器20通过第二输出接口23连续输出预定期间(例如时间T1至T2的期间)的第二图像帧Im2(且在所述预定期间不输出第一图像帧Im1)，并在所述预定期间输出的每个第二图像帧Im2加上与所述预定特征相关的标记tag。

标记tag例如包含于每个第二图像帧Im2的资料标头(data header)，如图2以填满斜线的区域表示。所述标记tag可根据不同图像特征而不同，例如所述标记tag可包含移动物标记、身份标记、人脸标记、肤色标记、人形物标记、车辆标记、车牌标记至少其中一者，但不限于此。处理器24例如通过缓存器(register)25改变数字值以根据不同的预定特征来对第二图像帧Im2加入一个或数个标记tag；其中，处理器24可配置为可标记预定种类的不同特征，种类的数目则根据不同应用及处理器24的处理能力而定。

更详言之，在实施方式I中，在处理器24判断第一图像帧Im1包含预定特征之前，图像传感器21不通过第二输出接口23输出任何第二图像帧Im2至后端电路9。当处理器24判断第一图像帧Im1包含预定特征时，表示被摄环境包含需要记录的信息，故进入录像模式(例如T1至T2期间)。录像模式中，后端电路9同时储存第二图像帧Im2的图像数据及标记资料。预定期间T1～T2中，图像传感器21不通过第一输出接口22输出第一图像帧Im1，且为了进一步节省耗能可关闭处理器24或使处理器24进入休眠模式。

预定期间T1～T2中，为了使图像传感器21正常实施自动曝光，图像传感器21还接收来自后端电路9的自动曝光控制信号(auto exposure control signal)AE2，其例如是后端电路9的处理器(例如中央处理器或微处理单元)通过判断第二图像帧Im2的亮度所产生。同时，由于处理器24休眠或关闭，处理器24不输出自动曝光控制信号AE1(其例如是处理器24通过判断第一图像帧Im1的亮度所产生)至图像传感器21。自动曝光控制信号AE1仅在进入录像模式之前被传送至图像传感器21。

预定期间在T2结束后，图像传感器21再度通过第一输出接口22输出(自动或受控于处理器24)第一图像帧Im1至处理器24(例如时间T3的图像帧)，处理器24判断时间T3以后(包含时间T3)的第一图像帧Im1是否包含预定特征并停止通过第二输出接口23输出第二图像帧Im2至摄像装置20的下游(例如是后端电路9)。当处理器24再度判断时间T3以后的某个第一图像帧Im1包含预定特征时，再度进入录像模式，由于从辨识预定特征到进入录像模式的运作方式已描述于前，故于此不再赘述。

一种非限定的实施方式中，第一输出接口22在所述预定期间T0～T2偶尔(预定的)输出第一图像帧Im1至处理器24。若处理器24在所述预定期间T0～T2持续判断到所述预定特征或其他新的预定特征，处理器24可自动延长所述预定期间T0～T2。更详言之，预定期间T0～T2根据所述预定期间T0～T2中所述第一图像帧Im1是否存在预定特征而可延长。

实施方式II中，当处理器24判断第一图像帧Im1(例如时间T0的图像帧)包含预定特征时，控制图像传感器21交互地通过第二输出接口23输出第二图像帧Im2(例如时间T1的图像帧)及通过第一输出接口22输出第一图像帧Im1，并在第二图像帧Im2加上与所述预定特征相关的至少一个标记tag，其已说明于上，故于此不再赘述。

更详言之，在实施方式II中，在处理器24判断第一图像帧Im1包含预定特征之前，图像传感器21不通过第二输出接口23输出任何第二图像帧Im2至摄像装置20的下游。进入录像模式(例如T1至T2期间)后，处理器24以较低的频率(例如图3显示为一半，但并不限于此)接收第一图像帧Im1，并判断每个第一图像帧Im1是否包含所述预定特征，但图像传感器21的图框率不变。亦即，当判断某个第一图像帧Im1包含预定特征时，处理器24则控制图像传感器21通过第二输出接口23输出至少一张(例如图3显示一张，但并不限于此)第二图像帧Im2至后端电路9并对其进行标记；其中该标记是根据输出的第二图像帧Im2前一个第一图像帧Im1所决定。当处理器24判断所述预定特征从第一图像帧Im1(例如时间T3的图像帧)消失时，则控制图像传感器21仅通过第一输出接口22输出第一图像帧Im1而不再通过第二输出接口23输出第二图像帧Im2。

实施方式II中，录像模式(例如T1至T2期间)中，由于处理器24仍持续运作，图像传感器21可根据来自处理器24的自动曝光控制信号AE1执行自动曝光运作，或根据来自后端电路9的自动曝光控制信号AE2执行自动曝光运作，并无特定限制。

更详言之，第一实施方式及第二实施方式中，由于第一图像帧Im1与第二图像帧Im2的使用目的不同，图像传感器21不同时通过第一输出接口22及第二输出接口23输出图像帧。当第一图像帧Im1不包含预定特征时，摄像系统200单纯根据第一图像帧Im1持续判断所述预定特征但不进行录像，例如后端电路9关闭。当第一图像帧Im1包含预定特征时，则选择连续输出第二图像帧Im2或相隔至少一个第一图像帧Im1输出第二图像帧Im2以供后端电路9进行录像，如图3所示。

另外，在第三实施方式III中，第一输出接口22及第二输出接口23平行输出第一图像帧Im1及第二图像帧Im2，例如第一图像帧Im1及第二图像帧Im2从相同的图像帧的图像数据抽取。处理器24判断第一图像帧Im1是否包含预定图像特征。若第一图像帧Im1经判断包含所述预定特征，第二输出接口23输出具有至少一个标记tag的第二图像帧Im2。反之，若第一图像帧Im1经判断不包含所述预定特征，第二输出接口23不将第二图像帧Im2输出至摄像系统200之外。

某些实施方式中，本发明实施例的智能型摄像系统200还包含红外线人体传感器(PIR)。此时，处理器24同时根据所述红外线人体传感器与图像传感器21的输出结果判断(例如判断其中之一是否侦测到移动物体或人体)是否通过第二输出接口23输出第二图像帧Im2至后端电路9进行录像，其实施方式与上述实施例类似，仅处理器24还接收红外线人体传感器的检测结果并据以判断人体，故于此不再赘述。

请参照图4，其为本发明另一实施例的摄像系统400的方框图。摄像系统400包含一个输出接口43用于输出图像帧至下游电路以及处理器44。处理器44判断所述图像帧Im是否包含预定特征。若所述图像帧Im经判断包含所述预定特征，输出接口43输出具有与所述预定特征相关的至少一个标记tag的图像帧至后端电路9。然而，若所述图像帧Im经判断不包含所述预定特征，输出接口43不输出图像帧Im至后端电路9。亦即，所述图像帧Im是等待处理器24的判断程序后才被输出至后端电路9。

本实施例的运作同样以图3实现，例如图3的Im1以Im2取代。更详言之，图4与图2的差异在于，图4中单一输出接口43以两个方向输出同一图像帧Im，且此运作是通过切换开关或多任务器来实现。

本发明实施例中，自动曝光控制信号例如用于控制图像传感器21的曝光时间、光源亮度、增益值等，以改变图像传感器21产生的图像帧的平均亮度至适当范围。

其他实施方式中，所述标记tag亦可仅表示第一图像帧Im1的简单分析结果，例如表示第一图像帧Im1包含人脸、人体肤色、人形物体或车辆。后端电路9的处理器是具有较强运算能力的处理器，其可根据第二图像帧Im2进一步执行身份辨识或车牌辨识等需要更多计算量的运作。

综上所述，已知的安全监控系统中，后端电路同时进行录像以及特征标示，且图像传感器仅输出单一尺寸的图像帧至所述后端电路以供录像。因此，本发明另提供一种可产生两种尺寸图像帧的摄像装置(参照图2)，其利用较低分辨率的图像帧判断出触发物体后，再输出标示后的高分辨率的图像帧至外部后端电路进行录像，由于所记录的连续图像已包含图像标记，后端电路可无须再进行特征标记的运作。

虽然本发明已通过前述实例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求所界定的范围为准。

Claims (10)

1.一种摄像装置，该摄像装置包含：

图像传感器，该图像传感器用于获取多个像素的图像数据；

第一输出接口，该第一输出接口耦接所述图像传感器，用于输出相对获取的所述图像数据的一部分并具有第一尺寸的第一图像帧至处理器；以及

第二输出接口，该第二输出接口耦接所述图像传感器，用于输出相对获取的所述图像数据并具有第二尺寸的第二图像帧至后端电路，

其中所述第二尺寸大于所述第一尺寸。

2.根据权利要求1所述的摄像装置，其中所述第一图像帧是通过在帧周期关闭所述图像传感器的部分像素所获取。

3.根据权利要求1所述的摄像装置，其中所述第一图像帧是根据所述图像传感器输出的所述图像数据通过降低取样频率所产生。

4.根据权利要求1所述的摄像装置，其中所述第一输出接口及所述第二输出接口不用于同时输出图像帧。

5.根据权利要求1所述的摄像装置，其中所述后端电路用于图像录像及图像播放。

6.根据权利要求1所述的摄像装置，其中所述处理器用于判断所述第一图像帧中的预定特征。

7.根据权利要求6所述的摄像装置，其中所述预定特征包含移动物体、人脸、人形物体、预定人物身份、预定车辆、预定车牌及肤色。

8.根据权利要求6所述的摄像装置，其中当所述处理器判断所述第一图像帧包含所述预定特征时，通知所述图像传感器通过所述第二输出接口输出所述第二图像帧至所述后端电路。

9.根据权利要求8所述的摄像装置，其中所述处理器还通过缓存器改变数字值以根据不同的预定特征对所述第二图像帧加入与所述预定特征相关的标记。

10.根据权利要求6所述的摄像装置，其中所述处理器判断所述第一图像帧包含所述预定特征之前，所述第二输出接口不输出所述第二图像帧。

Images