CN101621669A - 影像监视系统以及其影像信息加注与解注模块和方法 - Google Patents

Abstract

一种影像监视系统，拍摄至少一影像来源以获得其原始影像，并撷取原始影像的特征信息；将至少包含此特征信息的加注信息嵌入于原始影像后，转成与原始影像相同格式的另一影像。此另一影像经压缩与解压缩后，系统再从解压缩后的内嵌串流中抽出内嵌信息，并且经错误回复解码与影像处理后，将影像与加注信息分离，以获得完整还原的加注信息。由于影像格式未变，此另一影像在系统后端的作业，如影像压缩、解压缩等，不会受到影响。

Description

影像监视系统以及其影像信息加注与解注模块和方法

技术领域

本发明是关于一种影像监视系统(Video Surveillance System)以及其影像信息加注(Annotate)与解注(De-annotate)技术。

背景技术

早期的影像监视系统以模拟监视器搭配卡带式影像录放机(VideoCassette Recorder，VCR)，在事件发生之后，再以人工方式调阅录像带。现在的监视系统大幅度的数字化，监视器采用网络摄影机(IP Camera)，监视影像直接转为数字信息，并通过网络往系统后端传送。系统后端则是以数字影像录放机(Digital Vedio Recorder，DVR)取代磁带式的VCR，可加快资料的搜寻，资料的保存也更方便。由于影像撷取与影像保存的数字化，安全监控的应用大幅提升，但在事件的处里上，仅能通过时间索引，进行事后的人工判读。若能在影像撷取的过程中，将画面的内容进行影像辩识与分析，并与外部感应器的信息加以整合，加注(Annotate)在影像内容中，如此在后端的处里搜寻时，不但可针对时间搜寻，也可针对画面的内容、人物或事件进行搜寻，更进一步的，可由系统直接判断事件的发生，发出警讯、自动录像与后续处理。

美国专利号6,928,165揭露的通讯系统中，利用多任务器(Multiplexer)，通过如分时(Time Division)或是分频(FrequencyDivision)等方式，以同一个传输接口分别传输影像与外加信息，并利用在影像中加入数字水印(Watermark)的方式来描述影像与外加信息之间的关连性。然而，影像与外加信息并没有相互结合成与原影像格式相同的资料来传输。加注信息与影像间也需要有一个同步的机制。

美国专利号6,952,236揭露的嵌入在影像流的文字转换(ConversionOf Text Embedded In A Video Stream)技术中，将信息隐藏在影像扫瞄线(Scan Line)换行的时间空档。资料被撷取出来后，利用一个转换器将文字资料格式转换成符合欧洲或美国的系统。此类资料隐藏的架构，适用在扫瞄显示器的系统。资料在经过压缩后，被隐藏的信息就不存在，所以无法使用于网络摄影机(IP Cam)等现行的影像监视系统架构中。

美国专利号7,050,603提出一种将影像中的对象信息，以水印的方式嵌入影像中的系统架构。嵌有水印的影像信息经过传输后，再将嵌有水印的影像信息解码，获得单纯的影像信息与影像对象信息。此文献未提及影像压缩与解压缩的过程，也未提及如何保证所获得的对象信息的完整性。

前述或现有的安全监控系统中，有的系统前端仅有影像撷取的功能，当额外的信息需要往系统后端传送时，通常把影像及数据资料分开传送。如此，需要另外添加数据传输接口，资料与画面也需要同步，系统建置的复杂度也随之大幅增加。有的系统直接以文字的方式，将信息加注在画面上，例如系统时间、地点等信息。此加注信息是固定形式的信息，并且加注信息的影像其影像格式已被更改或是无法再还原成原影像。

发明内容

本揭露的实施范例中，可提供一种影像信息加注与解注技术，以及嵌入信息于影像流的一种影像监视系统。此影像信息加注技术将额外信息，例如影像特征信息与外部感测信号的加注信息，加入原始影像中，并转换成为另一张与原始影像相同格式的影像。此影像信息解注技术可针对已加注的原始影像信息，与现有影像处理技术相结合，进行快速还原，并且可确保所获得的加注信息的完整性。通过此影像信息加注与解注技术，此影像监视系统中，加注在影像中的信息不会影响后续的作业，如影像压缩、传输、解压缩、储存等。

在一实施范例中，所揭露的是关于一种影像监视系统，包含：一影像特征撷取模块(Image Feature Extraction Module)、一影像信息加注模块(Image Information Annotation Module)、一影像压缩模块(ImageCompression Module)、一影像解压缩模块(Image De-compressionModule)、以及一影像信息解注模块(Image Information De-annotationModule)。影像特征撷取模块拍摄至少一影像来源以获得一原始影像，并撷取此原始影像的特征信息。影像信息加注模块将至少包含此特征信息的加注信息嵌入于原始影像，并且将嵌入后的影像转成与原始影像相同格式的内含加注信息的影像。此内含加注信息的影像输入至压缩模块进行压缩。通过解压缩模块对压缩后的影像进行解压缩。影像信息解注模块从解压缩后的内嵌串流中抽出内嵌信息，并且经错误回复解码与影像处理后，将一目标影像与加注信息分离。

在另一实施范例中，所揭露者是关于一种影像信息加注模块，包含：一错误校正处理单元、一影像处理单元、以及一加注单元。错误校正处理单元通过一错误回复编码方法与一门槛值运算，将加注信息编码成为嵌入信息。影像处理单元将原始影像经影像处理，算出原始影像可嵌入信息的容量。加注单元将L份的编码后的嵌入信息嵌入于原始影像，L为一可嵌入信息倍数，并且将嵌入后的影像转成与原始影像相同格式的另一影像。

在另一实施范例中，所揭露者是关于一种影像信息解注模块，包含：一解注单元以及一影像处理单元。解注单元从一含有内嵌信息的内嵌串流(Embedded Stream)中抽出内嵌信息，并通过错误回复处理而获得解注信息，此解注信息是完整还原的加注信息。通过影像处理单元，可分离出影像与解注信息。

在另一实施范例中，所揭露者是关于一种影像信息加注方法，包含：将至少包含一原始影像的特征信息的加注信息嵌入于此原始影像；以及将嵌入后的影像转成与此原始影像相同格式的另一影像。

在另一实施范例中，所揭露者是关于一种影像信息解注方法，包含：从一含有内嵌信息的内嵌串流中抽出此内嵌信息；从抽出的内嵌信息获得解注信息，此解注信息是完整还原的加注信息；以及通过影像处理，解出一目标影像的影像信息与环境参数信息。

附图说明

配合下列附图、实施例的详细说明，将上述及本发明的其它目的与优点详述于后，其中：

图1是一种影像监视系统的一个范例示意图，并且与本揭露中某些实施范例一致。

图2是影像信息加注模块的一个范例示意图，并且与本揭露中某些实施范例一致。

图3是一个范例流程图，说明影像信息加注方法的运作，并且与本揭露中某些实施范例一致。

图4是影像信息解注模块的一个范例示意图，并且与本揭露中某些实施范例一致。

图5是一个范例流程图，说明影像信息解注方法的运作，并且与本揭露中某些实施范例一致。

图6以一工作范例来说明可提供影像信息加注与解注技术，以及嵌入信息于影像流的一种影像监视系统，并且与本揭露中某些实施范例一致。

具体实施方式

依据本发明所揭露的实施范例中，影像信息加注技术是将额外信息加入原始影像中，并转换成为另一张与原始影像相同格式的影像，以利影像监视系统后续应用。额外的信息例如是从原始画面获得的对象特征、动态、关联等信息，以及从外部的传感器获得的环境参数(EnvironmentalParameter)等信息。由于没有改变影像本身的格式，所以不会影响后续的影像压缩、传输、解压缩、储存等程序。影像信息解注技术利用系统前端技术配对的解注与解码技术，将加注信息由影像中解出，并且通过错误回复编码技术与门槛技术(Threshold Scheme)进行快速还原，并且可保证解注后所获得的加注信息的完整性。

图1是一种影像监视系统的一个范例示意图，并且与本揭露中某些实施范例一致。参考图1，影像监视系统100包含一影像撷取模块110、一影像信息加注模块120、一影像压缩模块130、一影像解压缩模块140、一影像信息解注模块150、以及一影像显示模块160。通过影像信息加注模块120，影像监视系统100可嵌入信息于影像流。通过影像信息解注模块150，影像监视系统100可将原内嵌信息抽出。

影像特征撷取模块110拍摄至少一影像来源(Video Source)以获得一原始影像110a，并撷取原始影像110a的特征信息110b，例如移动物体的位置、或是人物入侵与否、或是入侵人物的特征参数等。此特征信息110b的资料量远小于原始影像的资料量。撷取的方式例如是影像处理或辨识等方式。影像信息加注模块120将至少包含特征信息110b的加注信息120a，例如环境参数信息111与特征信息110b，内嵌于原始影像，并且将内嵌的影像转成与原始影像110a相同格式的另一影像，即内含加注信息的影像120b。由于没有改变影像格式，内含加注信息的影像120b可以输入至压缩编码模块130进行压缩，也可以串流传输至远程或是储存设备等。

欲获得原始信息时，可以先通过解压缩编码模块140对压缩后的影像130b进行解压缩。影像信息解注模块150从解压缩后的内嵌串流140b中抽出原内嵌信息，并且将抽出的原内嵌信息经错误回复解码与影像处理后，将一目标影像150a与得到的解注信息150b分离。

对于影像监视系统100而言，环境参数信息111是指外部感测信号的信息，可通过如外部的数组感应器、温湿度计、一氧化碳、二氧化碳感应器、流量计、光感应器、无线射频识别(Radio Frequency Identification，RFID)读取器、定时器等，来获得此外部感测信号的信息，例如是定时器测得的时间、温湿度计测得的温度和湿度、红外线或烟雾侦测器或RFID等测得的资料，此资料量远小于原始影像。

环境参数信息111与特征信息110b可先结合再通过编码技术编码的，成为编码后的嵌入信息。编码技术可以采用如错误回复(Error Recovery)编码技术，此类错误回复编码技术不胜枚举，例如汉明码(Hamming Code)、BCH码、里德-所罗门码(Reed-Solomon Code)、呈德-米勒码(Reed-MullerCode)、回旋码(Convolutional Code)、Turbo码、低密度同位检查码(LowDensity Parity Check code，LDPC code)、重复-累积编码(Repeat-Accumulate Code，RA Code)、时空编码(Space Time Code)、因素图表(Factor Graphs)、柔性决定解码(Soft-decision Decoding)、Guruswami-Sudan解码、外在信息转移图(Extrinsic InformationTransfer Chart，EXIT Chart)、以及迭代解码(iterative decoding)等。而编码后的嵌入信息可以使用如非破坏性电子水印的技术、在屏显示技术(On Screen Display，OSD)、或覆盖于特定影像区域的方式，内嵌于存在影像缓冲区的影像，而成为内含加注信息的另一影像。

经由上述的编码技术可得到嵌入信息的长度|i|。由原始影像内容，通过如视觉上非破坏性方法，可以估计出内嵌信息于该影像，并经过压缩后，仍可保证该信息的完整性时的信息容量|C|。首先，算出当时的网络状态n，包括网络的延迟、遗失率等，以及压缩模块的压缩率R。并利用门槛技术，算出可嵌入信息倍数L，其中L＝f(|C|，|i|，n，R)。换句话说，此倍数L与信息容量|C|、嵌入信息长度|i|、网络状态n、以及压缩率R有关，并且将L份嵌入信息嵌入影像中，可在解码后获得完整还原的嵌入信息。可通过下列的范例方式来保证此编码后的资料量L×|i|，小于该容量|C|。亦即，降低影像重要信息或感测资料的项目，此为应用技术规格的一部份；或是将此资料分割并内嵌于多张连续影像中。

承上述，可窥知影像信息加注模块120如图2的范例示意图所示，并且与本揭露中某些实施范例一致。参考图2，影像信息加注模块120主要可包含一错误校正处理单元221、一影像处理单元222、以及一加注单元223。参考图2，错误校正处理单元221通过一错误回复编码方法与一门槛值运算，将加注信息120a编码成为嵌入信息221b。影像处理单元222将影像特征撷取模块110所获得的原始影像110a，经影像处理算出原始影像110a可嵌入信息的容量|C|。加注单元223将L份嵌入信息嵌入于原始影像110a，并且将嵌入后的影像转成与原始影像110a相同格式的另一影像，即内含加注信息的影像120b。影像信息的格式有多种选择，例如可以是YUV、RGB、YCbCr、NTSC、PAL等。

因此，依据本发明的影像信息加注方法的运作如图3的范例流程所示，并且与本揭露中某些实施范例一致。参考图3，在步骤310中，将至少包含一原始影像的特征信息的加注信息嵌入于此原始影像。此步骤中，此原始影像的特征信息可与环境参数信息结合成为加注信息，并编码成为嵌入信息；再将L份的嵌入信息嵌入于此原始影像。在步骤320中，将嵌入后的影像转成与此原始影像相同格式的另一影像。

因为此内含加注信息的另一影像没有改变影像格式，所以可以直接输入至压缩编码模块进行压缩，以及串流传输至远程或储存设备等。例如，加注后的影像信息可以经影像压缩成Motion JPEG或Mpeg-4等格式，通过网络或特定传输路径传送至系统后端。

在实时的影像监视系统中，例如，实时播放、分析、警示等安全监视系统中，欲获得原始信息时，系统后端可对压缩影像进行解压缩，经影像解码，可将解压缩后的影像格式还原成原始影像格式如YUV、RGB、YCbCr、NTSC、PAL等。由于经过压缩与解压缩的过程，此影像与压缩前的影像信息已不相同，系统可在此时输入检索参数以快速搜寻含有检索参数的影像信息，并通过与系统前端技术配对的解注技术，如电子水印等技术，抽出原内嵌信息。通过与系统前端技术配对的错误回复解码技术，可将加注的影像特征参数与环境参数由影像中解出。

若非实时性系统，系统后端在获得Motion JPEG或Mpeg-4等影像格式信息流后，可先储存在数据库中，之后有检索需求时，再通过解压、解注等技术，比对搜寻目标影像信息；或是系统后端在解压缩后，再将如YUV、RGB、YCbCr、NTSC、PAL等影像格式的影像信息储存在数据库中，日后检索时，直接针对含有影像特征参数与环境参数的原始影像格式信息进行比对检索，以获得目标影像信息。

由于经过前述的错误回复编码技术与门槛技术的方式运算出备份资料笔数，此精确的内嵌容量计算及错误回复可以保证解注后所获得的影像特征参数与环境参数的完整性，也可确认可获得正确的检索搜寻参数。

本发明与一般电子水印最大的不同在于，一般水印主要用在版权的认定上，因此水印的辨识率仅需达到70％，而根据本发明所内嵌的信息被100％的还原。因此，本发明可通过错误回复处理，使系统后端撷取出的解注信息与系统前端的加注信息相同。

承上述，可窥知影像信息解注模块150主要可包含一解注单元451、以及一影像处理单元452，如图4所示，并且与本揭露中某些实施范例一致。参考图4，解注单元451从一含有内嵌信息的内嵌串流中抽出内嵌信息，并通过错误回复处理而获得解注信息451b。通过影像处理单元452，分离出一目标影像与解注信息150b。此解注信息是完整还原的加注信息。当应用在影像监视系统100时，含有内嵌信息的内嵌串流也就是解压缩后的内嵌串流140b；由于解注信息150b是完整还原的加注信息，因此，解注信息150b就是原始影像110a的特征信息110b与环境参数信息111，而解出的目标影像就是影像150a。

因此，依据本发明的影像信息解注方法的运作如图5的范例流程所示，并且与本揭露中某些实施范例一致。参考图5，在步骤510中，从一含有内嵌信息的内嵌串流中抽出此内嵌信息。在步骤520中，从抽出的内嵌信息获得解注信息，此解注信息是完整还原的加注信息。在步骤530中，通过影像处理，解出一目标影像与此解注信息。

依据上述本发明，图6以一工作范例来说明可提供影像信息加注与解注技术，以及嵌入信息于影像流的一种影像监视系统，并且与本揭露中某些实施范例一致。

参考图6，影像撷取模块，例如摄影机610，拍摄至少一影像来源而获得一原始影像110a，其信息格式可以是YUV、RGB、YCbCr、NTSC、或PAL等。通过前述的影像信息加注模块120将加注信息(I₁，I₂，…，I_n)，例如影像特征信息与外部感测信号，嵌入于目标影像610a中，此时的影像中含有加注信息(I₁，I₂，…，I_n)，但资料格式仍与原始影像110a的信息格式相同。

含加注信息的影像通过前述的影像压缩模块130将此影像压缩为Motion JPEG或Mpeg-4等影像格式，再通过网络进行数据传输。此影像监视系统的后端在接受到此影像格式为Motion JPEG或Mpeg-4的影像后，通过前述的影像解压缩模块140将影像还原成原始影像110a的格式，例如YUV、RGB、YCbCr、NTSC、PAL等。

经压缩与解压缩过程后，此内含有加注信息的影像已有部分失真，通过前述的影像信息解注模块150，利用与系统前端技术配对的错误回复解码技术，将一目标影像150a与加注信息分离，可获得解注信息(I₁’，I₂’，…，I_n’)，并保证可以完整地还原为加注信息(I₁，I₂，…，I_n)，亦即I₁＝I₁’；I₂＝I₂’；…；I_n＝I_n’。

所以，根据本发明的影像监视系统，其影像可加注影像特征信息与外部感测信号，并且加注信息可完整还原。由于影像本身的格式并未受到改变，因此加注在影像中的信息并不影响后续压缩及传递作业，可与现有影像处理技术相结合，可兼容于现有的监视系统。系统后端可针对已加注的原始影像信息，进行快速还原，进而提供关键事件的影像快速搜寻，提升安全监控的效率。

惟，以上所述的，仅为本揭露的实施范例而已，当不能依此限定本发明实施的范围。即凡是依本发明申请专利范围所作的均等变化与修饰，皆应仍属本发明的权利要求范围内。

Claims (22)

1、一种影像监视系统，其特征在于，该系统包含：

一影像撷取模块，拍摄至少一影像来源以获得一原始影像，并撷取该原始影像的特征信息；

一影像信息加注模块，将至少包含该特征信息的加注信息嵌入于该原始影像，并且将该嵌入后的影像转成与该原始影像相同格式的另一影像；

一影像压缩模块，对该另一影像输入至进行压缩；

一影像解压缩模块，解压缩该压缩后的影像；以及

一影像信息解注模块，从该解压缩后的影像信息抽出内嵌信息，并且通过一解码技术与影像处理后，将一目标影像与该加注信息分离，而获得解注信息。

2、如权利要求1所述的影像监视系统，其特征在于，其中该加注信息是指环境参数信息、该原始影像的特征信息，或是前述信息的结合。

3、如权利要求2所述的影像监视系统，其特征在于，其中该环境参数信息是指外部感测信号的信息。

4、如权利要求1所述的影像监视系统，其特征在于，其中该影像信息加注模块通过一编码技术，将该加注信息编码后，再嵌入于该原始影像。

5、如权利要求4所述的影像监视系统，其特征在于，其中该编码技术是一种错误回复编码技术。

6、如权利要求1所述的影像监视系统，其特征在于，其中该解注信息是完整还原的该加注信息。

7、如权利要求1所述的影像监视系统，其特征在于，其中该影像信息解注模块是通过一种错误回复解码技术产生解注信息。

8、如权利要求1所述的影像监视系统，其特征在于，其中该特征信息的资料量少于该原始影像的资料量。

9、如权利要求1所述的影像监视系统，其特征在于，其中该影像信息加注模块还包括：

一错误校正处理单元，将该加注信息编码成为嵌入信息；

一影像处理单元，将该原始影像通过影像处理而算出该原始影像可嵌入信息的容量；以及

一加注单元，将L份该嵌入信息嵌入于该原始影像，L为一可嵌入信息倍数，并且将该嵌入后的影像转成该另一影像。

10、如权利要求9所述的影像监视系统，其特征在于，其中该可嵌入信息的容量是保证该嵌入信息的完整性时的信息容量。

11、如权利要求9所述的影像监视系统，其特征在于，其中该可嵌入信息倍数L与该可嵌入信息的容量、该嵌入信息的长度、以及一压缩率有关。

12一种影像信息加注模块，其特征在于，包含：

一错误校正处理单元，将至少包含一原始影像的特征信息的加注信息编码成为嵌入信息；

一影像处理单元，算出该原始影像可嵌入信息的容量；以及

一加注单元，将L份该嵌入信息嵌入于该原始影像，L为一可嵌入信息倍数，并且将该嵌入后的影像转成与该原始影像相同格式的另一影像。

13、如权利要求12所述的影像信息加注模块，其特征在于，其中该可嵌入信息倍数L与该可嵌入信息的容量、该嵌入信息的长度、以及一压缩率有关。

14、如权利要求12所述的影像信息加注模块，其特征在于，其中该L份嵌入信息的资料量小于该可嵌入信息的容量。

15、一种影像信息解注模块，其特征在于，包含：

一解注单元，从含有内嵌信息的一串流中抽出该内嵌信息，并通过错误回复处理而获得解注信息，该解注信息是完整还原的加注信息；以及

一影像处理单元，通过影像处理，将该解注信息与一目标影像分离。

16、一种影像信息加注方法，其特征在于，该方法包含：

将至少包含一原始影像的特征信息的加注信息嵌入于一原始影像；以及

将该嵌入后的影像转成与该原始影像相同格式的另一影像。

17、如权利要求16所述的影像信息加注方法，其特征在于，其中该原始影像的特征信息与环境参数信息结合成为该加注信息，并编码成为嵌入信息。

18、如权利要求16所述的影像信息加注方法，其特征在于，该方法是通过一错误回复编码方法与一门槛值运算，将该加注信息编码成为嵌入信息。

19、如权利要求17所述的影像信息加注方法，其特征在于，其中L份该嵌入信息被嵌入于该原始影像，L为一可嵌入信息倍数并且与一可嵌入信息的容量、该嵌入信息的长度、以及一压缩率有关。

20、一种影像信息解注方法，其特征在于，该方法包含：

从一含有内嵌信息的串流中抽出该内嵌信息；

从该抽出的内嵌信息获得解注信息，该解注信息是完整还原的加注信息；以及

通过影像处理，解出一目标影像与该解注信息。

21、如权利要求20所述的影像信息解注方法，其特征在于，其中该解注信息至少包括该目标影像的特征信息。

22、如权利要求21所述的影像信息解注方法，其特征在于，其中该解注信息再包括环境参数信息。

23、如权利要求22所述的影像信息解注方法，其特征在于，其中该环境参数信息是指外部感测信号。

Images