CN103262530B - 视频监视装置 - Google Patents

Abstract

提供一种能使监视摄像机视频高效地重叠追加信息的视频监视装置。本发明的视频监视装置将追加信息与确定摄像机所拍摄的图像的图像确定信息对应起来进行保持。在将追加信息重叠于图像时，检索对应的图像间的距离收纳于规定范围内的追加信息，从其中，将收纳于摄像机当前正拍摄的图像内的追加信息重叠于摄像机图像上（参照图7）。

Description

视频监视装置

技术领域

本发明涉及视频监视装置。

背景技术

有时为了在使用图像来实施监视操作时实现高效的监视操作，而对监视摄像机视频重叠追加信息（文本、图像、声音等）。例如，在工厂的维护、管理业务中，为了顺畅地进行操作顺序的指示、注意部位的确认，而希望使监视摄像机视频重叠信息。

在监视摄像机视频上重叠显示信息时，需要与该信息的用途相匹配地在画面内的适当的位置显示信息。因此，会产生确定当前的画面显示着哪个视频的需要。作为确定当前的视频的手法，已知有使用各种传感器（磁传感器、陀螺传感器、红外线传感器、GPS）来求取摄像机的位置姿势的基于传感器的对位手法。

在下述专利文献1中，示出了一种图形用户界面生成装置，其利用使用罗盘来决定摄像机的姿势的姿势决定单元和根据摄像机的纬度以及经度来决定摄像机的位置的位置决定单元，使显示器字段区域的信息的内容或形状发生变化。若使用该技术，则能在任意的实空间上对应消息等的信息地在显示器上进行显示。

在下述专利文献2中，记载了使用磁界产生单元和磁界检测单元来运算三维空间坐标，基于该三维空间坐标，生成使三维的假想物体重叠于摄像机视频上的合成图像的方法。

另一方面，还已知有不使用传感器信息地通过解析从摄像机取得的视频从而求取摄像机的位置姿势的基于视觉的对位手法。作为基于视觉的对位手法，已知有使用易于进行图像识别的特定图形的标记的方法。

在下述专利文献3中，记载了通过识别规定的图像图形，从而将与图像图形相应的信息重叠于从摄像机取得的图像进行描绘的方法。

在下述非专利文献1中，记载了通过不使用特定的标记地利用从由摄像机取得的图像检测的特征性的点或线，从而推定摄像机的位置姿势，使摄像机视频重叠信息的方法。

以上的手法是假定摄像机的设置位置变化来决定姿势位置的方法。但是，在摄像机固定的情况，能使用更简单的方法。

在下述专利文献4中，记载了基于架台角、缩放信息在摄像机视频上决定用于显示附加信息的位置的手法。在该文献中，以不使被拍摄体和说明文字重叠的方式，探索出在由重叠的说明文字的外框围起的范围相邻像素间的亮度差的总和为最小的说明文字的外框的配置位置。

在下述专利文献5中，记载了使用摄像机控制信息来显示合成视频的手法。在该文献中，根据缩放倍率，来判定是否显示附加信息。

现有技术文献

专利文献

专利文献1：日本专利第4294093号公报

专利文献2：日本专利第3558104号公报

专利文献3：日本专利第3786166号公报

专利文献4：日本特开2005－354461号公报

专利文献5：日本特开平10－336503号公报

非专利文献

非专利文献1：G.KleinandD.Murray.ParalleltrackingandmappingforsmallARworkspaces.InProc.SixthIEEEandACMInt′lSymp.MixedandAugmentedReality，2007。

发明要解决的课题

在上述各文献中记载的技术中，有对相同的地方的监视摄像机视频注册许多追加信息的可能性。此时，用于从许多追加信息中选出应进行重叠显示的追加信息的处理负荷变大，给装置加上了负担。

发明内容

本发明是为了解决上述那样的课题而做出的，其目的在于提供一种能使监视摄像机视频高效地重叠追加信息的视频监视装置。

用于解决课题的方案

本发明的视频监视装置将确定摄像机所拍摄的图像的图像确定信息与追加信息对应起来进行保持。在将追加信息重叠于图像时，检索对应的图像间的距离收纳于规定范围内的追加信息，从其中，将收纳于摄像机当前正拍摄的图像内的追加信息重叠于摄像机图像上。

发明效果

根据本发明的视频监视装置，通过先检索使对应的图像间的距离收纳于规定范围内的追加信息，从而能对成为进行重叠显示的候补的追加信息进行限定。由此，由于变得无需对全部的追加信息判断是否有进行重叠显示的需要，所以能减轻处理负荷。

附图说明

图1是实施方式1的视频监视装置100的功能框图。

图2是表示数据库109的结构和数据例的图。

图3是表示视频控制部105向摄像机视频重叠消息的状况的图。

图4是表示用于将消息注册部106注册于数据库109的消息由用户输入到系统中的画面例的图。

图5是说明消息注册部106将消息注册于数据库109的处理的流程图。

图6是表示视频控制部105向摄像机视频重叠显示消息的动作的流程图。

图7是说明由平移、倾斜、缩放值对消息进行群集的概念的图。

图8是表示群信息的构造和数据例的图。

图9是表示视频监视装置100筛选应重叠于监视图像上的消息的处理的流程图。

图10是表示通过使图像类似的消息的优先级变高从而筛选进行重叠显示的消息的状况的图。

图11是表示检索与摄像机101所拍摄的图像的部分图像类似的摄像机视频字段207的状况的图。

图12是对与摄像机101所拍摄的图像的部分图像类似的摄像机视频字段207进行检索的处理流程。

图13是表示实施方式4中的数据库109储存的图像特征量信息1301和使用其计算图像间的类似度的状况的图。

图14是表示通过由用户选择消息从而对摄像机101的拍摄视场进行控制的状况的图。

图15是表示视频监视装置100对摄像机101的平移、倾斜、缩放值进行校正的处理的图。

具体实施方式

＜实施方式1＞

图1是本发明的实施方式1的视频监视装置100的功能框图。视频监视装置100是在监视视频上重叠文本、图像等追加信息进行显示的装置。在以下，作为追加信息，使用文本来进行说明，但也可以使用其它追加信息。在以下，除了特别区别的情况之外视频和图像以大体相同的含义使用。

视频监视装置100具备摄像机101、摄像机控制部102、摄像机信息取得部103、摄像机视频取得部104、视频控制部105、消息注册部106、特征量提取部107、数据库控制部108、数据库109、视频输出部110、操作信息输入部111、显示装置112和输入装置113。

摄像机101是对监视图像进行拍摄的装置，具有对拍摄视场进行变更的驱动装置。例如，能对平移、倾斜、缩放等的拍摄参数进行变更。摄像机101从外部接受控制信号，并根据该控制信号对拍摄参数（平移、倾斜、缩放的值）进行变更。此外，能将当前的拍摄参数通知给外部。能使用市场出售的监视摄像机等来作为摄像机101。

摄像机控制部102将用于变更摄像机101的平移、倾斜、缩放的控制信号发送给摄像机101。摄像机控制部102也能构成为对摄像机101的机型间的通信协议差异进行吸收，并发送与摄像机101的式样相应的控制信号。

摄像机信息取得部103对摄像机101发送取得摄像机101的驱动装置的状态（平移、倾斜、缩放的值）的要求，将取得的信息输出到视频控制部105、消息注册部106。

摄像机视频取得部104取得摄像机101所拍摄的视频（静止图像），并将其输出到视频控制部105、消息注册部106。

视频控制部105从操作信息输入部111接受针对用户的系统的操作指示，根据从摄像机信息取得部103接受的摄像机101的驱动装置的当前的状态（平移、倾斜、缩放的值），对摄像机控制部102发出平移、倾斜、缩放的控制指示。此外，视频控制部105从摄像机视频取得部104取得摄像机视频，从数据库控制部108取得注册于数据库109中的文本消息，将它们重叠起来输出到视频输出部110。此外，视频控制部105在从数据库控制部108取得文本消息时，将摄像机视频输出到特征量提取部107，特征量提取部107将计算出的摄像机视频的图像特征量作为条件对文本消息进行筛选。

消息注册部106从操作信息输入部111接受注册于数据库109中的文本消息及其监视画面上的位置信息。消息注册部106使用从摄像机信息取得部103取得的摄像机101的平移、倾斜、缩放值和文本消息的监视画面上的位置信息，对用于使监视画面中央显示文本消息的平移、倾斜、缩放值进行计算，与从摄像机视频取得部104取得的摄像机视频一并输出到数据库控制部108。此外，为了计算图像特征量，将摄像机视频输出到特征量提取部107。

特征量提取部107对从视频控制部105、消息注册部106送来的摄像机视频的图像特征量进行计算，并输出到数据库控制部108。

数据库控制部108将从消息注册部106送来的消息、摄像机视频、平移、倾斜、缩放的值、特征量提取部107计算出的摄像机视频的图像特征量、以及注册时刻等的日志信息关联起来注册于数据库109中。数据库控制部108在将这些信息注册于数据库109中时，利用平移、倾斜、缩放值来对数据进行群集。关于群集，将使用图5在后面叙述。此外数据库控制部108根据来自视频控制部105的要求，从数据库109读出与条件一致的文本消息。作为该条件，例如有平移、倾斜、缩放的值、时刻、图像特征量的类似度等。

数据库109将文本消息、摄像机视频、平移、倾斜、缩放的值、图像特征量、时刻等信息关联起来进行储存。例如，通过在硬盘、半导体存储器等存储装置上储存保持上述数据的数据来进行构建。数据库109的细节将用后述的图3重新进行说明。

视频输出部110将视频控制部105所生成的监视视频输出到显示装置112。

操作信息输入部111将从输入装置113输入的基于用户的操作指示，输出到视频控制部105、消息注册部106。

显示装置112是具备液晶显示器等画面显示部的显示设备，对从视频输出部110接受的监视视频进行画面显示。

输入装置113是鼠标、键盘、触摸设备等用于将用户的操作传达给系统的输入接口。

图2是表示数据库109的结构和数据例的图。虽然在此示出了表形式的结构例，但数据形式可以是任意的。

数据库109具有消息ID字段201、消息字段202、时刻字段203、平移字段204、倾斜字段205、缩放字段206、摄像机视频字段207和图像特征量字段208。

消息ID字段201对各文本消息的识别编号进行保持。消息字段202为了在监视图像进行重叠显示而保持用户所输入的消息。例如若是文本消息，则保持该消息字符串。时刻字段203保持消息字段202所保持的消息注册于数据库109的日期和时间。

平移字段204、倾斜字段205、缩放字段206保持将消息字段202所保持的消息显示于显示装置112的监视画面中央时的摄像机101的平移、倾斜、缩放值。这些字段保持的参数具有通过确定摄像机101的拍摄视场从而确定摄像机101所拍摄的图像的、作为图像确定信息的意义。也可以使用这些以外的参数例如摄像机101的地理位置、设置角度等作为图像确定信息。

摄像机视频字段207保持将消息字段202所保持的消息显示于监视画面中央时的、摄像机视频的静止图像（二进制数据）。图像特征量字段208保持从摄像机视频字段207所保持的摄像机视频提取的图像特征量。图像特征量是将颜色特征、形状特征等图像自身所具有的特征数值化后的特征量，例如用固定长的矢量数据来表示。

在指定消息的画面上位置的情况下，除了图2说明的各字段之外，也可以设置记述画面上位置的坐标字段。在未指定画面上位置的情况下，只要例如在画面中央等固定位置显示消息即可。

图3是表示视频控制部105向摄像机视频重叠消息的状况的图。视频控制部105对从摄像机101取得的摄像机视频301，重叠描绘数据库109中注册的消息303，并在显示装置112显示成监视画面304。由此，能在监视画面304上对摄像机视频重叠消息进行显示。

视频控制部105根据摄像机101的驱动装置的状态（平移、倾斜、缩放值）302、与消息303关联的平移、倾斜、缩放值、以及作为摄像机101的式样的水平视角305和垂直视角306，计算消息303的显示地方。

在图3的例子中，摄像机101的缩放值为1.0时的水平视角305为70°，垂直视角306为50°。由于摄像机101的平移、倾斜分别为0.0、0.0，所以重叠显示的消息在关联的平移的值为－35.0～35.0的范围并且倾斜的值为－25.0～25.0的范围成为条件。视频控制部105从数据库109中检索满足该条件的文本消息。

message2由于是平移＝0.0、倾斜＝0.0，所以显示于画面中央。message1由于是平移＝－15.0、倾斜＝－10.0，所以显示于画面左下。作为消息303，可以单纯显示字符串本身，也可以用收纳消息的框或线条来包围进行显示。此外，可以是例如以由缩放1.5注册的message1比由缩放1.0注册的message2小地显示的方式，根据缩放值来改变消息的显示尺寸。

图4是表示用于由用户将消息注册部106注册于数据库109的消息输入到系统中的画面例的图。用户在将消息注册于数据库109中时，使用显示装置112、输入装置113。在此作为输入装置113，虽然例示出键盘406和鼠标407，但不限于此。

用户使鼠标光标402移动到监视画面401的任意的地方，按压点击按钮。视频控制部105在监视画面401上描绘消息的显示范围403。用户使用键盘406，在消息框404输入欲重叠显示的消息。此时，可以通过每当按压键盘406时就在画面上描绘输入中的消息，从而能确认输入后的画面显示。用户若结束消息输入，则操作鼠标407并点击注册按钮405。其结果是，用户所输入的文本消息通过操作信息输入部111而向消息注册部106发送。

图5是说明消息注册部106将消息注册于数据库109的处理的流程图。以下，对图5的各步骤进行说明。

（图5：步骤S501）

操作信息输入部111取得用户输入的消息和画面上的位置，并将其输出到消息注册部106。

（图5：步骤S502）

消息注册部106从摄像机信息取得部103，取得摄像机101的平移、倾斜、缩放的值。

（图5：步骤S503）

消息注册部106根据在步骤S501取得的消息的画面上的位置、在步骤S502取得的摄像机的平移、倾斜、缩放值、以及摄像机的水平视角和垂直视角，计算用于将消息显示于摄像机视频的中央的平移、倾斜值。具体地说，在后述的图6的步骤S607中，只要实施根据平移、倾斜值求取摄像机视频上的坐标的计算的反计算即可。

（图5：步骤S504）

消息注册部106从摄像机视频取得部104，取得摄像机视频。

（图5：步骤S505）

消息注册部106将在步骤S504取得的摄像机视频输出到特征量提取部107。特征量提取部107计算图像特征量。

（图5：步骤S506）

消息注册部106将在步骤S501取得的消息本文和缩放值、在步骤S502求取的平移、倾斜的值、在步骤S504取得的摄像机视频、在步骤S505计算的图像特征量，输出到数据库控制部108。数据库控制部108将这些数据关联起来注册到数据库109中。

图6是表示视频控制部105向摄像机视频重叠显示消息的动作的流程图。以下，对图6的各步骤进行说明。

（图6：步骤S601）

视频控制部105从摄像机视频取得部104取得摄像机视频。

（图6：步骤S602）

视频控制部105从摄像机信息取得部104取得摄像机101的平移、倾斜、缩放值。

（图6：步骤S603）

视频控制部105计算显示的消息的平移、倾斜值的条件。摄像机的水平视角和垂直视角根据摄像机的式样和在步骤S602取得的缩放值来求取。平移的条件Rp根据在步骤S602取得的平移的值p和水平视角Ah，计算为p－Ah／2～p＋Ah／2。倾斜的条件Rt根据在步骤S602取得的倾斜的值t和水平视角Av，计算为t－Av／2～t＋Av／2。

（图6：步骤S604）

视频控制部105从数据库109中取得满足在步骤S603求取的平移条件Rp和倾斜条件Rt的消息，制作消息的列表。

（图6：步骤S603～S604：补充）

视频控制部105不是对数据库109中注册的全部消息进行检索，而是仅对处于规定范围内的消息进行检索。细节利用后述的图7重新进行说明。

（图6：步骤S605）

视频控制部105在不存在满足条件的消息的情况下结束本处理流程。在这种情况下，将在步骤S601取得的摄像机视频保持原样地向视频输出部110输出。在即使满足条件的消息就存在一个的情况下，也进入到步骤S606。

（图6：步骤S606）

视频控制部105从在步骤S604取得的消息的列表中选择一个消息。

（图6：步骤S607）

视频控制部105根据与消息关联起来的平移值p′和倾斜值t′、以及摄像机视频的宽度w和高度h，计算在摄像机视频上显示消息的坐标。例如，在设摄像机视频的左上的坐标（x，y）为（0，0）时，消息的显示坐标（x，y）能用下述式进行近似计算。

（图6：步骤S607：计算式）

x＝（p′－（p－Ah／2））／Ah×w

y＝h－（t′－（t－Av／2））／Av×h

（图6：步骤S608）

视频控制部105对在步骤S601取得的摄像机视频，在步骤S607中计算的坐标上，对在步骤S606选择的消息进行重叠描绘。

（图6：步骤S609）

在视频控制部105在步骤S604中从数据库109取得的全部消息的重叠显示处理完毕的情况下，结束本处理流程。在残留处理未完成的消息的情况下，返回到步骤S606并对下一消息进行处理。

以上，对视频监视装置100的结构和整体动作进行了说明。接下来，对从数据库109中注册的许多消息中高效地检索应重叠显示的消息的手法进行说明。

视频监视装置100需要每当用户操作摄像机的平移、倾斜、缩放时，就从数据库109中取得显示于画面的消息。当数据库109中注册的消息数增加时，对全部数据判定是否应进行重叠显示的条件的处理成本增大，有可能会妨碍描绘处理。

因此，视频监视装置100预先利用其平移、倾斜、缩放值对数据库109中注册的消息进行群集。在对消息进行重叠显示时，不是对数据库109中注册的全部消息进行条件判定，而是仅对群的要素平均属于与摄像机的平移、倾斜、缩放值的当前值接近的群的要素进行条件判定。

图7是说明利用平移、倾斜、缩放值来对消息进行群集的概念的图。重叠于监视图像的消息能与在该时刻摄像机101正拍摄的图像的拍摄视场、即摄像机101的平移、倾斜、缩放值相对应。因此，数据库控制部108利用平移、倾斜、缩放的3轴坐标值来对数据库109中注册的消息进行群集。所谓群集是对坐标近的消息进行分组化的处理。群集的结果作为在后述的图8中说明的群信息，另外注册于数据库109中。

在图7所示的平移、倾斜、缩放的3轴所表示的空间上，设在○所标记的位置在数据库109上注册有消息。在图7的例子中，形成有区域701、702、703所示的3个群。

数据库控制部108对于各群，计算作为其要素的平均的群平均（图7的×记号）。此外，视频控制部105预先保持判定摄像机101的平移、倾斜、缩放值是否属于群的阈值。例如，只要储存于数据库109上的任意的区域等即可。图7的虚线表示从群中心起处于该阈值的范围内的距离。

在图7中，假设摄像机101的驱动装置的平移、倾斜、缩放值处于坐标704。与坐标704对应的显示装置112上的画面显示范围705由以坐标704为中心的矩形区域表示。此时，群701的群中心与坐标704之间的距离处于由虚线所示的阈值以下的距离。

视频控制部105判定属于群701的消息是否包含于画面显示范围705中。利用该处理，视频控制部105能在不调查数据库109中注册的全部数据的情况下，高效地提取应在画面显示范围705内重叠显示的消息。

图8是表示群信息的构造和数据例的图。群信息是保持图7说明的群集的结果的数据，具有群ID字段801、群中心字段802和消息ID列表字段803。

群ID字段801保持各群的识别编号。群中心字段802保持表示将属于由群ID字段801的值识别的群的消息的平移、倾斜、缩放值进行平均后的值的矢量。消息ID列表字段803保持属于由群ID字段801的值识别的群的、消息的识别编号的列表。各消息的识别编号与图2的消息ID字段201的值相对应。

视频控制部105在图6的步骤S603～S604中，判断摄像机101当前正拍摄的图像属于哪个群。此时，首先从摄像机信息取得部103取得摄像机101的平移、倾斜、缩放值，求取与群中心字段802所保持的各坐标之间的距离。在该距离处于由图7的虚线所示的规定范围内的情况下，判断为摄像机101当前正拍摄的图像属于该群。接着，视频控制部105从消息ID列表字段803取得属于该群的消息ID。各消息是否包含于画面显示范围705，这只要通过使用摄像机101的当前的平移、倾斜、缩放值等参数计算拍摄视场且在该拍摄视场内是否收纳有各消息来进行判断即可。

以上，说明了高效地检索视频监视装置100应重叠显示的消息的手法。该手法特别是在数据库109中注册的消息间的画面上距离小于摄像机101的拍摄图像尺寸的消息存在多个的情况下，在能将判断是否应在画面内重叠各消息的对象限定于群范围内的方面是很有效的。另一方面，在属于各群的消息仅为一个的情况下，由于变成对全部消息判断是否进行重叠显示，所以认为该手法的效果与以往是相同程度的。

＜实施方式1：总结＞

如上所述，本实施方式1的视频监视装置100基于数据库109所储存的平移、倾斜、缩放值，检索与摄像机101当前正拍摄的图像之间的距离处于规定范围内的消息、即群中心与当前的拍摄图像之间的距离处于规定范围内的群。接下来，在该群中包含的消息中，提取包含于摄像机101当前正拍摄的图像范围中的消息，并将其重叠显示于图像上。由此，对应进行重叠显示的消息进行检索的处理次数，变成以群个数和群内的消息个数为准，由于变得无需对全部消息判断是否需要重叠显示，所以能减少检索处理负荷。

＜实施方式2＞

在实施方式1中，说明了将重叠显示的消息进行群集以减少检索负荷的手法。另一方面，在存在许多应重叠显示于1个画面内的消息的情况下，当使全部消息重叠于监视摄像机视频时，监视摄像机视频被文本信息覆盖，会有损本来应监视的视频的可视性。

因此，在本发明的实施方式2中，说明对消息赋予优先级，并仅将优先级高的消息重叠显示于图像的手法。视频监视装置100的结构由于与实施方式1相同，所以在以下以差异点为中心进行说明。

图9是表示视频监视装置100筛选应重叠于监视图像上的消息的处理的流程图。图9的处理是为了筛选图6的步骤S606～S609中重叠描绘的消息而实施的。以下，对图9的各步骤进行说明。

（图9：步骤S901）

本步骤与步骤S606相同。

（图9：步骤S902）

视频控制部105对在步骤S901选择的消息的优先级进行计算。作为优先级的计算手法，可举出以下这样的例子。

（图9：步骤S902：计算例其1）

与摄像机101当前正拍摄的图像之间的距离越近的消息，越使其优先级变高。图像与消息之间的距离能使用例如摄像机101的当前的平移、倾斜、缩放值和与各消息相对应的平移、倾斜、缩放值来进行计算。

（图9：步骤S902：计算例其2）

数据库109中注册的日期和时间越新的消息，越使其优先级变高。

（图9：步骤S902：计算例其3）

摄像机101当前正拍摄的图像和摄像机视频字段207所保持的图像越类似的消息，越使其优先级变高。

（图9：步骤S903）

若在步骤S902计算的优先级大于等于规定阈值，则进入到步骤S904，若是这之外的情况，则跳到步骤S906。

（图9：步骤S904～S906）

这些步骤与图6的步骤S606～S608相同。

图10是表示通过使图像类似的消息的优先级变高从而筛选重叠显示的消息的状况的图。图10所示的手法相当于在步骤S902中采用了计算例3的情况。

视频控制部105在未筛选消息的情况下，对摄像机视频1001，从数据库109读出收纳于该视角的消息，并进行重叠描绘。由此，在显示装置112显示监视画面1002。

此时，当注册有许多与数据库109相应的消息时，如图10的监视画面1002所例示的那样，消息彼此重叠显示，摄像机视频本身的可视性受损。

因此，视频控制部105从数据库109的摄像机视频字段207中检索与当前的摄像机视频1001类似的图像。视频控制部105按图像特征量的矢量间距离（特征量距离）从小到大的顺序，对摄像机视频字段207所保持的图像进行排序。图10的检索结果1003成为按特征量间的距离从小到大的顺序（＝类似度从高到低的顺序）排列的图像的列表。

摄像机视频字段207的类似度越高，越使消息的优先级变高，这是因为认为该字段的类似度越高，该消息越是在与当前的摄像机视频相同的状况中注册的消息的缘故。

视频控制部105利用按类似度从高到低的顺序使优先级变高等的基准，对检索结果1003内的消息赋予优先级，将优先级为规定阈值以上的消息重叠描绘于摄像机视频。由此，如监视画面1004例示的那样，能确保监视视频的可视性。

＜实施方式2：总结＞

如上所述，本实施方式2的视频监视装置100在从数据库109检索出应重叠的消息后，对各消息的优先级进行计算，仅将优先级高的消息重叠于图像。由此，能避免将许多消息同时重叠显示而妨碍监视图像的可视性。

＜实施方式3＞

在实施方式2中，说明了检索与摄像机101当前正拍摄的图像类似的摄像机视频字段207，使类似度高的图像优先。在这种情况下，由于通过图像整体是否类似来计算类似度，所以在消息显示位置设定于画面端部的情况下，图像间的类似度必然变低，有其消息变得难以选择的趋势。

因此，在本发明的实施方式3中，对与摄像机101所拍摄的图像的部分图像类似的摄像机视频字段207进行检索，通过根据画面上位置来计算适当的类似度，从而也能选择显示位置设定于画面端部的消息。

图11是表示检索与摄像机101所拍摄的图像的部分图像类似的摄像机视频字段207的状况的图。

在图11中，由于对摄像机图像1101对应有许多消息，所以在未筛选重叠显示的消息的情况下，如监视画面1102那样，重叠了许多消息，有损监视图像的可视性。

因此，视频控制部105对多个部分生成摄像机图像1101的部分图像1103，对与这些部分图像类似的摄像机视频字段207进行检索。视频控制部105按类似度顺序对检索结果1104进行排序，提取类似度为规定阈值以上的摄像机视频字段207。视频控制部105仅将与提取结果1105关联的消息重叠描绘于摄像机视频，构成监视画面1106。

图12是检索与摄像机101所拍摄的图像的部分图像类似的摄像机视频字段207的处理流程。图12的处理流程对在图11说明了的手法的细节进行说明。以下，对图12的各步骤进行说明。

（图12：步骤S1201～S1203）

这些步骤与图6的步骤S601～S604相同。

（图12：步骤S1204）

视频控制部105基于与在步骤S1203取得的消息候补关联的平移、倾斜、缩放值，计算消息的周边区域的位置和尺寸。该周边区域在后面的步骤S1205中，作为在图11说明了的部分图像进行使用。

（图12：步骤S1204：补充）

在本步骤中，也可以对重复的部分图像适当地进行排除。此外，使用消息候补的平移、倾斜、缩放值来实施在实施方式1中说明那样的群集处理，通过仅使用各群的中心值，从而也能减少部分图像的数目。即，也可以仅将离各群的中心值最近的部分图像作为与数据库109正储存的摄像机视频字段207进行比较的对象。

（图12：步骤S1205）

视频控制部105选择一个在步骤S1204求取的周边区域，作为部分图像进行取得。

（图12：步骤S1206）

视频控制部105检索与部分图像类似的摄像机视频字段207。

（图12：步骤S1207）

视频控制部105将检索结果追加到列表中。在列表中以组的方式注册消息ID和特征量距离（类似度）。

（图12：步骤S1208）

视频控制部105若结束整个周边区域的处理，则进入到步骤S1209，若有处理未结束的周边区域，则返回到步骤S1205而重复进行相同的处理。

（图12：步骤S1209）

视频控制部105利用特征量距离（类似度）对检索结果的列表进行排序。此外，在消息ID重复的情况下，仅将特征量距离最小的（类似度最高的）消息残留于列表中。其结果是，能得到按特征量距离从小到大的（类似度从高到低的）顺序排列的消息ID的列表。视频控制部105能将该列表中记载的消息作为重叠显示的候补。

＜实施方式3：总结＞

如上所述，本实施方式3的视频监视装置100对与摄像机101正拍摄的图像的部分图像类似的摄像机视频字段207进行检索，越是与类似度高的摄像机视频字段207对应的消息，越使其优先级变高。由此，即使是显示位置设定于画面端部的消息，也判定为在其周边图像与摄像机视频类似的情况下类似度高。因此，即使是画面端部的消息，也能适当地判定类似度，能选择为重叠显示的对象。

＜实施方式4＞

在实施方式2～3中，说明了将摄像机101的平移、倾斜、缩放值与摄像机视频字段207对应起来，使用摄像机视频字段207所保持的图像的特征量来计算图像间的类似度。在摄像机101的平移、倾斜、缩放值发生了变化时，仅是特定的图像特征量较大地变化，在其它的图像特征量不太变化的情况下，也能仅使用较大变化的图像特征量来计算类似度。

因此，在本发明的实施方式4中，说明根据摄像机101的当前的平移、倾斜、缩放值，仅使用一部分图像特征量来计算图像间的类似度的手法。

图13是表示本实施方式4中的数据库109正储存的图像特征量信息1301和使用其来计算图像间的类似度的状况的图。在本实施方式4中，数据库109除了图2中说明的各数据之外，还储存着图像特征量信息1301。在图13的例子中，图像特征量1301的前半部分1302保持颜色特征量，后半部分1303保持形状特征量。

在监视对象空间1304中，关于其上部1305，难以引起构造上的变化，灯等的明暗的差异在类似场景检索中具有重要的意义。因此，在摄像机101的倾斜是相当于画面上部1305的值的情况下，视频控制部105在计算特征量距离时仅使用表示颜色特征的前半部分1302。

另一方面，在监视对象空间1304的下部1306中，与明度的变化相比，人、机器材料是否存在这一形状上的特征在类似度计算中具有更大的影响。因此，在摄像机101的倾斜为相当于画面下部1306的值的情况下，视频控制部105在计算特征量距离时仅使用表示形状特征的后半部分1303。

摄像机101的拍摄视场与上述那样的图像特征量之关系，由摄像机101的设置地方预先确定。关于摄像机101的平移、倾斜、缩放值在哪个范围时使用哪个图像特征量来计算类似度，可以在视频监视装置100中进行预设，也可以设成能由用户从显示装置112显示的监视画面进行指定。

＜实施方式4：总结＞

如上所述，本实施方式4的视频监视装置100根据摄像机101当前正拍摄的拍摄视场，对为了计算图像类似度而使用的参数进行变更。由此，与摄像机图像的特性相匹配地选择适当的参数，能高效地计算图像类似度。

＜实施方式5＞

在以上的实施方式1～4中，视频监视装置100在显示装置112上显示监视图像和消息时，用户着眼于消息的内容，考虑了欲考察其周边的情况。在本发明的实施方式5中，对通过用户选择消息从而使摄像机101的拍摄视场移动的动作例进行说明。

图14是表示通过由用户选择消息从而对摄像机101的拍摄视场进行控制的状况的图。在图14中，在显示装置112中监视画面1401与注册消息一览1402并排进行显示。

用户使用鼠标407来操作鼠标光标1403，从消息一览中点击一个消息。视频控制部105接受该操作指示，对摄像机101的拍摄视场进行控制，使得和与被点击的消息关联的平移、倾斜、缩放值相一致。由此，如监视画面1404所示那样，被点击的消息显示于画面中央。

虽然在图14中，使用与消息关联的平移、倾斜、缩放值来控制摄像机101，但也可以利用例如在图7中说明的基于平移、倾斜、缩放值的群集，以与选择的消息所属的群的中心值一致的方式对摄像机101进行控制。由此，不仅能画面显示选择的消息，还能画面显示周边的消息。

此外，视频控制部105也可以在注册消息一览1402显示消息一览时，利用平移、倾斜、缩放值对属于群的消息进行排序来进行显示。由此，由于接近的消息顺序良好地被进行画面显示，所以对用户来说是方便的。

此外，用户所选择的消息的个数不限于一个。在用户选择了多个消息的情况下，视频控制部105也可以以将这些消息尽可能收纳于1个画面内的方式对摄像机101进行控制。

＜实施方式6＞

在以上的实施方式1～5中，对消息进行重叠显示的位置如摄像机101的平移、倾斜、缩放值那样，将确定摄像机101正拍摄的图像的图像确定信息对应起来。但是，当因振动等周边环境的变化或摄像机驱动装置的恶化而引起微少的位置偏移时，有可能会导致消息的显示位置错乱。

因此，在本发明的实施方式6中，通过使用注册于数据库109中的平移、倾斜、缩放值和图像或图像特征量，从而对平移、倾斜、缩放值进行校正。

图15是表示视频监视装置100对摄像机101的平移、倾斜、缩放值进行校正的处理的图。以下，对校正顺序进行说明。

（校正顺序1）视频控制部105从数据库109中选择1个任意的数据，取得平移、倾斜、缩放值。

（校正顺序2）视频控制部105控制摄像机101，使得与该平移、倾斜、缩放值一致。

（校正顺序3）视频控制部105从摄像机101取得摄像机视频1501。

（校正顺序4）视频控制部105在取得的摄像机视频1501与数据库109所储存的摄像机视频字段207（摄像机视频1502）之间实施匹配，推断位置偏移量。

（校正顺序5）视频控制部105将由其结果得到的图像上的位置偏移换算为平移、倾斜的偏移，求取校正参数。

（校正顺序6）数据库控制部108在以后将消息注册于数据库109时抽取出校正参数后进行注册，在使摄像机视频重叠消息时，在加上校正参数之后计算显示位置。由此，能在校正后的正确的位置显示消息。

虽然以上基于实施方式具体说明了由本发明人做出的发明，但不用说本发明不限定于所述实施方式，能在不脱离其要旨的范围进行各种变更。

此外，上述各构成、功能、处理部等还能通过例如用集成电路来设计它们的全部另外一部分，从而作为硬件来加以实现，也能通过使处理器执行实现各个功能的程序，从而作为软件来加以实现。能实现各功能的程序、表等的信息能储存于存储器、硬盘等存储装置、IC卡、DVD等存储介质中。

附图标记说明

100：视频监视装置，101：摄像机，102：摄像机控制部，103：摄像机信息取得部，104：摄像机视频取得部，105：视频控制部，106：消息注册部，107：特征量提取部，108：数据库控制部，109：数据库，110：视频输出部，111：操作信息输入部，112：显示装置，113：输入装置，201：消息ID字段，202：消息字段，203：时刻字段，204：平移字段，205：倾斜字段，206：缩放字段，207：摄像机视频字段，208：图像特征量字段，801：群ID字段，802：群中心字段，803：消息ID列表字段。

Claims (13)

1.一种视频监视装置，其特征在于，具备：

摄像机，对图像进行拍摄；

视频控制部，生成在所述摄像机所拍摄的图像上重叠了追加信息的图像；

图像输出部，输出所述视频控制部所生成的图像；以及

数据库，储存将所述追加信息与确定所述摄像机所拍摄的图像的图像确定信息关联起来的记录，

所述数据库储存多个由所述图像确定信息所确定的图像间的距离小于所述摄像机的拍摄图像尺寸的所述记录，

所述视频控制部从所述数据库中检索所述图像确定信息中的、所述图像确定信息所确定的图像与所述摄像机当前正拍摄的图像之间的距离处于规定范围内的1个以上的所述图像确定信息，

所述视频控制部从由所述检索的结果得到的1个以上的所述图像确定信息中，提取所述图像确定信息所确定的图像收纳于所述摄像机当前正拍摄的图像内的图像确定信息，

所述视频控制部将与所述提取出的所述图像确定信息对应的所述追加信息重叠于所述摄像机所拍摄的图像上。

2.根据权利要求1所述的视频监视装置，其特征在于，所述视频控制部计算与所述提取出的所述图像确定信息对应的所述追加信息的优先级，仅将所述优先级为规定阈值以上的所述追加信息重叠于所述摄像机所拍摄的图像上。

3.根据权利要求2所述的视频监视装置，其特征在于，所述提取出的所述图像确定信息中的、所述提取出的所述图像确定信息所确定的图像与所述摄像机当前正拍摄的图像之间的距离越近，所述视频控制部使所述优先级越高。

4.根据权利要求2所述的视频监视装置，其特征在于，越是储存于所述数据库的日期和时间新的所述追加信息，所述视频控制部使所述优先级越高。

5.根据权利要求1所述的视频监视装置，其特征在于，

所述视频监视装置具备将所述记录储存于所述数据库的数据库控制部，

所述数据库控制部将对所述摄像机的拍摄视场进行特征附加的参数作为所述图像确定信息储存于所述数据库，通过对所述参数进行群集处理，从而对所述参数所确定的所述图像中相互处于规定范围内的距离的图像进行群化。

6.根据权利要求2所述的视频监视装置，其特征在于，

所述数据库将所述摄像机所拍摄的图像与所述图像确定信息关联起来进行储存，

所述视频控制部从所述数据库中检索与所述摄像机所拍摄的图像类似的图像，越是与类似度高的图像对应的所述追加信息，越使所述优先级变高。

7.根据权利要求2所述的视频监视装置，其特征在于，

所述数据库将所述摄像机所拍摄的图像与所述图像确定信息关联起来进行储存，

所述视频控制部从所述数据库所储存的图像中检索与从所述摄像机所拍摄的图像取出一部分而生成的部分图像相类似的图像，越是与类似度高的图像对应的所述追加信息，越使所述优先级变高。

8.根据权利要求7所述的视频监视装置，其特征在于，

所述视频监视装置具备将所述记录储存于所述数据库的数据库控制部，

所述数据库控制部将对所述摄像机的拍摄视场进行特征附加的参数作为所述图像确定信息储存于所述数据库，通过对所述参数进行群集处理，从而对所述参数所确定的所述图像中相互处于规定范围内的距离的图像进行群化，而得到图像群，

所述视频控制部仅将所述部分图像中的离所述图像群的中心最近的图像，作为在与所述数据库所储存的图像之间判定类似度的对象。

9.根据权利要求6所述的视频监视装置，其特征在于，所述视频控制部根据所述摄像机当前正拍摄的图像的拍摄视场，对用于计算类似度的参数进行变更。

10.根据权利要求1所述的视频监视装置，其特征在于，

所述视频监视装置具备将所述记录储存于所述数据库的数据库控制部和接受针对所述图像输出部正输出的所述图像的操作的操作输入部，

所述数据库控制部将对所述摄像机的拍摄视场进行特征附加的参数作为所述图像确定信息储存于所述数据库，

当所述操作输入部接受到指示使重叠于所述图像输出部正输出的所述图像的所述追加信息位于画面中央区域的所述操作时，所述视频控制部使用与所述追加信息对应的所述参数，确定所述追加信息位于画面中央区域的所述摄像机的拍摄视场，对所述摄像机进行控制，使其对该拍摄视场进行拍摄。

11.根据权利要求10所述的视频监视装置，其特征在于，

所述数据库控制部通过对所述参数进行群集处理，从而对所述参数所确定的所述图像中的相互处于规定范围内的距离的图像进行群化，而得到图像群，

当所述操作输入部接受到指示使重叠于所述图像输出部正输出的所述图像的所述追加信息位于画面中央区域的所述操作时，所述视频控制部对所述摄像机进行控制，使得该追加信息所属的所述图像群的中心与画面中央一致。

12.根据权利要求11所述的视频监视装置，其特征在于，所述视频控制部按所述参数的值来排列属于所述图像群的所述追加信息，将所排列的所述追加信息的列表与所述图像一并从所述图像输出部输出。

13.根据权利要求1所述的视频监视装置，其特征在于，

所述数据库将所述摄像机所拍摄的图像与所述图像确定信息关联起来进行储存，

所述视频控制部，对所述摄像机进行指示以使得对所述图像确定信息所确定的图像进行拍摄，通过对所述摄像机当前正拍摄的图像与所述数据库所储存的图像进行比较从而求取两者的差分，在重叠所述追加信息时应用所述差分来对显示位置进行校正。