CN110636259B - 一种基于视频检测的osd叠加方法 - Google Patents

Abstract

本发明公开了一种基于视频检测的OSD叠加方法。现有方法可能覆盖视频图像中的人像，导致后续视频智能分析对人像的检测提取，甚至丢失目标人像的关键图像。本发明方法首先进行人像检测、电子围栏获取手机号码信息，并以虚拟框形式动态跟踪人像的移动跟踪人像目标区域，然后通过判断手机信息OSD需占用空间，选择非人像虚拟框区域进行OSD字符叠加，手机号码信息的OSD字符叠加信息与视频图像一起统一进行编码，形成视频流进行传输、存储及应用。本发明方法充分应用了视频智能分析中识别出的人像区域，并在OSD字符叠加中进行明确的目标回避，完全避免了对人像关键信息的遮挡。

Description

一种基于视频检测的OSD叠加方法

技术领域

本发明属于通信技术领域，具体涉及一种基于视频检测的OSD(on-screendisplay，屏幕字符叠加显示)叠加方法。

背景技术

在视频监控中，为了在视频图像中显示摄像头的名称或位置、属性及摄录时间等信息，摄像机通过系统配置，将需要显示的信息的字符叠加在视频图像上，一般处于图像的上部、而摄像机的位置等属性信息处于图像的下部。字符叠加的主要目的是为了让监看视频以及事后检索回放视频图像的时候清楚当时的信息。但是在复合型多维采集的前端设备中，除了视频图像的采集外，前端设备中的电子侦码设备还采集了当前场景中的人员持有手机的手机号、IMSI/IMEI 等信息。当更多的手机号码相关信息需要叠加到视频图像中时，如果固定在一个位置可能会遮盖关键人脸。

基于物联网的视频监控图像采集中，为了实现通信、供电、立杆等的基础设施资源的最大化利用，往往实现了一杆多采的策略，同一立杆中复合部署了WIFI、手机侦码等技术手段。为了实现视频图像中出现的人像与同时通过手机侦码捕获到的周边的手机号码、IMSI、IMEI等信息的同时呈现，需要采用OSD技术将手机号码相关信息以字符叠加的形式叠加在视频图像中，实现所见人像即可知道该人持有手机的信息(人像关联手机信息)，即所见即所得的AR特性。但是当视频图像中出现多个人像、以及人像移动时，固定的OSD位置必然可能覆盖视频图像中出现的人像，导致后续的视频智能分析对人像的检测提取，甚至丢失目标人像的关键图像。

申请号为“201310739553.4”的中国发明专利公开了一种能支持多种颜色及自动反色的字符叠加显示方法，该显示方法步骤是：首先需要根据叠加的字符的位置及字体大小信息，计算出该字符所在位置的背景图像的亮度平均值，该亮度平均值需要和设定值做比较，以决定是显示设定的字符显示颜色还是与设定值相反的字符显示颜色；然后根据上面亮度值的判断结果，动态去修改freetype产生的字模信息，如果用本色显示，不做任何处理，如果用反色显示，修改字模相应值为相反颜色的颜色索引值；再对颜色查找表进行处理及更新，如果是单色，颜色查找表中填充相同的yuv值即可；如果需要实现正反两种颜色，在同一张表中交替填充两种颜色的yuv值。

该发明的目的是为了突出显示OSD的信息，当OSD位置的背景图像影响字符显示时，通过分析背景亮度值自动匹配拟显示的字符颜色。但是该方法无法避免对背景图像信息的覆盖，即使采用了反色或其他显色处理，依然覆盖了OSD字符区域的背景信息。在视频图像的人脸、人像信息至关重要时，反而严重影响了人脸、人像的智能识别。

申请号为“201410247922.2”的中国发明专利公开了一种对视频图像进行字符叠加的方法及装置。其中，该方法包括：从字符叠加OSD配置结构中获取OSD字符信息，所述OSD字符信息包括字符内容、字符位置和字库，所述字符位置为字符内容在视频图像中的显示位置；从内存的视频图像中拷贝与字符位置对应的图像，存储到缓存区中；在缓存区中，根据字库将OSD 字符信息包含的字符内容叠加到拷贝的图像中，得到叠加后的字符图像，将叠加后的字符图像拷贝回内存；在内存中将字符图像叠加到视频图像中所述显示位置对应的位置。该方法能够减少进行字符叠加时对系统资源的占用，且提高叠加效率。

该发明主要是为了减少字符叠加对系统资源的占用，通过局部提取OSD位置视频截图，通过在缓存中完成OSD字符叠加算法，然后返回叠加好的视频截图。但是该方法没有对背景关键信息进行回避，OSD字符叠加后，背景信息依然被覆盖，影响背景中人脸、人像等关键信息的智能分析提取。

发明内容

本发明的目的就是针对现有技术的不足，提供一种基于视频检测的OSD叠加方法。

本发明方法为了避免覆盖视频中的人像，本发明方法先对图像中的人像进行检测分析，标定出人像位置，然后对采集到手机相关信息的OSD进行人像位置的回避，将其叠加在无人像或人像信息相对低频(即色差小，纹理小)的区域叠加OSD。

当摄像机通过人像比对发现预先输入系统的布控人员，在视频图像上跟踪标注出人像位置；通过联动电子围栏诱导附近的手机注册到电子围栏侦码基站，电子围栏侦码基站将捕获到的手机号码、IMSI、IMEI等信息反馈给该摄像机；摄像机此信息以OSD动态叠加在未标注人像的空白位置，或者优选相对低频(即色差小，纹理小)的区域叠加OSD。从而，便于工作人员直观的看到关于布控人员的相关信息。

本发明方法首先分析识别人像，对人像区域进行虚拟线框标注；实时接收电子围栏的手机侦码获取的手机号码信息及人像区域信息；动态回避人像区域；叠加策略包括：

a.优先选择最大非人像区域叠加最大化的手机号码信息，并依次在其他非人像区域进OSD 叠加；

b.如果视频图像中没有非人像区域时，优先选择相对低频的区域进行OSD叠加；

c.如果多个人像区域分散分布，优先选择中间的非人像区域进行OSD叠加；如果多个人像区域集中分布，优先选择边缘的非人像区域进行OSD叠加；

d.如果当前摄像机正在执行目标跟踪的功能，则无论多个人像区域分散还是集中分布，优先选择边缘的非人像区域进行OSD叠加；如果摄像机停止目标跟踪，以固定的姿态采集视频，则按照策略c进行手机号码信息的OSD叠加。

本发明方法具体步骤如下：

(1).人像检测和电子围栏获取手机号码信息：

(1-1).在某个时点，当视频图像中出现一个或多个人像，启动人像识别与布控比对，视频智能分析系统通过人脸+人体识别人像，并在视频图像中以虚拟框的形式进行标注，该虚拟框实际显示或不显示；

视频智能分析系统通过人脸或人像识别算法检测、匹配、跟踪及识别人像目标，当人脸清晰度达到人脸识别的像素要求，完成人脸布控与比对；当人脸清晰度无法满足人脸识别比对的像素要求时，视频智能分析系统通过结合人体模型匹配做人脸+人体的模型进行人像识别与比对；

(1-2).电子围栏系统的侦码通过通讯协议获取基站附近的手机信息，包括IMSI信息、 IMEI信息，进而获取手机号码信息；将人像虚拟框位置信息、手机号码信息均并发送给OSD 字符叠加系统。

进一步，电子围栏系统获取包括手机号码信息的方法是：通过电子围栏系统识别出该手机的IMEI和IMSI串号信息；获取了IMSI后，通过约定的信令发送给运营商系统，获得该 IMSI对应的手机号码；或者，电子围栏系统以伪基站的同频/异频工作形式诱联手机，只要手机处于待机状态，电子围栏系统自动连接手机，获取手机号码、IMEI和IMSI串号信息；电子围栏系统采集完后，即关闭诱联。

(2).对人像实时保持跟踪，并以虚拟框形式动态跟踪人像的移动跟踪人像目标区域。

(3).OSD叠加手机信息：

OSD字符叠加服务系统实时接收手机号码信息，同时接收人像虚拟框的位置信息，通过判断手机信息OSD需占用空间，选择非人像虚拟框区域进行OSD字符叠加；当多个手机信息作为一个整段无法找到合适的非人像区域时，则将手机信息拆分成多段，分别叠加在多个非人像区域；手机号码信息的OSD叠加字符按照《视频图像文字标注规范》(GA/T751-2008) 要求设置。

(4).统一编码进视频流：

手机号码信息的OSD字符叠加信息与视频图像一起统一进行编码，形成视频流进行传输、存储及应用；

手机号码信息叠加在视频图像中，根据既有视频图像中按照《视频图像文字标注规范》 (GA/T751-2008)一样进行后续编码处理。

本发明方法的有益效果包括：

1、在多维信息采集中，由于采集了更多的手机信息，为了方便手机信息与视频图像人像的直接对应关联，实现在视频图像中进行直观显示。

2、在视频智能分析识别中，为了进行有效的人像识别，需要高质量的人脸、人体等人像图像，本发明的OSD叠加充分应用了视频智能分析中识别出的人像区域，并在OSD字符叠加中进行明确的目标回避，完全避免了对人像关键信息的遮挡。

具体实施方式

以下结合具体实施方式对本发明方法做进一步说明。

一种基于视频检测的OSD叠加方法，主要内容包括：

1、视频智能分析识别人像，对人像区域进行虚拟线框标注；OSD系统实时接收电子围栏的手机侦码获取的手机号码信息及人像区域信息；系统通过自动判断、动态回避人像区域，再进行手机号码信息的OSD字符叠加；

2、系统自动分析非人像区域的大小，优先选择最大非人像区域叠加最大化的手机号码信息，并依次在其他非人像区域进行OSD叠加；

3、如果视频图像中各处都有人像，无法找到非人像区域时，优选相对低频(即色差小，纹理小)的区域进行手机号码信息叠加OSD；

4、对于多个人像分散的画面，优选中间的空白区域进行OSD叠加；对于人像比较集中的画面，优选边缘区域进行OSD叠加。从而尽量减少OSD的位置变动。

5、判断摄像机目前执行的功能：如果当前摄像机正在执行目标跟踪的功能，则优选边缘区域进行OSD叠加，即使此时人像比较分散；如果摄像机停止目标跟踪，以固定的姿态采集视频，则按照上述4的策略叠加OSD。

该方法具体步骤是：

(1).人像检测、电子围栏获取手机号码信息：

(1-1).如在某个时点，当视频图像中出现一个或多个人像，启动人像识别与布控比对，视频智能分析系统通过人脸+人体识别人像，并在视频图像中以虚拟框的形式进行标注，该虚拟框实际显示或不显示(实际使用中可以选择不在图像中实际显示虚拟线框)。

视频智能分析系统通过人脸或人像识别算法检测、匹配、跟踪及识别人像目标，当人脸清晰度达到人脸识别的像素要求，完成人脸布控与比对；当人脸清晰度无法满足人脸识别比对的像素要求时，视频智能分析系统通过结合人体模型匹配做人脸+人体的模型进行人像识别与比对。

(1-2).电子围栏系统的侦码通过通讯协议获取基站附近的手机信息，包括IMSI信息、IMEI 信息，进而获取手机号码信息；将人像虚拟线框位置信息、手机号码信息均并发送给OSD字符叠加系统。

电子围栏系统是一种类似伪基站的移动侦码设备，通过与蜂窝内的手机进行通信获取手机信息，同时当发现视频目标中的人像是布控对象时，触发侦码设备启动诱联手机，获取手机号码，或通过手机信息通过大数据及运营商提供的数据库提取关联手机号码。

电子围栏系统利用电子侦码并通过通讯协议获取手机的IMSI和IMEI。然后通过分析IMSI 推测手机号段：国际移动用户识别码(IMSI：International Mobile SubscriberIdentification Number)是区别移动用户的标志，储存在SIM卡中，可用于区别移动用户的有效信息。其总长度不超过15位，同样使用0～9的数字。其中MCC是移动用户所属国家代号，占3位数字，中国的MCC规定为460；MNC是移动网号码，由两位或者三位数字组成，中国移动的移动网络编码(MNC)为00；用于识别移动用户所归属的移动通信网；MSIN是移动用户识别码，用以识别某一移动通信网中的移动用户。

利用电子侦码并通过通讯协议获取手机的IMSI和IMEI，但是无法获取手机号码，如果要获取手机号必须得与运营商共享数据库进行匹配，或者启动手机伪基站链接(经常链接将影响手机的正常使用)，这是不可能的。从IMSI中也仅能推测出号码的号段，无法全部推测出手机号码。

电子围栏系统获取包括手机号码信息的方法是：通过电子围栏系统识别出该手机的IMEI、 IMSI串号信息；获取了IMSI后，通过约定的信令发送给运营商系统，获得该IMSI对应的手机号码；或者，电子围栏系统以伪基站的同频/异频工作形式诱联手机，只要手机处于待机状态，电子围栏系统自动连接手机，获取手机号码、IMEI、IMSI串号信息。电子围栏系统采集完后，即关闭诱联，避免对无线通信的影响。由于启动伪基站工作模式将影响附近所有手机短暂的正常通讯，所以仅限有视频识别告警时，才启动即联即放并瞬间结束的诱联。

(2).跟踪人像目标区域：

由于视频图像中的人像是不断移动的，智能分析系统动态实时跟踪人像目标区域，视频智能分析系统对于人脸、人像通过检测、跟踪、选优过程提取最优人脸或人像图片。对于人脸、人像实时保持跟踪，并以虚框的形式动态跟踪人脸、人像的移动，以此区别出可以进行手机号码OSD的区域，避免OSD对人脸、人像可能形成覆盖的影响。

(3).OSD叠加手机信息：

OSD字符叠加服务系统实时接收手机号码信息，同时接收人像虚拟线框的位置信息，通过判断手机信息OSD需占用空间，选择非人像虚拟线框区域进行OSD字符叠加。当多个手机信息作为一个整段无法找到合适的非人像区域时，则将手机信息拆分成多段，分别叠加在多个非人像区域。

(3-1).由于视频中的人脸和人像经常移动，手机号码信息需要动态调整；选择非人像区域时，选择空白区域的中心位置或画面的最边缘位置；如果画面中存在多个人脸/人像，则选择多个人像的中间位置，这样手机号码OSD不会经常变动，以免影响人眼观感；如果画面中只有一个人脸/人像，或人脸/人像比较集中，则手机号码选择画面边缘。

(3-2).判断摄像机目前执行的功能：如果当前摄像机正在执行目标跟踪的功能，则优选边缘区域进行OSD叠加，即使此时人像比较分散；如果摄像机停止目标跟踪，以固定的姿态采集视频，则，如果画面中存在多个人脸/人像，选择多个人像的中间位置，如果画面中只有一个人脸/人像，或人脸/人像比较集中，手机号码选择画面边缘。

实际应用中，由于视频图像中的人像动态移动，手机信息的OSD叠加的位置也是动态变化的，如果当视频图像中有固定非人像出现的区域，则可优先作为默认OSD叠加的位置。由于视频图像中出现多个人像，那么手机侦码就很有可能获取多个手机号码信息，那么多个手机号码信息以一个整体的形式进行OSD叠加一般就是比较困难，此时系统自动进行拆分，先对最大非人像区域进行匹配，最大限度OSD叠加标注，剩下未标注的手机信息则寻找下一个非人像区域进行OSD叠加。但是必须注意的是，当拆分成多个OSD叠加位置后分别标准在图像的不同位置时，由于人像与手机号码尚未进行1：1匹配，当手机号码信息标注在某个人像附近时，并不意味着这个手机号码信息就是该人像的手机号码信息。

手机号码信息的OSD叠加字符按照《视频图像文字标注规范》(GA/T751-2008)要求设置。

(4).统一编码进视频流：

手机号码信息的OSD字符叠加信息与视频图像一起统一进行编码，形成视频流进行传输、存储及应用。

手机号码信息叠加在视频图像中，根据既有视频图像中按照《视频图像文字标注规范》 (GA/T751-2008)叠加的时间、视频地址等信息一样进行后续编码处理。

Claims (3)

1.一种基于视频检测的OSD叠加方法，其特征在于，该方法首先分析识别人像，对人像区域进行虚拟线框标注；实时接收电子围栏的手机侦码获取的手机号码信息及人像区域信息；动态回避人像区域；叠加策略包括：

a.优先选择最大非人像区域叠加最大化的手机号码信息，并依次在其他非人像区域进OSD叠加；

b.如果视频图像中没有非人像区域时，优先选择相对低频的区域进行OSD叠加；

c.如果多个人像区域分散分布，优先选择中间的非人像区域进行OSD叠加；如果多个人像区域集中分布，优先选择边缘的非人像区域进行OSD叠加；

d.如果当前摄像机正在执行目标跟踪的功能，则无论多个人像区域分散还是集中分布，优先选择边缘的非人像区域进行OSD叠加；如果摄像机停止目标跟踪，以固定的姿态采集视频，则按照策略c进行手机号码信息的OSD叠加；

该方法具体步骤是：

(1).人像检测和电子围栏获取手机号码信息：

(1-1).在某个时点，当视频图像中出现一个或多个人像，启动人像识别与布控比对，视频智能分析系统通过人脸+人体识别人像，并在视频图像中以虚拟框的形式进行标注，该虚拟框实际显示或不显示；

视频智能分析系统通过人脸或人像识别算法检测、匹配、跟踪及识别人像目标，当人脸清晰度达到人脸识别的像素要求，完成人脸布控与比对；当人脸清晰度无法满足人脸识别比对的像素要求时，视频智能分析系统通过结合人体模型匹配做人脸+人体的模型进行人像识别与比对；

(1-2).电子围栏系统的侦码通过通讯协议获取基站附近的手机信息，包括IMSI信息和IMEI信息，进而获取手机号码信息；将人像虚拟框位置信息、手机号码信息均并发送给OSD字符叠加系统；

(2).对人像实时保持跟踪，并以虚拟框形式动态跟踪人像的移动跟踪人像目标区域：

(3).OSD叠加手机信息：

OSD字符叠加服务系统实时接收手机号码信息，同时接收人像虚拟框的位置信息，通过判断手机信息OSD需占用空间，选择非人像虚拟框区域进行OSD字符叠加；当多个手机信息作为一个整段无法找到合适的非人像区域时，则将手机信息拆分成多段，分别叠加在多个非人像区域；

(4).统一编码进视频流：

手机号码信息的OSD字符叠加信息与视频图像一起统一进行编码，形成视频流进行传输、存储及应用。

2.如权利要求1所述的一种基于视频检测的OSD叠加方法，其特征在于，电子围栏系统获取包括手机号码信息的方法是：通过电子围栏系统识别出该手机的IMEI和IMSI串号信息；获取了IMSI后，通过约定的信令发送给运营商系统，获得该IMSI对应的手机号码。

3.如权利要求1所述的一种基于视频检测的OSD叠加方法，其特征在于，电子围栏系统获取包括手机号码信息的方法是：电子围栏系统以伪基站的同频/异频工作形式诱联手机，只要手机处于待机状态，电子围栏系统自动连接手机，获取手机号码、IMEI和IMSI串号信息；电子围栏系统采集完后，即关闭诱联。