CN115100506A

CN115100506A - 双录场景下矫正屏幕的图像方法、服务器及系统

Info

Publication number: CN115100506A
Application number: CN202210736461.XA
Authority: CN
Inventors: 何盛华; 黄炎鑫; 林瑞嵩
Original assignee: Ping An Bank Co Ltd
Current assignee: Ping An Bank Co Ltd
Priority date: 2022-06-27
Filing date: 2022-06-27
Publication date: 2022-09-23
Anticipated expiration: 2042-06-27
Also published as: CN115100506B

Abstract

本申请提供了一种双录场景下矫正屏幕的图像方法，包括：在终端设备处于标定状态下，利用摄像设备获取屏幕的图像得到标定图像；根据所述四个位置标志标定所述屏幕位置得到屏幕四个角的标定位置；在终端设备处于跟踪状态下，利用摄像设备获取屏幕的图像得到当前跟踪图像；根据所述屏幕四个角的标定位置和所述当前跟踪图像估测所述屏幕当前四个角的位置得到四个估测位置；对所述四个估测位置进行矫正得到所述屏幕的四个精确位置；根据所述四个精确位置对所述当前跟踪图像进行调整得到回放图像。本申请技术方案能够更加便捷智能的对双录场景下屏幕的图像进行矫正。

Description

双录场景下矫正屏幕的图像方法、服务器及系统

技术领域

本申请涉及移动互联网领域，尤其涉及一种双录场景下矫正屏幕的图像方法、服务器及双录场景下矫正屏幕的图像系统。

背景技术

销售理财产品、代理保险公司销售保险产品是商业银行常见的业务。由于监管要求，为了确保业务员合规销售理财、保险产品，降低客诉风险，要求业务员如实向客户介绍产品，并且需要对整个销售过程进行录音录像(双录)存档，如此，在未来产生纠纷时，方便调阅核对。在业务员给客户销售产品的实际场景中，一般是业务员拿平板电脑给客户介绍保险产品，在业务员和客户的前方利用摄像设备在录音、录像记录着全过程。为了防止双方抵赖，双录过程中需要让摄像设备记录清楚平板电脑上的关键内容，如销售的产品名称、关键条款、客户的签名等等。而这个过程一般需要业务员把平板电脑抬起对准摄像设备。且每次平板电脑上有关键内容都需要业务员把平板电脑抬起来对准摄像设备，严重影响了业务员和客户的体验，还会影响客户购买产品的意愿。

发明内容

有鉴于此，实有必要提供一种更加便捷智能的双录场景下矫正屏幕的图像方法、服务器及双录场景下矫正屏幕的图像系统。

第一方面，本申请实施例提供一种双录场景下矫正屏幕的图像方法，所述双录场景下矫正屏幕的图像方法包括下面步骤:

在终端设备处于标定状态下，利用摄像设备获取屏幕的图像得到标定图像，所述屏幕在标定状态下显示有标定画面，所述标定画包括显示于屏幕四个角的四个位置标定标记，所述标定图像包括表示所述标定画面的第一图像；

根据所述四个位置标志标定所述屏幕位置得到屏幕四个角的标定位置；

在终端设备处于跟踪状态下，利用摄像设备获取屏幕的图像得到当前跟踪图像，所述屏幕在跟踪状态下显示待录制画面，所述录制画面未包含标定标志，所述当前跟踪图像包括表示待录制画面的第二图像；

根据所述屏幕四个角的标定位置和所述当前跟踪图像估测所述屏幕当前四个角的位置得到四个估测位置；

对所述四个估测位置进行矫正得到所述屏幕的四个精确位置；以及

根据所述四个精确位置对所述当前跟踪图像进行调整得到回放图像。

第二方面，本申请实施例提供一种服务器，其特征在于，所述服务器包括：计算机可读存储介质，用于存储程序指令，处理器以及总线执行所述程序指令以实现上述所述的双录场景下矫正屏幕的图像方法。

第三方面，本申请实施例提供一种双录场景下矫正屏幕的图像系统，其特征在于，所述系统包括：

终端设备，用于显示标定画面和待录制画面；

摄像设备，用于获取屏幕的图像得到标定图像或当前跟踪图像；以及服务器，与所述摄像设备通讯连接，所述服务器为如上所述服务器。

上述双录场景下矫正屏幕的图像方法、服务器及双录场景下矫正屏幕的图像系统，通过标定图像获取终端设备的初始位置，根据终端设备的初始位置对后续的跟踪图像进行定位，使得无论终端设备如何移动都可以跟踪到终端设备上面显示的图像，都可以对终端设备的图像进行矫正并显示关键内容。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本申请实施例提供的双录场景下矫正屏幕的图像方法的流程图。

图2为本申请实施例提供的双录场景下矫正屏幕的图像方法的第一子流程图。

图3为本申请实施例提供的双录场景下矫正屏幕的图像方法的第二子流程图。

图4为本申请实施例提供的双录场景下矫正屏幕的图像方法的第三子流程图。

图5为本申请实施例提供的服务器的内部结构示意图。

图6为本申请实施例提供的双录场景下矫正屏幕的图像系统的示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的规划对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，换句话说，描述的实施例根据除了这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，还可以包含其他内容，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

请结合参看图1和图6，图1为本申请实施例提供的双录场景下矫正屏幕的图像方法的流程图，图6为本申请实施例提供的双录场景下矫正屏幕的图像系统的示意图。双录场景下矫正屏幕的图像系统包括摄像设备30、终端设备20、以及服务器10。在本实施例中，摄像设备30与服务器10通讯连接。摄像设备30与服务器10之间可以通过有线或者无线的方式进行通讯连接。终端设备20执行相应业务软件并显示相应的业务界面。服务器10通过摄像设备30实时获取业务现场图像和语音。可以理解地，在本实施例中，终端设备20放置于桌面，业务人员通过操作终端设备20来操作相应的业务软件以实现对应的功能。摄像设备30放置于桌面或者是设置于与桌面相邻的位置朝向终端设备20的屏幕进行拍摄得到视频图像并实时传输给服务器20。服务器10放置于桌子的一旁，对每帧视频图像进行处理后进行录制和回放。在一些可行的实施例中，摄像设备30和服务器10集成在一起，也就是说，摄像设备30集成于服务器10中，如电子产品上的摄像头。服务器10执行双录场景下矫正屏幕的程序以实现双录场景下矫正屏幕的图像方法。其中，双录场景下矫正屏幕的图像方法包括如下步骤S102-S112。

步骤S102，在终端设备20处于标定状态下，利用摄像设备30获取屏幕的图像得到标定图像，所述屏幕在标定状态下显示有标定画面，所述标定画面包括显示于屏幕四个角的四个位置标定标记，所述标定图像包括表示所述标定画面的第一图像。可以理解地，业务员在需要办理业务的时候，业务员将终端设备20进行初始化，服务器10重新与终端设备20进行连接，服务器10与终端设备20连接成功后，发送标定指令给所述终端设备20以使所述终端进入所述标定状态。终端设备20在屏幕四个角的四个位置显示标定标记。服务器10通过摄像设备30对已显示标定标记的所述屏幕进行获取得到标定图像。

步骤S104，根据所述四个位置标志标定所述屏幕位置得到屏幕四个角的标定位置。可以理解地，服务器10通过识别终端设备20上的四个角的二维码来确定屏幕四个角的标定位置。具体如何确定详见下文。

步骤S106，在终端设备20处于跟踪状态下，利用摄像设备30获取屏幕的图像得到当前跟踪图像，所述屏幕在跟踪状态下显示待录制画面，所述录制画面未包含标定标志，所述当前跟踪图像包括表示待录制画面的第二图像。具体地，服务器10通过摄像设备30获取到所述标定图像时，对标定图像进行分析，若服务器10接收的标定图像不清楚无法对标定图像进行定位跟踪，则服务器10将重新发送获取标定图像指令，摄像设备30，重新获取标定图像；若服务器10接收的标定图像清楚，服务器10可以根据获取的标定图像对后续的图像进行跟踪，则服务器10发送指令给终端设备20，使其终端设备20的标定标记消失，此时终端设备20已进入跟踪状态下，服务器10通过摄像设备30再次获取屏幕的图像得到当前跟踪图像。

步骤S108，根据所述屏幕四个角的标定位置和所述当前跟踪图像估测所述屏幕当前四个角的位置得到四个估测位置。具体地，服务器10根据标定图像的所述屏幕四个角的标定位置，确定了终端设备20的位置，因终端设备20不会一直保持位置不变，所以服务器10利用光流估计算法对当前跟踪图像的所述四个角的位置进行跟踪，从而获得当前跟踪图像的屏幕的四个角的估测位置。

步骤S110，对所述四个估测位置进行矫正得到所述屏幕的四个精确位置。具体地，服务器10根据四个估测位置进行逐步扩展四个估测位置的相关邻域得到四个估测位置的边线，服务器10再根据四个估测位置的边线得到点集合，根据点集合对所述位置进行矫正得到所述屏幕的四个精确位置。

步骤S112，根据所述四个精确位置对所述当前跟踪图像进行调整得到回放图像。具体地，服务器10将矫正后得到的四个精确位置的当前跟踪图像，对所述当前跟踪图像进行四角坐标和顺序的调整后得到回放图像。

上述实施例中，通过标定图像获取终端设备20的初始位置，根据终端设备20的初始位置对后续的跟踪图像进行定位，使得无论终端设备20如何移动都可以跟踪到终端设备20上面显示的图像；采用二维码为标定标记，可以使得终端设备20无论朝向那个角度，都可以对终端设备20的图像进行矫正并显示关键内容。

请结合参看图2，其为本申请实施例提供的双录场景下矫正屏幕的图像方法的第一子流程图。步骤S110，具体包括如下步骤S202-S214。

步骤S202，利用所述四个估测位置分割出屏幕四边的局部区域得到四个局部区域。具体地，服务器10根据四个估测位置确认4个分割的局部区域，服务器10根据四个估测位置的点，接收其每个估测位置的点的邻域的像素点，使每个估测位置的点的区域得到扩大，直至不能扩大位置得到四个局部区域。

步骤S204，对所述四个局部区域进行边缘检测得到每个局部区域的边缘。具体地，服务器10对四个局部区域进行灰度化，将灰度化处理的图像进行高斯滤波得到没有噪声的四个局部区域，服务器10再对所述没有噪声的四个局部区域的强度梯度进行计算得到四个梯度值，根据计算得出的四个梯度值进行非极大值抑制来消除边误检得到每个局部区域的边缘。

步骤S204，对所述每个局部区域的边缘进行变换得到屏幕的四条边线。具体地，根据步骤S204获取边缘后，服务器10将获取的边缘进行二值化，判断是否为边缘点，服务器10将边缘点映射到霍夫空间，取局部边缘点在霍夫空间中的极大值进行绘制得到屏幕的四条边线。

步骤S206，根据所述所有的边获取所述所有的边上的点得到边上的点。具体地，服务器10根据所有的边，从像素点中筛选出边缘点，利用高斯滤波对所述边缘点进行过滤得到所述所有的边上没有噪声的边缘点，对所述没有噪声的边缘点进行强度梯度的计算得到稳定的边缘点，即得到边上的点。

步骤S208，根据所述边上的点和四条边线计算每条边线上的所有点得到第一点集合。在本实施例中，第一点集合是利用边上的点和四条边线这两个条件进行得到，具体如何得到第一点集合将在下文详细描述。

步骤S210，将所述第一点集合映射到预设的桌面平面得到第二点集合。具体地，服务器10通过射影变换对第一点集合进行平面变换得到一个3*3的矩阵

H为射影变换矩阵，服务器通过射影变换矩阵将第一点集合都映射到桌面平面得到缩放后的变换矩阵，即第二点集合。缩放后的变换矩阵为：

α为缩放因子，(x,y)和(x′,y′)为当前跟踪图像平面和桌面平面的点坐标。

步骤S212，根据第二点集合确定与屏幕尺寸匹配的匹配矩形和所述匹配矩形的四个角。具体地，服务器10利用最小误差法找到第二点集合中满足终端设备20的长宽比的像素点得到与屏幕尺寸匹配的匹配矩形和所述匹配矩形的四个角。在本实施例中长宽比为4:3。

步骤S214，将所述匹配矩形的四个角映射到成像平面得到所述屏幕的四个精确位置。具体地，服务器10通过射影反变换得到一个3*3的矩阵

H′为射影反变换矩阵，服务器根据射影反变换将步骤S212中得到的矩形像素点映射回成像平面服务器得到缩放后的反变换矩阵。缩放后的反变换矩阵为：

β为缩放因子，(x,y)和(x′,y′)为桌面平面和当前跟踪图像平面的点坐标。服务器根据射影反变换得到所述屏幕的四个精确位置。

上述实施例中，通过算法确认跟踪图像中的边和边上的点得到当前跟踪图像的确切位置，方便服务器10对其当前跟踪图像进行矫正。

请结合参看图3，其为本申请实施例提供的双录场景下矫正屏幕的图像方法的第二子流程图。步骤S208，具体包括如下步骤S302-S308。

步骤S302，获取所有边上的点。可以理解地，服务器10获取检测到的所有的边，根据获取到的所有的边进行边上的像素点的提取得到所有边上的点。

步骤S304，计算每个点到四条边线的距离得到点的距离。具体地，服务器10将提取到的所有点与四条边线进行点到边线之间的距离计算，所述点到边线之间的距离计算采用现有技术的点到边的计算方法对每个点到四条边进行计算得到点的距离值。当点为(x,y)，点的距离为l_i(i＝1,2,3,4)，则点的距离值为d(x,y,l_i)。

步骤S306，将所述点的距离与预设阈值进行对比。具体地，服务器10中预先设置了预设阈值，服务器10将计算得到的点的距离与预设阈值进行对比，并将对比结果进行统计。

步骤S308，将小于阈值的点的距离的点合并成第一点集合。服务器10根据步骤S306中统计的对比结果，将小于阈值的点的距离进行提取，并将提取的点的距离的点进行整合成集合得到第一点集合。

上述实施例中，通过点和边线相结合的方式可以更加精准的确认是哪些像素点是四条边上的像素点，排除干扰像素点。第一点集合用公式表示为：

P＝{(x,y)|d(x,y,l_i)≤∈,(x,y)∈C},i＝1,2,3,4(公式一)，P为第一点集合，(x,y)为点，d(x,y,l_i)为点到某条边的距离，l_i为某条边，∈为预设阈值，C为所有边上的点。

请结合参看图4，其为本申请实施例提供的双录场景下矫正屏幕的图像方法的第三子流程图。步骤S104，具体包括如下步骤S402-S404。

步骤S402，解析所述二维码得到所述每个二维码包含的位置信息，每个二维码的位置信息表示左上角、左下角、右上角、或者右下角。具体地，服务器10对每个位置的二维码设置不同的黑白格，其中黑格表示0，白格表示1，开发人员设置左上角<左下角<右上角<右下角。服务器10在第一次接收到四个角的四个位置显示标定标记时对四个角的标定标记进行黑白格的读取解析得到四个角的标定标记的值，服务器10根据得到的值进行对比，则可以推断出四个角的标定标记所对应的位置信息。

步骤S404，根据解析出的位置信息确定所述屏幕四个角的位置。举例来说，服务器10获取四个角的标定标记的二维码：第一个获取的标定标记的二维码为：01001；第二个获取的标定标记的二维码为：10111；第三个获取的标定标记的二维码为：11011；第四个获取的标定标记的二维码为：10100。其中第1,3,5位为校验位，2,4为数字位。将得到的二维码进行二进制换算的到，第一个二维码的数字位为：10，换算后得到值为2；第二个二维码的数字位为：01，换算后得到值为1；第三个二维码的数字位为：11，换算后得到值为3；第四个二维码的数字位为：00，换算后得到值为0。根据开发人员设置的左上角<左下角<右上角<右下角，则第四个二维码左上角的标定标记，第二个二维码为左下角的标定标记，第一个二维码为右上角的标定标记，第三个为右下角的标定标记。

上述实施例中通过二维码来确定位置信息，可以更加快速方便的计算大小及确定相对应的位置。

请结合参看图5，其为本申请实施例提供的服务器的内部结构示意图。服务器10包括计算机可读存储介质11、处理器12以及总线13。其中，计算机可读存储介质11至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。计算机可读存储介质11在一些实施例中可以是服务器10的内部存储单元，例如服务器10的硬盘。计算机可读存储介质11在另一些实施例中也可以是的外部服务器10存储设备，例如服务器10上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，计算机可读存储介质11还可以既包括服务器10的内部存储单元也包括外部存储设备。计算机可读存储介质11不仅可以用于存储安装于服务器10的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。

总线13可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，服务器10还可以包括显示组件14。显示组件14可以是发光二极管(Light Emitting Diode，LED)显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。其中，显示组件14也可以适当的称为显示装置或显示单元，用于显示在服务器10中处理的信息以及用于显示可视化的用户界面。

进一步地，服务器1010还可以包括通信组件15。通信组件15可选地可以包括有线通信组件和/或无线通信组件，如WI-FI通信组件、蓝牙通信组件等，通常用于在服务器10与其他智能控制设备之间建立通信连接。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行计算机可读存储介质11中存储的程序代码或处理数据。具体地，处理器12执行处理程序以控制服务器10实现双录场景下矫正屏幕的图像方法。

可以理解地，图5仅示出了具有组件11-15以及双录场景下矫正屏幕的图像方法的服务器10，本领域技术人员可以理解的是，图5示出的结构并不构成对服务器10的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘且本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

以上所列举的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。

Claims

1.一种双录场景下矫正屏幕的图像方法，其特征在于，所述双录场景下矫正屏幕的图像方法包括：

2.如权利要求1所述的双录场景下矫正屏幕的图像方法，其特征在于，所述方法还包括：响应所述终端启动指令时，发送标定指令给所述终端以使所述终端进入所述标定状态。

3.如权利要求1所述的双录场景下矫正屏幕的图像方法，其特征在于，所述方法还包括：当获取到所述标定图像时，发送跟踪指令给所述终端设备以使所述终端设备进入所述跟踪状态。

4.如权利要求1所述的双录场景下矫正屏幕的图像方法，其特征在于，对所述四个估测位置进行矫正得到所述屏幕的四个精确位置具体包括：

利用所述四个估测位置分割出屏幕四边的局部区域得到四个局部区域；

对所述四个局部区域进行边缘检测得到每个局部区域的边缘；

对所述每个局部区域的边缘进行变换得到屏幕的四条边线；

根据所述所有的边获取所述所有的边上的点得到边上的点；

根据所述边上的点和四条边线计算每条边线上的所有点得到第一点集合；

将所述第一点集合映射到预设的桌面平面得到第二点集合；

根据第二点集合确定与屏幕尺寸匹配的匹配矩形和所述匹配矩形的四个角；以及

将所述匹配矩形的四个角映射到成像平面得到所述屏幕的四个精确位置。

5.如权利要求4所述的双录场景下矫正屏幕的图像方法，其特征在于，根据所述边上的点和四条边线计算每条边线上的点集得到第一点集合具体包括：

获取所有边上的点；

计算每个点到四条边线的距离得到点的距离；

将所述点的距离与预设阈值进行对比；

将小于阈值阈值的点的距离的点合并成第一点集合。

6.如权利要求1所述的双录场景下矫正屏幕的图像方法，其特征在于，根据所述屏幕四个角的标定位置和所述当前跟踪图像估测所述屏幕当前四个角的位置得到四个估测位置具体包括：

利用流光估计算法根据所述屏幕四个角的标定位置和所述当前跟踪图像追踪所述屏幕四个角的位置得到所述四个估测位置。

7.如权利要求1所述的双录场景下矫正屏幕的图像方法，其特征在于，所述标定标记用二维码表示，所述标定标记包含相对应的四个角的位置信息。

8.如权利要求1所述的双录场景下矫正屏幕的图像方法，其特征在于，根据所述四个位置标志标定所述屏幕位置得到屏幕四个角的标定位置具体包括：

解析所述二维码得到所述每个二维码包含的位置信息，每个二维码的位置信息表示左上角、左下角、右上角、或者右下角；以及

根据解析出的位置信息确定所述屏幕四个角的位置。

9.一种服务器，其特征在于，所述服务器包括：

计算机可读存储介质，用于存储程序指令；以及

处理器，用于处理执行所述程序指令以实现如权利要求1至8中任一项的双录场景下矫正屏幕的图像方法。

10.一种双录场景下矫正屏幕的图像系统。其特征在于，所述系统包括：

终端设备，用于显示标定画面和待录制画面；

摄像设备，用于获取屏幕的图像得到标定图像或当前跟踪图像；以及

服务器，与所述摄像设备通讯连接，所述服务器为如权利要求9中的所述服务器。