CN110035329B - 图像处理方法、装置及存储介质 - Google Patents

图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN110035329B
CN110035329B CN201810027291.1A CN201810027291A CN110035329B CN 110035329 B CN110035329 B CN 110035329B CN 201810027291 A CN201810027291 A CN 201810027291A CN 110035329 B CN110035329 B CN 110035329B
Authority
CN
China
Prior art keywords
annotation
target
frame image
feature point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810027291.1A
Other languages
English (en)
Other versions
CN110035329A (zh
Inventor
田野
邢起源
任旻
王德成
刘小荻
李硕
张旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Beijing Co Ltd
Original Assignee
Tencent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Beijing Co Ltd filed Critical Tencent Technology Beijing Co Ltd
Priority to CN201810027291.1A priority Critical patent/CN110035329B/zh
Publication of CN110035329A publication Critical patent/CN110035329A/zh
Application granted granted Critical
Publication of CN110035329B publication Critical patent/CN110035329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Abstract

本发明实施例提供了一种图像处理方法，包括：显示内容共享的状态下，在屏幕的窗口中显示共享内容的第一帧图像，所述第一帧图像中包括批注区域以及批注信息；响应于更新所述共享内容的操作，将显示的所述共享内容的第一帧图像更新为显示所述共享内容的第二帧图像，以及，根据所述共享内容的批注区域的图像特征以及批注信息，在所述第二帧图像中搜索相适配的目标批注区域以及对应的批注信息；响应于在所述第二帧图像中搜索到相适配的目标批注区域，在所述第二帧图像中显示相适配的目标批注区域对应的批注信息。本发明实施例还提供了一种图像处理装置及存储介质。

Description

图像处理方法、装置及存储介质
技术领域
本发明涉及图像处理技术，尤其涉及一种图像处理方法、装置及存储介质。
背景技术
在异地沟通和讨论场景中，经常会使用屏幕共享(也即显示内容共享)功能来演示一份文档，并基于该演示的文档展开讨论；在讨论和沟通过程中，通常会使用批注功能来标记或记录讨论过程，以此降低线上沟通成本。
相关技术实现的屏幕共享中的批注功能仅支持针对静态映像来进行批注的共享，比如，在显示内容时，即用户对屏幕显示的内容不进行滚动或缩放操作的状态下，将当前所显示内容以及所包括批注信息生成一帧静态图像，在共享的用户之间同步静态图像，从而能够实现批注信息的共享，但若对屏幕进行操作以更新显示的内容时，如滚动显示内容或缩放内容时，即使批注区域仍然在屏幕显示，由于屏幕显示的图像发生变化导致静态图像不能继续使用，除非继续生成新的静态图像，否则针对批注区域的批注信息无法继续显示，然而这种方式需要不断生成新的静态图像，在资源消耗和效率上不具有实用价值。
可见，相关技术在屏幕共享中实现的批注功能，依赖于批注信息与屏幕显示内容结合为静态图像的方案，这种方案在资源占用、实现效率上以及易用性上，都存在难以适配对屏幕进行操作这个典型使用场景的技术问题。
发明内容
为解决相关技术存在的上述技术问题，本发明实施例提供了一种图像处理方法、装置及存储介质。
本发明实施例的技术方案是这样实现的：
本发明实施例第一方面提供了一种图像处理方法，所述方法包括：
显示内容共享的状态下，在屏幕的窗口中显示共享内容的第一帧图像，所述第一帧图像中包括批注区域以及批注信息；
响应于更新所述共享内容的操作，将显示的所述共享内容的第一帧图像更新为显示所述共享内容的第二帧图像，以及，
根据所述共享内容的批注区域的图像特征以及批注信息，在所述第二帧图像中搜索相适配的目标批注区域以及对应的批注信息；
响应于在所述第二帧图像中搜索到相适配的目标批注区域，在所述第二帧图像中显示相适配的目标批注区域对应的批注信息。
上述方案中，所述根据所述共享内容的批注区域的图像特征以及批注信息，在所述第二帧图像中搜索相适配的目标批注区域以及对应的批注信息，包括：
确定所述显示内容所显示的第一帧图像中的批注区域，并确定能够表征所述批注区域的第一特征点集合；
确定能够表征所述第二帧图像的第二特征点集合；
将所述第二特征点集合与所述第一特征点集合进行匹配，基于匹配结果从所述第二特征点集合中，选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；
基于所述目标特征点集合确定所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域。
上述方案中，所述基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点，包括：基于所述第一特征点集合中第一特征点目标特征点集合中与第一特征点相对应的目标特征点，确定中心特征点集合；从所述中心特征点集合中选取出满足预设规则的目标中心特征点。
上述方案中，还包括：根据所述第一帧图像和所述第二帧图像得到图像缩放特征；基于所述图像缩放特征对所述目标批注区域的批注信息进行缩放处理，在所述第二帧图像的目标批注区域中显示缩放处理后的批注信息。
本发明实施例第二方面提供了一种图像处理装置，所述装置包括：
共享单元，用于显示内容共享的状态下，在屏幕的窗口中显示共享内容的第一帧图像，所述第一帧图像中包括批注区域以及批注信息；
更新单元，用于响应于更新所述共享内容的操作，将显示的所述共享内容的第一帧图像更新为显示所述共享内容的第二帧图像；
搜索单元，用于根据所述共享内容的批注区域的图像特征以及批注信息，在所述第二帧图像中搜索相适配的目标批注区域以及对应的批注信息；
批注单元，用于响应于在所述第二帧图像中搜索到相适配的目标批注区域，在所述第二帧图像中显示相适配的目标批注区域对应的批注信息。
上述方案中，所述搜索单元用于：根据所述第一帧图像中批注区域的图像特征以及对应的批注信息，在所述第二帧图像中搜索相适配的目标批注区域以及批注信息。
本发明实施例第三方面提供了一种图像处理装置，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例第一方面提供的图像处理方法。
本发明实施例第四方面提供了一种存储介质，存储有可执行指令，可执行指令被处理器执行时，实现本发明实施例第一方面提供的图像处理方法。
本发明实施例提供的图像处理方法、装置及存储介质，在实现批注信息共享的基础上，根据批注区域的图像特征对显示共享内容的帧图像进行批注区域的实时定位，实现了批注信息随显示共享内容的更新而动态跟随的技术效果，丰富了批注功能的使用场景，增加了屏幕共享场景中批注功能的易用性。
附图说明
图1为本发明实施例图像处理方法的实现流程示意图；
图2为本发明实施例图像处理方法的实现流程示意图；
图3为本发明实施例在显示内容共享的状态下进行批注后的显示界面示意图；
图4为本发明实施例在显示内容共享的状态下且进行批注后的显示界面滚动操作后的示意图；
图5为本发明实施例目标中心特征点的选取规则示意图；
图6A为本发明实施例图像处理方法在一具体示例中的实现流程示意图；
图6B为本发明实施例图像处理方法在一具体示例中的实现流程示意图；
图7为本发明实施例发送方终端在显示内容共享场景中进行批注的应用流程示意图；
图8为本发明实施例接收方终端在显示内容共享场景中进行批注的应用流程示意图；
图9A为本发明实施例图像处理装置的组成结构示意图。
图9B为本发明实施例图像处理装置的组成结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。根据本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其它实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。
对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)显示内容共享，也称为屏幕共享，一台终端的屏幕与其他终端的屏幕显示相同来源(如相同文件)的内容、并将任意一个终端对内容的操作实时同步给参与屏幕共享的终端的技术，可以用于异地演示和线上会议等场景。
2)感兴趣区域(ROI，Region Of Interest)，也称为兴趣区域，被处理的图像以方框、圆、椭圆、不规则多边形等各种方式勾勒出需要处理的区域，可以通过各种算子(Operator)和函数来从图像中识别出兴趣区域，并进行图像的下一步处理，本文中记载的感兴趣区域是指屏幕共享场景中发生批注操作的区域。
3)特征点，即图像特征点，也称为兴趣点或关键点，在图像中能够反映批注区域的局部(如颜色和纹理)的点，可以是多个像素点的集合；特征点的检测可以使用各种算法，例如尺度不变特征变换(SIFT，Scale-Invariant Feature Transform)算法，尺度不变特征变换算法从图像中检测到的特征点，对于在光照、图像噪点、旋转、缩放和视点变换具有不变的局部特征值。
4)特征描述符(Feature Descriptors)，特征点的向量表示，除了包括特征点，还可以包括特征点周围对识别特征点有贡献的像素点，用来作为目标匹配的依据，使特征点具有更多的不变特性，如光照变化、3D视点变化等。
5)批注信息，简称为批注，通过直线、箭头、画笔、方框和文字划线中一种方式或者结合，对共享内容设定的点评和/或标记。
6)光流法，图像序列中的图像亮度模式的表观运动，即空间物体表面上的点的运动速度和运动方向在视觉传感器的成像平面上的表达，例如采用移动特征的方式表达，用于表示在一系列连续的帧图像中，特征点在每个帧图像中的运动速度和运动方向。
7)目标跟踪，提取图像特征的方式，在一系列的帧图像中定位批注区域的位置，可以使用各种目标跟踪算法来实现，例如基于聚类的静态自适应变化目标追踪算法(CMT，Clustering of Static-Adaptive Correspondences for Deformable ObjectTracking)，帧间差分法和背景差法等。
8)响应于，用于表示所执行的一个或多个操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
9)终端，参与屏幕共享的智能手机、笔记本电脑等电子设备，发送方终端记录共享内容记录批注区域以及批注信息，并向参与屏幕共享的终端，接收方终端接收参与屏幕共享的终端所记录的批注区域以及批注信息的终端，可以理解，发送方终端和接收方终端是相对的概念，例如发送方终端也可以作为接收方终端，接受方终端也可以作为发送方终端。
相关技术在屏幕共享场景下使用批注功能，需要先进入批注状态，然后，在该批注状态下进行标记和/或批注，此时，现有方案中屏幕内容无法进行滚动、缩放等操作；而若要进行滚动、缩放等操作，则需先退出批注状态，在退出批注状态后之前的批注信息则随之消失，综上可以看出相关技术在屏幕共享中实现的批注功能存在如下缺点：
第一，批注状态下，共享的屏幕内容无法进行滚动、缩放等操作，若想进行滚动、缩放等操作，则需要退出批注状态，导致批注无法继续显示；需要不断执行屏幕内容操作和批注状态来回切换，因此，增加了用户的操作成本，易用性较差。
第二，在取消批注状态，也即退出批注状态后，之前的批注信息也会随之消失，但实际应用中，批注信息是强指向某个共享的内容点，是异地沟通和讨论场景中需要记录的可靠信息，存在随时回看和汇总沉淀的需求，因此，批注信息消失会让批注功能变成一种临时的写画功能，限制了批注功能的使用。
针对屏幕共享技术中批注信息无法回顾、不适应动态位置变化以及不适应缩放的问题，本发明实施例提供了一种图像处理方法，能够实现如下功能：
第一，本发明实施例在屏幕共享场景中，用户可以通过鼠标进行屏幕操作，同时，支持批注功能，比如，以鼠标点击拖拽的方式创建需要重点批注的批注区域，能够显示批注信息并进行记录。
第二，参与屏幕共享的用户能够独立对共享内容进行操作，并进行移动、缩放等操作时，批注信息会动态跟随当前屏幕内容的移动和/或缩放而相应变化，并能确保批注信息准确对应(如框选)原重点批注的批注区域。
第三，批注区域的内容由于遮挡而无法全部显示，亦或是随显示内容滚动移出屏幕后，比如检测到当前显示的内容中不存在批注区域后，或者，已有批注信息与当前显示的内容不对应后，中止显示批注信息；当然，对于批注区域的内容被部分遮挡的情况，作为中止显示批注信息的替代方案，可以等比例的显示未遮挡区域的批注信息，方案可以根据实际需求而任意设置。
第四，批注区域重新回到屏幕显示时，比如检测到批注区域重新在屏幕中出现后，在批注区域对应的位置显示批注信息，实现批注信息的回看。
第五，屏幕共享的终端的数量上不存在限制，发送方终端和接收方终端都能够对共享内容进行批注，共享批注区域的图像特征以及批注区域的批注信息。
下面结合图1和图2，从发送方终端的角度对本发明实施例提供的图像处理的方案进行说明，由于发送方终端和接收方终端是相对的概念，因此根据下文所记载的发送方终端关于图像处理方案的实施，可以轻易在接收方终端实施相类似的图像处理方案。
图1为本发明实施例图像处理方法的实现流程示意图，如图1所示，所述方法包括：
步骤101，显示内容共享的状态下，在屏幕的窗口中显示共享内容的第一帧图像，所述第一帧图像中包括批注区域以及批注信息。
在本发明一些实施例中，发送方终端和接收方终端显示相同来源的内容，下文中称为共享内容，例如，发送方终端和接收方终端根据相同的资源定位符(URL)获取的文件，或者，发送方终端和接收方终端运行即时通信应用，并通过即时通信应用共享的文件。
在本发明一些实施例中，参与屏幕共享的发送方终端和接收方终端同步显示共享内容，即显示共享内容的相同位置(例如同一页或同一段落)的内容，或者，参与屏幕共享的发送方终端和接收方终端也可以独立显示共享内容，例如，发送方终端和接收方终端显示共享内容的不同位置(例如不同页或不同段落)的内容。
步骤102，响应于更新所述共享内容的操作，将显示的所述共享内容的第一帧图像更新为显示所述共享内容的第二帧图像。
在本发明一些实施例中，更新共享内容的操作具有不同的属性，例如：移动、缩小、放大和旋转；当发送方终端响应于更新所述共享内容的操作时，在屏幕中将显示的所述共享内容的第一帧图像更新为显示所述共享内容的第二帧图像；对于第二帧图像而言，可以采用这样的方式生成：根据更新所述共享内容的操作的属性，以所述第一帧图像为基准，在所述共享内容中确定适配所述属性的内容，例如共享内容中与操作的移动、缩小、放大和旋转相适配的内容，生成包括所确定的内容的第二帧图像。
作为示例，第一帧图像是共享内容的第一页，当操作为在屏幕中向下的滚动操作时，根据滚动的属性(方向为向下，参数为滚动幅度)，确定与操作的属性相适配的内容，如果以页为滚动幅度，则适配的内容为共享内容的第二页，如果以行为滚动幅度，则适配的内容为共享内容第一页的尾部的若干行、以及共享内容第二页头部若干行，以所确定的内容生成第二帧图像。
需要指出，第一帧图像和第二帧图像是共享内容的显示过程中先后显示的两帧图像，“第一”和“第二”仅用于区分先后显示的帧图像，不应理解为帧图像在共享内容中的序号；例如，第一帧图像可以是在显示共享内容的过程中的任意一帧图像，例如是用户设定有批注区域以及批注信息的帧图像，第二帧图像可以是在第一帧图像之后显示的相邻的一帧图像。
在本发明一些实施例中，发送方终端显示共享内容时提供进入批注状态的功能(本文中也称为批注功能)，在批注状态中支持对共享内容进行批注信息的相关编辑操作，例如增加批注信息、删除批注信息、修改批注信息和查找(例如基于关键字、内容页码和批注序号)批注信息；发送方终端响应于显示共享内容的第一帧图像(也适用于其他帧图像)时处于批注状态，在批注状态中能够根据用户对第一帧图像的批注信息的编辑操作的类型，对第一帧图像中的内容执行相应类型的编辑操作；当然，发送方终端在显示共享内容的任意一帧图像时都能够提供批注功能，通过特定方式例如工具栏、鼠标手势等触发。
作为示例，在批注状态中提供如图3示出的批注工具栏33和如图4示出的批注工具栏43，支持在共享内容中设定各种类型的批注信息，如批注框和批注文字任意之一或者二者的结合。
在本发明一些实施例中，发送方终端在显示共享内容时提供进入非批注状态的功能，非批注状态在本文中也称为浏览状态，在浏览状态中支持接收用户针对共享内容进行更新的操作，对于发送方终端在批注状态中所记录的批注区域的图像特征以及对应的批注信息，可以在非批注状态中同步到接收方终端(也就是参与屏幕共享的终端)，另外在浏览状态中还可以获取接收方终端在批注装状态中记录的批注区域的图像特征以及批注信息，更新发送方终端针对共享内容的记录的批注区域的图像特征以及批注信息。
由上可见，发送方终端通过在非批注状态下的同步，实现参与屏幕共享的接收方终端及时同步共享内容的相关批注信息的技术效果，对于参与屏幕共享的发送方终端而言，不仅记录有发送方终端在共享内容中所设定的批注信息，还记录有参与屏幕共享的接收方终端在共享内容中所设定的批注信息；接收方终端可以提供显示批注信息的配置选项显示不同来源的批注信息，例如可以有如下配置选项：显示参与屏幕共享的用户中特定用户的批注信息、显示接收方终端用户的批注信息和显示全部用户的批注信息。
作为示例，对于发送方终端记录的批注区域的图像特征而言，可以采用批注区域的图像特征的各种类型的特征描述符的形式进行记录，对于批注信息而言，可以记录批注信息的组成元素，例如批注框类型、线条类型和批注文字等。
步骤103，根据所述共享内容的批注区域的图像特征以及批注信息，在所述第二帧图像中搜索与所述共享内容的批注区域的图像特征相适配的目标批注区域以及对应的批注信息。
作为示例，从设定批注区域的终端的角度，共享内容的批注区域的图像特征可以是：类型1)部分终端(例如发送方终端或者接收方终端)在共享内容中设定的批注区域的图像特征，或者是：类型2)参与屏幕共享的全部终端(包括发送方终端和接收方终端)在共享内容中设定的批注区域对应的图像特征。
作为示例，从设定的批注区域对应的帧图像的角度，共享内容的批注区域的图像特征可以是：类型3)在第一帧图像中设定的批注区域的图像特征，或者是：类型4)在未显示内容(也就是共享内容中未在所述第一帧图像中显示的内容)中设定的批注区域的图像特征。
在本发明一些实施例中，对第二帧图像进行批注区域搜索时，所使用的共享内容的批注区域的特征可以为前述示例给出的任意一种，采用默认设置或者根据用户需求设置的方式；例如，当采用类型3)时，根据所述第一帧图像中批注区域的图像特征(可以理解，可以为参与屏幕共享的部分终端或全部终端在第一帧图像中设定的批注区域的图像特征)以及对应的批注信息，在所述第二帧图像中搜索与第一帧图像中的批注区域的图像特征相适配的目标批注区域以及批注信息；又例如，当采用类型4)时，根据未显示内容中的批注区域的图像特征(可以理解，可以为参与屏幕共享的部分终端或全部终端在未显示内容中设定的批注区域的图像特征)以及批注信息，在所述第二帧图像中搜索与未显示内容中的批注区域的图像特征相适配的目标批注区域，以及相适配的目标批注区域的批注信息，实现了根据批注区域的来源终端灵活搜索目标区域的技术效果。
步骤104，响应于在所述第二帧图像中搜索到相适配的目标批注区域，在所述第二帧图像中显示相适配的目标批注区域对应的批注信息。
在本发明一些实施例中，发送方终端根据所述目标批注区域相对于所述第一帧图像中批注区域的变换属性，所述变换属性包括以下至少之一：移动、旋转、缩小和放大；将所述目标批注区域的批注信息根据所述变换属性进行同步变换，在所述第二帧图像中显示同步变换后的批注信息，实现批注信息跟随批注区域的变换而同步变换，保持批注信息与批注区域显示效果的一致性。
在本发明一些实施例中，响应于在所述第二帧图像中未搜索到相适配的目标批注区域，在所述第二帧图像中止显示相适配的目标批注区域的批注信息，避免批注区域在屏幕中不再显示时还在屏幕中显示批注信息导致的干扰。
作为示例，对于发送方终端在第一帧图像中显示的批注区域以及对应的批注信息，如果在第二帧图像中未搜索到相适配的目标批注区域，说明第二帧图像中的内容相较于第一帧图像发生较大幅度的更新，或者第一帧图像中显示的批注区域在第二帧图像中被完全遮挡，作为响应，发送方终端在所述第二帧图像中止显示目标批注区域(也就是在第一帧图像中显示的)的批注信息，避免批注区域不再显示时还显示批注信息导致的干扰。
在本发明一些实施例中，对于发送方终端在第一帧图像中显示的批注区域以及对应的批注信息，如果在第二帧图像中未搜索到相适配的目标批注区域，且目标批注区域被部分遮挡，说明用户在发送方终端显示第一帧图像时，由于用户的某些操作而在第一帧图像的基础上叠加显示的新的内容导致原先显示的批注区域被遮挡；作为响应，如果搜索到的相适配的目标批注区域满足遮挡条件，例如超出遮挡比例(假设为80％)，则没有必要显示对应的批注信息，在所述第二帧图像中止显示相适配的目标批注区域的批注信息；作为在满足遮挡条件时的替换方案，根据所述目标批注区域在第二帧图像中的未遮挡比例，显示相应未遮挡区域的批注信息，作为示例，当批注区域的左半部分(以屏幕的正视方向为参考方向)被遮挡时，在第二帧图像中显示批注区域的右半部分对应的批注信息，例如，显示批注框的右半部分。
下面，结合图2对基于图像特征在第二帧图像中利用CMT算法搜索批注区域进行示例性说明。需要指出，下文记载的根据第一帧图像中批注区域的图像特征在第一帧图像中搜索批注区域的方案，仅为根据批注区域的图像特征在第二帧图像中搜索批注区域示例性实施，除此之外，还可以基于帧间差法、核化相关滤波(Kernelized Correlation Filter)算法等。
例如，就帧间差法来说，假定相邻两帧图像在时间上的间隔很短(一般每秒可以拍摄8/12/24帧)，所以利用相邻帧中变化不明显的特性，使用前后两帧图像的差值来检测图像中的批注区域，通过差值阈值的调整可以改变检测批注区域的灵敏度。
再例如，就KCF算法来说，使用基于批注区域的图像特征的分类器，来判断一帧图像中包括批注区域的位置，在分类器的训练过程中，设定批注区域以及批注信息的共性内容为正样本，使用未设定批注区域以及批注信息的共性内容为负样本来，以正样本和负样本来训练分类器，分类器能够根据共享内容中批注区域的图像特征，对共享内容的每一帧图像中是否包括批注区域、以及批注区域的位置进行判断。
又例如，就CMT算法来说，图2为本发明实施例图像处理方法的实现流程示意图，如图2所示，所述方法包括：
步骤201：显示内容共享的状态下，确定所述显示内容所显示的第一帧图像中的批注区域，并确定能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息。
这里，所述第一帧图像可以是在批注状态下选中批注区域，并编辑完成批注信息后所对应的一帧图像；当然，所述第一帧图像还可以是在批注状态下选中批注区域，并编辑完成批注信息之后，且在显示内容进行滚动和/或缩放等操作之前的一帧图像。
作为示例，批注区域是用于对共享的显示内容中的至少部分内容进行重点说明的区域，在批注状态中可以采用批注工具栏的方式提供批注功能，包括：直线、箭头、画笔、方框和文字五种类型；利用批注功能在共享内容中设定批注区域和批注信息；其中，批注区域所包括的内容是共享内容中需要进行说明的部分内容，批注信息可以是用于对批注区域的部分内容进行说明的文本信息，当然批注信息不局限于文本，例如包括以下至少一种：框选共享内容中部分内容的线框(也就是批注框)、下划线(包括单划线、双划线、直线和波浪线)对框选的内容进行说明的文本信息。
图3为本发明实施例在显示内容共享的状态下进行批注后的显示界面示意图，如图3所示，批注信息包括框选批注区域的线框，以及线框周边所显示的文本信息。
步骤202：确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，所述第二帧图像为与所述第一帧图像相关联的图像。
在本发明一些实施例中，所述第二帧图像为第一帧图像之后，用于显示共享内容的一帧图像，所述第二帧图像为针对第一帧图像进行操作后所得到的图像，例如，操作可以是对第一帧图像中内容移动(如在屏幕中上下左右方向的滚动)、旋转、缩小和放大；图4为本发明实施例在显示内容共享的状态下且进行批注后的显示界面滚动操作后的示意图，如图4所示，当用户对第一帧图像中显示内容进行滚动的操作后，发送方终端的屏幕跟随滚动操作显示第二帧图像，如果第一帧图像中的批注区域在批注信息跟随原始批注区域的位置变化而变化后得到的图像，也即第二帧图像，其中，第二帧图像中显示有与第一帧图像的批注信息相匹配的批注信息。
本发明实施例所述的特征点集合中包含有若干个特征点，该特征点均能够表征出对应图像的局部特征。例如，第一特征点集合中包含有至少两个第一特征点，该第一特征点能够表征出批注区域的局部特征信息；相应地，所述第二特征点集合中包含有至少两个第二特征点，第二特征点能够表征出第二帧图像的局部特征信息。
这里，由于实际应用中，会存在图像缩放问题，所以，为避免图像缩放处理后不能准确追踪到批注信息，本发明实施例中确定的特征点具有随图像的缩放保持稳定的特性，以图像缩放后，仅仅是特征点的位置和/或特征点之间的距离发生变化。
基于此，可以提取各种具有尺寸不变特性的特征点，比如，利用尺度不变特征转换(SIFT，Scale-Invariant Feature Transform)特征点，二进制鲁棒不变尺度特征(BRISK，Binary Robust Invariant Scalable Keypoints)和片段测试特征(FAST，Features FromAccelerated Segment Test)特征点等，以及提取第二帧图像的特征点，如此，利用上述算法提取出的特征点能够确保本身不会随图像缩放而发生变化，只是在图像缩放后，特征点的位置和/或特征点之间的距离会发生变化而已。
步骤203：将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合。
在本发明一些实施例中，进行匹配的过程就是相似度判断的过程，即判断第二特征点集合中的第二特征点与第一特征点集合中的第一特征点的相似度，进而从第二特征点集合中，选取出于第一特征点集合中的第一特征点相似度最高的点，也即目标特征点，以最终得到与第一特征点集合相匹配的目标特征点集合。
在本发明一些实施例中，匹配过程也即相似度的判断过程，相似度可以用欧式距离来度量。例如，在一具体示例中，步骤203可以具体为：确定所述第二特征点集合中的第二特征点与所述第一特征点集合中的第一特征点之间的距离特征，从所述第二特征点集合中选取出距离特征满足预设距离条件的目标特征点。
作为示例，对于第二特征点集合中每一个第二特征点而言，计算第二特征点与第一特征点集合中每一个第一特征点的欧氏距离，并用欧氏距离作为匹配的标度，即距离越小匹配程度越高，来从第二特征点集合中选取出与第一特征点集合中第一特征点最匹配的目标特征点。
比如，实际应用中，特征点可以通过特征向量来标识，举例来说，利用向量A(x1，x2，…，xn)来表示第一特征点集合中特定第一特征点，利用向量B(y1，y2，…，yn)来表示第二帧图像中的第二特征点，其中，n为大于等于2的正整数；此时，特征点A和特征点B的欧式距离为：
Figure GDA0003565753940000141
在本发明一些实施例中，利用上述欧式距离确定特定第一特征点A与第二帧图像中所有第二特征点之间的欧式距离，进而选取出与特定第一特征点A的欧式距离最小的第二特征点，该与特定第一特征点A的欧式距离最小的第二特征点即为与该特定第一特征点A最匹配的目标特征点。
为提高批注信息的显示位置准确度，本发明实施例还可以确定从所述第一帧图像变换到所述第二帧图像的移动特征，并基于所述移动特征，从所述第二帧图像中预估出与所述第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合；比如，利用光流法，确定从第一帧图像变换到第二帧图像的光流特征，进而基于光流特征从第二帧图像中预估出与第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合。
步骤203则具体为：基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到第二预估目标特征点集合，进而基于所述第一预估目标特征点集合和所述第二预估目标特征点集合，得到目标特征点集合，比如，取第一预估目标特征点集合和第二预估目标特征点集合的并集作为目标特征点集合。
步骤204：至少基于所述目标特征点集合确定所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
实际应用中，在确定目标特征点集合后，即可基于目标特征点集合从第二帧图像中确定目标批注区域，而该目标批注区域即为第二帧图像中与第一帧图像的匹配区域相对应的区域。
这里，考虑到实际应用中可以还会存在针对显示内容的缩放操作，所以，本发明实施例还可以至少根据所述第一帧图像和所述第二帧图像得到图像缩放特征，进而基于所述图像缩放特征对所述目标批注区域的批注信息进行缩放处理，在所述第二帧图像的目标批注区域中显示缩放处理后的批注信息，如此，真实复现批注信息随显示内容的移动而移动，随显示内容的缩放而缩放的场景，增加了批注功能的使用场景，也提升了用户体验。
实际应用中，会存在相似特征点，即目标特征点集合中存在两个目标特征点的情况，比如，该两个目标特征点表征的局部特征信息相似，但该两个目标特征点中仅有一个是与第一帧图像的批注区域相对应的特征点，另外一个则不是，此时，若基于目标特征点集合确定目标批注区域，则会降低目标批注区域的准确度，因此，为降低相似特征点的干扰，以及为进一步提升确定的目标批注区域的准确性，在一具体示例中，所述至少基于所述目标特征点集合确定所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，可以具体为：基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点；基于所述第一特征点集合以及所述目标中心特征点确定所述第二帧图像中的目标批注区域，其中，所述目标中心特征点位于所述目标批注区域的中心区域。
也就是说，本示例中，先确定中目标中心特征点，然后，围绕目标中心特征点确定目标批注区域。
在本发明一些实施例中，确定目标中心特征点的具体方式，也即所述基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点，可以具体为：基于所述第一特征点集合中第一特征点与目标特征点集合中与第一特征点相对应的目标特征点，确定中心特征点，得到中心特征点集合；从所述中心特征点集合中选取出满足预设规则的目标中心特征点。也就是说，不同特征点可能确定的中心特征点不同，所以，为进一步提升确定的目标中心特征点的精确度，可以选用投票(聚类)机制从中心特征点集合中选取出投票数最高的目标中心特征点。如图5所示，比如基于第一特征点集合和目标特征点集合，确定图5左部所示的三个中心特征点，其中，五个指向中心特征点A，两个指向中心特征点C，一个指向中心特征点B，因此，基于投票(聚类)机制选取出投票数最多的中心特征点A作为目标中心特征点。
在本发明一些实施例中，在确定目标中心特征点之后，再利用相似的方式，从第二帧图像中选取与第一帧图像的批注区域的边缘区域相匹配的特征点，即可得到目标批注区域，且利用该方式得到的目标批注区域降低了相似特征点的干扰，提升了批注区域追踪的准确性，进而为提升用户体验奠定了基础。
本发明实施例通过显示内容共享的状态下，确定所述显示内容所显示的第一帧图像中的批注区域，并确定能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；确定第二帧图像，得到所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；至少基于所述目标特征点集合确定所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息，如此，在实现批注信息共享的基础上，实现了批注信息随显示内容的变化而相应变化的目的，比如，显示内容滚动或缩放等操作后，本发明实施例所述的方法依然能够确保批注信息随滚动或缩放等操作而相应变化，如此，丰富了批注功能的使用场景，增加了屏幕共享场景中批注功能的易用性，同时，也提升了用户体验。
本发明实施例所述的方法不受批注状态的限制，即无论是否处于批注状态，批注信息均能随滚动或缩放等操作而相应变化，因此，避免了屏幕内容操作和批注状态来回切换而增加用户操作成本的问题，提升了用户的使用体验。进一步地，本发明实施例所述的方法能够满足用户回看和汇总沉淀已有批注信息的需求，进一步提升了批注功能的易用性，丰富了批注功能的使用场景。
以下结合具体示例，对本发明实施例做进一步详细说明；例如，本示例中把批注区域定义存储为兴趣区域，并将整个兴趣区域分解成为许多小区域，比如分解为若干特征点，以特征点的表达方式来表征该兴趣区域。这里，实际应用中，批注区域对应的显示内容移动或缩放后，其特征点本身并不会发生改变，但特征点的位置和/或距离会产生变化，所以，基于上述原理，本示例采用特征点静态自适应的聚类方式，来利用特征点准确描述初始兴趣区域，以达到批注信息追随显示内容而动态变化的目的。
这里，在屏幕共享的过程中，存在一帧图像且该帧图像中存在用户已批注的批注区域，可称为初始批注区域(也可称为初始兴趣区域)，此时，计算得到该初始批注区域的特征点，进而采用如下方式来实现在滑动或缩放等操作后快速重新捕获特征点并计算出新的批注跟随位置，例如，首先，采用光流法，追踪上一帧中初始批注区域对应的特征点，来预估当前帧中与初始批注区域对应的特征点，如此，得到第一预估目标特征点集合；其次，利用特征描述符来将当前帧对应的特征点与初始批注区域对应的特征点进行全局匹配，得到第二预估目标特征点集合；最后，取所述第一预估目标特征点集合和所述第二预估目标特征点集合的并集，得到目标特征点集合，基于目标特征点集合中每一个特征点对中心特征点进行投票的方式，选取出目标中心特征点，进而基于目标中心特征点确定目标批注区域，比如，使发生滑动或缩放的特征点重新达成共识，同时，除去非初始兴趣区域的特征点，以目标中心特征点为中心，以包围盒的形态确定目标批注区域。
图6A为本发明实施例图像处理方法在一具体示例中的实现流程示意图，如图6A所示，批注信息跟随算法的流程如下所述。
步骤601a：将用户框选批注区域完成批注过程的影像帧作为第一帧，对第一帧进行关键点检测(如利用FAST算法)得到所述第一帧的批注区域(以下称为初始批注区域)，使用BRISK算法对应的特征描述子对检测到的关键点进行特征描述，即确定该初始批注区域的特征点，作为前景特征点；这里，所述初始批注区域中的每个特征点都用相对于初始批注区域中心的相对坐标表示。
步骤602a，第二帧开始，每一帧用BRISK算法对应的特征描述子提取该影像帧的特征点，作为背景特征点，为了持续追踪初始批准区域，需要将背景特征点与第一帧的初始批注区域的特征点进行全局匹配，找到当前帧中前景特征点的位置，即以上所述的目标批注区域。例如，对每一个背景特征点而言，求其和第一帧中每一个前景特征点的欧氏距离，并用最近与次最近的比值作为标度来确定该背景特征点中与第一帧中前景特征点最匹配的预估目标特征点。
步骤603a，采用前向和后向跟踪法，如LK光流法，来预测前景特征点在当前帧的位置，以在当前帧中选出与前景特征点相匹配的预估目标特征点。
步骤604a，进行初步融合，即将步骤和3中得到的预估目标特征点取并集，得到目标特征点，融合后记录这些目标特征点在图像中的绝对坐标值。
步骤605a，将当前帧中目标特征点的绝对坐标值减去第一帧中与该目标特征点对应的前景特征点的相对坐标值，即可得到与该目标特征点对应的当前帧中的中心特征点。
这里，为了匹配目标批注区域的缩放处理，可以利用第一帧和当前帧来评估旋转角度和尺度因子，得到缩放因子，以此实现目标批注区域随显示内容的缩放而缩放；例如，在上述做差前，将前景特征点在第一帧中的相对坐标乘上缩放因子后做差。
步骤606a：各目标关键点得到的中心特征点的位置可能不一致，所以，使用投票(聚类)机制进行一致性约束，票数最高的目标特征点对应的中心特征点即为目标中心特征点，参见图5所示。
步骤607a：得到目标中心特征点后，进行局部匹配和二次融合，即可得到目标批注区域，例如，遍历寻找第一帧中初始批注区域中边缘区域的具体位置，如四个边角的位置，确定初始批注区域四个边角位置后，将目标中心特征点的绝对坐标值+加上第一帧中每一边角对应的前景特征点的相对坐标值，即可得到针对当前帧的四个边角位置，得到目标批注区域，进而得到包含有目标批注区域的当前帧，并显示包含有目标批注区域的当前帧。
这里，若存在缩放处理，则在进行加法运算前，将每一边角对应的前景特征点的相对坐标值乘以缩放因子，然后，加上目标中心特征点的绝对坐标值，即可得到缩放处理后的目标批注区域，如此，实现了动态跟随的目标。
图6B为本发明实施例图像处理方法在一具体示例中的实现流程示意图，如图6B所示，批注信息跟随算法的流程如下所述。
在屏幕共享的过程中，对于每一帧影像，基于用户已批注的影像内容，计算得到分解好的特征点，实现快速重新捕获特征点并计算出新的批注跟随位置：1)首先，采用光流法，追踪上一帧中的特征点，来预估当前帧的特征点；2)其次，通过特征描述符来对特征点进行全局匹配；3)最后，通过让每一个特征点对自身所属聚类中心点进行投票的方式，使发生旋转、缩放的特征点重新达成共识，除去非批注区域的特征点，最终以包围盒的形态形成准确的批注区域。
继续说明批注跟踪算法的流程。
步骤601b，将用户框选批注区域完毕时的影像帧作为第一帧，第一帧使用BRISK特征描述子创建批注区域的特征点，作为目标特征点(前景特征点)，每个特征点都用相对于批注区域中心位置的相对坐标表示，并初始化特征匹配器。
步骤602b，从第二帧开始，每一帧再用BRISK描述子提取影像帧的特征点，作为背景特征点，为了持续追踪批注区域，需要与第一帧批注区域的特征点进行匹配，即找到当前帧中前景特征点的位置。对当前帧的每一个特征点，求其与第一帧中每一个前景特征点的欧氏距离，并用此欧式距离来作为比较的参数，通过比较得到距离最小的目标特征点，来判断得到当前帧该特征点与第一帧的特征点中最匹配的目标特征点，匹配成功后记录该特征点的索引。
步骤603b，采用光流法，通过上一帧的目标特征点(前景特征点)来预测它们在当前帧的特征点位置，这些特征点索引值不变。
综合步骤602b和步骤603b，将两个步骤中各自最匹配的特征点取并集。将步骤603b光流法得到的目标特征点集合Setlight作为融合集合Setfusion的初始值，遍历步骤2中的目标特征点集合Setglobal，如果未在Setlight中找到特征点索引一致的特征点，则将此特征点插入到Setfusion中，融合后记录Setfusion中特征点在图像中的绝对坐标值；
以图像左下角为原点坐标，一个像素为一个距离单位，可得到当前帧的中心点绝对坐标值，由当前帧中心点的绝对坐标值减去第一帧的相对坐标变化值即可得到当前帧目标区域中心点坐标。为了解决目标区域缩放，在做差时，为中心点在第一帧的相对坐标乘上缩放因子。
各个特征点得到的中心坐标位置可能不一致，在此建立假设，认为大部分特征点的中心坐标位置是准确的，故使用投票(聚类)机制，票数最高的位置就是该批注区域的中心点位置(这个中心点位置并不是这一帧图像的中心位置，而是与第一帧图像的批注区域中心点位置在后续帧中所处的位置)。
基于图5示出的投票聚类处理后，重新计算得到当前帧中特征点的中心点位置，得到新的中心点位置后，根据前后帧的匹配特征点对的方向、尺度变化，评估出前后帧的尺度缩放因子。
遍历寻找新目标批注区域中四个边角的位置，方法为由中心坐标+第一帧批注目标区域边角的相对坐标乘以尺度缩放因子。得到的新边角位置可以形成四边形，该四边形即为批注区域的最新位置，因此实现了动态跟随的目标。批注还可用下划线、圆圈等形式展现出来，本发明实施例中采用记录中心点与批注图案的相对位置的方式，获取中心点位置后，绘制展示不同形式的批注样式。
由上可见，在批注状态下，共享的屏幕内容也可以进行滚动、缩放等操作，即本发明实施例不做操作限制；而且，在屏幕内容进行滚动、缩放等改变操作后，批注信息也随之移动、缩放，实现了动态跟随的目的。进一步地，在批注区域移出屏幕又移回屏幕后，批注信息可以在相应位置再次出现。
结合具体示例，本发明实施例还给出了如下具体应用场景，如此，来实现接收方终端和发送方终端批注信息的交互，例如，图7为本发明实施例发送方终端在显示内容共享场景中进行批注的应用流程示意图，如图7所示，所述发送方终端存在如下应用场景，即：
场景一：进行批注的流程；例如，开启显示内容共享，点击批注按键，进入批注状态，在批注状态下进行批注处理，如创建、修改或删除批注信息等；以创建批注信息为例，创建后生成批注信息添加到批注信息管理器中。
场景二：在非批注状态下，批注信息的共享流程；例如，非批注状态下，音视频SDK进行视频帧的采集，跟踪生成的批注信息，调整批注信息的显示位置，以及相应修改批注信息管理器，显示调整后的批注信息，以实现批注信息的动态跟随目的。将调整后的批注信息发送至接收方终端，实现接收方终端与发送方终端的同步显示。这里，在调整批注信息的显示位置，以及相应修改批注信息管理器后，将批注信息管理器中的批注信息合成为图片，进而将合成的图片与音视频SDK采集到的当前帧合成，在合成后，将合成好的帧传输给音视频SDK。实际应用中，还可能存在录屏需求，此时，确定是否处于录屏状态，即判定录屏是否已开启，确定开启后，将合成后的帧传输给录屏接口，以确保录制的音视频能够记录批注信息，以及记录批注信息动态跟随的过程。
场景三：在非批注状态下，接收到批注信息，比如，接收到接收方发送的批注信息；将接收到的批注信息添加到批注信息管理器中，以在对应位置展示接收到的批注信息。
图8为本发明实施例接收方终端在显示内容共享场景中进行批注的应用流程示意图，如图8所示，所述接收方终端存在如下应用场景，即：
场景一：进入显示内容共享状态，在批注状态下，接收到批注信息，更新批注管理器，以在对应位置展示接收到的批注信息。
场景二：进入显示内容共享状态，点击批注按键，进入批注状态，展示批注管理器中自己的批注信息；对自己的批注信息进行增删改查处理，处理后，更新本地的批注管理器，将变化后的批注信息发送给发送方终端。
或者，在进入批注状态后，向发送方终端发送一个消息，以告知发送方终端该接收方终端进入了批注状态。随后，发送方终端在批注管理器中删除该接收方终端对应的批注信息，并在视频流中进行对应删除处理，即在视频流中删除该接收方终端对应的批注信息；接收方终端对自己的批注信息进行增删改查处理，处理后，更新本地的批注管理器，并将自己更新后的所有批注信息发送至发送方终端，以实现两端显示内容的同步目的。
这里，可以根据实际需求，设置成接收方终端和发送方终端只能修改自己对应的批注信息，或者，设置成接收方终端和发送方终端能够修改自身对应的批注管理器中的所有批注信息，如包括自己编辑的批注信息，也包括对方编辑的批注信息。
本发明实施例提升了屏幕共享过程中的批注体验，扩展了批注功能的使用场景，提供了更好的标记和记录能力，同时，降低了线上沟通成本。
本发明实施例还提供了一种图像处理装置，可以实施为智能手机、平板电脑等各种类型的终端设备，终端设备用于在显示内容共享的应用场景中显示共享内容，并进行批注信息的动态跟随显示，对于共享内容的每一帧图像所显示的内容，如果内容中被设定了批注区域(例如，终端用户设定的批注区域，或者是参与内容共享的其他终端用户设定的批注区域)，则可以在内容的相应批注区域显示批注信息，下面对图像处理器装置的示例性结构进行说明。
参见图9A，图9A是本发明实施例提供的图像处理装置90的一个可选的结构示意图，图9A所示图像处理装置90可以包括：至少一个处理器91、至少一个通信总线94、用户接口93、至少一个网络接口92和存储器95。图像处理装置90中的各个组件通过通信总线94耦合在一起。可以理解，通信总线94用于实现这些组件之间的连接通信。通信总线94除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9A中将各种总线都标为通信总线94。
其中，用户接口93可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。网络接口92可以包括标准的有线接口、无线接口。
可以理解，存储器95可以是高速RAM存储器，也可以是非不稳定的存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。存储器95还可以是至少一个远离处理器91的存储系统。
本发明实施例提供的应用于图像处理装置的图像处理方法可以应用于处理器91中，或者由处理器91实现。处理器91可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，应用于图像处理装置的图像处理方法中的不同操作可以通过处理器91中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器91可以是通用处理器、DSP或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器91可以实现或者执行本发明实施例应用于图像处理装置的图像处理方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的应用于图像处理装置的图像处理方法，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。
作为示例，软件模块可以位于存储介质中，存储介质位于存储器150，处理器91读取存储器95中的信息，结合其硬件完成本发明实施例提供的应用于图像处理装置90的图像处理方法，包括共享单元951、更新单元952、搜索单元953和批注单元954，分别进行说明。
共享单元951，用于显示内容共享的状态下，在屏幕的窗口中显示共享内容的第一帧图像，所述第一帧图像中包括批注区域以及批注信息；
更新单元952，用于响应于更新所述共享内容的操作，将显示的所述共享内容的第一帧图像更新为显示所述共享内容的第二帧图像；
搜索单元953，用于根据所述共享内容的批注区域的图像特征以及批注信息，在所述第二帧图像中搜索与所述共享内容的批注区域的图像特征相适配的目标批注区域以及对应的批注信息；
批注单元954，用于响应于在所述第二帧图像中搜索到相适配的目标批注区域，在所述第二帧图像中显示相适配的目标批注区域对应的批注信息。
在本发明一些实施例中，所述搜索单元953用于：根据所述第一帧图像中批注区域的图像特征以及对应的批注信息，在所述第二帧图像中搜索与第一帧图像中的批注区域的图像特征相适配的目标批注区域以及批注信息。
在本发明一些实施例中，所述搜索单元953还用于：根据未显示内容中批注区域的图像特征以及批注信息，在所述第二帧图像中搜索与未显示内容中的批注区域的图像特征相适配的目标批注区域，以及相适配的目标批注区域的批注信息；其中，所述未显示内容为所述共享内容中未在所述第一帧图像中显示的内容。
在本发明一些实施例中，所述更新单元952还用于：响应于在所述第二帧图像中未搜索到相适配的目标批注区域，在所述第二帧图像中止显示批注信息；响应于搜索到的相适配的目标批注区域满足遮挡条件，在所述第二帧图像中中止显示相适配的目标批注区域的批注信息，或者，根据所述目标批注区域的未遮挡比例，显示所述目标批注区域中未遮挡区域的批注信息。
在本发明一些实施例中，所述更新单元952，还用于：响应于显示所述共享内容的第一帧图像时处于非批注状态，发送所记录的批注区域的图像特征以及批注信息到参与共享的终端，以及，根据所述终端所记录的批注区域的图像特征以及批注信息，更新针对所述共享内容记录的批注区域的图像特征以及批注信息。
在本发明一些实施例中，所述更新单元952，还用于：响应于显示共享内容的第一帧图像时处于非批注状态，发送针对所述共享内容所记录的批注区域的图像特征以及批注信息到参与共享的终端，以及，根据所述终端针对所述共享内容所记录的批注区域的图像特征以及的批注信息，更新针对所述共享内容的记录的批注区域的图像特征以及批注信息。
在本发明一些实施例中，所述更新单元952，还用于：根据所述目标批注区域相对于所述第一帧图像中批注区域的变换属性，所述变换属性包括以下至少之一：移动、旋转、缩小和放大；将所述目标批注区域的批注信息根据所述变换属性进行同步变换，在所述目标批注区域中显示同步变换后的批注信息。
在发明一些实施例中，所述更新单元952，还用于：根据更新所述共享内容的操作的属性，所述操作的属性包括以下至少之一：移动、缩小、放大和旋转；以所述第一帧图像为基准，在所述共享内容中确定适配所述属性的内容；生成包括所述确定内容的所述第二帧图像。
在发明一些实施例中，如图9B所示，搜索单元953包括：
第一确定单元9531，用于显示内容共享的状态下，确定所述显示内容所显示的第一帧图像中的批注区域，并确定能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；还用于确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；
特征点匹配单元9532，用于将所述第二特征点集合与所述第一特征点集合进行匹配，基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；
第二确定单元9533，用于基于所述目标特征点集合确定所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
在本发明一些实施例中，所述第一确定单元9531，还用于确定从所述第一帧图像变换到所述第二帧图像的移动特征；基于所述移动特征，从所述第二帧图像中预估出与所述第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合；
所述特征点匹配单元9532，还用于基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到第二预估目标特征点集合；基于所述第一预估目标特征点集合和所述第二预估目标特征点集合，得到目标特征点集合。
在本发明一些实施例中，所述特征点匹配单元9532，还用于确定所述第二特征点集合中的第二特征点与所述第一特征点集合中的第一特征点之间的距离特征；从所述第二特征点集合中选取出距离特征满足预设距离条件的目标特征点。
在本发明一些实施例中，所述第二确定单元9533，还用于基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点；基于所述第一特征点集合以及所述目标中心特征点确定所述第二帧图像中的目标批注区域，其中，所述目标中心特征点位于所述目标批注区域的中心区域。
在本发明一些实施例中，所述第二确定单元9533，还用于基于所述第一特征点集合中第一特征点与目标特征点集合中与第一特征点相对应的目标特征点，确定中心特征点，得到中心特征点集合；从所述中心特征点集合中选取出满足预设规则的目标中心特征点。
在本发明一些实施例中，所述更新单元952，还用于至少根据所述第一帧图像和所述第二帧图像得到图像缩放特征；基于所述图像缩放特征对所述目标批注区域的批注信息进行缩放处理，在所述第二帧图像的目标批注区域中显示缩放处理后的批注信息。
本发明实施例还提供了一种存储介质，例如图9A示出的存储器95，存储有可执行指令，可执行指令被处理器执行时实现如图1或图2任意附图示出的图像处理方法。
本发明实施例提供的图像处理方法、装置及存储介质，在实现批注信息共享的基础上，根据批注区域的图像特征对显示共享内容的帧图像进行批注区域的实时定位，实现了批注信息随显示共享内容的更新而动态跟随的技术效果，丰富了批注功能的使用场景，增加了屏幕共享场景中批注功能的易用性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：
显示内容共享的状态下，在屏幕的窗口中显示共享内容的第一帧图像，所述第一帧图像中包括批注区域以及批注信息，其中，所述共享内容来自于文档；
响应于更新所述共享内容的操作，将显示的所述共享内容的第一帧图像更新为显示所述共享内容的第二帧图像，以及，
根据所述第一帧图像或未显示内容中批注区域的图像特征以及批注信息，在所述第二帧图像中搜索相适配的目标批注区域以及对应的批注信息，其中，所述未显示内容为所述共享内容中未在所述第一帧图像中显示的内容；
响应于在所述第二帧图像中搜索到相适配的目标批注区域，根据所述目标批注区域相对于所述第一帧图像中批注区域的变换属性，将所述目标批注区域的批注信息根据所述变换属性进行同步变换，在所述第二帧图像中显示相适配的目标批注区域的同步变换后的批注信息；
响应于搜索到的所述目标批注区域满足遮挡条件，在所述第二帧图像中止显示所述目标批注区域的批注信息，或者，显示所述目标批注区域中未遮挡区域对应的批注信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于在所述第二帧图像中未搜索到所述目标批注区域，在所述第二帧图像中止显示所述目标批注区域的批注信息。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于显示所述共享内容的第一帧图像时处于批注状态，
执行对所述第一帧图像的批注信息的编辑操作，所述编辑操作包括以下至少之一：增加批注信息、删除批注信息、修改批注信息和查找批注信息。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于显示所述共享内容的第一帧图像时处于非批注状态，
发送所记录的批注区域的图像特征以及批注信息到参与共享的终端，以及，
根据所述终端所记录的批注区域的图像特征以及批注信息，更新针对所述共享内容记录的批注区域的图像特征以及批注信息。
5.根据权利要求1所述的方法，其特征在于，
所述变换属性包括以下至少之一：移动、旋转、缩小和放大。
6.根据权利要求1所述的方法，其特征在于，响应于更新所述共享内容的操作，将显示的所述共享内容的第一帧图像更新为显示所述共享内容的第二帧图像，包括：
根据更新所述共享内容的操作的属性，所述操作的属性包括以下至少之一：移动、缩小、放大和旋转；
以所述第一帧图像为基准，在所述共享内容中确定适配所述属性的内容；
生成包括所述确定内容的所述第二帧图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第一帧图像或未显示内容中批注区域的图像特征以及批注信息，在所述第二帧图像中搜索相适配的目标批注区域以及对应的批注信息，包括：
确定所述显示内容所显示的第一帧图像中的批注区域，并确定能够表征所述批注区域的第一特征点集合；
确定能够表征所述第二帧图像的第二特征点集合；
将所述第二特征点集合与所述第一特征点集合进行匹配，基于匹配结果从所述第二特征点集合中，选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；
基于所述目标特征点集合确定所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
确定从所述第一帧图像变换到所述第二帧图像的移动特征；
基于所述移动特征，从所述第二帧图像中预估出与所述第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合；
所述基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合，包括：
基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到第二预估目标特征点集合；
基于所述第一预估目标特征点集合和所述第二预估目标特征点集合，得到目标特征点集合。
9.根据权利要求7所述的方法，其特征在于，所述将所述第二特征点集合与所述第一特征点集合进行匹配，基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，包括：
确定所述第二特征点集合中的第二特征点与所述第一特征点集合中的第一特征点之间的距离特征；
从所述第二特征点集合中选取出距离特征满足预设距离条件的目标特征点。
10.根据权利要求7所述的方法，其特征在于，所述基于所述目标特征点集合确定所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，包括：
基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点；
基于所述第一特征点集合以及所述目标中心特征点确定所述第二帧图像中的目标批注区域，其中，所述目标中心特征点位于所述目标批注区域的中心区域。
11.一种图像处理装置，其特征在于，所述装置包括：
共享单元，用于显示内容共享的状态下，在屏幕的窗口中显示共享内容的第一帧图像，所述第一帧图像中包括批注区域以及批注信息，其中，所述共享内容来自于共享文档；
更新单元，用于响应于更新所述共享内容的操作，将显示的所述共享内容的第一帧图像更新为显示所述共享内容的第二帧图像；
搜索单元，用于根据所述第一帧图像或未显示内容中批注区域的图像特征以及批注信息，在所述第二帧图像中搜索相适配的目标批注区域以及对应的批注信息，其中，所述未显示内容为所述共享内容中未在所述第一帧图像中显示的内容；
批注单元，用于响应于在所述第二帧图像中搜索到相适配的目标批注区域，根据所述目标批注区域相对于所述第一帧图像中批注区域的变换属性，将所述目标批注区域的批注信息根据所述变换属性进行同步变换，在所述第二帧图像中显示相适配的目标批注区域的同步变换后的批注信息；
所述更新单元，还用于响应于搜索到的所述目标批注区域满足遮挡条件，在所述第二帧图像中止显示所述目标批注区域的批注信息，或者，显示所述目标批注区域中未遮挡区域对应的批注信息。
12.一种图像处理装置，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至10任一项所述的图像处理方法。
13.一种计算机可读存储介质，其特征在于，存储有可执行指令，所述可执行指令被处理器执行时实现权利要求1至10任一项所述的图像处理方法。
CN201810027291.1A 2018-01-11 2018-01-11 图像处理方法、装置及存储介质 Active CN110035329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810027291.1A CN110035329B (zh) 2018-01-11 2018-01-11 图像处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810027291.1A CN110035329B (zh) 2018-01-11 2018-01-11 图像处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110035329A CN110035329A (zh) 2019-07-19
CN110035329B true CN110035329B (zh) 2022-08-30

Family

ID=67234301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810027291.1A Active CN110035329B (zh) 2018-01-11 2018-01-11 图像处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110035329B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783781B (zh) * 2020-05-22 2024-04-05 深圳赛安特技术服务有限公司 基于产品协议字符识别的恶意条款识别方法、装置、设备
CN111814885B (zh) * 2020-07-10 2021-06-22 云从科技集团股份有限公司 一种管理图像框的方法、系统、设备及介质
CN111882582B (zh) * 2020-07-24 2021-10-08 广州云从博衍智能科技有限公司 一种图像跟踪关联方法、系统、设备及介质
CN112150511A (zh) * 2020-11-02 2020-12-29 电子科技大学 一种基于图像匹配与改进核相关滤波器结合的目标跟踪算法
CN112686908B (zh) * 2020-12-25 2024-02-06 北京达佳互联信息技术有限公司 图像处理方法、信息展示方法、电子设备及存储介质
CN113784189B (zh) * 2021-08-31 2023-08-01 Oook(北京)教育科技有限责任公司 一种圆桌视频会议的生成方法、装置、介质和电子设备
CN115879423A (zh) * 2021-09-29 2023-03-31 中兴通讯股份有限公司 数据处理方法、装置、计算机可读存储介质和程序产品
CN115379279A (zh) * 2022-07-22 2022-11-22 深圳市酷开网络科技股份有限公司 多屏联动的交互方法及装置、系统、存储介质、电子设备
CN116719459A (zh) * 2022-09-26 2023-09-08 荣耀终端有限公司 批注框的显示方法、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776514A (zh) * 2016-12-15 2017-05-31 广州视源电子科技股份有限公司 一种批注方法及装置
CN107274431A (zh) * 2017-03-07 2017-10-20 阿里巴巴集团控股有限公司 视频内容增强方法及装置
CN107333087A (zh) * 2017-06-27 2017-11-07 京东方科技集团股份有限公司 一种基于视频会话的信息共享方法和装置
CN109960452A (zh) * 2017-12-26 2019-07-02 腾讯科技（深圳）有限公司 图像处理方法及其装置、存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984823B1 (ko) * 2012-04-26 2019-05-31 삼성전자주식회사 웹 페이지에 주석을 부가하는 방법 및 그 디바이스
US9654727B2 (en) * 2015-06-01 2017-05-16 Apple Inc. Techniques to overcome communication lag between terminals performing video mirroring and annotation operations
CN105573702A (zh) * 2015-12-16 2016-05-11 广州视睿电子科技有限公司 远程批注移动、缩放的同步方法与系统
CN106940632A (zh) * 2017-03-06 2017-07-11 锐达互动科技股份有限公司 一种屏幕批注的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776514A (zh) * 2016-12-15 2017-05-31 广州视源电子科技股份有限公司 一种批注方法及装置
CN107274431A (zh) * 2017-03-07 2017-10-20 阿里巴巴集团控股有限公司 视频内容增强方法及装置
CN107333087A (zh) * 2017-06-27 2017-11-07 京东方科技集团股份有限公司 一种基于视频会话的信息共享方法和装置
CN109960452A (zh) * 2017-12-26 2019-07-02 腾讯科技（深圳）有限公司 图像处理方法及其装置、存储介质

Also Published As

Publication number Publication date
CN110035329A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN110035329B (zh) 图像处理方法、装置及存储介质
US11301200B2 (en) Method of providing annotation track on the content displayed on an interactive whiteboard, computing device and non-transitory readable storage medium
JP6179889B2 (ja) コメント情報生成装置およびコメント表示装置
CN109960452B (zh) 图像处理方法及其装置、存储介质
KR100645300B1 (ko) 시청각 프리젠테이션의 컨텐츠를 요약화하여 색인화하는방법 및 장치
JP5659307B2 (ja) コメント情報生成装置およびコメント情報生成方法
US9179096B2 (en) Systems and methods for real-time efficient navigation of video streams
EP3547218B1 (en) File processing device and method, and graphical user interface
EP3769509B1 (en) Multi-endpoint mixed-reality meetings
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
JP2012248070A (ja) 情報処理装置、メタデータ設定方法、及びプログラム
JP2012249156A (ja) 情報処理装置、情報処理方法、及びプログラム
US11681409B2 (en) Systems and methods for augmented or mixed reality writing
US20160300321A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN112822394A (zh) 显示控制方法、装置、电子设备及可读存储介质
US10298907B2 (en) Method and system for rendering documents with depth camera for telepresence
JP2009294984A (ja) 資料データ編集システム及び資料データ編集方法
US11557065B2 (en) Automatic segmentation for screen-based tutorials using AR image anchors
Wilk et al. Robust tracking for interactive social video
Schmid et al. ScreenshotMatcher: Taking Smartphone Photos to Capture Screenshots
JP2009015774A (ja) 情報処理装置及び情報処理方法
WO2023029924A1 (zh) 评论信息的显示方法、装置、设备、存储介质及程序产品
US20230153052A1 (en) Display control method and computer-readable recording medium storing display control program
US20230283877A1 (en) Image control system and method for controlling image display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant