CN109960452A - 图像处理方法及其装置、存储介质 - Google Patents
图像处理方法及其装置、存储介质 Download PDFInfo
- Publication number
- CN109960452A CN109960452A CN201711428095.7A CN201711428095A CN109960452A CN 109960452 A CN109960452 A CN 109960452A CN 201711428095 A CN201711428095 A CN 201711428095A CN 109960452 A CN109960452 A CN 109960452A
- Authority
- CN
- China
- Prior art keywords
- target
- feature point
- point set
- frame image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种图像处理方法，包括：显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合；确定第二帧图像，得到所述第二帧图像的第二特征点集合；将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。本发明实施例还公开了一种图像显示装置。
Description
技术领域
本发明涉及图像处理技术，尤其涉及一种图像处理方法及装置、存储介质。
背景技术
在异地沟通和讨论场景中，人们经常会使用屏幕共享(也即显示内容共享)功能来演示一份文档，并基于该演示的文档展开讨论；在讨论和沟通过程中，通常会使用批注功能来标记或记录讨论过程，以此降低线上沟通成本。但是，现有屏幕共享中的批注功能，仅支持针对静态映像来进行，比如，在静态下，即屏幕不进行滚动或缩放操作的状态下，能够实现批注信息的共享，但若对屏幕进行操作，如滚动或缩放操作，则之前的批注信息就会消失，这样，大大降低了屏幕共享场景中批注功能的易用性，限制了批注功能的使用场景。
发明内容
为解决现有存在的技术问题，本发明实施例提供了一种图像处理方法及装置、存储介质，能至少解决现有技术中存在的上述问题。
本发明实施例的技术方案是这样实现的：
本发明实施例第一方面提供了一种图像处理方法，所述方法包括：
显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；
确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；
将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；
至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
本发明实施例第二方面提供了一种图像处理装置，所述装置包括：
第一确定单元，用于显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；还用于确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；
特征点匹配单元，用于将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；
第二确定单元，用于至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
本发明实施例第三方面提供了一种图像处理装置，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行以上所述方法的步骤。
本发明实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上所述方法的步骤。
本发明实施例第五方面提供了一种图像处理装置，所述装置至少包括：
显示组件，用于在显示界面展示显示内容；
处理器，用于将显示界面展示的显示内容发送至其他电子设备，以与其他电子设备共享所述显示界面所展示的显示内容；
对应地，所述处理器，还用于在显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
本发明实施例第六方面提供了一种图像处理装置，所述装置至少包括：
处理器，用于获取其他电子设备所共享的显示内容；
显示组件，用于在显示界面展示获取到的其他电子设备所共享的显示内容；
对应地，所述处理器，还用于在显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
本发明实施例所述的图像处理方法及装置、存储介质，通过显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息，如此，在实现批注信息共享的基础上，实现了批注信息随显示内容的变化而相应变化的目的，比如，显示内容滚动或缩放等操作后，本实施例所述的方法依然能够确保批注信息随滚动或缩放等操作而相应变化，如此，丰富了批注功能的使用场景，增加了屏幕共享场景中批注功能的易用性，同时，也提升了用户体验。
附图说明
图1为本发明实施例图像处理方法的实现流程示意图；
图2为本发明实施例在显示内容共享的状态下进行批注后的显示界面示意图；
图3为本发明实施例在显示内容共享的状态下且进行批注后的显示界面滚动操作后的示意图；
图4为本发明实施例目标中心特征点的选取规则示意图；
图5为本发明实施例图像处理方法在一具体示例中的实现流程示意图；
图6为本发明实施例发送方终端在显示内容共享场景中进行批注的应用流程示意图；
图7为本发明实施例接收方终端在显示内容共享场景中进行批注的应用流程示意图；
图8为本发明实施例图像处理装置的组成结构示意图。
具体实施方式
在屏幕共享场景下使用批注功能，需要先进入批注状态，然后，在该批注状态下进行标记和/或批注，此时，现有方案中屏幕内容无法进行滚动、缩放等操作；而若要进行滚动、缩放等操作，则需先退出批注状态，而现有方案中，在退出批注状态后之前的批注信息则随之消失，综上，可以看出现有技术存在如下缺点：
第一，批注状态下，共享的屏幕内容无法进行滚动、缩放等操作，若想进行滚动、缩放等操作，则需要退出批注状态，所以，在实际应用过程中，会出现屏幕内容操作和批注状态来回切换的情况，因此，增加了用户的操作成本，影响了使用体验。
第二，在取消批注状态，也即退出批注状态后，之前的批注信息也会随之消失，但实际应用中，批注信息是强指向某个共享的内容点，是异地沟通和讨论场景中需要记录的可靠信息，存在随时回看和汇总沉淀的需求，因此，批注信息消失会让批注功能变成一种临时的写画功能，限制了使用场景。
综上，亟需提供一种在屏幕共享场景下，批注信息可以跟随屏幕内容移动和/或缩放的方法。具体地，为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。
本实施例提供了一种图像处理方法，具体地，在本方案是针对现有屏幕共享技术中批注信息无法回顾、不适应动态位置变化以及不适应缩放的问题所提出的，而且，本实施例在解决上述问题的基础上，能够实现如下功能，即：
第一，本发明实施例在屏幕共享场景中，用户可以通过鼠标进行屏幕操作，同时，支持批注功能，比如，以鼠标点击拖拽的方式创建需要重点批注的批注区域，并能够生成并显示批注信息。
第二，进行移动、缩放等操作时，已存在的批注信息会动态跟随当前屏幕内容的移动和/或缩放而相应变化，并能确保批注信息准确对应(如框选)原重点批注的批注区域。
第三，批注区域的内容由于遮挡显示不全，亦或是随显示内容滚动移出画面后，比如检测到当前显示的内容中不存在批注区域后，或者，已有批注信息与当前显示的内容不对应后，停止显示批注信息。这里，实际应用中，若出现由于滚动批注区域的内容被部分遮挡的情况，此时，可以等比例的显示部分批注信息，亦或是停止显示批注信息，本实施例对此不作限制，可以根据实际需求而任意设置。
第四，批注区域重新回到屏幕范围内，比如检测到批注区域重新出现后，在对应位置显示批注信息，如此，重现批注信息，实现批注信息的回看。
第五，屏幕共享分为屏幕共享发送方终端和接收方终端，而本实施例所述的方法支持两端(如，发送方终端或接收方终端)在屏幕共享场景中对共享显示内容进行批注，即无论是发送方终端对共享显示内容标注的批注信息，还是接收方终端对共享显示内容进行批注的批注信息，均能够实现共享。换言之，本实施例所述的方法不受发送方终端或接收方终端的限制，在两端均能实现。
具体地，图1为本发明实施例图像处理方法的实现流程示意图，如图1所示，所述方法包括：
步骤101：显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；
这里，所述第一帧图像可以是在批注状态下选中批注区域，并编辑完成批注信息后所对应的一帧图像。当然，实际应用中，所述第一帧图像还可以是在批注状态下选中批注区域，并编辑完成批注信息之后，且在显示内容进行滚动和/或缩放等操作之前的一帧图像。
实际应用中，批注区域表征用于对共享的显示内容中的至少部分内容进行重点说明的区域，比如，批注区域可以用来框选显示内容中需要重点进行说明的部分内容。所述批注信息可以是用于对批注区域对应的至少部分内容进行说明的文本信息、批注框等，举例来说，所述批注信息包括但不限于以下至少一种：框选部分显示内容的线框，文本信息、批注框等，也就是说，本实施例所述的批注信息包括但不限于现有批注功能下编辑所能得到的任意信息，比如，现有批注功能包括：直线、箭头、画笔、方框和文字五种类型，此时，批注信息则包括但不限于该五种类型所能得到的至少一种信息。比如，图2为本发明实施例在显示内容共享的状态下进行批注后的显示界面示意图，如图2所示，批注信息包括框选批注区域的线框，以及线框周边所显示的文本信息。
步骤102：确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；
本实施例中，所述第二帧图像为第一帧图像之后所出现的一帧图像，比如，所述第二帧图像为针对第一帧图像进行滚动操作后所得到的图像；图3为本发明实施例在显示内容共享的状态下且进行批注后的显示界面滚动操作后的示意图，如图3所示，显示内容滚动后，批注信息跟随原始批注区域的位置变化而变化后得到的图像，也即第二帧图像，其中，第二帧图像中显示有与第一帧图像的批注信息相匹配的批注信息。
本实施例所述的特征点集合中包含有若干个特征点，该特征点均能够表征出对应图像的局部特征。具体地，第一特征点集合中包含有至少两个第一特征点，该第一特征点能够表征出批注区域的局部特征信息；相应地，所述第二特征点集合中包含有至少两个第二特征点，该第二特征点能够表征出第二帧图像的局部特征信息。
这里，由于实际应用中，会存在图像缩放问题，所以，为避免图像缩放处理后不能准确追踪到批注信息，本实施例中确定出的特征点本身不能随图像的缩放而变化，只是在图像缩放后，特征点的位置，和/或特征点之间的距离发生变化。基于此，可以采用尺寸不变的相关特征算法来确定图像的特征点，比如，利用SIFT(Scale Invariant FeatureTransform)算法、BRISK(Binary Robust Invariant Scalable Keypoints)算法、或FAST(Features From Accelerated Segment Test)算法等来提取第一帧图像的批注区域的特征点，以及提取第二帧图像的特定点，如此，利用上述算法提取出的特征点能够确保本身不会随图像缩放而发生变化，只是在图像缩放后，特征点的位置和/或特征点之间的距离会发生变化而已。
步骤103：将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；
本实施例中，进行匹配的过程就是相当于是相似度判断的过程，即判断第二特征点集合中的第二特征点与第一特征点集合中的第一特征点的相似度，进而从第二特征点集合中，选取出于第一特征点集合中的第一特征点相似度最高的点，也即目标特征点，以最终得到与第一特征点集合相匹配的目标特征点集合。
进一步地，匹配过程，也即相似度的判断过程可以用距离来度量。具体地，在一具体示例中，步骤103可以具体为：确定所述第二特征点集合中的第二特征点与所述第一特征点集合中的第一特征点之间的距离特征，从所述第二特征点集合中选取出距离特征满足预设距离规则的目标特征点。比如，对于第二特征点集合中每一个第二特征点而言，求其与第一特征点集合中每一个第一特征点的欧氏距离，并用距离最近与次最近的比值作为标度，来从第二特征点集合中选取出与第一特征点集合中第一特征点最匹配的目标特征点。比如，实际应用中，特征点可以通过特征向量来标识，举例来说，利用向量A(x1，x2，…，xn)来表示第一特征点集合中特定第一特征点，利用向量B(y1，y2，…，yn)来表示第二帧图像中的第二特征点，其中，n为大于等于2的正整数；此时，特征点A和特征点B的欧式距离为：
进一步地，利用上述欧式距离确定出特定第一特征点A与第二帧图像中所有第二特征点之间的欧式距离，进而选取出与特定第一特征点A的欧式距离最小的第二特征点，该与特定第一特征点A的欧式距离最小的第二特征点即为与该特定第一特征点A最匹配的目标特征点。
这里，为提高批注信息的显示位置准确度，本实施例所述的方法还可以确定从所述第一帧图像变换到所述第二帧图像的图像移动特征，并基于所述图像移动特征，从所述第二帧图像中预估出与所述第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合；比如，利用光流法，确定出从第一帧图像变换到第二帧图像的光流特征，进而基于光流特征从第二帧图像中预估出与第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合。对应地，步骤103则具体为：基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到第二预估目标特征点集合，进而基于所述第一预估目标特征点集合和所述第二预估目标特征点集合，得到目标特征点集合，比如，取第一预估目标特征点集合和第二预估目标特征点集合的并集作为目标特征点集合。
步骤104：至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
实际应用中，在确定出目标特征点集合后，即可基于目标特征点集合从第二帧图像中确定出目标批注区域，而该目标批注区域即为第二帧图像中与第一帧图像的匹配区域相对应的区域。
这里，考虑到实际应用中可以还会存在针对显示内容的缩放操作，所以，本发明实施例所述的方法还可以至少根据所述第一帧图像和所述第二帧图像得到图像缩放特征，进而基于所述图像缩放特征对所述目标批注区域的批注信息进行缩放处理，在所述第二帧图像的目标批注区域中显示缩放处理后的批注信息，如此，真实复现批注信息随显示内容的移动而移动，随显示内容的缩放而缩放的场景，增加了批注功能的使用场景，也提升了用户体验。
这里，实际应用中，会存在相似特征点，即目标特征点集合中存在两个目标特征点的情况，比如，该两个目标特征点表征的局部特征信息相似，但该两个目标特征点中仅有一个是与第一帧图像的批注区域相对应的特征点，另外一个不是，此时，若基于目标特征点集合确定出目标批注区域，则会降低目标批注区域的准确度，因此，为降低相似特征点的干扰，以及为进一步提升确定出的目标批注区域的准确性，在一具体示例中，所述至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，可以具体为：基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点；基于所述第一特征点集合以及所述目标中心特征点确定出所述第二帧图像中的目标批注区域，其中，所述目标中心特征点位于所述目标批注区域的中心区域。也就是说，本示例中，先确定中目标中心特征点，然后，围绕目标中心特征点确定出目标批注区域。
进一步地，在另一具体示例中，确定目标中心特征点的具体方式，也即所述基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点，可以具体为：基于所述第一特征点集合中第一特征点与目标特征点集合中与第一特征点相对应的目标特征点，确定出中心特征点，得到中心特征点集合；从所述中心特征点集合中选取出满足预设规则的目标中心特征点。也就是说，不同特征点可能确定出的中心特征点不同，所以，为进一步提升确定出的目标中心特征点的精确度，可以选用投票(聚类)机制从中心特征点集合中选取出投票数最高的目标中心特征点。如图4所示，比如基于第一特征点集合和目标特征点集合，确定出图4左图中所示的三个中心特征点，其中，五个指向中心特征点A，两个指向中心特征点C，一个指向中心特征点B，因此，基于投票(聚类)机制选取出投票数最多的中心特征点A作为目标中心特征点。
进一步地，在确定出目标中心特征点之后，再利用相似的方式，从第二帧图像中选取与第一帧图像的批注区域的边缘区域相匹配的特征点，即可得到目标批注区域，且利用该方式得到的目标批注区域降低了相似特征点的干扰，提升了批注区域追踪的准确性，进而为提升用户体验奠定了基础。
这样，本发明实施例所述的方法，通过显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；确定第二帧图像，得到所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息，如此，在实现批注信息共享的基础上，实现了批注信息随显示内容的变化而相应变化的目的，比如，显示内容滚动或缩放等操作后，本实施例所述的方法依然能够确保批注信息随滚动或缩放等操作而相应变化，如此，丰富了批注功能的使用场景，增加了屏幕共享场景中批注功能的易用性，同时，也提升了用户体验。
而且，本发明实施例所述的方法不受批注状态的限制，即无论是否处于批注状态，批注信息均能随滚动或缩放等操作而相应变化，因此，避免了屏幕内容操作和批注状态来回切换而增加用户操作成本的问题，提升了用户的使用体验。进一步地，本发明实施例所述的方法能够满足用户回看和汇总沉淀已有批注信息的需求，进一步提升了批注功能的易用性，丰富了批注功能的使用场景。
以下结合具体示例，对本发明实施例做进一步详细说明；具体地，本示例中把批注区域定义存储为兴趣区域，并将整个兴趣区域分解成为许多小区域，比如分解为若干特征点，以特征点的表达方式来表征该兴趣区域。这里，实际应用中，批注区域对应的显示内容移动或缩放后，其特征点本身并不会发生改变，但特征点的位置和/或距离会产生变化，所以，基于上述原理，本示例采用特征点静态自适应的聚类方式，来利用特征点准确描述初始兴趣区域，以达到批注信息追随显示内容而动态变化的目的。
这里，在屏幕共享的过程中，存在一帧图像且该帧图像中存在用户已批注的批注区域，可称为初始批注区域(也可称为初始兴趣区域)，此时，计算得到该初始批注区域的特征点，进而采用如下方式来实现在滑动或缩放等操作后快速重新捕获特征点并计算出新的批注跟随位置，具体地，首先，采用光流法，追踪上一帧中初始批注区域对应的特征点，来预估当前帧中与初始批注区域对应的特征点，如此，得到第一预估目标特征点集合；其次，利用特征描述符来将当前帧对应的特征点与初始批注区域对应的特征点进行全局匹配，得到第二预估目标特征点集合；最后，取所述第一预估目标特征点集合和所述第二预估目标特征点集合的并集，得到目标特征点集合，基于目标特征点集合中每一个特征点对中心特征点进行投票的方式，选取出目标中心特征点，进而基于目标中心特征点确定出目标批注区域，比如，使发生滑动或缩放的特征点重新达成共识，同时，除去非初始兴趣区域的特征点，以目标中心特征点为中心，以包围盒的形态确定出目标批注区域。
进一步地，图5为本发明实施例图像处理方法在一具体示例中的实现流程示意图，如图5所示，批注信息跟随算法的流程如下：
步骤1：将用户框选批注区域完成批注过程的影像帧作为第一帧，对第一帧进行关键点检测(如利用FAST算法)得到所述第一帧的批注区域(以下称为初始批注区域)，使用BRISK算法对应的特征描述子对检测到的关键点进行特征描述，即确定出该初始批注区域的特征点，作为前景特征点；这里，所述初始批注区域中的每个特征点都用相对于初始批注区域中心的相对坐标表示。
步骤2：从第二帧开始，每一帧用BRISK算法对应的特征描述子提取该影像帧的特征点，作为背景特征点，为了持续追踪初始批准区域，需要将背景特征点与第一帧的初始批注区域的特征点进行全局匹配，找到当前帧中前景特征点的位置，即以上所述的目标批注区域。具体地，对每一个背景特征点而言，求其和第一帧中每一个前景特征点的欧氏距离，并用最近与次最近的比值作为标度来确定出该背景特征点中与第一帧中前景特征点最匹配的预估目标特征点。
步骤3：采用前向和后向跟踪法，如LK光流法，来预测前景特征点在当前帧的位置，以在当前帧中选出与前景特征点相匹配的预估目标特征点。
步骤4：进行初步融合，即将步骤2和3中得到的预估目标特征点取并集，得到目标特征点，融合后记录这些目标特征点在图像中的绝对坐标值。
步骤5：将当前帧中目标特征点的绝对坐标值减去第一帧中与该目标特征点对应的前景特征点的相对坐标值，即可得到与该目标特征点对应的当前帧中的中心特征点。
这里，为了匹配目标批注区域的缩放处理，可以利用第一帧和当前帧来评估旋转角度和尺度因子，得到缩放因子，以此实现目标批注区域随显示内容的缩放而缩放；具体地，在上述做差前，将前景特征点在第一帧中的相对坐标乘上缩放因子后做差。
步骤6：各目标关键点得到的中心特征点的位置可能不一致，所以，使用投票(聚类)机制进行一致性约束，票数最高的目标特征点对应的中心特征点即为目标中心特征点，参见图4所示。
步骤7：得到目标中心特征点后，进行局部匹配和二次融合，即可得到目标批注区域，具体地，遍历寻找第一帧中初始批注区域中边缘区域的具体位置，如四个边角的位置，确定初始批注区域四个边角位置后，将目标中心特征点的绝对坐标值+加上第一帧中每一边角对应的前景特征点的相对坐标值，即可得到针对当前帧的四个边角位置，得到目标批注区域，进而得到包含有目标批注区域的当前帧，并显示包含有目标批注区域的当前帧。
这里，若存在缩放处理，则在进行加法运算前，将每一边角对应的前景特征点的相对坐标值乘以缩放因子，然后，加上目标中心特征点的绝对坐标值，即可得到缩放处理后的目标批注区域，如此，实现了动态跟随的目标。
综上，本发明实施例所述的方法，在批注状态下，共享的屏幕内容也可以进行滚动、缩放等操作，即本实施例不做操作限制；而且，在屏幕内容进行滚动、缩放等改变操作后，批注信息也随之移动、缩放，实现了动态跟随的目的。进一步地，在批注区域移出屏幕又移回屏幕后，批注信息可以在响应位置再次出现。
结合具体示例，本发明实施例还给出了如下具体应用场景，如此，来实现接收方终端和发送方终端批注信息的交互，具体地，图6为本发明实施例发送方终端在显示内容共享场景中进行批注的应用流程示意图，如图6所示，所述发送方终端存在如下应用场景，即：
场景一：进行批注的流程；具体地，开启显示内容共享，点击批注按键，进入批注状态，在批注状态下进行批注处理，如创建、修改或删除批注信息等；以创建批注为例，创建后，生成批注信息，将生成的批注信息添加到批注信息管理器中。
场景二：在非批注状态下，批注信息的共享流程；具体地，非批注状态下，音视频SDK进行视频帧的采集，跟踪生成的批注信息，调整批注信息的显示位置，以及相应修改批注信息管理器，显示调整后的批注信息，以实现批注信息的动态跟随目的。进一步地，将调整后的批注信息发送至接收方终端，实现接收方终端与发送方终端的同步显示。这里，在调整批注信息的显示位置，以及相应修改批注信息管理器后，将批注信息管理器中的批注信息合成为图片，进而将合成的图片与音视频SDK采集到的当前帧合成，这里，在合成后，将合成好的帧传输给音视频SDK。实际应用中，还可能存在录屏需求，此时，，确定是否处于录屏状态，即判定录屏是否已开启，确定开启后，将合成后的帧传输给录屏接口，以确保录制的音视频能够记录批注信息，以及记录批注信息动态跟随的过程。
场景三：在非批注状态下，接收到批注信息，比如，接收到接收方发送的批注信息；将接收到的批注信息添加到批注信息管理器中，以在对应位置展示接收到的批注信息。
图7为本发明实施例接收方终端在显示内容共享场景中进行批注的应用流程示意图，如图7所示，所述接收方终端存在如下应用场景，即：
场景一：进入显示内容共享状态，在批注状态下，接收到批注信息，更新批注管理器，以在对应位置展示接收到的批注信息。
场景二：进入显示内容共享状态，点击批注按键，进入批注状态，展示批注管理器中自己的批注信息；对自己的批注信息进行增删改查处理，处理后，更新本地的批注管理器，将变化后的批注信息发送给发送方终端。
或者，该场景二中，在进入批注状态后，向发送方终端发送一个消息，以告知发送方终端该接收方终端进入了批注状态。随后，发送方终端在批注管理器中删除该接收方终端对应的批注信息，并在视频流中进行对应删除处理，即在视频流中删除该接收方终端对应的批注信息；接收方终端对自己的批注信息进行增删改查处理，处理后，更新本地的批注管理器，并将自己更新后的所有批注信息发送至发送方终端，以实现两端显示内容的同步目的。
这里，值得注意的是，实际应用中，可以根据实际需求，设置成接收方终端和发送方终端只能修改自己对应的批注信息，或者，设置成接收方终端和发送方终端能够修改自身对应的批注管理器中的所有批注信息，如包括自己编辑的批注信息，也包括对方编辑的批注信息。
如此，本发明实施例所述的方法提升了屏幕共享过程中的批注体验，扩展了批注功能的使用场景，提供了更好的标记和记录能力，同时，降低了线上沟通成本。
本实施例还提供了一种图像处理装置，如图8所示，所述装置包括：
第一确定单元81，用于显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；还用于确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；
特征点匹配单元82，用于将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；
第二确定单元83，用于至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
在一具体示例中，所述第一确定单元，还用于确定从所述第一帧图像变换到所述第二帧图像的图像移动特征；基于所述图像移动特征，从所述第二帧图像中预估出与所述第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合；
对应地，所述特征点匹配单元，还用于基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到第二预估目标特征点集合；基于所述第一预估目标特征点集合和所述第二预估目标特征点集合，得到目标特征点集合。
在另一具体示例中，所述特征点匹配单元，还用于确定所述第二特征点集合中的第二特征点与所述第一特征点集合中的第一特征点之间的距离特征；从所述第二特征点集合中选取出距离特征满足预设距离规则的目标特征点。
在另一具体示例中，所述第二确定单元，还用于基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点；基于所述第一特征点集合以及所述目标中心特征点确定出所述第二帧图像中的目标批注区域，其中，所述目标中心特征点位于所述目标批注区域的中心区域。
在另一具体示例中，所述第二确定单元，还用于基于所述第一特征点集合中第一特征点与目标特征点集合中与第一特征点相对应的目标特征点，确定出中心特征点，得到中心特征点集合；从所述中心特征点集合中选取出满足预设规则的目标中心特征点。
在另一具体示例中，所述装置还包括：图像缩放单元；其中，
所述图像缩放单元，用于至少根据所述第一帧图像和所述第二帧图像得到图像缩放特征；基于所述图像缩放特征对所述目标批注区域的批注信息进行缩放处理，在所述第二帧图像的目标批注区域中显示缩放处理后的批注信息。
这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。
本实施例还提供了一种图像处理装置，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行以下方法的步骤：
显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；
确定第二帧图像，得到所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；
将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；
至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
在一具体示例中，还执行以下方法的步骤：
确定从所述第一帧图像变换到所述第二帧图像的图像移动特征；
基于所述图像移动特征，从所述第二帧图像中预估出与所述第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合；
对应地，所述将至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合，包括：
基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到第二预估目标特征点集合；
基于所述第一预估目标特征点集合和所述第二预估目标特征点集合，得到目标特征点集合。
在另一具体示例中，所述将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，包括：
确定所述第二特征点集合中的第二特征点与所述第一特征点集合中的第一特征点之间的距离特征；
从所述第二特征点集合中选取出距离特征满足预设距离规则的目标特征点。
在另一具体示例中，所述至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，包括：
基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点；
基于所述第一特征点集合以及所述目标中心特征点确定出所述第二帧图像中的目标批注区域，其中，所述目标中心特征点位于所述目标批注区域的中心区域。
在另一具体示例中，所述基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点，包括：
基于所述第一特征点集合中第一特征点与目标特征点集合中与第一特征点相对应的目标特征点，确定出中心特征点，得到中心特征点集合；
从所述中心特征点集合中选取出满足预设规则的目标中心特征点。
在另一具体示例中，还执行以下方法的步骤：
至少根据所述第一帧图像和所述第二帧图像得到图像缩放特征；
基于所述图像缩放特征对所述目标批注区域的批注信息进行缩放处理，在所述第二帧图像的目标批注区域中显示缩放处理后的批注信息。
本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下方法的步骤：
显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；
确定第二帧图像，得到所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；
将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；
至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
在一具体示例中，还实现以下方法的步骤：
确定从所述第一帧图像变换到所述第二帧图像的图像移动特征；
基于所述图像移动特征，从所述第二帧图像中预估出与所述第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合；
对应地，所述将至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合，包括：
基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到第二预估目标特征点集合；
基于所述第一预估目标特征点集合和所述第二预估目标特征点集合，得到目标特征点集合。
在另一具体示例中，所述将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，包括：
确定所述第二特征点集合中的第二特征点与所述第一特征点集合中的第一特征点之间的距离特征；
从所述第二特征点集合中选取出距离特征满足预设距离规则的目标特征点。
在另一具体示例中，所述至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，包括：
基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点；
基于所述第一特征点集合以及所述目标中心特征点确定出所述第二帧图像中的目标批注区域，其中，所述目标中心特征点位于所述目标批注区域的中心区域。
在另一具体示例中，所述基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点，包括：
基于所述第一特征点集合中第一特征点与目标特征点集合中与第一特征点相对应的目标特征点，确定出中心特征点，得到中心特征点集合；
从所述中心特征点集合中选取出满足预设规则的目标中心特征点。
在另一具体示例中，还实现以下方法的步骤：
至少根据所述第一帧图像和所述第二帧图像得到图像缩放特征；
基于所述图像缩放特征对所述目标批注区域的批注信息进行缩放处理，在所述第二帧图像的目标批注区域中显示缩放处理后的批注信息。
本实施例还提供了一种图像处理装置，实际应用中，所述图像处理装置可以具体为具有显示组件的任意电子设备，如个人电脑、移动终端等，所述显示组件可以具体为显示器；进一步地，本示例中，所述图像处理装置具体对应以上所述的发送方终端；具体地，所述装置至少包括：
显示组件，用于在显示界面展示显示内容；
处理器，用于与其他电子设备(如接收方终端)共享所述显示界面所展示的显示内容；比如，将显示界面展示的显示内容发送至其他电子设备，以与其他电子设备共享所述显示界面所展示的显示内容；
对应地，所述处理器，还用于在显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
在一具体示例中，所述处理器还用于：
确定从所述第一帧图像变换到所述第二帧图像的图像移动特征；
基于所述图像移动特征，从所述第二帧图像中预估出与所述第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合；
对应地，所述将至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合，包括：
基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到第二预估目标特征点集合；
基于所述第一预估目标特征点集合和所述第二预估目标特征点集合，得到目标特征点集合。
在另一具体示例中，所述将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，包括：
确定所述第二特征点集合中的第二特征点与所述第一特征点集合中的第一特征点之间的距离特征；
从所述第二特征点集合中选取出距离特征满足预设距离规则的目标特征点。
在另一具体示例中，所述至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，包括：
基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点；
基于所述第一特征点集合以及所述目标中心特征点确定出所述第二帧图像中的目标批注区域，其中，所述目标中心特征点位于所述目标批注区域的中心区域。
在另一具体示例中，所述基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点，包括：
基于所述第一特征点集合中第一特征点与目标特征点集合中与第一特征点相对应的目标特征点，确定出中心特征点，得到中心特征点集合；
从所述中心特征点集合中选取出满足预设规则的目标中心特征点。
在另一具体示例中，所述处理器还用于：
至少根据所述第一帧图像和所述第二帧图像得到图像缩放特征；
基于所述图像缩放特征对所述目标批注区域的批注信息进行缩放处理，在所述第二帧图像的目标批注区域中显示缩放处理后的批注信息。
这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。
本实施例还提供了一种图像处理装置，实际应用中，所述图像处理装置可以具体为具有显示组件的任意电子设备，如个人电脑、移动终端等，所述显示组件可以具体为显示器；进一步地，本示例中，所述图像处理装置具体对应以上所述的接收方终端；具体地，所述装置至少包括：
处理器，用于获取其他电子设备(如发送方终端)所共享的显示内容；
显示组件，用于在显示界面展示获取到的其他电子设备所共享的显示内容；
对应地，所述处理器，还用于在显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
在一具体示例中，所述处理器还用于：
确定从所述第一帧图像变换到所述第二帧图像的图像移动特征；
基于所述图像移动特征，从所述第二帧图像中预估出与所述第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合；
对应地，所述将至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合，包括：
基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到第二预估目标特征点集合；
基于所述第一预估目标特征点集合和所述第二预估目标特征点集合，得到目标特征点集合。
在另一具体示例中，所述将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，包括：
确定所述第二特征点集合中的第二特征点与所述第一特征点集合中的第一特征点之间的距离特征；
从所述第二特征点集合中选取出距离特征满足预设距离规则的目标特征点。
在另一具体示例中，所述至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，包括：
基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点；
基于所述第一特征点集合以及所述目标中心特征点确定出所述第二帧图像中的目标批注区域，其中，所述目标中心特征点位于所述目标批注区域的中心区域。
在另一具体示例中，所述基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点，包括：
基于所述第一特征点集合中第一特征点与目标特征点集合中与第一特征点相对应的目标特征点，确定出中心特征点，得到中心特征点集合；
从所述中心特征点集合中选取出满足预设规则的目标中心特征点。
在另一具体示例中，所述处理器还用于：
至少根据所述第一帧图像和所述第二帧图像得到图像缩放特征；
基于所述图像缩放特征对所述目标批注区域的批注信息进行缩放处理，在所述第二帧图像的目标批注区域中显示缩放处理后的批注信息。
这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (16)
1.一种图像处理方法，其特征在于，所述方法包括：
显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；
确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；
将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；
至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定从所述第一帧图像变换到所述第二帧图像的图像移动特征；
基于所述图像移动特征，从所述第二帧图像中预估出与所述第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合；
对应地，所述将至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合，包括：
基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到第二预估目标特征点集合；
基于所述第一预估目标特征点集合和所述第二预估目标特征点集合，得到目标特征点集合。
3.根据权利要求1所述的方法，其特征在于，所述将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，包括：
确定所述第二特征点集合中的第二特征点与所述第一特征点集合中的第一特征点之间的距离特征；
从所述第二特征点集合中选取出距离特征满足预设距离规则的目标特征点。
4.根据权利要求1所述的方法，其特征在于，所述至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，包括：
基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点；
基于所述第一特征点集合以及所述目标中心特征点确定出所述第二帧图像中的目标批注区域，其中，所述目标中心特征点位于所述目标批注区域的中心区域。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点，包括：
基于所述第一特征点集合中第一特征点与目标特征点集合中与第一特征点相对应的目标特征点，确定出中心特征点，得到中心特征点集合；
从所述中心特征点集合中选取出满足预设规则的目标中心特征点。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
至少根据所述第一帧图像和所述第二帧图像得到图像缩放特征；
基于所述图像缩放特征对所述目标批注区域的批注信息进行缩放处理，在所述第二帧图像的目标批注区域中显示缩放处理后的批注信息。
7.一种图像处理装置，其特征在于，所述装置包括：
第一确定单元，用于显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；还用于确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；
特征点匹配单元，用于将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；
第二确定单元，用于至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
8.根据权利要求7所述的装置，其特征在于，所述第一确定单元，还用于确定从所述第一帧图像变换到所述第二帧图像的图像移动特征；基于所述图像移动特征，从所述第二帧图像中预估出与所述第一特征点集合中特征点相匹配的目标特征点，得到第一预估目标特征点集合；
对应地，所述特征点匹配单元，还用于基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到第二预估目标特征点集合；基于所述第一预估目标特征点集合和所述第二预估目标特征点集合，得到目标特征点集合。
9.根据权利要求7所述的装置，其特征在于，所述特征点匹配单元，还用于确定所述第二特征点集合中的第二特征点与所述第一特征点集合中的第一特征点之间的距离特征；从所述第二特征点集合中选取出距离特征满足预设距离规则的目标特征点。
10.根据权利要求7所述的装置，其特征在于，所述第二确定单元，还用于基于所述第一特征点集合和所述目标特征点集合，得到所述第二帧图像中与第一帧图像中的批注区域相匹配的目标中心特征点；基于所述第一特征点集合以及所述目标中心特征点确定出所述第二帧图像中的目标批注区域，其中，所述目标中心特征点位于所述目标批注区域的中心区域。
11.根据权利要求10所述的装置，其特征在于，所述第二确定单元，还用于基于所述第一特征点集合中第一特征点与目标特征点集合中与第一特征点相对应的目标特征点，确定出中心特征点，得到中心特征点集合；从所述中心特征点集合中选取出满足预设规则的目标中心特征点。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括：图像缩放单元；其中，
所述图像缩放单元，用于至少根据所述第一帧图像和所述第二帧图像得到图像缩放特征；基于所述图像缩放特征对所述目标批注区域的批注信息进行缩放处理，在所述第二帧图像的目标批注区域中显示缩放处理后的批注信息。
13.一种图像处理装置，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行权利要求1至6所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6所述方法的步骤。
15.一种图像处理装置，其特征在于，所述装置至少包括：
显示组件，用于在显示界面展示显示内容；
处理器，用于将显示界面展示的显示内容发送至其他电子设备，以与其他电子设备共享所述显示界面所展示的显示内容；
对应地，所述处理器，还用于在显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
16.一种图像处理装置，其特征在于，所述装置至少包括：
处理器，用于获取其他电子设备所共享的显示内容；
显示组件，用于在显示界面展示获取到的其他电子设备所共享的显示内容；
对应地，所述处理器，还用于在显示内容共享的状态下，确定出所述显示内容所显示的第一帧图像中的批注区域，并确定出能够表征所述批注区域的第一特征点集合，其中，所述批注区域对应有批注信息；确定第二帧图像，得到能够表征所述第二帧图像的第二特征点集合，其中，所述第二帧图像为与所述第一帧图像相关联的图像；将所述第二特征点集合与所述第一特征点集合进行匹配，至少基于匹配结果从所述第二特征点集合中选取出与所述第一特征点集合中特征点相匹配的目标特征点，得到目标特征点集合；至少基于所述目标特征点集合确定出所述第二帧图像中与所述第一帧图像的批注区域相匹配的目标批注区域，其中，所述目标批注区域对应有与所述第一帧图像中批注区域的批注信息相匹配的批注信息。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711428095.7A CN109960452B (zh) | 2017-12-26 | 2017-12-26 | 图像处理方法及其装置、存储介质 |
| PCT/CN2018/121268 WO2019128742A1 (zh) | 2017-12-26 | 2018-12-14 | 图像处理方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711428095.7A CN109960452B (zh) | 2017-12-26 | 2017-12-26 | 图像处理方法及其装置、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109960452A true CN109960452A (zh) | 2019-07-02 |
| CN109960452B CN109960452B (zh) | 2022-11-04 |
Family
ID=67021605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711428095.7A Active CN109960452B (zh) | 2017-12-26 | 2017-12-26 | 图像处理方法及其装置、存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109960452B (zh) |
| WO (1) | WO2019128742A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110035329A (zh) * | 2018-01-11 | 2019-07-19 | 腾讯科技（北京）有限公司 | 图像处理方法、装置及存储介质 |
| CN110737417A (zh) * | 2019-09-30 | 2020-01-31 | 深圳市格上视点科技有限公司 | 一种演示设备及其标注线的显示控制方法和装置 |
| CN111291768A (zh) * | 2020-02-17 | 2020-06-16 | Oppo广东移动通信有限公司 | 图像特征匹配方法及装置、设备、存储介质 |
| CN111627041A (zh) * | 2020-04-15 | 2020-09-04 | 北京迈格威科技有限公司 | 多帧数据的处理方法、装置及电子设备 |
| CN111882582A (zh) * | 2020-07-24 | 2020-11-03 | 广州云从博衍智能科技有限公司 | 一种图像跟踪关联方法、系统、设备及介质 |
| CN112995467A (zh) * | 2021-02-05 | 2021-06-18 | 深圳传音控股股份有限公司 | 图像处理方法、移动终端及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101206640A (zh) * | 2006-12-22 | 2008-06-25 | 深圳市学之友教学仪器有限公司 | 用于对便携式电子设备中的电子资料进行批注的方法及系统 |
| CN105573702A (zh) * | 2015-12-16 | 2016-05-11 | 广州视睿电子科技有限公司 | 远程批注移动、缩放的同步方法与系统 |
| CN106843797A (zh) * | 2017-03-13 | 2017-06-13 | 广州视源电子科技股份有限公司 | 一种图像文件的编辑方法及装置 |
| CN106940632A (zh) * | 2017-03-06 | 2017-07-11 | 锐达互动科技股份有限公司 | 一种屏幕批注的方法 |
| US20170230614A1 (en) * | 2015-06-01 | 2017-08-10 | Apple Inc. | Techniques to Overcome Communication Lag Between Terminals Performing Video Mirroring and Annotation Operations |
| CN107274431A (zh) * | 2017-03-07 | 2017-10-20 | 阿里巴巴集团控股有限公司 | 视频内容增强方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100257188A1 (en) * | 2007-12-14 | 2010-10-07 | Electronics And Telecommunications Research Institute | Method and apparatus for providing/receiving stereoscopic image data download service in digital broadcasting system |
| CN104363407B (zh) * | 2014-10-31 | 2018-04-27 | 华为技术有限公司 | 一种视频会议系统通讯方法及相应装置 |
| CN106650965B (zh) * | 2016-12-30 | 2020-11-06 | 触景无限科技（北京）有限公司 | 一种远程视频处理方法及装置 |
| CN107168674B (zh) * | 2017-06-19 | 2020-08-11 | 浙江工商大学 | 投屏批注方法和系统 |
| CN107308646B (zh) * | 2017-06-23 | 2018-09-04 | 腾讯科技（深圳）有限公司 | 确定匹配对象的方法、装置及存储介质 |
-
2017
- 2017-12-26 CN CN201711428095.7A patent/CN109960452B/zh active Active
-
2018
- 2018-12-14 WO PCT/CN2018/121268 patent/WO2019128742A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101206640A (zh) * | 2006-12-22 | 2008-06-25 | 深圳市学之友教学仪器有限公司 | 用于对便携式电子设备中的电子资料进行批注的方法及系统 |
| US20170230614A1 (en) * | 2015-06-01 | 2017-08-10 | Apple Inc. | Techniques to Overcome Communication Lag Between Terminals Performing Video Mirroring and Annotation Operations |
| CN105573702A (zh) * | 2015-12-16 | 2016-05-11 | 广州视睿电子科技有限公司 | 远程批注移动、缩放的同步方法与系统 |
| CN106940632A (zh) * | 2017-03-06 | 2017-07-11 | 锐达互动科技股份有限公司 | 一种屏幕批注的方法 |
| CN107274431A (zh) * | 2017-03-07 | 2017-10-20 | 阿里巴巴集团控股有限公司 | 视频内容增强方法及装置 |
| CN106843797A (zh) * | 2017-03-13 | 2017-06-13 | 广州视源电子科技股份有限公司 | 一种图像文件的编辑方法及装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110035329A (zh) * | 2018-01-11 | 2019-07-19 | 腾讯科技（北京）有限公司 | 图像处理方法、装置及存储介质 |
| CN110035329B (zh) * | 2018-01-11 | 2022-08-30 | 腾讯科技（北京）有限公司 | 图像处理方法、装置及存储介质 |
| CN110737417A (zh) * | 2019-09-30 | 2020-01-31 | 深圳市格上视点科技有限公司 | 一种演示设备及其标注线的显示控制方法和装置 |
| CN110737417B (zh) * | 2019-09-30 | 2024-01-23 | 深圳市格上视点科技有限公司 | 一种演示设备及其标注线的显示控制方法和装置 |
| CN111291768A (zh) * | 2020-02-17 | 2020-06-16 | Oppo广东移动通信有限公司 | 图像特征匹配方法及装置、设备、存储介质 |
| CN111291768B (zh) * | 2020-02-17 | 2023-05-30 | Oppo广东移动通信有限公司 | 图像特征匹配方法及装置、设备、存储介质 |
| CN111627041A (zh) * | 2020-04-15 | 2020-09-04 | 北京迈格威科技有限公司 | 多帧数据的处理方法、装置及电子设备 |
| CN111627041B (zh) * | 2020-04-15 | 2023-10-10 | 北京迈格威科技有限公司 | 多帧数据的处理方法、装置及电子设备 |
| CN111882582A (zh) * | 2020-07-24 | 2020-11-03 | 广州云从博衍智能科技有限公司 | 一种图像跟踪关联方法、系统、设备及介质 |
| CN111882582B (zh) * | 2020-07-24 | 2021-10-08 | 广州云从博衍智能科技有限公司 | 一种图像跟踪关联方法、系统、设备及介质 |
| CN112995467A (zh) * | 2021-02-05 | 2021-06-18 | 深圳传音控股股份有限公司 | 图像处理方法、移动终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019128742A1 (zh) | 2019-07-04 |
| CN109960452B (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109960452A (zh) | 图像处理方法及其装置、存储介质 | |
| US11955143B2 (en) | Automatic video editing method and portable terminal | |
| CN110035329A (zh) | 图像处理方法、装置及存储介质 | |
| Truong et al. | Video abstraction: A systematic review and classification | |
| JP6179889B2 (ja) | コメント情報生成装置およびコメント表示装置 | |
| TWI521456B (zh) | 視頻內容感知之廣告放置 | |
| DeCamp et al. | An immersive system for browsing and visualizing surveillance video | |
| US20160118080A1 (en) | Video playback method | |
| US20140096002A1 (en) | Video clip editing system | |
| CN103210651A (zh) | 用于视频概要的方法和系统 | |
| CN109495684A (zh) | 一种视频的拍摄方法、装置、电子设备及可读介质 | |
| CN104732203A (zh) | 一种基于视频信息的情绪识别与跟踪方法 | |
| CN109918378A (zh) | 一种基于区块链的遥感数据存储方法和存储系统 | |
| CN114339360B (zh) | 一种视频处理的方法、相关装置及设备 | |
| CN103514621A (zh) | 案、事件场景全真动态3d再现方法及重构系统 | |
| Tolosana et al. | An introduction to digital face manipulation | |
| CN103219028B (zh) | 信息处理装置和信息处理方法 | |
| CN110378170A (zh) | 视频处理方法及相关装置，图像处理方法及相关装置 | |
| KR20120099814A (ko) | 증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법 | |
| KR20160074958A (ko) | 객체의 움직임 분석을 이용한 모션 효과 생성 장치 및 방법 | |
| CN109451334A (zh) | 用户画像生成处理方法、装置及电子设备 | |
| CN110166345A (zh) | 资源分享方法、资源获取方法、装置和存储介质 | |
| CN105608423A (zh) | 一种视频匹配方法及装置 | |
| US20200001178A1 (en) | Server device, and storage medium used in same | |
| US9830719B2 (en) | Rendering a three-dimensional time helix in a virtual universe |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |