CN112882781A - 一种智能边框检测和同屏的方法和存储设备 - Google Patents

一种智能边框检测和同屏的方法和存储设备 Download PDF

Info

Publication number
CN112882781A
CN112882781A CN202110162823.4A CN202110162823A CN112882781A CN 112882781 A CN112882781 A CN 112882781A CN 202110162823 A CN202110162823 A CN 202110162823A CN 112882781 A CN112882781 A CN 112882781A
Authority
CN
China
Prior art keywords
image
screen
original image
frame
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110162823.4A
Other languages
English (en)
Inventor
黄德胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202110162823.4A priority Critical patent/CN112882781A/zh
Publication of CN112882781A publication Critical patent/CN112882781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及屏幕数据处理技术领域，特别涉及一种智能边框检测和同屏的方法和存储设备。所述一种智能边框检测和同屏的方法，包括步骤：配置图像特征滤波器；通过所述特征滤波器提取原始图像的图像指纹；根据所述图像指纹识别边框模式；根据所述边框模式和目标显示模式计算得匹配模式；根据所述匹配模式对原始图像进行去黑边处理；显示处理后的图像。可以使得同屏目标端的显示系统会自动检测边框，对图像进行处理，进而无论是横竖屏模式都可将图像完美地显示在目标端。

Description

一种智能边框检测和同屏的方法和存储设备
技术领域
本发明涉及屏幕数据处理技术领域，特别涉及一种智能边框检测和同屏的方法和存储设备。
背景技术
现有手机同屏技术包含3种技术路线：苹果系统的mirror协议,谷歌Android的WFD协议和私有同屏协议等。手机同屏技术是将手机的原生界面，经过屏幕内容抓取、图像后处理、图像编码和图像无线分发等主要步骤。手机同屏技术的屏幕内容录制只有横屏和竖屏模式，屏幕内容录制无线分发到同屏设备接收端之后，由于目标同屏设备的显示分辨率不同，宽高比例不同，很难完美显示手机分享的屏幕内容，出现诸多兼容性问题：横竖屏模式无法匹配、屏幕内容无法最大化的显示等问题。
发明内容
为此，需要提供一种智能边框检测和同屏的方法，用以解决在无法改变同屏远端设备的同屏标准的前提下，同屏目标端适配同屏显示的技术问题。具体技术方案如下：
一种智能边框检测和同屏的方法，包括步骤：
配置图像特征滤波器；
通过所述特征滤波器提取原始图像的图像指纹；
根据所述图像指纹识别边框模式；
根据所述边框模式和目标显示模式计算得匹配模式；
根据所述匹配模式对原始图像进行去黑边处理；
显示处理后的图像。
进一步的，所述“通过所述特征滤波器提取原始图像的图像指纹”，具体还包括步骤：
通过所述特征滤波器提取原始图像的图像特征；
增强图像特征纹理，将所述图像特征纹理通过hash函数转换为图像指纹。
进一步的，所述“根据所述边框模式和目标显示模式计算得匹配模式”，具体还包括步骤：
根据预设标准计算得匹配模式，所述预设标准包括：显示系统兼容、显示比例保持原图像去掉边框的有效图像一直最大化全屏。
进一步的，所述“根据所述匹配模式对原始图像进行去黑边处理”，具体还包括步骤：
保持原图像比例对目标区域黑边填充和图像缩放。
为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：
一种存储设备，其中存储有指令集，所述指令集用于执行：
配置图像特征滤波器；
通过所述特征滤波器提取原始图像的图像指纹；
根据所述图像指纹识别边框模式；
根据所述边框模式和目标显示模式计算得匹配模式；
根据所述匹配模式对原始图像进行去黑边处理；
显示处理后的图像。
进一步的，所述指令集还用于执行：所述“通过所述特征滤波器提取原始图像的图像指纹”，具体还包括步骤：
通过所述特征滤波器提取原始图像的图像特征；
增强图像特征纹理，将所述图像特征纹理通过hash函数转换为图像指纹。
进一步的，所述指令集还用于执行：所述“根据所述边框模式和目标显示模式计算得匹配模式”，具体还包括步骤：
根据预设标准计算得匹配模式，所述预设标准包括：显示系统兼容、显示比例保持原图像去掉边框的有效图像一直最大化全屏。
进一步的，所述指令集还用于执行：所述“根据所述匹配模式对原始图像进行去黑边处理”，具体还包括步骤：
保持原图像比例对目标区域黑边填充和图像缩放。
本发明的有益效果是：通过以下步骤：配置图像特征滤波器；通过所述特征滤波器提取原始图像的图像指纹；根据所述图像指纹识别边框模式；根据所述边框模式和目标显示模式计算得匹配模式；根据所述匹配模式对原始图像进行去黑边处理；显示处理后的图像。可以使得同屏目标端的显示系统会自动检测边框，对图像进行处理，进而无论是横竖屏模式都可将图像完美地显示在目标端。
附图说明
图1为具体实施方式所述一种智能边框检测和同屏的方法的流程图；
图2为具体实施方式所述智能同屏系统的显示效果图；
图3为具体实施方式所述存储设备的结构示意图；
图4为具体实施方式所述竖屏显示不兼容的效果图；
图5为具体实施方式所述一种存储设备的模块示意图；
附图标记说明：
500、存储设备。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
本申请的核心技术思想在于：在无法改变同屏远端设备(即同屏接收端)的同屏标准的前提下，通过改进同屏目标端的显示系统，增加智能边框检测功能(基于图像特征滤波器和图像指纹)，从而达到适配同屏显示器的最佳显示效果。
如图2所示，智能同屏系统的显示效果图。手机屏幕内容具有2种模式，竖屏和横屏图像模式。手机录制手机屏幕内容时，手机竖着看和横着看会产生不同模式的WFD图像(方向一致，但是竖屏内容会被填充黑边)。手机端的WFD图像，经过编码和无线分发之后。同屏系统的配对的同屏接收端，将接收到WFD图像。如果直接该WFD图像将出现显示兼容性问题。故通过改进同屏目标端的显示系统，增加智能边框检测功能(基于图像滤波器和图像指纹)检查到图像的黑框，去除黑框把有效图像拉伸到同比例的全屏显示，从而达到最优的同屏显示效果。假设同屏目标端具有竖屏的物理显示屏幕，竖屏物理屏幕的显示效果如右侧所示。
如图4所示，竖屏显示不兼容的效果图。手机或平板设备的屏幕内容是竖屏内容时，WFD图像是横屏图像(内容会被填充黑边),竖屏的同屏接收端接收横屏图像，如果不加处理显示出来，有效图像的屏占比很低(黑边占比偏大)，显示和观看效果欠佳。
请参阅1，在本实施方式中，所述一种智能边框检测和同屏的方法可应用在一种存储设备上，所述存储设备为WFD的同屏目标端，如：电视机、各种显示器等。具体实施方式如下：
步骤S101：配置图像特征滤波器。所述特征滤波器需要具有两种能力：能够增强或水平或垂直方向的直线特征并且能够在缩小过程中保持直线特征。
步骤S102：通过所述特征滤波器提取原始图像的图像指纹。图像指纹是保持了图像关键特征的缩略图像。具体可如下：通过所述特征滤波器提取原始图像的图像特征；增强图像特征纹理，将所述图像特征纹理通过hash函数转换为图像指纹。所述图像特征包括以下中的一种或多种：点线特征、线条特征、点阵特征、微图案特征等。
步骤S103：根据所述图像指纹识别边框模式。具体可如下：通过统计指定颜色(如：黑色)在水平方向或垂直方向的计算，确定边框的范围。其中对于原始图像做图像特征提取，需要图像加速器的帮助，其中2D图像加速器、OpenGL ES和OpenCL均可作为电子设备的图像加速计算，优选为2D图像加速器。
步骤S104：根据所述边框模式和目标显示模式计算得匹配模式。具体还包括步骤：根据预设标准计算得匹配模式，所述预设标准包括：显示系统兼容、显示比例保持原图像去掉边框的有效图像一直最大化全屏为目标。
步骤S105：根据所述匹配模式对原始图像进行去黑边处理。具体还包括步骤：保持原图像比例对目标区域黑边填充和图像缩放以适应显示屏幕等图像操作。
步骤S106：显示处理后的图像。具体可如下：处理后的图像到显示系统的缓冲区后，随后就被显示出来。
通过以下步骤：配置图像特征滤波器；通过所述特征滤波器提取原始图像的图像指纹；根据所述图像指纹识别边框模式；根据所述边框模式和目标显示模式计算得匹配模式；根据所述匹配模式对原始图像进行去黑边处理；显示处理后的图像。可以使得同屏目标端的显示系统会自动检测边框，对图像进行处理，进而无论是横竖屏模式都可将图像完美地显示在目标端。
在本实施方式中，优选地，如图3所示，所述存储设备包括：处理器31、内存32、存储器33、显示接口34、显示器35、通信接口36或/和系统总线37；内存32、存储器32和通信接口36通过系统总线37与处理器31连接并完成相互间的通信，存储器33用于存储计算机程序，通信接口36用于和其他设备进行通信，处理器31和内存32用于运行计算机程序。
请参阅图2至图5，在本实施方式中，一种存储设备500的具体实施方式如下：
一种存储设备500，其中存储有指令集，所述指令集用于执行：
配置图像特征滤波器。所述特征滤波器需要具有两种能力：能够增强或水平或垂直方向的直线特征并且能够在缩小过程中保持直线特征。
通过所述特征滤波器提取原始图像的图像指纹。图像指纹是保持了图像关键特征的缩略图像。具体可如下：通过所述特征滤波器提取原始图像的图像特征；增强图像特征纹理，将所述图像特征纹理通过hash函数转换为图像指纹。所述图像特征包括以下中的一种或多种：点线特征、线条特征、点阵特征、微图案特征等。
根据所述图像指纹识别边框模式。具体可如下：通过统计指定颜色(如：黑色)在水平方向或垂直方向的计算，确定边框的范围。其中对于原始图像做图像特征提取，需要图像加速器的帮助，其中2D图像加速器、OpenGL ES和OpenCL均可作为电子设备的图像加速计算，优选为2D图像加速器。
根据所述边框模式和目标显示模式计算得匹配模式。具体还包括步骤：根据预设标准计算得匹配模式，所述预设标准包括：显示系统兼容、显示比例保持原图像去掉边框的有效图像一直最大化全屏为目标。
根据所述匹配模式对原始图像进行去黑边处理。具体还包括步骤：保持原图像比例对目标区域黑边填充和图像缩放以适应显示屏幕等图像操作。
显示处理后的图像。具体可如下：处理后的图像到显示系统的缓冲区后，随后就被显示出来。
通过存储设备500的指令集执行以下步骤：配置图像特征滤波器；通过所述特征滤波器提取原始图像的图像指纹；根据所述图像指纹识别边框模式；根据所述边框模式和目标显示模式计算得匹配模式；根据所述匹配模式对原始图像进行去黑边处理；显示处理后的图像。可以使得同屏目标端的显示系统会自动检测边框，对图像进行处理，进而无论是横竖屏模式都可将图像完美地显示在目标端。
在本实施方式中，优选地，如图3所示，所述存储设备500包括：处理器31、内存32、存储器33、显示接口34、显示器35、通信接口36或/和系统总线37；内存32、存储器32和通信接口36通过系统总线37与处理器31连接并完成相互间的通信，存储器33用于存储计算机程序，通信接口36用于和其他设备进行通信，处理器31和内存32用于运行计算机程序。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (8)

1.一种智能边框检测和同屏的方法，其特征在于，包括步骤：
配置图像特征滤波器；
通过所述特征滤波器提取原始图像的图像指纹；
根据所述图像指纹识别边框模式；
根据所述边框模式和目标显示模式计算得匹配模式；
根据所述匹配模式对原始图像进行去黑边处理；
显示处理后的图像。
2.根据权利要求1所述的一种智能边框检测和同屏的方法，其特征在于，所述“通过所述特征滤波器提取原始图像的图像指纹”，具体还包括步骤：
通过所述特征滤波器提取原始图像的图像特征；
增强图像特征纹理，将所述图像特征纹理通过hash函数转换为图像指纹。
3.根据权利要求1所述的一种智能边框检测和同屏的方法，其特征在于，所述“根据所述边框模式和目标显示模式计算得匹配模式”，具体还包括步骤：
根据预设标准计算得匹配模式，所述预设标准包括：显示系统兼容、显示比例保持原图像去掉边框的有效图像一直最大化全屏。
4.根据权利要求1所述的一种智能边框检测和同屏的方法，其特征在于，所述“根据所述匹配模式对原始图像进行去黑边处理”，具体还包括步骤：
保持原图像比例对目标区域黑边填充和图像缩放。
5.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：
配置图像特征滤波器；
通过所述特征滤波器提取原始图像的图像指纹；
根据所述图像指纹识别边框模式；
根据所述边框模式和目标显示模式计算得匹配模式；
根据所述匹配模式对原始图像进行去黑边处理；
显示处理后的图像。
6.根据权利要求5所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“通过所述特征滤波器提取原始图像的图像指纹”，具体还包括步骤：
通过所述特征滤波器提取原始图像的图像特征；
增强图像特征纹理，将所述图像特征纹理通过hash函数转换为图像指纹。
7.根据权利要求5所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“根据所述边框模式和目标显示模式计算得匹配模式”，具体还包括步骤：
根据预设标准计算得匹配模式，所述预设标准包括：显示系统兼容、显示比例保持原图像去掉边框的有效图像一直最大化全屏。
8.根据权利要求5所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“根据所述匹配模式对原始图像进行去黑边处理”，具体还包括步骤：
保持原图像比例对目标区域黑边填充和图像缩放。
CN202110162823.4A 2021-02-05 2021-02-05 一种智能边框检测和同屏的方法和存储设备 Pending CN112882781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110162823.4A CN112882781A (zh) 2021-02-05 2021-02-05 一种智能边框检测和同屏的方法和存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110162823.4A CN112882781A (zh) 2021-02-05 2021-02-05 一种智能边框检测和同屏的方法和存储设备

Publications (1)

Publication Number Publication Date
CN112882781A true CN112882781A (zh) 2021-06-01

Family

ID=76055903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110162823.4A Pending CN112882781A (zh) 2021-02-05 2021-02-05 一种智能边框检测和同屏的方法和存储设备

Country Status (1)

Country Link
CN (1) CN112882781A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040100A (zh) * 2021-11-02 2022-02-11 上汽通用五菱汽车股份有限公司 一种基于动态适配的车载摄像头显示方法、系统及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2455088A1 (en) * 2003-02-28 2004-08-28 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
CN104239883A (zh) * 2013-12-11 2014-12-24 深圳深讯和科技有限公司 纹理特征提取方法及装置
CN104392207A (zh) * 2014-11-10 2015-03-04 天津大学 一种用于数字图像内容识别的特征编码方法
CN110267073A (zh) * 2019-07-24 2019-09-20 深圳市颍创科技有限公司 一种投屏画面显示及投屏画面旋转方法
CN111783725A (zh) * 2020-07-14 2020-10-16 珠海市卓轩科技有限公司 人脸识别方法、装置及存储介质
CN112114765A (zh) * 2020-09-27 2020-12-22 北京小米移动软件有限公司 投屏方法、装置及存储介质
CN112182277A (zh) * 2020-11-09 2021-01-05 成都优查科技有限公司 一种图像处理技术匹配铝模板的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2455088A1 (en) * 2003-02-28 2004-08-28 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
CN104239883A (zh) * 2013-12-11 2014-12-24 深圳深讯和科技有限公司 纹理特征提取方法及装置
CN104392207A (zh) * 2014-11-10 2015-03-04 天津大学 一种用于数字图像内容识别的特征编码方法
CN110267073A (zh) * 2019-07-24 2019-09-20 深圳市颍创科技有限公司 一种投屏画面显示及投屏画面旋转方法
CN111783725A (zh) * 2020-07-14 2020-10-16 珠海市卓轩科技有限公司 人脸识别方法、装置及存储介质
CN112114765A (zh) * 2020-09-27 2020-12-22 北京小米移动软件有限公司 投屏方法、装置及存储介质
CN112182277A (zh) * 2020-11-09 2021-01-05 成都优查科技有限公司 一种图像处理技术匹配铝模板的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040100A (zh) * 2021-11-02 2022-02-11 上汽通用五菱汽车股份有限公司 一种基于动态适配的车载摄像头显示方法、系统及设备

Similar Documents

Publication Publication Date Title
CN113126937B (zh) 一种显示终端调整方法及显示终端
CN110796664B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109615685B (zh) 基于uml面向gpu纹理贴图的硬件视图模型的纹理执行装置及方法
CN110781823B (zh) 录屏检测方法、装置、可读介质及电子设备
CN113126862B (zh) 截屏方法、装置、电子设备以及可读存储介质
CN113362420B (zh) 道路标注生成方法、装置、设备以及存储介质
CN111290581A (zh) 虚拟现实显示方法、显示装置及计算机可读介质
CN112580558A (zh) 红外图像目标检测模型构建方法、检测方法、装置及系统
CN112882781A (zh) 一种智能边框检测和同屏的方法和存储设备
KR100860673B1 (ko) 3차원 이미지 생성을 위한 이미지 생성 장치 및 방법
CN114049488A (zh) 一种多维信息融合的远距离弱小目标检测方法和终端
CN107301045B (zh) 窗口显示方法及装置
CN104918044B (zh) 图像处理方法及装置
CN113570725A (zh) 基于聚类的三维表面重建方法、装置、服务器及存储介质
CN112435634A (zh) 图像显示方法、图像显示装置和可读存储介质
CN112927163A (zh) 图像数据增强方法、装置、电子设备及存储介质
US20220189027A1 (en) Panorama Rendering Method, Electronic Device and Storage Medium
WO2022237460A1 (zh) 图像处理方法、设备、存储介质及程序产品
CN110619597A (zh) 一种半透明水印去除方法、装置、电子设备及存储介质
CN113963000B (zh) 图像分割方法、装置、电子设备及程序产品
EP2530640B1 (en) Image copying method and device
CN114170084A (zh) 一种图像超分辨率处理方法、装置及设备
CN113361371A (zh) 道路提取方法、装置、设备以及存储介质
CN109118563A (zh) 一种从lod分页表面纹理模型提取数字正射影像图的方法
CN111857626A (zh) 基于屏幕坐标的图片显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210601