CN113422967A - 一种投屏显示控制方法、装置、终端设备及存储介质 - Google Patents
一种投屏显示控制方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN113422967A CN113422967A CN202110630460.2A CN202110630460A CN113422967A CN 113422967 A CN113422967 A CN 113422967A CN 202110630460 A CN202110630460 A CN 202110630460A CN 113422967 A CN113422967 A CN 113422967A
- Authority
- CN
- China
- Prior art keywords
- data
- image
- audio
- frame
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 64
- 238000005457 optimization Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 5
- 239000013589 supplement Substances 0.000 claims description 5
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 15
- 230000003796 beauty Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
本发明公开了一种投屏显示控制方法、装置、终端设备及存储介质，所述方法包括：获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧；对所述原始数据帧进行图像优化处理，得到图像纹理数据；根据所述图像纹理数据，绘制显示图像，并显示所述显示图像。本申请可以在将原始的音视频发送至另一个终端进行显示时，在另一个终端设备上对该音视频进行的图像处理，提高显示效果。
Description
技术领域
本发明涉及显示技术领域，尤其涉及一种投屏显示控制方法、装置、终端设备及存储介质。
背景技术
随着终端设备的快速发展，智能化终端设备已经越来越渗入到人们的生活中。并且现有的终端设备基本都具有显示功能，以便满足用户的使用需求。当用户需要显示图像或者视频时，经常会将待显示的图像或者视频投屏至另一个终端设备上进行显示，比如，将手机中的图像或者视频投屏至智能电视中显示。但是，目前在进行投屏显示时，直接将原始的音视频发送至另一个终端进行显示，并不会对该音视频进行任何的图像处理，从而导致在另一个终端设备中显示该音视频时，显示效果并不理想。
因此，现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种投屏显示控制方法、装置、终端设备及存储介质，旨在解决现有技术中在将原始的音视频发送至另一个终端进行显示时，终端设备不会对该音视频进行任何的图像处理，导致显示效果并不理想的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
第一方面，本发明提供一种投屏显示控制方法，其中，所述方法包括：
获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧；
对所述原始数据帧进行图像优化处理，得到图像纹理数据；
根据所述图像纹理数据，绘制显示图像，并显示所述显示图像。
在一种实现方式中，所述获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧，包括：
获取所述音视频数据，并将所述音视频数据放入解码队列；
对所述解码队列中的所述音视频数据进行数据解码处理，得到所述原始数据帧。
在一种实现方式中，所述对所述解码队列中的所述音视频数据进行数据解码处理，得到所述原始数据帧，包括：
对所述解码队列中的所述音视频数据进行解复用处理，识别所述音视频数据的格式；
根据所述音视频数据的格式，对所述音视频数据进行解码处理，得到原始数据帧，所述原始数据帧包括YUV或者GRB格式的视频帧数据以及PCM格式的音频帧数据。
在一种实现方式中，所述对所述原始数据帧进行图像优化处理，得到图像纹理数据，包括：
对所述原始数据帧进行清晰度调整处理，得到调整图像帧数据；
对所述原始数据帧进行人脸识别处理，得到人脸识别结果；
根据所述人脸识别结果，对所述调整图像帧数据进行重绘制，得到所述图像纹理数据。
在一种实现方式中，所述对所述原始数据帧进行清晰度调整处理，得到调整图像帧数据，包括：
采用预设的OpenCV算法对所述原始数据帧进行清晰度矫正，得到矫正图像；
将所述矫正图像输入至预设的对抗神经网络模型中进行像素补充处理，得到所述调整图像帧数据。
在一种实现方式中，所述对所述原始数据帧进行人脸识别处理，得到人脸识别结果，包括：
将所述原始数据帧输入至预设的人脸检测模型，得到人脸轮廓数据,所述人脸轮廓数据用于反映人脸轮廓中关键点的像素位置；
根据所述人脸轮廓数据，得到所述人脸识别结果。
在一种实现方式中，所述根据所述人脸识别结果，对所述调整图像帧数据进行重绘制，得到所述图像纹理数据，包括：
根据所述人脸识别结果，使用预设的OpenGL渲染接口及矫正算法，对所述调整图像帧数据进行重绘制，得到所述图像纹理数据。
第二方面，本发明实施例还提供一种投屏显示控制装置，其中，所述装置包括：原始数据帧确定模块，用于获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧；图像处理模块，用于对所述原始数据帧进行图像优化处理，得到图像纹理数据；图像绘制模块，用于根据所述图像纹理数据，绘制显示图像，并对所述显示图像进行显示。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的投屏显示控制程序，所述处理器执行所述投屏显示控制程序时，实现上述方案中任一项所述的投屏显示控制方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有投屏显示控制程序，所述投屏显示控制程序被处理器执行时，实现上述方案中任一项所述的投屏显示控制方法的步骤。
有益效果：与现有技术相比，本发明提供了一种投屏显示控制方法，本发明首先获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧，该原始数据帧为获取到的音视频数据经过音视频解码后的数据，通过解码便于将数据输入模型中进行处理。然后对所述原始数据帧进行图像优化处理，得到图像纹理数据，由于图像纹理数据为原始数据帧进行图像优化处理后得到的数据，因此其分辨率、画质、文字清晰度、人像美颜均得到提升。最后对根据图像纹理数据所绘制得显示图像进行显示，从而完成对音视频数据的投屏显示。由此可见，本发明在将音视频从一个终端发送至另一个终端的时候，对该音视频进行图像处理，从而提高该音视频在另一个终端上的显示效果。
附图说明
图1为本发明实施例提供的投屏显示控制方法的具体实施方式的流程图。
图2为本发明实施例提供的投屏显示控制方法中获取原始数据帧的流程图。
图3为本发明实施例提供的投屏显示控制方法中获取图像纹理数据的流程图。
图4是本发明实施例提供的投屏显示控制装置的原理框图。
图5是本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例提供一种投屏显示控制方法，通过本实施例的投屏显示控制方法，当从一个终端设备将音视频数据投屏至另一个终端设备时，能够对音视频数据进行图像处理，提高在另一个终端设备上投屏的显示效果。本发明首先获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧，该原始数据帧为获取到的音视频数据经过音视频解码后的数据，通过解码便于将数据输入模型中进行处理。然后对所述原始数据帧进行图像优化处理，得到图像纹理数据，由于图像纹理数据为原始数据帧进行图像优化处理后得到的数据，因此其分辨率、画质、文字清晰度、人像美颜均得到提升。最后对根据图像纹理数据所绘制得显示图像进行显示，从而完成对音视频数据的投屏显示。由此可见，本发明在将音视频从一个终端发送至另一个终端的时候，对该音视频进行图像处理，从而提高该音视频在另一个终端上的显示效果。
举例说明，当用户需要将手机中的图像或者视频投屏到智能电视中显示时，先获取获取所要投屏的音视频数据，即用户手机中的图像或者视频数据，然后根据所述音视频数据确定与其相对应的原始数据帧。由于原始数据帧的显示效果较差，需要对原始数据帧进行图像优化处理，得到图像纹理数据，最后根据图像纹理数据，绘制显示图像，并对显示图像进行显示，从而就可以将用户手机中的图像或者视频以更加清晰形式投屏至智能电视上，提高用户的观看体验。
示例性方法
本实施例中的投屏显示控制方法可应用于终端设备中，比如智能电视、智能投影仪。所述终端设备具有音视频显示功能，比如所述智能电视上设置有显示屏，可用于播放音视频。具体实施时，如图1中所示，本实施例中的投屏显示控制方法包括如下步骤：
步骤S100、获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧。
具体实施时，由于本实施例是对音视频数据进行优化的，因此本实施例需要获取音视频数据，该音视频数据为投屏发送端所要发送至投屏接收端的数据。当得到所述音视频数据后，本实施例可根据该音视频数据，确定与所述音视频数据所对应的原始数据帧。本实施例中，所述原始数据帧可以反映所述音视频数据中的图像信息，这些图像信息中包括有所述音视频数据中的每一帧图像的信息，比如，每一帧图像的画面清晰度、分辨率、文字清晰度以及人像美颜等。比如当用户想将手机上的一段视频投屏到智能电视上进行播放时，该视频则为所要获取的音视频数据，然后根据该视频确定与其相对应的原始数据帧。通过确定与音视频数据相对应的原始数据帧能够便于对音视频数据中的图像进行优化处理。
在一种实现方式中，如图2所述，所述步骤S100具体包括：
步骤S101、获取所述音视频数据，并将所述音视频数据放入解码队列；
步骤S102、对所述解码队列中的所述音视频数据进行数据解码处理，得到所述原始数据帧。
具体实施时，为了能够更好的获得与音视频数据相对应的原始数据帧，本实施例可将音视频数据放入解码队列，然后对解码队列中的音视频数据进行解复用处理，并识别音视频数据的格式，再根据音视频数据的格式，使用终端设备具有的解码能力对音视频数据进行解码，从而得到原始数据帧，原始数据帧包括YUV或者GRB格式的视频帧数据以及PCM格式的音频帧数据。由于音视频数据在被获取到的时候是以数据包的形式存在的，因此，当需要对音视频数据进行处理前，必须要对音视频数据进行解码处理，并且不同格式的数据所对应的解码方式不同，因此本实施例可以先通过解复用或者帧探测以识别音视频数据的格式。最后通过终端设备对音视频数据进行解码，由于本实施例所需要做的是对音视频数据中的图像进行优化处理，虽然解码后得到的原始数据帧包括了视频帧数据和音频帧数据，但是在后续对图像进行优化的过程中，本实施例仅对YUV或者GRB格式的视频帧数据进行处理。
步骤S200、对所述原始数据帧进行图像优化处理，得到图像纹理数据。
本实施例在得到原始数据帧之后，即可对该原始数据帧进行图像优化处理，进而得到图像纹理数据。由于原始数据帧在分辨率、画质、文字清晰度、人像美颜方面的显示效果较差，因此需要对原始数据帧进行图像优化处理，得到在分辨率、画质、文字清晰度、人像美颜方面的显示效果较好的图像纹理数据。
在一种实现方式中，如图3中所示，所述步骤S200具体包括如下步骤：
S201、对所述原始数据帧进行清晰度调整处理，得到调整图像帧数据；
S202、对所述原始数据帧进行人脸识别处理，得到人脸识别结果；
S203、根据所述人脸识别结果，对所述调整图像帧数据进行重绘制，得到所述图像纹理数据。
具体实施时，本实施对获取到的原始数据帧进行图像优化处理，从而得到图像纹理数据。在本实施例中，由于主要是对原始数据帧中图像显示进行优化，因此需要同时对图像的清晰度和人像显示进行优化处理。
在对图像的清晰度进行矫正的时候，将原始数据帧输入预设的OpenCV算法以得到矫正图像，再将矫正图像输入至预设的对抗神经网络模型中进行像素补充处理，得到调整图像帧数据。在对人像显示进行优化处理前需要先对人脸进行识别，将原始数据帧输入至预设的人脸检测模型，得到人脸轮廓数据,人脸轮廓数据用于反映人脸轮廓中106个关键点的像素位置，然后再根据人脸轮廓数据，得到人脸识别结果。最后根据人脸识别结果，使用预设的OpenGL渲染接口及矫正算法，对调整图像帧数据进行重绘制，得到图像纹理数据。具体地，在对YUV或者GRB格式的视频帧数据进行优化的过程中，通过对抗神经网络模型实现图像分辨率检测及像素补充处理，通过OpenCV算法实现对原始数据帧中的文字检测及锐化，从而提高图像分辨率及文字清晰度。具体地，在对原始数据帧进行人脸识别处理的过程中，可以采用HRNet(人体姿态识别网络)及MoblieNet算法以对原始数据帧中是否存在人脸进行检测。当检测结果为原始数据帧中存在人脸的时候，通过OpenGL渲染接口对人脸进行美颜，同时采用矫正算法，对图像帧数据进行重绘制，得到图像纹理数据。
步骤S300、根据所述图像纹理数据，绘制显示图像，并显示所述显示图像。
本实施例在得到图像纹理数据之后，由于图像纹理数据为数据格式，而要进行显示的话只能是对图像进行显示，因此需要根据图像纹理数据绘制显示图像，进而对显示图像进行显示。具体地，本实施例中在绘制显示图像的过程中，采用终端设备提供的图像绘制能力，将图像纹理数据绘制成显示图像并显示于所要显示的终端设备上。进一步地，本实施中还可每隔预设时间将图像纹理数据绘制成显示图像，持续更新进行显示的显示图像，从而实现视频画面连续播放能力，且提高连续播放过程中的分辨率、文字清晰度及人像美颜效果。
综上，本实施例先获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧，该原始数据帧为获取到的音视频数据经过音视频解码后的数据，通过解码便于将数据输入模型中进行处理。然后对所述原始数据帧进行图像优化处理，得到图像纹理数据，由于图像纹理数据为原始数据帧进行图像优化处理后得到的数据，因此其分辨率、画质、文字清晰度、人像美颜均得到提升。最后对根据图像纹理数据所绘制得显示图像进行显示，从而完成对音视频数据的投屏显示。比如，用户需要将手机上的一段视频投屏至智能电视上进行播放的过程中，首先获取与该段视频相对应的音视频数据，根据音视频数据的格式对其进行解码处理从而得到与音视频数据相对应原始数据帧，原始数据帧包括YUV或者GRB格式的视频帧数据以及PCM格式的音频帧数据。将YUV或者GRB格式的视频帧数据输入OpenCV算法进行清晰度矫正，得到图像帧数据。同时将YUV或者GRB格式的视频帧数据输入预设的人脸检测模型，当检测到YUV或者GRB格式的视频帧数据存在人脸轮廓106个关键点像素位置时，判断YUV或者GRB格式的视频帧数据存在人脸，使用OpenGL渲染接口对人脸进行美颜，并通过矫正算法对图像帧数据进行重绘，得到图像纹理数据，所得到的图像纹理数据相较于原始数据帧具有分辨率提升、文字清晰度提升、人像美颜提升的多种画面增强效果。最后使用智能电视中提供的绘制能力，根据图像纹理数据，绘制显示图像并将显示图像在智能电视的显示屏上进行显示，从而完成将手机上的视频投屏在智能电视上进行播放，同时在投屏过程中能够对手机端的视频显示效果进行优化，当该视频在智能电视上进行播放时的分辨率、文字清晰度、人像美颜的多种画面效果均得到增强，提高用户的观看体验。
示例性装置
如图4中所示，本实施例还提供一种投屏显示控制装置，该装置包括：原始数据帧确定模块10、图像处理模块20、图像绘制模块30。具体地，所述原始数据帧确定模块10，用于用于获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧。所述图像处理模块20，用于用于对所述原始数据帧进行图像优化处理，得到图像纹理数据。所述图像绘制模块30，用于根据所述图像纹理数据，绘制显示图像，并显示所述显示图像。
在一种实现方式中，所述原始数据帧确定模块10包括：
音视频数据获取单元，获取所述音视频数据，并将所述音视频数据放入解码队列；
原始数据帧获取单元，用于对所述解码队列中的所述音视频数据进行数据解码处理，得到所述原始数据帧；
在一种实现方式中，所述图像处理模块20包括：
调整图像帧数据获取单元，对所述原始数据帧进行清晰度调整处理的，得到调整图像帧数据；
人脸识别结果确定单元，用于对所述原始数据帧进行人脸识别处理，得到人脸识别结果；
图像纹理数据获取单元，用于根据所述人脸识别结果，对所述调整图像帧数据进行重绘制，得到所述图像纹理数据。
在一种实现方式中，所述调整图像帧数据获取单元包括：
矫正图像获取子单元，用于采用预设的OpenCV算法对所述原始数据帧进行清晰度矫正，得到矫正图像；
调整图像帧数据获取子单元，用于将所述矫正图像输入至预设的对抗神经网络模型中进行像素补充处理，得到所述调整图像帧数据。
在一种实现方式中，所述图像纹理数据获取单元包括：
人脸轮廓数据获取单元，用于将所述原始数据帧输入至预设的人脸检测模型，得到人脸轮廓数据,所述人脸轮廓数据用于反映人脸轮廓中关键点的像素位置；
人脸识别结果确定子单元，用于根据所述人脸轮廓数据，得到所述人脸识别结果；
图像纹理数据获取子单元，用于根据所述人脸识别结果，使用预设的OpenGL渲染接口及矫正算法，对所述调整图像帧数据进行重绘制，得到所述图像纹理数据。
在一种实现方式中，所述图像绘制模块30包括：
显示图像获取单元，用于根据所述图像纹理数据，绘制显示图像，并对所述显示图像进行显示。
基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图5所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种投屏显示控制方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的投屏显示控制程序，处理器执行投屏显示控制程序时，实现如下操作指令：
获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧；
对所述原始数据帧进行图像优化处理，得到图像纹理数据；
根据所述图像纹理数据，绘制显示图像，并显示所述显示图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，本发明提供了一种投屏显示控制方法、装置、终端设备及存储介质，所述方法包括：本发明首先获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧，该原始数据帧为获取到的音视频数据经过音视频解码后的数据，通过解码便于将数据输入模型中进行处理。然后对所述原始数据帧进行图像优化处理，得到图像纹理数据，由于图像纹理数据为原始数据帧进行图像优化处理后得到的数据，因此其分辨率、画质、文字清晰度、人像美颜均得到提升。最后对根据图像纹理数据所绘制得显示图像进行显示，从而完成对音视频数据的投屏显示。由此可见，本发明在将音视频从一个终端发送至另一个终端的时候，对该音视频进行图像处理，从而提高该音视频在另一个终端上的显示效果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种投屏显示控制方法，其特征在于，所述方法包括：
获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧；
对所述原始数据帧进行图像优化处理，得到图像纹理数据；
根据所述图像纹理数据，绘制显示图像，并显示所述显示图像。
2.根据权利要求1所述的投屏显示控制方法，其特征在于，所述获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧，包括：
获取所述音视频数据，并将所述音视频数据放入解码队列；
对所述解码队列中的所述音视频数据进行数据解码处理，得到所述原始数据帧。
3.根据权利要求2所述的投屏显示控制方法，其特征在于，所述对所述解码队列中的所述音视频数据进行数据解码处理，得到所述原始数据帧，包括：
对所述解码队列中的所述音视频数据进行解复用处理，识别所述音视频数据的格式；
根据所述音视频数据的格式，对所述音视频数据进行解码处理，得到原始数据帧，所述原始数据帧包括YUV或者GRB格式的视频帧数据以及PCM格式的音频帧数据。
4.根据权利要求1所述的投屏显示控制方法，其特征在于，所述对所述原始数据帧进行图像优化处理，得到图像纹理数据，包括：
对所述原始数据帧进行清晰度调整处理，得到调整图像帧数据；
对所述原始数据帧进行人脸识别处理，得到人脸识别结果；
根据所述人脸识别结果，对所述调整图像帧数据进行重绘制，得到所述图像纹理数据。
5.根据权利要求4所述的投屏显示控制方法，其特征在于，所述对所述原始数据帧进行清晰度调整处理，得到调整图像帧数据，包括：
采用预设的OpenCV算法对所述原始数据帧进行清晰度矫正，得到矫正图像；
将所述矫正图像输入至预设的对抗神经网络模型中进行像素补充处理，得到所述调整图像帧数据。
6.根据权利要求4所述的投屏显示控制方法，其特征在于，所述对所述原始数据帧进行人脸识别处理，得到人脸识别结果，包括：
将所述原始数据帧输入至预设的人脸检测模型，得到人脸轮廓数据,所述人脸轮廓数据用于反映人脸轮廓中关键点的像素位置；
根据所述人脸轮廓数据，得到所述人脸识别结果。
7.根据权利要求6所述的投屏显示控制方法，其特征在于，所述根据所述人脸识别结果，对所述调整图像帧数据进行重绘制，得到所述图像纹理数据，包括：
根据所述人脸识别结果，使用预设的OpenGL渲染接口及矫正算法，对所述调整图像帧数据进行重绘制，得到所述图像纹理数据。
8.一种投屏显示控制装置，其特征在于，所述装置包括：
原始数据帧确定模块，用于获取音视频数据，并根据所述音视频数据，确定与所述音视频数据所对应的原始数据帧；
图像处理模块，用于对所述原始数据帧进行图像优化处理，得到图像纹理数据；
图像绘制模块，用于根据所述图像纹理数据，绘制显示图像，并对所述显示图像进行显示。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的投屏显示控制程序，所述处理器执行所述投屏显示控制程序时，实现如权利要求1-7任一项所述的投屏显示控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有投屏显示控制程序，所述投屏显示控制程序被处理器执行时，实现如权利要求1-7任一项所述的投屏显示控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110630460.2A CN113422967B (zh) | 2021-06-07 | 2021-06-07 | 一种投屏显示控制方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110630460.2A CN113422967B (zh) | 2021-06-07 | 2021-06-07 | 一种投屏显示控制方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113422967A true CN113422967A (zh) | 2021-09-21 |
| CN113422967B CN113422967B (zh) | 2023-01-17 |
Family
ID=77713938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110630460.2A Active CN113422967B (zh) | 2021-06-07 | 2021-06-07 | 一种投屏显示控制方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113422967B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114302202A (zh) * | 2021-12-22 | 2022-04-08 | 深圳创维－Rgb电子有限公司 | 音视频投屏方法、装置、设备、系统及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019219065A1 (zh) * | 2018-05-17 | 2019-11-21 | 杭州海康威视数字技术股份有限公司 | 视频分析的方法和装置 |
| CN110868625A (zh) * | 2019-11-22 | 2020-03-06 | 北京金山云网络技术有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
| CN111031377A (zh) * | 2019-11-29 | 2020-04-17 | 青岛海信移动通信技术股份有限公司 | 移动终端及视频制作方法 |
| CN111199204A (zh) * | 2019-12-30 | 2020-05-26 | 齐力软件科技(广州)有限公司 | 一种基于OpenGL人脸图像处理方法及装置 |
| CN111580765A (zh) * | 2020-04-27 | 2020-08-25 | Oppo广东移动通信有限公司 | 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备 |
| CN112069887A (zh) * | 2020-07-31 | 2020-12-11 | 深圳市优必选科技股份有限公司 | 一种人脸识别方法、装置、终端设备及存储介质 |
-
2021
- 2021-06-07 CN CN202110630460.2A patent/CN113422967B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019219065A1 (zh) * | 2018-05-17 | 2019-11-21 | 杭州海康威视数字技术股份有限公司 | 视频分析的方法和装置 |
| CN110868625A (zh) * | 2019-11-22 | 2020-03-06 | 北京金山云网络技术有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
| CN111031377A (zh) * | 2019-11-29 | 2020-04-17 | 青岛海信移动通信技术股份有限公司 | 移动终端及视频制作方法 |
| CN111199204A (zh) * | 2019-12-30 | 2020-05-26 | 齐力软件科技(广州)有限公司 | 一种基于OpenGL人脸图像处理方法及装置 |
| CN111580765A (zh) * | 2020-04-27 | 2020-08-25 | Oppo广东移动通信有限公司 | 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备 |
| CN112069887A (zh) * | 2020-07-31 | 2020-12-11 | 深圳市优必选科技股份有限公司 | 一种人脸识别方法、装置、终端设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114302202A (zh) * | 2021-12-22 | 2022-04-08 | 深圳创维－Rgb电子有限公司 | 音视频投屏方法、装置、设备、系统及存储介质 |
| CN114302202B (zh) * | 2021-12-22 | 2023-03-14 | 深圳创维－Rgb电子有限公司 | 音视频投屏方法、装置、设备、系统及存储介质 |
| WO2023115618A1 (zh) * | 2021-12-22 | 2023-06-29 | 深圳创维－Rgb电子有限公司 | 音视频投屏方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113422967B (zh) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11373275B2 (en) | Method for generating high-resolution picture, computer device, and storage medium | |
| CN109348276B (zh) | 视频画面调整方法、装置、计算机设备和存储介质 | |
| US20170221181A1 (en) | Picture display method and apparatus | |
| JP2010118040A (ja) | 魚眼補正と透視歪み削減の画像処理方法及び画像処理装置 | |
| US10354124B2 (en) | Electronic apparatus and controlling method for improve the image quality preference of skin area | |
| JP5852299B2 (ja) | フラットパネルディスプレイ装置の欠陥画素の表示を制御する方法及びフラットパネルディスプレイ装置への入力を調整する方法 | |
| US20240179272A1 (en) | Virtual image video call method, terminal device, and storage medium | |
| WO2014030405A1 (ja) | 表示装置、表示方法、テレビジョン受信機及び表示制御装置 | |
| WO2020108010A1 (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| CN110738598A (zh) | 图像适配方法、电子设备及存储介质 | |
| US11756506B2 (en) | Method and device for adjusting image quality, and readable storage medium | |
| CN113422967B (zh) | 一种投屏显示控制方法、装置、终端设备及存储介质 | |
| CN108495041B (zh) | 一种用于电子终端的图像处理和显示方法、装置 | |
| KR102273059B1 (ko) | 얼굴 이미지를 강화하는 방법 및 장치, 전자 기기 | |
| WO2021259249A1 (zh) | 数据显示处理方法、装置、计算机设备和存储介质 | |
| WO2023151214A1 (zh) | 图像生成方法、系统、电子设备、存储介质和产品 | |
| CN116884359A (zh) | 基于画面内容的自适应调光方法、装置、设备及存储介质 | |
| US10354125B2 (en) | Photograph processing method and system | |
| WO2023016191A1 (zh) | 图像显示方法、装置、计算机设备及存储介质 | |
| US11417028B2 (en) | Image processing method and apparatus, and storage medium | |
| CN101944350B (zh) | 在显示器上显示图像的方法、显示装置和终端 | |
| US20220005153A1 (en) | Image processing device and image processing method of same | |
| CN112801932A (zh) | 图像显示方法、装置、电子设备和存储介质 | |
| CN113038240B (zh) | 电视通道显示优化处理方法、装置、终端设备及存储介质 | |
| CN112312177B (zh) | 工作模式切换方法、装置、显示设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |