CN111614906A - 一种图像预处理方法、装置、电子设备及存储介质 - Google Patents

一种图像预处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111614906A
CN111614906A CN202010476471.5A CN202010476471A CN111614906A CN 111614906 A CN111614906 A CN 111614906A CN 202010476471 A CN202010476471 A CN 202010476471A CN 111614906 A CN111614906 A CN 111614906A
Authority
CN
China
Prior art keywords
preview
data frame
texture
current data
drawing surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010476471.5A
Other languages
English (en)
Other versions
CN111614906B (zh
Inventor
彭灿灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010476471.5A priority Critical patent/CN111614906B/zh
Publication of CN111614906A publication Critical patent/CN111614906A/zh
Priority to JP2021044072A priority patent/JP7160495B2/ja
Priority to US17/205,863 priority patent/US11593908B2/en
Priority to EP21163317.7A priority patent/EP3832590A3/en
Application granted granted Critical
Publication of CN111614906B publication Critical patent/CN111614906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像预处理方法、装置、电子设备及存储介质，涉及AR导航技术领域。具体实现方案为：响应于摄像头预览开启指令，通过CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧；通过绘图表面窗口将当前数据帧转换为与其对应的预览纹理；将当前数据帧对应的预览纹理发送至GPU，通过GPU对当前数据帧对应的预览纹理进行处理，并通过CPU将处理后的预览纹理发送至ADAS。本申请实施例不需要CPU额外注册一路对摄像头数据的监听，即可实现图像预处理，可以有效地节省CPU资源，提升预处理速度。

Description

一种图像预处理方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机应用技术领域，进一步涉及AR导航技术，尤其是一种图像预处理方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality，简称AR)也被称之为混合现实。它通过电子技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。AR提供了不同于人类可以感知的一种信息。它不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户可以利用显示器，把真实世界与虚拟图形多重合成在一起。AR是采用对真实场景利用虚拟物体进行“增强”显示的技术，与虚拟现实相比，具有真实感强、建模工作量小的优点。高级驾驶辅助系统(Advanced Driving Assistance System，简称ADAS)是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、单目摄像头或者双目摄像头以及卫星导航)，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。
在AR导航中，对于送往ADAS的数据，通常是先通过CPU对摄像头采集到的数据进行预处理，然后送往ADAS进行相关的图像识别与算法处理。由于CPU同时需要对摄像头采集到的数据进行渲染，因此需要额外注册一路数据对摄像头的监听，即CPU需要获取摄像头采集的每一帧的数据，然后在回调中完成数据的缩放以及色彩转换，而后送往ADAS进行相关的图像识别与算法处理。现有技术的缺点是：CPU需要额外注册一路对摄像头数据的监听，这样就增加了内存的消耗；而且预处理是在CPU进行，占用了一部分CPU资源；由于CPU资源有限，采用现有技术的方案还会导致延迟送往ADAS的时机，进而导致AR渲染画面的滞后，影响用户体验。
发明内容
本申请提供了一种图像预处理方法、装置、设备以及存储介质，不需要CPU额外注册一路对摄像头数据的监听，即可实现图像预处理，可以有效地节省CPU资源，提升预处理速度。
第一方面，本申请提供了一种图像预处理方法，所述方法包括：
响应于摄像头预览开启指令，通过中央处理器CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧；
通过所述绘图表面窗口将所述当前数据帧转换为与其对应的预览纹理；
将所述当前数据帧对应的预览纹理发送至图形处理器GPU，通过所述GPU对所述当前数据帧对应的预览纹理进行处理，并通过所述CPU将处理后的预览纹理发送至高级驾驶辅助系统ADAS。
第二方面，本申请提供了一种图像预处理装置，所述装置包括：获取模块、转换模块和预处理模块；其中，
所述获取模块，用于响应于摄像头预览开启指令，通过中央处理器CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧；
所述转换模块，用于通过所述绘图表面窗口将所述当前数据帧转换为与其对应的预览纹理；
所述预处理模块，用于将所述当前数据帧对应的预览纹理发送至图形处理器GPU，通过所述GPU对所述当前数据帧对应的预览纹理进行处理，并通过所述CPU将处理后的预览纹理发送至ADAS。
第三方面，本申请实施例提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的图像预处理方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的图像预处理方法。
根据本申请的技术解决了现有技术中CPU需要额外注册一路对摄像头数据的监听的技术问题，本申请不需要CPU额外注册一路对摄像头数据的监听，即可实现图像预处理，可以有效地节省CPU资源，提升预处理速度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例一提供的图像预处理方法的流程示意图；
图2是本申请实施例二提供的图像预处理方法的流程示意图；
图3是本申请实施例三提供的图像预处理装置的结构示意图；
图4是用来实现本申请实施例的图像预处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
实施例一
图1是本申请实施例一提供的图像预处理方法的流程示意图，该方法可以由图像预处理装置或者电子设备来执行，该装置或者电子设备可以由软件和/或硬件的方式实现，该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示，图像预处理方法可以包括以下步骤：
S101、响应于摄像头预览开启指令，通过CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧。
在本申请的具体实施例中，响应于摄像头预览开启指令，电子设备可以通过CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧；其中，预先创建的绘图表面窗口可以是一个预设类型的绘图表面窗口，该预设类型的绘图表面窗口可以是SurfaceTexture。具体地，电子设备可以通过调用线程创建函数(setRenderer)创建一个图形库(Graphics Library，简称GL)线程，并通过GL线程调用开启函数(Start)配置该GL线程的开放式图形库的窗口管理环境；在配置开放式图形库的窗口管理环境的GL线程中创建用于相机预览的绘图表面窗口(SurfaceTexture)作为预先创建的绘图表面窗口；然后通过调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧。具体地，本申请中的开放式图形库的窗口管理环境可以是EGL环境，EGL是渲染应用程序编程接口(ApplicationProgramming Interface，简称API)和原生窗口系统之间的接口。通常来说，开放图形库(Open Graphics Library，简称OpenGL)是一个操作图形处理器(Graphics ProcessingUnit，简称GPU)的API，它通过驱动向GPU发送相关指令，控制图形渲染管线状态机的运行状态，但是当涉及到与本地窗口系统进行交互时，就需要这么一个中间层，且它最好是与平台无关的。因此，EGL被设计出来，作为OpenGL和原生窗口系统之间的桥梁。
S102、通过绘图表面窗口将当前数据帧转换为与其对应的预览纹理。
在本申请的具体实施例中，电子设备可以通过绘图表面窗口将当前数据帧转换为与其对应的预览纹理；其中，预先创建的绘图表面窗口可以是一个预设类型的绘图表面窗口，该预设类型的绘图表面窗口可以是SurfaceTexture。通常来说，开放图形库(OpenGraphics Library，简称OpenGL)是一个操作图形处理器(Graphics Processing Unit，简称GPU)的API，它通过驱动向GPU发送相关指令，控制图形渲染管线状态机的运行状态，但是当涉及到与本地窗口系统进行交互时，就需要这么一个中间层，且它最好是与平台无关的。因此，EGL被设计出来，作为OpenGL和原生窗口系统之间的桥梁。在本步骤中，电子设备可以先将预先创建的绘图表面窗口关联至一个预定类型的纹理，该预定类型可以是OES类型；然后通过关联至预定类型的纹理的绘图表面窗口，这样就可以通过调用updateTexImage将当前数据帧转换至与其对应的预览纹理。
S103、将当前数据帧对应的预览纹理发送至GPU，通过GPU对当前数据帧对应的预览纹理进行处理，并通过CPU将处理后的预览纹理发送至ADAS。
在本申请的具体实施例中，电子设备可以将当前数据帧对应的预览纹理发送至GPU，通过GPU对当前数据帧对应的预览纹理进行处理，并通过CPU将处理后的预览纹理发送至ADAS。具体地，电子设备可以通过GPU调用预先设置的着色器，在GPU所占用的存储空间中对当前数据帧对应的预览纹理的色彩进行转换；或者，在GPU所占用的存储空间中对当前数据帧对应的预览纹理的像素格式进行转换；或者，在GPU所占用的存储空间中对当前数据帧对应的预览纹理的尺寸进行缩放。
本申请实施例提出的图像预处理方法，响应于摄像头预览开启指令，先通过CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧；然后通过绘图表面窗口将当前数据帧转换为与其对应的预览纹理；再将当前数据帧对应的预览纹理发送至GPU，通过GPU对当前数据帧对应的预览纹理进行处理，并通过CPU将处理后的预览纹理发送至ADAS。也就是说，本申请可以预先创建一个绘图表面窗口，通过预先创建的绘图表面窗口将当前数据帧转换为与其对应的预览纹理；这样就可以在GPU中对当前数据帧对应的预览纹理进行处理，并将处理后的预览纹理通过CPU发送至ADAS，再由ADAS对处理后的预览纹理进行识别检测。而在现有的图像预处理方法中，通常是先通过CPU对摄像头采集到的数据进行预处理，然后送往ADAS进行相关的图像识别与算法处理，这样CPU需要额外注册一路对摄像头数据的监听。因为本申请采用了在GPU中对当前数据帧对应的预览纹理进行处理，然后将处理后的预览纹理发送至ADAS的技术手段，克服了现有技术中CPU需要额外注册一路对摄像头数据的监听的技术问题，进而达到了不需要CPU额外注册一路对摄像头数据的监听，即可实现图像预处理，可以有效地节省CPU资源，提升预处理速度的技术效果；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例二
图2是本申请实施例二提供的图像预处理方法的流程示意图。如图2所示，图像预处理方法可以包括以下步骤：
S201、响应于摄像头预览开启指令，通过CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧。
在本申请的具体实施例中，响应于摄像头预览开启指令，电子设备可以通过CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧；其中，预先创建的绘图表面窗口可以是一个预设类型的绘图表面窗口，该预设类型的绘图表面窗口可以是SurfaceTexture。具体地，电子设备可以通过调用线程创建函数(setRenderer)创建一个图形库(Graphics Library，简称GL)线程，并通过GL线程调用开启函数(Start)配置该GL线程的开放式图形库的窗口管理环境；在配置开放式图形库的窗口管理环境的GL线程中创建用于相机预览的绘图表面窗口(SurfaceTexture)作为预先创建的绘图表面窗口；然后通过调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧。具体地，本申请中的开放式图形库的窗口管理环境可以是EGL环境，EGL是渲染应用程序编程接口(ApplicationProgramming Interface，简称API)和原生窗口系统之间的接口。
S202、通过绘图表面窗口将当前数据帧转换为与其对应的预览纹理。
在本申请的具体实施例中，电子设备可以通过预先创建的绘图表面窗口将当前数据帧转换至与其对应的预览纹理；其中，预先创建的绘图表面窗口可以是一个预设类型的绘图表面窗口，该预设类型的绘图表面窗口可以是SurfaceTexture。通常来说，开放图形库(Open Graphics Library，简称OpenGL)是一个操作图形处理器(Graphics ProcessingUnit，简称GPU)的API，它通过驱动向GPU发送相关指令，控制图形渲染管线状态机的运行状态，但是当涉及到与本地窗口系统进行交互时，就需要这么一个中间层，且它最好是与平台无关的。因此，EGL被设计出来，作为OpenGL和原生窗口系统之间的桥梁。在本步骤中，电子设备可以先将预先创建的绘图表面窗口关联至一个预定类型的纹理，该预定类型可以是OES类型；然后通过关联至预定类型的纹理的绘图表面窗口，这样就可以通过调用updateTexImage将当前数据帧转换至与其对应的预览纹理。
OpenGL是一种图形应用程序编程接口，它是一种可以对图形硬件设备特性进行访问的软件库，OpenGL被设计为一个现代化的、硬件无关的接口，因此可以在不考虑计算机操作系统或窗口系统的前提下，在多种不同的图形硬件系统上，完全通过软件的方式实现OpenGL的接口。OpenGL自身并不包含任何执行窗口任务或者处理用户输入的函数，也没有提供任何用于表达三维物理模型，或者读取图像文件(例如PNG、JPEG文件)的操作，一个用来渲染图像的OpenGL程序需要执行的主要操作如下：1)从OpenGL的几何图元中设置数据，用于构建形状；2)使用不同的着色器(shader)对输入的图元数据执行计算操作，判断它们的位置、颜色以及其他渲染属性；3)将图元数据的数学描述转换为与屏幕位置对应的像素片元(fragment)，这一步也称为光栅化(rasterization)。OpenGL的片元如果最终渲染为图像，那它就是像素；4)针对光栅化过程产生的片元，执行片元着色器(fragment shader)，从而决定这个片元的最终的颜色和位置。
EGL是OpenGL ES渲染API和本地窗口系统(Native Platform Window System)之间的一个中间接口层，它主要由系统制造商实现。EGL提供如下机制：与设备的原生窗口系统通信、查询绘图表面的可用类型和配置、创建绘图表面、在OpenGL ES和其他图形渲染API之间同步渲染、管理纹理贴图等渲染资源；为了让OpenGL ES能够绘制在当前设备上，需要EGL作为OpenGL ES与设备的桥梁。它的运行机制如下：与系统的本地窗口进行通信；查询绘制Surface的有效类型与配置；创建绘制的Surface；创建Context来管理渲染资源，如OpenGL ES的Shader数组数据；将OpenGL ES渲染的数据输出到绘图表面窗口(Surface)中，并最终将Surface中的内容输出到本地窗口。使用EGL需按如下步聚操作：1)获取EGL的展示对象：EGL提供了一个类型EGLDisplay，它封装了所有操作本地窗口的API。因此，使用EGL时，第一步操作就是创建并初始化与EGLDisplay的连接；2)EGL成功与EGL Display连接后，需要初始化EGL，调用EGL初始化函数(eglInitialize)完成初始化EGL；3)EGL初始化完成后，就可以获取渲染Surface的类型和配置了。EGL的配置(EGLConfig)可以包括所有关于Surface的配置信息。这些信息可以包括可用颜色数、与配置相关的额外缓冲区(如深度和模板缓冲)、Surface的类型和众多的其他特点；4)创建EGL上下文(EGLContext)实例：EGLContext结构内部包含OpenGL ES 2所有的状态及所需的操作。例如，它包含引用到顶点和片段着色器的数组数据。在OpenGL ES 2可以绘制之前，需要先创建好EGLContext。5)创建EGL绘图表面窗口(EGLSurface)实例：创建完EGLConfig后，可根据EGLConfig创建EGLSurface。EGLSurface是一块内存空间，用户想绘制的信息首先都要先绘制到EGLSurface上。6)连接EGLContext和EGLSurface：通过上面的步骤，已经有了EGLContext和EGLSurface对象，下面需要将二者关联在一起，这样EGL就可以控制OpenGL ES从EGLContext读取Shader数据，并向EGLSurface中绘制内容了。
S203、将当前数据帧对应的预览纹理发送至GPU，通过GPU对当前数据帧对应的预览纹理进行处理，并通过CPU将处理后的预览纹理发送至ADAS。
在本申请的具体实施例中，将当前数据帧对应的预览纹理发送至GPU，通过GPU对当前数据帧对应的预览纹理进行处理，并通过CPU将处理后的预览纹理发送至ADAS。具体地，电子设备可以通过GPU调用预先设置的着色器，在GPU所占用的存储空间中对当前数据帧对应的预览纹理的色彩进行转换；或者，在GPU所占用的存储空间中对当前数据帧对应的预览纹理的像素格式进行转换；或者，在GPU所占用的存储空间中对当前数据帧对应的预览纹理的尺寸进行缩放。进一步的，电子设备还可以通过预先设置的图形缓冲区将处理后的预览纹理从GPU拷贝至CPU中，并通过CPU将处理后的预览纹理发送至ADAS。例如，电子设备可以通过HardwareBuffer来进行数据从GPU到CPU的高效拷贝。
下面针对颜色转换的过程进行具体说明：AR技术能够将虚拟信息应用到真实世界中，并将真实世界的环境和虚拟物体实时地叠加在同一画面或空间，能够极大的提高用户的趣味性和可玩性。在一些应用场景中，比如在视频直播领域，可以将主播的直播界面利用AR技术进行展示，以丰富主播和观众之间的互动。本申请提出的颜色转换的方法可以包括以下步骤：获得当前视频帧对应的纹理对象以及颜色转换矩阵；利用设定的着色器对纹理对象及颜色转换矩阵进行处理，生成当前数据帧对应的RGB数据，以通过RGB数据进行渲染。
下面针对像素格式转换的过程进行具体说明：在进行H.264(数字视频压缩格式)编码时，需要将RGB格式的像素转换为YUV格式的像素。首先对RGB和YUV分别做出解释：RGB色彩模式(Red、Green、Blue，红、绿、蓝三色色彩模式)是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到不同的颜色，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。YUV(颜色编码方法)格式分为三个分量，“Y”表示明亮度(Luminance或Luma)，也就是灰度值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。YUV格式主要用于电视系统以及模拟视频领域，它将亮度信息(Y)与色彩信息(UV)分离，没有UV信息一样可以显示完整的图像，只不过是黑白的，这样的设计很好地解决了彩色电视机与黑白电视的兼容问题。并且，YUV不像RGB那样要求三个独立的视频信号同时传输，所以用YUV格式传输数据占用的频宽极少。YUV码流的存储格式与其采样的方式密切相关，主流的采样方式有三种，YUV4:4:4，YUV4:2:2，YUV4:2:0。YUV格式有两大类：planar平面格式和packed打包格式。对于planar的YUV格式，先连续存储所有像素点的Y，紧接着存储所有像素点的U，随后是所有像素点的V。对于packed的YUV格式，每个像素点的Y，U，V是连续交错存储的。将RGB格式的像素转换为YUV格式的像素进行H.264编码时，需要利用相关算法在计算机的CPU上执行。由于CPU是计算机的工作核心，因此CPU进行像素格式转换的同时，必然会进行其他工作；也就是说像素格式转换的数据传输带宽难以在CPU上达到最大，进而延长了像素格式转换的计算过程，降低了像素格式转换的转换效率。本申请可以在GPU上将图像的像素格式由ARGB转换为NV12，本发明能够缩短像素格式转换的计算过程，提高转换效率。本申请提出的像素格式转换的方法可以包括以下步骤：在图形编程接口的二维纹理接口中创建1个8位像素格式的Y平面储存纹理和1个16位像素格式的UV平面储存纹理；将需要转换的ARGB储存纹理输入至GPU，GPU通过HLSL语言，将ARGB储存纹理中图像的像素格式由ARGB转换为NV12后，将NV12像素格式的图像的Y平面赋值至Y平面储存纹理，将NV12像素格式的图像的UV平面赋值至UV平面储存纹理。
下面针对尺寸缩放的过程进行具体说明：一般情况下，手机或电脑客户端程序中，窗口组件的展示区域为直角矩形区域，计算机程序可通过定义矩形区域的顶点或长宽即可确定直角矩形的展示区域，但在一些应用场景中，为了适配操作系统或应用页面的主题风格，视频展示区域需要被设计为圆角矩形的外观，现有技术中的常见做法就是使用CPU对视频帧进行边角的裁减。对于圆角区域，需要先在圆角区域生成多个三角形，通过生成的多个三角形的底边来逼近圆角，三角形的数量若较少，则视觉观感上就会出现锯齿状的边缘纹路，而三角形的数量越多，则圆角越平滑，视觉观感上则越不会出现锯齿状的纹路。为此，为了防止圆角矩形的圆角区域不会出现锯齿状的纹路，从而达到较好的视觉效果，传统技术中通常需要使用CPU资源生成较多的三角形，这样就非常消耗CPU的使用率。为了实现圆角矩阵的图像展示区域，或者实现任意形状的图像展示区域，并保证较低的处理器和内存的使用率，提高计算机资源的利用率。本申请提出的尺寸缩放的方法可以包括以下步骤：获取图像待展示区域的纹理区域和顶点坐标；调用图形程序接口，将顶点坐标输入至GPU的顶点着色器中；获取与顶点着色器对应的像素着色器；采样目标图像中位置属于纹理区域的像素点的像素值，通过像素着色器将像素值渲染到纹理区域中相应的位置。
S204、通过预先创建的与目标屏幕关联的组件，将当前数据帧对应的预览纹理绘制至目标屏幕上。
在本申请的具体实施例中，电子设备可以通过预先创建的与目标屏幕关联的组件，将当前数据帧对应的预览纹理绘制至目标屏幕上；其中，与目标屏幕关联的组件可以是SurfaceView。具体地，电子设备可以将与目标屏幕关联的组件中的绘图表面窗口设置为预先创建的绘图表面窗口；然后通过将其绘图表面窗口设置为预先创建的绘图表面窗口的组件，将当前数据帧对应的预览纹理绘制至目标屏幕上。进一步的，电子设备可以针对目标屏幕创建一个与目标屏幕的SurfaceView关联的EGLSurface；然后通过与目标屏幕的SurfaceView关联的EGLSurface，将当前数据帧对应的预览纹理绘制至目标屏幕上。具体地，电子设备可以先将与目标屏幕的SurfaceView关联的EGLSurface的Surface设置为预先创建的SurfaceTexture；然后通过将其Surface设置为预先创建的SurfaceTexture的EGLSurface，将当前数据帧对应的预览纹理绘制至目标屏幕上。例如，针对目标屏幕，电子设备可以先创建与目标屏幕的SurfaceView关联的EGLSurface，并将目标屏幕的SurfaceView关联的EGLSurface的Surface设置为预先创建的SurfaceTexture；然后通过GL线程中的SurfaceTexture获取到当前数据帧；再通过调用updateTexImage获取到当前数据帧对应的预览纹理，并通过OpenGL将当前数据帧对应的预览纹理绘制至屏幕1上。具体地，SurfaceView可以提供一个Surface，嵌入到视图结构层次中。编程者可以控制这个Surface的格式。SurfaceView负责在屏幕上正确的摆放Surface，SurfaceView拥有自己的Surface，它与宿主窗口是分离的。SurfaceTexture和SurfaceView不同的是，它对图像流的处理并不直接显示，而是转为GL外部纹理，因此可用于图像流数据的二次处理(如相机滤镜，桌面特效等)。具体地，SurfaceTexture可以从图像流(来自Camera预览，视频解码，GL绘制场景等)中获得帧数据，当调用updateTexImage时，根据内容流中最近的图像更新SurfaceTexture对应的GL纹理对象，接下来，就可以像操作普通GL纹理一样操作它了。
需要说明的是，在本申请的具体实施例中，步骤204可以在步骤203执行完成之后再执行，也可以与步骤203同时执行，即本申请并不限定渲染操作和预处理操作的执行顺序。
较佳地，在申请提供的图像预处理方法，可以应用在AR导航场景中，AR是采用对真实场景利用虚拟物体进行“增强”显示的技术，与虚拟现实相比，具有真实感强、建模工作量小的优点。采用本申请提供的技术方案，只需要在相机的硬件抽象层增加接口，就可以实现无缝替换掉现有技术中接收摄像头数据的绘图表面窗口，完成摄像头数据快速预处理。
本申请实施例提出的图像预处理方法，响应于摄像头预览开启指令，先通过CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧；然后通过绘图表面窗口将当前数据帧转换为与其对应的预览纹理；再将当前数据帧对应的预览纹理发送至GPU，通过GPU对当前数据帧对应的预览纹理进行处理，并通过CPU将处理后的预览纹理发送至ADAS。也就是说，本申请可以预先创建一个绘图表面窗口，通过预先创建的绘图表面窗口将当前数据帧转换为与其对应的预览纹理；这样就可以在GPU中对当前数据帧对应的预览纹理进行处理，并将处理后的预览纹理通过CPU发送至ADAS，再由ADAS对处理后的预览纹理进行识别检测。而在现有的图像预处理方法中，通常是先通过CPU对摄像头采集到的数据进行预处理，然后送往ADAS进行相关的图像识别与算法处理，这样CPU需要额外注册一路对摄像头数据的监听。因为本申请采用了在GPU中对当前数据帧对应的预览纹理进行处理，然后将处理后的预览纹理发送至ADAS的技术手段，克服了现有技术中CPU需要额外注册一路对摄像头数据的监听的技术问题，进而达到了不需要CPU额外注册一路对摄像头数据的监听，即可实现图像预处理，可以有效地节省CPU资源，提升预处理速度的技术效果；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例三
图3是本申请实施例三提供的图像预处理装置的结构示意图。如图3所示，所述装置300包括：获取模块301、转换模块302和预处理模块303；其中，
所述获取模块301，用于响应于摄像头预览开启指令，通过中央处理器CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧；
所述转换模块302，用于通过所述绘图表面窗口将所述当前数据帧转换为与其对应的预览纹理；
所述预处理模块303，用于将所述当前数据帧对应的预览纹理发送至图形处理器GPU，通过所述GPU对所述当前数据帧对应的预览纹理进行处理，并通过所述CPU将处理后的预览纹理发送至高级驾驶辅助系统ADAS。
进一步的，所述转换模块302，具体用于将所述预先创建的绘图表面窗口关联至一个预定类型的纹理；通过关联至所述预定类型的纹理的绘图表面窗口，将所述当前数据帧转换至与其对应的预览纹理。
进一步的，所述预处理模块303，具体用于通过所述GPU调用预先设置的着色器，在所述GPU所占用的存储空间中对所述当前数据帧对应的预览纹理的色彩进行转换；或者，在所述GPU所占用的存储空间中对所述当前数据帧对应的预览纹理的像素格式进行转换；或者，在所述GPU所占用的存储空间中对所述当前数据帧对应的预览纹理的尺寸进行缩放。
进一步的，所述预处理模块303，具体用于通过预先设置的图形缓冲区将所述处理后的预览纹理从所述GPU拷贝至所述CPU中，并通过所述CPU将所述处理后的预览纹理发送至所述ADAS。
进一步的，所述装置还包括：绘制模块304(图中未示出)，用于通过预先创建的与目标屏幕关联的组件，将所述当前数据帧对应的预览纹理绘制至所述目标屏幕上。
进一步的，所述绘制模块304，具体用于将与所述目标屏幕关联的组件中的绘图表面窗口设置为所述预先创建的绘图表面窗口；
通过将其绘图表面窗口设置为所述预先创建的绘图表面窗口的组件，将所述当前数据帧对应的预览纹理绘制至所述目标屏幕上。
进一步的，所述获取模块301，还用于通过调用线程创建函数创建一个图形库线程，并通过所述图形库线程调用开启函数配置所述图形库线程的开放式图形库的窗口管理环境；在配置所述开放式图形库的窗口管理环境的图形库线程中创建用于相机预览的绘图表面窗口作为所述预先创建的绘图表面窗口。
上述图像预处理装置可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任意实施例提供的图像预处理方法。
实施例四
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图4所示，是根据本申请实施例的图像预处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器401为例。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像预处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像预处理的方法。
存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像预处理的方法对应的程序指令/模块(例如，附图3所示的获取模块301、转换模块302和预处理模块303)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像预处理方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像预处理方法的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至图像预处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像预处理方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。
输入装置403可接收输入的数字或字符信息，以及产生与图像预处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，响应于摄像头预览开启指令，先通过CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧；然后通过绘图表面窗口将当前数据帧转换为与其对应的预览纹理；再将当前数据帧对应的预览纹理发送至GPU，通过GPU对当前数据帧对应的预览纹理进行处理，并通过CPU将处理后的预览纹理发送至ADAS。也就是说，本申请可以预先创建一个绘图表面窗口，通过预先创建的绘图表面窗口将当前数据帧转换为与其对应的预览纹理；这样就可以在GPU中对当前数据帧对应的预览纹理进行处理，并将处理后的预览纹理通过CPU发送至ADAS，再由ADAS对处理后的预览纹理进行识别检测。而在现有的图像预处理方法中，通常是先通过CPU对摄像头采集到的数据进行预处理，然后送往ADAS进行相关的图像识别与算法处理，这样CPU需要额外注册一路对摄像头数据的监听。因为本申请采用了在GPU中对当前数据帧对应的预览纹理进行处理，然后将处理后的预览纹理发送至ADAS的技术手段，克服了现有技术中CPU需要额外注册一路对摄像头数据的监听的技术问题，进而达到了不需要CPU额外注册一路对摄像头数据的监听，即可实现图像预处理，可以有效地节省CPU资源，提升预处理速度的技术效果；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种图像预处理方法，其特征在于，所述方法包括：
响应于摄像头预览开启指令，通过中央处理器CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧；
通过所述绘图表面窗口将所述当前数据帧转换为与其对应的预览纹理；
将所述当前数据帧对应的预览纹理发送至图形处理器GPU，通过所述GPU对所述当前数据帧对应的预览纹理进行处理，并通过所述CPU将处理后的预览纹理发送至高级驾驶辅助系统ADAS。
2.根据权利要求1所述的方法，其特征在于，所述通过所述绘图表面窗口将所述当前数据帧转换为与其对应的预览纹理，包括：
将所述预先创建的绘图表面窗口关联至一个预定类型的纹理；
通过关联至所述预定类型的纹理的绘图表面窗口，将所述当前数据帧转换至与其对应的预览纹理。
3.根据权利要求1所述的方法，其特征在于，所述通过所述GPU对所述当前数据帧对应的预览纹理进行处理，包括：
通过所述GPU调用预先设置的着色器，在所述GPU所占用的存储空间中对所述当前数据帧对应的预览纹理的色彩进行转换；或者，在所述GPU所占用的存储空间中对所述当前数据帧对应的预览纹理的像素格式进行转换；或者，在所述GPU所占用的存储空间中对所述当前数据帧对应的预览纹理的尺寸进行缩放。
4.根据权利要求1所述的方法，其特征在于，所述通过所述CPU将处理后的预览纹理发送至ADAS，包括：
通过预先设置的图形缓冲区将所述处理后的预览纹理从所述GPU拷贝至所述CPU中，并通过所述CPU将所述处理后的预览纹理发送至所述ADAS。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过预先创建的与目标屏幕关联的组件，将所述当前数据帧对应的预览纹理绘制至所述目标屏幕上。
6.根据权利要求5所述的方法，其特征在于，所述通过预先创建的与目标屏幕关联的组件，将所述当前数据帧对应的预览纹理绘制至所述目标屏幕上，包括：
将与所述目标屏幕关联的组件中的绘图表面窗口设置为所述预先创建的绘图表面窗口；
通过将其绘图表面窗口设置为所述预先创建的绘图表面窗口的组件，将所述当前数据帧对应的预览纹理绘制至所述目标屏幕上。
7.根据权利要求1所述的方法，其特征在于，在所述通过CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧之前，所述方法还包括：
通过调用线程创建函数创建一个图形库线程，并通过所述图形库线程调用开启函数配置所述图形库线程的开放式图形库的窗口管理环境；
在配置所述开放式图形库的窗口管理环境的图形库线程中创建用于相机预览的绘图表面窗口作为所述预先创建的绘图表面窗口。
8.一种图像预处理装置，其特征在于，所述装置包括：获取模块、转换模块和预处理模块；其中，
所述获取模块，用于响应于摄像头预览开启指令，通过中央处理器CPU调用预先创建的绘图表面窗口获取摄像头采集到的当前数据帧；
所述转换模块，用于通过所述绘图表面窗口将所述当前数据帧转换为与其对应的预览纹理；
所述预处理模块，用于将所述当前数据帧对应的预览纹理发送至图形处理器GPU，通过所述GPU对所述当前数据帧对应的预览纹理进行处理，并通过所述CPU将处理后的预览纹理发送至高级驾驶辅助系统ADAS。
9.根据权利要求8所述的装置，其特征在于：
所述转换模块，具体用于将所述预先创建的绘图表面窗口关联至一个预定类型的纹理；通过关联至所述预定类型的纹理的绘图表面窗口，将所述当前数据帧转换至与其对应的预览纹理。
10.根据权利要求8所述的装置，其特征在于：
所述预处理模块，具体用于通过所述GPU调用预先设置的着色器，在所述GPU所占用的存储空间中对所述当前数据帧对应的预览纹理的色彩进行转换；或者，在所述GPU所占用的存储空间中对所述当前数据帧对应的预览纹理的像素格式进行转换；或者，在所述GPU所占用的存储空间中对所述当前数据帧对应的预览纹理的尺寸进行缩放。
11.根据权利要求8所述的装置，其特征在于：
所述预处理模块，具体用于通过预先设置的图形缓冲区将所述处理后的预览纹理从所述GPU拷贝至所述CPU中，并通过所述CPU将所述处理后的预览纹理发送至所述ADAS。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括：
绘制模块，用于通过预先创建的与目标屏幕关联的组件，将所述当前数据帧对应的预览纹理绘制至所述目标屏幕上。
13.根据权利要求12所述的装置，其特征在于：
所述绘制模块，具体用于将与所述目标屏幕关联的组件中的绘图表面窗口设置为所述预先创建的绘图表面窗口；
通过将其绘图表面窗口设置为所述预先创建的绘图表面窗口的组件，将所述当前数据帧对应的预览纹理绘制至所述目标屏幕上。
14.根据权利要求8所述的装置，其特征在于：
所述获取模块，还用于通过调用线程创建函数创建一个图形库线程，并通过所述图形库线程调用开启函数配置所述图形库线程的开放式图形库的窗口管理环境；在配置所述开放式图形库的窗口管理环境的图形库线程中创建用于相机预览的绘图表面窗口作为所述预先创建的绘图表面窗口。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
CN202010476471.5A 2020-05-29 2020-05-29 一种图像预处理方法、装置、电子设备及存储介质 Active CN111614906B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010476471.5A CN111614906B (zh) 2020-05-29 2020-05-29 一种图像预处理方法、装置、电子设备及存储介质
JP2021044072A JP7160495B2 (ja) 2020-05-29 2021-03-17 画像前処理方法、装置、電子機器及び記憶媒体
US17/205,863 US11593908B2 (en) 2020-05-29 2021-03-18 Method for preprocessing image in augmented reality and related electronic device
EP21163317.7A EP3832590A3 (en) 2020-05-29 2021-03-18 Method and apparatus for preprocessing image, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010476471.5A CN111614906B (zh) 2020-05-29 2020-05-29 一种图像预处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111614906A true CN111614906A (zh) 2020-09-01
CN111614906B CN111614906B (zh) 2022-02-22

Family

ID=72198930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010476471.5A Active CN111614906B (zh) 2020-05-29 2020-05-29 一种图像预处理方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US11593908B2 (zh)
EP (1) EP3832590A3 (zh)
JP (1) JP7160495B2 (zh)
CN (1) CN111614906B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240577A (zh) * 2021-05-13 2021-08-10 北京达佳互联信息技术有限公司 一种图像生成方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116938901A (zh) * 2022-04-01 2023-10-24 中国移动通信有限公司研究院 数据传输方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534880A (zh) * 2016-11-28 2017-03-22 深圳Tcl数字技术有限公司 视频合成方法及装置
US20170295361A1 (en) * 2016-04-12 2017-10-12 Apple Inc. Method and system for 360 degree head-mounted display monitoring between software program modules using video or image texture sharing
CN107277616A (zh) * 2017-07-21 2017-10-20 广州爱拍网络科技有限公司 视频特效渲染方法、装置及终端
CN108427499A (zh) * 2018-02-13 2018-08-21 视辰信息科技(上海)有限公司 一种ar系统及ar设备
CN111079669A (zh) * 2019-12-20 2020-04-28 京东方科技集团股份有限公司 一种图像处理方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6507169B2 (ja) * 2014-01-06 2019-04-24 ジョンソン コントロールズ テクノロジー カンパニーＪｏｈｎｓｏｎ Ｃｏｎｔｒｏｌｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｍｐａｎｙ 複数のユーザインターフェース動作ドメインを有する車両
US20160292812A1 (en) * 2015-03-31 2016-10-06 Qualcomm Incorporated Hybrid 2d/3d graphics rendering
US20180033114A1 (en) * 2016-07-26 2018-02-01 Mediatek Inc. Graphics Pipeline That Supports Multiple Concurrent Processes
WO2018143502A1 (ko) * 2017-02-06 2018-08-09 (주)볼트마이크로 데이터 포맷 변환 방법
US20210192287A1 (en) * 2019-12-18 2021-06-24 Nvidia Corporation Master transform architecture for deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170295361A1 (en) * 2016-04-12 2017-10-12 Apple Inc. Method and system for 360 degree head-mounted display monitoring between software program modules using video or image texture sharing
CN106534880A (zh) * 2016-11-28 2017-03-22 深圳Tcl数字技术有限公司 视频合成方法及装置
CN107277616A (zh) * 2017-07-21 2017-10-20 广州爱拍网络科技有限公司 视频特效渲染方法、装置及终端
CN108427499A (zh) * 2018-02-13 2018-08-21 视辰信息科技(上海)有限公司 一种ar系统及ar设备
CN111079669A (zh) * 2019-12-20 2020-04-28 京东方科技集团股份有限公司 一种图像处理方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240577A (zh) * 2021-05-13 2021-08-10 北京达佳互联信息技术有限公司 一种图像生成方法、装置、电子设备及存储介质
CN113240577B (zh) * 2021-05-13 2024-03-15 北京达佳互联信息技术有限公司 一种图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP7160495B2 (ja) 2022-10-25
JP2021190098A (ja) 2021-12-13
EP3832590A3 (en) 2021-10-20
US20210209721A1 (en) 2021-07-08
EP3832590A2 (en) 2021-06-09
CN111614906B (zh) 2022-02-22
US11593908B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
US10614549B2 (en) Varying effective resolution by screen location by changing active color sample count within multiple render targets
CN111033570B (zh) 使用两个渲染计算装置从计算机图形渲染图像
US10062181B1 (en) Method and apparatus for rasterizing and encoding vector graphics
US10776997B2 (en) Rendering an image from computer graphics using two rendering computing devices
CN110989878B (zh) 小程序中的动画展示方法、装置、电子设备及存储介质
KR102499397B1 (ko) 그래픽스 파이프라인을 수행하는 방법 및 장치
KR20230007358A (ko) 증강 현실을 위한 멀티레이어 재투영 기법들
CN111614906B (zh) 一种图像预处理方法、装置、电子设备及存储介质
CN111679738B (zh) 一种屏幕切换方法、装置、电子设备及存储介质
KR20220163366A (ko) 분할 렌더링에서의 폐색 핸들링을 위한 방법 및 장치
US10237563B2 (en) System and method for controlling video encoding using content information
US11302054B2 (en) Varying effective resolution by screen location by changing active color sample count within multiple render targets
WO2023051590A1 (zh) 一种渲染格式选择方法及其相关设备
KR20220164484A (ko) 섀도우 정보를 이용한 렌더링
WO2022135050A1 (zh) 渲染方法、设备以及系统
CN117611723A (zh) 显示信息的处理方法及设备
KR20230053597A (ko) 이미지-공간 함수 전송
CN116095250A (zh) 用于视频裁剪的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211020

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Zhilian (Beijing) Technology Co.,Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant