CN117336612A - 视频图像处理电路、方法和电子设备 - Google Patents
视频图像处理电路、方法和电子设备 Download PDFInfo
- Publication number
- CN117336612A CN117336612A CN202311272580.5A CN202311272580A CN117336612A CN 117336612 A CN117336612 A CN 117336612A CN 202311272580 A CN202311272580 A CN 202311272580A CN 117336612 A CN117336612 A CN 117336612A
- Authority
- CN
- China
- Prior art keywords
- image data
- video
- video image
- processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 468
- 238000000034 method Methods 0.000 title claims description 41
- 230000015654 memory Effects 0.000 claims abstract description 54
- 238000003672 processing method Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 230000000694 effects Effects 0.000 claims description 60
- 238000004891 communication Methods 0.000 claims description 15
- 238000011282 treatment Methods 0.000 claims description 14
- 238000005491 wire drawing Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 11
- 230000001151 other effect Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/32—Transforming X-rays
- H04N5/321—Transforming X-rays with video transmission of fluoroscopic images
- H04N5/325—Image enhancement, e.g. by subtraction techniques using polyenergetic X-rays
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种视频图像处理电路、方法和电子设备,属于图像处理技术领域。电路包括:图像信号处理器,用于获取第一视频图像数据;防抖算法模块,用于对第一视频图像数据进行电子防抖处理,生成待存储的第二视频图像数据和待处理的第三视频图像数据;显示处理单元,用于将第三视频图像数据输出至图像处理芯片,并获取图像处理芯片输出的增强图像数据,增强图像数据是对所述第三视频图像数据进行图像增强处理后得到的;显示处理单元,还用于将增强图像数据传输至显示屏;视频编码器,用于获取图像处理芯片输出的增强图像数据和第二视频图像数据,并将增强图像数据和第二视频图像数据分别传输至存储器进行存储。
Description
技术领域
本申请属于图像处理技术领域,具体涉及一种视频图像处理电路、方法和电子设备。
背景技术
目前,随着相机技术的发展,用户在日常生活中使用电子设备进行视频录制的需求越来越多。现有相机中的视频录制功能由于在录制过程中的整体功耗过高,导致录制过程中无法叠加复杂的效果类算法处理,因此用户在录像完视频后,需要使用后期视频制作工具来对已录制视频进行后期处理,操作复杂且需要耗费大量时间。
发明内容
本申请实施例的目的是提供一种视频图像处理电路、方法和电子设备,能够解决现有技术中后期视频制作操作复杂且耗时的问题。
第一方面,本申请实施例提供了一种视频图像处理电路,应用于中央处理芯片,视频图像处理电路包括:图像信号处理器、防抖算法模块、显示处理单元和视频编码器;其中,
所述图像信号处理器,用于获取第一视频图像数据;
所述防抖算法模块,用于对所述第一视频图像数据进行电子防抖处理,生成待存储的第二视频图像数据和待处理的第三视频图像数据;
所述显示处理单元,用于将所述第三视频图像数据输出至图像处理芯片,并获取所述图像处理芯片输出的增强图像数据,所述增强图像数据是对所述第三视频图像数据进行图像增强处理后得到的;
所述显示处理单元,还用于将所述增强图像数据传输至显示屏;
所述视频编码器,用于获取所述图像处理芯片输出的增强图像数据和所述第二视频图像数据,并将所述增强图像数据和所述第二视频图像数据分别传输至存储器进行存储。
第二方面,本申请实施例提供了一种视频图像处理方法,应用于中央处理芯片,所述方法包括:
获取图像传感器采集的第一视频图像数据;
根据所述第一视频图像数据,确定待存储的第二视频图像数据和待处理的第三视频图像数据;
将所述第三视频图像数据输出至图像处理芯片,并获取所述图像处理芯片输出的增强图像数据,所述增强图像数据是对所述第三视频图像数据进行图像增强处理后得到的;
将所述增强图像数据传输至显示屏,并将所述增强图像数据和所述第二视频图像数据分别传输至存储器进行存储。
第三方面,本申请实施例提供了一种视频图像处理电路,包括:图像传感器、中央处理芯片、图像处理芯片和存储器;其中,
所述图像传感器,用于采集实时视频图像,并将所述实时视频图像数据输出至所述中央处理芯片;
所述中央处理芯片,用于对所述实时图像数据进行基础效果处理,获得第一视频图像数据;以及,对所述第一视频图像数据进行电子防抖处理,生成待存储的第二视频图像数据和待处理的第三视频图像数据;并将所述第三视频图像数据输出至图像处理芯片;
所述图像处理芯片,用于对所述第三视频图像数据进行图像增强处理,得到增强图像数据;并将所述增强图像数据输出至所述中央处理芯片;
所述中央处理芯片,还用于生成两路所述增强图像数据,将一路所述增强图像数据作为预览图像,将另一路所述增强图像数据输出至所述存储器;
所述存储器,用于存储所述增强图像数据和所述第二视频图像数据。
第四方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第二方面所述的方法的步骤。
第五方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第二方面所述的方法的步骤。
第六方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第二方面所述的方法。
第七方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第二方面所述的方法。
在本申请实施例中,视频图像处理电路包括:图像信号处理器、防抖算法模块、显示处理单元和视频编码器;图像信号处理器,用于获取第一视频图像数据;防抖算法模块,用于对第一视频图像数据进行电子防抖处理,生成待存储的第二视频图像数据和待处理的第三视频图像数据;显示处理单元,用于将第三视频图像数据输出至图像处理芯片,并获取图像处理芯片输出的增强图像数据,增强图像数据是对第三视频图像数据进行图像增强处理后得到的;显示处理单元,还用于将增强图像数据传输至显示屏;视频编码器,用于获取图像处理芯片输出的增强图像数据和第二视频图像数据,并将增强图像数据和第二视频图像数据分别传输至存储器进行存储。如此,通过外部图像处理芯片实现对视频图像数据进行实时处理以改善视频显示效果,使用户无需对视频图像进行复杂的后期制作即可实时得到增强的视频图像效果,而且在视频录制的过程中同步保存未经处理的第二视频图像和实时处理的增强图像数据,供用户在后期编辑时使用。
附图说明
图1是本申请实施例中的视频图像处理架构示意图之一;
图2是本申请实施例中的视频图像处理架构示意图之二;
图3是本申请实施例中的视频图像处理架构示意图之三;
图4是本申请实施例中的视频图像处理方法的流程图之一;
图5是本申请实施例中的视频图像处理方法的流程图之二;
图6是本申请实施例中的视频图像处理方法的流程图之三;
图7是本申请实施例中的视频图像处理方法的流程图之四;
图8是本申请实施例中的电子设备的结构框图;
图9是本申请实施例中的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的视频图像处理方法进行详细地说明。
参见图1至3,本申请实施例提供一种视频图像处理电路,应用于中央处理芯片,视频图像处理电路包括:图像信号处理器、防抖算法模块、显示处理单元和视频编码器;其中,
图像信号处理器,用于获取第一视频图像数据;
防抖算法模块,用于对所述第一视频图像数据进行电子防抖处理,生成待存储的第二视频图像数据和待处理的第三视频图像数据;
显示处理单元,用于将所述第三视频图像数据输出至图像处理芯片,并获取所述图像处理芯片输出的增强图像数据,所述增强图像数据是对所述第三视频图像数据进行图像增强处理后得到的;
显示处理单元,还用于将所述增强图像数据传输至显示屏;
视频编码器,用于获取所述图像处理芯片输出的增强图像数据和所述第二视频图像数据,并将所述增强图像数据和所述第二视频图像数据分别传输至存储器进行存储。
示例性地,如图1和图2中,图像传感器实时采集视频图像数据,并将实时视频图像数据输出至中央处理芯片的图像信号处理器(Image Signal Processing,ISP),由ISP对实时视频图像进行基础效果处理(如白平衡、降噪等)后,再将经过基础效果处理后的第一视频图像数据输出至防抖算法模块,由防抖算法模块进行电子防抖处理;经过电子防抖处理后的第一视频图像数据被分为两路,一路第二视频图像数据用于存储,一路第三视频图像数据用于后续实时处理。其中,用于实时处理的第三视频图像数据输出至中央处理芯片中的显示处理单元(Document Processing Unit,DPU),通过显示处理单元将第三视频图像数据(RAW格式的图像)转换为RGB格式的图像数据后输出至图像处理芯片,再由图像处理芯片对RGB格式的图像数据进行增强图像处理;经图像处理芯片处理得到的增强图像数据,通过移动产业处理器接口(Mobile Industry Processor Interface,MIPI)相机串行Cameraserial interface,CSI)接口回传至中央处理芯片,由MIPI CSI接口将增强图像数据分成两路视频图像,一路增强视频图像传输至显示屏用于实时预览,一路增强视频图像传输至编码器进行编码后,再传输至存储器进行存储。
上述实施例中,通过外部图像处理芯片实现对视频图像数据进行实时处理以改善视频显示效果,使用户无需对视频图像进行复杂的后期制作即可实时得到增强的视频图像效果,而且在视频录制的过程中同步保存未经处理的第二视频图像和实时处理的增强图像数据,供用户在后期编辑时使用,实现基于保存的原视频修改所需的显示效果。
在一些实施例中,所述对所述第三视频图像数据进行图像增强处理包括以下至少一项:
对所述第三视频图像中除人像之外的背景进行虚化处理;
对所述第三视频图像中的人像进行美颜处理;
对所述第三视频图像中的点光源进行光斑处理;
对所述第三视频图像中的点光源进行拉丝处理;
对所述第三视频图像中的人像进行第一滤镜处理;
对所述第三视频图像中的人像之外的背景进行第二滤镜处理;
对所述第三视频图像进行防抖处理。
该实施例中,通过图像处理芯片对第一视频图像数据中人像之外的背景进行虚化处理,能够实现电影人像虚化效果;通过对第一视频图像数据中的人像进行美颜处理,能够实现电影人像美颜效果;通过对第一视频图像数据中的点光源进行光斑处理,能够实现电影光斑效果;通过对第一视频图像数据中的人景进行分离并分别对背景以及肤色等进行不同滤镜处理,能够实现电影滤镜效果;通过对第一视频图像数据中的点光源进行拉丝处理,能够实现电影拉丝效果。
在一些实施例中,视频图像处理电路还包括:软件算法模块,用于:
获取图像处理芯片输出的增强图像数据;
对所述增强图像数据进行处理,生成两路视频图像数据;
将其中一路视频图像数据传输至显示屏,将另一路视频图像数据和所述第二视频图像数据分别传输至所述视频编码器。
示例性地,经图像处理芯片处理得到的增强图像数据,通过MIPI CSI接口回传至中央处理芯片内的软件算法模块,通过软件算法对增强图像数据进行色彩、亮度以及影调等效果处理后,生成两路视频图像,一路视频图像输出至编码器,以用于存储,另一路视频图像输出至显示处理单元,以用于实时预览显示。
在一些实施例中,视频编码器,具体用于:
对所述另一路视频图像数据进行编码处理,得到第一编码文件;
对所述第二视频图像数据和所述第二视频图像数据对应图像参数的元数据进行编码处理,得到第二编码文件;
将所述第一编码文件和所述第二编码文件分别传输至所述存储器进行存储。
其中,第二视频图像数据对应图像参数的元数据是由ISP以及软件算法计算得出的。
该实施例中,通过存储经过图像处理芯片进行增强处理而得到的视频图像数据,使用户无需进行复杂且耗时的后期处理操作,即可实时预览并获得经过处理的视频图像数据;通过存储未经过图像处理芯片处理的图像数据和图像参数的元数据,以便于用户在需要对原始视频图像进行后期编辑修改时,无需通过ISP以及软件算法重新计算图像参数的元数据,因此能够减少重复计算带来的处理延时。
在一些实施例中,显示处理单元,具体用于:
将所述增强图像数据通过第一通道传输至所述显示屏;其中,所述第一通道包括所述显示处理单元,所述显示处理单元与所述显示屏直接连接;或者,
将所述增强图像数据通过第二通道传输至所述显示屏;其中,所述第二通道包括所述显示处理单元和所述图像处理芯片,所述显示处理单元与所述图像处理芯片通信连接,所述图像处理芯片与所述显示屏通信连接。
示例性地,在如图1所示的视频处理架构中,显示屏与显示处理单元直接连接,经图像处理芯片进行增强处理得到的增强图像数据,通过MIPI CSI接口回传至中央处理芯片内的软件算法模块,通过软件算法对增强图像数据进行色彩、亮度以及影调等效果处理后,生成两路视频图像,一路视频图像输出至编码器用于存储,另一路视频图像输出至显示处理单元,由显示处理单元直接发送至显示屏进行实时预览显示。
示例性地,在如图2所示的视频处理架构中,显示屏与图像处理芯片直接连接,经图像处理芯片处理得到的增强图像数据,通过MIPI CSI接口回传至中央处理芯片内的软件算法模块,通过软件算法对增强图像数据进行色彩、亮度以及影调等效果处理后,生成两路视频图像,一路输出至编码器用于编码后存储,另一路视频图像输出至显示处理单元,由显示处理单元将该路视频图像发送至图像处理芯片,再由图像处理芯片发送至显示屏进行预览显示。
另外,在一种实施例中,基于如图2所述的视频处理架构,由于图像处理芯片与显示屏直接连接,因此可以通过图像处理芯片对视频图像数据进行实时处理后,立即显示到屏幕上,实现在视频播放场景下的实时效果处理。
参见图3,在一些实施例中,视频图像处理电路还包括:
显示处理框架,用于获取应用程序中待播放的视频文件,并将所述待播放的视频文件输出至所述显示处理单元;
所述显示处理单元,用于将所述待播放的视频文件输出至所述图像处理芯片;
所述图像处理芯片,用于对所述待播放的视频文件进行增强处理,并将处理后的所述待播放的视频文件输出至所述显示屏。
通过该实施例,能够通过图像处理芯片对视频应用程序播放的视频图像进行实时处理并立即显示到显示屏。
参见图1至3,本申请实施例还提供一种视频图像处理电路,包括:图像传感器、中央处理芯片、图像处理芯片和存储器;其中,
图像传感器,用于采集实时视频图像,并将所述实时视频图像数据输出至所述中央处理芯片;
中央处理芯片,用于对所述实时图像数据进行基础效果处理,获得第一视频图像数据;以及,对所述第一视频图像数据进行电子防抖处理,生成待存储的第二视频图像数据和待处理的第三视频图像数据;并将所述第三视频图像数据输出至图像处理芯片;
图像处理芯片,用于对所述第三视频图像数据进行图像增强处理,得到增强图像数据;并将所述增强图像数据输出至所述中央处理芯片;
中央处理芯片,还用于生成两路所述增强图像数据,将一路所述增强图像数据作为预览图像,将另一路所述增强图像数据输出至所述存储器;
存储器,用于存储所述增强图像数据和所述第二视频图像数据。
上述实施例中,通过外部图像处理芯片实现对视频图像数据进行实时处理以改善视频显示效果,使用户无需对视频图像进行复杂的后期制作即可实时得到增强的视频图像效果,而且在视频录制的过程中同步保存未经处理的第二视频图像和实时处理的增强图像数据,供用户在后期编辑时使用,实现基于保存的原视频修改所需的显示效果。
在一些实施例中,在所述中央处理芯片与显示屏直接连接的情况下,所述中央处理芯片,还用于将所述预览图像输出至所述显示屏进行预览显示。
示例性地,在如图1所示的视频处理架构中,显示屏与显示处理单元直接连接,经图像处理芯片进行增强处理得到的增强图像数据,通过MIPI CSI接口回传至中央处理芯片内的软件算法模块,通过软件算法对增强图像数据进行色彩、亮度以及影调等效果处理后,生成两路视频图像,一路视频图像输出至编码器用于存储,另一路视频图像输出至显示处理单元,由显示处理单元直接发送至显示屏进行实时预览显示。
在一些实施例中,在所述图像处理芯片与所述显示屏直接连接的情况下,所述中央处理芯片,还用于将所述预览图像输出至所述图像处理芯片;所述图像处理芯片,还用于将所述预览图像输出至所述显示屏进行预览显示。
示例性地,在如图2所示的视频处理架构中,显示屏与图像处理芯片直接连接,经图像处理芯片处理得到的增强图像数据,通过MIPI CSI接口回传至中央处理芯片内的软件算法模块,通过软件算法对增强图像数据进行色彩、亮度以及影调等效果处理后,生成两路视频图像,一路输出至编码器用于存储,另一路视频图像输出至显示处理单元,再由显示处理单元将该路视频图像发送至图像处理芯片,再由图像处理芯片发送至显示屏进行预览。
在一些实施例中,所述中央处理芯片,还用于获取应用程序中待播放的视频文件,并将所述待播放的视频文件输出至所述图像处理芯片;
所述图像处理芯片,还用于对所述待播放的视频文件进行增强处理,并将处理后的所述待播放的视频文件输出至所述显示屏进行预览显示。
通过该实施例,能够通过图像处理芯片对视频应用程序播放的视频图像进行实时处理并立即显示到显示屏。
参见图4,本申请实施例提供一种视频图像处理方法,应用于中央处理芯片,方法包括以下步骤:
步骤101:获取第一视频图像数据。
示例性地,如图1和图2中,图像传感器实时采集视频图像数据,并将实时视频图像数据输出至中央处理芯片的图像信号处理器(Image Signal Processing,ISP),由ISP对实时视频图像进行基础效果处理(如白平衡、降噪等)后,再将经过基础效果处理后的第一视频图像数据输出至防抖算法模块,由防抖算法模块对第一视频图像数据进行电子防抖处理。
步骤102:对所述第一视频图像数据进行电子防抖处理,生成待存储的第二视频图像数据和待处理的第三视频图像数据。
具体实现时,经过电子防抖处理后的第一视频图像数据被分为两路,一路第二视频图像数据用于存储,一路第三视频图像数据用于后续实时处理。其中,用于实时处理的第三视频图像数据输出至中央处理芯片中的显示处理单元(Document Processing Unit,DPU),通过显示处理单元将第三视频图像数据(RAW格式的图像)转换为RGB格式的图像数据后输出至图像处理芯片,再由图像处理芯片对RGB格式的图像数据进行增强图像处理。其中,RAW格式的图像是数码相机采集到的最原始的图像数据信息,RGB分别代表着3种颜色:R代表红色、G代表绿色和B代表蓝色。
该步骤中,在对第一视频图像进行电子防抖处理后,生成两路视频图像,一路第三视频图像数据用于预览显示,一路第二视频图像数据作为原始视频进行存储,便于用户后期查看或使用。
步骤103:将所述第三视频图像数据输出至图像处理芯片,并获取所述图像处理芯片输出的增强图像数据,所述增强图像数据是对所述第三视频图像数据进行图像增强处理后得到的。
可选地,图像增强处理包括但不限于以下至少一项:提高动态范围、降噪、插帧、超分、锐化、裁剪、色彩校正。
可选地,所述对所述第三视频图像数据进行图像增强处理包括以下至少一项:
对所述第三视频图像中除人像之外的背景进行虚化处理;
对所述第三视频图像中的人像进行美颜处理;
对所述第三视频图像中的点光源进行光斑处理;
对所述第三视频图像中的点光源进行拉丝处理;
对所述第三视频图像中的人像进行第一滤镜处理;
对所述第三视频图像中的人像之外的背景进行第二滤镜处理;
对所述第三视频图像进行防抖处理。
该步骤中,通过图像处理芯片对第一视频图像数据中人像之外的背景进行虚化处理,能够实现电影人像虚化效果;通过对第一视频图像数据中的人像进行美颜处理,能够实现电影人像美颜效果;通过对第一视频图像数据中的点光源进行光斑处理,能够实现电影光斑效果;通过对第一视频图像数据中的人景进行分离并分别对背景以及肤色等进行不同滤镜处理,能够实现电影滤镜效果;通过对第一视频图像数据中的点光源进行拉丝处理,能够实现电影拉丝效果。
步骤104:将所述增强图像数据传输至显示屏,并将所述增强图像数据和所述第二视频图像数据分别传输至存储器进行存储。
示例性地,经图像处理芯片处理得到的增强图像数据,通过移动产业处理器接口(Mobile Industry Processor Interface,MIPI)相机串行Camera serial interface,CSI)接口回传至中央处理芯片,由MIPI CSI接口将增强图像数据分成两路视频图像,一路增强视频图像传输至显示屏用于实时预览,一路增强视频图像传输至编码器进行编码后,再传输至存储器进行存储。
上述实施例中,通过外部图像处理芯片实现对视频图像数据进行实时处理以改善视频显示效果,使用户无需对视频图像进行复杂的后期制作即可实时得到增强的视频图像效果,而且在视频录制的过程中同步保存未经处理的第二视频图像和实时处理的增强图像数据,供用户在后期编辑时使用,实现基于保存的原视频修改所需的显示效果。
在一些实施例中,中央处理芯片包括软件算法模块和视频编码器;上述步骤104中,将所述增强图像数据传输至显示屏,并将所述增强图像数据和所述第二视频图像数据传输至存储器进行存储,包括:
通过所述软件算法模块对所述增强图像数据进行处理,生成两路视频图像数据;
将其中一路视频图像数据传输至显示屏,将另一路视频图像数据和所述第二视频图像数据分别传输至所述存储器进行存储。
示例性地,经图像处理芯片处理得到的增强图像数据,通过MIPI CSI接口回传至中央处理芯片内的软件算法模块,通过软件算法对增强图像数据进行色彩、亮度以及影调等效果处理后,生成两路视频图像,一路视频图像输出至编码器,以用于存储,另一路视频图像输出至显示处理单元,以用于实时预览显示。
在一些实施例中,中央处理芯片还包括视频编码器;所述将所述增强图像数据和所述第二视频图像数据分别传输至存储器进行存储,包括:
通过所述视频编码器对所述另一路视频图像数据进行编码处理,得到第一编码文件;
通过所述视频编码器对所述第二视频图像数据和所述第二视频图像数据对应图像参数的元数据进行编码处理,得到第二编码文件;
将所述第一编码文件和所述第二编码文件分别传输至所述存储器进行存储。
其中,第二视频图像数据对应图像参数的元数据是由ISP以及软件算法计算得出的。
该实施例中,通过存储经过图像处理芯片进行增强处理而得到的视频图像数据,使用户无需进行复杂且耗时的后期处理操作,即可实时预览并获得经过处理的视频图像数据;通过存储未经过图像处理芯片处理的图像数据和图像参数的元数据,以便于用户在需要对原始视频图像进行后期编辑修改时,无需通过ISP以及软件算法重新计算图像参数的元数据,因此能够减少重复计算带来的处理延时。
在一些实施例中,中央处理芯片包括显示处理单元;上述步骤104中,将所述增强图像数据传输至显示屏,包括:
所述将所述增强图像数据传输至显示屏,包括:
将所述增强图像数据通过第一通道传输至所述显示屏;其中,所述第一通道包括所述显示处理单元,所述显示处理单元与所述显示屏直接连接;或者,
将所述增强图像数据通过第二通道传输至所述显示屏;其中,所述第二通道包括所述显示处理单元和所述图像处理芯片,所述显示处理单元与所述图像处理芯片通信连接,所述图像处理芯片与所述显示屏通信连接。示例性地,在如图1所示的视频处理架构中,显示屏与显示处理单元直接连接,经图像处理芯片进行增强处理得到的增强图像数据,通过MIPI CSI接口回传至中央处理芯片内的软件算法模块,通过软件算法对增强图像数据进行色彩、亮度以及影调等效果处理后,生成两路视频图像,一路视频图像输出至编码器用于存储,另一路视频图像输出至显示处理单元,由显示处理单元直接发送至显示屏进行实时预览显示。
示例性地,在如图2所示的视频处理架构中,显示屏与图像处理芯片直接连接,经图像处理芯片处理得到的增强图像数据,通过MIPI CSI接口回传至中央处理芯片内的软件算法模块,通过软件算法对增强图像数据进行色彩、亮度以及影调等效果处理后,生成两路视频图像,一路输出至编码器用于存储,另一路视频图像输出至显示处理单元,由显示处理单元将该路视频图像发送至图像处理芯片,再由图像处理芯片发送至显示屏进行预览。
另外,在如图2所示的视频处理架构中,由于显示屏与图像处理芯片直接连接,因此也可以通过图像处理芯片对视频图像数据进行实时处理并立即显示到屏幕上,实现在视频播放场景下的实时效果处理。
在一些实施例中,中央处理芯片还包括显示处理框架,所述方法还包括:
通过显示处理框架获取应用程序中待播放的视频文件,并将待播放的视频文件通过第二通道传输至所述显示屏;其中,第二通道包括显示处理单元和图像处理芯片,图像处理芯片用于对待播放的视频文件进行增强处理,并将处理后的待播放的视频文件输出至所述显示屏。
示例性地,在如图3所示的应用场景中,图像处理芯片与显示屏直接连接,视频图像处理方法可包括如图7所示的步骤,具体如下:
步骤201:在用户打开视频播放应用程序。
步骤202:视频播放应用程序将待播放的视频图像发送至显示处理框架(软件模块)。
步骤203:显示处理框架将视频图像发送给显示处理单元。
步骤204:DPU通过MIPI CSI接口将视频图像传输至图像处理芯片。
步骤205:图像处理芯片对视频图像进行实时增强处理(如电影效果处理)。
步骤206:图像处理芯片将处理后的图像输出至显示器进行实时显示。
通过该实施例,能够通过图像处理芯片对视频应用程序播放的视频图像进行实时处理并立即显示到显示屏。
下面结合具体示例对本申请的视频图像处理方法进行介绍。
示例一、显示处理单元与显示屏直接连接
如图1中,中央处理芯片包括:中央处理器(CPU)、图像信号处理器(ISP)、显示处理器(DPU)、视频编码器等各个功能模块的片上集成芯片。
图像传感器与图像信号处理器(ISP)连接,图像信号处理器(ISP)的输出端与防抖算法的输入端连接,防抖算法模块的输出端与显示处理器(DPU)和编码器的输入端分别连接,显示处理器(DPU)的输出端与图像处理芯片和显示屏分别连接。图像处理芯片的输出端与中央处理芯片的MIPI CSI接口连接,MIPI CSI接口与软件算法模块的输入端连接,软件算法的输出端分别与编码器的输入端和显示处理单元的输入端连接;编码器的输出端与存储器连接。
其中,图像信号处理器ISP用于对数字图像进行基础效果处理;显示处理单元用于将图像数据转换为RGB数据,并发送给外部显示设备,如LCD显示屏;图像处理芯片,用于对数字图像进行增强处理,可以包括提高动态范围、降噪、插帧、超分、锐化、裁剪、色彩校正等等图像处理;图像传感器,用于采集实时图像,并转换为数字信号;显示屏,用于显示数据图像;视频编码器(或图像编码器),用于对录像数据或者单张图像进行编码;存储器,用于存放录像数据。
如图5中,视频图像处理方法包括以下步骤:
步骤301、用户打开相机,开始录像/拍照。
具体地,用户打开相机并进入录像/拍照模式,点击按钮开始录像/拍照。
步骤302、图像传感器采集实时图像,并实时图像发送给ISP。
步骤303、ISP对图像传感器采集的原始图像进行基础效果处理。
具体地,图像信号处理器对传感器采集到的原始RAW图像进行基础类效果处理,并将RAW格式图像转换成YUV格式的视频图像后,发送至防抖算法进行防抖处理。
步骤304、软件防抖算法对实时图像进行电子防抖处理。
具体地,经过防抖算法处理过后的视频图像会被分成两路,其中一路视频图像会送给编码器进行编码保存;而另一路视频图像则会通过DPU发送给图像处理芯片进行处理。
步骤305、编码器对未经图像芯片处理的原始视频图像以及包含图像参数的元数据进行编码保存。
未经图像处理芯片处理过的原始视频与元数据一起单独编码保存成一个视频文件,在用户后期进行视频后编辑功能时可从原始视频文件中获取原始图像以及对应的元数据并进行实时背景虚化、人像美颜、电影光斑、电影拉丝、电影滤镜以及焦点切换等后编辑处理。
步骤306、将视频图像送给DPU并通过DPU将经过防抖处理后的视频图像发送给图像处理芯片。
步骤307、图像处理芯片对接收到的图像进行电影感效果处理,并将处理后图像通过MIPI接口回传给ISP。
具体地,通过图像处理芯片对收到的视频图像进行实时背景虚化、人像美颜、电影光斑、电影拉丝以及电影滤镜等电影感效果处理,处理完成后再通过MIPI接口将图像回传给中央处理芯片。
步骤308、软件算法对视频图像进行相关效果处理,此步骤可选。
具体地,在收到图像处理芯片回传的数据后,可再次通过软件算法对图像进行色彩、亮度以及影调等效果后处理。
其中,若在MIPI接口收到图像数据后增加软件算法进行效果处理,则由软件算法将收到的回传视频图像分成两路,一路视频图像送给DPU进行实时预览显示;一路视频图像则送给视频/照片编码器进行编码保存。
其中,若在MIPI接口接收到图像数据后不通过软件算法进行效果处理,则由MIPICSI接口将接收到的视频图像分成两路,一路视频图像送给DPU进行实时预览显示;一路视频图像则送给视频/照片编码器进行编码保存。
步骤309、视频/照片编码器对图像进行编码保存。
对经过图像芯片处理后的视频图像进行编码保存,供用户进行实时查看。
步骤310、DPU将视频图像发送给显示屏进行实时预览显示。
示例二、图像处理芯片与显示屏直接连接
如图2中,中央处理芯片包括:中央处理器(CPU)、图像信号处理器(ISP)、显示处理器(DPU)、视频编码器等各个功能模块的片上集成芯片。
图像传感器与图像信号处理器(ISP)连接,图像信号处理器(ISP)的输出端与防抖算法的输入端连接,防抖短发的输入端与显示处理器(DPU)和编码器分别连接,显示处理器(DPU)与图像处理芯片连接,图像处理芯片与显示屏直接连接。图像处理器的输出端与中央处理芯片的MIPI CSI接口连接,MIPI CSI接口与软件算法连接,软件算法分别与编码器的输入端和显示处理单元的输入端连接;编码器与存储器连接。
其中,图像信号处理器ISP用于对数字图像进行基础效果处理;显示处理单元用于将图像数据转换为RGB数据,并发送给外部显示设备(如LCD显示屏);图像处理芯片,用于对数字图像进行增强处理,可以包括提高动态范围、降噪、插帧、超分、锐化、裁剪、色彩校正等等图像处理;图像传感器,用于采集实时图像,并转换为数字信号;显示屏,用于显示数据图像;视频/图片编码器,用于对录像数据或者单张图像进行编码;存储器,用于存放录像数据。
如图6中,视频图像处理方法包括以下步骤:
步骤401、用户打开相机,开始录像/拍照。
具体地,用户打开相机并进入录像/拍照模式,点击按钮开始录像/拍照。
步骤402、图像传感器采集实时图像,并实时图像发送给ISP。
步骤403、ISP对图像传感器采集的原始图像进行基础效果处理。
具体地,图像信号处理器对传感器采集到的原始RAW图像进行基础类效果处理,并将RAW格式图像转换成YUV格式的视频图像后,发送至防抖算法进行处理。
步骤404、软件防抖算法对实时图像进行电子防抖处理。
具体地,经过防抖算法处理过后的视频图像会被分成两路,其中一路视频图像会送给编码器进行编码保存;而另一路视频图像则会通过DPU发送给图像处理芯片进行处理。
步骤405、编码器对未经图像芯片处理的原始视频图像以及包含图像参数的元数据进行编码保存。
未经图像处理芯片处理过的原始视频会与元数据一起单独编码保存成一个视频文件,在用户后期进行视频后编辑功能时,即可从原始视频文件中获取原始图像以及对应的元数据并进行实时背景虚化、人像美颜、电影光斑、电影拉丝、电影滤镜以及焦点切换等后编辑处理,减少处理时延。
步骤406、将视频图像送给DPU,并通过DPU将经过防抖处理后的视频图像发送给图像处理芯片。
步骤407、图像处理芯片对接收到的图像进行电影感效果处理,并将处理后图像通过MIPI接口回传给中央处理芯片。
具体地,通过图像处理芯片对收到的视频图像进行实时背景虚化、人像美颜、电影光斑、电影拉丝以及电影滤镜等电影感效果处理,处理完成后再通过MIPI接口将图像回传给中央处理芯片。
步骤408、软件算法对视频图像进行相关效果处理,此步骤可选。
具体地,在收到图像处理芯片回传的数据后,可再次通过软件算法对图像进行色彩、亮度以及影调等效果后处理。
其中,若在MIPI接口收到图像数据后增加软件算法进行效果处理,则由软件算法将收到的回传视频图像分成两路,一路视频图像送给DPU进行实时预览显示;一路视频图像则送给视频/照片编码器进行编码保存。
其中,若在MIPI接口接收到图像数据后不通过软件算法进行效果处理,则由MIPICSI接口将接收到的视频图像分成两路,一路视频图像送给DPU进行实时预览显示;一路视频图像则送给视频/照片编码器进行编码保存。
步骤409、视频/照片编码器对图像进行编码保存。
对经过图像芯片处理后的视频图像进行编码保存,供用户进行实时查看。
步骤410、DPU将视频图像发送给图像处理芯片。
步骤411、图像处理芯片将视频图像透传给显示器进行实时预览显示。
图像处理芯片在收到DPU发送的预览视频画面后,在内部进行透传处理,直接将图像通过MIPIDSI接口发送给显示器进行预览显示。
上述示例一和示例二中,一方面能够实现在视频录像过程中,同步保存未经图像芯片处理的原始视频以及相关元数据,以供用户在后期根据需求来实时编辑修改已录制视频的电影效果。再一方面,结合图像处理芯片的能力以及基础电子防抖能力,提升电影画面的稳定性,还一方面,通过外部图像处理芯片对图像数据进行实时硬件处理,有效降低视频拍摄功耗,提升了视频拍摄的流畅性。
本申请实施例提供的视频图像处理方法,执行主体可以为视频图像处理装置。本申请实施例中以视频图像处理装置执行视频图像处理方法为例,说明本申请实施例提供的视频图像处理装置。
本申请实施例提供的视频图像处理装置能够实现图4至图7的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图8所示,本申请实施例还提供一种电子设备800,包括处理器801和存储器802,存储器802上存储有可在所述处理器801上运行的程序或指令,该程序或指令被处理器801执行时实现上述视频图像处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备900包括但不限于:射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。
本领域技术人员可以理解,电子设备900还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器910逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器910具体为中央处理芯片,用于:
获取第一视频图像数据;
对所述第一视频图像数据进行电子防抖处理,生成待存储的第二视频图像数据和待处理的第三视频图像数据;
将所述第三视频图像数据输出至图像处理芯片,并获取所述图像处理芯片输出的增强图像数据,所述增强图像数据是对所述第三视频图像数据进行图像增强处理后得到的;将所述增强图像数据传输至显示屏,并将所述增强图像数据和所述第二视频图像数据分别传输至存储器进行存储。
可选地,所述中央处理芯片包括:图像信号处理器和防抖算法模块;处理器910,还用于通过所述图像信号处理器对所述第一视频图像数据进行基础效果处理,生成第四视频图像数据;通过防抖算法模块对所述第四视频图像数据进行电子防抖处理,生成待存储的所述第二视频图像数据和待处理的所述第三视频图像数据。
可选地,所述对所述第三视频图像数据进行图像增强处理包括以下至少一项:
对所述第三视频图像中除人像之外的背景进行虚化处理;
对所述第三视频图像中的人像进行美颜处理;
对所述第三视频图像中的点光源进行光斑处理;
对所述第三视频图像中的点光源进行拉丝处理;
对所述第三视频图像中的人像进行第一滤镜处理;
对所述第三视频图像中的人像之外的背景进行第二滤镜处理;
对所述第三视频图像进行防抖处理。
可选地,所述中央处理芯片包括软件算法模块和视频编码器;处理器910,还用于通过所述软件算法模块对所述增强图像数据进行处理,生成两路视频图像数据;将其中一路视频图像数据传输至显示屏,将另一路视频图像数据和所述第二视频图像数据分别传输至所述存储器进行存储。
可选地,所述中央处理芯片包括视频编码器;处理器910,还用于:
通过所述视频编码器对所述另一路视频图像数据进行编码处理,得到第一编码文件;
通过所述视频编码器对所述第二视频图像数据和所述第二视频图像数据对应图像参数的元数据进行编码处理,得到第二编码文件;
将所述第一编码文件和所述第二编码文件分别传输至所述存储器进行存储。
可选地,所述中央处理芯片包括显示处理单元;处理器910,还用于:
将所述增强图像数据通过第一通道传输至所述显示屏;其中,所述第一通道包括所述显示处理单元,所述显示处理单元与所述显示屏直接连接;或者,
将所述增强图像数据通过第二通道传输至所述显示屏;其中,所述第二通道包括所述显示处理单元和所述图像处理芯片,所述显示处理单元与所述图像处理芯片通信连接,所述图像处理芯片与所述显示屏通信连接。
可选地,中央处理芯片还包括显示处理框架,处理器910,还用于通过显示处理框架获取应用程序中待播放的视频文件,并将所述待播放的视频文件通过第二通道传输至所述显示屏;其中,所述第二通道包括所述显示处理单元和所述图像处理芯片,所述图像处理芯片用于对所述待播放的视频文件进行增强处理,并将处理后的所述待播放的视频文件输出至所述显示屏。
本申请实施例提供的电子设备,通过图像处理芯片对视频图像数据进行实时处理以改善视频显示效果,使用户无需对视频图像进行复杂的后期制作即可实时得到增强的视频图像效果,而且在视频录制的过程中同步保存未经处理的第二视频图像和实时处理的增强图像数据,供用户使用。
应理解的是,本申请实施例中,输入单元904可以包括图形处理器(GraphicsProcessing Unit,GPU)941和麦克风942,图形处理器941对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板961,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元907包括触控面板971以及其他输入设备972中的至少一种。触控面板971,也称为触摸屏。触控面板971可包括触摸检测装置和触摸控制器两个部分。其他输入设备972可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器909可以包括易失性存储器或非易失性存储器,或者,存储器909可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。
处理器910可包括一个或多个处理单元;可选的,处理器910集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器910中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述视频图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述视频图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述视频图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (16)
1.一种视频图像处理电路,其特征在于,应用于中央处理芯片,所述电路包括:图像信号处理器、防抖算法模块、显示处理单元和视频编码器;其中,
所述图像信号处理器,用于获取第一视频图像数据;
所述防抖算法模块,用于对所述第一视频图像数据进行电子防抖处理,生成待存储的第二视频图像数据和待处理的第三视频图像数据;
所述显示处理单元,用于将所述第三视频图像数据输出至图像处理芯片,并获取所述图像处理芯片输出的增强图像数据,所述增强图像数据是对所述第三视频图像数据进行图像增强处理后得到的;
所述显示处理单元,还用于将所述增强图像数据传输至显示屏;
所述视频编码器,用于获取所述图像处理芯片输出的增强图像数据和所述第二视频图像数据,并将所述增强图像数据和所述第二视频图像数据分别传输至存储器进行存储。
2.根据权利要求1所述的视频图像处理电路,其特征在于,所述对所述第三视频图像数据进行图像增强处理包括以下至少一项:
对所述第三视频图像中除人像之外的背景进行虚化处理;
对所述第三视频图像中的人像进行美颜处理;
对所述第三视频图像中的点光源进行光斑处理;
对所述第三视频图像中的点光源进行拉丝处理;
对所述第三视频图像中的人像进行第一滤镜处理;
对所述第三视频图像中的人像之外的背景进行第二滤镜处理;
对所述第三视频图像进行防抖处理。
3.根据权利要求1所述的视频图像处理电路,其特征在于,所述电路还包括:软件算法模块,用于:
获取图像处理芯片输出的增强图像数据;
对所述增强图像数据进行处理,生成两路视频图像数据;
将其中一路视频图像数据传输至显示屏,将另一路视频图像数据和所述第二视频图像数据分别传输至所述视频编码器。
4.根据权利要求3所述的视频图像处理电路,其特征在于,所述视频编码器,具体用于:
对所述另一路视频图像数据进行编码处理,得到第一编码文件;
对所述第二视频图像数据和所述第二视频图像数据对应图像参数的元数据进行编码处理,得到第二编码文件;
将所述第一编码文件和所述第二编码文件分别传输至所述存储器进行存储。
5.根据权利要求1所述的视频图像处理电路,其特征在于,所述显示处理单元,具体用于:
将所述增强图像数据通过第一通道传输至所述显示屏;其中,所述第一通道包括所述显示处理单元,所述显示处理单元与所述显示屏直接连接;或者,
将所述增强图像数据通过第二通道传输至所述显示屏;其中,所述第二通道包括所述显示处理单元和所述图像处理芯片,所述显示处理单元与所述图像处理芯片通信连接,所述图像处理芯片与所述显示屏通信连接。
6.根据权利要求1所述的视频图像处理电路,其特征在于,还包括:
显示处理框架,用于获取应用程序中待播放的视频文件,并将所述待播放的视频文件输出至所述显示处理单元;
所述显示处理单元,用于将所述待播放的视频文件输出至所述图像处理芯片;
所述图像处理芯片,用于对所述待播放的视频文件进行增强处理,并将处理后的所述待播放的视频文件输出至所述显示屏。
7.一种视频图像处理方法,其特征在于,应用于中央处理芯片,所述方法包括:
获取第一视频图像数据;
对所述第一视频图像数据进行电子防抖处理,生成待存储的第二视频图像数据和待处理的第三视频图像数据;
将所述第三视频图像数据输出至图像处理芯片,并获取所述图像处理芯片输出的增强图像数据,所述增强图像数据是对所述第三视频图像数据进行图像增强处理后得到的;
将所述增强图像数据传输至显示屏,并将所述增强图像数据和所述第二视频图像数据分别传输至存储器进行存储。
8.根据权利要求7所述的视频图像处理方法,其特征在于,所述对所述第三视频图像数据进行图像增强处理包括以下至少一项:
对所述第三视频图像中除人像之外的背景进行虚化处理;
对所述第三视频图像中的人像进行美颜处理;
对所述第三视频图像中的点光源进行光斑处理;
对所述第三视频图像中的点光源进行拉丝处理;
对所述第三视频图像中的人像进行第一滤镜处理;
对所述第三视频图像中的人像之外的背景进行第二滤镜处理;
对所述第三视频图像进行防抖处理。
9.根据权利要求7所述的视频图像处理方法,其特征在于,所述中央处理芯片包括软件算法模块和视频编码器;
所述将所述增强图像数据传输至显示屏,并将所述增强图像数据和所述第二视频图像数据传输至存储器进行存储,包括:
通过所述软件算法模块对所述增强图像数据进行处理,生成两路视频图像数据;
将其中一路视频图像数据传输至显示屏,将另一路视频图像数据和所述第二视频图像数据分别传输至所述视频编码器。
10.根据权利要求9所述的视频图像处理方法,其特征在于,所述将所述增强图像数据和所述第二视频图像数据分别传输至存储器进行存储,包括:
通过所述视频编码器对所述另一路视频图像数据进行编码处理,得到第一编码文件;
通过所述视频编码器对所述第二视频图像数据和所述第二视频图像数据对应图像参数的元数据进行编码处理,得到第二编码文件;
将所述第一编码文件和所述第二编码文件分别传输至所述存储器进行存储。
11.根据权利要求7所述的视频图像处理方法,其特征在于,所述中央处理芯片包括显示处理单元;所述将所述增强图像数据传输至显示屏,包括:
将所述增强图像数据通过第一通道传输至所述显示屏;其中,所述第一通道包括所述显示处理单元,所述显示处理单元与所述显示屏直接连接;或者,
将所述增强图像数据通过第二通道传输至所述显示屏;其中,所述第二通道包括所述显示处理单元和所述图像处理芯片,所述显示处理单元与所述图像处理芯片通信连接,所述图像处理芯片与所述显示屏通信连接。
12.根据权利要求7所述的视频图像处理方法,其特征在于,所述中央处理芯片还包括显示处理框架,所述方法还包括:
通过显示处理框架获取应用程序中待播放的视频文件,并将所述待播放的视频文件通过第二通道传输至所述显示屏;其中,所述第二通道包括所述显示处理单元和所述图像处理芯片,所述图像处理芯片用于对所述待播放的视频文件进行增强处理,并将处理后的所述待播放的视频文件输出至所述显示屏。
13.一种视频图像处理电路,其特征在于,包括:图像传感器、中央处理芯片、图像处理芯片和存储器;其中,
所述图像传感器,用于采集实时视频图像,并将所述实时视频图像数据输出至所述中央处理芯片;
所述中央处理芯片,用于对所述实时图像数据进行基础效果处理,获得第一视频图像数据;以及,对所述第一视频图像数据进行电子防抖处理,生成待存储的第二视频图像数据和待处理的第三视频图像数据;并将所述第三视频图像数据输出至图像处理芯片;
所述图像处理芯片,用于对所述第三视频图像数据进行图像增强处理,得到增强图像数据;并将所述增强图像数据输出至所述中央处理芯片;
所述中央处理芯片,还用于生成两路所述增强图像数据,将一路所述增强图像数据作为预览图像,将另一路所述增强图像数据输出至所述存储器;
所述存储器,用于存储所述增强图像数据和所述第二视频图像数据。
14.根据权利要求13所述的视频图像处理电路,其特征在于,
在所述中央处理芯片与显示屏直接连接的情况下,所述中央处理芯片,还用于将所述预览图像输出至所述显示屏进行预览显示;或者,
在所述图像处理芯片与所述显示屏直接连接的情况下,所述中央处理芯片,还用于将所述预览图像输出至所述图像处理芯片;所述图像处理芯片,还用于将所述预览图像输出至所述显示屏进行预览显示。
15.根据权利要求13所述的视频图像处理电路,其特征在于,
所述中央处理芯片,还用于获取应用程序中待播放的视频文件,并将所述待播放的视频文件输出至所述图像处理芯片;
所述图像处理芯片,还用于对所述待播放的视频文件进行增强处理,并将处理后的所述待播放的视频文件输出至显示屏进行预览显示。
16.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求7-12任一项所述的视频图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311272580.5A CN117336612A (zh) | 2023-09-27 | 2023-09-27 | 视频图像处理电路、方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311272580.5A CN117336612A (zh) | 2023-09-27 | 2023-09-27 | 视频图像处理电路、方法和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117336612A true CN117336612A (zh) | 2024-01-02 |
Family
ID=89278468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311272580.5A Pending CN117336612A (zh) | 2023-09-27 | 2023-09-27 | 视频图像处理电路、方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117336612A (zh) |
-
2023
- 2023-09-27 CN CN202311272580.5A patent/CN117336612A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015196937A1 (zh) | 一种录制视频的方法和装置 | |
US20230162324A1 (en) | Projection data processing method and apparatus | |
WO2023016039A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
WO2013141071A1 (ja) | 画像表示装置及び方法 | |
CN109547724B (zh) | 一种视频流数据的处理方法、电子设备及存储装置 | |
US20230362476A1 (en) | Photographing method and apparatus and electronic device | |
WO2021244368A1 (zh) | 一种视频播放的方法及设备 | |
CN109194855A (zh) | 成像方法、装置和电子设备 | |
US11010879B2 (en) | Video image processing method and apparatus thereof, display device, computer readable storage medium and computer program product | |
CN111696039A (zh) | 图像处理方法及装置、存储介质和电子设备 | |
JP4375325B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2023160295A1 (zh) | 视频处理方法和装置 | |
WO2022111717A1 (zh) | 图像处理方法、装置及电子设备 | |
CN114298889A (zh) | 图像处理电路和图像处理方法 | |
WO2024067461A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
US11521305B2 (en) | Image processing method and device, mobile terminal, and storage medium | |
US20240155236A1 (en) | Image processing method and electronic device | |
CN108335659A (zh) | 图像显示方法及设备 | |
CN117336612A (zh) | 视频图像处理电路、方法和电子设备 | |
CN114943662A (zh) | 合拍方法和电子设备 | |
CN117336611A (zh) | 视频图像处理电路、方法和电子设备 | |
CN114286002B (zh) | 图像处理电路、方法、装置、电子设备及芯片 | |
WO2024082863A1 (zh) | 图像处理方法及电子设备 | |
CN115967846B (zh) | 一种图像处理方法及电子设备 | |
CN117278687A (zh) | 图像处理方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |