CN116939358A - 图像处理方法及相关装置 - Google Patents

图像处理方法及相关装置 Download PDF

Info

Publication number
CN116939358A
CN116939358A CN202210397874.XA CN202210397874A CN116939358A CN 116939358 A CN116939358 A CN 116939358A CN 202210397874 A CN202210397874 A CN 202210397874A CN 116939358 A CN116939358 A CN 116939358A
Authority
CN
China
Prior art keywords
frame
camera
image
frame rate
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210397874.XA
Other languages
English (en)
Inventor
朱文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202210397874.XA priority Critical patent/CN116939358A/zh
Publication of CN116939358A publication Critical patent/CN116939358A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法及相关装置,应用于电子设备,电子设备包括第一摄像头和第二摄像头,第一摄像头与第二摄像头的拍摄范围存在重叠区域;该方法包括:以第一帧率播放预览图像,预览图像为第一摄像头拍摄的第一图像;在第一摄像头切换为第二摄像头时,通过第二摄像头以第二帧率获取第一视频流,第一视频流包括P帧图像,第二帧率小于第一帧率;对P帧图像进行插帧处理,得到第二视频流,第二视频流包括Q帧图像,Q帧图像对应第三帧率,第三帧率大于第二帧率;将Q帧图像作为预览图像,根据第三帧率播放预览图像。采用本申请实施例能够以保证在变焦的过程中镜头的切换的流畅性以及减少图像的跃变。

Description

图像处理方法及相关装置
技术领域
本申请涉及图像处理技术领域,尤其涉及一种用于图像处理方法及相关装置。
背景技术
随着电子设备(如手机、平板电脑等等)的大量普及应用,电子设备能够支持的应用越来越多,功能越来越强大,电子设备向着多样化、个性化的方向发展,成为用户生活中不可缺少的电子用品。
目前来看,相机作为电子设备的必备功能也深受用户喜爱。在平滑变焦(spatialalignment transform,SAT)技术也在拍照中得以应用,但是,在变焦的过程中,由于镜头的切换会导致预览图像不流畅以及会出现图像的跃进问题,因此,如何在变焦的过程中保证镜头切换的流畅性以及减少图像的跃变的问题亟待解决。
发明内容
本申请实施例提供一种图像处理方法及相关装置,能够在变焦的过程中保证镜头切换的流畅性以及减少图像的跃变。
第一方面,本申请实施例提供一种图像处理方法,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述第一摄像头与所述第二摄像头的拍摄范围存在重叠区域;所述方法包括:
以第一帧率播放预览图像,所述预览图像为所述第一摄像头拍摄的第一图像;
在所述第一摄像头切换为所述第二摄像头时,通过所述第二摄像头以第二帧率获取第一视频流,所述第一视频流包括P帧图像,所述第二帧率小于第一帧率,所述P为正整数;
对所述P帧图像进行插帧处理,得到第二视频流,所述第二视频流包括Q帧图像,所述Q帧图像对应第三帧率,所述第三帧率大于所述第二帧率,且所述第三帧率与所述第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;
将所述Q帧图像作为所述预览图像,根据所述第三帧率播放所述预览图像。
第二方面,本申请实施例提供一种图像处理装置,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述第一摄像头与所述第二摄像头的拍摄范围存在重叠区域;所述装置包括:播放单元、获取单元、插帧单元,其中,
所述播放单元,用于以第一帧率播放预览图像,所述预览图像为所述第一摄像头拍摄的第一图像;
所述获取单元,用于在所述第一摄像头切换为所述第二摄像头时,通过所述第二摄像头以第二帧率获取第一视频流,所述第一视频流包括P帧图像,所述第二帧率小于第一帧率,所述P为正整数;
所述插帧单元,用于对所述P帧图像进行插帧处理,得到第二视频流,所述第二视频流包括Q帧图像,所述Q帧图像对应第三帧率,所述第三帧率大于所述第二帧率,且所述第三帧率与所述第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;
所述播放单元,还用于将所述Q帧图像作为所述预览图像,根据所述第三帧率播放所述预览图像。
第三方面,本申请实施例提供一种电子设备,所述电子设备包括处理器、存储器,所述存储器用于存储一个或多个程序,并且被配置由处理器执行,所述程序包括用于执行如第一方所描述的部分或者全部步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,具备如下有益效果:
可以看出,本申请实施例中所描述的图像处理方法及相关装置,应用于电子设备,电子设备包括第一摄像头和第二摄像头,第一摄像头与第二摄像头的拍摄范围存在重叠区域;以第一帧率播放预览图像,预览图像为第一摄像头拍摄的第一图像;在第一摄像头切换为第二摄像头时,通过第二摄像头以第二帧率获取第一视频流,第一视频流包括P帧图像,第二帧率小于第一帧率,P为正整数;对P帧图像进行插帧处理,得到第二视频流,第二视频流包括Q帧图像,Q帧图像对应第三帧率,第三帧率大于第二帧率,且第三帧率与第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;将Q帧图像作为预览图像,根据第三帧率播放预览图像,由于在变焦的过程中,对切换后镜头的拍摄图像进行插帧处理,进而,可以缩减镜头切换前后的帧率差,保证镜头切换的流畅性以及减少图像的跃变。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图;
图2是本申请实施例提供的一种电子设备的软件结构示意图;
图3A是本申请实施例提供的一种图像处理方法的流程示意图;
图3B是本申请实施例提供的一种图像处理方法的演示示意图;
图3C是本申请实施例提供的一种SAT切换时序的演示示意图;
图3D是本申请实施例提供的一种空间对齐的一演示示意图;
图3E是本申请实施例提供的一种空间对齐的另一演示示意图;
图4是本申请实施例提供的另一种图像处理方法的流程示意图;
图5是本申请实施例提供的另一种电子设备的结构示意图;
图6是本申请实施例提供的一种图像处理装置的功能单元组成框图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
为了更好地理解本申请实施例的方案,下面先对本申请实施例可能涉及的相关术语和概念进行介绍。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
具体实现中,本申请实施例中,电子设备可以包括各种具有计算机功能的设备,例如,手持设备(智能手机、平板电脑等)、车载设备(导航仪、辅助倒车系统、行车记录仪、车载冰箱等等)、可穿戴设备(智能手环、无线耳机、智能手表、智能眼镜等等)、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(Mobile Station,MS),虚拟现实/增强现实设备,终端设备(terminal device)等等,电子设备还可以为基站或者服务器。
电子设备还可以包括智能家居设备,智能家居设备可以为以下至少一种:智能音箱、智能摄像头、智能电饭煲、智能轮椅、智能按摩椅、智能家具、智能洗碗机、智能电视机、智能冰箱、智能电风扇、智能取暖器、智能晾衣架、智能灯、智能路由器、智能交换机、智能开关面板、智能加湿器、智能空调、智能门、智能窗、智能灶台、智能消毒柜、智能马桶、扫地机器人等等,在此不做限定。
第一部分,本申请所公开的技术方案的软硬件运行环境介绍如下。
如图所示,图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus,USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、指南针190、马达191、指示器192、摄像头193、显示屏194以及用户标识模块(subscriber identification module,SIM)卡接口195等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器AP,调制解调处理器,图形处理器GPU,图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器NPU等。其中,不同的处理单元可以是独立的部件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备100也可以包括一个或多个处理器110。其中,控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。在其他一些实施例中,处理器110中还可以设置存储器,用于存储指令和数据。示例性地,处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。这样就避免了重复存取,减少了处理器110的等待时间,因而提高了电子设备100处理数据或执行指令的效率。处理器还可以包括图像处理器,图像处理器可以为图像预处理器(preprocess image signal processor,Pre-ISP),其可以理解为一个简化的ISP,其也可以进行一些图像处理操作,例如,可以获取图像统计信息。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit,I2C)接口、集成电路间音频(inter-integrated circuitsound,I2S)接口、脉冲编码调制(pulse code modulation,PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、用输入输出(general-purpose input/output,GPIO)接口、SIM卡接口和/或USB接口等。其中,USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。该USB接口130也可以用于连接耳机,通过耳机播放音频。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110、内部存储器121、外部存储器、显示屏194、摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数、电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G/6G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络)、蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS)、调频(frequency modulation,FM)、近距离无线通信技术(near field communication,NFC)、红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像、视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emittingdiode,OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED)、柔性发光二极管(flex light-emittingdiode,FLED)、迷你发光二极管(mini light-emitting diode,miniled)、MicroLed、Micro-oLed、量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或多个显示屏194。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或多个摄像头193。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3、MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别、人脸识别、语音识别、文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备100执行本申请一些实施例中所提供的显示页面元素的方法,以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储部件,闪存部件,通用闪存存储器(universal flash storage,UFS)等。在一些实施例中,处理器110可以通过运行存储在内部存储器121的指令,和/或存储在设置于处理器110中的存储器的指令,来使得电子设备100执行本申请实施例中所提供的显示页面元素的方法,以及其他应用及数据处理。电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、以及应用处理器等实现音频功能。例如音乐播放、录音等。
传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M等。
其中,压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即X、Y和Z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
示例性的,图2示出了电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示,应用程序层可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
第二部分,本申请实施例所公开的图像处理方法及相关装置介绍如下。
相关技术中,以手机为例,在手机的相机镜头支持方案中,一般会有35个不同类型镜头的支持。一般情况下,多摄像头的手机的相机操作页面通常会有0.6x、1x、2x、5x、10等等x的焦段切换选择,其中,数字越小拍得越广,数字越大拍得越远,进而,通过数字变化,大致可以对应超广角、主摄、长焦镜头的焦段。
其中,针对主摄像头的话,大多数手机的主摄像头一般为等效于28mm左右的广角镜头。因为这个焦距接近于”人眼所见“的取景范围,所见即所拍,也是用户使用频率最高的摄像头了。打开手机相机的操作页面,用户能够在页面看到1x的数值显示,1x为主摄像头焦段,这是画质是所有焦段中最好的,适合拍人像、建筑、风光、纪实等等。
针对超广角的话,超广角镜头能够提供较主摄更加宽广的视野。需要注意的是超广角的焦段在一些手机相机上显示不同,以市面上现有产品为例,比如,有的产品显示为0.5x、有的产品显示0.6x、还有的产品则直接显示为文字广角等等。其和主摄相比,超广角能拍摄更加广阔的画面,适合拍风光以及建筑,能获得具有冲击力的画面感。
此外,超广角具有超大的取景范围,同一位置下你能获得更宽广的画面,对后期的重新裁切带来了巨大便利。拍摄风景时使用超广角镜头,不仅可以让更多的风景元素入镜,只要加以构图运用,可以体现画面的纵深感和空间感,让整个风光照片看起来气势磅礴。
此外,超广角天生便有镜头扭曲的特性,会使相片边缘的东西会被拉长和放大,可以充分利用它的变形效果进行仰拍,可以出现这种“近大远小”的视觉冲击力。在拍摄建筑时,可以利用镜头扭曲的特性而让建筑物更宏伟。
针对长焦镜头的话,1x以上的焦段通常称为长焦,x前面的系数调得越高就能拍得越远。例如,以市面产品上的5倍光学变焦为例,在用户切换焦段切换到5x时,可以从原来的主摄切换到长焦镜头拍摄。长焦镜头可以从远处拍摄更高质量的照片,拍摄更远处的物体或放大画面中的物体,而不会像数码变焦那样导致画质下降。在不方便走动的情况下,想在杂乱的建筑中取景,单凭手机主摄难以抓住拍摄主体,这时使用手机长焦镜头拍摄,能让平平无奇的相片更有层次。长焦镜头能够“拉近”了背景与前景的距离,从而带来一种空间距离的压缩感,使得整体画面更加充实,这种“压缩感”正是长焦镜头特点之一。长焦镜头变形小,透视效果弱能拉近前景与背景之间的距离,增强前后景的关系,从而创造一些独特的视觉特效。具体实现中,利用这个特点还可以用道路、栏杆等平直延伸的景物充当引导线,把观众的注意力引向画面纵深处的主体。
总而言之,虽然多摄手机不能保证用户能够拍出更好的照片,但每个镜头都有着不同特点。因此,在目前的相机拍摄方案中有SAT的方案来实现在不同的拍摄场景下根据用户需求进行实时的相机镜头的切换。
举例说明下,假设手机使用的如下定焦镜头:40MP,超感光,等效焦距27mm,F1.6;20MP,超广角,等效焦距16mm,F2.2;8MP,潜望式长焦,等效焦距125mm,F3.4;在16-27mm、27-125mm中间的焦段连续变化,通过融合数码变焦,最终实现16-125mm连续的变焦。
但是,在变焦的过程中镜头的切换如何保证切换的流畅性(不断流)以及减少图像的跃变(进行空间对齐处理,保证切换前后的图像效果一致)成为目前相机需要重点考虑的问题。
为了解决相关技术中的缺陷,以保证在变焦的过程中镜头的切换的流畅性以及减少图像的跃变,请参阅图3A,图3A是本申请实施例提供的一种图像处理方法的流程示意图,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述第一摄像头与所述第二摄像头的拍摄范围存在重叠区域;如图所示,本图像处理方法包括:
301、以第一帧率播放预览图像,所述预览图像为所述第一摄像头拍摄的第一图像。
具体实现中,第一摄像头和第二摄像头可以构成双摄像头或者多摄像头中的两个摄像头,第一摄像头与第二摄像头的拍摄范围存在重叠区域,例如,第一摄像头和第二摄像头可以同为前置摄像头,又例如,第一摄像头和第二摄像头可以同为后置摄像头,又例如,第一摄像头和第二摄像头可以同为侧置摄像头等等,在此不做限定。
其中,第一摄像头可以为可见光摄像头或者红外摄像头,第二摄像头可以为可见光摄像头或者红外摄像头。具体实现中,第一摄像头、第二摄像头可以均为普通视角摄像头,或者,第一摄像头、第二摄像头均为广角摄像头,或者,第一摄像头、第二摄像头中的一个摄像头为普通视角摄像头,另一个摄像头为广角摄像头。
具体实现中,电子设备可以以第一帧率播放预览图像,该预览图像为第一摄像头拍摄的第一图像。
302、在所述第一摄像头切换为所述第二摄像头时,通过所述第二摄像头以第二帧率获取第一视频流,所述第一视频流包括P帧图像,所述第二帧率小于第一帧率,所述P为正整数。
具体实现中,在第一摄像头切换为第二摄像头时,则说明即将第二摄像头的拍摄画面作为预览图像,即可以启动第二摄像头,并以第二帧率获取第一视频流,其中,该第一视频流可以包括P帧图像,第二帧率小于第一帧率,P为正整数。
具体实现中,在缓存模块(如双倍速率同步动态随机存储器DDR)带宽受限的场景下,只允许低帧率的图像数据流作为过渡帧,因此,对于平台端的帧率需求可以通过插帧的方式达到所需求的帧率。
可选的,还可以包括如下步骤:
A1、获取目标变焦倍率;
A2、在所述目标变焦倍率大于第二预设阈值时,确定将所述第一摄像头切换为所述第二摄像头。
其中,第二预设阈值可以预先设置或者系统默认。
具体的,可以在显示屏上展示用于调节变焦倍率的进度条,在用户拖动进度条的过程中,则可以获取目标变焦倍率,在目标变焦倍率大于第二预设阈值时,则说明需要触发镜头切换,以实现变焦功能。
可选的,还可以包括如下步骤:
根据所述目标变焦倍率确定所述第三帧率。
具体实现中,可以预先存储预设的变焦倍率与帧率之间的映射关系,进而,可以基于该映射关系确定目标变焦倍率对应的第三帧率,进而,可以在变焦倍率调节过程中,实现动态插帧,即针对不同的帧率,展示不同的视觉效果,有助于提升用户的视觉体验。
303、对所述P帧图像进行插帧处理,得到第二视频流,所述第二视频流包括Q帧图像,所述Q帧图像对应第三帧率,所述第三帧率大于所述第二帧率,且所述第三帧率与所述第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数。
具体实现中,第一预设阈值可以预先设置或者系统默认。第三帧率大于第二帧率,且第三帧率与第二帧率之间的差值的绝对值小于或者等于第一预设阈值,即第三帧率可以大于第二帧率,或者,第三帧率可以小于第二帧率,或者,第三帧率可以等于第二帧率。
具体的,电子设备可以对P帧图像进行插帧处理,例如,可以保证P帧图像的部分图像不变,其他图像进行复制操作,又例如,也可以对相邻的两个图像帧之间插入一帧或者多帧,在此不做限定。在插帧过程中,则也可以根据用户需求,或者,系统性能,动态调节插帧后的图像的清晰度或者分辨率。
进而,可以对P帧图像进行插帧处理,得到第二视频流,该第二视频流包括Q帧图像,Q帧图像对应第三帧率,第三帧率大于第二帧率,且第三帧率与第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数,从而,保证镜头切换前后的帧率差允许在可接受范围内。
本申请实施例中,为对于低带宽平台保证SAT切换效果所提出的方案,主要是根据后端的算法需求对所输出的低帧率的副摄图像数据进行插帧处理以保证后端空间对齐算法的帧率需求。
可选的,上述步骤303,对所述P帧图像进行插帧处理,得到第二视频流,可以包括如下步骤:
31、将所述第一图像与所述P帧图像进行空间对齐处理;
32、对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
具体实现中,可以通过空间对齐算法将第一图像与P帧图像进行空间对齐处理,进而,可以减小图像的跃进,再对空间对齐处理后的P帧图像进行插帧处理,得到第二视频流,从而,保证镜头切换后的播放流畅性。
可选的,上述步骤32,对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流,包括:
321、确定所述第一帧率与所述第二帧率之间的目标差值;
322、根据所述目标差值确定目标插帧数量;
323、根据所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
具体实现中,不同的帧率则对应的插帧数量,即可以确定第一帧率与第二帧率之间的目标差值,按照预设的差值与插帧数量之间的映射关系,确定目标差值对应的目标插帧数量,再根据目标插帧数量对空间对齐处理后的P帧图像进行插帧处理,得到第二视频流,例如,可以基于插帧处理参数对空间对齐处理后的P帧图像进行插帧处理,得到第二视频流,插帧处理参数可以包括以下至少一种:插帧位置、插值时刻、插帧效果参数等等,在此不做限定,插帧效果参数可以包括以下至少一种:插帧后图像的分辨率、插帧后图像的对比度、插帧后图像的尺度、插帧后图像的清晰度等等,在此不做限定,进而,可以缩减镜头切换前后的帧率差,保证镜头切换的流畅性以及减少图像的跃变。
可选的,上述步骤323,根据所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流,可以包括如下步骤:
3231、获取目标空间对齐算法的目标需求设置参数;
3232、确定与所述目标需求设置参数对应的目标插帧处理参数;
3233、根据所述目标插帧处理参数和所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
其中,本申请实施例中,空间对齐算法用于实现图像对齐或者图像配准功能,可以预先存储至少一种空间对齐算法,不同的摄像头切换,则可以选择不同的空间对齐算法。目标需求设置参数可以预先设置或者系统默认,目标需求设置参数可以包括以下至少一种:插帧时刻、插帧位置、插帧效果参数、算法控制参数等等,在此不做限定。插帧效果参数可以包括以下至少一种:插帧后图像的分辨率、插帧后图像的对比度、插帧后图像的尺度、插帧后图像的清晰度等等,在此不做限定。算法控制参数用于控制对齐效果。
具体实现中,可以获取目标空间对齐算法的目标需求设置参数,可以预先存储预设的需求设置参数与插帧处理参数之间的映射关系,则可以基于该映射关系确定与目标需求设置参数对应的目标插帧处理参数,空间对齐算法可以根据自身需求设置插帧的需求参数,并将其添加到每一帧的request参数中(例如可以设置不同的插帧等级以代表不同的阶段对插帧效果的要求),进而,在插帧处理时则对request参数进行解析,得到目标需求设置参数,并根据目标需求设置参数确定相应的目标插帧处理参数,以调节插帧效果,以使得最终的效果能够满足空间对齐处理的需求,接着,可以根据目标插帧处理参数和目标插帧数量对空间对齐处理后的P帧图像进行插帧处理,得到第二视频流,从而,可以缩减镜头切换前后的帧率差,保证镜头切换的流畅性以及减少图像的跃变。
具体实现中,当需要进行镜头切换时,主摄镜头仍以高帧率输出,副摄以低帧率出图像,以满足带宽限制条件。另外,往对齐算法模块送数据时可以直接将同一份帧数据连续送多次或通过插帧的方式将帧率进行提升,以满足对齐算法模块的需求且可以避免对后端通道的重新配置。
具体实现中,插帧处理时可以基于对齐算法处理阶段的不同需求侧重不同的插帧效果,或直接定义需求参数,该需求参数可以包括以下至少一种:图像的宽、图像的高、图像的分辨率、图像的清晰度、帧率等等,在此不做限定。由请求下发给前端(应用处理器)或插帧模块(用于实现插帧功能的模块),插帧算法可以根据对应参数(需求参数)进行插帧处理,以使得插帧效果满足对齐算法逐渐收敛的需求。
具体实现中,在插帧时,也可以随着变焦倍率zoom指标的变化(逐步接近切换的阈值)逐渐提高插帧的效果,以满足相关算法对过渡帧的需求。同样的也可以将对齐效果以参数的形式随着request下发,根据效果参数的变化动态调整插帧效果。
当然,对于图像进行插帧的处理,同样也可以在前端进行插帧处理,即在数据流越过带宽限制节点时就进行插帧,如可以根据标志位(flag)控制取帧的策略(如逐帧读取还是隔帧读取),这样可以避免后续多个处理模块的重新config调整,加快处理模式的切换速度(10->30fps)。
可选的,上述步骤303,对所述P帧图像进行插帧处理,得到第二视频流,可以包括如下步骤:
A1、对所述P帧图像进行插帧处理,得到所述Q帧图像;
A2、将所述第一图像与所述Q帧图像进行空间对齐处理,得到所述第二视频流。
具体实现中,也可以对P帧图像进行插帧处理,具体可以确定相应的插帧处理参数,基于插帧处理参数对P帧图像进行插帧处理,得到Q帧图像,再将第一图像与Q帧图像进行空间对齐处理,得到第二视频流,从而,保证镜头切换后的播放流畅性。上述插帧处理参数可以包括以下至少一种:插帧位置、插值时刻、插帧效果参数等等,在此不做限定,插帧效果参数可以包括以下至少一种:插帧后图像的分辨率、插帧后图像的对比度、插帧后图像的尺度、插帧后图像的清晰度等等,在此不做限定。插帧处理参数可以基于需求设置参数确定,需求设置参数可以包括以下至少一种:插帧时刻、插帧位置、插帧效果参数等等,在此不做限定。插帧效果参数可以包括以下至少一种:插帧后图像的分辨率、插帧后图像的对比度、插帧后图像的尺度、插帧后图像的清晰度等等,在此不做限定。
304、将所述Q帧图像作为所述预览图像,根据所述第三帧率播放所述预览图像。
具体实现中,则可以将Q帧图像作为预览图像,再基于第三帧率播放预览图像,由于第三帧率与第二帧率之间的帧率差较小,进而保证镜头切换的流畅性。
本申请实施例不仅可以应用于对SAT方案的处理之中,同样也可以应用于其他需要两路数据流又对数据流的参数有所要求的场景之中,例如,对于音频数据的处理同样可以应用本申请实施例中的思路。
可选的,还可以包括如下步骤:
在所述第一摄像头切换为所述第二摄像头之后,将所述第一摄像头的帧率调整为预设帧率,所述预设帧率小于所述第三帧率;
和/或,
在所述第一摄像头切换为所述第二摄像头之后,关闭所述第一摄像头。
具体实现中,预设帧率可以预先设置或者系统默认,预设帧率小于第三帧率,例如,预设帧率等于第二帧率,在第一摄像头切换为第二摄像头之后,则可以将第一摄像头帧率调整为预设帧率,进而,可以满足DDR受限要求,另外,在第一摄像头切换为第二摄像头之后,关闭第一摄像头,从而,降低设备功耗,也可以节省缓存资源或者DDR带宽资源。
本申请实施例,主摄像头可以理解为预览图像对应的摄像头,副摄镜头可以理解为非预览图像对应的摄像头。当变焦倍率(zoom value)值变化到预备切换的阈值时,则首先以低帧率启动副摄镜头(第二摄像头),开始输出图像数据,由于带宽限制,副摄镜头只能以低帧率输出图像数据,而主摄仍以原帧率进行数据输出;但由于应用处理器AP侧通道(pipeline)和对齐算法的处理配置和需求,需要提前进行插帧处理,以保证后端收到的帧率符合要求。
进而,后端(图像处理芯片)中的算法则可以在根据得到的主副摄数据对图像进行图像融合处理时,可以实时的将处理后的效果参数跟随请求参数下发给前端模块,插帧模块(前端模块)则可以根据效果参数实时调整插帧指标,即实时调整副摄数据流的插帧效果,使得后续的图像融合效果逐渐向好的方向进行收敛;直到触发数据流的切换,完成SAT的整个流程。
具体实现方案如下:如图3B所示,打开相机,开始图像预览;用户则可以根据自己的需求对倍率进行调整(用户对倍率进行调整时会引起zoom value的逐步变化);当倍率(zoom value)变到一定程度时,触发副摄的开启,副摄以低帧率进行数据流输出;同时,后端的空间对齐算法启动,开始准备利用双摄的图像数据进行空间对齐处理;插帧算法对数据进行插帧处理以保证对齐算法收到的数据帧的帧率是符合自身需求的;对齐算法根据对齐效果设置插帧的需求参数,并将其添加到每一帧的request参数中;在对下一帧进行插帧处理时则对本参数进行解析并据此调节插帧效果,以使得最终的效果能够满足空间对齐处理的需求;当空间对齐完成后(且倍率变化到需要切换主副摄的倍率)进行主副摄的切换;切换时注意对不同sensor的帧率进行调整;完成后关闭插帧算法和空间对齐算法即完成了整个SAT切换的流程。
举例说明下,如图3B所示,上述图像处理方法的流程示意图,可以包括如下步骤S1-S9:
S1、打开相机,开始图像预览;
S2、用户进行倍率调整(例如0.6X,1X,2X,5X,20X等);
S3、触发副摄的开启,副摄以低帧率进行数据流输出;
S4、同时初始化空间对齐算法以及对应的插帧算法对数据进行插帧处理以及后续的空间对齐处理;
S5、空间对齐算法根据自身需求设置插帧的需求参数,并将其添加到每一帧的request参数中(例如可以设置不同的插帧level以代表不同的阶段对插帧效果的要求);
S6、插帧处理时则对本参数进行解析并据此调节插帧效果,以使得最终的效果能够满足空间对齐处理的需求;
S7、进行主副摄的切换,并切换时注意对不同sensor的帧率进行调整(包括对副摄的关闭处理);
S8、关闭插帧算法和空间对齐算法,完成了整个SAT切换流程。
S9、继续预览或拍摄处理。
进一步的,如图3C,其为SAT切换时序示意图,具体实现中,可以在捕获到请求之后,处理捕获请求,进而,基于第二摄像头的相关参数配置插帧模块,再配置第二摄像头,设置数据流,以启动插帧模块,进行插帧处理,在插帧完成之后,流出第二摄像头的数据流作为预览图像,再配置第二摄像头实现插帧效果,接着,可以关闭第一摄像头。
插帧处理时在刚开始的阶段可以使用将当前数据帧多送几次的方式满足后端算法的帧率需求,在随着对齐效果逐渐提升的过程插帧算法也逐步对自身的插帧效果进行调整,使得插帧效果越来越好,逐步接近真实的高帧率效果,以此保证最终空间对齐处理的准确性。
具体实现中,插帧时可以先对整幅图像不同区域内物体的运动趋势或参数进行分析,如图3D-图3E所示,例如,可以先根据主体物体的特点选取一定的特征点作为判断的标准,得到不同物体所在区域的运动参数,例如速度和方向;进而,可以根据所得到的参数进行插帧处理;例如,可以对比当前帧和前一帧(包括所插的图像帧)同一特征点的相对变化距离和方向,结合帧与帧之间的时间间隔(例如33ms或16ms)进行分区域的插帧处理,最终得到整体的插帧效果。
具体实现中,插帧处理可以和重复送帧方案结合使用,例如,当对图像效果要求不高时可以每两帧做一帧插帧处理,而所欠缺的数据帧可以对当前帧进行二次传递;当组件接近要切换镜头的阈值时再对缺失的数据帧做完全的插帧处理,即不再进行重复送帧,对所缺失的帧全部通过插帧得到,以保证数据流的对齐效果。
具体实现中,在进行空间对齐时当然也可以在前端先将副摄数据处理成灰度图,只反映图像的亮度信息,而隔一帧或两帧才给出一帧彩色图像保证对齐的处理效果。
具体实现中,本申请实施例,可以根据后端对齐算法的帧率需求动态的对图像数据进行插帧处理不仅在低带宽的限制下满足了后端处理算法的帧率需求,还可以根据算法的处理效果实时动态的调整插帧效果,可以在保证对齐效果的基础上减少插帧算法的处理压力,即降低对系统性能的占用。此外本申请实施例的使用可以使得低端平台(帧率受限)也能有这较好的SAT切换效果,能够很好的提升用户的体验,增强用户对产品的满意度。
具体实现中,当需要进行侵权检测时,首先,可以通过检查相关的性能说明文档,了解相关带宽的值是多少,最大支持的分辨率和帧率是多少;初步判断在SAT切换时双摄同开是否受到限制。进一步地,可以在切换时通过log文件确认AP侧的通道(pipeline)配置是否有修改,如果没有修改,而且数据流接收正常,则可以推测前端有使用插帧或一帧多送的方式满足了后端处理算法的处理需求,进而,可以初步进行侵权检测,当然,为了确保侵权检测的精准度,还可以进一步确认是否真正构成侵权。
可以看出,本申请实施例中所描述的图像处理方法,应用于电子设备,电子设备包括第一摄像头和第二摄像头,第一摄像头与第二摄像头的拍摄范围存在重叠区域;方法包括:以第一帧率播放预览图像,预览图像为第一摄像头拍摄的第一图像;在第一摄像头切换为第二摄像头时,通过第二摄像头以第二帧率获取第一视频流,第一视频流包括P帧图像,第二帧率小于第一帧率,P为正整数;对P帧图像进行插帧处理,得到第二视频流,第二视频流包括Q帧图像,Q帧图像对应第三帧率,第三帧率大于第二帧率,且第三帧率与第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;将Q帧图像作为预览图像,根据第三帧率播放预览图像,由于在变焦的过程中,对切换后镜头的拍摄图像进行插帧处理,进而,可以缩减镜头切换前后的帧率差,保证镜头切换的流畅性以及减少图像的跃变。
与上述图3A所示的实施例一致地,请参阅图4,图4是本申请实施例提供的一种图像处理方法的流程示意图,应用于电子设备,如图所示,本图像处理方法包括:
401、以第一帧率播放预览图像,所述预览图像为所述第一摄像头拍摄的第一图像。
402、获取目标变焦倍率。
403、在所述目标变焦倍率大于第二预设阈值时,触发将所述第一摄像头切换为所述第二摄像头。
404、通过所述第二摄像头以第二帧率获取第一视频流,所述第一视频流包括P帧图像,所述第二帧率小于第一帧率,所述P为正整数。
405、对所述P帧图像进行插帧处理,得到第二视频流,所述第二视频流包括Q帧图像,所述Q帧图像对应第三帧率,所述第三帧率大于所述第二帧率,且所述第三帧率与所述第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;
406、将所述Q帧图像作为所述预览图像,根据所述第三帧率播放所述预览图像。
其中,上述步骤401-步骤406的具体描述可以参照如图3A所示的图像处理方法的相应步骤,在此不再赘述。
可以看出,本申请实施例中所描述的图像处理方法,应用于电子设备,电子设备包括第一摄像头和第二摄像头,第一摄像头与第二摄像头的拍摄范围存在重叠区域;获取目标变焦倍率;在目标变焦倍率大于第二预设阈值时,触发将第一摄像头切换为第二摄像头;以第一帧率播放预览图像,预览图像为第一摄像头拍摄的第一图像;在第一摄像头切换为第二摄像头时,通过第二摄像头以第二帧率获取第一视频流,第一视频流包括P帧图像,第二帧率小于第一帧率,P为正整数;对P帧图像进行插帧处理,得到第二视频流,第二视频流包括Q帧图像,Q帧图像对应第三帧率,第三帧率大于第二帧率,且第三帧率与第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;将Q帧图像作为预览图像,根据第三帧率播放预览图像,由于在变焦的过程中,对切换后镜头的拍摄图像进行插帧处理,进而,可以缩减镜头切换前后的帧率差,保证镜头切换的流畅性以及减少图像的跃变。
与上述实施例一致地,请参阅图5,图5是本申请实施例提供的一种电子设备的结构示意图,如图所示,该电子设备包括处理器、存储器、通信接口以及一个或多个程序,所述电子设备还包括第一摄像头和第二摄像头,所述第一摄像头与所述第二摄像头的拍摄范围存在重叠区域;其中,上述一个或多个程序被存储在上述存储器中,并且被配置由处理器执行,本申请实施例中,上述程序包括用于执行以下步骤的指令:
以第一帧率播放预览图像,所述预览图像为所述第一摄像头拍摄的第一图像;
在所述第一摄像头切换为所述第二摄像头时,通过所述第二摄像头以第二帧率获取第一视频流,所述第一视频流包括P帧图像,所述第二帧率小于第一帧率,所述P为正整数;
对所述P帧图像进行插帧处理,得到第二视频流,所述第二视频流包括Q帧图像,所述Q帧图像对应第三帧率,所述第三帧率大于所述第二帧率,且所述第三帧率与所述第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;
将所述Q帧图像作为所述预览图像,根据所述第三帧率播放所述预览图像。
可选的,在所述对所述P帧图像进行插帧处理,得到第二视频流方面,上述程序包括用于执行以下步骤的指令:
将所述第一图像与所述P帧图像进行空间对齐处理;
对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
可选的,在所述对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流方面,上述程序包括用于执行以下步骤的指令:
确定所述第一帧率与所述第二帧率之间的目标差值;
根据所述目标差值确定目标插帧数量;
根据所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
可选的,在所述根据所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流方面,上述程序包括用于执行以下步骤的指令:
获取目标空间对齐算法的目标插帧需求参数;
确定与所述目标插帧需求参数对应的目标插帧处理参数;
根据所述目标插帧处理参数和所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
可选的,在所述对所述P帧图像进行插帧处理,得到第二视频流方面,上述程序包括用于执行以下步骤的指令:
对所述P帧图像进行插帧处理,得到所述Q帧图像;
将所述第一图像与所述Q帧图像进行空间对齐处理,得到所述第二视频流。
可选的,上述程序还包括用于执行以下步骤的指令:
获取目标变焦倍率;
在所述目标变焦倍率大于第二预设阈值时,确定将所述第一摄像头切换为所述第二摄像头。
可选的,上述程序还包括用于执行以下步骤的指令:
根据所述目标变焦倍率确定所述第三帧率。
可选的,上述程序还包括用于执行以下步骤的指令:
在所述第一摄像头切换为所述第二摄像头之后,将所述第一摄像头的帧率调整为预设帧率,所述预设帧率小于所述第三帧率;
和/或,
在所述第一摄像头切换为所述第二摄像头之后,关闭所述第一摄像头。
可以看出,本申请实施例中所描述的图像处理方法及相关装置,应用于电子设备,电子设备包括第一摄像头和第二摄像头,第一摄像头与第二摄像头的拍摄范围存在重叠区域;方以第一帧率播放预览图像,预览图像为第一摄像头拍摄的第一图像;在第一摄像头切换为第二摄像头时,通过第二摄像头以第二帧率获取第一视频流,第一视频流包括P帧图像,第二帧率小于第一帧率,P为正整数;对P帧图像进行插帧处理,得到第二视频流,第二视频流包括Q帧图像,Q帧图像对应第三帧率,第三帧率大于第二帧率,且第三帧率与第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;将Q帧图像作为预览图像,根据第三帧率播放预览图像,由于在变焦的过程中,对切换后镜头的拍摄图像进行插帧处理,进而,可以缩减镜头切换前后的帧率差,保证镜头切换的流畅性以及减少图像的跃变。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图6是本申请实施例中所涉及的图像处理装置600的功能单元组成框图。该图像处理装置600应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述第一摄像头与所述第二摄像头的拍摄范围存在重叠区域;所述装置600包括:所述装置包括:播放单元601、获取单元602、插帧单元603,其中,
所述播放单元601,用于以第一帧率播放预览图像,所述预览图像为所述第一摄像头拍摄的第一图像;
所述获取单元602,用于在所述第一摄像头切换为所述第二摄像头时,通过所述第二摄像头以第二帧率获取第一视频流,所述第一视频流包括P帧图像,所述第二帧率小于第一帧率,所述P为正整数;
所述插帧单元603,用于对所述P帧图像进行插帧处理,得到第二视频流,所述第二视频流包括Q帧图像,所述Q帧图像对应第三帧率,所述第三帧率大于所述第二帧率,且所述第三帧率与所述第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;
所述播放单元601,还用于将所述Q帧图像作为所述预览图像,根据所述第三帧率播放所述预览图像。
可选的,在所述对所述P帧图像进行插帧处理,得到第二视频流方面,所述插帧单元603具体用于:
将所述第一图像与所述P帧图像进行空间对齐处理;
对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
可选的,在所述对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流方面,所述插帧单元603具体用于:
确定所述第一帧率与所述第二帧率之间的目标差值;
根据所述目标差值确定目标插帧数量;
根据所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
可选的,在所述根据所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流方面,所述插帧单元603具体用于:
获取目标空间对齐算法的目标插帧需求参数;
确定与所述目标插帧需求参数对应的目标插帧处理参数;
根据所述目标插帧处理参数和所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
可选的,在所述对所述P帧图像进行插帧处理,得到第二视频流方面,所述插帧单元603具体用于:
对所述P帧图像进行插帧处理,得到所述Q帧图像;
将所述第一图像与所述Q帧图像进行空间对齐处理,得到所述第二视频流。
可选的,所述装置600还具体用于:
获取目标变焦倍率;
在所述目标变焦倍率大于第二预设阈值时,确定将所述第一摄像头切换为所述第二摄像头。
可选的,所述装置600还具体用于:
根据所述目标变焦倍率确定所述第三帧率。
可选的,所述装置600还具体用于:
在所述第一摄像头切换为所述第二摄像头之后,将所述第一摄像头的帧率调整为预设帧率,所述预设帧率小于所述第三帧率;
和/或,
在所述第一摄像头切换为所述第二摄像头之后,关闭所述第一摄像头。
可以看出,本申请实施例中所描述的图像处理装置,应用于电子设备,电子设备包括第一摄像头和第二摄像头,第一摄像头与第二摄像头的拍摄范围存在重叠区域;以第一帧率播放预览图像,预览图像为第一摄像头拍摄的第一图像;在第一摄像头切换为第二摄像头时,通过第二摄像头以第二帧率获取第一视频流,第一视频流包括P帧图像,第二帧率小于第一帧率,P为正整数;对P帧图像进行插帧处理,得到第二视频流,第二视频流包括Q帧图像,Q帧图像对应第三帧率,第三帧率大于第二帧率,且第三帧率与第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;将Q帧图像作为预览图像,根据第三帧率播放预览图像,由于在变焦的过程中,对切换后镜头的拍摄图像进行插帧处理,进而,可以缩减镜头切换前后的帧率差,保证镜头切换的流畅性以及减少图像的跃变。
需要注意的是,本申请实施例所描述的电子设备是以功能单元的形式呈现。这里所使用的术语“单元”应当理解为尽可能最宽的含义,用于实现各个“单元”所描述功能的对象例如可以是集成电路ASIC,单个电路,用于执行一个或多个软件或固件程序的处理器(共享的、专用的或芯片组)和存储器,组合逻辑电路,和/或提供实现上述功能的其他合适的组件。
其中,播放单元601、获取单元602、插帧单元603可以是处理器,该处理器可以为人工智能芯片、NPU、CPU、GPU等等,在此不做限定。基于上述单元模块能够实现上述任一方法的功能或者步骤。
本实施例还提供了一种计算机可读存储介质,其中,该计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例,以用于实现上述实施例中的任一方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的任一方法。
另外,本申请的实施例还提供一种图像处理装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的任一方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种图像处理方法,其特征在于,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述第一摄像头与所述第二摄像头的拍摄范围存在重叠区域;所述方法包括:
以第一帧率播放预览图像,所述预览图像为所述第一摄像头拍摄的第一图像;
在所述第一摄像头切换为所述第二摄像头时,通过所述第二摄像头以第二帧率获取第一视频流,所述第一视频流包括P帧图像,所述第二帧率小于第一帧率,所述P为正整数;
对所述P帧图像进行插帧处理,得到第二视频流,所述第二视频流包括Q帧图像,所述Q帧图像对应第三帧率,所述第三帧率大于所述第二帧率,且所述第三帧率与所述第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;
将所述Q帧图像作为所述预览图像,根据所述第三帧率播放所述预览图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述P帧图像进行插帧处理,得到第二视频流,包括:
将所述第一图像与所述P帧图像进行空间对齐处理;
对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
3.根据权利要求2所述的方法,其特征在于,所述对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流,包括:
确定所述第一帧率与所述第二帧率之间的目标差值;
根据所述目标差值确定目标插帧数量;
根据所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流,包括:
获取目标空间对齐算法的目标插帧需求参数;
确定与所述目标插帧需求参数对应的目标插帧处理参数;
根据所述目标插帧处理参数和所述目标插帧数量对空间对齐处理后的所述P帧图像进行插帧处理,得到所述第二视频流。
5.根据权利要求1所述的方法,其特征在于,所述对所述P帧图像进行插帧处理,得到第二视频流,包括:
对所述P帧图像进行插帧处理,得到所述Q帧图像;
将所述第一图像与所述Q帧图像进行空间对齐处理,得到所述第二视频流。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
获取目标变焦倍率;
在所述目标变焦倍率大于第二预设阈值时,确定将所述第一摄像头切换为所述第二摄像头。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
根据所述目标变焦倍率确定所述第三帧率。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
在所述第一摄像头切换为所述第二摄像头之后,将所述第一摄像头的帧率调整为预设帧率,所述预设帧率小于所述第三帧率;
和/或,
在所述第一摄像头切换为所述第二摄像头之后,关闭所述第一摄像头。
9.一种图像处理装置,其特征在于,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述第一摄像头与所述第二摄像头的拍摄范围存在重叠区域;所述装置包括:播放单元、获取单元、插帧单元,其中,
所述播放单元,用于以第一帧率播放预览图像,所述预览图像为所述第一摄像头拍摄的第一图像;
所述获取单元,用于在所述第一摄像头切换为所述第二摄像头时,通过所述第二摄像头以第二帧率获取第一视频流,所述第一视频流包括P帧图像,所述第二帧率小于第一帧率,所述P为正整数;
所述插帧单元,用于对所述P帧图像进行插帧处理,得到第二视频流,所述第二视频流包括Q帧图像,所述Q帧图像对应第三帧率,所述第三帧率大于所述第二帧率,且所述第三帧率与所述第二帧率之间的差值的绝对值小于或等于第一预设阈值,Q为大于P的整数;
所述播放单元,还用于将所述Q帧图像作为所述预览图像,根据所述第三帧率播放所述预览图像。
10.一种电子设备,其特征在于,所述电子设备包括处理器、存储器,所述存储器用于存储一个或多个程序,并且被配置处理器执行,所述程序包括用于执行如权利要求1-8任一项所述的方法中的步骤的指令。
11.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-8任一项所述的方法。
CN202210397874.XA 2022-04-08 2022-04-08 图像处理方法及相关装置 Pending CN116939358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210397874.XA CN116939358A (zh) 2022-04-08 2022-04-08 图像处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210397874.XA CN116939358A (zh) 2022-04-08 2022-04-08 图像处理方法及相关装置

Publications (1)

Publication Number Publication Date
CN116939358A true CN116939358A (zh) 2023-10-24

Family

ID=88386749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210397874.XA Pending CN116939358A (zh) 2022-04-08 2022-04-08 图像处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN116939358A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117750191A (zh) * 2024-02-19 2024-03-22 荣耀终端有限公司 一种摄像头控制方法、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117750191A (zh) * 2024-02-19 2024-03-22 荣耀终端有限公司 一种摄像头控制方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11800221B2 (en) Time-lapse shooting method and device
CN113362783B (zh) 刷新率切换方法和电子设备
EP3893491A1 (en) Method for photographing the moon and electronic device
US20230046708A1 (en) Application Interface Interaction Method, Electronic Device, and Computer-Readable Storage Medium
WO2020019356A1 (zh) 一种终端切换摄像头的方法及终端
US20230276014A1 (en) Photographing method and electronic device
US20220321797A1 (en) Photographing method in long-focus scenario and terminal
CN115473957A (zh) 一种图像处理方法和电子设备
JP7468830B2 (ja) エネルギー効率の良い表示処理方法およびデバイス
CN113099146B (zh) 一种视频生成方法、装置及相关设备
CN116055874B (zh) 一种对焦方法和电子设备
EP3873084A1 (en) Method for photographing long-exposure image and electronic device
CN114827696B (zh) 一种跨设备的音视频数据同步播放的方法和电子设备
CN116939358A (zh) 图像处理方法及相关装置
US20230335081A1 (en) Display Synchronization Method, Electronic Device, and Readable Storage Medium
CN113672133A (zh) 一种多指交互方法及电子设备
CN114945019B (zh) 数据传输方法、装置及存储介质
CN116095512B (zh) 终端设备的拍照方法及相关装置
CN114630153B (zh) 用于应用处理器的参数传输方法、装置及存储介质
CN114596819B (zh) 亮度调节方法及相关装置
CN114422686B (zh) 参数调整方法及相关装置
CN117850925A (zh) 一种服务联动的方法以及电子设备
CN114579900A (zh) 跨设备的页面切换方法、电子设备及存储介质
CN118118734A (zh) 一种视频处理的方法以及电子设备
CN118069262A (zh) 窗口调整方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination