CN115776532B - 一种录像中抓拍图像的方法及电子设备 - Google Patents

一种录像中抓拍图像的方法及电子设备 Download PDF

Info

Publication number
CN115776532B
CN115776532B CN202210111700.2A CN202210111700A CN115776532B CN 115776532 B CN115776532 B CN 115776532B CN 202210111700 A CN202210111700 A CN 202210111700A CN 115776532 B CN115776532 B CN 115776532B
Authority
CN
China
Prior art keywords
image
image processing
domain
frame
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210111700.2A
Other languages
English (en)
Other versions
CN115776532A (zh
Inventor
王宇
朱聪超
肖斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to EP22826796.9A priority Critical patent/EP4171005A4/en
Priority to PCT/CN2022/113982 priority patent/WO2023035920A1/zh
Publication of CN115776532A publication Critical patent/CN115776532A/zh
Application granted granted Critical
Publication of CN115776532B publication Critical patent/CN115776532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

一种录像中抓拍图像的方法及电子设备，涉及拍摄技术领域，可在录像中抓拍图像，提升抓拍的图像质量。电子设备响应于第一操作，显示取景界面；该取景界面显示预览图像流，预览图像流包括基于摄像头采集的n帧第一图像得到的n帧预览图像和抓拍快门，该抓拍快门用于触发电子设备进行抓拍；n帧第一图像存储于第一缓存队列中；电子设备接收用户的第二操作；响应于第二操作，结束录制视频；保存视频；在摄像头采集n帧第一图像中的第q帧第一图像时，接收到用户对抓拍快门的第三操作；响应于第三操作，对保存于第一缓存队列的第q帧第一图像进行图像处理，得到抓拍图像。

Description

一种录像中抓拍图像的方法及电子设备
本申请要求于2021年09月07日提交国家知识产权局、申请号为202111045872.6、发明名称为“一种录像中抓拍图像的方法及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及拍摄技术领域，尤其涉及一种录像中抓拍图像的方法及电子设备。
背景技术
现有的手机一般具有拍照和录像功能，越来越来的人使用手机拍摄照片和视频来记录生活的点点滴滴。其中，手机录制视频(即录像)的过程中，可能会采集到的一些精彩的画面。在手机录像的过程中，用户可能会希望手机可以抓拍到上述精彩的画面，并保存成照片展示给用户。因此，亟待一种可以实现在录像过程中抓拍图像的方案。
发明内容
本申请提供一种录像中抓拍图像的方法及电子设备，可以在录像过程中抓拍图像，并且可以提升抓拍图像的图像质量。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，本申请提供一种录像中抓拍图像的方法，应用于电子设备，所述电子设备包括摄像头，所述方法包括：所述电子设备接收用户的第一操作；其中，所述第一操作用于触发所述电子设备开始录制视频；响应于所述第一操作，所述电子设备显示取景界面，所述取景界面显示预览图像流，所述预览图像流包括n帧预览图像，所述预览图像是所述电子设备接收到所述第一操作后基于所述电子设备的摄像头采集的n帧第一图像得到的，所述取景界面还包括抓拍快门，所述抓拍快门用于触发所述电子设备进行抓拍，所述n帧第一图像存储于所述电子设备的第一缓存队列中，n≥1，n为整数；所述电子设备接收用户的第二操作；所述电子设备响应于所述第二操作，结束录制视频；所述电子设备保存所述视频；其中，在所述摄像头采集n帧第一图像中的第q帧第一图像时，接收到用户对所述抓拍快门的第三操作；所述电子设备响应于所述第三操作，对保存于所述第一缓存队列的所述第q帧第一图像进行图像处理，得到抓拍图像。
该方案中，用户可以通过该抓拍快门实现在电子设备录像过程中抓拍图像。电子设备可以在第一缓存队列缓存摄像头采集的n帧第一图像。如此，即使从接收到用户的抓拍操作(即第三操作)到Snapshot程序接收到抓拍指令，存在延迟时长；接收到用户的抓拍操作时，图像传感器(Sensor)输出的第一图像也可以缓存在第一缓存队列中。可以由电子设备从第一缓存队列中选择抓拍帧(即用户输入抓拍操作时候，摄像头采集的第q帧第一图像)。如此，电子设备便可以从第一缓存队列中得到用户输入抓拍操作时，摄像头采集的图像。另一方面，电子设备还可以对第q帧第一图像进行图像处理得到抓拍图像，可以提升抓拍图像的图像质量。
综上所述，采用本申请实施例的方法，可以在录像过程中抓拍到满足用户需求的图像，并且可以提升抓拍图像的图像质量。
在第一方面的一种可能的实现方式中，n≥2。换言之，第一缓存队列中可以缓存多帧第一图像。如此，即使从接收到用户的抓拍操作到Snapshot程序接收到抓拍指令，存在延迟时长(如120ms-160ms)；在这段延迟时长内Sensor出帧都可以缓存在Buffer中。因此，电子设备接收到用户的抓拍操作时，Sensor输出的Bayer图像也可以缓存在第一缓存队列中。并且，短时间内Sensor出帧的图像内容不会发生太大变化。如此，可以由电子设备的选帧模块根据Buffer中缓存的图像的附加信息，从Buffer中选择出图像质量较好的一帧图像作为抓拍图像。这样，可以提升抓拍图像的图像质量。
在第一方面的另一种可能的实现方式中，所述对保存于所述第一缓存队列的所述第q帧第一图像进行图像处理，得到抓拍图像，包括：所述电子设备对所述m帧第一图像进行图像处理，得到所述抓拍图像，其中，所述m帧第一图像包括所述第q帧第一图像，m≥1，m为整数。
在该实现方式中，电子设备可以对一帧或多帧第一图像进行图像处理。其中，m≥2的情况下，电子设备可以对多帧第一图像进行图像处理，该m帧第一图像中除第q帧第一图像之外的其他图像，可以对抓拍帧(即第q帧第一图像，也称为参考帧)起到画质增强的作用，有利于获取噪声和纹理等信息，可以进一步提升抓拍图像的画质。
在第一方面的另一种可能的实现方式中，所述图像处理包括RAW域的图像处理和ISP图像处理，所述RAW域的图像处理为在RAW颜色空间进行的图像处理，所述ISP图像处理为采用所述电子设备的图像信号处理器ISP进行的图像处理，所述抓拍图像的图像画质优于所述第q帧第一图像的图像画质；或者，所述图像处理包括所述RAW域图像处理、所述ISP图像处理和编码处理，所述抓拍图像的图像画质优于所述第q帧第一图像的图像画质。
其中，上述RAW域的图像处理可以通过预设RAW域图像处理算法来实现。ISP图像处理则可以通过电子设备的ISP来实现。
在第一方面的另一种可能的实现方式中，所述电子设备对所述m帧第一图像进行图像处理，得到所述抓拍图像，包括：所述电子设备将所述m帧第一图像作为输入，运行预设原始RAW域图像处理算法，得到第二图像；其中，所述预设RAW域图像处理算法具备提升图像画质的功能；所述预设RAW域图像处理算法中集成了所述RAW域、RGB域或者YUV域的图像处理功能中的至少一项图像处理功能，用于在所述ISP进行图像处理前提升图像的画质；所述电子设备采用所述ISP处理所述第二图像，对处理后的图像进行编码得到所述抓拍图像。
该实现方式中，增加了预设RAW域图像处理算法的算法处理，相比于完全采用ISP的硬件RAW域的图像处理、RGB域的图像处理和YUV域的图像处理，预设RAW域图像处理算法与ISP结合的处理效果更好，有助于提升抓拍图像的图像质量。
在第一方面的另一种可能的实现方式中，预设RAW域图像处理算法输入的图像格式为Bayer格式，输出的图像格式也是Bayer格式。
具体的，所述电子设备将所述m帧第一图像作为输入，运行预设RAW域图像处理算法，得到第二图像，包括：所述电子设备将拜耳Bayer格式的所述m帧第一图像作为输入，运行所述预设RAW域图像处理算法，得到Bayer格式的第二图像；其中，所述预设RAW域图像处理算法中集成了所述RAW域、所述RGB域或者所述YUV域中至少一项的部分图像处理功能，用于在所述ISP进行图像处理前提升图像的画质。
相应的，所述电子设备采用所述ISP处理所述第二图像，对处理后的图像进行编码得到所述抓拍图像，包括：所述电子设备采用所述ISP依次对所述第二图像进行所述RAW域的图像处理、所述RGB域的图像处理和所述YUV域的图像处理，对处理后的图像进行编码得到所述第抓拍图像。
在该实现方式中，上述电子设备采用ISP所做的图像处理，还可以包括Bayer格式到RGB格式的转换，以及RGB格式到YUV格式的转换。
在第一方面的另一种可能的实现方式中，预设RAW域图像处理算法输入的图像格式为Bayer格式，输出的图像格式是RGB格式。预设RAW域图像处理算法执行了Bayer格式到RGB格式的转换。
具体的，所述电子设备将所述m帧第一图像作为输入，运行预设RAW域图像处理算法，得到第二图像，包括：所述电子设备将Bayer格式的所述m帧第一图像作为输入，运行所述预设RAW域图像处理算法，得到RGB格式的第二图像；其中，所述预设RAW域图像处理算法中集成了所述RAW域的图像处理功能，用于在所述ISP对图像进行RGB域和YUV域的图像处理前提升图像的画质。
相应的，所述电子设备采用所述ISP处理所述第二图像，对处理后的图像进行编码得到所述抓拍图像，包括：所述电子设备采用所述ISP依次对所述第二图像进行所述RGB域的图像处理和所述YUV域的图像处理，对处理后的图像进行编码得到所述抓拍图像。
在该实现方式中，上述电子设备采用ISP所做的图像处理，还可以包括RGB格式到YUV格式的转换。
在第一方面的另一种可能的实现方式中，所述预设RAW域图像处理算法中还集成了所述RGB域或者所述YUV域中至少一项的部分图像处理功能，用于在所述ISP进行RGB域的图像处理前提升图像的画质。
在第一方面的另一种可能的实现方式中，预设RAW域图像处理算法输入的图像格式为Bayer格式，输出的图像格式是YUV格式。预设RAW域图像处理算法执行了Bayer格式到RGB格式的转换，以及RGB格式到YUV格式的转换。
具体的，所述电子设备将所述m帧第一图像作为输入，运行预设RAW域图像处理算法，得到第二图像，包括：所述电子设备将Bayer格式的所述m帧第一图像作为输入，运行所述预设RAW域图像处理算法，得到YUV格式的第二图像；其中，所述预设RAW域图像处理算法中集成了所述RAW域的图像处理功能和所述RGB域的图像处理功能，用于在所述ISP对图像进行YUV域的图像处理前提升图像的画质。
相应的，所述电子设备采用所述ISP处理所述第二图像，对处理后的图像进行编码得到所述抓拍图像，包括：所述电子设备采用所述ISP对所述第二图像进行所述YUV域的图像处理，对处理后的图像进行编码得到所述抓拍图像。
在第一方面的另一种可能的实现方式中，上述预设RAW域图像处理算法中还集成了YUV域的部分图像处理功能，用于在ISP进行YUV域的图像处理前提升图像的画质。
在第一方面的另一种可能的实现方式中，在电子设备的摄像头采集第一图像之后，电子设备显示取景界面之前，电子设备可以采用电子设备的ISP，依次对第一图像进行RAW的图像处理、RGB域的图像处理和YUV域的图像处理，得到预览图像。
其中，电子设备处理第一图像得到预览图像并不会受到“电子设备处理第一图像得到抓拍图像”的影响。
在第一方面的另一种可能的实现方式中，所述电子设备通过时分复用的方式，采用所述ISP处理所述第一图像和所述第二图像。也就是说，电子设备采用ISP处理第二图像得到抓拍图像，并不会影响电子设备采用ISP处理第一图像得到预览图像。换言之，电子设备处理抓拍图像，并不会影响电子设备处理预览图像流和录像文件。
第二方面，本申请提供一种录像中抓拍图像的方法，应用于电子设备，所述电子设备包括摄像头，所述方法包括：所述电子设备接收用户的第一操作；其中，所述第一操作用于触发所述电子设备开始录制视频；响应于所述第一操作，所述电子设备显示取景界面；其中，所述取景界面显示预览图像流，所述预览图像流包括n帧预览图像，所述预览图像是所述电子设备接收到所述第一操作后基于所述电子设备的摄像头采集的n帧第一图像得到的，所述取景界面还包括抓拍快门，所述抓拍快门用于触发所述电子设备进行抓拍，所述n帧第一图像存储于所述电子设备的第一缓存队列中，n≥1，n为整数；所述电子设备周期性对所述第一缓存队列中缓存的k帧第一图像进行图像处理，得到第二图像，k≥1，k为整数；所述电子设备接收用户的第二操作；所述电子设备响应于所述第二操作，结束录制视频；所述电子设备保存所述视频；其中，在所述摄像头采集n帧第一图像中的第q帧第一图像时，接收到用户对所述抓拍快门的第三操作；所述电子设备响应于所述第三操作，采用所述电子设备接收到所述第三操作时得到的最近一帧的第二图像对第四图像进行画质增强，得到抓拍图像；其中，所述第四图像是所述视频中时间信息与所述第q帧第一图像的时间信息相同的一帧图像。
相比于第一方面提供的方案，采用第二方面提供的方案，可以减少第一缓存队列中缓存的图像帧的数量。具体的，假设从接收到用户的抓拍操作到Snapshot程序接收到抓拍指令的延迟时长是330毫秒(ms)，手机的Sensor每30毫秒(ms)曝光一帧第一图像。执行第一方面提供的方案，为了保证手机的选帧模块可以从第一缓存队列中选出手机接收第三操作的时刻Sensor曝光的第一图像，则第一缓存队列中至少需要缓存10帧图像。而采用第二方面提供的方案，第二图像只是用于增强用户想要抓拍的第四图像，因此不需要缓存较多的图像帧来生成第二图像。
在第二方面的另一种可能的实现方式中，n≥2。其中，第二方面的任一种可能的实现方式中，n≥2的有益效果分析，可以参考第一方面的一种实现方式中的介绍，这里不予赘述。
在第二方面的另一种可能的实现方式中，k≥2。其中，第二方面的任一种可能的实现方式中，k≥2的有益效果分析，可以参考第一方面的一种实现方式中对m≥2的介绍，这里不予赘述。
在第二方面的另一种可能的实现方式中，上述画质增强包括图像超分辨。也就是说，电子设备采用第三图像对第四图像进行画质增强，还可以提升第四图像的分辨率。其中，第三图像和抓拍图像的分辨率高于第四图像的分辨率。
在第二方面的另一种可能的实现方式中，所述图像处理包括RAW域的图像处理和图像信号处理器ISP图像处理，所述RAW域的图像处理为在RAW颜色空间进行的图像处理，所述ISP图像处理为采用所述电子设备的图像信号处理器ISP进行的图像处理，所述第二图像的图像画质优于所述k帧第一图像的图像画质；或者，所述图像处理包括所述RAW域图像处理、所述ISP图像处理和编码处理，所述第二图像的图像画质优于所述k帧第一图像的图像画质。该实现方式的有益效果可以参考第一方面的可能的实现方式中的详细描述，这里不予赘述。
在第二方面的另一种可能的实现方式中，所述电子设备周期性对所述第一缓存队列中缓存的k帧第一图像进行图像处理，得到第二图像，包括：所述电子设备周期性将所述第一缓存队列中缓存的k帧第一图像作为输入，运行预设RAW域图像处理算法得到第三图像；其中，所述预设RAW域图像处理算法具备提升图像画质的功能；所述电子设备采用所述电子设备的ISP处理所述第三图像，得到所述第二图像。该实现方式的有益效果可以参考第一方面的可能的实现方式中的详细描述，这里不予赘述。
第三方面，本申请提供一种电子设备，该电子设备包括触摸屏、存储器、显示屏、一个或多个摄像头和一个或多个处理器。该存储器、显示屏、摄像头与处理器耦合。其中，摄像头用于采集图像，显示屏用于显示摄像头采集的图像或者处理器生成的图像，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得电子设备执行如第一方面或第二方面及其任一种可能的实现方式所述的方法。
第四方面，本申请提供一种电子设备，所述电子设备包括触摸屏、存储器、显示屏、一个或多个摄像头和一个或多个处理器。所述存储器、所述显示屏、所述摄像头与所述处理器耦合；其中，所述摄像头用于采集图像，所述显示屏用于显示所述摄像头采集的图像或者所述处理器生成的图像，所述存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述处理器执行时，使得所述电子设备执行如下步骤：接收用户的第一操作；其中，所述第一操作用于触发所述电子设备开始录制视频；响应于所述第一操作，显示取景界面，所述取景界面显示预览图像流，所述预览图像流包括n帧预览图像，所述预览图像是所述电子设备接收到所述第一操作后基于所述电子设备的摄像头采集的n帧第一图像得到的，所述取景界面还包括抓拍快门，所述抓拍快门用于触发所述电子设备进行抓拍，所述n帧第一图像存储于所述电子设备的第一缓存队列中，n≥1，n为整数；接收用户的第二操作；响应于所述第二操作，结束录制视频；保存所述视频；其中，在所述摄像头采集n帧第一图像中的第q帧第一图像时，接收到用户对所述抓拍快门的第三操作；响应于所述第三操作，对保存于所述第一缓存队列的所述第q帧第一图像进行图像处理，得到抓拍图像。
在第四方面的一种可能的实现方式中，n≥2。
在第四方面的另一种可能的实现方式中，m≥2。
在第四方面的另一种可能的实现方式中，当计算机指令被所述处理器执行时，使得所述电子设备还执行如下步骤：对所述m帧第一图像进行图像处理，得到所述抓拍图像，其中，所述m帧第一图像包括所述第q帧第一图像，m≥1，m为整数。
在第四方面的另一种可能的实现方式中，m帧第一图像为相邻的m帧图像。
在第四方面的另一种可能的实现方式中，所述所述图像处理包括RAW域的图像处理和ISP图像处理，所述RAW域的图像处理为在RAW颜色空间进行的图像处理，所述ISP图像处理为采用所述电子设备的图像信号处理器ISP进行的图像处理，所述抓拍图像的图像画质优于所述第q帧第一图像的图像画质；或者，所述图像处理包括所述RAW域图像处理、所述ISP图像处理和编码处理，所述抓拍图像的图像画质优于所述第q帧第一图像的图像画质
在第四方面的另一种可能的实现方式中，当所述计算机指令被所述处理器执行时，使得所述电子设备还执行如下步骤：将所述m帧第一图像作为输入，运行预设原始RAW域图像处理算法，得到第二图像；其中，所述预设RAW域图像处理算法具备提升图像画质的功能；所述预设RAW域图像处理算法中集成了所述RAW域、RGB域或者YUV域的图像处理功能中的至少一项图像处理功能，用于在所述ISP进行图像处理前提升图像的画质；采用所述ISP处理所述第二图像，对处理后的图像进行编码得到所述抓拍图像。
在第四方面的另一种可能的实现方式中，当所述计算机指令被处理器执行时，使得所述电子设备还执行如下步骤：将拜耳Bayer格式的所述m帧第一图像作为输入，运行所述预设RAW域图像处理算法，得到Bayer格式的第二图像；其中，所述预设RAW域图像处理算法中集成了所述RAW域、所述RGB域或者所述YUV域中至少一项的部分图像处理功能，用于在所述ISP进行图像处理前提升图像的画质；采用所述ISP依次对所述第二图像进行所述RAW域的图像处理、所述RGB域的图像处理和所述YUV域的图像处理，对处理后的图像进行编码得到所述抓拍图像。
在第四方面的另一种可能的实现方式中，当所述计算机指令被处理器执行时，使得所述电子设备还执行如下步骤：将Bayer格式的所述m帧第一图像作为输入，运行所述预设RAW域图像处理算法，得到RGB格式的第二图像；其中，所述预设RAW域图像处理算法中集成了所述RAW域的图像处理功能，用于在所述ISP对图像进行RGB域和YUV域的图像处理前提升图像的画质；采用所述ISP依次对所述第二图像进行所述RGB域的图像处理和所述YUV域的图像处理，对处理后的图像进行编码得到所述抓拍图像。
在第四方面的另一种可能的实现方式中，所述预设RAW域图像处理算法中还集成了所述RGB域或者所述YUV域中至少一项的部分图像处理功能，用于在所述ISP进行RGB域的图像处理前提升图像的画质。
在第四方面的另一种可能的实现方式中，当所述计算机指令被处理器执行时，使得所述电子设备还执行如下步骤：将Bayer格式的所述m帧第一图像作为输入，运行所述预设RAW域图像处理算法，得到YUV格式的第二图像；其中，所述预设RAW域图像处理算法中集成了所述RAW域的图像处理功能和所述RGB域的图像处理功能，用于在所述ISP对图像进行YUV域的图像处理前提升图像的画质；采用所述ISP对所述第二图像进行所述YUV域的图像处理，对处理后的图像进行编码得到所述抓拍图像。
在第四方面的另一种可能的实现方式中，所述预设RAW域图像处理算法中还集成了所述YUV域的部分图像处理功能，用于在所述ISP进行YUV域的图像处理前提升图像的画质。
在第四方面的另一种可能的实现方式中，当所述计算机指令被处理器执行时，使得所述电子设备还执行如下步骤：采用所述电子设备的ISP，依次对所述第一图像进行RAW的图像处理、RGB域的图像处理和YUV域的图像处理，得到所述预览图像；通过时分复用的方式，采用所述ISP处理所述第一图像得到所述预览图像，处理所述第二图像得到所述抓拍图像。
第五方面，本申请提供一种电子设备，该电子设备包括触摸屏、存储器、显示屏、一个或多个摄像头和一个或多个处理器。所述存储器、所述显示屏、所述摄像头与所述处理器耦合；其中，所述摄像头用于采集图像，所述显示屏用于显示所述摄像头采集的图像或者所述处理器生成的图像，所述存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述处理器执行时，使得所述电子设备执行如下步骤：接收用户的第一操作；其中，所述第一操作用于触发所述电子设备开始录制视频；响应于所述第一操作，显示取景界面；其中，所述取景界面显示预览图像流，所述预览图像流包括n帧预览图像，所述预览图像是所述电子设备接收到所述第一操作后基于所述电子设备的摄像头采集的n帧第一图像得到的，所述取景界面还包括抓拍快门，所述抓拍快门用于触发所述电子设备进行抓拍，所述n帧第一图像存储于所述电子设备的第一缓存队列中，n≥1，n为整数；周期性对所述第一缓存队列中缓存的k帧第一图像进行图像处理，得到第二图像，k≥1，k为整数；接收用户的第二操作；响应于所述第二操作，结束录制视频；保存所述视频；其中，在所述摄像头采集n帧第一图像中的第q帧第一图像时，接收到用户对所述抓拍快门的第三操作；响应于所述第三操作，采用所述电子设备接收到所述第三操作时得到的最近一帧的第二图像对第四图像进行画质增强，得到抓拍图像；其中，所述第四图像是所述视频中时间信息与所述第q帧第一图像的时间信息相同的一帧图像。
在第五方面的另一种可能的实现方式中，所述图像处理包括RAW域的图像处理和图像信号处理器ISP图像处理，所述RAW域的图像处理为在RAW颜色空间进行的图像处理，所述ISP图像处理为采用所述电子设备的图像信号处理器ISP进行的图像处理，所述第二图像的图像画质优于所述k帧第一图像的图像画质；或者，所述图像处理包括所述RAW域图像处理、所述ISP图像处理和编码处理，所述第二图像的图像画质优于所述k帧第一图像的图像画质。
在第五方面的另一种可能的实现方式中，n≥2。
在第五方面的另一种可能的实现方式中，k≥2。
在第五方面的另一种可能的实现方式中，当所述计算机指令被处理器执行时，使得所述电子设备还执行如下步骤：周期性将所述第一缓存队列中缓存的k帧第一图像作为输入，运行预设RAW域图像处理算法得到第三图像；其中，所述预设RAW域图像处理算法具备提升图像画质的功能；采用所述电子设备的ISP处理所述第三图像，得到所述第二图像。
在第五方面的另一种可能的实现方式中，所述画质增强包括图像超分辨；其中，所述第二图像和抓拍图像的分辨率高于所述第q帧第一图像的分辨率。
第六方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面或第二方面及其任一种可能的实现方式所述的方法。
第七方面，本申请提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行如第一方面或第二方面及任一种可能的实现方式所述的方法。该计算机可以是上述电子设备。
可以理解地，上述提供的第三方面、第四方面和第五方面及其任一种可能的实现方式所述的电子设备，第六方面所述的计算机存储介质，第七方面所述的计算机程序产品所能达到的有益效果，可参考第一方面和第二方面及其任一种可能的实现方式中的有益效果，此处不再赘述。
附图说明
图1A为手机录像过程中的一种图像处理流程图；
图1B为手机录像过程中的另一种图像处理流程图；
图2为本申请实施例提供的一种手机的录像取景界面示意图；
图3为本申请实施例提供的一种手机接收抓拍操作到Sensor接收到抓拍指示的延迟时长示意图；
图4A为本申请实施例提供的一种录像中抓拍图像的方法原理框图；
图4B为本申请实施例提供的一种录像中抓拍图像的方法原理框图；
图5A为本申请实施例提供的一种手机的硬件结构示意图；
图5B为本申请实施例提供的一种手机的软件架构示意图；
图6A为本申请实施例提供的一种录像中抓拍图像的方法流程图；
图6B为本申请实施例提供的另一种录像中抓拍图像的方法流程图；
图7为本申请实施例提供的一种手机录像的显示界面示意图；
图8为本申请实施例提供的另一种录像中抓拍图像的方法原理框图；
图9为本申请实施例提供的一种第一缓存队列Buffer的示意图；
图10为本申请实施例提供的另一种手机录像的显示界面示意图；
图11为本申请实施例提供的另一种手机录像的显示界面示意图；
图12为图8所示的原理框图对应的方法流程图；
图13为本申请实施例提供的另一种录像中抓拍图像的方法原理框图；
图14为图13所示的原理框图对应的方法流程图；
图15为本申请实施例提供的另一种录像中抓拍图像的方法原理框图；
图16为图15所示的原理框图对应的方法流程图；
图17为本申请实施例提供的另一种录像中抓拍图像的方法流程图；
图18为本申请实施例提供的一种第一缓存队列缓存第一图像的原理示意图；
图19A为本申请实施例提供的一种第一缓存队列缓存第一图像，以及对第一图像进行图像处理得到第二图像的原理示意图；
图19B为本申请实施例提供的一种第一缓存队列缓存第一图像，以及对第一图像进行图像处理得到第二图像的原理示意图；
图20为本申请实施例提供的另一种录像中抓拍图像的方法原理框图；
图21为本申请实施例提供的另一种录像中抓拍图像的方法原理框图；
图22为本申请实施例提供的另一种录像中抓拍图像的方法原理框图；
图23为本申请实施例提供的一种生成第二图像的原理示意图；
图24为本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
目前，电子设备录像过程中，电子设备的图像传感器(Sensor)受到曝光的控制，可以不断输出图像。每一帧图像经过电子设备的图像信号处理器(image signal processor，ISP)或图像信号处理算法处理，然后经过编码器(ENCODER)进行编码，便可以得到视频文件。以手机为代表的电子设备，其图像传感器输出的原始图像通常为拜耳(Bayer)格式图像，也有部分图像传感器可以输出RGGB、RGBW、CMYK、RYYB、CMY等格式图像。本申请实施例中，以手机的图像传感器输出Bayer格式图像为例进行描述。需要注意的是，输出RGGB、RGBW、CMYK、RYYB、CMY等格式图像的图像传感器以及搭载所述图像传感器的其他电子设备也适用于本申请实施例提供的技术方案。
其中，RGGB为(red green green blue)，RGBW为(red green blue white)，CMYK为(cyan magenta yellow black)，RYYB为(red yellow yellow blue)，CMY为(cyan magentayellow)。
请参考图1A或图1B，其示出手机录像过程中预览图像流和录像文件的处理流程。其中，预览图像流包括手机录像过程中最终在显示屏上呈现给用户的多帧预览图像，录像文件是指最终用于录像结束后以视频文件的格式保存在手机中可供用户查看的视频流。
如图1A或图1B所示，手机的ISP处理图像可以分为三个图像格式域的处理：RAW域的图像处理、RGB域的图像处理和YUV域的图像处理。
RAW域的图像处理可以包括：黑电平(black level correction，BLC)纠正、线性纠正(Linearizaton)、镜头阴影纠正(lens shading correction，LSC)、坏点修复(defectpixel correction，DPC)、RAW降噪(Denoise)、自动白平衡(automatic white balance，AWB)、绿通道平衡(green imbalance，GIC)、去色差(CAC)等处理。
RGB域的图像处理可以包括：去马赛克(Demosiac)、色彩纠正CC、动态范围压缩(dynamic range control，DRC)、Gamma校正、RGB2YUV(RGB格式转换为YUV格式)。
YUV域的图像处理可以包括：UV下采样、色彩增强CE、空间域降噪YUVNF、色彩管理3DLUT、锐化Sharpness、缩放Scalar。
需要说明的是，ISP中“RAW域”、“RGB域”和“YUV域”的划分包括但不限于上述划分方式。例如，去马赛克(Demosiac)还可以包括在“RAW域”中。本申请实施例对此不作限制。
在一种实现方式中，如图1A所示，图像传感器(Sensor)输出图像后，可以由ISP对图像进行“RAW域”、“RGB域”和“YUV域”的图像处理；在“YUV域”图像处理后，可以分为两路数据流。一路数据流采用图1A所示的处理算法1进行处理，然后由显示模组进行编码或格式转换后得到并显示预览图像。另一路数据流采用图1A所示的处理算法2进行处理，然后经过编码器1可编码得到录像文件。
在一种实现方式中，如图1B所示，图像传感器(Sensor)输出图像后，可以由ISP对图像进行“RAW域”和“RGB域”的图像处理；在“RGB域”图像处理后，可以分为两路数据流。一路数据流采用图1B所示的处理算法1进行处理，然后由ISP进行“YUV域”的图像处理，再由显示模组进行编码或格式转换后得到并显示预览图像。另一路数据流采用图1B所示的处理算法2进行处理，然后由ISP进行“YUV域”的图像处理，再经过编码器1可编码得到录像文件。
其中，处理算法1和处理算法2的图像处理可以在RGB域进行，也可以在YUV域进行。
例如，以处理算法1处理图像为例。在ISP对图像进行“RGB域”的图像处理之后，ISP可以采用处理算法1在图像由RGB格式转换为YUV格式之前，对图像进行处理。之后，ISP可以将处理算法1处理后的图像转换为YUV格式，再对图像进行“YUV域”的图像处理。
又例如，仍以处理算法1处理图像为例。在ISP对图像进行“RGB域”的图像处理之后，ISP可以先将图像由RGB格式转换为YUV格式，再采用处理算法1对YUV格式的图像进行处理。之后，ISP可以对处理算法1处理后的图像进行“YUV域”的图像处理。
需要说明的说，上述处理算法1也可以称为预览图像的后处理算法，处理算法2也可以称为录像文件的后处理算法。处理算法1和处理算法2可以包括防抖处理、去噪处理、虚化处理、色彩和亮度调整等处理功能。其中，Sensor输出的图像为拜耳(Bayer)格式的图像(简称Bayer图像)。图1A或图1B中，ISP的“RAW域”输入图像为Bayer格式的图像(即Bayer图像)，ISP的“RAW域”输出图像为RGB格式的图像(简称RGB图像)。图1A或图1B中，ISP的“RGB域”输入图像为RGB格式的图像(即RGB图像)，ISP的“RGB域”输出图像为YUV格式的图像(简称YUV图像)。图1A或图1B中，ISP的“YUV域”输入图像为YUV格式的图像(即YUV图像)，ISP的“YUV域”输出的图像经过编码(ENCODE)可以得到预览图像或录像文件。
其中，Bayer、RGB和YUV是图像的三种表达格式。Bayer图像、RGB图像和YUV图像的详细介绍可以参考常规技术中的相关内容，这里不予赘述。
应注意，由于Sensor输出图像，ISP和编码器(即ENCODER，如显示模组的编码器和编码器1)处理图像均可以用于录制视频；因此，可以将Sensor输出图像、ISP和编码器(ENCODER)处理图像的整个过程中的数据流(如录像文件的数据流和预览图像的数据流)称为视频流。
需要说明的是，手机在录像过程中处理图像得到预览图像流和录像文件的方式包括但不限于图1A和图1B所示的方式，其他的处理方式本申请实施例这里不予赘述。以下实施例中，以图1A所示的处理方式为例，介绍本申请实施例的方法。
手机录像的过程中，手机可以响应于用户的操作抓拍图像。例如，手机可以显示图2所示的录像的取景界面201。该录像的取景界面201包括抓拍快门202，该抓拍快门202用于触发手机抓拍录像过程中的图像并保存成照片。手机响应于用户对图2所示的抓拍按钮202的点击操作，便可以抓拍图像。其中，用户希望手机抓拍的是用户点击抓拍快门202那一瞬间，摄像头采集的图像。
为了实现手机录像中抓拍图像，一些技术方案中，可以选取手机的抓拍(Snapshot)程序接收到抓拍指令时，采集的第1帧图像作为抓拍图像(如图3所示的第7帧图像)。但是，上层应用(如图2所示的录像的取景界面201对应的相机应用)接收到用户的抓拍操作(如用户对抓拍快门202的点击操作)后，到Snapshot程序接收到抓拍指令需要时间(如图3所示的延迟时长)。在这段时间(如图3所示的延迟时长)内，Sensor并不会停止输出Bayer图像。所以，从上层应用接收到用户的抓拍操作，到Snapshot程序接收到抓拍指令，Sensor可能已经输出了多帧Bayer图像。
例如，如图3所示，假设图像传感器(Sensor)输出第3帧Bayer图像时，上层应用接收到抓拍操作；Sensor输出第7帧Bayer图像时，抓拍指令传递到Snapshot程序。如此，采用现有技术的方案，因为图3所示的延迟时长，所以第7帧图像并不是用户点击抓拍快门202瞬间的一帧图像。采用该方案，并不能抓拍到用户真实想要的一帧图像。需要说明的是，图3所示的8帧图像中，第1帧图像是Sensor最早出帧的一帧图像，而第8帧图像是sensor最晚出帧的一帧图像。图像传感器(Sensor)可以从第1帧图像开始，依次曝光输出图3所示的8帧图像。
在另一些实施例中，手机可以截取视频流(如录像文件的数据流和预览图像的数据流)中用户抓拍瞬间采集的一帧图像，作为抓拍图像保存成照片展示给用户。
但是，手机录像过程中，每秒需要处理大量图像(如30帧图像)。如此，留给每一帧图像的运算资源和时间都是有限的；因此，手机一般可以使用ISP的硬件处理模块，采用较为简单的处理方式来处理视频流；而不会使用复杂的算法来提升画质(如去噪和提亮)。这样的图像处理效果，只能满足视频的要求；而拍照对画质的要求则更高。因此，截取视频流中的图像，并不能抓拍到用户满意的图像。
本申请实施例提供一种录像中抓拍图像的方法，可以在录像过程中抓拍图像，并且可以提升抓拍图像的图像质量。
一方面，本申请实施例中，如图4A所示，电子设备(如手机)可以将Sensor曝光输出Bayer图像缓存在一个第一缓存队列(Buffer)中。该第一缓存队列可以缓存多帧Bayer图像。如此，即使从接收到用户的抓拍操作到Snapshot程序接收到抓拍指令，存在图3所示的延迟时长；接收到用户的抓拍操作时，Sensor输出的Bayer图像也可以缓存在第一缓存队列中。如图4A所示，可以由手机的选帧模块从第一缓存队列中选择抓拍帧(即用户输入抓拍操作时候，摄像头采集的第q帧第一图像)。如此，手机则可以从第一缓存队列中得到用户输入抓拍操作时，摄像头采集的图像。
另一方面，如图4A所示，电子设备还可以对第q帧第一图像进行图像处理得到抓拍图像，可以提升抓拍图像的图像质量。
综上所述，采用本申请实施例的方法，可以在录像过程中抓拍到满足用户需求的图像，并且可以提升抓拍图像的图像质量。
进一步的，上述图像处理可以包括预设RAW域图像处理算法的处理和ISP图像处理。如图4B所示，电子设备还可以采用预设RAW域图像处理算法和ISP硬件模块，处理选帧模块选择的抓拍帧得到抓拍图像。在一些实施例中，上述图像处理还可以包括编码处理。例如，如图4B所示，ISP硬件模块处理后的图像可以由编码器(如编码器2)对处理结果进行编码得到抓拍图像。在另一些实施例中，上述编码处理还可以集成在ISP硬件模块中实现。本申请实施例中，编码处理独立于ISP图像处理为例，介绍本申请实施例的方法。
本方案中，增加了预设RAW域图像处理算法的算法处理，相比于完全采用ISP的硬件RAW域的图像处理、RGB域的图像处理和YUV域的图像处理，预设RAW域图像处理算法与ISP结合的处理效果更好，有助于提升抓拍图像的图像质量。
其中，预设RAW域图像处理算法是一个RAW域的画质增强的深度学习网络。该预设RAW域图像处理算法也可以称为预设画质增强算法、预设画质增强算法模型或者预设RAW域AI模型。
示例性的，上述预设RAW域图像处理算法可以运行在电子设备的图形处理器(graphics processing unit，GPU)、神经网络处理器(neural-network processing unit，NPU)或者其他具备运行神经网络模型能力的处理器中。上述任一种处理器在运行预设RAW域图像处理算法之前，可以从内存加载该预设RAW域图像处理算法。
在一些实施例中，预设RAW域图像处理算法可以是软件图像处理算法。该预设RAW域图像处理算法可以是手机的硬件抽象层(hardware abstraction layer，HAL)算法库中的一种软件算法。
在另一些实施例中，预设RAW域图像处理算法可以是硬件图像处理算法。该预设RAW域图像处理算法可以是调用ISP中的“RAW域”图像处理算法能力实现的一种硬件图像处理算法。或者，该预设RAW域图像处理算法可以是调用ISP中的“RAW域”和“RGB域”图像处理算法能力实现的一种硬件图像处理算法。或者，该预设RAW域图像处理算法可以是调用ISP中的“RAW域”、“RGB域”和“YUV域”图像处理算法能力实现的一种硬件图像处理算法。
需要说明的是，预设RAW域图像处理算法也可以称为预设图像处理算法。本申请实施例中之所以称之为预设RAW域图像处理算法，是因为该预设RAW域图像处理算法输入的是RAW域的图像。该预设RAW域图像处理算法输出的可以是RAW域的图像，也可以是RGB域的图像。
图1A或图1B所示的显示模组中的编码器、编码器1和编码器2可以是三个不同的编码器。手机可以采用三个不同的编码器进行编码或者格式转换得到上述预览图像、录像文件和抓拍图像。或者，上述显示模组中的编码器、编码器1和编码器2可以是同一个编码器。一个编码器可以包括多个编码单元。手机可以采用一个编码器中三个不同的编码单元分别进行编码或者格式转换得到上述预览图像、录像文件和抓拍图像。或者，显示模组中的编码器和编码器1可以是同一个编码器中不同的两个编码单元，编码器2可以是另一个编码器。
其中，不同编码器的编码方式可以相同，也可以不同。同一编码器的不同编码单元的编码方式可以相同，也可以不同。因此，上述显示模组中的编码器和编码器1输出的图像格式可以相同，也可以不同。例如，显示模组中的编码器和编码器1输出的图像可以是联合图像专家组(Joint Photographic Experts Group，JPEG)、标签图像文件格式(Tag ImageFile Format，TIFF)等任一种格式的图像。
示例性的，本申请实施例中的电子设备可以是手机、平板电脑、智能手表、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assi stant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等包括摄像头的设备，本申请实施例对该电子设备的具体形态不作特殊限制。
下面将结合附图对本申请实施例的实施方式进行详细描述。请参考图5A，为本申请实施例提供的一种电子设备500的结构示意图。如图5A所示，电子设备500可以包括：处理器510，外部存储器接口520，内部存储器521，通用串行总线(universal serial bus，USB)接口530，充电管理模块540，电源管理模块541，电池542，天线1，天线2，移动通信模块550，无线通信模块560，音频模块570，扬声器570A，受话器570B，麦克风570C，耳机接口570D，传感器模块580，按键590，马达591，指示器592，摄像头593，显示屏594，以及用户标识模块(subscriber identification module，SIM)卡接口595等。
其中，上述传感器模块580可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器和骨传导传感器等传感器。
可以理解的是，本实施例示意的结构并不构成对电子设备500的具体限定。在另一些实施例中，电子设备500可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器510可以包括一个或多个处理单元，例如：处理器510可以包括应用处理器(application processor，AP)，调制解调处理器，GPU，图像信号处理器(image signalprocessor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signalprocessor，DSP)，基带处理器，和/或NPU等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以是电子设备500的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器510中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器510中的存储器为高速缓冲存储器。该存储器可以保存处理器510刚用过或循环使用的指令或数据。如果处理器510需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器510的等待时间，因而提高了系统的效率。
在一些实施例中，处理器510可以包括一个或多个接口。可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备500的结构限定。在另一些实施例中，电子设备500也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块540用于从充电器接收充电输入。充电管理模块540为电池542充电的同时，还可以通过电源管理模块541为电子设备供电。
电源管理模块541用于连接电池542、充电管理模块540与处理器510。电源管理模块541接收电池542和/或充电管理模块540的输入，为处理器510，内部存储器521，外部存储器，显示屏594，摄像头593，和无线通信模块560等供电。
电子设备500的无线通信功能可以通过天线1，天线2，移动通信模块550，无线通信模块560，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。在一些实施例中，电子设备500的天线1和移动通信模块550耦合，天线2和无线通信模块560耦合，使得电子设备500可以通过无线通信技术与网络以及其他设备通信。
电子设备500通过GPU，显示屏594，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏594和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器510可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏594用于显示图像，视频等。该显示屏594包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。
电子设备500可以通过ISP，摄像头593，视频编解码器，GPU，显示屏594以及应用处理器等实现拍摄功能。
ISP用于处理摄像头593反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头593中。
摄像头593用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备500可以包括N个摄像头593，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备500在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备500可以支持一种或多种视频编解码器。这样，电子设备500可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备500的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口520可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备500的存储能力。外部存储卡通过外部存储器接口520与处理器510通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器521可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器510通过运行存储在内部存储器521的指令，从而执行电子设备500的各种功能应用以及数据处理。例如，在本申请实施例中，处理器510可以通过执行存储在内部存储器521中的指令，内部存储器521可以包括存储程序区和存储数据区。
其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备500使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器521可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflash storage，UFS)等。
电子设备500可以通过音频模块570，扬声器570A，受话器570B，麦克风570C，耳机接口570D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
按键590包括开机键，音量键等。马达591可以产生振动提示。指示器592可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口595用于连接SIM卡。SIM卡可以通过插入SIM卡接口595，或从SIM卡接口595拔出，实现和电子设备500的接触和分离。电子设备500可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口595可以支持Nano SIM卡，Micro SIM卡，SIM卡等。
以下实施例中的方法均可以在具有上述硬件结构的电子设备500中实现。以下实施例中，以电子设备500是手机为例，介绍本申请实施例的方法。图5B是本申请实施例的手机的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将AndroidTM系统分为五层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，硬件抽象层(hardwareabstraction layer，HAL)以及内核层。应理解：本文以Android系统举例来说明，在其他操作系统中(例如鸿蒙TM系统，IOSTM系统等)，只要各个功能模块实现的功能和本申请的实施例类似也能实现本申请的方案。
应用程序层可以包括一系列应用程序包。
如图5B所示，应用程序层中可以安装通话，备忘录，浏览器，联系人，图库，日历，地图，蓝牙，音乐，视频，短信息等应用。
在本申请实施例中，应用程序层中可以安装具有拍摄功能的应用，例如，相机应用。当然，其他应用需要使用拍摄功能时，也可以调用相机应用实现拍摄功能。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
例如，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，资源管理器，通知管理器等，本申请实施例对此不做任何限制。
例如，上述窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。上述内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。上述视图系统可用于构建应用程序的显示界面。每个显示界面可以由一个或多个控件组成。一般而言，控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、微件(Widget)等界面元素。上述资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。上述通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，振动，指示灯闪烁等。
如图5B所示，Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
其中，表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2D图形引擎是2D绘图的绘图引擎。
内核层位于HAL之下，是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动等，本申请实施例对此不做任何限制。
在本申请实施例中，仍如图5B所示，以相机应用举例，可应用程序框架层中设置有相机服务(Camera Service)。相机应用可通过调用预设的API启动Camera Service。CameraService在运行过程中可以与硬件抽象层(HAL)中的Camera HAL交互。其中，Camera HAL负责与手机中实现拍摄功能的硬件设备(例如摄像头)进行交互，Camera HAL一方面隐藏了相关硬件设备的实现细节(例如具体的图像处理算法)，另一方面可向Android系统提供调用相关硬件设备的接口。
示例性的，相机应用运行时可将用户下发的相关控制命令(例如预览、放大、拍照、录像或者抓拍指令)发送至Camera Service。一方面，Camera Service可将接收到的控制命令发送至Camera HAL，使得Camera HAL可根据接收到的控制命令调用内核层中的相机驱动，由相机驱动来驱动摄像头等硬件设备响应该控制命令采集图像数据。例如，摄像头可按照一定的帧率，将采集到的每一帧图像数据通过相机驱动传递给Camera HAL。其中，控制命令在操作系统内部的传递过程可参见图5B中控制流的具体传递过程。
另一方面，Camera Service接收到上述控制命令后，可根据接收到的控制命令确定此时的拍摄策略，拍摄策略中设置了需要对采集到的图像数据执行的具体图像处理任务。例如，在预览模式下，Camera Service可在拍摄策略中设置图像处理任务1用于实现人脸检测功能。又例如，如果在预览模式下用户开启了美颜功能，则Camera Service还可以在拍摄策略中设置图像处理任务2用于实现美颜功能。进而，Camera Service可将确定出的拍摄策略发送至Camera HAL。
当Camera HAL接收到摄像头采集到的每一帧图像数据后，可根据Camera Service下发的拍摄策略对上述图像数据执行相应的图像处理任务，得到图像处理后的每一帧拍摄画面。例如，Camera HAL可根据拍摄策略1对接收到的每一帧图像数据执行图像处理任务1，得到对应的每一帧拍摄画面。当拍摄策略1更新为拍摄策略2后，Camera HAL可根据拍摄策略2对接收到的每一帧图像数据执行图像处理任务2，得到对应的每一帧拍摄画面。
后续，Camera HAL可将经过图像处理后的每一帧拍摄画面通过Camera Service上报给相机应用，相机应用可将每一帧拍摄画面显示在显示界面中，或者，相机应用以照片或视频的形式将每一帧拍摄画面保存在手机内。其中，上述拍摄画面在操作系统内部的传递过程可参见图5B中数据流的具体传递过程。
本申请实施例这里结合图5B介绍手机中各个软件层实现本申请实施例的方法的工作原理。相机应用在录像模式下运行时，可将用户下发的抓拍指令发送至CameraService。在录像模式下，Camera HAL可根据之前接收到的录像指令调用内核层中的相机驱动，由相机驱动来驱动摄像头等硬件设备响应该录像指令采集图像数据。例如，摄像头可按照一定的帧率，将采集到的每一帧图像数据通过相机驱动传递给Camera HAL。其中，基于录像指令由相机驱动传递给Camera HAL的每一帧图像组成的数据流可以为本申请实施例中所述的视频流(如录像文件的数据流和预览图像的数据流)。
另外，Camera Service接收到上述抓拍指令后，可根据接收到的抓拍指令确定此时的拍摄策略3为录像中抓拍图像。该拍摄策略中设置了需要对采集到的图像数据执行的具体图像处理任务3，该图像处理任务3用于实现录像中抓拍功能。进而，Camera Service可将确定出的拍摄策略3发送至Camera HAL。
当Camera HAL接收到摄像头采集到的每一帧图像数据后，可根据Camera Service下发的拍摄策略3对上述图像数据执行相应的图像处理任务3，得到对应的抓拍图像。
应注意，本申请实施例中，摄像头的图像传感器(Sensor)曝光输出的每一帧图像可以缓存在第一缓存队列(Buffer)中。Camera HAL响应于抓拍指令，可以从该Buffer中选择出抓拍帧(即用户输入抓拍操作时候，摄像头采集的图像)。如此，手机则可以从第一缓存队列中得到用户输入抓拍操作时，摄像头采集的图像。其中，第一缓存队列(Buffer)可以设置在手机软件系统的任何一层，如第一缓存队列(Buffer)可以设置在Camera HAL通过软件接口访问的内存区域。
在一些实施例中，HAL中还可以包括预设RAW域图像处理算法。Camera HAL可以通过一个在一些实施例中，HAL中还可以包括预设RAW域图像处理算法。Camera HAL可以调用预设RAW域图像处理算法处理该抓拍帧和该抓拍帧的相邻帧，得到处理后的图像帧。其中，上述CSI可以是Buffer与预设RAW域图像处理算法之前的一个软件接口。
之后，Camera HAL可以根据之前接收到的抓拍指令调用内核层中的相机驱动，由相机驱动来驱动摄像头中的ISP等硬件设备响应该抓拍指令对处理后的图像帧进行硬件处理，得到对应的一帧抓拍图像。后续，Camera HAL可将经过图像处理后的抓拍图像通过Camera Service上报给相机应用，相机应用可将抓拍图像以照片的形式保存在手机内。
本申请实施例提供一种录像中抓拍图像的方法，该方法可以应用于手机，该手机包括摄像头。如图6A所示，该方法可以包括S601-S607。
S601、手机接收用户的第一操作。该第一操作用于触发手机开始录制视频。
示例性的，手机可以显示图7所示的录像的取景界面701。该录像的取景界面701是手机还未开始录像的取景界面。该录像的取景界面701包括“开始录像”按钮702。上述第一操作可以是用户对“开始录像”按钮702的点击操作，用于触发手机开始录制视频。
S602、响应于第一操作，手机显示取景界面。该取景界面显示预览图像流。该预览图像流包括n帧预览图像，该预览图像是手机接收到第一操作后基于摄像头采集的n帧第一图像得到的。该取景界面还包括抓拍快门，该抓拍快门用于触发手机进行抓拍。
示例性的，以第一操作是用户对“开始录像”按钮702的点击操作为例。手机响应于用户对“开始录像”按钮702的点击操作，手机的显示屏可显示图7所示的取景界面703。该取景界面703是手机正在录制视频的取景界面。该取景界面703中可以显示预览图像流。该预览图像流包括手机录像过程中最终在显示屏上呈现给用户的多帧预览图像。如图7所示，该取景界面703包括基于上述第一图像得到的预览图像704。其中，预览图像704为图8所示的预览图像流中的一帧预览图像。该预览图像704是手机接收到第一操作后基于摄像头采集的第一图像得到的。
其中，本申请实施例这里介绍手机由第一图像得到预览图像704的方法。在手机显示取景界面之前，手机可以按照图1B、图4A、图4B或图8所示的预览图像流中预览图像的处理方式处理第一图像得到预览图像704。应注意，手机的ISP可以对摄像头采集的每一帧第一图像均执行上述RAW的图像处理、RGB域的图像处理和YUV域的图像处理。手机由第一图像得到预览图像704的方法，可以参考图4B或图8所示“预览图像流”的处理方法。
如图4B或图8所示，手机的图像传感器(Sensor)受到曝光的控制，可以不断输出Bayer图像。每一帧Bayer图像由手机的ISP进行RAW的图像处理得到RGB图像，RGB图像由ISP进行RGB域的图像处理得到YUV图像。YUV图像由处理算法1进行处理，之后由ISP进行YUV域的图像处理后，送至编码器1(ENCODER)进行编码，便可以得到预览图像704。处理后的多帧预览图像704可以形成一段预览的视频流(即预览图像流)。
其中，预览图像刘的处理流程中，RAW的图像处理、RGB域的图像处理和YUV域的图像处理的详细描述，可以参考上述实施例中的相关介绍，这里不予赘述。图4B或图8所述的录像文件的处理方式可以参考上述实施例对录像文件处理方式的介绍，这里不予赘述。
需要强调的是，如图7所示，取景界面703还包括抓拍快门702。该抓拍快门702用于触发手机进行抓拍。其中，本申请实施例中所述的“手机抓拍”是指：手机在录像过程中，抓拍录像中的一帧图像得到照片。具体的，该抓拍快门702用于触发手机在录像的过程中抓拍图像得到照片。可以想到的是，手机录制视频(即录像)的过程中，可能会采集到的一些精彩的画面。在手机录像的过程中，用户可能会希望手机可以抓拍到上述精彩的画面，并保存成照片展示给用户。本申请实施例中，用户点击上述抓拍快门702便可以实现录像过程中抓拍精彩画面的功能。
为了保证手机响应于用户的抓拍操作(如用户对抓拍快门702的点击操作)，可以抓拍到用户实际需要的图像；手机可以将Sensor曝光输出Bayer图像缓存在一个第一缓存队列(Buffer)中。如此，即使从接收到用户的抓拍操作到Snapshot程序接收到抓拍指令，存在图3所示的延迟时长；接收到用户的抓拍操作时，Sensor输出的Bayer图像也可以缓存在第一缓存队列中。这样，手机便可以从第一缓存队列中获取这一帧图像。具体的，手机可以将上述n帧第一图像存储于电子设备的第一缓存队列(Buffer)中。响应于上述第一操作，手机还可以执行S603。
S603、手机在第一缓存队列缓存摄像头采集的第一图像。该第一缓存队列缓存摄像头采集的n帧第一图像，n≥1，n为整数。
示例性的，手机响应于上述第一操作，手机可以在图4A或图4B所示的第一缓存队列(Buffer)中缓存摄像头采集的第一图像。例如，该第一缓存队列可以以先进先出的原则缓存摄像头采集的n帧第一图像。如图9所示，第一缓存队列的队尾可以执行入队操作，用于插入第一图像；第一缓存队列的队头可以执行出队操作，用于删除第一图像。在第一缓存队列中已缓存n帧第一图像的情况下，第一缓存队列的队尾每插入一帧第一图像，第一缓存队列的队头则删除一帧第一图像。
S604、手机在摄像头采集n帧第一图像中的第q帧第一图像时，接收到用户对抓拍快门的第三操作。
示例性的，上述第三操作可以是用户对抓拍快门的单击操作。例如，第三操作可以是用户对图7所示的抓拍快门的单击操作。或者，第三操作可以是用户对抓拍快门的连续点击操作。其中，对抓拍快门的每次单击操作，用于触发手机执行一次S605。也就是说，对抓拍快门的单击操作用于触发手机抓拍一张照片。对抓拍快门的连续点击操作用于触发手机抓拍多张照片。其中，手机在录像过程中抓拍多张照片的方法与抓拍一张照片的方法类似，这里不予赘述。
由S604的描述可知：第q帧第一图像是手机接收到第三操作时，摄像头采集的一帧第一图像。如此，在第一缓存队列缓存的n帧第一图像中，第q帧第一图像由摄像头的图像传感器输出的时间与手机接收到第三操作的时间最近。q≤n，q是正整数。
在另一些实施例中，上述第q帧第一图像也可以是n帧第一图像中清晰度最高的一帧图像。当然，也可以同时参考前述两种选帧依据，使用不同的权重并进行加权，作为对第q帧第一图像的选择依据。以下实施例中，以第q帧第一图像由摄像头的图像传感器输出的时间与手机接收到第三操作的时间最近为例，介绍本申请实施例的方法。
本申请实施例中，如图5B所示，手机的HAL中的Camera HAL可以包括一个选帧模块。Camera HAL接收到来自Camera Service的抓拍指令后，可以从第一缓存队列Buffer中缓存的n帧第一图像中选择出第q帧第一图像(即抓拍帧，也称为参考帧)。
在一些实施例中，上述每一帧第一图像对应一个时间信息，该时间信息记录有图像传感器Sensor输出对应第一图像的时间。其中，该时间信息也可以称为时间戳。
其中，手机可以记录手机接收到第三操作的时间(即第一操作发生时间)。在一种可能的实现方式中，可以由手机的硬件时钟(如用于记录触摸屏的触摸事件发生时间的硬件时钟)记录手机接收到第三操作(即抓拍操作)的时间。如此，在手机中记录第三操作发生时间的时钟与Sensor记录第一图像出图的时钟同步的前提下，手机(如上述选帧模块)则可以选择第一缓存队列Buffer中时间戳与手机接收到第三操作的时间最近的第一图像作为上述第q帧第一图像(即抓拍帧，也称为参考帧)。
需要说明的是，在一些实施例中手机中记录第三操作发生时间的时钟与Sensor记录第一图像出图的时钟同步。在另一些实施例中，手机中记录第三操作发生时间的时钟与Sensor记录第一图像出图的时钟为同一系统时钟。
本申请实施例中，手机可以将Sensor曝光输出Bayer图像缓存在一个第一缓存队列Buffer中。该第一缓存队列可以缓存多帧Bayer图像。如此，即使从接收到用户的抓拍操作到Snapshot程序接收到抓拍指令，存在图3所示的延迟时长。手机接收到用户的抓拍操作时，Sensor输出的Bayer图像也可以缓存在第一缓存队列中。手机的选帧模块可以从Buffer中选择抓拍帧(即用户输入抓拍操作时候，摄像头采集的图像)。如此，手机则可以从第一缓存队列中得到用户输入抓拍操作时，摄像头采集的图像。
需要说明的是，在一些平台，可以将Sensor曝光结束时间作为时间戳；在另一些平台可以将Sensor开始曝光时间作为时间戳，本申请实施例对此不作限制。
S605、手机响应于第三操作，对保存于第一缓存队列的第q帧第一图像进行图像处理，得到抓拍图像。
在一些实施例中，n可以等于1。在这种情况下，第一缓存队列中可以缓存一帧第一图像。如此，手机执行S605只能对一帧第一图像进行图像处理。
在另一些实施例中，n可以大于1。在这种情况下，第一缓存队列中可以缓存多帧第一图像。如此，S605可以包括：手机对保存于第一缓存队列的m帧第一图像进行图像处理，得到抓拍图像。该m帧第一图像包括上述第q帧第一图像，m≥1，m为整数。
在该实施例中，手机可以对一帧或多帧第一图像进行图像处理。其中，m≥2的情况下，手机可以对多帧第一图像进行图像处理，该m帧第一图像中除第q帧第一图像之外的其他图像，可以对抓拍帧(即第q帧第一图像，也称为参考帧)起到画质增强的作用，有利于获取噪声和纹理等信息，可以进一步提升抓拍图像的画质。
其中，n可以为预设正整数。假设Sensor每秒钟可以曝光a帧Bayer图像，图3所示的延迟时长为b秒，则Sensor在延迟时长b秒内可以曝光出b/(1/a)＝a*b帧Bayer图像。n可以为大于或者等于a*b的整数。
示例性的，S605所述的图像处理可以包括：RAW域的图像处理和ISP图像处理。该RAW域的图像处理为在RAW颜色空间进行的图像处理。ISP图像处理为采用手机的ISP进行的图像处理。经过上述图像处理，抓拍图像的图像画质优于第q帧第一图像的图像画质。或者，上述图像处理可以包括：RAW域图像处理、ISP图像处理和编码处理。也就是说，编码处理可以集成在ISP图像处理中实现，也可以独立于ISP图像处理。本申请实施例中，以编码处理独立于ISP图像处理为例介绍本申请实施例的方法。编码处理具体是指采用编码器对图像进行编码。
其中，上述RAW域的图像处理可以通过预设RAW域图像处理算法来实现。ISP图像处理则可以通过手机的ISP来实现。
在一些实施例中，手机响应于第三操作，通过预设RAW域图像处理算法和ISP，对第q帧第一图像进行图像处理，得到抓拍图像的方法可以包括S605a-S605b。如图6B所示，S605可以包括S605a-S605b。
S605a、响应于第三操作，手机将m帧第一图像作为输入，运行预设RAW域图像处理算法，得到第二图像。其中，预设RAW域图像处理算法具备提升图像画质的功能。
其中，预设RAW域图像处理算法具备提升图像画质的功能。该预设RAW域图像处理算法中集成了RAW域、RGB域或者YUV域的图像处理功能中的至少一项图像处理功能，用于在ISP进行图像处理前提升图像的画质。
在一些实施例中，m可以等于1。也就是说，m帧第一图像是上述第q帧第一图像。但是，手机将上述第q帧第一图像作为输入运行预设RAW域图像处理算法，便可以得到画质较高的第二图像。这种情况下，预设RAW域图像处理算法单帧输入单帧输出。但是，一帧图像中的数据的完整性和纹理等参数均有限，将一帧图像作为输入运行预设RAW域图像处理算法，并不能有效提升这一帧图像的画质。
基于此，在另一些实施例中，m可以大于1。具体的，手机可以将该第q帧第一图像以及该第q帧第一图像相邻的至少一帧图像作为输入，运行预设RAW域图像处理算法。即可以将n帧第一图像中、包括第q帧第一图像在内的m帧第一图像作为输入运行预设RAW域图像处理算法。预设RAW域图像处理算法是一个多帧输入单帧输出的图像处理算法。应理解，m帧第一图像中除第q帧第一图像之外的其他图像，可以对抓拍帧(即第q帧第一图像，也称为参考帧)起到画质增强的作用，有利于获取噪声和纹理等信息，可以进一步提升第二图像的画质。
在一些实施例中，上述m帧第一图像为第一缓存队列中相邻的m帧图像。在另一些实施例中，m帧第一图像也可以是第一缓存队列缓存的n帧第一图像中，不相邻但包括第q帧第一图像的m帧图像。
也就是说，本申请实施例中所述的预设RAW域图像处理算法可以是一个多帧输入、单帧输出的神经网络模型。其中，预设RAW域图像处理算法是一个RAW域的画质增强的深度学习网络。本方案中，增加了预设RAW域图像处理算法的算法处理，相比于完全采用ISP的硬件RAW域的图像处理、RGB域的图像处理和YUV域的图像处理，预设RAW域图像处理算法与ISP结合的效果更好，有助于提升抓拍图像的图像质量。
S605b、手机采用手机的ISP处理第二图像，对处理后的图像编码得到抓拍图像。
需要说明的是，本申请实施例中，手机可以通过时分复用的方式，采用ISP处理第一图像和第二图像。也就是说，手机采用ISP处理第二图像，并不会影响手机采用ISP处理第一图像。换言之，手机采用ISP处理得到图4A所示的抓拍图像，并不会影响手机处理得到图4A或图4B所示的预览图像流和录像文件。其中，由第一图像得到预览图像的图像处理流程中还包括处理算法1的处理流程。在一些实施例中，上述处理算法1可以包含在ISP的硬件模块中。
在另一些实施例中，处理算法1可以包含在手机的其他处理器(如CPU、GPU或者NPU等任一处理器)中。在该实施例中，ISP的硬件模块可以调用上述其他处理器中的处理算法1，来处理第一图像得到预览图像。
示例性的，响应于用户对图7所示的抓拍快门的单击操作(即第二操作)，手机可以生成并保存抓拍图像。但是，手机在录像过程中，用户并不能查看该抓拍图像。用户可以在录像结束后，在相册中查看该抓拍图像。具体的，S605之后，本申请实施例的方法还包括S606-S607
S606、手机接收用户的第二操作。
S607、手机响应于第二操作，结束录制视频，保存视频。
例如，手机可以接收用户对图10所示“结束录像”按钮706的点击操作(即第二操作)。响应于用户对图10所示“结束录像”按钮706的点击操作，可以结束录像，显示图10所示的录像的取景界面1001。录像的取景界面1001是手机未开始录像的取景界面。与图7所示的录像的取景界面701相比，手机的取景界面中的照片选项中的照片由图7所示的708更新为图10所示的1002。手机可以响应于用户对相册应用的启动操作，显示图11所示的相册列表界面1101，该相册列表界面1101包括手机中保存的多张照片和视频。例如，如图7所示，相册列表界面1101包括手机录制的视频1103，以及手机在录制视频1103过程中抓拍的照片1102。也就是说，手机录像结束后录制视频后，保存了录制的视频(如视频1103)。
本申请实施例中，手机可以将Sensor曝光输出Bayer图像缓存在一个第一缓存队列Buffer中。该第一缓存队列可以缓存多帧Bayer图像。如此，即使从接收到用户的抓拍操作到Snapshot程序接收到抓拍指令存在延迟时长；接收到用户的抓拍操作时，Sensor输出的Bayer图像也可以缓存在第一缓存队列中。手机的选帧模块可以从第一缓存队列中选择抓拍帧(即用户输入抓拍操作时候，摄像头采集的图像)。如此，手机则可以从第一缓存队列中得到用户输入抓拍操作时，摄像头采集的图像。
并且，手机还可以采用预设RAW域图像处理算法处理和ISP硬件模块，处理选帧模块选择的抓拍帧；最后，由编码器2对处理结果进行编码得到抓拍图像。其中，预设RAW域图像处理算法是一个RAW域的画质增强的深度学习网络。本方案中，增加了预设RAW域图像处理算法的算法处理，相比于完全采用ISP的硬件RAW域的图像处理、RGB域的图像处理和YUV域的图像处理，预设RAW域图像处理算法与ISP结合的处理效果更好，有助于提升抓拍图像的图像质量。
综上所述，采用本申请实施例的方法，可以在录像过程中抓拍到满足用户需求的图像，并且可以提升抓拍图像的图像质量。
在一些实施例中，如图8所示，预设RAW域图像处理算法输入和输出的图像格式均为Bayer。在该实施例中，预设RAW域图像处理算法中集成了RAW域、RGB域或者YUV域中至少一项的部分图像处理功能，用于在ISP进行图像处理前提升图像的画质。如图8所示，在该实施例中，ISP可以对预设RAW域图像处理算法输出的Bayer图像依次进行RAW域的图像处理、RGB域的图像处理和YUV域的图像处理。具体的，如图12所示，S605a可以替换为S1201，S605b可以替换为S1202。
S1201、响应于第三操作，手机将Bayer格式的m帧第一图像作为输入，运行预设RAW域图像处理算法，得到Bayer格式的第二图像。上述m帧第一图像包括第q帧第一图像，预设RAW域图像处理算法具备提升图像画质的功能。
S1202、手机采用ISP依次对第二图像进行RAW域的图像处理、RGB域的图像处理和YUV域的图像处理，对处理后的图像进行编码得到抓拍图像。
在该实施例中，预设RAW域图像处理算法中集成了RAW域、RGB域或者YUV域中至少一项的部分图像处理功能，用于在ISP进行图像处理前提升图像的画质。
例如，假设ISP的RAW域的图像处理功能包括A、B和C，ISP的RGB域的图像处理功能包括D和E，ISP的YUV域的图像处理功能包括F和G。其中，ISP的RAW域、RGB域和YUV域的具体图像处理功能，可以参考上述实施例中的相关介绍，这里不予赘述。
在一种实现方式中，预设RAW域图像处理算法中可以集成了RAW域的A和C的图像处理功能。如此，手机执行S1201则可以运行预设RAW域图像处理算法完成RAW域中A和C的图像处理功能。手机执行S1202，采用ISP依次对第二图像完成RAW域中B的图像处理功能，完成RGB域中D和E的图像处理功能，完成YUV域中F和G的图像处理功能。
在另一种实现方式中，预设RAW域图像处理算法中可以集成了RAW域的A的图像处理功能，以及RGB域中D的图像处理功能。如此，手机执行S1201则可以运行预设RAW域图像处理算法完成RAW域中A的图像处理功能，以及RGB域中D的图像处理功能。手机执行S1202，采用ISP依次对第二图像完成RAW域中B和C的图像处理功能，完成RGB域中E的图像处理功能，完成YUV域中F和G的图像处理功能。
在另一种实现方式中，预设RAW域图像处理算法中可以集成了RAW域的A的图像处理功能，以及YUV域中F的图像处理功能。如此，手机执行S1201则可以运行预设RAW域图像处理算法完成RAW域中A的图像处理功能，以及YUV域中F的图像处理功能。手机执行S1202，采用ISP依次对第二图像完成RAW域中B和C的图像处理功能，完成RGB域中D和E的图像处理功能，完成YUV域中G的图像处理功能。
在另一种实现方式中，预设RAW域图像处理算法中可以集成了RGB域的D的图像处理功能，以及YUV域中F的图像处理功能。如此，手机执行S1201则可以运行预设RAW域图像处理算法完成RGB域的D的图像处理功能，以及YUV域中F的图像处理功能。手机执行S1202，采用ISP依次对第二图像完成RAW域中A、B和C的图像处理功能，完成RGB域中E的图像处理功能，完成YUV域中G的图像处理功能。
在另一些实施例中，如图13所示，预设RAW域图像处理算法输入的图像格式为Bayer，预设RAW域图像处理算法输入的图像格式为RGB。在该实施例中，预设RAW域图像处理算法中集成了RAW域的图像处理功能，用于在ISP对图像进行RGB域和YUV域的图像处理前提升图像的画质。如图13所示，在该实施例中，ISP可以对预设RAW域图像处理算法输出的RGB图像依次进行RGB域的图像处理和YUV域的图像处理。具体的，如图14所示，S605a可以替换为S1401，S605b可以替换为S1402。
S1401、响应于第三操作，手机将Bayer格式的m帧第一图像作为输入，运行预设RAW域图像处理算法，得到RGB格式的第二图像。上述m帧第一图像包括第q帧第一图像，预设RAW域图像处理算法具备提升图像画质的功能。
S1402、手机采用ISP依次对第二图像进行RGB域的图像处理和YUV域的图像处理，对处理后的图像进行编码得到抓拍图像。
在该实施例中，预设RAW域图像处理算法中集成了RAW域的图像处理功能，用于在ISP对图像进行RGB域和YUV域的图像处理前提升图像的画质。
例如，假设ISP的RAW域的图像处理功能包括a、b和c，ISP的RGB域的图像处理功能包括d和e，ISP的YUV域的图像处理功能包括f和g。
也就是说，预设RAW域图像处理算法中集成了RAW域的a、b和c的图像处理功能。如此，手机执行S1401则可以运行预设RAW域图像处理算法完成RAW域中a、b和c的图像处理功能。手机执行S1402，采用ISP依次对第二图像完成RGB域中d和e的图像处理功能，完成YUV域中f和g的图像处理功能。其中，ISP的RAW域、RGB域和YUV域的具体图像处理功能，可以参考上述实施例中的相关介绍，这里不予赘述。
在另一些实施例中，预设RAW域图像处理算法中不仅集成了RAW域的图像处理功能，还可以集成RGB域或者YUV域中至少一项的部分图像处理功能，用于在ISP进行RGB域的图像处理前提升图像的画质。例如，假设ISP的RAW域的图像处理功能包括a、b和c，ISP的RGB域的图像处理功能包括d和e，ISP的YUV域的图像处理功能包括f和g。
在一种实现方式中，预设RAW域图像处理算法中集成了RAW域的a、b和c的图像处理功能，以及RGB域中d的图像处理功能。如此，手机执行S1401则可以运行预设RAW域图像处理算法完成RAW域中a、b和c的图像处理功能，以及完成RGB域中d的图像处理功能。手机执行S1402，采用ISP依次对第二图像完成RGB域中e的图像处理功能，完成YUV域中f和g的图像处理功能。
在另一种实现方式中，预设RAW域图像处理算法中集成了RAW域的a、b和c的图像处理功能，以及YUV域中f的图像处理功能。如此，手机执行S1401则可以运行预设RAW域图像处理算法完成RAW域中a、b和c的图像处理功能，以及完成YUV域中f的图像处理功能。手机执行S1402，采用ISP依次对第二图像完成RGB域中d和e的图像处理功能，完成YUV域中g的图像处理功能。
在另一种实现方式中，预设RAW域图像处理算法中集成了RAW域的a、b和c的图像处理功能，RGB域中d的图像处理功能，以及YUV域中f的图像处理功能。如此，手机执行S1401则可以运行预设RAW域图像处理算法完成RAW域中a、b和c的图像处理功能，完成RGB域中d的图像处理功能，以及完成YUV域中f的图像处理功能。手机执行S1402，采用ISP依次对第二图像完成RGB域中e的图像处理功能，完成YUV域中g的图像处理功能。
在另一些实施例中，如图15所示，预设RAW域图像处理算法输入的图像格式为Bayer，预设RAW域图像处理算法输入的图像格式为YUV。在该实施例中，预设RAW域图像处理算法中集成了RAW域的图像处理功能和RGB域的图像处理功能，用于在ISP对图像进行YUV域的图像处理前提升图像的画质。如图15所示，在该实施例中，ISP可以对预设RAW域图像处理算法输出的RGB图像依次进行YUV域的图像处理。具体的，如图16所示，S605a可以替换为S1601，S605b可以替换为S1602。
S1601、响应于第三操作，手机将Bayer格式的m帧第一图像作为输入，运行预设RAW域图像处理算法，得到YUV格式的第二图像。上述m帧第一图像包括第q帧第一图像，预设RAW域图像处理算法具备提升图像画质的功能。
S1602、手机采用ISP依次对第二图像进行YUV域的图像处理，对处理后的图像进行编码得到抓拍图像。
在该实施例中，预设RAW域图像处理算法中集成了RAW域的图像处理功能和RGB域的图像处理功能，用于在ISP对图像进行YUV域的图像处理前提升图像的画质。
例如，假设ISP的RAW域的图像处理功能包括I、II和III，ISP的RGB域的图像处理功能包括IV和V，ISP的YUV域的图像处理功能包括VI和VII。
也就是说，预设RAW域图像处理算法中集成了RAW域的I、II和III的图像处理功能，以及RGB域的IV和V的图像处理功能。如此，手机执行S1601则可以运行预设RAW域图像处理算法完成RAW域中I、II和III的图像处理功能，以及RGB域的IV和V的图像处理功能。手机执行S1602，采用ISP依次对第二图像完成YUV域中VI和VII的图像处理功能。其中，ISP的RAW域、RGB域和YUV域的具体图像处理功能，可以参考上述实施例中的相关介绍，这里不予赘述。
在另一些实施例中，预设RAW域图像处理算法中不仅集成了RAW域和RGB域的图像处理功能，还可以集成YUV域中至少一项的部分图像处理功能，用于在ISP进行YUV域的图像处理前提升图像的画质。
例如，假设ISP的RAW域的图像处理功能包括I、II和III，ISP的RGB域的图像处理功能包括IV和V，ISP的YUV域的图像处理功能包括VI和VII。预设RAW域图像处理算法中集成了RAW域的I、II和III的图像处理功能，RGB域的IV和V的图像处理功能，以及YUV域的VI的图像处理功能。如此，手机执行S1601则可以运行预设RAW域图像处理算法完成RAW域中I、II和III的图像处理功能，RGB域的IV和V的图像处理功能，以及YUV域的VI的图像处理功能。手机执行S1602，采用ISP依次对第二图像完成YUV域中VII的图像处理功能。
本申请实施例中，可以在预设RAW域图像处理算法中集成ISP的RAW域、RGB域或者YUV域中至少一项的部分图像处理功能，用于在ISP进行图像处理前提升图像的画质。
本申请实施例提供一种录像中抓拍图像的方法，该方法可以应用于手机，该手机包括摄像头。如图17所示，该方法可以包括S1701-S1708。
S1701、手机接收用户的第一操作。该第一操作用于触发手机开始录制视频。
S1702、响应于第一操作，手机显示取景界面。该取景界面显示预览图像流，该预览图像流包括n帧预览图像。该预览图像是受最近接收到第一操作后基于手机的摄像头采集的n帧第一图像得到的，取景界面还包括抓拍快门，抓拍快门用于触发手机进行抓拍。
其中，第一预览图像可以参考上述实施例对预览图像704的详细描述，本申请实施例这里不予赘述。
S1703、手机在第一缓存队列缓存摄像头采集的第一图像。该第一缓存队列缓存摄像头采集的n帧第一图像，n≥1，n为整数。
其中，S1701-S1703的详细实现过程，可以参考上述实施例对S601-S603的介绍，本申请实施例这里不予赘述。上述实施例中，手机响应于用户对抓拍快门的第三操作，从第一缓存队列中选择抓拍帧(也称为参考帧)，并将参考帧与参考帧的相邻帧作为输入运行预设RAW域图像处理算法，得到抓拍图像。而本申请实施例中，则可以周期性采用预设RAW域图像处理算法处理第一缓存队列中缓存的k帧第一图像。具体的，在S1703之后，本申请实施例的方法还可以包括S1704。
S1704、手机周期性对第一缓存队列中缓存的k帧第一图像进行图像处理，得到第二图像，k≥1，k为整数。
其中，k可以等于n，或者k可以小于n。
示例性的，以n＝6，k＝4为例。手机可以周期性对每4帧第一图像进行图像处理，得到第二图像。例如，图18中的(a)所示的第1帧第一图像、第2帧第一图像、第3帧第一图像和第4帧第一图像这4帧第一图像可以作为一组图像，进行一次图像处理。如图18中的(b)所示，随着Sensor曝光产生的新一帧第一图像(如第7帧第一图像)在Buffer的队尾入队，Buffer队头的一帧图像(如第1帧第一图像)则可以从Buffer的队头出队。
其中，手机可以周期性读取Buffer队头出队的k帧第一图像，对该k帧第一图像进行图像处理得到第二图像。例如，如图19A中的(a)所示，手机可以在第4帧第一图像出队后，将第1帧第一图像、第2帧第一图像、第3帧第一图像和第4帧第一图像这4帧第一图像进行图像处理得到第二图像i。如图19A中的(b)所示，手机可以在第8帧第一图像出队后，对第5帧第一图像、第6帧第一图像、第7帧第一图像和第8帧第一图像这4帧第一图像进行图像处理得到第二图像ii。如图19A中的(c)，手机可以在第12帧第一图像出队后，对第9帧第一图像、第10帧第一图像、第11帧第一图像和第12帧第一图像这4帧第一图像进行图像处理得到第二图像iii。
示例性的，S1704所述的图像处理可以包括：RAW域的图像处理和ISP图像处理。该RAW域的图像处理为在RAW颜色空间进行的图像处理。ISP图像处理为采用手机的ISP进行的图像处理。经过上述图像处理，抓拍图像的图像画质优于第q帧第一图像的图像画质。或者，上述图像处理可以包括：RAW域图像处理、ISP图像处理和编码处理。也就是说，编码处理可以集成在ISP图像处理中实现，也可以独立于ISP图像处理。本申请实施例中，以编码处理独立于ISP图像处理为例介绍本申请实施例的方法。编码处理的详细介绍可以参考上述实施例中的相关内容，这里不予赘述。
其中，上述RAW域的图像处理可以通过预设RAW域图像处理算法来实现。ISP图像处理则可以通过手机的ISP来实现。S1704可以包括S1704a和S1704b：
S1704a、手机周期性将第一缓存队列中缓存的k帧第一图像作为输入，运行预设RAW域图像处理算法得到第三图像。该预设RAW域图像处理算法具备提升图像画质的功能。
其中，该预设RAW域图像处理算法中集成了RAW域、RGB域或者YUV域的图像处理功能中的至少一项图像处理功能，用于在ISP进行图像处理前提升图像的画质。
S1704b、手机采用手机的ISP处理所述第三图像，得到第二图像。
示例性的，仍以n＝6，k＝4为例。如图19B中的(a)所示，手机可以在第4帧第一图像出队后，将第1帧第一图像、第2帧第一图像、第3帧第一图像和第4帧第一图像这4帧第一图像作为输入，运行预设RAW域图像处理算法得到第三图像i。然后，如图19B中的(a)所示，手机的ISP可以处理该第三图像i得到第二图像I。
如图19B中的(b)所示，手机可以在第8帧第一图像出队后，将第5帧第一图像、第6帧第一图像、第7帧第一图像和第8帧第一图像这4帧第一图像作为输入，运行预设RAW域图像处理算法得到第三图像ii。然后，如图19B中的(b)所示，手机的ISP可以处理该第三图像ii得到第二图像II。
如图19B中的(c)，手机可以在第12帧第一图像出队后，将第9帧第一图像、第10帧第一图像、第11帧第一图像和第12帧第一图像这4帧第一图像作为输入，运行预设RAW域图像处理算法得到第三图像iii。然后，如图19B中的(c)所示，手机的ISP可以处理该第三图像iii得到第二图像III。
需要说明的是，手机执行S1704对k帧第一图像进行图像处理得到第二图像的具体方法，可以参考上述实施例中，手机对保存于第一缓存队列的m帧第一图像进行图像处理，得到抓拍图像的方法，本申请实施例这里不予赘述。
在一些实施例中，手机(如手机的选帧模块)可以选择出k帧第一图像中图像质量最好的一帧第一图像作为参考帧。手机可以记录该参考帧的时间信息。该参考帧的时间信息可以作为第三图像的时间信息，以及第二图像的时间信息。之后，第二图像的时间信息可以用于手机执行S1705时，选择用于进行画质增强的第二图像。应理解，两帧图像的时间信息所指示的时间越接近，这两帧图像的纹理接近的可能性则更高。纹理相似的图像更容易融合，有利于进行图像增强，进而有利于提升处理后图像的画质。
在一些实施例中，图20所示的预设RAW域图像处理算法输入和输入的图像格式均为Bayer。在该实施例中，预设RAW域图像处理算法中集成了RAW域、RGB域或者YUV域中至少一项的部分图像处理功能，用于在ISP进行图像处理前提升图像的画质。如图20所示，在该实施例中，ISP可以对预设RAW域图像处理算法输出的Bayer图像依次进行RAW域的图像处理、RGB域的图像处理和YUV域的图像处理。具体的，S1704a可以包括：手机将Bayer格式的k帧第一图像作为输入，运行预设RAW域图像处理算法，得到Bayer格式的第三图像。S1704b可以包括：手机采用ISP依次对第三图像进行RAW域的图像处理、RGB域的图像处理和YUV域的图像处理，得到第二图像。
在另一些实施例中，图21所示的预设RAW域图像处理算法输入的图像格式为Bayer，预设RAW域图像处理算法输出的图像格式为RGB。在该实施例中，预设RAW域图像处理算法中集成了RAW域的图像处理功能，用于在ISP对图像进行RGB域和YUV域的图像处理前提升图像的画质。如图21所示，在该实施例中，ISP可以对预设RAW域图像处理算法输出的RGB图像依次进行RGB域的图像处理和YUV域的图像处理。具体的，S1704a可以包括：手机将Bayer格式的k帧第一图像作为输入，运行预设RAW域图像处理算法，得到RGB格式的第三图像。S1704b可以包括：手机采用ISP依次对第三图像进行RGB域的图像处理和YUV域的图像处理，得到第二图像。
在另一些实施例中，图22所示的预设RAW域图像处理算法输入的图像格式为Bayer，预设RAW域图像处理算法输入的图像格式为YUV。在该实施例中，预设RAW域图像处理算法中集成了RAW域的图像处理功能和RGB域的图像处理功能，用于在ISP对图像进行YUV域的图像处理前提升图像的画质。如图22所示，在该实施例中，ISP可以对预设RAW域图像处理算法输出的RGB图像依次进行YUV域的图像处理。具体的，S1704a可以包括：手机将Bayer格式的k帧第一图像作为输入，运行预设RAW域图像处理算法，得到YUV格式的第三图像。S1704b可以包括：手机采用ISP依次对第三图像进行YUV域的图像处理，得到第二图像。
S1705、手机在摄像头采集n帧第一图像中的第q帧第一图像时，接收到用户对抓拍快门的第三操作。
其中，S1706的详细实现过程，可以参考上述实施例对S604的介绍，本申请实施例这里不予赘述。
S1706、手机响应于第三操作，采用手机接收到第三操作时得到的最近一帧的第二图像对第四图像进行画质增强，得到抓拍图像。该第四图像是视频中时间信息与第q帧第一图像的时间信息相同的一帧图像。
其中，手机录像过程中，随时都有可能会接收到用户对抓拍快门的第三操作。由于手机执行S1704是周期性处理k帧第一图像得到第二图像的；因此，手机录像过程中，在不同时刻接收到用户对抓拍快门的第三操作，则手机得到的最近一帧的第二图像不同。
在图23所示的t1时刻，第4帧第一图像从第一缓存队列Buffer中出队，手机执行S1704a得到第三图像i，手机执行S1704b由第三图像i得到第二图像I。在图23所示的t2时刻，第8帧第一图像从第一缓存队列Buffer中出队，手机执行S1704a得到第三图像ii，手机执行S1704b由第三图像ii得到第二图像II。在图23所示的t3时刻，第12帧第一图像从第一缓存队列Buffer中出队，手机执行S1704a得到第三图像iii，手机执行S1704b由第三图像iii得到第二图像III。
由此可见，在t1时刻-t2时刻这段时间，手机只可能得到第二图像I；而不能得到第二图像II和第二图像III。因此，在手机的Sensor曝光输出第5帧第一图像时，手机接收到上述第三操作，手机中最近一帧的第二图像是第二图像I。此时，手机可以采用第二图像I，对第5帧第一图像进行画质增强，得到抓拍图像。
在手机的Sensor曝光输出第6帧第一图像时，手机接收到上述第三操作，手机中最近一帧的第二图像是第二图像I。此时，手机可以采用第二图像I，对第6帧第一图像进行画质增强，得到抓拍图像。
在手机的Sensor曝光输出第7帧第一图像时，手机接收到上述第三操作，手机中最近一帧的第二图像仍是第二图像I。此时，手机可以采用第二图像I，对第7帧第一图像进行画质增强，得到抓拍图像。
在手机的Sensor曝光输出第8帧第一图像时，手机接收到上述第三操作，手机中最近一帧的第二图像仍是第二图像I。此时，手机可以采用第二图像I，对第8帧第一图像进行画质增强，得到抓拍图像。
在t2时刻-t3时刻这段时间，手机得到最近一帧的第二图像是第二图像II；而不能得到第二图像III。因此，在手机的Sensor曝光输出第9帧第一图像时，手机接收到上述第三操作，手机中最近一帧的第二图像是第二图像II。此时，手机可以采用第二图像II，对第9帧第一图像进行画质增强，得到抓拍图像。
在手机的Sensor曝光输出第10帧第一图像时，手机接收到上述第三操作，手机中最近一帧的第二图像是第二图像I。此时，手机可以采用第二图像II，对第10帧第一图像进行画质增强，得到抓拍图像。
在手机的Sensor曝光输出第11帧第一图像时，手机接收到上述三操作，手机中最近一帧的第二图像仍是第二图像II。此时，手机可以采用第二图像II，对第11帧第一图像进行画质增强，得到抓拍图像。
在手机的Sensor曝光输出第12帧第一图像时，手机接收到上述第三操作，手机中最近一帧的第二图像仍是第二图像II。此时，手机可以采用第二图像II，对第12帧第一图像进行画质增强，得到抓拍图像。
在手机的Sensor曝光输出第13帧第一图像时，手机接收到上述第三操作，手机中最近一帧的第二图像才是第二图像III。此时，手机可以采用第二图像III，对第13帧第一图像像进行画质增强，得到抓拍图像。
在一些实施例中，手机可以在第二缓存队列(Buffer′)中缓存第二图像。该第二缓存队列可以缓存一帧或多帧图像。
如此，手机生成一帧第二图像后，新生成的一帧图像便可以在Buffer′入队，而之前已缓存在Buffer′中的一帧第二图像则可以出队。例如，手机的ISP输出图19A中的(a)所示的第二图像I后，该第二图像I则可以缓存在Buffer′中，即第二图像I在Buffer′入队。之后，手机的ISP输出图19A中的(b)所示的第二图像II后，已缓存在Buffer′中的第二图像I则可以从Buffer′出队，第二图像II则可以缓存在Buffer′中，即第二图像II在Buffer′入队。之后，手机的ISP输出图19A中的(c)所示的第二图像III后，已缓存在Buffer′中的第三图像II则可以从Buffer′出队，第二图像III则可以缓存在Buffer′中，即第二图像III在Buffer′入队。如此循环往复，Buffer′中始终缓存一帧第二图像。Buffer′中缓存的一帧第二图像为上述手机接收到第三操作时得到的最近一帧的第二图像。
在一些实施例中，手机可以从Buffer′中缓存的第二图像中，选择出时间信息与上述第四图像的时间信息最近的一帧第二图像作为引导图像，用于对第四图像进行画质增强。需要说明的是，S1707中所述的第四图像可以是录像文件中经过ISP处理过第q帧第一图像。第四图像的时间信息与第q帧第一图像的时间信息相同。
示例性的，手机可以通过融合网络(也称为图像融合网络)，利用上述最近一帧第二图像对第四图像进行画质增强得到抓拍图像。其中，手机通过融合网络进行图像增强的方法，可以参考常规技术中的相关方法，本申请实施例这里不予赘述。
在一些实施例中，手机执行S1706之前，可以对上述最近一帧第二图像和第四图像进行配准。之后，手机可以利用配准后的第二图像，对配准后的第四图像进行画质增强。其中，手机对最近一帧第二图像和第四图像进行融合(Fusion)之前，对最近一帧第二图像和第四图像进行配准，可以提升手机进行画质增强的成功率和效果。
一般而言，配准可以包括两种方式：全局配准和局部配准。
全局配准一般使用特征点检测和匹配。以手机对第四图像和第三图像进行配准为例。手机可以检测第四图像和第三图像中匹配的特征点(如像素点)。然后，手机可以筛选匹配的特征点。如果匹配的特征点中好的特征点个数大于预设阈值1，则手机可以认为全局配准效果较好，可以进行融合。
局部配准一般使用光流法。以手机对第四图像和第二图像进行配准为例。手机可以先对第四图像和第二图像计算光流。然后，手机可以将经过光流配准变换后的第二图像，与经过光流配准变换后的第四图像做差。如果差异小于预设阈值2，则手机可以认为局部配准效果较好，可以融合。
在另一些实施例中，手机对第四图像和第二图像进行配准之前，可以先对比第四图像与第三图像的纹理相似度。如果第四图像与第二图像的纹理相似度高于预设相似度阈值，则表示第四图像与第二图像的纹理相似度较高。在这种情况下，手机对第四图像和第三图像进行配准的成功率较高。采用本方案，可以提升手机配准的成功率。
如果第四图像与第二图像的纹理相似度低于或等于预设相似度阈值，则表示第四图像与第二图像的纹理相似度较低。在这种情况下，手机则不会对第四图像和第二图像进行配准。这样，减少无效配准影响手机功耗。在这种情况下，手机可以直接将第四图像作为抓拍图像。
在一些实施例中，上述画质增强可以实现噪声去除、清晰度提升、动态范围(Dynamic Range)的改变或拓展、图像超分辨等功能。本申请实施例这里介绍上述图像超分辨功能。
一般而言，虑到功耗和存储空间等因素，录像(即录制视频)所选择的分辨率相比于Sensor出图的分辨率较低。因此，在录像过程中ISP对Sensor输出的图像是进行了下采样的。下采样(subsampled)也可以称为降采样(down sampled)。对图像进行下采样，可以降低图像的分辨率。如此，如图20-图22中任一附图所示，录像文件中的第四图像是低分辨率(lowresolution，LR)图像。而用户希望在录像过程中获得的抓拍图像是高分辨率的图像。基于此，本实施例中所述的画质增强可以包括图像超分辨。图20-图22中任一附图所示的第二图像是未经过下采样的高分辨率(highresolution，HR)图像。手机可以将上述最近一帧第二图像作为引导图像，对第四图像进行画质增强(包括图像超分辨)，提升第四图像的分辨率。
例如，假设第四图像的分辨率为1080p，上述最近一帧第二图像的分辨率为4k。手机执行S1706，可以将分辨率为4k的第二图像作为引导图像，对分辨率为1080p的第四图像进行画质增强。画质增强后的第四图像(即抓拍图像)的分辨率可以为4k。
应理解，由手机接收到第三操作时摄像头采集的第一图像得到的第四图像是用户想要抓拍的图像。手机接收到第三操作时得到的最近一帧的第二图像是手机使用预设RAW域图像处理算法和ISP进行画质增强得到的图像质量较高的图像。因此，采用最近一帧的第二图像对第四图像进行画质增强，可以提升最终得到的抓拍图像的画质。如此，不仅可以得到用户在录像过程中想要抓拍的图像，还可以提升抓拍图像的图像质量。
S1707、手机接收用户的第二操作。
S1708、手机响应于第二操作，结束录制视频，保存视频。
其中，S1707-S1708的详细实现过程，可以参考上述实施例对S606-S607的介绍，本申请实施例这里不予赘述。
相比于S601-S607的方案，采用S1701-S1708的方案，可以减少第一缓存队列中缓存的图像帧的数量。具体的，假设图3所示的延迟时长是330毫秒(ms)，手机的Sensor每30毫秒(ms)曝光一帧第一图像。执行S601-S606的方案，为了保证手机的选帧模块可以从第一缓存队列中选出手机接收第三操作的时刻Sensor曝光的第一图像，则第一缓存队列中至少需要缓存10帧图像。采用S1701-S1707的方案，第二图像只是用于增强用户想要抓拍的第四图像，因此不需要缓存较多的图像帧来生成第二图像。
本申请另一些实施例提供了一种电子设备，该电子设备可以包括：上述显示屏、摄像头、存储器和一个或多个处理器。该显示屏、摄像头、存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行计算机指令时，电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图5A所示的手机的结构。
本申请实施例还提供一种芯片系统，如图24所示，该芯片系统2400包括至少一个处理器2401和至少一个接口电路2402。处理器2401和接口电路2402可通过线路互联。例如，接口电路2402可用于从其它装置(例如电子设备的存储器)接收信号。又例如，接口电路2402可用于向其它装置(例如处理器2401)发送信号。示例性的，接口电路2402可读取存储器中存储的指令，并将该指令发送给处理器2401。当所述指令被处理器2401执行时，可使得电子设备执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机存储介质，该计算机存储介质包括计算机指令，当所述计算机指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种录像中抓拍图像的方法，其特征在于，应用于电子设备，所述电子设备包括摄像头，所述方法包括：
所述电子设备接收用户的第一操作；其中，所述第一操作用于触发所述电子设备开始录制视频；
响应于所述第一操作，所述电子设备显示取景界面，所述取景界面显示预览图像流，所述预览图像流包括n帧预览图像，所述预览图像是所述电子设备接收到所述第一操作后基于所述电子设备的摄像头采集的n帧第一图像得到的，所述取景界面还包括抓拍快门，所述抓拍快门用于触发所述电子设备进行抓拍，所述n帧第一图像存储于所述电子设备的第一缓存队列中，n≥1，n为整数；
所述电子设备接收用户的第二操作；
所述电子设备响应于所述第二操作，结束录制视频；
所述电子设备保存所述视频；其中，
在所述摄像头采集n帧第一图像中的第q帧第一图像时，接收到用户对所述抓拍快门的第三操作；
所述电子设备响应于所述第三操作，将保存于所述第一缓存队列的m帧第一图像作为输入，运行预设原始RAW域图像处理算法，得到第二图像；其中，所述预设RAW域图像处理算法具备提升图像画质的功能；所述预设RAW域图像处理算法中集成了所述RAW域、RGB域或者YUV域的图像处理功能中的至少一项图像处理功能，用于在ISP进行图像处理前提升图像的画质；其中，所述m帧第一图像包括所述第q帧第一图像，m≥1，m为整数；
所述电子设备采用所述ISP处理所述第二图像，对处理后的图像进行编码得到抓拍图像。
2.根据权利要求1所述的方法，其特征在于，所述电子设备将所述m帧第一图像作为输入，运行预设RAW域图像处理算法，得到第二图像，包括：
所述电子设备将拜耳Bayer格式的所述m帧第一图像作为输入，运行所述预设RAW域图像处理算法，得到Bayer格式的第二图像；其中，所述预设RAW域图像处理算法中集成了所述RAW域、所述RGB域或者所述YUV域中至少一项的部分图像处理功能，用于在所述ISP进行图像处理前提升图像的画质；
所述电子设备采用所述ISP处理所述第二图像，对处理后的图像进行编码得到所述抓拍图像，包括：
所述电子设备采用所述ISP依次对所述第二图像进行所述RAW域的图像处理、所述RGB域的图像处理和所述YUV域的图像处理，对处理后的图像进行编码得到所述抓拍图像。
3.根据权利要求1所述的方法，其特征在于，所述电子设备将所述m帧第一图像作为输入，运行预设RAW域图像处理算法，得到第二图像，包括：
所述电子设备将Bayer格式的所述m帧第一图像作为输入，运行所述预设RAW域图像处理算法，得到RGB格式的第二图像；其中，所述预设RAW域图像处理算法中集成了所述RAW域的图像处理功能，用于在所述ISP对图像进行RGB域和YUV域的图像处理前提升图像的画质；
所述电子设备采用所述ISP处理所述第二图像，对处理后的图像进行编码得到所述抓拍图像，包括：
所述电子设备采用所述ISP依次对所述第二图像进行所述RGB域的图像处理和所述YUV域的图像处理，对处理后的图像进行编码得到所述抓拍图像。
4.根据权利要求3所述的方法，其特征在于，所述预设RAW域图像处理算法中还集成了所述RGB域或者所述YUV域中至少一项的部分图像处理功能，用于在所述ISP进行RGB域的图像处理前提升图像的画质。
5.根据权利要求1所述的方法，其特征在于，所述电子设备将所述m帧第一图像作为输入，运行预设RAW域图像处理算法，得到第二图像，包括：
所述电子设备将Bayer格式的所述m帧第一图像作为输入，运行所述预设RAW域图像处理算法，得到YUV格式的第二图像；其中，所述预设RAW域图像处理算法中集成了所述RAW域的图像处理功能和所述RGB域的图像处理功能，用于在所述ISP对图像进行YUV域的图像处理前提升图像的画质；
所述电子设备采用所述ISP处理所述第二图像，对处理后的图像进行编码得到所述抓拍图像，包括：
所述电子设备采用所述ISP对所述第二图像进行所述YUV域的图像处理，对处理后的图像进行编码得到所述抓拍图像。
6.根据权利要求5所述的方法，其特征在于，所述预设RAW域图像处理算法中还集成了所述YUV域的部分图像处理功能，用于在所述ISP进行YUV域的图像处理前提升图像的画质。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
所述电子设备通过时分复用的方式，采用所述ISP处理所述第一图像和所述第二图像。
8.一种录像中抓拍图像的方法，其特征在于，应用于电子设备，所述电子设备包括摄像头，所述方法包括：
所述电子设备接收用户的第一操作；其中，所述第一操作用于触发所述电子设备开始录制视频；
响应于所述第一操作，所述电子设备显示取景界面；其中，所述取景界面显示预览图像流，所述预览图像流包括n帧预览图像，所述预览图像是所述电子设备接收到所述第一操作后基于所述电子设备的摄像头采集的n帧第一图像得到的，所述取景界面还包括抓拍快门，所述抓拍快门用于触发所述电子设备进行抓拍，所述n帧第一图像存储于所述电子设备的第一缓存队列中，n≥1，n为整数；
所述电子设备周期性对所述第一缓存队列中缓存的k帧第一图像进行图像处理，得到第二图像，k≥1，k为整数；
所述电子设备接收用户的第二操作；
所述电子设备响应于所述第二操作，结束录制视频；
所述电子设备保存所述视频；其中，在所述摄像头采集n帧第一图像中的第q帧第一图像时，接收到用户对所述抓拍快门的第三操作；
所述电子设备响应于所述第三操作，采用所述电子设备接收到所述第三操作时得到的最近一帧的第二图像对第四图像进行画质增强，得到抓拍图像；其中，所述第四图像是所述视频中时间信息与所述第q帧第一图像的时间信息相同的一帧图像。
9.根据权利要求8所述的方法，其特征在于，所述图像处理包括RAW域的图像处理和图像信号处理器ISP图像处理，所述RAW域的图像处理为在RAW颜色空间进行的图像处理，所述ISP图像处理为采用所述电子设备的图像信号处理器ISP进行的图像处理，所述第二图像的图像画质优于所述k帧第一图像的图像画质；或者，
所述图像处理包括所述RAW域图像处理、所述ISP图像处理和编码处理，所述第二图像的图像画质优于所述k帧第一图像的图像画质。
10.根据权利要求8或9所述的方法，其特征在于，所述电子设备周期性对所述第一缓存队列中缓存的k帧第一图像进行图像处理，得到第二图像，包括：
所述电子设备周期性将所述第一缓存队列中缓存的k帧第一图像作为输入，运行预设RAW域图像处理算法得到第三图像；其中，所述预设RAW域图像处理算法具备提升图像画质的功能；
所述电子设备采用所述电子设备的ISP处理所述第三图像，得到所述第二图像。
11.根据权利要求8或9所述的方法，其特征在于，所述画质增强包括图像超分辨；
其中，所述第二图像和抓拍图像的分辨率高于所述第q帧第一图像的分辨率。
12.一种电子设备，其特征在于，包括：触摸屏、存储器、摄像头、显示屏、一个或多个处理器；所述触摸屏、所述存储器、所述摄像头、所述显示屏与所述处理器耦合；其中，所述存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述处理器执行时，使得所述电子设备执行如权利要求1-11任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-11中任一项所述的方法。
CN202210111700.2A 2021-09-07 2022-01-29 一种录像中抓拍图像的方法及电子设备 Active CN115776532B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22826796.9A EP4171005A4 (en) 2021-09-07 2022-08-22 METHOD FOR IMAGE CAPTURE DURING FILMING AND ELECTRONIC DEVICE
PCT/CN2022/113982 WO2023035920A1 (zh) 2021-09-07 2022-08-22 一种录像中抓拍图像的方法及电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021110458726 2021-09-07
CN202111045872 2021-09-07

Publications (2)

Publication Number Publication Date
CN115776532A CN115776532A (zh) 2023-03-10
CN115776532B true CN115776532B (zh) 2023-10-20

Family

ID=85388186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210111700.2A Active CN115776532B (zh) 2021-09-07 2022-01-29 一种录像中抓拍图像的方法及电子设备

Country Status (3)

Country Link
EP (1) EP4171005A4 (zh)
CN (1) CN115776532B (zh)
WO (1) WO2023035920A1 (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685933A (zh) * 2012-09-20 2014-03-26 宏达国际电子股份有限公司 视频及多张静态影像平行产生方法以及使用此方法的装置
CN104365090A (zh) * 2012-06-13 2015-02-18 富士胶片株式会社 图像处理系统、发送侧装置及接收侧装置
CN104394319A (zh) * 2014-11-24 2015-03-04 广州市浩云安防科技股份有限公司 一种嵌入式的高清网络视频录像机
WO2015117397A1 (zh) * 2014-08-25 2015-08-13 中兴通讯股份有限公司 一种拍照方法、装置及设备
CN105407282A (zh) * 2015-11-16 2016-03-16 中科创达软件股份有限公司 一种照相和回放的实现方法
CN205510224U (zh) * 2016-04-12 2016-08-24 上海豪成通讯科技有限公司 数字图像处理器
CN108769537A (zh) * 2018-07-25 2018-11-06 珠海格力电器股份有限公司 一种拍照方法、装置、终端及可读存储介质
CN109104633A (zh) * 2018-08-30 2018-12-28 Oppo广东移动通信有限公司 视频截图方法、装置、存储介质及移动终端
CN110086985A (zh) * 2019-03-25 2019-08-02 华为技术有限公司 一种延时摄影的录制方法及电子设备
CN110933289A (zh) * 2018-09-20 2020-03-27 青岛海信移动通信技术股份有限公司 一种基于双目相机的连拍方法、拍照装置和终端设备
CN111970440A (zh) * 2020-08-11 2020-11-20 Oppo（重庆）智能科技有限公司 图像获取方法、电子装置和存储介质
CN112449085A (zh) * 2019-08-30 2021-03-05 北京小米移动软件有限公司 图像处理方法及装置、电子设备、可读存储介质
CN112738414A (zh) * 2021-04-06 2021-04-30 荣耀终端有限公司 一种拍照方法、电子设备及存储介质
WO2021169394A1 (zh) * 2020-02-25 2021-09-02 荣耀终端有限公司 基于深度的人体图像美化方法及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100591111C (zh) * 2005-12-16 2010-02-17 佳能株式会社 摄像设备和摄像方法以及再现设备和再现方法
US7675550B1 (en) * 2006-04-28 2010-03-09 Ambarella, Inc. Camera with high-quality still capture during continuous video capture
US20100231735A1 (en) * 2009-03-13 2010-09-16 Nokia Corporation Methods, Apparatuses, and Computer Program Products for Facilitating Concurrent Video Recording and Still Image Capture
US8413054B2 (en) * 2009-04-13 2013-04-02 Cisco Technology, Inc. Graphical user interface for still image capture from video footage
US20100295966A1 (en) * 2009-05-19 2010-11-25 John Furlan Digital video camera with high resolution imaging system
KR101797041B1 (ko) * 2012-01-17 2017-12-13 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US9225904B2 (en) * 2012-02-13 2015-12-29 Htc Corporation Image capture method and image capture system thereof
KR101899851B1 (ko) * 2012-05-03 2018-09-18 삼성전자 주식회사 이미지 처리 장치 및 방법
JP6306845B2 (ja) * 2013-09-12 2018-04-04 キヤノン株式会社 撮像装置及びその制御方法
KR102445699B1 (ko) * 2016-02-18 2022-09-21 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10917582B2 (en) * 2019-01-04 2021-02-09 Gopro, Inc. Reducing power consumption for enhanced zero shutter lag
CN110557566B (zh) * 2019-08-30 2021-12-17 维沃移动通信有限公司 视频拍摄方法及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104365090A (zh) * 2012-06-13 2015-02-18 富士胶片株式会社 图像处理系统、发送侧装置及接收侧装置
CN103685933A (zh) * 2012-09-20 2014-03-26 宏达国际电子股份有限公司 视频及多张静态影像平行产生方法以及使用此方法的装置
WO2015117397A1 (zh) * 2014-08-25 2015-08-13 中兴通讯股份有限公司 一种拍照方法、装置及设备
CN104394319A (zh) * 2014-11-24 2015-03-04 广州市浩云安防科技股份有限公司 一种嵌入式的高清网络视频录像机
CN105407282A (zh) * 2015-11-16 2016-03-16 中科创达软件股份有限公司 一种照相和回放的实现方法
CN205510224U (zh) * 2016-04-12 2016-08-24 上海豪成通讯科技有限公司 数字图像处理器
CN108769537A (zh) * 2018-07-25 2018-11-06 珠海格力电器股份有限公司 一种拍照方法、装置、终端及可读存储介质
CN109104633A (zh) * 2018-08-30 2018-12-28 Oppo广东移动通信有限公司 视频截图方法、装置、存储介质及移动终端
CN110933289A (zh) * 2018-09-20 2020-03-27 青岛海信移动通信技术股份有限公司 一种基于双目相机的连拍方法、拍照装置和终端设备
CN110086985A (zh) * 2019-03-25 2019-08-02 华为技术有限公司 一种延时摄影的录制方法及电子设备
CN112449085A (zh) * 2019-08-30 2021-03-05 北京小米移动软件有限公司 图像处理方法及装置、电子设备、可读存储介质
WO2021169394A1 (zh) * 2020-02-25 2021-09-02 荣耀终端有限公司 基于深度的人体图像美化方法及电子设备
CN111970440A (zh) * 2020-08-11 2020-11-20 Oppo（重庆）智能科技有限公司 图像获取方法、电子装置和存储介质
CN112738414A (zh) * 2021-04-06 2021-04-30 荣耀终端有限公司 一种拍照方法、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023035920A1 (zh) 2023-03-16
EP4171005A1 (en) 2023-04-26
EP4171005A4 (en) 2024-01-31
CN115776532A (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN112887583B (zh) 一种拍摄方法及电子设备
US11949978B2 (en) Image content removal method and related apparatus
CN116320783B (zh) 一种录像中抓拍图像的方法及电子设备
WO2023035921A1 (zh) 一种录像中抓拍图像的方法及电子设备
US20230043815A1 (en) Image Processing Method and Electronic Device
CN115689963B (zh) 一种图像处理方法及电子设备
US20230056332A1 (en) Image Processing Method and Related Apparatus
CN115802148B (zh) 一种获取图像的方法及电子设备
EP4262226A1 (en) Photographing method and related device
CN116055802B (zh) 图像帧处理方法及电子设备
CN116055868B (zh) 一种拍摄方法及相关设备
CN115776532B (zh) 一种录像中抓拍图像的方法及电子设备
WO2021204103A1 (zh) 照片预览方法、电子设备和存储介质
CN115802147B (zh) 一种录像中抓拍图像的方法及电子设备
CN114793283A (zh) 图像编码方法、图像解码方法、终端设备及可读存储介质
US20240205533A1 (en) Method for capturing image during video recording and electronic device
CN118264896A (zh) 一种获取图像的方法及电子设备
WO2022206600A1 (zh) 一种投屏方法、系统及相关装置
CN115460343B (zh) 图像处理方法、设备及存储介质
CN115802147A (zh) 一种录像中抓拍图像的方法及电子设备
CN113382162B (zh) 一种视频拍摄方法及电子设备
WO2024041006A1 (zh) 一种控制摄像头帧率的方法及电子设备
WO2023036084A1 (zh) 一种图像处理方法及相关装置
CN117956264A (zh) 拍摄方法、电子设备、存储介质和程序产品
CN113452895A (zh) 一种拍摄方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant