CN119450210A - 拍摄方法、电子设备、存储介质及程序产品 - Google Patents

拍摄方法、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN119450210A
CN119450210A CN202310972660.5A CN202310972660A CN119450210A CN 119450210 A CN119450210 A CN 119450210A CN 202310972660 A CN202310972660 A CN 202310972660A CN 119450210 A CN119450210 A CN 119450210A
Authority
CN
China
Prior art keywords
image frame
frame
target object
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310972660.5A
Other languages
English (en)
Inventor
林梦然
燕宇
黄家平
赵昱阳
许集润
侯伟龙
陈国乔
刘虎
冯晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310972660.5A priority Critical patent/CN119450210A/zh
Priority to PCT/CN2024/081583 priority patent/WO2025025613A1/zh
Publication of CN119450210A publication Critical patent/CN119450210A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种拍摄方法、电子设备、存储介质及程序产品，涉及光线成像技术领域，方法包括：基于包含目标物体的第一图像帧，和先于第一图像帧拍摄的一个或多个包含目标物体的第二图像帧，对目标物体进行运动预测，得到目标拍摄时刻对应的第三图像帧中目标物体的预测框和预测框对应的深度信息；目标拍摄时刻晚于第一图像帧的拍摄时刻；基于预测框和深度信息进行对焦，并在目标拍摄时刻通过对焦后的焦距拍摄第三图像帧。应用本申请实施例可以提升拍摄图像时的清晰度。

Description

拍摄方法、电子设备、存储介质及程序产品
技术领域
本申请涉及光学成像技术领域，特别是涉及一种拍摄方法、电子设备、存储介质及程序产品。
背景技术
在拍摄过程中，当被摄主体为快速运动中的物体或人，由于被摄主体处于运动状态，自动对焦(Auto Focus，AF)算法较难准确对焦于被摄主体，造成成像结果中被摄主体不清晰，从而会给用户造成不好的体验。
发明内容
本申请实施例的目的在于提供一种拍摄方法、电子设备、存储介质及程序产品，以提升拍摄图像时的清晰度。具体技术方案如下：
第一方面，本申请实施例提供了一种拍摄方法，包括：
基于包含目标物体的第一图像帧，和先于所述第一图像帧拍摄的一个或多个包含所述目标物体的第二图像帧，对所述目标物体进行运动预测，得到目标拍摄时刻对应的第三图像帧中所述目标物体的预测框和所述预测框对应的深度信息；所述目标拍摄时刻晚于所述第一图像帧的拍摄时刻；
基于所述预测框和所述深度信息进行对焦，并在所述目标拍摄时刻通过对焦后的焦距拍摄所述第三图像帧。
本申请的一个实施例中，基于如下方式确定所述第一图像帧中的目标物体：
获取所述第一图像帧和所述第二图像帧对应的深度图；
基于所述深度图中的深度信息变化量，确定所述第一图像帧中的运动物体，并将所述运动物体作为所述目标物体。
本申请的一个实施例中，所述基于所述深度图中的深度信息变化量，确定所述第一图像帧中的运动物体，并将所述运动物体作为所述目标物体的步骤，包括：
基于所述深度图中的深度信息变化量，确定所述第一图像帧中的运动物体以及每一所述运动物体的运动速度，将运动速度最快的所述运动物体确定为所述目标运动物体。
本申请的一个实施例中，所述基于包含目标物体的第一图像帧，和先于所述第一图像帧拍摄的一个或多个包含所述目标物体的第二图像帧，对所述目标物体进行运动预测之前，还包括：
获取传感器采集到的图像数据，并通过时间软同步对齐所述图像数据的时间戳，获得所述第一图像帧/所述第二图像帧对应的图像数据。
在本申请的一个实施例中，所述基于包含目标物体的第一图像帧，和先于所述第一图像帧拍摄的一个或多个包含所述目标物体的第二图像帧，对所述目标物体进行运动预测，得到目标拍摄时刻对应的第三图像帧中所述目标物体的预测框和所述预测框对应的深度信息的步骤，包括：
基于所述目标物体在所述第一图像帧和所述第二图像帧中的检测框以及对应的深度信息，确定所述目标物体在所述第一图像帧和所述第二图像帧中对应的三维位置坐标，并基于所述目标物体在所述第一图像帧和所述第二图像帧中对应的三维位置坐标确定所述目标物体的三维运动速度；
基于所述三维运动速度和预设运动方程，确定所述目标物体在所述目标拍摄时刻的三维位置坐标，得到目标拍摄时刻对应的第三图像帧中所述目标物体的预测框和所述预测框对应的深度信息。
在本申请的一个实施例中，所述基于所述预测框和所述深度信息进行对焦，并在所述目标拍摄时刻通过对焦后的焦距拍摄所述第三图像帧的步骤，包括：
基于所述预测框对应的深度信息计算目标准焦位置，并驱动镜头移动至所述目标准焦位置，以使所述预测框聚焦于成像平面。
第二方面，本申请实施例提供了一种拍摄装置，包括：
预测模块，用于基于包含目标物体的第一图像帧，和先于所述第一图像帧拍摄的一个或多个包含所述目标物体的第二图像帧，对所述目标物体进行运动预测，得到目标拍摄时刻对应的第三图像帧中所述目标物体的预测框和所述预测框对应的深度信息；所述目标拍摄时刻晚于所述第一图像帧的拍摄时刻；
对焦模块，用于基于所述预测框和所述深度信息进行对焦，并在所述目标拍摄时刻通过对焦后的焦距拍摄所述第三图像帧。
第三方面，本申请实施例提供了一种电子设备，包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，触发所述电子设备执行权第一方面中任一项所述的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面中任意一项所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行第一方面中任意一项所述的方法。
本申请实施例有益效果：
本申请实施例提供的拍摄方法，通过包含目标物体的第一图像帧和第二图像帧对目标物体进行运动预测，获得目标物体在目标拍摄时刻对应的第三图像帧中的预测框和预测框对应的深度信息，并基于预测框和预测框对应的深度信息进行对焦，在目标拍摄时刻通过对焦后的焦距拍摄第三图像帧。其中，基于运动预测获得的预测框和预测框对应的深度信息，相较于目标物体在已拍摄到的当前图像帧中的ROI和对应的深度信息，更加接近目标物体在第三图像帧中的真实ROI和对应的真实深度信息，即，预测ROI与意图对焦区域之间的偏差更小。因此，在目标拍摄时刻之前针对第三图像帧进行对焦时，通过目标物体对应的预测框和深度信息，来替代常规对焦算法所采用的目标物体在已拍摄到的当前图像帧中的ROI和对应的深度信息进行对焦，对焦的准确性更高，针对目标物体拍摄到的图像更加清晰。当目标物体具体为运动状态下的物体时，能够避免运动物体导致的图像模糊问题，提高拍摄质量。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1a为本申请提供的电子设备的第一种硬件结构示意图；
图1b为本申请提供的电子设备的软件结构框图；
图2是针对运动物体拍摄的模糊图像的示意图；
图3是相关技术中的对焦过程示意图；
图4是本申请实施例提供的拍摄方法的流程示意图；
图5a为本申请实施例提供的拍摄方法的第一种效果示意图；
图5b为本申请实施例提供的拍摄方法的第二种效果示意图；
图6是本申请实施例提供的深度图；
图7是本申请实施例提供的确定目标物体的流程示意图；
图8是本申请实施例提供的拍摄方法的对焦过程示意图；
图9是本申请实施例提供的拍摄装置的结构示意图。
具体实施方式
为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一指令和第二指令是为了区分不同的用户指令，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本申请中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例可应用于手机、平板电脑、个人计算机(Personal Computer，PC)、个人数字助理(Personal Digital Assistant，PDA)、智能手表、上网本、可穿戴电子设备、增强现实技术(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备、车载设备、智能汽车、机器人、智能眼镜、智能电视等具有通信功能的终端中。
示例性的，图1a示出了终端100的结构示意图。终端100可以包括处理器110，显示屏120，摄像头130，内部存储器140，SIM(Subscriber Identification Module，用户标识模块)卡接口150，USB(Universal Serial Bus，通用串行总线)接口160，充电管理模块170，电池管理模块171，电池172，传感器模块180，移动通信模块190，无线通信模块200，天线1以及天线2等。其中传感器模块180可以包括压力传感器180A，指纹传感器180B，触摸传感器180C，环境光传感器180D等。
可以理解的是，本申请实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中，终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括中央处理器(CentralProcessing Unit，CPU)、应用处理器(Application Processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(Image SignalProcessor，ISP)，控制器，视频编解码器，数字信号处理器(Digital Signal Processor，DSP)，基带处理器，和/或神经网络处理器(Neural-network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的部件，也可以集成在一个或多个处理器中。在一些实施例中，终端100也可以包括一个或多个处理器110。其中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在其他一些实施例中，处理器110中还可以设置存储器，用于存储指令和数据。示例性地，处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。这样就避免了重复存取，减少了处理器110的等待时间，因而提高了终端100处理数据或执行指令的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路间(Inter-Integrated Circuit，I2C)接口、集成电路间音频(Inter-Integrated CircuitSound，I2S)接口、脉冲编码调制(Pulse Code Modulation，PCM)接口、通用异步收发传输器(UniversalAsynchronous Receiver/Transmitter，UART)接口、移动产业处理器接口(Mobile IndustryProcessor Interface，MIPI)、用输入输出(General-Purpose Input/Output，GPIO)接口、SIM卡接口和/或USB接口等。其中，USB接口160是符合USB标准规范的接口，具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口160可以用于连接充电器为终端100充电，也可以用于终端100与外围设备之间传输数据。该USB接口160也可以用于连接耳机，通过耳机播放音频。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，用于示意性说明，并不构成对终端100的结构限定。在本申请另一些实施例中，终端100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
终端100的无线通信功能可以通过天线1、天线2、移动通信模块190、无线通信模块200、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
终端100通过GPU，显示屏120，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏120和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏120用于显示图像、视频等。显示屏120包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode，OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light EmittingDiode，AMOLED)、柔性发光二极管(Flex Light-Emitting Diode，FLED)、Miniled、MicroLed、Micro-oLed、量子点发光二极管(Quantum Dot Light EmittingDiodes，QLED)等。在一些实施例中，终端100可以包括1个或多个显示屏120。
在本申请的一些实施例中，当显示面板采用OLED、AMOLED、FLED等材料时，上述图1a中的显示屏120可以被弯折。这里，上述显示屏120可以被弯折是指显示屏可以在任意部位被弯折到任意角度，并可以在该角度保持，例如，显示屏120可以从中部左右对折。也可以从中部上下对折。
终端100的显示屏120可以是一种柔性屏，目前，柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言，具有柔韧性强和可弯曲的特点，可以给用户提供基于可弯折特性的新交互方式，可以满足用户对于终端的更多需求。对于配置有可折叠显示屏的终端而言，终端上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。因此，用户在配置有可折叠显示屏的终端上使用分屏功能，也越来越频繁。
终端100可以通过ISP、摄像头130、视频编解码器、GPU、显示屏120以及应用处理器等实现拍摄功能，其中，摄像头130包括前置摄像头和后置摄像头。
ISP用于处理摄像头130反馈的数据。例如，拍摄时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头130中。
摄像头130用于拍摄照片或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Cevice，CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(Red Green Blue，RGB)，YUV等格式的图像信号。在一些实施例中，终端100可以包括1个或N个摄像头130，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样，终端100可以播放或录制多种编码格式的视频，例如：动态图像专家组(MovingPicture Experts Group，MPEG)1、MPEG2、MPEG3和MPEG4。
NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端100的智能认知等应用，例如：图像识别、人脸识别、语音识别、文本理解等。
内部存储器140可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器140的上述指令，从而使得终端100执行本申请一些实施例中所提供的视频分割方法，以及各种应用以及数据处理等。内部存储器140可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储终端100使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器140可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储部件，闪存部件，通用闪存存储器(Universal Flash Storage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器140的指令，和/或存储在设置于处理器110中的存储器的指令，来使得终端100执行本申请实施例中所提供的视频分割方法，以及其他应用及数据处理。
内部存储器140可以用于存储本申请实施例中提供的视频分割方法的相关程序，处理器110可以用于在展示信息时调用内部存储器140中存储的视频分割方法的相关程序，执行本申请实施例的视频分割方法。
传感器模块180可以包括压力传感器180A、指纹传感器180B、触摸传感器180C、环境光传感器180D等。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏120。压力传感器180A的种类很多，例如可以是电阻式压力传感器、电感式压力传感器或电容式压力传感器。电容式压力传感器可以是包括至少两个具有导电材料的平行板，当力作用于压力传感器180A，电极之间的电容改变，终端100根据电容的变化确定压力的强度。当触摸操作作用于显示屏120时，终端100根据压力传感器180A检测触摸操作。终端100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令；当触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
指纹传感器180B用于采集指纹。终端100可以利用采集的指纹特性实现解锁、访问应用锁、拍摄和接听来电等功能。
触摸传感器180C，也称为触控器件。触摸传感器180C可以设置于显示屏120，由触摸传感器180C与显示屏120组成触摸屏，触摸屏也称为触控屏。触摸传感器180C用于检测作用于其上或其附近的触摸操作。触摸传感器180C可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏120提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180C也可以设置于终端100的表面，并且与显示屏120设置于不同的位置。
环境光传感器180D用于感知环境光亮度。终端100可以根据感知的环境光亮度自适应调节显示屏120亮度。环境光传感器180D也可用于拍摄时自动调节白平衡。环境光传感器180D还可以将设备所处的环境信息传入GPU。
环境光传感器180D还用于获取摄像头130采集图像的采集环境的亮度、光比、色温等。
以电子设备为智能手机为例，本申请实施例中的拍摄方法可以通过图1b所示智能手机系统架构实现，参见图1b，智能手机系统架构包括内核部分、框架层部分及应用层部分；内核部分包括驱动层及实时操作系统，驱动层包括GPU(图形处理器)、显示器驱动(图中具体为LCD驱动)、TP驱动(触摸屏驱动)、按键等；实时操作系统包括中断管理、任务调度、MEM(内存管理)；框架层包括：系统基本能力、底层软件服务、硬件服务能力等；应用层包括：拍摄应用、显示应用、系统应用、通信应用等。
在实际拍摄过程中，当被摄主体快速运动时，目前的自动对焦算法会出现无法保证被摄主体清晰的问题，参见图2，图2是针对运动物体拍摄的模糊图像的示意图，其中具体示出了从对向扔过来的玩偶，可以看出，运动中的玩偶在图像中并不清晰，图像效果不佳。
导致这一问题的主要原因在于，在被摄主体处于运动状态的情况下，针对该物体监测到的对焦框，与实际拍摄时该物体所处的位置存在差异，因此对焦框的位置并非用户意图对焦区域，从而自动对焦算法计算出的焦距不准确，导致拍摄到的图像不清晰。
图3是相关技术中的对焦过程示意图，为了便于理解，下面结合图3对相关技术中的对焦过程进行示例性说明。参见图3，在传感器针对第N帧出图后，检测算法下发ROI(RegionOf Interest，感兴趣区域)信息，第N帧的ROI通过通路传递传递至AF算法，AF算法计算准焦位置，并在曝光完成后下发code(驱动值)到马达，基于AF算法下发的code，马达推动镜头的位置，直至稳定，以实现摄像头的对焦，从而保证摄像头针对准焦位置拍摄的图像清晰。基于上述说明，可以看出在拍摄第N+1帧的图像时，当前马达位置为上一帧计算的准焦位置。具体即，在AF算法计算准焦位置的过程中，第N帧已经出图，也就是说，基于第N帧的ROI计算的准焦位置在第N+1帧才能生效，计算出的准焦位置天然延迟一帧，因此，针对快速运动场景计算出的准焦位置不准确，影响对焦效果。
为了解决上述问题，本申请实施例提供了一种拍摄方法，图4是本申请实施例提供的拍摄方法的流程示意图，参见图4，该方法具体包括以下步骤：
步骤S401：基于包含目标物体的第一图像帧，和先于第一图像帧拍摄的一个或多个包含目标物体的第二图像帧，对目标物体进行运动预测，得到目标拍摄时刻对应的第三图像帧中目标物体的预测框和预测框对应的深度信息；目标拍摄时刻晚于第一图像帧的拍摄时刻。
在本发明实施例中，第一图像帧与第二图像帧具体为已经拍摄到的图像，且第二图像帧先于第一图像帧拍摄。作为一个示例，也可以将第一图像帧理解为当前帧。
其中，第一图像帧与第二图像帧可以是多个连续图像帧，例如以第n帧为第一图像帧，以第n-1帧为第二图像帧，或者，第一图像帧与第二图像帧也可以是多个具有一定间隔的图像帧，例如以第n帧为第一图像帧，以第n-2帧为第二图像帧，本发明实施例不对第一图像帧和第二图像帧的具体选择进行限定。
第三图像帧则是当前还未进行拍摄的图像帧，作为一个示例，第三图像帧可以是当前帧的下一帧。在实际应用中，电子设备通常会基于一定的时间规律，例如固定的采样间隔进行图像的拍摄，因此，可以在此基础上确定与第三图像帧对应的目标拍摄时刻。作为一个示例，若采样间隔为Δt，拍摄第一图像帧的时间为tn，可以基于此确定拍摄第三图像帧的目标采集时刻为tn+Δt。
在本申请实施例中，目标物体可以理解为需要进行清晰呈现的被摄主体，本申请实施例不对目标物体的范围进行限定。作为一个示例，由于运动物体更容易出现模糊情况，因此可以选择将图像帧中的运动物体作为目标物体，以提升图像清晰度，例如，可以在第一图像帧和第二图像帧之间进行光流检测，确定其中的运动对象作为目标物体。
在本申请实施例中，在进行第三图像帧的实际采集之前，会预先基于包含目标物体的第一图像帧和第二图像帧进行目标物体的运动预测，确定目标物体在第三图像帧中的预测框和预测框对应的深度信息。
作为一个示例，可以基于拍摄到的第一图像帧和第二图像帧，对目标物体进行目标跟踪，确定目标物体在每一图像帧中的跟踪框，确定跟踪框在图像帧中的二维位置坐标，并检测目标物体在图像帧中对应的深度信息。本申请实施例不对检测深度信息的具体方式进行限定，作为一个示例，可以基于TOF(Time Of Flight，飞行时间)传感器获取目标物体的深度信息。
作为一个示例，可以以摄像头所在的相机坐标系为参考，通过(x,y,z)来表征目标物体在一个图像帧中的位置参数，其中，x和y即跟踪框在图像帧中的位置，z即目标物体的深度信息。
在已知目标物体在第一图像帧和第二图像帧中的位置参数的情况下，能够确定目标物体的历史运动轨迹中的至少2个点，从而能够在此基础上对目标物体将来的运动轨迹进行预测，确定目标物体在将来的一个或多个图像帧中的预测框，以及预测框对应的深度信息。
在本申请实施例中，可以基于实际情况确定对目标物体进行三维运动估计的具体方法，本申请实施例不对运动预测的具体算法进行限定。
步骤S402：基于预测框和深度信息进行对焦，并在目标拍摄时刻通过对焦后的焦距拍摄第三图像帧。
在实际应用中，要完成对焦通常需要进行对焦区域，也就是ROI的选择，确定好ROI之后，根据该ROI所处的深度，对镜头的对焦面进行调整，将镜头的对焦面选择为ROI所对应的深度，即可完成对焦。
在本发明实施例中，认为基于上述步骤S401确定出的目标物体的预测框和预测框对应的深度信息，趋近于目标物体在第三图像帧中的真实ROI和对应的真实深度信息。从而在计算拍摄第三图像帧所需的对焦参数时，用预测框和预测框对应的深度信息，代替了目前通常采用的已拍摄到的当前图像帧中的ROI和对应的深度信息，克服了目前的对焦算法存在的延迟。当目标物体具体为运动状态下的物体时，相较于该物体在已拍摄到的当前图像帧中的ROI和对应的深度信息，预测框和对应的ROI会更加接近该物体在目标采集时刻对应的真实ROI和真实深度信息，在此基础上计算出的准焦位置更加准确，从而对焦效果更好，拍摄到的图像更清晰。
具体的，可以在基于预测框和深度信息计算出准焦位置之后，通过马达对镜头进行驱动，调整镜头的对焦面与ROI的深度相对应，完成对焦。
因当理解，本申请实施例中的上述第一图像帧、第二图像帧和第三图像帧仅用作示例性说明。针对每一需要进行拍摄的图像帧，均可以基于前序的图像帧对目标物体进行运动预测，基于预测框和预测框对应的深度信息确定拍摄拍图像帧时所需的对焦参数，并在实际拍摄之前基于预测获得的对焦参数完成对焦。
本申请实施例提供的拍摄方法，通过包含目标物体的第一图像帧和第二图像帧对目标物体进行运动预测，获得目标物体在目标拍摄时刻对应的第三图像帧中的预测框和预测框对应的深度信息，并基于预测框和预测框对应的深度信息进行对焦，在目标拍摄时刻通过对焦后的焦距拍摄第三图像帧。其中，基于运动预测获得的预测框和预测框对应的深度信息，相较于目标物体在已拍摄到的当前图像帧中的ROI和对应的深度信息，更加接近目标物体在第三图像帧中的真实ROI和对应的真实深度信息，即，预测ROI与意图对焦区域之间的偏差更小。因此，在目标拍摄时刻之前针对第三图像帧进行对焦时，通过目标物体对应的预测框和深度信息，来替代常规对焦算法所采用的目标物体在已拍摄到的当前图像帧中的ROI和对应的深度信息进行对焦，对焦的准确性更高，针对目标物体拍摄到的图像更加清晰。当目标物体具体为运动状态下的物体时，能够避免运动物体导致的图像模糊问题，提高拍摄质量。
下面结合图5a和图5b对本申请的应用场景进行进一步说明。本申请实施例提供的拍摄方法可以应用于针对运动物体的拍摄，图5a为本申请实施例提供的拍摄方法的第一种效果示意图，图5b为本申请实施例提供的拍摄方法的第二种效果示意图，图5a和图5b分别示出了针对朝向摄像头快速运动的排球的拍摄效果，采用本申请实施例提供的拍摄方法，针对运动物体，能够提高对焦的准确性，减少物体运动导致的图像模糊。
在本申请的一个实施例中，可以基于如下方式确定第一图像帧中的目标物体：
获取第一图像帧和第二图像帧对应的深度图；
基于深度图中的深度信息变化量，确定第一图像帧中的运动物体，并将运动物体作为目标物体。
具体的，相较于静止物体，运动物体在图像中更容易出现模糊情况，因此，如果将当前的运动物体确定为目标物体，对目标物体进行对焦，有助于提升图像的清晰度，保证图像效果。
在本申请实施例中，可以获取第一图像帧和第二图像帧对应的深度图，通过比较深度图之间的深度信息变化量，即可确定出当前存在的运动物体，并将该运动物体作为目标物体，后续基于该运动物体的预测框和对应的深度信息进行对焦。
图6是本申请实施例提供的深度图，其中从左到右依次示出了第n帧、第n+1帧、第n+2帧和第n+3帧的图像对应的深度图，深度图中的颜色深浅表征深度的大小，参见图5，通过比较相邻深度图之间的深度信息变化，即可分析出当前存在的运动物体。
本申请实施例不对获取深度图的具体方式进行限定，作为一个示例，可以通过DTOF(Direct Time Of Flight，直接飞行时间)设备来获取图像帧对应的深度图。具体的，DTOF设备对z方向上的垂直运动，即深度信息非常敏感，因此，DTOF设备可以准确检测出在垂直方向上运动的物体，通过将该物体确定为目标物体，基于该物体的预测框和对应的深度信息进行对焦，能够提升电子设备针对运动物体、尤其是垂直方向上的运动物体的对焦性能，提高拍摄质量。
具体的，每拍摄到新的图像帧之后，均可以基于深度图对当前的运动物体进行检测，以确定在目标采集时刻需要进行对焦的目标物体，也就是说，本申请实施例中的目标物体会随着图像帧的拍摄而动态变化。图7是本申请实施例提供的确定目标物体的流程示意图，下面结合图7对确定目标物体的过程进行进一步说明。
作为一个示例，在传感器出图之后，针对图像帧获取深度图，检测算法即可对图像帧中的物体进行运动预测。作为一个示例，可以对其中包含的一个或多个物体均进行运动预测，获得一个或多个物体的预测框和预测框对应的深度信息。并在这一过程中分析连续深度图的差异，基于分析结果判断当前是否能检测到运动物体，若检测到运动物体，移动对焦框到运动物体，具体即，将检测到的运动物体对应的预测框作为目标采集时刻所需的对焦框，并基于该对焦框进行对焦；若未检测到运动物体，则保持对焦框位置，具体即，可以将基于前序图像帧的深度图确定出的目标物体继续作为目标物体，基于该目标物体对应的预测框和深度信息进行对焦。
在此基础上，一旦基于深度图检测到运动物体，即可立刻将对焦框移动到该运动物体对应的预测框上，并基于该对焦框进行对焦。从而，一旦算法输出预测ROI，即可执行对AF的调度，从而能够尽早计算准焦位置向马达下发code。
在本申请实施例中，通过图像帧对应的深度图来检测当前存在的运动物体，并将检测到的运动物体作为目标物体，基于该目标物体对应的预测框和深度信息进行对焦，能够提升针对运动物体的对焦性能，保证拍摄到的图像中的运动物体清晰，提升拍摄质量。
在本申请的一个实施例中，前述基于深度图中的深度信息变化量，确定第一图像帧中的运动物体，并将运动物体作为目标物体的步骤，包括：
基于深度图中的深度信息变化量，确定第一图像帧中的运动物体以及每一运动物体的运动速度，将运动速度最快的运动物体确定为目标运动物体。
具体的，通过对第一图像帧和第二图像帧对应的深度图之间的深度信息进行分析，即可检测出当前的运动物体，并基于深度信息变化量的大小，或者说是深度信息的变化快慢确定运动物体的运动速度，从而可以将运动速度最快的运动物体，作为在目标采集时刻需要进行对焦的目标物体，并基于该目标物体对应的预测框和深度信息进行对焦。
承接前例，具体可以通过DTOF设备获取图像帧对应的深度图，具体的，DTOF设备通过高密度激光来实现深度的检测，对于图像帧运动区域的检测较为准确，因此，确定出最快运动物体的准确性较高。
在本申请实施例中，可以基于拍摄到的图像帧对应的深度图，对当前检测到的运动物体的运动速度进行分析，实时确定出当前运动最快的物体，并将该运动物体对应的预测框作为对焦框进行对焦，可以在拍摄过程中基于深度信息对对焦框进行动态修正，提升对于快速运动物体的对焦性能，并保证针对物体的运动情况实时变化的动态场景进行拍摄时，采集到的每一图像帧均能够具有较好的清晰度，能够有效提升视频拍摄质量。
在实际应用中，通路时延也是导致图像不清晰的原因之一。参见图3，在目前的调度流程下，当传感器已经针对第N+1帧出图，此时马达还未推动到准焦位置，因此无法保证传感器出图清晰。
从而，在本申请的一个实施例中，前述基于包含目标物体的第一图像帧，和先于第一图像帧拍摄的一个或多个包含目标物体的第二图像帧，对目标物体进行运动预测之前，还包括：
获取传感器采集到的图像数据，并通过时间软同步对齐图像数据的时间戳，获得第一图像帧/第二图像帧对应的图像数据。
为了实现传感器的出图清晰，需要马达在传感器针对下一帧出图之前完成推断并稳定。在本申请实施例中，为了稳定通道时延，针对不同传感器采集的数据，具体可以基于软同步的方法进行数据同步及传递。具体即，通过统一的主机为各个传感器提供基准时间，将传感器检测到的每一帧数据同步到统一的时间戳上，作为一个示例，可以基于软同步实现光电传感器和深度传感器之间的时间同步。通过时间软同步来进行数据时间戳的对齐，能够便于后续在对目标物体在目标拍摄时刻对应的预测框和深度信息进行预测时，以时间戳所表征的通路时延为基础进行计算，从而能够在预测的过程中对通路时延进行弥补，以稳定通路时延。
在本申请的一个实施例中，前述基于包含目标物体的第一图像帧，和先于第一图像帧拍摄的一个或多个包含目标物体的第二图像帧，对目标物体进行运动预测，得到目标拍摄时刻对应的第三图像帧中目标物体的预测框和预测框对应的深度信息的步骤，包括：
基于目标物体在第一图像帧和第二图像帧中的检测框以及对应的深度信息，确定目标物体在第一图像帧和第二图像帧中对应的三维位置坐标，并基于目标物体在第一图像帧和第二图像帧中对应的三维位置坐标确定目标物体的三维运动速度；
基于三维运动速度和预设运动方程，确定目标物体在目标拍摄时刻的三维位置坐标，得到目标拍摄时刻对应的第三图像帧中目标物体的预测框和预测框对应的深度信息。
在本申请实施例中，针对已经拍摄到的第一图像帧和第二图像帧，具体可以通过检测目标物体在其中的位置，获得目标物体的二维位置坐标(x,y)，结合针对目标物体检测到的深度信息，即可确定出目标物体对应的三维位置坐标(x,y,z)。
在确定出目标物体的三维位置坐标的基础上，可以基于目标物体在第一图像帧和第二图像帧中的位置参数，估计目标运动物体在x，y和z三个方向上的速度，并确定目标物体对应的运动方程，从而能够基于运动方程、结合目标物体在第一图像帧中的位置参数，预测目标物体在目标采集时刻的三维坐标，获得目标物体在第三图像帧中的预测框和预测框对应的深度信息，其中，预测框对应的深度信息，具体可以理解为预测框内特征点的深度信息，也就是目标物体的深度信息。
其中，具体的预设运动方程可以基于实际需求进行选择，本发明实施例不对此进行限定。作为一个示例，若需要对目标物体在第N+1帧所对应的三维位置坐标进行预测，可以基于针对目标物体在前N帧图像中对应的三维位置坐标对其在x，y和z三个方向上的运动方程进行分别拟合，从而可以在此基础上计算出目标物体在第N+1帧对应的三维位置坐标。
在本申请实施例中，基于目标物体在第一图像帧和第二图像帧中对应的三维位置坐标来确定目标物体的三维运动速度，并结合三维运动速度和运动方程来预测目标物体在第三图像帧中对应的预测框和预测框对应的深度信息，预测结果具有较好的准确性，从而能够保证对焦效果，提高图像拍摄质量。
在本申请的一个实施例中，前述基于预测框和深度信息进行对焦，并在目标拍摄时刻通过对焦后的焦距拍摄第三图像帧的步骤，包括：
基于预测框对应的深度信息计算目标准焦位置，并驱动镜头移动至目标准焦位置，以使预测框聚焦于成像平面。
具体的，对焦即改变透镜与成像面之间的距离，使得被摄物体成像清晰。要实现成像清晰，具体要使物体发出的光线汇聚于镜头对应的成像平面，其中，成像平面具体即感光元件所在平面。
在本申请实施例中，预测框对应的深度即被认为是目标物体在目标拍摄时刻实际所处的深度，因此，基于预测框对应的深度信息，对目标拍摄时刻目标物体发出光线的汇聚位置进行计算，即可确定出要使目标物体清晰成像所需的准焦位置，通过将镜头驱动至该准焦位置，即可实现对焦。
图8是本申请实施例提供的拍摄方法的对焦过程示意图，下面结合图8对本申请实施例进行进一步说明，参见图8，在传感器针对第N帧出图之后，检测算法基于第N帧图像和前序帧的图像对图像中的物体进行运动预测，针对物体预测N+1帧位置，获得其在N+1中的预测框，或者说预测ROI以及预测ROI对应的深度信息，随后，检测算法下发预测ROI。具体的，针对这一过程中的通路传递，时间戳的同步具体采用了时间软同步，降低并稳定时延。并且，深度检测模块基于第N-1帧和第N帧图像对应的深度图进行分析，确定当前检测到的运动物体，将对焦框移动到该运动物体的预测ROI上，由AF算法计算多窗准焦位置。在本申请实施例中，可以基于多配窗的方式进行对焦，进行对焦策略调整。具体的，传感器针对第N帧出图之后，除了目标物体在其中对应的ROI，还可以在这一ROI周边确定多个参考ROI，并获取目标物体对应的预测ROI和深度信息，以及参考ROI对应的预测ROI和深度信息，针对每个预测ROI，均进行准焦位置的计算，并计算获得的每一准焦位置的置信度，基于具有较高置信度的准焦位置下发code到马达，基于下发的code，马达推动镜头到指定位置，直至稳定。其中，code具体可以用于指示马达所需实现的推动量。
在通过第N+1帧对应的预测框和预测获得的深度信息进行对焦的基础上，在实际进行第N+1帧图像的拍摄时，虽然马达位置为上一帧计算出，但是本帧清晰。经测验，应用本申请实施例提供的拍摄方法，马达的推动误差可以小于一个焦深。
在这一过程中，通过保证算法运行时间、通路传递时延以及马达稳定时间尽量较短，即可保证马达在传感器针对第N+1帧出图之前推到指定位置并完成稳定，避免失焦问题。从而在本申请实施例中，通过分析通路时延、AF调度流程、马达的生效时间，再结合针对目标物体进行的运动预测，能够保证传感器每一帧出图清晰。
基于相同的发明构思，本申请实施例相应地提供了一种拍摄装置，如图9所示，图9为本发明申请实施例提供的一种拍摄装置的结构示意图，包括：
预测模块901，用于基于包含目标物体的第一图像帧，和先于所述第一图像帧拍摄的一个或多个包含所述目标物体的第二图像帧，对所述目标物体进行运动预测，得到目标拍摄时刻对应的第三图像帧中所述目标物体的预测框和所述预测框对应的深度信息；所述目标拍摄时刻晚于所述第一图像帧的拍摄时刻；
对焦模块902，用于基于所述预测框和所述深度信息进行对焦，并在所述目标拍摄时刻通过对焦后的焦距拍摄所述第三图像帧。
通过包含目标物体的第一图像帧和第二图像帧对目标物体进行运动预测，获得目标物体在目标拍摄时刻对应的第三图像帧中的预测框和预测框对应的深度信息，并基于预测框和预测框对应的深度信息进行对焦，在目标拍摄时刻通过对焦后的焦距拍摄第三图像帧。其中，基于运动预测获得的预测框和预测框对应的深度信息，相较于目标物体在已拍摄到的当前图像帧中的ROI和对应的深度信息，更加接近目标物体在第三图像帧中的真实ROI和对应的真实深度信息，即，预测ROI与意图对焦区域之间的偏差更小。因此，在目标拍摄时刻之前针对第三图像帧进行对焦时，通过目标物体对应的预测框和深度信息，来替代常规对焦算法所采用的目标物体在已拍摄到的当前图像帧中的ROI和对应的深度信息进行对焦，对焦的准确性更高，针对目标物体拍摄到的图像更加清晰。当目标物体具体为运动状态下的物体时，能够避免运动物体导致的图像模糊问题，提高拍摄质量。
具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行上述实施例中的部分或全部步骤。上述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-onlymemory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
具体实现中，本申请实施例还提供了一种计算机程序产品，上述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行上述方法实施例中的部分或全部步骤。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(Digital Signal Processor，DSP)、微控制器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、光盘只读存储器(Compact Disc Read Only Memory，CD-ROMs)、磁光盘、只读存储器(ReadOnlyMemory，ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(ErasableProgrammableRead Only Memory，EPROM)、电可擦除可编程只读存储器(ElectricallyErasable ProgrammableRead Only Memory，EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明书附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (10)

1.一种拍摄方法，其特征在于，包括：
基于包含目标物体的第一图像帧，和先于所述第一图像帧拍摄的一个或多个包含所述目标物体的第二图像帧，对所述目标物体进行运动预测，得到目标拍摄时刻对应的第三图像帧中所述目标物体的预测框和所述预测框对应的深度信息；所述目标拍摄时刻晚于所述第一图像帧的拍摄时刻；
基于所述预测框和所述深度信息进行对焦，并在所述目标拍摄时刻通过对焦后的焦距拍摄所述第三图像帧。
2.根据权利要求1所述的方法，其特征在于，基于如下方式确定所述第一图像帧中的目标物体：
获取所述第一图像帧和所述第二图像帧对应的深度图；
基于所述深度图中的深度信息变化量，确定所述第一图像帧中的运动物体，并将所述运动物体作为所述目标物体。
3.根据权利要求2所述的方法，其特征在于，所述基于所述深度图中的深度信息变化量，确定所述第一图像帧中的运动物体，并将所述运动物体作为所述目标物体的步骤，包括：
基于所述深度图中的深度信息变化量，确定所述第一图像帧中的运动物体以及每一所述运动物体的运动速度，将运动速度最快的所述运动物体确定为所述目标运动物体。
4.根据权利要求1所述的方法，其特征在于，所述基于包含目标物体的第一图像帧，和先于所述第一图像帧拍摄的一个或多个包含所述目标物体的第二图像帧，对所述目标物体进行运动预测之前，还包括：
获取传感器采集到的图像数据，并通过时间软同步对齐所述图像数据的时间戳，获得所述第一图像帧/所述第二图像帧对应的图像数据。
5.根据权利要求1所述的方法，其特征在于，所述基于包含目标物体的第一图像帧，和先于所述第一图像帧拍摄的一个或多个包含所述目标物体的第二图像帧，对所述目标物体进行运动预测，得到目标拍摄时刻对应的第三图像帧中所述目标物体的预测框和所述预测框对应的深度信息的步骤，包括：
基于所述目标物体在所述第一图像帧和所述第二图像帧中的检测框以及对应的深度信息，确定所述目标物体在所述第一图像帧和所述第二图像帧中对应的三维位置坐标，并基于所述目标物体在所述第一图像帧和所述第二图像帧中对应的三维位置坐标确定所述目标物体的三维运动速度；
基于所述三维运动速度和预设运动方程，确定所述目标物体在所述目标拍摄时刻的三维位置坐标，得到目标拍摄时刻对应的第三图像帧中所述目标物体的预测框和所述预测框对应的深度信息。
6.根据权利要求1所述的方法，其特征在于，所述基于所述预测框和所述深度信息进行对焦，并在所述目标拍摄时刻通过对焦后的焦距拍摄所述第三图像帧的步骤，包括：
基于所述预测框对应的深度信息计算目标准焦位置，并驱动镜头移动至所述目标准焦位置，以使所述预测框聚焦于成像平面。
7.一种拍摄装置，其特征在于，包括：
预测模块，用于基于包含目标物体的第一图像帧，和先于所述第一图像帧拍摄的一个或多个包含所述目标物体的第二图像帧，对所述目标物体进行运动预测，得到目标拍摄时刻对应的第三图像帧中所述目标物体的预测框和所述预测框对应的深度信息；所述目标拍摄时刻晚于所述第一图像帧的拍摄时刻；
对焦模块，用于基于所述预测框和所述深度信息进行对焦，并在所述目标拍摄时刻通过对焦后的焦距拍摄所述第三图像帧。
8.一种电子设备，其特征在于，包括：
一个或多个处理器和存储器；
所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至6任一项所述的方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行权利要求1-6中任意一项所述的方法。
CN202310972660.5A 2023-08-02 2023-08-02 拍摄方法、电子设备、存储介质及程序产品 Pending CN119450210A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310972660.5A CN119450210A (zh) 2023-08-02 2023-08-02 拍摄方法、电子设备、存储介质及程序产品
PCT/CN2024/081583 WO2025025613A1 (zh) 2023-08-02 2024-03-14 拍摄方法、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310972660.5A CN119450210A (zh) 2023-08-02 2023-08-02 拍摄方法、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN119450210A true CN119450210A (zh) 2025-02-14

Family

ID=94394133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310972660.5A Pending CN119450210A (zh) 2023-08-02 2023-08-02 拍摄方法、电子设备、存储介质及程序产品

Country Status (2)

Country Link
CN (1) CN119450210A (zh)
WO (1) WO2025025613A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424649B (zh) * 2013-08-21 2017-09-26 株式会社理光 检测运动物体的方法和系统
CN115336249A (zh) * 2020-03-24 2022-11-11 索尼集团公司 信息处理装置、信息处理方法和程序
CN113781539A (zh) * 2021-09-06 2021-12-10 京东鲲鹏(江苏)科技有限公司 深度信息获取方法、装置、电子设备和计算机可读介质
CN116055844B (zh) * 2023-01-28 2024-05-31 荣耀终端有限公司 一种跟踪对焦方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
WO2025025613A1 (zh) 2025-02-06

Similar Documents

Publication Publication Date Title
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
KR102381713B1 (ko) 촬영 방법, 촬영 장치, 및 이동 단말
EP4135310B1 (en) Photographing method and device
CN115209057B (zh) 一种拍摄对焦方法及相关电子设备
JP2009522591A (ja) 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置
KR101605771B1 (ko) 디지털 촬영 장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
US20250142202A1 (en) Camera switching method and electronic device
CN113711123B (zh) 一种对焦方法、装置及电子设备
EP4366289A1 (en) Photographing method and related apparatus
CN116347224A (zh) 拍摄帧率控制方法、电子设备、芯片系统及可读存储介质
US20100239239A1 (en) Method and apparatus for motion compensation
CN107888829B (zh) 移动终端的对焦方法、移动终端及存储介质
WO2022179412A1 (zh) 识别方法及电子设备
CN115147288B (zh) 图像处理方法及电子设备
CN119450210A (zh) 拍摄方法、电子设备、存储介质及程序产品
CN115623319B (zh) 一种拍摄方法及电子设备
CN113873147A (zh) 视频录制方法、装置及电子设备
CN117689611B (zh) 质量预测网络模型生成方法、图像处理方法及电子设备
CN117425071B (zh) 一种图像采集方法、电子设备及存储介质
CN119383463A (zh) 一种自动对焦方法、电子设备及存储介质
EP4274248B1 (en) Photographing method and electronic device
CN118446903A (zh) 用于图像处理的方法、电子设备及计算机可读存储介质
CN119255100A (zh) 一种追焦的帧率控制的方法及装置
CN116208724A (zh) 图像处理方法、智能终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
CB02 Change of applicant information

Country or region after: China

Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Applicant after: Honor Terminal Co.,Ltd.

Address before: 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong

Applicant before: Honor Device Co.,Ltd.

Country or region before: China

SE01 Entry into force of request for substantive examination