CN113099122A - 拍摄方法、装置、设备和存储介质 - Google Patents

拍摄方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113099122A
CN113099122A CN202110350733.8A CN202110350733A CN113099122A CN 113099122 A CN113099122 A CN 113099122A CN 202110350733 A CN202110350733 A CN 202110350733A CN 113099122 A CN113099122 A CN 113099122A
Authority
CN
China
Prior art keywords
moving object
target
shooting
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110350733.8A
Other languages
English (en)
Inventor
殷仕帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110350733.8A priority Critical patent/CN113099122A/zh
Publication of CN113099122A publication Critical patent/CN113099122A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种拍摄方法、装置、设备和存储介质,属于拍摄技术领域。该拍摄方法包括:在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像;根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,确定运动对象的运动速度;根据运动对象的运动速度确定目标曝光时长;根据目标曝光时长对运动对象进行拍摄,得到目标图像。

Description

拍摄方法、装置、设备和存储介质
技术领域
本申请属于拍摄技术领域,具体涉及一种拍摄方法、装置、设备和存储介质。
背景技术
随着电子设备的相机功能逐渐普及,人们对相机功能的性能、效果等方面的要求也越来越高。
相关技术中,相机在拍摄运动速度较快的运动对象时,若相机的曝光时间设置过长,那么拍摄出的图像就会产生拖影;若相机的曝光时间太短,那么图像就会过暗,因此无法保证拍摄图像的画质。
发明内容
本申请实施例的目的是提供一种拍摄方法、装置、设备和存储介质,能够解决相关技术中无法保证拍摄图像的画质的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种拍摄方法,应用于电子设备,该方法包括:在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像,其中,每帧预览图像包括运动对象;根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,确定运动对象的运动速度;根据运动对象的运动速度确定目标曝光时长;根据目标曝光时长对运动对象进行拍摄,得到目标图像。
第二方面,本申请实施例提供了一种拍摄装置,应用于电子设备,该装置包括:生成模块,用于在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像,其中,每帧预览图像包括运动对象;确定模块,用于根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,确定运动对象的运动速度;确定模块,还用于根据运动对象的运动速度确定目标曝光时长;拍摄模块,用于根据目标曝光时长对运动对象进行拍摄,得到目标图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面的拍摄方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,该可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面的拍摄方法的步骤。
第五方面,本申请实施例提供了一种芯片,该芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面的拍摄方法的步骤。
在本申请实施例中,在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像,其中,每帧预览图像包括运动对象。由于实感像素的实时性非常高,因此根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,能够准确确定运动对象的运动速度。在此基础上,根据运动对象的运动速度确定目标曝光时长,根据目标曝光时长对运动对象进行拍摄,得到目标图像。如此,可以通过电子设备中实感像素输出的预览图像准确得到运动对象的运动速度,并基于运动对象的运动速度灵活调整拍摄的曝光时长,避免了相机的曝光时间设置过长导致拍摄图像产生拖影,也避免了曝光时间设置过短导致拍摄出的图像过暗或者噪声过多的问题,有效改善了拍摄图像的画质。
附图说明
图1是本申请实施例提供的一种拍摄方法的流程示意图;
图2是本申请实施例提供的预览图像中像素点的示例的示意图;
图3是本申请实施例提供的运动对象的运动场景的示例的示意图;
图4是本申请实施例提供的预览图像的示例的示意图;
图5是本申请实施例提供的预览图像的另一示例的示意图;
图6是本申请实施例提供的另一种拍摄方法的流程示意图;
图7是本申请实施例提供的又一种拍摄方法的流程示意图;
图8是本申请实施例提供的一种拍摄装置的结构示意图;
图9是本申请实施例提供的一种电子设备的硬件结构示意图;
图10是本申请实施例的另一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
如背景技术,相机在拍摄运动速度较快的运动对象时,若相机的曝光时间设置过长,那么拍摄出的图像就会产生拖影。若相机的曝光时间太短,会导致进光量不足,从而导致拍摄出的图像过暗,无法保证拍摄图像的画质。
基于此,相关技术中可以采用提高感光度(ISO)的方式来提升画面亮度,但提高ISO又会带来噪声过多等问题,也无法保证拍摄图像的画质。
针对相关技术中出现的问题,本申请实施例提供了一种拍摄方法,在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像,其中,每帧预览图像包括运动对象。由于实感像素的实时性非常高,因此根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,能够准确确定运动对象的运动速度。在此基础上,根据运动对象的运动速度确定目标曝光时长,根据目标曝光时长对运动对象进行拍摄,得到目标图像。如此,可以通过电子设备中实感像素输出的预览图像准确得到运动对象的运动速度,并基于运动对象的运动速度灵活调整拍摄的曝光时长,避免了相机的曝光时间设置过长导致拍摄图像产生拖影,也避免了曝光时间设置过短导致拍摄出的图像过暗或者噪声过多的问题,有效改善了拍摄图像的画质,解决了相关技术中无法保证拍摄图像的画质的问题。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的拍摄方法进行详细地说明。
图1是本申请实施例提供的一种拍摄方法的流程示意图,该拍摄方法的执行主体可以为电子设备。需要说明的是,上述执行主体并不构成对本申请的限定。
如图1所示,本申请实施例提供的拍摄方法可以包括步骤110-步骤140。
步骤110,在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像。
其中,运动对象可以为运动的人、动物、物体等,每帧预览图像中可以包括运动对象。
步骤120,根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,确定运动对象的运动速度。
步骤130,根据运动对象的运动速度确定目标曝光时长。
步骤140,根据目标曝光时长对运动对象进行拍摄,得到目标图像。
本申请实施例提供的拍摄方法,在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像,其中,每帧预览图像包括运动对象。由于实感像素的实时性非常高,因此根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,能够准确确定运动对象的运动速度。在此基础上,根据运动对象的运动速度确定目标曝光时长,根据目标曝光时长对运动对象进行拍摄,得到目标图像。如此,可以通过电子设备中实感像素输出的预览图像准确得到运动对象的运动速度,并基于运动对象的运动速度灵活调整拍摄的曝光时长,避免了相机的曝光时间设置过长导致拍摄图像产生拖影,也避免了曝光时间设置过短导致拍摄出的图像过暗或者噪声过多的问题,有效改善了拍摄图像的画质。
下面结合具体的实施例,详细介绍上述步骤110-步骤140。
首先涉及步骤110,在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像。
在本申请的一些实施例中,电子设备可以包括相机传感器,相机传感器可以包括实感像素(或者特殊感光二极管),电子设备可以通过相机传感器中的特殊感光二极管输出预览图像。
在上述实施例中,相机传感器中还可以包括普通感光二极管。
在这里,相机传感器中的每个普通感光二极管感光前,都需要先清空二极管中积累的电荷,然后在设定的曝光时间内,对光信号进行积分,并生成电子。通常,相机传感器的曝光方式为卷帘式曝光,相机传感器逐行扫描逐行进行曝光,直至所有像素点都被曝光。这种方式会使得相机的成像速度变慢,在拍摄高速运动物体时,会出现“倾斜”、“摇摆不定”或“部分曝光”等至少一种情况,该现象被定义为果冻效应。
为了避免果冻效应,传统的拍摄方法是通过极短的快门来瞬间取景拍摄。但往往快门时间过短导致进光量不足,所拍照片偏黑乃至全黑看不清。为了解决进光量不足的问题,通常采用提高感光度(ISO)来提升画面亮度,然而提高ISO又会带来噪点增多等新的问题。
基于此,本申请实施例的电子设备中的相机传感器中除了包括普通感光二极管,还集成有特殊感光二极管。
特殊感光二极管与普通感光二极管的区别在于:
普通感光二极管要在一个时间段内对光信息做积分后按照顺序逐个读出。
而特殊感光二极管可以分别独立地,随着像素时钟频率,实时灵敏感知外界环境亮度变化,将环境亮度的变化转化成像素值(pixel value)的变化。若某个实感像素的像素值的变化量超过预设阈值,则会上报系统要求读出,并且输出带有坐标信息、亮度信息、时间信息的数据包。
例如,针对如图2所示的预览图像中的像素点P,若像素点P的像素值变化量超过预设阈值,则该像素点P对应的实感像素可以针对该像素点P,输出坐标信息(88,72)、亮度信息和时间信息。
在本申请的一些实施例中,预览图像可以包括运动对象的灰度图,该至少一帧预览图像即为连续的运动对象的灰度图像序列。
在一个示例中,如图3所示,M为沿着逆时针进行移动的运动对象。电子设备通过相机传感器采集M的预览图像。其中,图4(a)为电子设备通过普通感光二极管获取到的图像,不同图像中运动对象M的位置在不停地变化;图4(b)为电子设备通过特殊感光二极管(或实感像素)获取到的图像。通过两幅图比较可以看出,普通感光二极管捕捉到的连续几张图像中,不同图像中运动对象M的位置间隔较远,无法完整地捕捉运动对象M的运动轨迹,因此图4(a)中无法很好地呈现M的运动轨迹和运动状态;而图4(b)中特殊感光二极管捕捉到的M的运动轨迹比较完整、连续,几乎可以实时捕捉到运动对象M的每一次位置变化,因此图4(b)中M的运动轨迹和运动状态体现得比较清晰和明确。
如此,由于实感像素的实时性较高,因此由实感像素得到的灰度图表现出来的位置信息较准确,从而可以迅速、准确地在灰度图中找到运动对象的具体位置,实现精准定位。同时,通过至少一帧预览图像能够记录运动对象的细微位置变化,因此通过电子设备中的实感像素,能够精准捕捉运动对象的位置变化。
在本申请的一个实施例中,电子设备可以包括至少两个特殊感光二极管,该至少两个特殊感光二极管按照密度分布在相机传感器中。例如,至少两个特殊感光二极管以阵列的方式排布在相机传感器中。
然后涉及步骤120,根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,确定运动对象的运动速度。
在本申请的一些实施例中,在步骤120之前,该方法还可以包括:根据实感像素独立输出的坐标信息和亮度信息,得到实感像素对应像素点的坐标信息和亮度信息;根据预览图像中多个像素点对应的坐标信息和亮度信息,确定运动对象在预览图像中的坐标信息,其中,多个像素点包括实感像素对应像素点。步骤140可以具体包括:通过至少一帧预览图像中每帧预览图像的获取时间,以及每帧预览图像中运动对象的坐标信息,确定运动对象的运动速度和运动方向。
在一个示例中,如图5所示,501和502为用于捕捉运动对象503的位置变化的连续两帧预览图像,501与502的获取时间间隔,即时间差为20ms。电子设备获取501中点N1的坐标信息(20,20),以及502中点N2的坐标信息(40,20),从而确定出运动对象503的运动速度。
在本申请的一些实施例中,预览图像中运动对象的坐标信息,可以为运动对象的某一部位或某一点的坐标信息,例如运动对象小狗的尾巴部位的坐标信息,也可以为组成运动对象的多个点的坐标信息,例如构成小狗轮廓的多个点的坐标信息。
如此,由于实感像素比常规像素的实时性更好,信号冗余性更好,精度更高。因此,相机传感器可以通过实感像素抓取到高精度的运动对象的灰度轮廓图,实现高精度的运动对象定位,从而根据不同灰度轮廓图中运动对象的位置变化以及图像获取时间,准确得到运动对象的运动速度。
接着涉及步骤130,根据运动对象的运动速度确定目标曝光时长。
在本申请的一些实施例中,步骤130可以具体包括下述步骤:根据运动对象的运动速度和电子设备的预设系统分辨率确定目标曝光时长。
其中,电子设备的预设系统分辨率可以根据具体需求进行设置。
在一个实施例中,可以根据公式(1)计算目标曝光时长T。
Figure BDA0003002030140000081
其中,R为预设系统分辨率,V为运动对象的运动速度。
在一个示例中,R=1/100(mm/pixel),V=100mm/s,则根据公式(1)计算可得T=0.0001s=0.1ms。
如此,基于运动对象的运动速度能够灵活调整拍摄的曝光时长,避免了相机的曝光时长固定,导致无法对运动速度较快的运动对象进行有效拍摄。另一方面,避免了因相机的曝光时间设置过长或过短,拍摄图像出现运动对象拖影、图像过暗或者噪声过多等问题,有效改善了拍摄图像的画质。
在本申请的另一些实施例中,步骤130可以具体包括下述步骤:根据运动对象的运动速度所在速度区间,以及所在速度区间对应的第一预设曝光时长,确定目标曝光时长。
在本申请的又一些实施例中,步骤130可以具体包括下述步骤:根据运动对象的运动速度的优先级,以及优先级对应的第二预设曝光时长,确定目标曝光时长。
需要说明的是,第一预设曝光时长和第二预设曝光时长可以根据具体需求进行设置,以上仅是基于运动对象的运动速度确定目标曝光时长的几种示例,本申请实施例对目标曝光时长的确定方式不作具体限定。
最后涉及步骤140,根据目标曝光时长对运动对象进行拍摄,得到目标图像。
在本申请的一些实施例中,在电子设备为固定光圈的情况下,图像亮度值由快门(即曝光时长)和感光度(ISO)共同控制,因此在确定了目标曝光时长之后,若期望拍摄出预设亮度值的图像,则需要根据预设亮度值和目标曝光时长确定目标感光度。
在上述实施例中,在步骤140之前,该方法还可以包括下述步骤:根据目标曝光时长和预设亮度值计算目标感光度;步骤140可以具体包括:根据目标曝光时长和目标感光度对运动对象进行拍摄,得到目标图像。
其中,预设亮度值可以根据具体需求进行设置,例如预设亮度值可以为用户在拍摄之前预先手动设置的期望拍摄出的图像的亮度值,又例如预设亮度值可以为电子设备默认的亮度值,本申请在此不做具体限定。
如此,电子设备可以根据运动对象的运动速度灵活调整拍摄的目标曝光时长,并基于调整得到的目标曝光时长确定拍摄的目标ISO,最后控制电子设备基于目标曝光时长和目标感光度拍摄出预设亮度值的图像,保证了拍摄图像的亮度,避免出现拍摄图像过暗的问题,有效改善了拍摄图像的画质。
相关技术中,在拍摄的曝光时长较短的情况下,会导致图像的噪声较多,因此为了降低图像噪声,通常使用固定帧数的图像进行多帧合成降噪,以降低图像噪声。但由于运动对象的位置变化,使用固定帧数的多帧合成降噪会容易导致图像出现伪影。
在本申请的一些实施例中,为了改善相关技术中图像出现伪影的问题,进一步提升拍摄图像的画质,图6是本申请实施例提供的另一种拍摄方法的流程示意图。
如图6所示,步骤140可以具体包括下述步骤1401-步骤1403:
步骤1401,基于运动对象的运动速度计算目标帧数。
在本申请的一些实施例中,目标帧数与运动对象的运动速度呈负相关,运动对象的运动速度越快,目标帧数越小;运动对象的运动速度越慢,目标帧数越大。
在一个实施例中,在运动对象的运动速度小于预设的速度阈值的情况下,电子设备可以不进行多帧合成降噪,直接拍摄生成目标图像。
步骤1402,基于目标曝光时长对运动对象进行拍摄,得到目标帧数的待合成图像。
步骤1403,对目标帧数的待合成图像进行降噪合成,得到目标图像。
如此,电子设备可以基于运动对象的运动速度灵活调整多帧合成降噪的图像帧数,实现动态多帧合成降噪,在降低了图像噪声的同时,有效避免出现图像伪影,提升了拍摄图像的画质和用户的拍摄体验。
相关技术中,为了能够更好地适应不同的物距,提升用户的使用体验,电子设备提供了相机的自动对焦功能。在相机成像之后,电子设备使用机器学习等方法对图像进行物体检测、物体跟踪、运动估计等一系列操作,控制相机对焦进行拍摄。然而,上述对焦过程需要消耗巨大的运算资源和较长的时间,致使对焦效率比较低。
在本申请的一些实施例中,为了提升电子设备的对焦效率,图7是本申请实施例提供的又一种拍摄方法的流程示意图。
如图7所示,在步骤140之前,该方法还可以包括下述步骤710和步骤720:
步骤710,根据每帧预览图像中运动对象的坐标信息,确定运动对象的位置信息。
在本申请的一些实施例中,电子设备可以通过相机传感器中的特殊感光二极管实时感知外界环境亮度变化,将环境亮度的变化转化成实感像素的像素值(pixel value)的变化,因此运动对象的位置变化会使环境亮度发生改变,从而引起实感像素的像素值的变化。基于此,电子设备可以通过实感像素对应的像素值和坐标,输出运动对象的信息,例如有亮度变化的运动对象轮廓,从而确定出运动对象在预览图像中的具体位置。
如此,基于电子设备中实感像素对环境亮度的实时性感知,可以直接通过电子设备中实感像素输出的预览图像,准确确定运动对象在预览图像中的位置,无需进行运动对象的运动估计或预测,大大减少了计算量,节省了运算资源,同时提升了对运动对象定位的效率。
步骤720,根据运动对象的位置信息对画面进行对焦。
在本申请的一些实施例中,预览图像可以包括至少两帧(或至少两张),为了保证对焦位置的准确性,电子设备可以根据运动对象在最新一帧预览图像中的位置信息进行对焦。
在本申请的一些实施例中,对焦的目的是使运动主体(或者运动对象)更清晰,因此在确定运动对象在预览图像中的位置之后,电子设备可以通过反差对焦或者相位对焦等方式调整相机像距,从而使运动主体更清晰。
需要说明的是,反差对焦或者相位对焦仅是对焦方式的一种示例,本申请对此不做具体限定。
如此,电子设备可以基于运动对象在预览图像中的位置实现运动对象的精准对焦,避免所拍运动对象焦虚,提升对运动对象的对焦效率。
需要说明的是,本申请实施例提供的拍摄方法,执行主体可以为拍摄装置,或者该拍摄装置中的用于执行拍摄的方法的控制模块。本申请实施例中以拍摄装置执行拍摄的方法为例,说明本申请实施例提供的拍摄装置。下面对拍摄装置进行详细介绍。
图8是本申请提供的一种拍摄装置的结构示意图。
如图8所示,本申请实施例提供一种拍摄装置800,该拍摄装置800可以应用于电子设备,该拍摄装置800包括:生成模块810、确定模块820和拍摄模块830。
其中,生成模块810,用于在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像,其中,每帧预览图像包括运动对象;确定模块820,用于根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,确定运动对象的运动速度;确定模块820,还用于根据运动对象的运动速度确定目标曝光时长;拍摄模块830,用于根据目标曝光时长对运动对象进行拍摄,得到目标图像。
本申请实施例提供的拍摄装置,在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像,其中,每帧预览图像包括运动对象。由于实感像素的实时性非常高,因此根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,能够准确确定运动对象的运动速度。在此基础上,根据运动对象的运动速度确定目标曝光时长,根据目标曝光时长对运动对象进行拍摄,得到目标图像。如此,可以通过电子设备中实感像素输出的预览图像准确得到运动对象的运动速度,并基于运动对象的运动速度灵活调整拍摄的曝光时长,避免了相机的曝光时间设置过长导致拍摄图像产生拖影,也避免了曝光时间设置过短导致拍摄出的图像过暗或者噪声过多的问题,有效改善了拍摄图像的画质。
在本申请的一些实施例中,确定模块820具体用于:根据运动对象的运动速度和电子设备的预设系统分辨率计算目标曝光时长。
如此,基于运动对象的运动速度能够灵活调整拍摄的曝光时长,避免了相机的曝光时长固定,导致无法对运动速度较快的运动对象进行有效拍摄。另一方面,避免了因相机的曝光时间设置过长或过短,拍摄图像出现运动对象拖影、图像过暗或者噪声过多等问题,有效改善了拍摄图像的画质。
在本申请的一些实施例中,该装置还包括:计算模块,用于在根据目标曝光时长对运动对象进行拍摄,得到目标图像之前,根据目标曝光时长和预设亮度值计算目标感光度;拍摄模块830具体用于:根据目标曝光时长和目标感光度对运动对象进行拍摄,得到目标图像。
如此,电子设备可以根据运动对象的运动速度灵活调整拍摄的目标曝光时长,并基于调整得到的目标曝光时长确定拍摄的目标ISO,最后控制电子设备基于目标曝光时长和目标感光度拍摄出预设亮度值的图像,保证了拍摄图像的亮度,避免出现拍摄图像过暗的问题,有效改善了拍摄图像的画质。
在本申请的一些实施例中,拍摄模块830包括:计算单元,用于基于运动对象的运动速度计算目标帧数;拍摄单元,用于基于目标曝光时长对运动对象进行拍摄,得到目标帧数的待合成图像;降噪单元,用于对目标帧数的待合成图像进行降噪合成,得到目标图像。
如此,电子设备可以基于运动对象的运动速度灵活调整多帧合成降噪的图像帧数,实现动态多帧合成降噪,在降低了图像噪声的同时,有效避免出现图像伪影,提升了拍摄图像的画质和用户的拍摄体验。
在本申请的一些实施例中,该装置还包括:确定模块820,还用于在根据目标曝光时长对运动对象进行拍摄,得到目标图像之前,根据每帧预览图像中运动对象的坐标信息,确定运动对象的位置信息;对焦模块,用于根据运动对象的位置信息对画面进行对焦。
如此,基于电子设备中实感像素对环境亮度的实时性感知,可以直接通过实感像素输出的预览图像,对预览图像中的运动对象进行准确定位,并基于该定位进行画面对焦,无需进行运动对象的运动估计或预测,大大减少了计算量,节省了运算资源,同时提升了对运动对象的定位效率和对焦效率。
本申请实施例提供的拍摄装置能够实现图1、图6、图7的方法实施例中电子设备所实现的各个过程,为避免重复,这里不再赘述。
本申请实施例中的拍摄装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的拍摄装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
可选地,如图9所示,本申请实施例还提供一种电子设备900,包括处理器901,存储器902,存储在存储器902上并可在处理器901上运行的程序或指令,该程序或指令被处理器901执行时实现上述拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图10为本申请实施例的另一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
其中,上述输入单元1004可以包括图像捕获装置,例如摄像头。
本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,传感器1005,用于在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像,其中,每帧预览图像包括运动对象;处理器1010,用于根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,确定运动对象的运动速度;处理器1010,还用于根据运动对象的运动速度确定目标曝光时长;输入单元1004,用于根据目标曝光时长对运动对象进行拍摄,得到目标图像。
在本申请实施例中,在对运动对象拍摄的过程中,通过电子设备中的实感像素生成至少一帧预览图像,其中,每帧预览图像包括运动对象。由于实感像素的实时性非常高,因此根据每帧预览图像的时间信息,以及每帧预览图像中运动对象的坐标信息,能够准确确定运动对象的运动速度。在此基础上,根据运动对象的运动速度确定目标曝光时长,根据目标曝光时长对运动对象进行拍摄,得到目标图像。如此,可以通过电子设备中实感像素输出的预览图像准确得到运动对象的运动速度,并基于运动对象的运动速度灵活调整拍摄的曝光时长,避免了相机的曝光时间设置过长导致拍摄图像产生拖影,也避免了曝光时间设置过短导致拍摄出的图像过暗或者噪声过多的问题,有效改善了拍摄图像的画质。
在本申请的一些实施例中,处理器1010具体用于:根据运动对象的运动速度和电子设备的预设系统分辨率计算目标曝光时长。
如此,基于运动对象的运动速度能够灵活调整拍摄的曝光时长,避免了相机的曝光时长固定,导致无法对运动速度较快的运动对象进行有效拍摄。另一方面,避免了因相机的曝光时间设置过长或过短,拍摄图像出现运动对象拖影、图像过暗或者噪声过多等问题,有效改善了拍摄图像的画质。
在本申请的一些实施例中,处理器1010,还用于在根据目标曝光时长对运动对象进行拍摄,得到目标图像之前,根据目标曝光时长和预设亮度值计算目标感光度;输入单元1004具体用于:根据目标曝光时长和目标感光度对运动对象进行拍摄,得到目标图像。
如此,电子设备可以根据运动对象的运动速度灵活调整拍摄的目标曝光时长,并基于调整得到的目标曝光时长确定拍摄的目标ISO,最后控制电子设备基于目标曝光时长和目标感光度拍摄出预设亮度值的图像,保证了拍摄图像的亮度,避免出现拍摄图像过暗的问题,有效改善了拍摄图像的画质。
在本申请的一些实施例中,处理器1010,还用于基于运动对象的运动速度计算目标帧数;输入单元1004,用于基于目标曝光时长对运动对象进行拍摄,得到目标帧数的待合成图像;输入单元1004,还用于对目标帧数的待合成图像进行降噪合成,得到目标图像。
如此,电子设备可以基于运动对象的运动速度灵活调整多帧合成降噪的图像帧数,实现动态多帧合成降噪,在降低了图像噪声的同时,有效避免出现图像伪影,提升了拍摄图像的画质和用户的拍摄体验。
在本申请的一些实施例中,处理器1010,还用于在根据目标曝光时长对运动对象进行拍摄,得到目标图像之前,根据每帧预览图像中运动对象的坐标信息,确定运动对象的位置信息;输入单元1004,还用于根据运动对象的位置信息对画面进行对焦。
如此,基于电子设备中实感像素对环境亮度的实时性感知,可以直接通过实感像素输出的预览图像,对预览图像中的运动对象进行准确定位,并基于该定位进行画面对焦,无需进行运动对象的运动估计或预测,大大减少了计算量,节省了运算资源,同时提升了对运动对象的定位效率和对焦效率。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器1009可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,处理器为上述实施例中的电子设备中的处理器。可读存储介质,包括计算机可读存储介质,计算机可读存储介质的示例包括非暂态计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (12)

1.一种拍摄方法,应用于电子设备,其特征在于,所述方法包括:
在对运动对象拍摄的过程中,通过所述电子设备中的实感像素生成至少一帧预览图像,其中,每帧预览图像包括所述运动对象;
根据所述每帧预览图像的时间信息,以及所述每帧预览图像中所述运动对象的坐标信息,确定所述运动对象的运动速度;
根据所述运动对象的运动速度确定目标曝光时长;
根据所述目标曝光时长对所述运动对象进行拍摄,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述运动对象的运动速度确定目标曝光时长,包括:
根据所述运动对象的运动速度和所述电子设备的预设系统分辨率计算所述目标曝光时长。
3.根据权利要求1或2所述的方法,其特征在于,在所述根据所述目标曝光时长对所述运动对象进行拍摄,得到目标图像之前,所述方法还包括:
根据所述目标曝光时长和预设亮度值计算目标感光度;
所述根据所述目标曝光时长对所述运动对象进行拍摄,得到目标图像,包括:
根据所述目标曝光时长和所述目标感光度对所述运动对象进行拍摄,得到所述目标图像。
4.根据权利要求1或2所述的方法,其特征在于,所述根据所述目标曝光时长对所述运动对象进行拍摄,得到目标图像,包括:
基于所述运动对象的运动速度计算目标帧数;
基于所述目标曝光时长对所述运动对象进行拍摄,得到所述目标帧数的待合成图像;
对所述目标帧数的待合成图像进行降噪合成,得到所述目标图像。
5.根据权利要求1所述的方法,其特征在于,在所述根据所述目标曝光时长对所述运动对象进行拍摄,得到目标图像之前,所述方法还包括:
根据所述每帧预览图像中所述运动对象的坐标信息,确定所述运动对象的位置信息;
根据所述运动对象的位置信息对画面进行对焦。
6.一种拍摄装置,应用于电子设备,其特征在于,所述装置包括:
生成模块,用于在对运动对象拍摄的过程中,通过所述电子设备中的实感像素生成至少一帧预览图像,其中,每帧预览图像包括所述运动对象;
确定模块,用于根据所述每帧预览图像的时间信息,以及所述每帧预览图像中所述运动对象的坐标信息,确定所述运动对象的运动速度;
所述确定模块,还用于根据所述运动对象的运动速度确定目标曝光时长;
拍摄模块,用于根据所述目标曝光时长对所述运动对象进行拍摄,得到目标图像。
7.根据权利要求6所述的装置,其特征在于,所述确定模块具体用于:
根据所述运动对象的运动速度和所述电子设备的预设系统分辨率计算所述目标曝光时长。
8.根据权利要求6或7所述的装置,其特征在于,所述装置还包括:
计算模块,用于在所述根据所述目标曝光时长对所述运动对象进行拍摄,得到目标图像之前,根据所述目标曝光时长和预设亮度值计算目标感光度;
所述拍摄模块具体用于:根据所述目标曝光时长和所述目标感光度对所述运动对象进行拍摄,得到所述目标图像。
9.根据权利要求6或7所述的装置,其特征在于,所述拍摄模块包括:
计算单元,用于基于所述运动对象的运动速度计算目标帧数;
拍摄单元,用于基于所述目标曝光时长对所述运动对象进行拍摄,得到所述目标帧数的待合成图像;
降噪单元,用于对所述目标帧数的待合成图像进行降噪合成,得到所述目标图像。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
所述确定模块,还用于在所述根据所述目标曝光时长对所述运动对象进行拍摄,得到目标图像之前,根据所述每帧预览图像中所述运动对象的坐标信息,确定所述运动对象的位置信息;
对焦模块,用于根据所述运动对象的位置信息对画面进行对焦。
11.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的拍摄方法的步骤。
12.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的拍摄方法的步骤。
CN202110350733.8A 2021-03-31 2021-03-31 拍摄方法、装置、设备和存储介质 Pending CN113099122A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110350733.8A CN113099122A (zh) 2021-03-31 2021-03-31 拍摄方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110350733.8A CN113099122A (zh) 2021-03-31 2021-03-31 拍摄方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN113099122A true CN113099122A (zh) 2021-07-09

Family

ID=76673134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110350733.8A Pending CN113099122A (zh) 2021-03-31 2021-03-31 拍摄方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113099122A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489909A (zh) * 2021-07-30 2021-10-08 维沃移动通信有限公司 拍摄参数的确定方法、装置及电子设备
CN113572916A (zh) * 2021-07-23 2021-10-29 深圳传音控股股份有限公司 拍摄方法、终端设备及存储介质
CN113630555A (zh) * 2021-08-20 2021-11-09 RealMe重庆移动通信有限公司 拍摄方法、拍摄装置、终端及可读存储介质
CN114390209A (zh) * 2022-02-23 2022-04-22 维沃移动通信有限公司 拍摄方法、拍摄装置、电子设备和可读存储介质
CN115118890A (zh) * 2022-06-24 2022-09-27 维沃移动通信有限公司 摄像头模组、拍摄方法、拍摄装置和电子设备
CN115134536A (zh) * 2022-06-28 2022-09-30 维沃移动通信有限公司 拍摄方法及其装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060007327A1 (en) * 2004-07-09 2006-01-12 Konica Minolta Photo Imaging, Inc. Image capture apparatus and image capture method
JP2014023067A (ja) * 2012-07-20 2014-02-03 Ricoh Imaging Co Ltd 画像合成装置
JP2015170899A (ja) * 2014-03-05 2015-09-28 日産自動車株式会社 カメラ装置
US20160094770A1 (en) * 2013-07-08 2016-03-31 Huawei Device Co., Ltd. Image Processing Method and Apparatus, and Terminal
CN107770451A (zh) * 2017-11-13 2018-03-06 广东欧珀移动通信有限公司 拍照处理的方法、装置、终端和存储介质
JP2018067965A (ja) * 2013-08-21 2018-04-26 株式会社ニコン 撮像素子および撮像装置
CN111182230A (zh) * 2019-12-31 2020-05-19 维沃移动通信有限公司 图像处理方法和装置
CN111212242A (zh) * 2020-01-14 2020-05-29 维沃移动通信有限公司 曝光方法和电子设备
CN112543284A (zh) * 2020-11-27 2021-03-23 维沃移动通信有限公司 对焦系统、方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060007327A1 (en) * 2004-07-09 2006-01-12 Konica Minolta Photo Imaging, Inc. Image capture apparatus and image capture method
JP2014023067A (ja) * 2012-07-20 2014-02-03 Ricoh Imaging Co Ltd 画像合成装置
US20160094770A1 (en) * 2013-07-08 2016-03-31 Huawei Device Co., Ltd. Image Processing Method and Apparatus, and Terminal
JP2018067965A (ja) * 2013-08-21 2018-04-26 株式会社ニコン 撮像素子および撮像装置
JP2015170899A (ja) * 2014-03-05 2015-09-28 日産自動車株式会社 カメラ装置
CN107770451A (zh) * 2017-11-13 2018-03-06 广东欧珀移动通信有限公司 拍照处理的方法、装置、终端和存储介质
CN111182230A (zh) * 2019-12-31 2020-05-19 维沃移动通信有限公司 图像处理方法和装置
CN111212242A (zh) * 2020-01-14 2020-05-29 维沃移动通信有限公司 曝光方法和电子设备
CN112543284A (zh) * 2020-11-27 2021-03-23 维沃移动通信有限公司 对焦系统、方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572916A (zh) * 2021-07-23 2021-10-29 深圳传音控股股份有限公司 拍摄方法、终端设备及存储介质
CN113572916B (zh) * 2021-07-23 2024-03-15 深圳传音控股股份有限公司 拍摄方法、终端设备及存储介质
CN113489909A (zh) * 2021-07-30 2021-10-08 维沃移动通信有限公司 拍摄参数的确定方法、装置及电子设备
CN113489909B (zh) * 2021-07-30 2024-01-19 维沃移动通信有限公司 拍摄参数的确定方法、装置及电子设备
CN113630555A (zh) * 2021-08-20 2021-11-09 RealMe重庆移动通信有限公司 拍摄方法、拍摄装置、终端及可读存储介质
CN114390209A (zh) * 2022-02-23 2022-04-22 维沃移动通信有限公司 拍摄方法、拍摄装置、电子设备和可读存储介质
CN115118890A (zh) * 2022-06-24 2022-09-27 维沃移动通信有限公司 摄像头模组、拍摄方法、拍摄装置和电子设备
CN115134536A (zh) * 2022-06-28 2022-09-30 维沃移动通信有限公司 拍摄方法及其装置
CN115134536B (zh) * 2022-06-28 2024-05-03 维沃移动通信有限公司 拍摄方法及其装置

Similar Documents

Publication Publication Date Title
CN113099122A (zh) 拍摄方法、装置、设备和存储介质
CN109671106B (zh) 一种图像处理方法、装置与设备
WO2019071613A1 (zh) 一种图像处理方法及装置
CN112822412B (zh) 曝光方法、装置、电子设备和存储介质
CN112153301B (zh) 拍摄方法和电子设备
JP2009522591A (ja) 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置
CN111601040B (zh) 摄像头控制方法、装置及电子设备
CN112312017B (zh) 拍摄控制方法和电子设备
JP2011244046A (ja) 撮像装置、画像処理方法、及びプログラム記憶媒体
CN112637500B (zh) 图像处理方法及装置
CN112333382B (zh) 拍摄方法、装置及电子设备
CN113596294A (zh) 拍摄方法、装置和电子设备
CN112422798A (zh) 拍照方法、装置、电子设备和存储介质
CN112734659A (zh) 图像校正方法、装置及电子设备
CN114390201A (zh) 对焦方法及其装置
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
CN113747067A (zh) 拍照方法、装置、电子设备及存储介质
CN113866782A (zh) 图像处理方法、装置及电子设备
CN114286011B (zh) 对焦方法和装置
CN115278047A (zh) 拍摄方法、装置、电子设备和存储介质
CN112367467B (zh) 显示控制方法、装置、电子设备和介质
CN114125226A (zh) 图像拍摄方法、装置、电子设备和可读存储介质
CN114339051A (zh) 拍摄方法、装置、电子设备和可读存储介质
CN112367464A (zh) 图像输出方法、装置及电子设备
CN112399092A (zh) 拍摄方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210709

WD01 Invention patent application deemed withdrawn after publication