CN115701869A - 摄影图像处理方法及设备 - Google Patents

摄影图像处理方法及设备 Download PDF

Info

Publication number
CN115701869A
CN115701869A CN202110812518.5A CN202110812518A CN115701869A CN 115701869 A CN115701869 A CN 115701869A CN 202110812518 A CN202110812518 A CN 202110812518A CN 115701869 A CN115701869 A CN 115701869A
Authority
CN
China
Prior art keywords
image
images
dynamic object
series
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110812518.5A
Other languages
English (en)
Inventor
曹毅俊
朱建峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to CN202110812518.5A priority Critical patent/CN115701869A/zh
Priority to TW111126682A priority patent/TW202403665A/zh
Priority to EP22845272.8A priority patent/EP4375925A1/en
Priority to CN202280049371.1A priority patent/CN117642771A/zh
Priority to PCT/CN2022/106268 priority patent/WO2023001107A1/zh
Publication of CN115701869A publication Critical patent/CN115701869A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及图像处理方法及装置。提供了一种用于处理一系列图像的电子设备,所述一系列图像是针对包含静态物体和动态物体的场景拍摄而获得的,所述电子设备包括处理电路,被配置为:选择所述一系列图像中的包含静态物体的特定图像;生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹;以及基于所述特定图像和所生成的动态物体的运动轨迹两者获得最终图像。

Description

摄影图像处理方法及设备
技术领域
本公开涉及图像处理,特别涉及摄影图像处理。
背景技术
随着电子摄影设备,诸如各种数码相机、便携设备搭载摄影设备等日益普及,人们越来越多地利用电子摄影设备进行获取各种场景的照片、视频等等。
在摄影过程中,通常通过调整各种参数来获得各种效果的照片。其中一个常用的参数是快门速度,快门速度是拍摄照片时控制曝光时间长短的参数。在实际拍摄中,可以通过对快门速度调节来实现不同的效果。慢快门意味着通过降低快门速度、延长快门时间来获得长时间的曝光,以能够实现特殊的动态效果。例如,利用慢快门拍摄出流水、云彩的流动感,在拍摄夜景时能够记录运动物体的明亮轨迹,例如车辆行驶的光迹等等。
除非另有说明,否则不应假定本节中描述的任何方法仅仅因为包含在本节中而成为现有技术。同样,除非另有说明,否则关于一种或多种方法所认识出的问题不应在本节的基础上假定在任何现有技术中都认识到。
发明内容
本公开的一个目的是改进拍摄图像处理,从而能够获得高质量的具有慢快门摄影效果的图像。
在本公开的一个方面,提供了一种用于处理一系列图像的电子设备,所述一系列图像是针对包含静态物体和动态物体的场景拍摄而获得的,所述电子设备包括处理电路,被配置为:基于选自所述一系列图像中的包含静态物体的特定图像,生成不包含动态物体有关的图像内容的处理图像;生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹;以及基于所述处理图像和所生成的动态物体的运动轨迹两者获得最终图像。
在本公开的一个方面,提供了一种用于处理一系列图像的方法,所述一系列图像是针对包含静态物体和动态物体的场景拍摄而获得的,所述方法包括:基于选自所述一系列图像中的包含静态物体的特定图像,生成不包含动态物体有关的图像内容的处理图像;生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹;以及基于所述处理图像和所生成的动态物体的运动轨迹两者获得最终图像。
在还另一方面,提供了一种包括至少一个处理器和至少一个存储设备,所述至少一个存储设备其上存储有指令,该指令在由所述至少一个处理器执行时可使得所述至少一个处理器执行如本文所述的方法。
在仍另一方面,提供了一种存储有指令的存储介质,该指令在由处理器执行时可以使得执行如本文所述的方法。
在仍另一方面,提供了一种程序产品,所述程序产品包含指令,该指令在由处理器执行时可使得所述处理器执行如本文所述的方法。
从参照附图的示例性实施例的以下描述,本发明的其它特征将变得清晰。
附图说明
并入说明书中并且构成说明书的一部分的附图示出了本发明的实施例,并且与描述一起用于解释本发明的原理。在附图中,相似的附图标记指示相似的项目。
图1示出了根据本公开的实施例的用于图像处理的电子设备的框图。
图2A到2D示出了根据本公开的实施例的背景内容替换的示意图。
图3示出了根据本公开的实施例的图像处理方法的流程图。
图4A示出了根据本公开的实施例的示例性的生成具有慢快门摄影效果的图像的过程,图4B示出了示例性的具有慢快门摄影效果的图像。
图5示出了根据本公开的实施例的摄影设备。
图6示出了示出了能够实现本发明的实施例的计算机系统的示例性硬件配置的框图。
虽然在本公开内容中所描述的实施例可能易于有各种修改和另选形式,但是其具体实施例在附图中作为例子示出并且在本文中被详细描述。但是,应当理解,附图以及对其的详细描述不是要将实施例限定到所公开的特定形式,而是相反,目的是要涵盖属于权利要求的精神和范围内的所有修改、等同和另选方案。
具体实施方式
在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见,在说明书中并未描述实施例的所有特征。然而,应该了解,在对实施例进行实施的过程中必须做出很多特定于实施方式的设置,以便实现开发人员的具体目标,例如,符合与装置及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还应当注意,为了避免因不必要的细节而模糊了本公开,在附图中仅仅示出了与至少根据本公开的方案密切相关的处理步骤和/或设备结构,而省略了与本公开关系不大的其他细节。
以下将参照附图来详细描述本发明的实施例。应注意,在附图中相似的附图标记和字母指示相似的项目,并且因此一旦一个项目在一个附图中被定义,则对于随后的附图无需再对其进行论述。
在本公开中,术语“第一”、“第二”等仅仅用于区分元件或者步骤,而不是要指示时间顺序、优先选择或者重要性。
目前,在利用电子摄影设备进行拍摄时,可以通过调整快门来获得不同的效果。特别地,往往采用慢快门模式通过延长快门时间来实现特殊的动态效果。但是,在采用慢快门模式进行拍摄时,曝光时间长,在拍摄过程中些许的抖动都会造成最终成像中静态物体的模糊化等问题。现有的摄影操作中为了拍摄慢快门摄影效果的照片,需要使用三脚架固定摄影设备,然后通过长时间曝光来达成。然而,这样会增加拍摄人员的负担,并且并不能有效地抑制抖动所造成的负面影响。
但是,目前没有相关用于照相机的软件技术来解决慢快门摄影时的抖动问题。因此,需要改进的技术来获得改进的具有慢快门摄影效果的图像。
本公开提出了一种对一组图像进行处理、尤其是在一定时间(例如,等于快门设定时间)拍摄到的一段视频数据或者一组图像进行处理的技术,其中,对这样的一组图像进行静态物体和动态物体分析和处理,并且基于特定的静态物体图像和动态物体轨迹来生成类似慢快门摄影效果的照片。
应指出,本公开的方案属于一种改进的图像处理,其是通过获取一段视频数据或者一组图像并且对视频数据/图像进行图像处理来模拟出慢快门摄影的效果,而与相机的拍摄模式,例如相机快门模式设定、尤其是慢快门拍摄模式无关。特别地,在相机慢快门拍摄模式下,在达到快门时间后基于光学器件成像生成最终图像,也就是说慢快门拍摄模式只会获得一张最终图像。而本公开中是对于一段视频数据或一组图像进行处理。特别地,一段视频数据或者一组图像可以是通过使用相机连续拍摄得到的,而其拍摄模式,包括快门设定等可以是常规设定,而只需要适当地设定拍摄时间长度即可,该拍摄时间长度例如可以等于常用的慢快门时间长度或者其它合适的时间长度。
应指出,本公开并不是简单地对视频中的防抖处理,而是通过对拍摄得到的视频数据/一组图像进行挑选、优化处理和组合,即使在拍摄视频/照片时存在抖动,甚至于拍摄得到的视频/照片中可能存在抖动的情况下,仍可以最终获得高质量的具有慢快门摄影效果的照片。
以下将参照附图来详细描述根据本公开的图像处理。
图1示出了根据本公开的实施例的用于一系列图像的图像处理的设备的框图。如图1所示,设备10包括处理电路102,处理电路102被配置用于基于选自所述一系列图像中的包含静态物体的特定图像,生成不包含动态物体有关的图像内容的处理图像;生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹;以及基于所述处理图像和所生成的动态物体的运动轨迹两者获得最终图像。
在本公开的实施例中,一系列图像是针对包含静态物体和动态物体中的至少一者的场景拍摄而获得的。在一些实施例中,一系列图像是通过相机拍摄特定时间段得到的。例如,可以是连续拍摄的,或者是每隔特定的时间间隔拍摄的。在一些实施例中,一系列图像是利用摄影设备在非固定的情况下拍摄特定时间段而得到的。该拍摄时间段、即拍摄时长可被适当地设定,例如对应于快门速度设定。作为示例,用户在手持摄影设备进行拍摄时,会获得一段视频数据,而这段视频数据实质上包含多帧数据,即多帧图像,可作为待处理的一系列图像。例如,参考慢快门模式的参数以及拍摄时长的设定,待处理的一系列图像的数量可不同。例如,当1秒30帧数据的设定参数拍摄2秒钟时,这样所获得的待处理的图像将包含30×2=60帧图像。应指出,待处理的一系列图像可以是在特定时间段中拍摄的全部图像,或者是其中一部分图像,例如随机挑选或则等间隔挑选的图像。
在本公开的实施例中,对视频数据中的静态物体和动态物体分开进行处理,因此可以采用各种适当的方式来识别并区分图像集合中的静态物体和动态物体。特别地,可以对所有图像进行解析,通过比较图像中各个位置的像素信息以及允许一定偏移量的条件下,进行整个视频中静态物体和动态物体的划分。
在一些实施例中,处理电路被配置为将所述一系列图像的每一图像中均存在的且位置偏移小于特定阈值的物体识别为静态物体。特别地,静态物体应该是在整个拍摄过程中基本保持固定的物体,因此表现为在视频所有帧数据中均存在并且位置偏移在一定误差内的物体,这种特定阈值/误差可以是经验设定的,或者是根据训练图像集、或者之前的拍摄图像中的数据分析而得出的。
在另一些实施例中,处理电路被配置为将没有在所述一系列图像中所有图像上出现的或者在所述一系列图像中的所有图像上出现但是位置偏移大于特定阈值的物体识别为动态物体。特别地,在图像识别过程中,除了所识别得到的静态物体之外,图像其中的其它物体往往都可以被视为动态物体,动态物体例如可表现为在视频数据中移动的物体,其位置偏差会大于特定阈值,或者在拍摄中途进入或者离开视频拍摄范围的物体等等。这里的阈值可以是之前的特定阈值,也可以是另外设定的阈值。
特别地,静态物体和动态物体的识别可以在所有视频数据中逐个地进行或者相隔特定间隔地进行。作为示例,可以选择视频数据中的某一视频数据例如第一视频数据或最后一个视频数据作为参考,其它视频数据都与之进行比较。另外,静态物体和动态物体的识别可以由处理电路执行,也可是由电子设备包含的处理电路之外的装置来执行,甚至可以由电子设备之外的可以获取拍摄视频数据的装置来执行,该装置可以对图像进行识别并且将识别结果提供给电子设备的处理电路。
根据本公开的实施例,对于静态物体的处理是基于选自所述一系列图像中的包含静态物体的特定图像来进行的。在一些实施例中,所述特定图像是所述一系列图像中的静态物体满足特定要求的图像。特定条件与所拍摄的图像的特性、需求等有关,满足特定要求包括例如摄影效果最好,最清晰,人物表情最好,色彩最好,或者即使不够清晰,但是人物的神态、形态等最满足要求等等。
作为示例,特定图像是从一系列图像中挑选的静态物体表现比较好的图像。例如,在通过相机在特定时间段拍摄得到的一段视频数据中所包含的多帧中,从视频所包含的各帧中的选择的静态物体表现比较好的帧作为静态物体帧,作为前述特定图像。其中,所述静态物体表现好指的是静态物体的清晰度、形态、颜色等表现好而满足特定要求的图像,特别地,如果存在多个满足特定要求的图像,则所选择的特定图像是其中最好的一个图像。
特定图像的挑选可通过多种适当的方式来执行。在一些实施例中,可以基于静态物体模板/模型来从一系列图像中进行挑选。根据一些实施例,处理电路进一步配置为将所述一系列图像中的每一图像与静态物体模板进行比较,并且选择所述一系列图像中的与所述静态物体模板的接近度最高的图像作为该特定图像。静态物体模板是针对各种要求得到的模板,例如清晰度高、人物表情好、物体色彩表现好、形态好等等的模板。所述接近度是图像中的静态物体与静态物体模板之间的关于清晰度、人物表情、形态、色彩中的至少一者的接近度。当然,接近度还可以是关于其它类型的信息的接近度,尤其是关于前述特定要求相关的信息。
在一些实施例中,静态物体模板/模型是通过训练得到的,特别地,所述静态物体模板是基于训练图像集合被训练得到的静态物体数据模型。在一些实施例中,静态物体模板/模型是基于预先提供的训练数据集而得到的。在一些实施例中,每次拍摄得到的图像中的至少一部分可以添加到训练数据集中。在另一些实施例中,静态物体模板/模型可以动态地更新,例如可以在训练数据集发生变化时被重新训练。训练数据集发生变化包括但不限于例如定期用新的训练数据集来更换训练数据集,通过添加额外的训练数据来定期更新训练数据集,等等。
在本公开的实施例中,对于静态物体的处理包括针对特定图像进行处理以去除其中的动态物体图像内容,从而获得仅包含静态物体的图像/帧数据,以作为获得最终图像的基准图像。
根据本公开的实施例,处理电路可以进一步配置为:将所述特定图像中的动态物体相关的内容替换为背景内容。作为示例,可以从所选择的静态物体特定图像中去除动态物体时,可以从中去除动态物体的像素内容区域,并参考其他帧数据类似位置的像素信息将此区域背景像素信息补回,并以此帧数据作为最终成像的基准图像使用。
在一些实施例中,处理电路可进一步配置为:从所述一系列图像中筛选出其动态物体位置与所述特定图像中的动态物体位置不重合且其静态物体位置与所述特定图像中的静态物体位置偏差最小的图像;并且基于所筛选的图像中的与所述特定图像中的动态物体位置相对应的位置处的内容确定背景内容。在一些示例中,所筛选的图像中的静态物体位置与所述特定图像中的静态物体位置一致,则所筛选的图像中的位置与所述特定图像中的动态物体位置相对应且大小相同的内容作为背景内容。在另一些示例中,所筛选的图像中的静态物体位置与所述特定图像中的静态物体位置存在偏差,则所筛选的图像中的位置与所述特定图像中的动态物体位置相对应且基于偏差值进行调整的内容作为背景内容。
以下将参照附图来描述根据本公开的实施例的特定图像的示例性处理。
首先,基于静态物体特定图像,在图像数据中标识出动态物体及部分静态物体,如图2A所示,假设拍摄时间2秒,设定1秒拍摄30帧,假设第15帧数据是选自视频数据中的特定图像/帧数据,在其中标识出两个静态物体,静物1和静物2,以及一个动态物体。应指出,图中的静态物体和动态物体的数量是示例性的,它们可以具有其它的数量。
然后,在拍摄得到的帧数据中筛选出动态物体与上述特定图像中动态物位置不重叠的所有帧数据。如图2B所示,作为示例,第1帧-第9帧,第20帧-第59帧数据被筛选出。
此后,分析作为特定图像的第15帧数据中选取的静态物体的位置坐标,然后与筛选出来的各帧数据中的对应静态物体位置坐标进行比较,选取一张静态物体大小、位置偏移最小的帧数据作为参考数据用于后面处理,如图2C所示,例如第40帧数据被选取。
然后,并且利用第40帧数据中的内容来替换所选取的作为特定图像的第15帧数据中动态物体位置处的内容。
基于所筛选出来的第40帧数据进行替换可分为2种情况。
一种情况下,第40帧的数据中静态物体大小位置与第15帧数据相同,则直接从第40帧数据的与第15帧数据中的动态物体的位置对应的位置(例如相同位置)截取同样大小的画面补到第15帧的对应位置。另一种情况下,第40帧数据和第15帧数据的静态物体大小位置会有些许偏差,这样可以首先计算两组数据静态物体的位置大小偏差,基于此偏差值,对第40帧数据中的动态物体对应位置图像做相应转换(比如截取位置稍作移动,大小进行缩放等),然后再补到第15帧的对应位置。从而,最终生成一张不含动态物体的一帧数据,以此作为用于获得最终图像的基准图像,如图2D所示。
根据本公开的实施例,对于动态物体的处理包括从一系列图像中确定动态物体的运动状况,在一些示例中,生成动态物体的运动轨迹。例如,在拍摄获得的一段视频数据中,动态物体可能是在视频中运动的物体,或者在视频的中间时刻进入或者离开,因此,动态物体的运动轨迹可指示动态物体在视频中运动的痕迹。
根据一些实施例,所述处理电路进一步配置为:跟踪动态物体在所述一系列图像中的从该动态物体开始出现的图像到其最后出现的图像中的移动过程以生成运动轨迹。作为示例,可以基于物体识别算法,跟踪动态物体在视频中的整个移动过程,从而生成轨迹。根据一些实施例,可通过动态物体出现的各个图像中的位置的连线而获取。
根据本公开的实施例,动态物体的运动轨迹可包括运动物体的运动光迹。特别的,在夜景中进行慢镜头拍摄时,尤其希望的是获得光影痕迹来提高照片的美感,因此,在本公开的一些实施例中,所述处理电路进一步配置为:获取动态物体在所述一系列图像中的从该动态物体开始出现的图像到其最后出现的图像中的光学信息,基于动态物体的运动轨迹和所述光学信息,生成动态物体的运动光迹。
在一些实施例中,光学信息包括在所述一系列图像中的动态物体开始出现的图像到其最后出现的图像中每一个图像中动态物体的亮度信息和颜色信息中的至少之一。应指出,光学信息还可以包括其它适当的信息,只要该信息能够用于生成光学痕迹即可。在本公开中,可以采用各种适当的方式来生成光学痕迹。在一些实施例中,可以借助于各种适当的算法来生成光学轨迹。例如,分析动态物体的各处的亮度信息,结合光影涂鸦原理,将动态物体的运动轨迹转换为光迹。
在一些实施例中,所述处理电路进一步配置为:对于所述一系列图像中的动态物体开始出现的图像到其最后出现的图像中每一个图像,分析动态物体上各位置处的光学信息,以获取动态物体上的高亮部位;将所述一系列图像中的动态物体开始出现的图像到其最后出现图像中动态物体上的同一位置处的高亮部位进行连接,生成动态物体的运动光迹。
在一些实施例中,动态物体上的高亮部位是基于动态物体的亮度信息与图像背景部分的亮度信息进行比较而被确定的。具体而言,在慢快门摄影中,拍摄物体是否能够显示在最终成像照片中取决于它所占的曝光比重(曝光时间和物体亮度信息)。对于动态物体,如果物体本身的亮度和它通过的道路背景亮度区别不是很大的时候,因为同一位置物体停留的位置很短,道路曝光的时间比重会远远高于物体,然后在最终成像照片中物体就会很淡甚至没有显示。如果物体本身有部位的亮度(比如车灯)远远高于道路背景亮度,这个就能弥补曝光时间的不足,高亮部位会被显示在最终照片中。这个也是为什么慢快门拍摄时车只留下车灯的轨迹,而其他部位几乎没有显示的原因。
在本公开实施例中,首先通过跟踪动态物体得到了运动轨迹,然后分析每一帧数据,得到运动轨迹上道路背景单位时间(1秒30帧设定的情况下,一帧数据的时间单位就是1/30秒)的亮度值,结合曝光时间得到拍摄过程中道路背景的曝光比重进而估算道路背景的总亮度值。分析得到动态物体各部分的亮度值,并与道路背景亮度值进行比较,得到动态物体上高亮度部位(如果存在)的位置坐标,并取得该部位的颜色信息。将各帧数据中动态物体的同一位置/部位的高亮部位连接起来生成带有其原色的移动光迹。
根据本公开的实施例,可以对于前述生成的动态物体的运动轨迹/移动光迹进一步处理。在一些实施例中,可以根据用户拍摄需求,进行优化,包括去除一些噪点以使生成的运动轨迹/移动光迹更加连续圆滑,其中,噪点可能是因为动态物体除了前进之外,左右方向上还同时发生些许位移,比如汽车临时变道等。在另外一些实施例中,还可以对于动态物体的轨迹进行筛选。在一些实施例中,用于生成最终图形的动态物体的运动轨迹指的是在所述一系列图像中的超过预定数量的图像中出现的动态物体的运动轨迹。该预定数量可被适当地设定,例如经验设定。作为示例,在拍摄场景中可能存在多个动态物体的情况下,可以删除在拍摄的视频中出现时间较短的动态物体的轨迹,从而可以有效地避免相对杂乱的运动轨迹,而突出主要的长轨迹。
根据本公开的一些实施例,可以基于从静态物体特定图像生成的处理图像和所获得的动态物体运动轨迹来生成最终的图像。在一些实施例中,将动态物体运动轨迹合成到该处理图像中来获得最终成像。合成操作可通过各种适当的方式来进行,例如,将运动轨迹直接叠加在静态物体特定图像中的相应位置上。
在上述装置的结构示例中,处理电路102可以是通用处理器的形式,也可以是专用处理电路,例如ASIC。例如,处理电路120能够由电路(硬件)或中央处理设备(诸如,中央处理单元(CPU))构造。此外,处理电路102上可以承载用于使电路(硬件)或中央处理设备工作的程序(软件)。该程序能够存储在存储器(诸如,布置在存储器中)或从外面连接的外部存储介质中,以及经由网络(诸如,互联网)下载。
根据本公开的实施例,处理电路102可以包括用于实现上述功能的各个单元,例如处理图像获得单元104,其用于基于选自所述一系列图像中的包含静态物体的特定图像,生成不包含动态物体有关的图像内容的处理图像;运动轨迹生成单元106,其用于生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹;以及合成单元108,其用于基于所述处理图像和所生成的动态物体的运动轨迹两者获得最终图像。每个单元可以进行如上文所述地操作,这里将不再详细描述。
特别地,处理电路102还可包括物体识别单元110,其用于识别图像中的静态物体和动态物体中的至少一者,可以如前文所述地那样操作,这里将不再详细描述。
特别地,处理电路102还可包括选择单元112,其用于从所述一系列图像中选择包含静态物体的特定图像,可以如前文所述地那样操作,这里将不再详细描述。
特别地,运动轨迹生成单元106可以包括光学信息获取单元1062,其用于获取动态物体在所述一系列图像中的从该动态物体开始出现的图像到其最后出现的图像中的光学信息,以及光迹生成单元1064,其用于基于动态物体的运动轨迹和所述光学信息,生成动态物体的运动光迹。每个单元可以进行如上文所述地操作,这里将不再详细描述。
应指出,在图1中,物体识别单元110,选择单元112,光学信息获取单元1062以及光迹生成单元1064用虚线绘出,旨在说明该单元并不一定被包含在处理电路中,或者并不存在。作为示例,该单元可以在终端侧电子设备中而处理电路之外,甚至可以位于电子设备10之外。应注意,尽管图1中将各个单元示为分立的单元,但是这些单元中的一个或多个也可以合并为一个单元,或者拆分为多个单元。
应注意,上述各个单元仅是根据其所实现的具体功能划分的逻辑模块,而不是用于限制具体的实现方式,例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时,上述各个单元可被实现为独立的物理实体,或者也可由单个实体(例如,处理器(CPU或DSP等)、集成电路等)来实现。此外,上述各个单元在附图中用虚线示出指示这些单元可以并不实际存在,而它们所实现的操作/功能可由处理电路本身来实现。
应理解,图1仅仅是用于图像处理的电子设备的概略性结构配置,电子设备10还可以包括其他可能的部件,诸如存储器、网络接口、控制器等,为了清楚起见这些部件并未示出。特别地,处理电路可以与存储器相关联。例如,处理电路可以直接或间接(例如,中间可能连接有其它部件)连接到存储器,以进行图像处理相关数据的存取。存储器可以存储由处理电路102产生的各种数据和/或信息。存储器还可以位于终端侧电子设备内但在处理电路之外,或者甚至位于终端侧电子设备之外。存储器可以是易失性存储器和/或非易失性存储器。例如,存储器可以包括但不限于随机存储存储器(RAM)、动态随机存储存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、闪存存储器。
以下将参照图3来描述根据本公开的实施例的图像处理方法的流程图。该图像处理旨在处理一系列图像,所述一系列图像是针对包含静态物体和动态物体的场景拍摄而获得的,如图3所示,在图像处理方法的步骤S301中,基于选自所述一系列图像中的包含静态物体的特定图像,生成不包含动态物体有关的图像内容的处理图像;在步骤S302中,生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹;以及在步骤S303中,基于所述处理图像和所生成的动态物体的运动轨迹两者获得最终图像。
应指出,这些步骤可以由任何适当的设备或设备元件来执行,例如前述的图像处理设备,图像处理设备中的处理电路、处理电路中的相应元件等等。应指出,根据本公开的实施例的图像处理方法还可包含其他步骤,例如前文所述的各种进一步的处理。而且这些进一步的处理也可通过适当的设备或者设备元件来执行,这里将不再详细描述。
以下将参照图4A来描述根据本公开的实施例的能够实现慢快门摄影拍摄效果的示例性图像处理的基本流程图,其中对于用户手持摄影设备拍摄的一段视频数据进行分析并最终生成高质量的、具有慢快门摄影效果的照片。
首先,对所拍摄的一段视频数据中的所有帧数据进行解析,通过比较各个位置的像素信息以及允许一定偏移量的条件下,进行整个视频中静态物体和动态物体的划分。
其次,选取表现比较好的一帧数据,然后从中去除动态物体的像素,并参考其他帧数据类似位置的像素信息将此区域背景像素信息补回,获得只包含静态物体的一帧数据,并以此帧数据作为最终成像的基准图像来使用。如果以最通用的1秒30帧数据的设定参数进行拍摄,一帧数据只是1/30秒的瞬间,即使整个拍摄过程发生抖动,一帧数据上的静态物体的清晰度可以得到保证。
然后,在识别动态物体的基础上,在整个视频中进行动态物体运动轨迹的跟踪,并结合动态物体各个位置的亮度信息,生成动态物体移动的光迹。
最后,将动态物体的移动光迹合成到只包含静态物体的那一帧数据得到最终成像。图4B示出了最终得到的具有慢快门摄影效果的图像。图中左下角的方框标识了图像中静止的汽车,其是静态物体并且会被清晰地显示,在该方框右侧的方框标识了作为动态物体的中间道路区域中行驶中车辆的运动光迹。
应指出,这些操作步骤的顺序并不局限于此,而是可以适当地调整。例如,静态帧图像处理与动态物体运动轨迹的生成可以同时进行,也可以在获得动态物体轨迹之后再对静态帧图像数据进行处理。
这样,通过对用户手持摄影设备拍摄的一段视频数据进行分析,然后通过适当的图像处理,即使拍摄过程中有些许抖动,也能最终生成一张高质量的具有慢快门摄影效果的照片。其中,用于合成最终照片的基准图像是基于从拍摄的视频数据中自动选取的,而且即使整个拍摄过程中发生抖动、甚至某些视频数据中存在抖动影响,仍可以方便准确地选择适当的图像,有助于提高最终成像质量。
应指出,待进行处理的图像可以是任何适当的图像,例如由摄影设备获得的原始图像,或者已对原始图像进行过特定处理的图像,例如初步过滤,去混叠,颜色调整,对比度调整,规范化等等。应指出,预处理操作还可以包括本领域已知的其它类型的预处理操作,这里将不再详细描述。特别地,本公开的方案能够与现有摄影设备中的各种图像处理技术组合地使用。特别地,可以与图像中的各种白平衡、曝光补偿、防抖处理、幻影补偿等相组合地使用。作为一个示例,可以通过本公开的方案获得了最终的具有慢快门摄影效果的图像之后再进行各种前述各种处理。作为另一示例,用户手持设备拍摄的图像可以在经过前述各种处理之后,再应用本公开的处理,以获得进一步优化的具有慢快门摄影效果的图像。当然,前述各种处理可以在拍摄期间同步地执行。
特别地,本公开的技术构思优选地可通过硬件(例如芯片、电子元件等)、固件或者软件等方式应用于现有的摄影设备中,这样在摄影设备非固定的情况下,例如手持或者以其它非固定方式持有摄影设备的情况下,也可以拍摄出具有慢快门摄影效果的精彩照片,能够减少用户摄影中的负担/负重,简化用户摄影操作,而无需使用三脚架等来固定摄影设备。
在一些实施例中,本公开的图像处理电子设备可以集成在摄影设备中,例如以集成电路、处理器的形式集成在摄影设备中,甚至集成在摄影设备已有的处理电路中;或者也可以作为分体器件可拆装地连接到摄影设备上,例如可以作为单独地模块,或者与可拆装到摄影设备上的相机镜头固化在一起,这样即使相机镜头更换到其它设备上仍可固定地使用根据本公开的方案对拍摄的图像进行处理以获得具有慢快门摄影效果的图像。在一些实施例中,甚至可以设置在摄影设备可通信的远程设备上,在此情况下,摄影设备可以在进行拍摄之后将获得的图像传输给该处理设备,并且在处理设备进行图像处理之后将处理后的图像回传给摄影设备以进行显示,或者在其他设备上进行显示,该处理设备可以存放在能够与摄影设备连接以进行拍照的设备中,例如便携式电子设备等。
在一些实施例中,本公开的方案可以通过软件算法来实现,从而可以方便地集成在各种类型的摄影设备中,例如摄影机、照相机例如单反相机、微单相机等等,以及手机摄影设备中。特别地,本公开的方法可作为计算机程序、指令等由摄影设备的处理器来执行,以便进行对于拍摄得到的图像的图像处理。
应指出,可以应用本公开的技术方案的摄影设备可包含多种类型的光学摄影设备,例如安装在便携式设备的镜头,无人机上的拍摄装置,监控设备等中的拍摄装置,等等。但是摄影设备并不局限于此,只要在该摄影设备拍摄图像时能够在特定时间段内连续拍摄以获得相应视频/照片即可。本公开可被用于许多应用。例如,本发明可被用于监测、识别、跟踪照相机捕获的静态图像或移动视频中的对象,并且对于配备有相机的便携式设备、(基于相机)的移动电话等等是尤其有利的。
应指出,尽管上文主要参照对图像进行处理以获得具有慢快门摄影效果进行了描述,但是本公开的方案可以应用于进行图像处理以产生类似于慢快门摄影效果的其它情况。特别地,旨在获得静态物体图像和动态物体的运动状态相组合的图像或者视频的情况。作为示例,当可以拍摄短时间视频,并且该视频中出现静态物体和动态物体的组合时,可以采用本公开的构思来合理地构建动态物体的运动状况,并且将其与静态物体进行组合以获得期望的短时间视频。
根据本公开的实施例,还提供了一种摄影设备,其包括图像获取装置,其用于获取一系列图像,所述一系列图像是针对包含静态物体和动态物体中至少一者的场景拍摄而获得的,以及前述的用于图像处理的电子设备,以对所获取的一系列图像进行图像处理。根据本公开的实施例,图像获取装置旨在能够获得这样的一系列图像的任何适当设备,其可以采用各种适当的方式来实现。例如可以包含摄影头、摄影器件等来通过拍摄场景而获取图像,或者从摄影设备的其它摄影组件、甚至是摄影设备之外的设备来获取图像。
以下将描述根据本公开的摄影设备的一个示例性实现。图5示出了根据本公开的实施例的摄影设备的框图。摄影设备50包括图像处理装置502,其可用于对拍摄得到的图像进行处理以便获得具有慢快门摄影效果的照片图像,该补偿装置可以由电子设备实现,诸如上文所述的电子设备10。
该摄影设备50可以包括透镜单元504,其可包括本领域中已知的各种光学透镜,用于通过光学成像而在传感器上进行物体成像。
该摄影设备还可以包括输出装置,用于输出通过图像处理装置得到的具有慢快门摄影效果的照片图像。该输出装置可以为各种适当的形式,例如显示装置,或者可以是通信装置,用于将照片图像输出到其它的设备,诸如服务器,云端等等。
该摄影设备50可以包括照相滤镜506,其可以包括本领域已知的各种照相滤镜/滤光器,其可以安装到透镜前部。
该摄影设备50还可以包括处理电路508,其可以用于对获得的图像进行处理。诸如进行图像处理之前的各种预处理,或者在获得慢快门摄影效果的图像之后的各种后处理,例如降噪、进一步美化等等。在上述装置的结构示例中,处理电路508可以是通用处理器的形式,也可以是专用处理电路,例如ASIC。例如,处理电路508能够由电路(硬件)或中央处理设备(诸如,中央处理单元(CPU))构造。此外,处理电路508可以承载用于使电路(硬件)或中央处理设备工作的程序(软件)。该程序能够存储在存储器(诸如,布置在存储器中)或从外面连接的外部存储介质中,以及经由网络(诸如,互联网)下载。
在一些实施例中,该透镜单元504、照相滤镜506和处理电路508中的至少一者可被包含在图像获取装置中。应指出,尽管未示出,但是图像获取装置还可包含其他部件,只要能够获得待处理的图像即可。
应指出,照相滤光器和处理电路用虚线绘出,旨在说明该单元并不一定被包含在摄影设备50中,甚至可以在摄影设备50之外而通过已知的方式进行连接和/或通信。需要注意的是,尽管图5中将各个单元示为分立的单元,但是这些单元中的一个或多个也可以合并为一个单元,或者拆分为多个单元。
另外,应当理解,上述系列处理和设备也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下,从存储介质或网络向具有专用硬件结构的计算机,例如图6所示的通用个人计算机600安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能等等。图6是示出根据本公开的实施例的中可采用的信息处理设备的个人计算机的示例结构的框图。在一个例子中,该个人计算机可以对应于根据本公开的上述示例性发射设备或终端侧电子设备。
在图6中,中央处理单元(CPU)601根据只读存储器(ROM)602中存储的程序或从存储部分608加载到随机存取存储器(RAM)603的程序执行各种处理。在RAM 603中,也根据需要存储当CPU 601执行各种处理等时所需的数据。
CPU 601、ROM 602和RAM 603经由总线604彼此连接。输入/输出接口605也连接到总线604。
下述部件连接到输入/输出接口605:输入部分606,包括键盘、鼠标等;输出部分607,包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等,和扬声器等;存储部分608,包括硬盘等;和通信部分609,包括网络接口卡比如LAN卡、调制解调器等。通信部分609经由网络比如因特网执行通信处理。
根据需要,驱动器610也连接到输入/输出接口605。可拆卸介质611比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器610上,使得从中读出的计算机程序根据需要被安装到存储部分608中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质611安装构成软件的程序。
本领域技术人员应当理解,这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质611。可拆卸介质611的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM 602、存储部分608中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
应指出,文中所述的方法和设备可被实现为软件、固件、硬件或它们的任何组合。有些组件可例如被实现为在数字信号处理器或者微处理器上运行的软件。其他组件可例如实现为硬件和/或专用集成电路。
另外,可采用多种方式来实行本发明的方法和系统。例如,可通过软件、硬件、固件或它们的任何组合来实行本发明的方法和系统。上文所述的该方法的步骤的顺序仅是说明性的,并且除非另外具体说明,否则本发明的方法的步骤不限于上文具体描述的顺序。此外,在一些实施例中,本发明还可具体化为记录介质中记录的程序,包括用于实施根据本发明的方法的机器可读指令。因此,本发明还涵盖了存储用于实施根据本发明的方法的程序的记录介质。这样的存储介质可以包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
本领域技术人员应当意识到,在上述操作之间的边界仅仅是说明性的。多个操作可以结合成单个操作,单个操作可以分布于附加的操作中,并且操作可以在时间上至少部分重叠地执行。而且,另选的实施例可以包括特定操作的多个实例,并且在其他各种实施例中可以改变操作顺序。但是,其它的修改、变化和替换同样是可能的。因此,本说明书和附图应当被看作是说明性的,而非限制性的。
另外,本公开的实施方式还可以包括以下示意性示例(EE)。
EE 1.一种用于处理一系列图像的电子设备,所述一系列图像是针对包含静态物体和动态物体中至少一者的场景拍摄而获得的,所述电子设备包括处理电路,被配置为:
基于选自所述一系列图像中的包含静态物体的特定图像,生成不包含动态物体有关的图像内容的处理图像;
生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹;以及
基于所述处理图像和所生成的动态物体的运动轨迹两者获得最终图像。
EE 2.根据EE 1所述的电子设备,其中,所述一系列图像是利用摄影设备在摄影设备非固定的情况下进行特定时间段的拍摄而获得的。
EE 3.根据EE 1或2所述的电子设备,其中,所述一系列图像是利用摄影设备进行特定时间段的拍摄而获得的。
EE 4.根据EE 1所述的电子设备,其中所述特定图像是所述一系列图像中的静态物体满足特定要求的图像。
EE 5.根据EE 4所述的电子设备,其中,所述电子设备进一步配置为:
将所述一系列图像中的每一图像与静态物体模板进行比较,并且
选择所述一系列图像中的与所述静态物体模板的接近度最高的图像作为所述一系列图像中的静态物体满足特定要求的图像。
EE 6.根据EE 5所述的电子设备,其中,所述接近度是图像中的静态物体与静态物体模板之间的关于清晰度、人物表情、形态、色彩中的至少一者的接近度。
EE 7.根据EE 5所述的电子设备,其中,所述静态物体模板是基于训练图像集合被训练得到的静态物体数据模型。
EE 8.根据EE 1所述的电子设备,其中,所述处理电路进一步配置为:
跟踪动态物体在所述一系列图像中的从该动态物体开始出现的图像到其最后出现的图像中的移动过程以生成运动轨迹。
EE 9.根据EE 1或8所述的电子设备,其中,所述处理电路进一步配置为:
获取动态物体在所述一系列图像中的从该动态物体开始出现的图像到其最后出现的图像中的光学信息,
基于动态物体的运动轨迹和所述光学信息,生成动态物体的运动光迹。
EE 10.根据EE 9所述的电子设备,其中,所述光学信息包含在所述一系列图像中的从动态物体开始出现的图像到其最后出现图像中每一个图像中动态物体的亮度信息和颜色信息中的至少之一。
EE 11.根据EE 1所述的电子设备,其中,所述处理电路进一步配置为:
对于所述一系列图像中的从动态物体开始出现的图像到其最后出现图像中每一个图像,分析动态物体上各位置处的光学信息,以获取动态物体上的高亮部位;
将所述一系列图像中的从动态物体开始出现的图像到其最后出现图像中动态物体上的同一位置处的高亮部位进行连接,生成动态物体的运动光迹。
EE 12.根据EE 11所述的电子设备,其中,动态物体上的高亮部位是基于动态物体的亮度信息与图像背景部分的亮度信息进行比较而被确定的。
EE 13.根据EE 1所述的电子设备,其中,用于生成最终图形的动态物体的运动轨迹包含在所述一系列图像中的超过预定数量的图像中出现的动态物体的运动轨迹。
EE 14.根据EE 1或13所述的电子设备,其中所述处理电路进一步配置为:
将所述特定图像中的动态物体相关的图像内容替换为背景内容以去除该特定图像中的动态物体有关的图像内容;并且
将动态物体的运动轨迹与被替换之后的特定图像进行合成以生成最终图像。
EE 15.根据EE 14所述的电子设备,其中,所述处理电路进一步配置为:
从所述一系列图像中筛选出其动态物体位置与所述特定图像中的动态物体位置不重合且其静态物体位置与所述特定图像中的静态物体位置偏差最小的图像;并且
基于所筛选的图像中的与所述特定图像中的动态物体位置相对应的位置处的内容确定背景内容。
EE 16.根据EE 15所述的电子设备,其中,所筛选的图像中的静态物体位置与所述特定图像中的静态物体位置一致,则所筛选的图像中的位置与所述特定图像中的动态物体位置相对应且大小相同的内容作为背景内容。
EE 17.根据EE 15所述的电子设备,其中,所筛选的图像中的静态物体位置与所述特定图像中的静态物体位置存在偏差,则所筛选的图像中的位置与所述特定图像中的动态物体位置相对应且基于偏差值进行调整的内容作为背景内容。
EE 18.根据EE 1所述的电子设备,其中,所述处理电路进一步配置为:
将所述一系列图像的每一图像中均存在的且位置偏移小于特定阈值的物体识别为静态物体。
EE 19.根据EE 1所述的电子设备,其中,所述处理电路进一步配置为:
将没有在所述一系列图像中所有图像上出现的或者在所述一系列图像中的所有图像上出现但是位置偏移大于特定阈值的物体识别为动态物体。
EE 20.一种用于处理一系列图像的图像处理方法,所述一系列图像是针对包含静态物体和动态物体的场景拍摄而获得的,所述图像处理方法包括:
基于选自所述一系列图像中的包含静态物体的特定图像,生成不包含动态物体有关的图像内容的处理图像;
生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹;以及
基于所述处理图像和所生成的动态物体的运动轨迹两者获得最终图像。
EE 21.根据EE 20所述的方法,其中,所述一系列图像是利用摄影设备在摄影设备非固定的情况下进行特定时间段的拍摄而获得的。
EE 22.根据EE 20或21所述的方法,其中,所述一系列图像是利用摄影设备进行特定时间段的拍摄而获得的。
EE 23.根据EE 20所述的方法,其中所述特定图像是所述一系列图像中的静态物体满足特定要求的图像。
EE 24.根据EE 23所述的方法,其中,所述方法进一步配置为:
将所述一系列图像中的每一图像与静态物体模板进行比较,并且
选择所述一系列图像中的与所述静态物体模板的接近度最高的图像作为所述一系列图像中的静态物体满足特定要求的图像。
EE 25.根据EE 24所述的方法,其中,所述接近度是图像中的静态物体与静态物体模板之间的关于清晰度、人物表情、形态、色彩中的至少一者的接近度。
EE 26.根据EE 24所述的方法,其中,所述静态物体模板是基于训练图像集合被训练得到的静态物体数据模型。
EE 27.根据EE 20所述的方法,其中,所述生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹包括:
跟踪动态物体在所述一系列图像中的从该动态物体开始出现的图像到其最后出现的图像中的移动过程以生成运动轨迹。
EE 28.根据EE 20或27所述的方法,其中,所述生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹还包括:
获取动态物体在所述一系列图像中的从该动态物体开始出现的图像到其最后出现的图像中的光学信息,
基于动态物体的运动轨迹和所述光学信息,生成动态物体的运动光迹。
EE 29.根据EE 28所述的方法,其中,所述光学信息包含在所述一系列图像中的从动态物体开始出现的图像到其最后出现图像中每一个图像中动态物体的亮度信息和颜色信息中的至少之一。
EE 30.根据EE 20所述的方法,其中,所述生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹还包括:
对于所述一系列图像中的从动态物体开始出现的图像到其最后出现图像中每一个图像,分析动态物体上各位置处的光学信息,以获取动态物体上的高亮部位;
将所述一系列图像中的从动态物体开始出现的图像到其最后出现图像中动态物体上的同一位置处的高亮部位进行连接,生成动态物体的运动光迹。
EE 31.根据EE 30所述的方法,其中,动态物体上的高亮部位是基于动态物体的亮度信息与图像背景部分的亮度信息进行比较而被确定的。
EE 32.根据EE 20所述的方法,其中,用于生成最终图形的动态物体的运动轨迹包含在所述一系列图像中的超过预定数量的图像中出现的动态物体的运动轨迹。
EE 33.根据EE 20或32所述的方法,其中基于选自所述一系列图像中的包含静态物体的特定图像,生成不包含动态物体有关的图像内容的处理图像包括:
将所述特定图像中的动态物体相关的图像内容替换为背景内容以去除该特定图像中的动态物体有关的图像内容,
其中,将动态物体的运动轨迹与被替换之后的特定图像进行合成以生成最终图像。
EE 34.根据EE 33所述的方法,其中,所述将所述特定图像中的动态物体相关的图像内容替换为背景内容包括:
从所述一系列图像中筛选出其动态物体位置与所述特定图像中的动态物体位置不重合且其静态物体位置与所述特定图像中的静态物体位置偏差最小的图像;并且
基于所筛选的图像中的与所述特定图像中的动态物体位置相对应的位置处的内容确定背景内容。
EE 35.根据EE 34所述的方法,其中,所筛选的图像中的静态物体位置与所述特定图像中的静态物体位置一致,则所筛选的图像中的位置与所述特定图像中的动态物体位置相对应且大小相同的内容作为背景内容。
EE 36.根据EE 34所述的方法,其中,所筛选的图像中的静态物体位置与所述特定图像中的静态物体位置存在偏差,则所筛选的图像中的位置与所述特定图像中的动态物体位置相对应且基于偏差值进行调整的内容作为背景内容。
EE 37.根据EE 20所述的方法,其中,所述方法还包括:
将所述一系列图像的每一图像中均存在的且位置偏移小于特定阈值的物体识别为静态物体。
EE 38.根据EE 20所述的方法,其中,所述方法还包括:
将没有在所述一系列图像中所有图像上出现的或者在所述一系列图像中的所有图像上出现但是位置偏移大于特定阈值的物体识别为动态物体。
EE 39.一种摄影设备,包括:
图像获取装置,其用于获取一系列图像,所述一系列图像是针对包含静态物体和动态物体中至少一者的场景拍摄而获得的,以及;
根据EE 1-19中任一项所述的用于图像处理的电子设备,用于对所获取的一系列图像进行图像处理。
EE 40.一种设备,包括
至少一个处理器;和
至少一个存储设备,所述至少一个存储设备在其上存储指令,该指令在由所述至少一个处理器执行时,使所述至少一个处理器执行根据EE 20-38中任一项所述的图像处理方法。
EE 41.一种存储指令的存储介质,该指令在由处理器执行时能使得执行根据EE20-38中任一项所述的图像处理方法。
EE 42.一种程序产品,所述程序产品包含指令,该指令在由处理器执行时能使得执行根据EE 20-38中任一项所述的图像处理方法。
虽然已经详细说明了本公开及其优点,但是应当理解在不脱离由所附的权利要求所限定的本公开的精神和范围的情况下可以进行各种改变、替代和变换。而且,本公开实施例的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然已详细描述了本公开的一些具体实施例,但是本领域技术人员应当理解,上述实施例仅是说明性的而不限制本公开的范围。本领域技术人员应该理解,上述实施例可以被组合、修改或替换而不脱离本公开的范围和实质。本公开的范围是通过所附的权利要求限定的。

Claims (10)

1.一种用于处理一系列图像的电子设备,所述一系列图像是针对包含静态物体和动态物体中至少一者的场景拍摄而获得的,所述电子设备包括处理电路,被配置为:
基于选自所述一系列图像中的包含静态物体的特定图像,生成不包含动态物体有关的图像内容的处理图像;
生成动态物体在所述一系列图像中的至少一部分图像中的运动轨迹;以及
基于所述处理图像和所生成的动态物体的运动轨迹两者获得最终图像。
2.根据权利要求1所述的电子设备,其中,所述一系列图像是利用摄影设备在摄影设备非固定的情况下进行特定时间段的拍摄而获得的。
3.根据权利要求1或2所述的电子设备,其中,所述一系列图像是利用摄影设备进行特定时间段的拍摄而获得的。
4.根据权利要求1所述的电子设备,其中所述特定图像是所述一系列图像中的静态物体满足特定要求的图像。
5.根据权利要求4所述的电子设备,其中,所述电子设备进一步配置为:
将所述一系列图像中的每一图像与静态物体模板进行比较,并且
选择所述一系列图像中的与所述静态物体模板的接近度最高的图像作为所述一系列图像中的静态物体满足特定要求的的图像。
6.根据权利要求5所述的电子设备,其中,所述接近度是图像中的静态物体与静态物体模板之间的关于清晰度、人物表情、形态、色彩中的至少一者的接近度。
7.根据权利要求5所述的电子设备,其中,所述静态物体模板是基于训练图像集合被训练得到的静态物体数据模型。
8.根据权利要求1所述的电子设备,其中,所述处理电路进一步配置为:
跟踪动态物体在所述一系列图像中的从该动态物体开始出现的图像到其最后出现的图像中的移动过程以生成运动轨迹。
9.根据权利要求1或8所述的电子设备,其中,所述处理电路进一步配置为:
获取动态物体在所述一系列图像中的从该动态物体开始出现的图像到其最后出现的图像中的光学信息,
基于动态物体的运动轨迹和所述光学信息,生成动态物体的运动光迹。
10.根据权利要求9所述的电子设备,其中,所述光学信息包含在所述一系列图像中的从动态物体开始出现的图像到其最后出现图像中每一个图像中动态物体的亮度信息和颜色信息中的至少之一。
CN202110812518.5A 2021-07-19 2021-07-19 摄影图像处理方法及设备 Pending CN115701869A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110812518.5A CN115701869A (zh) 2021-07-19 2021-07-19 摄影图像处理方法及设备
TW111126682A TW202403665A (zh) 2021-07-19 2022-07-15 攝影圖像處理方法及設備
EP22845272.8A EP4375925A1 (en) 2021-07-19 2022-07-18 Photographic image processing method and device
CN202280049371.1A CN117642771A (zh) 2021-07-19 2022-07-18 摄影图像处理方法及设备
PCT/CN2022/106268 WO2023001107A1 (zh) 2021-07-19 2022-07-18 摄影图像处理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110812518.5A CN115701869A (zh) 2021-07-19 2021-07-19 摄影图像处理方法及设备

Publications (1)

Publication Number Publication Date
CN115701869A true CN115701869A (zh) 2023-02-14

Family

ID=84980011

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110812518.5A Pending CN115701869A (zh) 2021-07-19 2021-07-19 摄影图像处理方法及设备
CN202280049371.1A Pending CN117642771A (zh) 2021-07-19 2022-07-18 摄影图像处理方法及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202280049371.1A Pending CN117642771A (zh) 2021-07-19 2022-07-18 摄影图像处理方法及设备

Country Status (4)

Country Link
EP (1) EP4375925A1 (zh)
CN (2) CN115701869A (zh)
TW (1) TW202403665A (zh)
WO (1) WO2023001107A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117651148A (zh) * 2023-11-01 2024-03-05 广东联通通信建设有限公司 一种物联网终端管控方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836831B1 (en) * 2014-07-30 2017-12-05 Google Inc. Simulating long-exposure images
US10796421B2 (en) * 2018-02-13 2020-10-06 Adobe Inc. Creating selective virtual long-exposure images
CN111800581B (zh) * 2020-07-09 2022-02-01 Oppo广东移动通信有限公司 图像生成方法、图像生成装置、存储介质与电子设备
CN111932587A (zh) * 2020-08-03 2020-11-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112887623B (zh) * 2021-01-28 2022-11-29 维沃移动通信有限公司 图像生成方法、装置及电子设备

Also Published As

Publication number Publication date
CN117642771A (zh) 2024-03-01
EP4375925A1 (en) 2024-05-29
TW202403665A (zh) 2024-01-16
WO2023001107A1 (zh) 2023-01-26

Similar Documents

Publication Publication Date Title
CN109005366B (zh) 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
US9843730B2 (en) Scene motion correction in fused image systems
CN110072052B (zh) 基于多帧图像的图像处理方法、装置、电子设备
US10917571B2 (en) Image capture device control based on determination of blur value of objects in images
WO2020057198A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN109194882B (zh) 图像处理方法、装置、电子设备及存储介质
US8228400B2 (en) Generation of simulated long exposure images in response to multiple short exposures
US9344636B2 (en) Scene motion correction in fused image systems
CN110191291B (zh) 基于多帧图像的图像处理方法和装置
WO2020207261A1 (zh) 基于多帧图像的图像处理方法、装置、电子设备
JP2005295566A (ja) 輝度補正
US11190703B2 (en) Image-capturing apparatus, program, and electronic device that controls image sensor based on moving velocity
CN108156369A (zh) 图像处理方法和装置
CN108052883B (zh) 用户拍照方法、装置及设备
CN104902168B (zh) 一种图像合成方法、装置及拍摄设备
CN113298735A (zh) 图像处理方法、装置、电子设备及存储介质
EP4375925A1 (en) Photographic image processing method and device
US9686470B2 (en) Scene stability detection
CN105208286A (zh) 一种模拟慢速快门的拍摄方法及装置
US8526740B2 (en) Image processing device and recording medium
US8498494B2 (en) Method and apparatus for processing a digital image signal, and a recording medium having recorded thereon a program for executing the method
WO2022109897A1 (zh) 延时摄影方法及设备、延时摄影视频生成方法及设备
JP2013132011A (ja) 撮像装置、撮像方法及びプログラム
WO2020162320A1 (ja) 撮影装置、撮影方法、及びプログラム
CN110545384B (zh) 对焦方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication