CN103973969A - 电子装置及其影像选择方法 - Google Patents

电子装置及其影像选择方法 Download PDF

Info

Publication number
CN103973969A
CN103973969A CN201410042131.6A CN201410042131A CN103973969A CN 103973969 A CN103973969 A CN 103973969A CN 201410042131 A CN201410042131 A CN 201410042131A CN 103973969 A CN103973969 A CN 103973969A
Authority
CN
China
Prior art keywords
image
process unit
series
state
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410042131.6A
Other languages
English (en)
Other versions
CN103973969B (zh
Inventor
郭子豪
黄俊翔
黄亮纲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN103973969A publication Critical patent/CN103973969A/zh
Application granted granted Critical
Publication of CN103973969B publication Critical patent/CN103973969B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种电子装置及其影像选择方法。该电子装置用以:获得一系列影像;确定与系列影像相对应的多个相机状态;根据相机状态自系列影像中选择多个第一影像;确定对应于第一影像的多个物体状态;根据物体状态将第一影像划分成多个群组;以及自各群组中选择候选影像。该影像选择方法可应用于该电子装置以实施上述操作。

Description

电子装置及其影像选择方法
技术领域
本发明关于一种电子装置及其影像处理方法。更具体而言,本发明关于一种电子装置及其影像选择方法。
背景技术
由于电子装置(例如,电脑、移动电话及数字相机)已得到改良而具有更佳的功能及影像处理效能,使得电子装置能够在短时间内拍摄多个影像。使用者可使用高速连拍模式自动地或手动地拍摄多个影像。一旦获得系列影像(通常拍摄相同场景及物体),便可进一步处理系列影像以产生具有特定效果或特定合成的至少一个合成影像。然而,并非该系列中每一影像皆适合用于影像合成或具有特定效果。某些影像可能会模糊、失焦(out of focus)、与其他影像过于类似、或偏离原本目标。因此,应对该系列影像进行处理及选择,以辨识出系列影像中可满足后续影像合成或效果的可用影像。
举例而言,当系列影像为一个人步行穿过街道时所拍摄,则某些影像可能由于此人的移动或者周围物体(例如,车)而失焦,且某些影像可能被其他路过的物体遮挡。在此种情形中,筛除不可用的影像(例如,具有劣质影像品质的影像或无所需物体的影像)并选出用于达成所需效果或合成的若干可用影像,将有助于使用者。举例而言,所需的影像合成可为描述此人的路径。
有鉴于此,辨识一系列影像中的可用影像以满足特定影像合成或效果的需要确实重要。
发明内容
本发明的目的在于辨识一系列影像中的可用影像以满足特定影像合成或效果的需要。
为达上述目的,本发明提供一种电子装置。该电子装置包含影像来源单元及耦接至影像来源单元的影像处理单元。影像来源单元用以获得一系列影像。影像处理单元用以确定对应于系列影像的多个相机状态;根据相机状态,自系列影像中选择多个第一影像;确定对应于第一影像的多个物体状态;根据物体状态将第一影像划分成多个群组;以及自各群组中选择一候选影像。
为达上述目的,本发明更提供一种用于电子装置的影像选择方法。该电子装置包含影像来源单元及耦接至影像来源单元的影像处理单元。该影像选择方法包含以下步骤:
(a)由影像来源单元获得一系列影像;
(b)由影像处理单元确定对应于系列影像的多个相机状态;
(c)由影像处理单元根据相机状态,自系列影像中选择多个第一影像;
(d)由影像处理单元确定对应于第一影像的多个物体状态;
(e)由影像处理单元根据物体状态将第一影像划分成多个群组;以及
(f)由影像处理单元自各群组中选择一候选影像。
为达上述目的,本发明更提供一种用于电子装置中的影像选择方法。该影像选择方法包含以下步骤:
(a)获得一系列影像;
(b)确定系列影像中各影像相对于相邻影像的多个运动向量;
(c)根据运动向量,确定对应于系列影像的多个相机状态;
(d)确定在系列影像中处于第一相机状态的第一部分影像之间像素差异;
(e)根据像素差异,将系列影像的第一部分影像划分成多个群组;以及
(f)自该群组的每一个选择一候选影像。
具体而言,为提供运动物体的更佳结果,本发明可先分析一系列影像,以获得系列影像的相机状态并将系列影像分成二个群组:相机运动状态及相机静止状态。可借由进行特征匹配分析(matching analysis)来获得系列影像中背景物体的差异,进而确定相机状态。被分类为处于相机运动状态的影像可包含略微不同的场景,此乃因相机处于运动状态(运动中);如此,若要对在相同场景中处于不同位置的物体的影像进行合成将更为困难。换言之,此等影像将被自系列影像中筛除并将不再进一步处理之。被分类为处于相机静止状态的其余影像包含相同场景及出现于场景的不同位置上的一或多个共有物体。亦即,其余的影像可用于后续的影像合成及/或由使用者指定的其他影像操作。此外,其余影像将被进一步分析以选出依照时间顺序的一系列连续影像。系列连续影像应包含至少预定数目的影像。换言之该电子装置应已在一时间段内在不移动电子装置的位置的条件下,拍摄至少预定数目的影像。若最初系列的影像未包含足够的连续影像,则可终止处理。
若找到此序列的连续影像,则接着分析连续影像以确定连续影像间相似性,并将连续影像划分成预定数目的群组。第二处理的目的是确定连续影像中前景物体的差异,并可借由特征撷取及聚类技术(clustering technique)来实施。换言之,第二处理的目的是确定对应于连续影像的多个物体状态。可借由以下方式达成影像聚类:比较各影像与其他影像的差别以获得影像的对应特征,并根据特征将连续影像划分成预定数目的群组。最后,进行选择,以分别自群组中选出候选影像。候选影像可用于执行影像合成及/或由使用者指定的其他影像操作。因此,本发明可有效地辨识出系列影像中满足特定影像合成或效果的可用影像。
在参阅附图及随后描述的实施方式后,所属领域的技术人员便可了解本发明的其它目的,以及本发明的技术手段及实施态样。
附图说明
图1为根据本发明第一实施例的电子装置的示意图;
图2例示根据本发明第一实施例的特征撷取及运动向量形成的一实例;
图3例示根据本发明第一实施例的电子装置的运动状态的偏差的实例;
图4例示根据本发明第一实施例,在x维度、y维度及xy维度上对应于各影像的各相机位置的实例,其中相机位置是以像素单位来计量;
图5例示根据本发明第一实施例的电子装置的位置偏差的实例;
图6例示根据本发明第一实施例的特征向量撷取的实例;
图7为根据本发明第二实施例的用于电子装置的影像选择方法的流程图;以及
图8为根据本发明第三实施例的用于电子装置的影像选择方法的流程图。
【附图标记说明】
11:影像来源单元
13:影像处理单元
15:使用者界面单元
20:系列影像
22:第一影像/连续影像
40:使用者输入
40a:第一影像框
40b:第二影像框
131:影像缩放模块
133:相机运动分析模块
135:物体运动分析模块
137:候选选择模块
S201~S211、S301~S311:步骤
具体实施方式
以下将通过实施例来解释本发明之内容。然而,这些实施例并非用以限制本发明须在如这些实施例所述的任何特定的环境、应用或特殊方式方能实施。因此,此等实施例的说明仅为阐释本发明的目的,而非用以限制本发明。于以下实施例及附图中,与本发明非直接相关的元件已省略而未绘示,且以下附图中各元件间的尺寸关系仅为求容易了解,非用以限制实际比例。
本发明的第一实施例为一种电子装置。该电子装置的示意图显示于图1中。如图1所示,电子装置1可包含至少一个影像来源单元11及影像处理单元13,影像处理单元13自影像来源单元11接收输入。影像处理单元13耦接至影像来源单元11。电子装置1可视需要包含使用者界面单元15,使用者界面单元15耦接至影像处理单元13。电子装置1可为一装置,例如数字相机、智能型电话、平板(tablet)、个人数字助理(personal digital assistant;PDA)、游戏主控台(game console)、膝上型/桌上型电脑、或电视。影像来源单元11用以提供系列影像20,系列影像20可以自动高速连拍机制(auto burst)、多次单一拍摄机制及/或其他影像拍摄机制而拍摄。影像来源单元11可为影像拍摄装置(例如相机传感器/镜头模块)、内部/外部存储器、或经由无线协定所连接的无线储存装置。
影像处理单元13用以确定对应于系列影像20的相机状态,根据相机状态自系列影像中选择多个第一影像22,确定对应于第一影像22的物体状态,根据物体状态将第一影像22划分成多个群组,以及自各群组中选出候选影像。
若电子装置1包含使用者界面单元15,则使用者界面15用以显示系列影像20并接收使用者输入40,其中使用者输入40对应于对系列影像20的至少一部分进行的操作。使用者界面单元15可为触控屏幕、显示单元连同输入/输出(I/O)控制装置(例如,鼠标、键盘及/或触控板等)、及/或适合的输入/输出控制装置。使用者能够启动影像应用程序(图未示出)以执行影像处理单元13的上述操作。换言之,影像处理单元13可用以执行该影像应用程序并根据来自使用者界面单元15的使用者输入40处理上述操作。
于本实施例的一范例中,影像处理单元13可更包含影像缩放模块131、相机运动分析模块133、物体运动分析模块135及候选选择模块137。在本实施例的另一范例中,影像处理单元13亦可为单一处理器,此单一处理器可执行上述各个模块的对应操作。
影像缩放模块131为影像处理单元13的非必需模块。影像缩放模块131用以在确定相机状态之前,按比例降低系列影像20的解析度,具体而言,影像缩放模块131用以按比例缩放自影像来源单元11所接收的系列影像20-可自较高解析度至较低解析度。按比例降低系列影像20的解析度的目的在于减小影像处理单元13的计算负荷(computer load),并因此提供更佳的效能。
相机运动分析模块133用以确定系列影像20中各影像相对于相邻影像的多个运动向量,根据运动向量确定对应于系列影像20的相机状态,以及根据相机状态自系列影像20中选择第一影像22。具体而言,相机运动分析模块133可用以在拍摄系列影像20的同时导出电子装置1的运动状态,以确定对应于系列影像20的相机状态,并在相机静止状态下撷取序列连续影像22(即第一影像22)。
若系列影像20已经过影像缩放模块131处理,则相机运动分析模块133可以较低解析度处理系列影像20以使处理加速。可借由自系列影像20中的各影像撷取特征(一般对应于背景物体)、并计算与系列影像20的二连续影像框间的特征差别相对应的运动向量,而导出电子装置1的运动状态。
图2例示特征撷取及运动向量形成的实例。可以看出,在二连续影像框(即第一影像框40a及第二影像框40b)中可辨识出若干特征点。箭头表示二对应特征点间的差别。箭头可表示二连续影像间的运动向量。
电子装置1的运动状态可由运动向量的普及性(popularity)确定。如上所述,可自背景物体(例如,图2所示的树及建筑物)的运动而导出电子装置1的运动状态。因此,进一步筛选影像的运动向量以排除对应于前景物体的特征点(例如图2所示的汽车),其中前景物体应具有相对更高的差别。
相机运动分析模块133可将运动向量划分成二个群组:一个群组具有对应于背景的较高普及性,而另一群组具有对应于前景的较低普及性。此乃因被辨识出的特征点应更可能位于背景而非位于前景中。因此,具有较低普及性的运动向量可指出属于前景的特征点。可进一步处理对应于背景特征点的运动向量,以导出电子装置1的运动状态。
图3例示电子装置1的运动状态推导的实例。借由对每一影像在三个不同维度(例如x维度、y维度及欧式距离(xy维度))上的运动向量进行平均,而推导出此实例中电子装置1的运动状态。换言之,对应于系列影像20的平均运动向量形成如图3所示的图表。
平均运动向量可用于粗略地还原在x维度、y维度以及xy维度(即二维维度)上对应于影像的各相机位置,其中相机位置是以像素为单位计量,如图4所示。各位置信息可用于导出如图5所示的电子装置1的位置偏差。高的位置偏差代表大的相机运动量,而低的位置偏差代表轻微的相机运动量。因此,当拍摄各影像20时,电子装置1可能处于相机运动状态或相机静止状态。
如上所述,相机分析模块133将自系列影像20中撷取处于相机静止状态的序列连续影像(即第一影像22)。为达该目的,可设定一临限值及/或窗口来寻找序列连续影像22。连续影像22的数目可由使用者预定或设定。窗口可被设定为位置偏差的局部最小值并延伸至连续影像22的预定数目。在本实施例的另一实例中,窗口可包含具有局部最小偏差之间的差异低于预定临限值的多个影像。若最大偏差值与最小偏差值间的差别小于临限值,则确定序列连续影像22处于相机静止状态,并随后可用于影像合成或其他效果。
在本发明的另一实例中,窗口可被设定成包含具有偏差差异低于或者等于临限值的所有影像。计算窗口内的影像数目并与预定数目进行比较。若影像数目大于预定数目,则确定序列影像处于相机静止状态。否则,确定序列影像处于相机运动状态。在此实施例的另一实例中,若二或更多个序列被确定为处于相机静止状态,则选择具有最低偏差差异的序列进行输出。在此实施例的另一实例中,则选择具有最大影像数目的序列进行输出。
综上所述,相机运动分析模块133撷取对应于系列影像20中各影像的特征点,根据特征点计算运动向量,根据运动向量的普及性确定与系列影像20中各影像相对应的背景物体,以保留反映背景物体的高普及性特征点(借由排除具有较小普及性之前景物体),计算与系列影像20中各影像相对应的背景物体的平均运动向量,根据平均运动向量导出对应于系列影像20的位置偏差,根据位置偏差确定对应于系列影像20的相机状态,以确定处于相机静止状态的序列连续影像22。
一旦确定了处于相机静止状态的序列连续影像22,物体运动分析模块135便用以确定序列连续影像22的像素差异。若仅考虑序列连续影像22中各影像的第一部分,则物体运动分析模块135亦可用以确定序列连续影像22的这些第一部分的像素差异。可由方差值和(sum of sequence differences;SSD)、绝对差值和(sum of absolute differences;SAD)、或均方差(mean square differences;MSD)等计算出像素差异。借由影像缩放模块131的运作,物体运动分析模块135可以较低解析度缩放影像后再执行处理,以提高效能。
图6例示特征向量撷取的实例。举例而言,假设序列包含N个连续影像22且各连续影像22进一步划分成M个区块,其中M为预定的像素数目或具有固定的像素数目。可计算出每一区块的平均像素值。影像22可由M个区块的平均影像值表达。平均像素值可为平均颜色值或平均亮度值等。可借由对应区块的平均像素值与其他影像22的差异(即像素差异)而计算出对应于各连续影像22的特征向量。对于各连续影像22,特征向量可为大小为M×N的阵列,或简化为具有N个值的向量,其中各向量值为M个区块的平均差值。
如图6所示,连续影像22(即具有较高解析度的影像1至影像N)分别被转换成具有较低解析度的小影像1至小影像N。计算各小影像的特征向量。于另一选择,可在不转换解析度的条件下,计算连续影像22的特征向量。经由已知的聚类技术,所计算的特征向量可被用于将连续影像22划分成预定数目个群组。借由将影像22划分成区块而撷取特征向量的目的在于,电子装置1可能会因手不稳等原因而经历轻微移动或振动,但是仍然被认为处于相机静止状态。为减小轻微移动的影响,由区块的平均值计算特征向量,俾可补偿或减小由于不稳定的手移动而引起的轻微差异。
物体运动分析模块135更用以根据像素差异来确定物体状态,并根据物体状态将序列连续影像22划分成某一数目的群组。接下来,自各群组中选出一候选影像。可借由聚类演算法来实施划分过程,例如此项技术中已知的K均数(K-means)聚类法。根据前景物体运动的相似性来划分影像22。当二连续影像间的像素差异越小,则当前物体的移动越小。因此,相同群组中的影像可具有出现于相似或相同位置上之前景物体。前景物体在不同群组中出现于不同位置。在本发明的另一实施例中,为达成更佳的效能,可以较低解析度分析相机状态,而以全解析度执行影像聚类。
可借由预定标准选择候选影像,例如所具有的像素值与群组的中间值/平均值最接近的影像、与相邻群组的距离最大的影像等。群组数目可为预定的、由使用者指定、或动态地确定。可根据不同影像合成及/或根据其他使用者指定的影像操作而确定群组数目。
举例而言,若影像合成是为了显示在相同场景内具有不同运动/位置的多个相同物体,则在确定物体状态为物体运动状态后,可将连续影像22划分成至少二个群组。自各个群组中选择一候选影像。接下来,可自候选影像中视需要撷取具有不同运动/位置的相同物体,以执行所需的影像合成。
若影像操作是用于自包含相同静止物体的多个连续影像22中选择显示相同静止物体的最佳外观的影像,则可在确定物体状态为物体静止状态后,将连续影像22划分成至少一个群组。自该群组中选择一候选影像,以执行所需的影像操作。
本发明的第二实施例为一种用于电子装置的影像选择方法。本实施例所述的影像选择方法可应用于第一实施例所述的电子装置1中。因此,本实施例中所述的电子装置可被视为第一实施例中所述的第一电子装置1,且可包含至少一个影像来源单元以及影像处理单元,其中该影像处理单元耦接至影像来源单元以用于接收输入影像。
图7绘示用于电子装置的影像选择方法的流程图。如图7所示,影像选择方法包含步骤S201、S203、S205、S207、S209、以及S211。在不背离本发明的精神的条件下,该影像选择方法的顺序是可改变的。详言之,执行步骤S201,由影像来源单元获得系列影像;执行步骤S203,由影像处理单元确定对应于系列影像的相机状态;执行步骤S205,由影像处理单元根据相机状态,自系列影像中选择多个第一影像;执行步骤S207,由影像处理单元确定对应于第一影像的物体状态;执行步骤S209,由影像处理单元根据物体状态,将第一影像划分成多个群组;以及执行步骤S211,由影像处理单元自各群组中选择出一候选影像。
在本实施例的一实例中,在确定物体状态为物体运动状态后,将第一影像划分成至少二个群组,并自二个群组中各选择一候选影像。在本实施例的一实例中,在确定物体状态为物体静止状态后,将第一影像划分成至少一个群组,并自该群组中选择候选影像。
在本实施例的一实例中,步骤S203可更包含以下步骤:由影像处理单元确定系列影像中各影像相对于相邻影像的多个运动向量;并由影像处理单元根据运动向量确定对应于系列影像的相机状态。在另一实例中,确定运动向量的步骤更包含以下步骤:由影像处理单元撷取与系列影像中各影像相对应的特征点;并由影像处理单元根据特征点确定这些运动向量。此外,确定相机状态可更包含以下步骤:由影像处理单元根据运动向量的普及性,确定与系列影像中各影像相对应的背景物体;由影像处理单元计算与系列影像的各影像相对应的背景物体的平均运动向量;由影像处理单元根据平均运动向量导出对应于系列影像中各影像的位置偏差;以及由影像处理单元根据位置偏差确定对应于系列影像的相机状态。
在本实施例的一实例中,步骤S207可更包含以下步骤:由影像处理单元确定第一影像的第一部分的像素差异;并由影像处理单元根据像素差异确定物体状态。
在此实施例的一实例中,影像选择方法可更包含以下步骤:由影像处理单元在确定相机状态之前按比例降低系列影像的解析度。
在本实施例的一实例中,电子装置可更包含耦接至影像处理单元的使用者界面单元。此外,影像选择方法更包含以下步骤:由使用者界面单元显示系列影像,并接收对应于针对系列影像的至少一部分进行操作的使用者输入。
除了上述步骤,本实施例的影像选择方法可更包含与第一实施例所描述的电子装置1的所有操作相对应的其他步骤并达成所有对应功能。所属领域的技术人员可直接了解本实施例如何基于上述第一实施例以执行此等步骤,故不赘述。
本发明的第三实施例为一种用于电子装置的影像选择方法。本实施例所述的影像选择方法可应用于第一实施例所述的电子装置1中。因此,本实施例中所述的电子装置可被视为第一实施例中所述的第一电子装置1。
图8绘示用于电子装置的影像选择方法的流程图。如图8所示,影像选择方法包含步骤S301、S303、S305、S307、S309、以及S311。在不背离本发明的精神的条件下,影像选择方法的顺序是可改变的。具体地,执行步骤S301,获得一系列影像;执行步骤S303,确定系列影像中各影像相对于相邻影像的运动向量;执行步骤S305,根据运动向量确定对应于系列影像的相机状态;执行步骤S307,确定系列影像中处于第一相机状态的第一部分之间的像素差异;执行步骤S309,根据像素差异将系列影像的第一部分划分成多个群组;以及执行步骤S311,自各群组中选择一候选影像。
概言之,影像选择方法首先获得一系列影像。系列影像可按时间顺序被连续地拍摄及/或自电子装置可存取的存储器单元存取。接着,确定各影像相对于相邻影像的运动向量。运动向量可由二连续影像框中的对应点间的差异形成,这些对应点被选择用于表示背景物体。接着,根据运动向量确定对应于各影像的相机状态。相机状态包含二个状态:相机静止状态与相机运动状态。在连续影像中各背景物体的差异可表示相机在拍摄影像的同时处于运动中。在此实施例的一实例中,可根据对应特征向量的普及性而确定影像的相机状态。
接下来,确定处于第一相机状态的第一部分影像的像素差异。如上所述,排除处于相机运动状态的影像,然后处理处于相机静止状态的其余影像以导出前景物体的运动。借由每一影像相对于所有影像的像素差异,导出前景物体的运动。像素差异可形成特征向量,且第一部分影像的每一影像皆具有对应的特征向量。可由方差值和(sum of sequence differences;SSD)、绝对差值和(sumof absolute differences;SAD)、均方差(mean square differences;MSD)等计算出像素差异。接着,根据像素差异或差异特征向量将第一部分影像划分成多个群组。
可借由聚类演算法来实施划分处理,例如此项技术中已知的K均数聚类法。根据前景物体运动的相同性来划分第一部分影像。当二连续影像间像素差异越小,则当前物体的移动越小。因此,相同群组中的影像可具有出现于相似或相同位置上之前景物体,且前景物体在不同群组中出现于不同位置。群组的数量可为预定的、由使用者指定、或动态地确定。自各群组中选择一候选影像。可借由预定标准选择候选影像,例如其像素值与群组的中间值/平均值最接近的影像、与相邻群组的距离最大的影像等。
在此实施例的一范例中,第一相机状态为相机静止状态。
在此实施例的一范例中,影像选择方法可更包含以下步骤:在确定相机状态之前,按比例降低系列影像的解析度。
在本实施例的一范例中,影像选择方法更包含以下步骤:显示系列影像并接收对应于针对系列影像的至少一部分进行操作的使用者输入。
除了上述步骤,本实施例的影像选择方法可更包含与第一实施例所描述的电子装置1以及第二实施例所描述的影像选择方法的所有操作相对应的其他步骤并达成所有对应功能。明所属领域的技术人员可直接了解本实施例如何基于上述第一实施例及第二实施例以执行此等步骤,故不赘述。
综上所述,本发明可有效地辨识出一系列影像中满足特定影像合成或效果的需要的可用影像。
上述的实施例仅用来例举本发明的实施态样,以及阐释本发明的技术特征,并非用来限制本发明的保护范畴。任何熟悉此技术者可轻易完成的改变或均等性的安排均属于本发明所主张的范围,本发明的权利保护范围应以权利要求书为准。

Claims (20)

1.一种电子装置,其特征在于,包含:
至少一个影像来源单元,用以获得一系列影像;以及
一影像处理单元,耦接至该影像来源单元并用以:
确定对应于该系列影像的多个相机状态;
根据该多个相机状态,自该系列影像中选择多个第一影像;
确定对应于该多个第一影像的多个物体状态;
根据该多个物体状态将该多个第一影像划分成多个群组;以及
自该多个群组的每一个中选择一候选影像。
2.如权利要求1所述的电子装置,其特征在于,在确定该多个物体状态为一物体运动状态时,该影像处理单元将该多个第一影像划分成至少二个群组,并自该至少二个群组的每一个中选择该候选影像。
3.如权利要求1所述的电子装置,其特征在于,在确定该多个物体状态为一物体静止状态时,该影像处理单元将该多个第一影像划分成至少一个群组,并自该至少一个群组中选择该候选影像。
4.如权利要求1所述的电子装置,其特征在于,该影像处理单元更用以:
确定该系列影像中该影像的每一个相对于一相邻影像的运动向量;以及
根据该多个运动向量,确定与该系列影像对应的该多个相机状态。
5.如权利要求4所述的电子装置,其特征在于,该影像处理单元更用以:
撷取与该系列影像中该影像的每一个对应的特征点;
根据该多个特征点确定该多个运动向量;
根据该多个运动向量的普及性确定与该系列影像的每一个对应的背景物体;
计算与该系列影像的每一个对应的背景物体的多个平均运动向量;
根据该多个平均运动向量,导出与该系列影像对应的多个位置偏差;以及
根据该多个位置偏差,确定与该系列影像对应的该多个相机状态。
6.如权利要求1所述的电子装置,其特征在于,该影像处理单元更用以:
确定该多个第一影像的一第一部分的一像素差异;以及
根据该像素差异,确定该多个物体状态。
7.如权利要求1所述的电子装置,其特征在于,该影像处理单元更用以在确定该多个相机状态之前按比例降低该系列影像的解析度。
8.如权利要求1所述的电子装置,其特征在于,更包含耦接至该影像处理单元的一使用者界面单元,其中该使用者界面单元用以显示该系列影像,并接收对应于针对该系列影像的至少一部分进行一操作的使用者输入。
9.一种用于一电子装置的影像选择方法,其特征在于,该电子装置包含至少一个影像来源单元及耦接至该影像来源单元的一影像处理单元,该影像选择方法包含以下步骤:
(a)由该影像来源单元获得一系列影像;
(b)由该影像处理单元确定对应于该系列影像的多个相机状态;
(c)由该影像处理单元根据该多个相机状态,自该系列影像中选择多个第一影像;
(d)由该影像处理单元确定对应于该多个第一影像的多个物体状态;
(e)由该影像处理单元根据该多个物体状态将该多个第一影像划分成多个群组;以及
(f)由该影像处理单元自该群组的每一个中选择一候选影像。
10.如权利要求9所述的影像选择方法,其特征在于,在确定该多个物体状态为一物体运动状态时,该多个第一影像被划分成至少二个群组,并自该至少二个群组的每一个中选择该候选影像。
11.如权利要求9所述的影像选择方法,其特征在于,在确定该多个物体状态为一物体静止状态时,该多个第一影像被划分成至少一个群组,并自该至少一个群组中选择该候选影像。
12.如权利要求9所述的影像选择方法,其特征在于,步骤(b)更包含以下步骤:
(b11)由该影像处理单元确定该系列影像中该影像的每一个相对于一相邻影像的运动向量;以及
(b12)由该影像处理单元根据该多个运动向量,确定与该系列影像对应的该多个相机状态。
13.如权利要求12所述的影像选择方法,其特征在于:
步骤(b11)更包含以下步骤:
由该影像处理单元撷取与该系列影像的每一个对应的特征点;以及
由该影像处理单元根据该多个特征点确定该多个运动向量;以及步骤(b12)更包含以下步骤:
由该影像处理单元根据该多个运动向量的普及性确定与该系列影像的每一个对应的背景物体;
由该影像处理单元计算与该系列影像的每一个对应的背景物体的多个平均运动向量;
由该影像处理单元根据该多个平均运动向量,导出与该系列影像对应的多个位置偏差;以及
由该影像处理单元根据该多个位置偏差,确定与该系列影像对应的该多个相机状态。
14.如权利要求9所述的影像选择方法,其特征在于,步骤(d)更包含以下步骤:
(d11)由该影像处理单元确定该多个第一影像的一第一部分的一像素差异;以及
(d12)由该影像处理单元根据该像素差异而确定该多个物体状态。
15.如权利要求9所述的影像选择方法,其特征在于,更包含以下步骤:
(g)由该影像处理单元在确定该多个相机状态之前按比例降低该系列影像的解析度。
16.如权利要求9所述的影像选择方法,其特征在于,该电子装置更包含耦接至该影像处理单元的一使用者界面单元,且该影像选择方法更包含以下步骤:
(h)由该使用者界面单元显示该系列影像并接收对应于针对该系列影像的至少一部分进行一操作的使用者输入。
17.一种用于一电子装置的影像选择方法,其特征在于,包含以下步骤:
(a)获得一系列影像;
(b)确定该系列影像中的每一个相对于一相邻影像的多个运动向量;
(c)根据该多个运动向量,确定对应于该系列影像的多个相机状态;
(d)确定该系列影像中处于一第一相机状态的一第一部分的像素差异;
(e)根据该像素差异,将该系列影像的该第一部分划分成多个群组;以及
(f)自该多个群组的每一个选择一候选影像。
18.如权利要求17所述的影像选择方法,其特征在于,该第一相机状态为一相机静止状态。
19.如权利要求17所述的影像选择方法,其特征在于,更包含以下步骤:
(g)在确定该多个相机状态之前按比例降低该系列影像的解析度。
20.如权利要求17所述的影像选择方法,其特征在于,更包含以下步骤:
(h)显示该系列影像并接收对应于针对该系列影像的至少一部分进行一操作的使用者输入。
CN201410042131.6A 2013-02-01 2014-01-28 电子装置及其影像选择方法 Expired - Fee Related CN103973969B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361759444P 2013-02-01 2013-02-01
US201361759448P 2013-02-01 2013-02-01
US201361759440P 2013-02-01 2013-02-01
US61/759,444 2013-02-01
US61/759,448 2013-02-01
US61/759,440 2013-02-01

Publications (2)

Publication Number Publication Date
CN103973969A true CN103973969A (zh) 2014-08-06
CN103973969B CN103973969B (zh) 2017-09-15

Family

ID=50071417

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201410041735.9A Active CN103973968B (zh) 2013-02-01 2014-01-28 电子装置及其影像合成方法
CN201410042131.6A Expired - Fee Related CN103973969B (zh) 2013-02-01 2014-01-28 电子装置及其影像选择方法
CN201410043705.1A Active CN103973993B (zh) 2013-02-01 2014-01-29 影像合成装置及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410041735.9A Active CN103973968B (zh) 2013-02-01 2014-01-28 电子装置及其影像合成方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410043705.1A Active CN103973993B (zh) 2013-02-01 2014-01-29 影像合成装置及方法

Country Status (4)

Country Link
US (3) US9179071B2 (zh)
EP (2) EP2894634B1 (zh)
CN (3) CN103973968B (zh)
TW (3) TWI543610B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150024098A (ko) * 2013-08-26 2015-03-06 삼성전자주식회사 디지털 카메라에서 사진 합성 방법 및 장치
US10944917B2 (en) * 2013-09-16 2021-03-09 Kyle L. Baltz Camera and image processing method
US9986155B2 (en) * 2014-09-05 2018-05-29 Htc Corporation Image capturing method, panorama image generating method and electronic apparatus
TWI564841B (zh) * 2014-10-20 2017-01-01 陳金仁 即時影像合成裝置、方法與電腦程式產品
US9727949B1 (en) * 2014-11-19 2017-08-08 Google Inc. Providing secure digital images
CN104539842B (zh) * 2014-12-17 2018-02-13 宇龙计算机通信科技(深圳)有限公司 智能拍照方法及拍照装置
CN106157235A (zh) * 2015-04-03 2016-11-23 阿里巴巴集团控股有限公司 图片合成方法、装置及即时通信方法、图片合成服务器
TWI562635B (en) * 2015-12-11 2016-12-11 Wistron Corp Method and Related Camera Device for Generating Pictures with Object Moving Trace
TWI620440B (zh) * 2015-12-24 2018-04-01 緯創資通股份有限公司 產生包含旋轉軌跡的相片的方法及相關攝影裝置
WO2017129804A1 (en) * 2016-01-29 2017-08-03 Kiwisecurity Software Gmbh Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
CN106101578B (zh) * 2016-06-27 2019-08-16 上海小蚁科技有限公司 图像合成方法和设备
TWI620147B (zh) * 2016-11-17 2018-04-01 National Chunghsing University 用於合成人物的影像合成方法
CN106815481B (zh) * 2017-01-19 2020-07-17 中国科学院深圳先进技术研究院 一种基于影像组学的生存期预测方法及装置
CN110809779B (zh) * 2017-06-28 2023-07-28 富士胶片株式会社 图像合成方法、图像合成装置及记录介质
CN107395982A (zh) * 2017-08-22 2017-11-24 北京小米移动软件有限公司 拍照方法和装置
TWI637352B (zh) * 2017-08-23 2018-10-01 緯創資通股份有限公司 影像處理裝置和方法
US10832808B2 (en) * 2017-12-13 2020-11-10 International Business Machines Corporation Automated selection, arrangement, and processing of key images
US11055859B2 (en) * 2018-08-22 2021-07-06 Ford Global Technologies, Llc Eccentricity maps
US11783707B2 (en) 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
CN109495683B (zh) * 2018-11-30 2021-08-03 努比亚技术有限公司 一种间隔拍摄方法、设备及计算机可读存储介质
CN109767401B (zh) * 2019-01-15 2021-02-12 深圳看到科技有限公司 画面优化方法、装置、终端及对应的存储介质
US11460851B2 (en) 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US11521494B2 (en) * 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758132A (zh) * 2004-09-13 2006-04-12 索尼株式会社 成像系统和成像方法
CN101312500A (zh) * 2007-05-23 2008-11-26 索尼株式会社 图像处理方法和图像处理装置
CN101389022A (zh) * 2007-09-14 2009-03-18 索尼株式会社 图像处理设备、图像处理方法以及图像拾取设备
CN101547315A (zh) * 2008-03-24 2009-09-30 奥林巴斯映像株式会社 摄像装置
CN101753779A (zh) * 2008-12-12 2010-06-23 三洋电机株式会社 图像处理装置及摄像装置
CN101867717A (zh) * 2009-04-16 2010-10-20 华晶科技股份有限公司 数字影像的拍摄参数的调整方法及数字摄像装置
US20120275655A1 (en) * 2011-04-27 2012-11-01 Sony Corporation Image processing apparatus, image processing method, and program
US20130016877A1 (en) * 2011-07-15 2013-01-17 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5398309A (en) * 1993-05-17 1995-03-14 Intel Corporation Method and apparatus for generating composite images using multiple local masks
US5606655A (en) 1994-03-31 1997-02-25 Siemens Corporate Research, Inc. Method for representing contents of a single video shot using frames
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
KR100235344B1 (ko) * 1994-12-29 1999-12-15 전주범 영역 분할 부호화 방식의 전경/배경 화상 선택 장치
JP3432348B2 (ja) * 1996-01-30 2003-08-04 三菱電機株式会社 代表画像表示方法、代表画像表示装置およびこの装置を用いた動画検索装置
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6137498A (en) * 1997-01-02 2000-10-24 Runaway Technology, Inc. Digital composition of a mosaic image
US6128108A (en) * 1997-09-03 2000-10-03 Mgi Software Corporation Method and system for compositing images
US6424752B1 (en) * 1997-10-06 2002-07-23 Canon Kabushiki Kaisha Image synthesis apparatus and image synthesis method
WO2000017778A1 (fr) 1998-09-17 2000-03-30 Sony Corporation Dispositif et procede de generation d'images
JP2000215317A (ja) * 1998-11-16 2000-08-04 Sony Corp 画像処理方法及び画像処理装置
US6535639B1 (en) 1999-03-12 2003-03-18 Fuji Xerox Co., Ltd. Automatic video summarization using a measure of shot importance and a frame-packing method
US6895127B1 (en) * 1999-09-10 2005-05-17 Arcsoft, Inc. Photomontage using multiple layer placement and color variation
US7827488B2 (en) * 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
JP2003233809A (ja) * 2002-02-07 2003-08-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP4196216B2 (ja) 2003-09-08 2008-12-17 日本電気株式会社 画像合成システム、画像合成方法及びプログラム
CA2442603C (en) * 2003-10-01 2016-11-22 Aryan Saed Digital composition of a mosaic image
US7469074B2 (en) * 2004-11-17 2008-12-23 Lexmark International, Inc. Method for producing a composite image by processing source images to align reference points
EP2348483B1 (en) * 2005-01-26 2023-06-07 Stichting VUmc Imaging apparatus and method of forming composite image from a sequence of source images
CN100458846C (zh) * 2005-07-14 2009-02-04 北京航空航天大学 一种图像修复方法
CN101366027B (zh) 2005-11-15 2013-03-20 耶路撒冷希伯来大学伊森姆研究发展公司 用于产生视频概要的方法和系统
US7860343B2 (en) 2006-04-10 2010-12-28 Nokia Corporation Constructing image panorama using frame selection
CN100433060C (zh) * 2006-10-25 2008-11-12 麦克奥迪实业集团有限公司 一种全自动显微图像的拼接、存储和浏览方法
JP5118129B2 (ja) * 2007-03-06 2013-01-16 パナソニック株式会社 撮像装置、編集装置、画像処理方法及びプログラム
JP2008234518A (ja) * 2007-03-23 2008-10-02 Oki Electric Ind Co Ltd 画像合成装置および画像合成プログラム
JP2009077362A (ja) 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
WO2009040871A1 (ja) * 2007-09-25 2009-04-02 Fujitsu Limited 画像合成装置及び方法
CN100578563C (zh) * 2007-12-21 2010-01-06 北京中星微电子有限公司 基于视频图像的车辆计数方法
CN101276476A (zh) * 2008-05-14 2008-10-01 清华大学 对2d卡通动画的前景背景分离方法
US8736751B2 (en) * 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
US8081821B1 (en) * 2008-09-16 2011-12-20 Adobe Systems Incorporated Chroma keying
JP2011029905A (ja) * 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム
CN101646022B (zh) * 2009-09-04 2011-11-16 华为终端有限公司 一种图像拼接的方法、系统
CN102118556B (zh) * 2009-12-31 2012-12-19 敦南科技股份有限公司 图像感测装置即时调整图像撷取频率的方法
JP2011210188A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置、画像表示方法、画像表示プログラム、および画像表示プログラムを記録した記録媒体
JP4973756B2 (ja) * 2010-03-30 2012-07-11 カシオ計算機株式会社 画像処理装置およびプログラム
JP4858625B2 (ja) * 2010-03-31 2012-01-18 カシオ計算機株式会社 情報表示装置及びプログラム
US8760537B2 (en) * 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
JP5012967B2 (ja) * 2010-07-05 2012-08-29 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
CN102254325B (zh) * 2011-07-21 2012-12-05 清华大学 一种运动模糊场景的分割及前景提取方法和系统
CN103390275B (zh) * 2013-07-19 2016-03-30 香港应用科技研究院有限公司 动态图像拼接的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758132A (zh) * 2004-09-13 2006-04-12 索尼株式会社 成像系统和成像方法
CN101312500A (zh) * 2007-05-23 2008-11-26 索尼株式会社 图像处理方法和图像处理装置
CN101389022A (zh) * 2007-09-14 2009-03-18 索尼株式会社 图像处理设备、图像处理方法以及图像拾取设备
CN101547315A (zh) * 2008-03-24 2009-09-30 奥林巴斯映像株式会社 摄像装置
CN101753779A (zh) * 2008-12-12 2010-06-23 三洋电机株式会社 图像处理装置及摄像装置
CN101867717A (zh) * 2009-04-16 2010-10-20 华晶科技股份有限公司 数字影像的拍摄参数的调整方法及数字摄像装置
US20120275655A1 (en) * 2011-04-27 2012-11-01 Sony Corporation Image processing apparatus, image processing method, and program
US20130016877A1 (en) * 2011-07-15 2013-01-17 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes

Also Published As

Publication number Publication date
CN103973968A (zh) 2014-08-06
EP2894634A1 (en) 2015-07-15
US20140219582A1 (en) 2014-08-07
US9380213B2 (en) 2016-06-28
TW201433160A (zh) 2014-08-16
US9179071B2 (en) 2015-11-03
EP2894634B1 (en) 2020-06-24
CN103973993A (zh) 2014-08-06
CN103973968B (zh) 2017-06-13
TW201433162A (zh) 2014-08-16
TWI543610B (zh) 2016-07-21
US20140218552A1 (en) 2014-08-07
TWI573454B (zh) 2017-03-01
TW201433163A (zh) 2014-08-16
US9491366B2 (en) 2016-11-08
EP2763139A1 (en) 2014-08-06
CN103973993B (zh) 2017-07-28
TWI539813B (zh) 2016-06-21
CN103973969B (zh) 2017-09-15
US20140218555A1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
CN103973969A (zh) 电子装置及其影像选择方法
US20200005468A1 (en) Method and system of event-driven object segmentation for image processing
CN108737739B (zh) 一种预览画面采集方法、预览画面采集装置及电子设备
CN109040523B (zh) 伪影消除方法、装置、存储介质及终端
CN111835982B (zh) 图像获取方法、图像获取装置、电子设备及存储介质
CN107710736A (zh) 辅助用户捕获图像或视频的方法和系统
CN112887598A (zh) 图像处理方法、装置、拍摄支架、电子设备及可读存储介质
CN112437232A (zh) 拍摄方法、装置、电子设备及可读存储介质
CN113596344A (zh) 拍摄处理方法、装置、电子设备和可读存储介质
KR101503017B1 (ko) 모션 검출 방법 및 장치
CN114390201A (zh) 对焦方法及其装置
CN112312035A (zh) 图像传感器、曝光参数调节方法和电子设备
CN114650361B (zh) 拍摄模式确定方法、装置、电子设备和存储介质
JP2009123150A (ja) 対象物検出装置及び方法、対象物検出システム、プログラム
CN113628259A (zh) 图像的配准处理方法及装置
CN108269260B (zh) 动态影像去背方法、系统与计算机可读取存储装置
CN114071015B (zh) 一种联动抓拍路径的确定方法、装置、介质及设备
CN112153291B (zh) 拍照方法和电子设备
CN113286085B (zh) 显示控制方法、装置和电子设备
CN104966060A (zh) 一种运动物体的目标识别方法和装置
CN114125226A (zh) 图像拍摄方法、装置、电子设备和可读存储介质
CN114025100A (zh) 拍摄方法、装置、电子设备和可读存储介质
CN114659450A (zh) 机器人跟随方法、装置、机器人及存储介质
CN113989387A (zh) 相机拍摄参数调整方法、装置及电子设备
CN114339051A (zh) 拍摄方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170915

Termination date: 20200128