CN113194243A - 自动拍摄图像的方法、执行该方法的图像处理设备和系统 - Google Patents

Abstract

一种使用相机拍摄图像的方法，包括：确定拍摄模式；搜索和跟踪包括拍摄者的主对象；以及基于拍摄模式和主对象的移动来自动拍摄图像。

Description

自动拍摄图像的方法、执行该方法的图像处理设备和系统

相关申请的交叉引用

本申请要求于2020年1月29日在韩国知识产权局(KIPO)提交的韩国专利申请第10-2020-0010265号的优先权，其公开内容整体以引用方式并入本文中。

技术领域

本发明构思的一个或多个示例实施例总体涉及一种拍摄图像的方法，并且更具体地涉及一种自动拍摄图像的方法，执行该方法的图像处理设备和图像处理系统。

背景技术

当拍摄者拍摄对象时，拍摄者可以：容易地检查对象的自然姿势，确定对象静止的时刻，并按下快门。然而，当拍摄者被包括在要拍摄的图像中时，可能难以确定按下快门的适当时刻。

发明内容

本发明构思的一个或多个示例实施例可以提供一种能够自动拍摄图像的拍摄图像的方法、执行该方法的图像处理设备以及图像处理系统。

根据本发明构思的一个或多个示例实施例，一种使用相机拍摄图像的方法包括：确定拍摄模式；搜索和追踪包括拍摄者的主对象；以及基于拍摄模式和主对象的移动来自动拍摄图像。

根据本发明构思的一个或多个示例实施例，一种使用相机自动拍摄图像的方法包括：搜索和跟踪包括拍摄者的主对象；以及当相机的拍摄模式是全景图像拍摄模式时，并且当未检测到主对象的移动直到拍摄准备时间过去时，通过检测相机的角度的变化来生成多个单图像；以及基于多个单图像来生成全景图像。

根据本发明构思的一个或多个示例实施例，一种使用相机自动拍摄图像的方法包括：搜索和跟踪包括拍摄者的主对象；以及当相机的拍摄模式是视频图像拍摄模式时，并且当未检测到主对象的移动直到拍摄准备时间过去时，生成视频图像。

根据本发明构思的一个或多个示例实施例的自动拍摄图像的方法、图像处理设备和图像处理系统可以：搜索和跟踪主对象，并且当拍摄者是主对象时，可以基于拍摄模式和主对象的移动来自动拍摄图像。

附图说明

通过以下结合附图的详细描述，将更清楚地理解本发明的示例实施例。

图1和图2是示出根据本发明构思的一个或多个示例实施例的自动拍摄图像的方法的流程图。

图3是示出根据本发明构思的一个或多个示例实施例的图像处理设备的框图。

图4是示出根据本发明构思的一个或多个示例实施例的搜索和跟踪图1和图2的方法中包括的主对象的示例实施例的流程图。

图5是示出根据本发明构思的一个或多个示例实施例的生成主对象的候选组的过程的图。

图6是用于描述根据本发明构思的一个或多个示例实施例的图2的方法中包括的拍摄静止图像的示例实施例的流程图。

图7A是用于描述在生成静止图像的过程中相机与主对象之间的相对位置和距离的变化的图，而图7B是用于描述根据本发明构思的一个或多个示例实施例的生成静止图像的过程的图。

图8是示出根据本发明构思的一个或多个示例实施例的图2的方法中包括的拍摄全景图像的示例实施例的流程图。

图9A是用于描述在生成全景图像的过程中相机与主对象之间的相对位置和距离的变化的图，而图9B是用于描述根据本发明构思的一个或多个示例实施例的生成全景图像的过程的图。

图10是示出根据本发明构思的一个或多个示例实施例的图2的方法中包括的拍摄视频图像的示例实施例的流程图。

图11A是用于描述在生成视频图像的过程中相机与主对象之间的相对位置和距离的变化的图，而图11B是用于描述根据本发明构思的一个或多个示例实施例的生成视频图像的过程的图。

图12是示出根据本发明构思的一个或多个示例实施例的图3的图像处理设备中包括的自动图像处理单元的示例实施例的框图。

图13是示出根据本发明构思的一个或多个示例实施例的图12的自动图像处理单元中包括的跟踪单元的示例实施例的框图。

图14是示出根据本发明构思的一个或多个示例实施例的图12的自动图像处理单元中包括的图像提供单元的示例实施例的框图。

图15是示出根据本发明构思的一个或多个示例实施例的图像处理系统的框图。

具体实施方式

在说明书中，将描述自动拍摄图像的方法，执行该方法的图像处理设备和图像处理系统。

该图像被认为包括静止图像、全景图像和视频图像。图像的拍摄被认为是包括生成和存储图像的过程的概念。在一些示例实施例中，假设拍摄者自身成为主对象并使用相机拍摄图像。相机不仅包括传统相机，还包括移动电话、智能电话、平板个人计算机(PC)、膝上型计算机、数字相机、便携式摄像机、便携式游戏机和可穿戴设备。

在下文中将参考附图更全面地描述各种示例实施例，在附图中示出了一些示例实施例。在附图中，相同的附图标记始终表示相同的元件。可以省略重复的描述。

图1和图2是示出根据本发明构思的一个或多个示例实施例的自动拍摄图像的方法的流程图。

参考图1和图2，可以确定拍摄模式(S1000)。拍摄模式指示相机拍摄图像的操作模式中的一个，并且可以包括分别与静止图像、全景图像和视频图像相对应的静止图像拍摄模式、全景图像拍摄模式和视频图像拍摄模式。

可以通过接收指示拍摄模式的信号来确定拍摄模式。用户可以在自动拍摄图像之前输入信号。在一些示例实施例中，用户可以是拍摄者。

在确定了拍摄模式(S1000)之后，可以搜索和跟踪主对象(S2000)。主对象可以包括拍摄者。当拍摄者与其他对象一起拍摄时以及当拍摄者被单独拍摄时，主对象可以是拍摄者。可以通过在主对象的候选组中确定或强制指定来搜索主对象。根据实施例，主对象的候选组可以包括拍摄者和其他对象，并且根据另一实施例，还可以包括背景。当根据主对象的搜索确定主对象时，可以针对所确定的主对象跟踪主对象。

在搜索和跟踪主对象之后(S2000)，可以基于拍摄模式和主对象的移动来自动拍摄图像(S3000)。

可以基于相机与主对象之间的相对位置的变化、相机与主对象之间的距离的变化以及背景的变化来检测主对象的移动。可以对应于拍摄模式自动拍摄图像。当拍摄模式是静止图像拍摄模式时(S3100：是)，拍摄静止图像(S3200)，当拍摄模式是全景图像拍摄模式时(S3100：否，并且S3300：是)，拍摄全景图像(S3400)，以及当拍摄模式是视频图像拍摄模式时(S3300：否，并且S3500：是)，拍摄视频图像(S3600)。即，在至少根据本发明构思的示例实施例的自动拍摄图像的方法中，当拍摄者是主对象时，搜索和跟踪主对象，并且基于拍摄模式和主对象的移动来自动拍摄图像。

图3是示出根据本发明构思的一个或多个示例实施例的图像处理设备的框图。

参考图3，图像处理设备可以包括自动图像处理单元100、图像传感器模块200、距离传感器模块300、用户输入单元400、显示单元500和存储器600。

图像传感器模块200可以包括透镜、图像传感器和图像传感器驱动单元。透镜和图像传感器可以由驱动单元驱动，透镜可以将接收到的光信号LS集中到图像传感器，并且图像传感器可以生成图像数据IDAT。在一些示例实施例中，图像数据IDAT可以是RGB图像数据。在一些示例实施例中，图像传感器可以包括互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器，但是示例实施例不限于此。

距离传感器模块300可以包括光源310、距离传感器330和距离传感器驱动单元。光源310和距离传感器330可以由距离传感器驱动单元驱动，光源310可以在红外光带或可见光带中照射，并且距离传感器330可以生成距离数据DDAT。在一些示例实施例中，距离数据DDAT可以是深度图像数据。在一些示例实施例中，距离传感器330可以包括飞行时间(TOF)传感器，但是示例实施例不限于此。自动图像处理单元100可以从图像传感器模块200接收图像数据IDAT，并且从距离传感器模块300接收距离数据DDAT。自动图像处理单元100基于接收到的数据IDAT和DDAT执行图1和图2的方法，并将通过执行该方法生成的图像数据MDAT传送到存储器600。自动图像处理单元100可以接收用户从用户输入单元400输入的信号SUI，并且可以将显示数据PDAT传送到显示单元500。在一些示例实施例中，用户输入的信号SUI可以是用于确定拍摄模式、拍摄准备时间或强行指定主对象的信号，但是示例实施例不限于此。

根据本发明构思的至少一些示例实施例，自动图像处理单元100(和/或自动图像处理单元100的元件)可以是或包括：诸如硬件的处理电路，该硬件包括逻辑电路；执行软件的硬件/软件组合；或其组合。例如，处理电路更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。

图4是示出搜索和跟踪包括图1和图2的摄影者在内的主对象的示例实施例的流程图。

参考图3和图4，自动图像处理单元100可以生成主对象的候选组(S2100)。主对象的候选组可以包括拍摄者、其他对象和背景。自动图像处理单元100可以以帧为单位接收图像数据IDATA和距离数据DDAT中的每一个。在一些示例实施例中，自动图像处理单元100可以根据第一标准将图像数据IDAT的每一帧划分为多个第一区域，并且可以根据第二标准将距离数据DDAT的每一帧划分为多个第二区域。

在一些示例实施例中，第一标准可以包括颜色信息，并且第二标准可以包括距离信息，但是示例实施例不限于此。自动图像处理单元100可以基于图像数据IDAT的一帧和图像数据IDAT的一帧之后的下一帧，针对多个第一区域和第二区域中的每一个生成运动信息。自动图像处理单元100可以基于运动信息来生成主对象的候选组。在一些示例实施例中，运动信息可以以向量的形式表达。在下文中，将更详细地描述自动图像处理单元100生成主对象的候选组的过程。

图5是示出生成主对象的候选组的过程的图。

在图5中，示出了拍摄者10、其他对象15和背景50。拍摄者10可以将相机定位在靠近拍摄者10和其他对象15的第一位置20中，或者可以将相机定位在距第一位置20相对较远的第二位置30中。假设第一位置20是拍摄者10不需要移动以定位相机的位置，而第二位置30是拍摄者10需要移动以定位相机的位置。

参考图5，自动图像处理单元100可以基于颜色信息和距离信息生成主对象的候选组。

在一些示例实施例中，当相机位于第一位置20或第二位置30时，自动图像处理单元100可以基于距离信息从主对象的候选组中消除背景50。在这种情况下，自动图像处理单元100可以基于距离信息和颜色信息确定仅摄影者10被包括在主对象的候选组中，或者可以包括摄影者10和其他对象15。

在一些示例实施例中，在拍摄者10将相机定位在任意位置之后，自动图像处理单元100可以生成主对象的候选组。在这种情况下，当相机位于第一位置20时，可以基于距离信息和颜色信息将摄影者10和其他对象15包括在主对象的候选组中。相反，当相机位于第二位置30时，基于距离信息和颜色信息，仅可以将摄影者10包括在主对象的候选组中。

再次参考图4，自动图像处理单元100可以在生成主对象的候选组之后初步确定主对象(S2200)。例如，自动图像处理单元100可以从包括在主对象的候选组中的对象之中确定或指定一个对象作为主对象。

根据实施例，可以基于颜色信息和多个第一区域初步确定主对象。颜色信息可以包括与人的肤色相对应的颜色信息。如上所述，被确定为存在于多个第一区域中的图像数据IDAT的每一帧的中心区域中的对象可以被初步确定为主对象。然而，示例实施例不限于此。根据另一实施例，可以基于颜色信息、多个第一区域、距离信息和多个第二区域初步确定主对象。

当强行指定与初步确定的对象不同的对象时(S2300：是)，可以将指定的对象确定为主对象(S2500)。当没有强行指定与初步确定的对象不同的对象时(S2300：否)，可以将初步确定的对象确定为主对象(S2400)。可以基于用户输入的信号SUI来强行指定主对象。

自动图像处理单元100可以跟踪确定的主对象(S2600)。可以基于颜色信息和距离信息来跟踪主对象。

在一些示例实施例中，与主对象不同的背景被定义为跟踪主对象的结果，并且可以生成主对象和背景中的每一个的运动信息和距离信息。

在一些示例实施例中，可以基于图像数据IDAT生成运动信息，并且可以基于距离数据DDAT生成距离信息。此外，基于主对象和背景中的每一个的运动信息和距离信息，可以检测到相机与主对象之间的相对位置的变化、相机与主对象之间的距离的变化以及背景的变化。

在一些示例实施例中，可以基于用于主对象的运动信息和用于背景的距离信息来检测相机与主对象之间的相对位置的变化。当主对象的移动没有变化并且背景距离没有变化时，可以认为相机与主对象之间的相对位置不存在变化。相反，当主对象的移动没有变化并且背景距离变化时，可以认为相机与主对象之间的相对位置存在变化。

在一些示例实施例中，可以基于主对象的距离信息来检测相机与主对象之间的距离的变化，并且可以基于背景的运动信息或距离信息来检测背景的变化。

图6是用于描述图2的方法中包括的拍摄静止图像的示例实施例的流程图。

图7A是用于描述在生成静止图像的过程中相机与主对象之间的相对位置和距离的变化的图，而图7B是用于描述生成静止图像的过程的图。

参考图6，当未检测到主对象的移动(S3210：否)直到拍摄准备时间过去时(S3230：是)，自动图像处理单元100可以生成静止图像(S3250)，并且可以将生成的静止图像存储在存储器600中(S3270)。可以通过检测相机与主对象之间的相对位置的变化、相机与主对象之间的距离的变化以及背景的变化来检测主对象的移动。可以基于用户输入的信号SUI来确定拍摄准备时间。在一些示例实施例中，当相机与主对象之间的相对位置、相机与主对象之间的距离以及背景没有变化时，自动图像处理单元100认为未检测到主对象的移动。然后，当拍摄准备时间过去时，自动图像处理单元100可以拍摄主对象以生成静止图像。

参考图7A，在自动图像处理单元100生成静止图像的同时，相机的位置40、主对象的位置42和背景44没有变化。因此，相机与主对象之间的相对位置、相机与主对象之间的距离以及背景都不会变化。在这种情况下，由于未检测到主对象的移动，因此自动图像处理单元100可以通过拍摄主对象直到拍摄准备时间过去来生成静止图像。

参考图7B，由自动图像处理单元100简单地拍摄主对象来生成静止图像，并且在生成静止图像的过程中，不需要稍后将描述地在生成全景图像或视频图像的过程中执行的附加处理。

图8是示出在图2的方法中包括的拍摄全景图像的示例实施例的流程图。图9A是用于描述在生成全景图像的过程中相机与主对象之间的相对位置和距离的变化的图，而图9B是用于描述生成全景图像的过程的图。

参考图8，当未检测到主对象的移动(S3410：否)直到拍摄准备时间过去时(S3420：是)，自动图像处理单元100可以通过检测相机的角度变化来捕获多个单图像(S3430和S3440)。可以通过检测相机与主对象之间的相对位置的变化、相机与主对象之间的距离的变化以及背景的变化来检测主对象的移动。可以基于用户输入的信号SUI来确定拍摄准备时间。在生成一个单图像之后(S3440)，当未检测到主对象的移动时(S3450：否)，自动图像处理单元100重复检测相机的角度变化(S3430)，生成另一单图像。在一些示例实施例中，当相机与主对象之间的相对位置变化并且背景变化时而当相机与主对象之间的距离没有变化时，自动图像处理单元100认为未检测到主对象的移动。然后，当拍摄准备时间过去时，自动图像处理单元100可以拍摄主对象以生成多个单图像。

参考图9A，在自动图像处理单元100生成全景图像的同时，主对象的位置52不变化，而相机的位置50和背景变化。因此，相机与主对象之间的距离变化，而背景和相机与主对象之间的相对位置变化。然而，在生成全景图像的过程中，与生成静止图像的过程不同，当背景以及相机与主对象之间的相对位置变化时而当相机与主对象之间的距离没有变化时，自动图像处理单元100认为未检测到主对象的移动。然后，当检测到相机的角度变化时，自动图像处理单元100可以拍摄主对象以生成单图像。可以基于颜色信息来检测相机的角度的变化。在生成单图像之后(S3440)，当检测到主对象的移动时(S3450：是)，自动图像处理单元100可以生成全景图像(S3460)，并且可以将生成的全景图像存储在存储器600中(S3470)。

参考图9B，可以基于由自动图像处理单元100感测相机的角度的变化并拍摄主对象而生成的多个单图像56-1至56-9来生成全景图像。在这种情况下，自动图像处理单元100可以将多个单图像56-1至56-9中的任何一个(例如，56-5)确定为基本图像。当基本图像是56-5时，自动图像处理单元100可以通过从多个单图像中除基本图像(例如，56-5)以外的其余图像(例如56-1至56-4和56-6至56-9)中去除包括主对象的区域，来生成参考图像。自动图像处理单元100可以基于基本图像和参考图像来生成全景图像。根据实施例，被确定为基本图像的图像是具有以捕获顺序分配给多个单图像的索引值中的中间索引值的图像。根据另一实施例，被确定为基本图像的图像是具有以捕获顺序被分配给包括主对象的多个单图像的索引值中的中间索引值的图像。

图10是示出图2的方法中包括的拍摄视频图像的示例实施例的流程图。图11A是用于描述在生成视频图像的过程中相机与主对象之间的相对位置和距离的变化的图，而图11B是用于描述生成视频图像的过程的图。

参考图10，当未检测到主对象的移动(S3610：否)直到拍摄准备时间过去时(S3620：是)，自动图像处理单元100可以生成视频图像(S3630)。可以通过检测相机与主对象之间的相对位置的变化、相机与主对象之间的距离的变化以及背景的变化来检测主对象的移动。可以基于用户输入的信号SUI来确定拍摄准备时间。在一些示例实施例中，当背景变化而当相机与主对象之间的相对位置和距离没有变化时，自动图像处理单元100认为未检测到主对象的移动。然后，当拍摄准备时间过去时，自动图像处理单元100可以拍摄主对象以生成视频图像。

参考图11A，在自动图像处理单元100生成视频图像的同时，背景变化，而主对象的位置62和相机的位置64在与背景的方向不同的相同方向上均等地变化。因此，相机与主对象之间的相对位置和距离没有变化，并且仅背景变化。在一些示例实施例中，当相机与主对象之间的距离和相对位置没有变化而仅背景变化时，自动图像处理单元100认为未检测到主对象的移动。然后，当拍摄准备时间过去时，自动图像处理单元100可以拍摄主对象以生成视频图像。自动图像处理单元100可以生成视频图像(S3630)，并且当检测到主对象的移动时(S3650：是)，可以停止视频图像的生成(S3670)，并且可以将生成的视频图像存储在存储器600中。

参考图11b，自动图像处理单元100可以通过仅直到检测到主对象的移动才拍摄主对象来生成视频图像。

图12是示出图3中的自动图像处理单元的示例实施例的框图。参考图3和图12，自动图像处理单元100可以包括控制单元(CU)1100、运动信息生成单元(MIGU)1300、跟踪单元(TU)1500和图像数据提供单元(IDPU)1700。

根据本发明构思的至少一些示例实施例，控制单元(CU)1100、运动信息生成单元(MIGU)1300和跟踪单元(TU)1500中的任何一个或全部(和/或控制单元(CU)1100、运动信息生成单元(MIGU)1300和跟踪单元(TU)1500中的任何一个或或全部的元件)可以是或包括：诸如包括逻辑电路的硬件的处理电路；执行软件的硬件/软件组合；或其组合。例如，处理电路更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)，以及可编程逻辑单元、微处理器、专用集成电路(ASIC)等。

控制单元1100可以总体上使用控制信号CTR1、CTR2和CTR3来控制自动图像处理单元的组件1300、1500和1700。控制单元1100可以从图像传感器模块200接收图像数据IDAT，并且可以从距离传感器模块300接收距离数据DDAT。

在一些示例实施例中，图像数据IDATA可以是RGB图像数据。在一些示例实施例中，图像传感器模块200可以包括互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件CCD图像传感器，但是示例实施例不限于此。在一些示例实施例中，距离数据DDAT可以是深度图像数据。在一些示例实施例中，距离传感器模块300可以包括飞行时间TOF传感器，但是示例实施例不限于此。

控制单元1100还可以从用户输入单元400接收用户输入的信号SUI。在一些示例实施例中，用户输入的信号可以是用于确定拍摄模式、拍摄准备时间或拍摄时间或强行指定主对象的信号，但是示例实施例不限于此。

运动信息生成单元1300可以从控制单元1100接收控制信号CTR1，可以从图像传感器模块200接收图像数据IDAT，并且可以从距离传感器模块300接收距离数据DDAT。运动信息生成单元1300可以基于接收到的数据IDAT、DDAT和CTR1生成运动信息MI，并且可以将运动信息MI传送到跟踪单元1500或图像提供单元1700。运动信息可以向量的形式表达。运动信息可以包括关于相机与主对象之间的相对位置的变化的信息、关于相机与主对象之间的距离的变化的信息以及关于背景的变化的信息。

跟踪单元1500可以从控制单元1100接收控制信号CTR2，并且可以从运动信息生成单元1300接收运动信息MI以搜索和跟踪主对象。跟踪单元1500可以基于搜索和跟踪主对象的结果来生成控制信号CTR4，并且可以将控制信号CTR4传送到图像提供单元1700。图像提供单元1700接收运动信息MI以及控制信号CTR3和CTR4，并且可以根据图1和图2中所示的自动拍摄方法来生成运动检测信号MDS和图像数据MDAT。下文中，将更详细地描述跟踪单元1500的操作。

图13是示出图12的自动图像处理单元中包括的跟踪单元1500的示例实施例的框图。参考图12和图13，跟踪单元1500可以包括配置成管理候选组的主对象管理单元(CMMU)1510和主对象跟踪单元(MTU)1530。

主对象管理单元1510可以基于接收到的运动信息MI和控制信号CTR2来生成主对象的候选组。在一些示例实施例中，控制信号CTR2可以包括颜色信息和距离信息，但是示例实施例不限于此。在一些示例实施例中，主对象管理单元1510可以基于颜色信息和距离信息来生成主对象的候选组。在一些示例实施例中，在拍摄者将相机定位在任意位置之后，主对象管理单元1510可以生成主对象的候选组。在生成主对象的候选组之后，主对象管理单元1510可以初步确定主对象或强行指定主对象。可以基于控制信号CTR2来强行指定主对象。

主对象跟踪单元1530可以从主对象管理单元1510接收主对象信息MS，并且可以从控制单元1100接收控制信号CTR2以决定和追踪主对象。在一些示例实施例中，控制信号CTR2可以包括颜色信息和距离信息，但是示例实施例不限于此。

图14是示出图12的自动图像处理单元中包括的图像提供单元的示例实施例的框图。参考图12和图14，图像提供单元1700可以包括运动检测单元(MDU)1710和图像生成单元(IGU)1730。

运动检测单元1710可以从控制单元1100接收控制信号CTR3，可以从运动信息生成单元1300接收运动信息MI，并且可以从跟踪单元1500接收控制信号CTR4。控制信号CTR3可以包括关于拍摄模式的信息，但是示例实施例不限于此。在本发明构思的至少一些或多个示例实施例中，拍摄模式指示相机拍摄图像的操作模式中的一个，并且可以包括与包括静止图像、全景图像和视频图像的图像相对应的静止图像拍摄模式、全景图像拍摄模式和视频图像拍摄模式。

当拍摄模式是静止图像拍摄模式时，运动检测单元1710认为：当相机与主对象之间的相对位置、相机与主对象之间的距离和背景没有变化时，未检测到主对象的移动。因此，当背景以及相机与主对象之间的相对位置和距离中的任何一个变化时，运动检测单元1710可以考虑到检测到主对象的移动而生成运动检测信号MDS。

当拍摄模式是全景图像拍摄模式时，运动检测单元1710认为：当背景以及相机与主对象之间的相对位置变化而相机与主对象之间的距离没有变化时，未检测到主对象的移动。因此，运动检测单元1710可以在背景以及相机与主对象之间的相对位置没有变化或者相机与主对象之间的距离变化时，考虑到检测到主对象的移动而生成运动检测信号MDS。

当拍摄模式是视频图像拍摄模式时，运动检测单元1710认为：当背景变化而相机与主对象之间的相对位置和距离没有变化时，未检测到主对象的移动。因此，运动检测单元1710可以在背景没有变化或相机与主对象之间的相对位置和距离变化时，考虑到检测到主对象的移动而生成运动检测信号MDS。

运动检测单元1710可以将生成的运动检测信号MDS传送到图像生成单元1730。图像生成单元1730可以从控制单元1100接收控制信号CTR3，并且从运动检测单元1710接收运动检测信号MDS。

当拍摄模式是静止图像拍摄模式时，图像生成单元1730可以通过简单地拍摄主对象来生成静止图像。

当拍摄模式是全景图像拍摄模式时，图像生成单元1730可以当在生成多个单图像之后检测到主对象的移动时生成全景图像。在本发明构思的至少一些示例实施例中，控制信号CTR3可以包括颜色信息和距离信息。本发明构思的一个或多个示例实施例不限于此。全景图像可以基于通过感测相机的角度的变化并拍摄主对象而生成的多个单图像来生成。根据实施例，可以基于颜色信息来检测相机的角度的变化。在这种情况下，图像生成单元1730可以将多个单图像中的任何一个确定为基本图像。图像生成单元1730可以通过从多个单图像中除了基本图像之外的其余图像中去除包括主对象的区域来生成参考图像。图像生成单元1730可以基于基本图像和参考图像来生成全景图像。根据实施例，被确定为基本图像的图像是具有以捕获顺序分配给多个单图像的索引值中的中间索引值的图像。根据另一实施例，被确定为基本图像的图像是具有以捕获顺序分配给包括主对象的多个单图像的索引值中的中间索引值的图像。

图像生成单元1730可以通过仅直到检测到主对象的移动才拍摄主对象来生成视频图像。

图15是示出根据本发明构思的一个或多个示例实施例的图像处理系统的框图。

参考图15，图像处理系统10000包括处理器10010、连接单元10020、存储设备10030、用户界面10040、电源10050和图像处理设备10060。例如，图像处理系统10000可以是任何移动系统或计算系统。

处理器10010控制图像处理系统10000的整体操作，执行操作系统和应用程序，并执行各种计算功能，诸如特定的计算或任务。

通信单元10020可以与外部设备通信。存储设备10030可以存储由处理器10010处理的数据或用作工作存储器。

用户界面10040可以包括一个或多个输入设备，诸如小键盘、按钮、麦克风、触摸屏，和/或一个或多个输出设备，诸如扬声器、显示设备。电源10050可以提供图像处理系统10000的操作电压。

图像处理设备10060由处理器10010控制，并且包括根据本发明构思的一个或多个示例实施例的图像处理设备。

如上所述，根据本发明构思的一个或多个示例实施例的自动拍摄图像、图像处理设备和图像处理系统，当主对象包括拍摄者时，可以搜索和追踪主对象，并且可以基于拍摄模式和主对象的移动来自动拍摄图像。

本发明构思可以应用于包括图像处理设备和图像处理系统的各种电子设备和/或系统。例如，本发明构思可以应用于诸如移动电话、智能电话、平板计算机、膝上型计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数码相机、便携式游戏机、音乐播放器、便携式摄像机、视频播放器、导航设备、可穿戴设备、物联网(IoT)设备、万物联网(IoE)设备、电子书阅读器、虚拟现实(VR)设备、增强现实(AR)设备、机器人设备、无人机等系统。

前述内容是本发明构思的一个或多个示例实施例的说明，且不应解释为对其的限制。尽管已经描述了本发明构思的一个或多个示例实施例，但是将显而易见，它们可以以许多方式变化。这类变化不应被认为脱离了本发明构思的示例实施例的预期精神和范围，并且对于本领域技术人员显而易见的是，所有这类修改都意欲包括在所附权利要求的范围内。

Claims (20)

1.一种使用相机拍摄图像的方法，所述方法包括：

确定拍摄模式；

搜索和跟踪包括拍摄者的主对象；以及

基于所述拍摄模式和所述主对象的移动来自动拍摄图像。

2.根据权利要求1所述的方法，其中基于相机与所述主对象之间的相对位置的变化、所述相机与所述主对象之间的距离的变化以及背景的变化来检测所述主对象的移动。

3.根据权利要求1所述的方法，其中所述拍摄模式包括静止图像拍摄模式、全景图像拍摄模式和视频图像拍摄模式。

4.根据权利要求1所述的方法，其中确定所述拍摄模式包括：

接收用户输入的指示所述拍摄模式的信号；以及

基于所述信号确定所述拍摄模式。

5.根据权利要求1所述的方法，其中搜索和跟踪所述主对象包括：

生成所述主对象的候选组，所述候选组包括多个对象；

从所述候选组中包括的所述多个对象中确定初步对象；

响应于确定已强行指定与所述初步对象不同的对象，将强行指定的对象判定为所述主对象；以及

响应于确定未强行指定与所述初步对象不同的对象，将所述初步对象判定为所述主对象；以及

跟踪所判定的主对象。

6.根据权利要求5所述的方法，其中生成所述主对象的候选组包括：基于颜色信息和距离信息来生成所述候选组。

7.根据权利要求5所述的方法，还包括：

基于用户输入的信号，确定已强行指定与所述初步对象不同的对象。

8.根据权利要求5所述的方法，其中跟踪所判定的主对象包括：基于颜色信息和距离信息来跟踪所判定的主对象。

9.根据权利要求1所述的方法，其中自动拍摄图像包括：

响应于确定以下内容来生成静止图像：

所述拍摄模式是静止图像拍摄模式，

未检测到所述主对象的移动，

拍摄准备时间已过去。

10.根据权利要求9所述的方法，还包括：

通过检测以下内容来检测所述主对象的移动：

相机与所述主对象之间的相对位置的变化、所述相机与所述主对象之间的距离的变化；以及

背景的变化，

其中基于针对所述主对象和所述背景中的每一个的运动信息和距离信息，检测所述相机与所述主对象之间的所述相对位置的变化、所述相机与所述主对象之间的所述距离的变化以及所述背景的变化。

11.根据权利要求10所述的方法，还包括：

响应于确定以下内容来确定未检测到所述主对象的移动：

所述相机与所述主对象之间的所述相对位置，

所述相机与所述主对象之间的距离、以及背景没有变化，并且

拍摄准备时间已过去。

12.根据权利要求1所述的方法，其中自动拍摄图像包括：

响应于确定以下内容，通过检测相机角度的变化来捕获多个单图像：

所述拍摄模式是全景图像拍摄模式；

未检测到所述主对象的移动；以及

拍摄准备时间已过去。

13.根据权利要求12所述的方法，还包括：

响应于确定背景和所述相机与所述主对象之间的相对位置发生变化、以及确定所述相机与所述主对象之间的距离没有变化，确定未检测到所述主对象的移动。

14.根据权利要求12所述的方法，其中自动拍摄图像还包括：

基于所述多个单图像来生成全景图像。

15.根据权利要求14所述的方法，其中生成所述全景图像包括：

在所述多个单图像中确定基本图像；以及

通过从所述多个单图像中除了所述基本图像之外的其余图像中去除包括所述主对象的区域，来生成参考图像。

16.根据权利要求15所述的方法，其中被确定为所述基本图像的图像是具有以捕获顺序分配给所述多个单图像的索引值中的中间索引值的图像。

17.根据权利要求1所述的方法，其中自动拍摄图像包括：

响应于确定以下内容生成视频图像：

所述拍摄模式是视频拍摄模式；

未检测到所述主对象的移动；以及

拍摄准备时间已过去。

18.根据权利要求17所述的方法，还包括：

响应于确定背景发生变化以及所述相机与所述主对象之间的相对位置和距离没有变化而确定未检测到所述主对象的移动。

19.一种使用相机自动拍摄图像的方法，所述方法包括：

搜索和跟踪包括拍摄者的主对象；

当所述相机的拍摄模式是全景图像拍摄模式时并且当直到拍摄准备时间过去才检测到所述主对象的移动时，通过检测所述相机的角度的变化来生成多个单图像；以及

基于所述多个单图像生成所述全景图像。

20.一种使用相机自动拍摄图像的方法，所述方法包括：

搜索和跟踪包括拍摄者的主对象；以及

当相机的拍摄模式是视频图像拍摄模式时并且当直到拍摄准备时间过去才检测到所述主对象的移动时，生成视频图像。

Images