CN107925729A - 拍摄装置及其控制方法 - Google Patents

拍摄装置及其控制方法 Download PDF

Info

Publication number
CN107925729A
CN107925729A CN201680047437.8A CN201680047437A CN107925729A CN 107925729 A CN107925729 A CN 107925729A CN 201680047437 A CN201680047437 A CN 201680047437A CN 107925729 A CN107925729 A CN 107925729A
Authority
CN
China
Prior art keywords
image
buffer
information
stored
camera module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680047437.8A
Other languages
English (en)
Other versions
CN107925729B (zh
Inventor
李太熙
文憬焕
姜权丁
韩熙喆
金哉坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107925729A publication Critical patent/CN107925729A/zh
Application granted granted Critical
Publication of CN107925729B publication Critical patent/CN107925729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种拍摄装置。该装置包括：第一缓冲器，被配置为存储由多个相机模块中的第一相机模块产生的多个图像；第二缓冲器，被配置为存储由所述多个相机模块中的第二相机模块产生的多个图像；显示器，被配置为将由所述第一相机模块产生的图像显示为实时图像；以及控制器，被配置为使用存储在所述第一缓冲器和所述第二缓冲器中的每个图像的图像信息和所述多个相机模块的拍摄信息中的至少一个来分析存储在所述第一缓冲器和所述第二缓冲器中的图像，并且响应于在存储在所述第二缓冲器中的所述多个图像中的至少一个中发生了事件，控制所述显示器提供关于所述第二相机模块的状态通知服务。当异物出现在所述多个相机模块中的至少一个相机模块上时，该拍摄装置可以更直观地向用户通知该状态。

Description

拍摄装置及其控制方法
技术领域
本公开总体涉及拍摄装置及其控制方法，并且例如涉及具有多个相机模块的拍摄装置及其控制方法。
背景技术
安装在诸如智能电话、平板个人计算机(PC)等便携式终端装置上的相机是最常用的功能之一。因此，用于提高安装在便携式终端装置中的相机的性能的技术一直在发展。
然而，由于诸如智能电话的便携式终端装置具有有限的尺寸，因此安装在便携式终端设备上的相机模块的尺寸被微型化以对应于便携式终端装置的尺寸。
同时，为了满足用户对于进一步提高便携式终端装置上安装的相机的性能(例如图像质量)的需求，需要增加相机传感器。然而，由于安装在便携式终端装置上的相机模块的尺寸已经微型化，因此在提高相机的图像质量方面存在限制。
为了解决这样的问题，在诸如智能电话之类的便携式终端装置上安装多相机的技术正在发展。当多相机安装在便携式终端装置上时，该装置可以提供各种图像服务。然而，在这种情况下，多相机占据比传统的单相机更宽的区域，因此诸如用户手指这样的异物可能容易地暴露于多相机的镜头。因此，用户可能无法执行期望的图像拍摄操作。
发明内容
技术问题
已经提供了本公开以解决在相关技术中出现的上述和其他问题和缺点，并且本公开的一个方面提供了一种拍摄装置，其更直观地向用户通知多个相机模块中的至少一个上出现异物的状态。
另外，本公开的一个方面提供一种拍摄装置，其在多个相机模块上不存在异物时拍摄图像或产生合成图像。
技术方案
根据本公开的一个示例，提供了一种拍摄装置。该拍摄装置包括：第一缓冲器，被配置为存储由多个相机模块中的第一相机模块产生的多个图像；第二缓冲器，被配置为存储由所述多个相机模块中的第二相机模块产生的多个图像；显示器，被配置为将由所述第一相机模块产生的图像显示为实时图像；以及控制器，被配置为使用存储在所述第一缓冲器和所述第二缓冲器中的每个图像的图像信息和所述多个相机模块的拍摄信息中的至少一个来分析存储在所述第一缓冲器和所述第二缓冲器中的图像，并且响应于在存储在所述第二缓冲器中的所述多个图像中的至少一个中发生了事件，控制所述显示器提供关于所述第二相机模块的状态通知服务。
响应于检测到发生了事件的图像，所述控制器可以被配置为控制所述显示器将发生了事件的图像转换为实时图像并进行显示。
显示器可以包括主显示器和被配置为从主显示器沿特定方向延伸的曲面辅助显示器。响应于检测到发生了事件的图像，所述控制器可以被配置为控制所述显示器在所述主显示器中显示所述实时图像，并且在所述曲面辅助显示器中显示关于发生了事件的图像的事件用户界面(UI)。
该装置还可以包括：通信电路，被配置为执行与邻近终端装置的数据通信。响应于检测到发生了事件的图像，所述控制器可以被配置为控制所述通信电路向所述邻近终端装置发送事件发生相关信息。
所述图像信息可以包括以下至少一项：图像的亮度信息、直方图信息和像素信息。所述拍摄信息可以包括以下至少一项：所述多个相机模块中的至少一个相机模块的用于自动对焦的镜头位置信息、相位差信息和对比度信息。此外，所述第一缓冲器和所述第二缓冲器可以对所述拍摄信息和每个图像的所述图像信息进行匹配并存储。
发生了事件的图像可以是以下中的一项：当所述第二相机模块的至少一部分被异物覆盖时产生的图像、以及与存储在所述第一缓冲器或所述第二缓冲器中的其他图像不同的自动对焦图像。
所述控制器可以被配置为从存储在所述第一缓冲器和所述第二缓冲器中的图像产生合成图像，并且控制所述显示器显示所产生的合成图像。响应于检测到发生了事件的图像，所述控制器可以被配置为从存储在所述第一缓冲器中的图像当中的与所述发生了事件的图像相邻的图像、和存储在所述第二缓冲器中的图像产生合成图像。
所述控制器可以被配置为基于存储在所述第一缓冲器和所述第二缓冲器中的每个图像的视差来检测遮挡区域，并且基于检测到的所述遮挡区域的量是否大于预定值(其可以称为预定临界值)来确定是否产生所述合成图像。
第一相机模块可以包括广角镜头，第二相机模块可以包括长焦镜头。所述控制器可以被配置为基于所述第一相机模块和所述第二相机模块中的每一个的对焦信息以及与命令相对应的特写拍摄信息来确定是否产生所述合成图像。
根据本公开的一个示例，提供了一种用于控制具有多个相机模块的拍摄装置的方法。该方法包括：将由所述多个相机模块中的第一相机模块产生的图像显示为实时图像；将由所述第一相机模块产生的图像存储在第一缓冲器中，并将由所述多个相机模块中的第二相机模块产生的图像存储在第二缓冲器中；使用以下至少一项分析存储在所述第一缓冲器和所述第二缓冲器中的图像：存储在所述第一缓冲器和所述第二缓冲器中的每个图像的图像信息和所述多个相机模块的拍摄信息；以及响应于存储在所述第二缓冲器中的多个图像中的至少一个图像中发生了事件，提供关于所述第二相机模块的状态通知服务。
响应于检测到发生了事件的图像，所述提供可以包括将发生了事件的图像转换为实时图像并进行显示。
响应于检测到发生了事件的图像，所述提供可以包括在主显示器中显示所述实时图像，并且在曲面辅助显示器中显示关于发生了事件的图像的事件用户界面(UI)。
响应于检测到发生了事件的图像，所述提供可以包括向邻近终端装置发送事件发生相关信息。
所述图像信息可以包括以下至少一项：图像的亮度信息、直方图信息和像素信息。所述拍摄信息可以包括以下至少一项：所述多个相机模块中的至少一个相机模块的用于自动对焦的镜头位置信息、相位差信息和对比度信息。此外，所述第一缓冲器和所述第二缓冲器可以对所述拍摄信息和每个图像的所述图像信息进行匹配和存储。
发生了事件的图像可以是以下中的一项：当所述第二相机模块的一部分或整个部分被异物覆盖时产生的图像、以及与存储在所述第一缓冲器或所述第二缓冲器中的其他图像不同的自动对焦图像。
该方法还可以包括基于命令确定是否从存储在所述第一缓冲器和所述第二缓冲器中的图像产生合成图像，并且基于确定结果从存储在所述第一缓冲器和所述第二缓冲器中的图像产生合成图像并显示产生的所述合成图像。响应于检测到发生了事件的图像，所述显示可以包括从存储在所述第一缓冲器中的图像当中的与所述发生了事件的图像相邻的图像、和存储在所述第二缓冲器中的图像产生合成图像并进行显示。
所述确定可以包括基于存储在所述第一缓冲器和所述第二缓冲器中的每个图像的视差来检测遮挡区域，并且基于检测到的所述遮挡区域的量是否大于预定值(例如，预定临界值)来确定是否产生所述合成图像。
第一相机模块可以包括广角镜头，第二相机模块可以包括长焦镜头。所述确定可以包括基于所述第一相机模块和所述第二相机模块中的每一个的对焦信息以及与命令相对应的特写拍摄信息来确定是否产生所述合成图像。
根据本公开的一个示例，提供了一种拍摄装置。该装置包括：第一缓冲器，被配置为存储由多个相机模块中的第一相机模块产生的多个图像；第二缓冲器，被配置为存储由所述多个相机模块中的第二相机模块产生的多个图像；显示器，被配置为将由所述第一相机模块产生的图像显示为实时图像；以及控制器，被配置为基于命令从存储在所述第一缓冲器和所述第二缓冲器中的图像产生合成图像，并控制所述显示器显示所产生的合成图像。所述控制器可以被配置为使用存储在所述第一缓冲器和所述第二缓冲器中的每个图像的图像信息和所述多个相机模块的拍摄信息中的至少一个来分析存储在所述第一缓冲器和所述第二缓冲器中的图像，并且响应于在存储在所述第二缓冲器中的所述多个图像中的至少一个中发生了事件，从与发生了事件的图像不同的图像和存储在所述第一缓冲器中的图像，来产生合成图像。
响应于检测到发生了事件的图像，所述控制器可以被配置为从存储在所述第一缓冲器中的图像当中的与所述发生了事件的图像相邻的图像、和存储在所述第二缓冲器中的图像产生合成图像，并控制所述显示器显示所产生的合成图像。
响应于检测到发生了事件的图像，所述控制器可以被配置为控制所述显示器提供关于所述第二相机模块的状态通知服务。
所述图像信息可以包括以下至少一项：图像的亮度信息、直方图信息和像素信息。所述拍摄信息可以包括以下至少一项：所述多个相机模块中的至少一个相机模块的用于自动对焦的镜头位置信息、相位差信息和对比度信息。此外，所述第一缓冲器和所述第二缓冲器可以对所述拍摄信息和每个图像的所述图像信息进行匹配和存储。
有益效果
根据本公开的上述各种示例，当异物出现在多个相机模块中的至少一个相机模块上时，该拍摄装置可以更直观地向用户通知该状态。
附图说明
从以下结合附图的详细描述中，本公开的以上和/或其他方面将更加清楚明白，其中，类似的附图标记表示类似的元件，并且其中：
图1A是示出了示例拍摄装置的图；
图1B是示出了示例拍摄装置的图；
图2是示出了拍摄装置的示例结构的框图；
图3是示出了拍摄装置的示例结构的框图；
图4是示出了拍摄装置的多个相机模块的示例性可拍摄对焦区域的图；
图5A和图5B是示出了检测拍摄装置中发生了事件的图像的示例的示意图；
图6是示出了在拍摄装置中产生合成图像的示例的图；
图7A和图7B是示出了提供关于拍摄装置中的多个相机模块的状态通知服务的示例的第一示意图；
图8是示出了提供关于拍摄装置中的多个相机模块的状态通知服务的示例的第二示意图；
图9A和图9B是示出了提供关于拍摄装置中的多个相机模块的状态通知服务的示例的第三示意图；
图10是示出了提供关于拍摄装置中的多个相机模块的状态通知服务的示例的第四示意图；
图11是示出了提供关于拍摄装置中的多个相机模块的状态通知服务的示例的第五示意图；
图12是示出了用于控制拍摄装置的示例方法的流程图；以及
图13是示出了用于从由拍摄装置中的多个相机模块产生的图像来产生合成图像的示例方法的流程图。
具体实施方式
在更详细地描述本公开的各种示例实施例之前，提供对本公开和附图的描述的概述。
在以下描述和权利要求中使用的术语是通过考虑本公开的各种示例中的功能而选择的通用表述。然而，这些术语可以根据本领域普通技术人员的意图、法律/技术解释或新技术的出现而变化。另外，有些术语可能是任意选择的。这些术语可以被解释为如本文所定义的含义，并且除非另外定义，其可以基于本公开的总体描述和本领域中的常用技术知识来解释。
在下面的描述中，为了便于解释并为了更好的理解，相似的附图标记和符号指的是基本上执行相同或相似功能的相似元件(即便它们在不同的附图中)。例如，尽管多个附图共享具有相同附图标记的元件，但是多个附图不一定涉及一个或同一示例。
在以下描述和权利要求中，可以使用包括诸如“第一”、“第二”等序数的术语来区分元件。序数用于区分相同或相似的元件，并不限制该术语的含义。例如，序数不影响用序数表示的元件的使用顺序或布置顺序。如果需要的话，各自的序数可以相互替换。
在以下描述中，单数形式的术语包括复数形式，除非有意那样写。此外，在以下描述中，术语“包括”和“具有”指代公开的特征、数字、步骤、操作、元件、部件及其组合的存在，并且不排除一个或多个其它特征、数字、步骤、操作、元件、部件及其组合的存在或增加。
在以下描述中，术语“模块”、“单元”和“部件”可以指代执行至少一个功能或操作的元件。元件可以实现为硬件(例如电路)、软件或其组合。另外，除了各个“模块”、“单元”和“部件”需要实现为独立的特定硬件的情况以外，多个“模块”、“单元”和“部件”可以被集成到至少一个模块或芯片中，使得其被实现为至少一个处理器(未示出)。
当描述一个部件连接到另一部件时，连接可以包括部件之间的直接连接以及通过其他介质的间接连接。另外，除非另外描述，否则关于特定部件包括元件的描述表示该部件可以进一步包括其他元件，而不是表示该部件不包括其他元件。
下面参考附图更详细地描述特定示例。
图1A是示出了示例拍摄装置的图，图1B是示出了示例拍摄装置的图。
例如，拍摄装置可以被实现为便携式终端装置，诸如智能电话、平板电脑等，并且可以包括用于拍摄图像的多个相机模块10、20(以下称为“第一相机模块”和“第二相机模块”)。根据一个示例，第一相机模块10和第二相机模块20可以例如在竖直方向上布置在拍摄装置的背面上，如图1A所示。根据另一示例，第一相机模块10和第二相机模块20可以例如在水平方向上布置在拍摄装置的背面上，如图1B所不。
例如，第一相机模块10可以包括用于宽范围图像拍摄的广角镜头，并且第二相机模块20可以包括例如用于长距离图像拍摄的长焦镜头。拍摄装置可以获得与第一相机模块10和第二相机模块20中的每一个的镜头的特性对应的图像。例如，第一相机模块10可以例如提供比以与第一相机模块10在相同距离对焦的第二相机模块10更宽的图像。例如，第二相机模块20可以提供超出第一相机模块10的范围的图像。
如图1A或图1B所示，拍摄装置的正面可以包括显示面板30，并且可以被配置为将由第一相机模块10和第二相机模块20中的至少一个产生的图像确定为针对要拍摄的被摄体的实时图像，并显示所确定的作为实时图像的图像。
显示面板30可以显示关于由第一相机模块10和第二相机模块20中的至少一个产生的图像的实时图像，并且接收关于所显示的实时图像的命令。响应于关于实时图像的命令，拍摄装置可以从显示面板30中显示的实时图像拍摄静态图像或运动图像。另外，响应于关于实时图像的命令，拍摄装置可以例如通过合成由第一相机模块10和第二相机模块20产生的图像来产生合成图像，或者产生三维(3D)图像。
如上所述，拍摄装置可以将由第一相机模块10和第二相机模块20中的至少一个产生的图像确定为实时图像，并通过显示面板30显示被确定为实时图像的图像。
例如，可以通过第一相机模块10和第二相机模块20产生图像，并且可以通过显示面板30显示关于由第一相机模块10和第二相机模块20产生的图像中的、由第一相机模块10产生的图像的实时图像。
如图1A或图1B所示，在显示关于由第一相机模块10产生的图像的实时图像时，用户的手指可能与例如第二相机模块20接触。在这种情况下，与用户的手指有关的图像可能插入到由第二相机模块20产生的图像的特定区域中。拍摄装置通过分析由第二相机模块20产生的图像来确定发生了事件(例如，手指插入到图像的区域中)，并在显示面板30中显示发生了事件的图像。
因此，用户可以认识到他/她的手指与第二相机模块20接触，并且将手指移动到未布置第一相机模块10和第二相机模块20的区域。
如上所述，拍摄装置可以分析由第一相机模块10和第二相机模块20中的至少一个产生的图像，检测发生了事件的图像，并显示检测到的图像，使得用户能够更直观地识别当前的拍摄状态。
在下文中，将更详细地描述拍摄装置的各个组件。
图2是示出了示例拍摄装置的示例结构的框图，图3是示出了示例拍摄装置的示例结构的更详细的框图。
如图2所示，拍摄装置包括拍摄单元110、第一缓冲器(例如，包括存储器)120、第二缓冲器(例如，包括存储器)130、显示器140和控制器150。如图3所示，除了上面参考图2描述的组件之外，拍摄装置还可以包括图像处理器160、通信器(例如，包括通信电路)170、输入单元(例如，包括输入电路)180和存储单元190。
例如，用于拍摄图像的拍摄单元110可以应用于诸如紧凑型系统相机(CSC)之类的拍摄装置。拍摄单元110可以包括多个相机模块111、113(在下文中例如称为“第一相机模块”和“第二相机模块”)。例如，第一相机模块111可以包括用于宽范围图像拍摄的广角镜头，并且第二相机模块113可以包括例如用于长距离图像拍摄的长焦镜头。
拍摄单元110可以获得与第一相机模块111和第二相机模块113中的每一个的镜头的特性对应的图像。例如，拍摄单元110可以通过第一相机模块110提供比以与第一相机模块113相同距离对焦的第二相机模块111更宽的图像。另外，拍摄单元110可以通过第二相机模块113提供超出第一相机模块111的范围的图像。
第一相机模块111和第二相机模块113接收通过每个相机模块中包括的镜头(广角镜头和长焦镜头)进入的外部光，并将接收到的外部光转换为电信号。例如，响应于外部光通过由控制器150的控制命令驱动的每个透镜进入并且形成在成像表面上，第一相机模块111和第二相机模块113可以使用例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)等光电转换设备将形成在成像表面上的外部光转换成电信号。下面将提供关于控制器150的更详细的描述。在这种情况下，可以基于控制器150的控制命令来改变第一相机模块111和第二相机模块113中包括的每个透镜的位置，从而扩大或缩小要拍摄的被摄体的尺寸，或者执行自动对焦以调整对被摄体的对焦。
例如在图3中示出的图像处理器160处理关于由拍摄单元110的第一相机模块111和第二相机模块113转换的电信号的原始图像数据，以产生关于要拍摄的被摄体的实时图像。
通过使用拍摄单元110和图像处理器160将外部光转换成电信号并且从转换后的电信号产生实时图像的上述方法涉及具有电或光学取景器的相机的本领域常识，因此省略详细描述。
第一缓冲器120可临时存储由多个相机模块中的第一相机模块111产生的多个图像。第二缓冲器130可临时存储由多个相机模块中的第二相机模块113产生的多个图像。例如，在接收到与拍摄操作有关的命令之前，第一缓冲器120和第二缓冲器130临时存储由第一相机模块111和第二相机模块113产生的与要拍摄的被摄体相关联的多个图像。在这种情况下，可能希望基于产生顺序来顺序地存储临时存储在第一缓冲器120和第二缓冲器130中的多个图像。
另外，可能希望第一缓冲器120和第二缓冲器130匹配并存储临时存储的多个图像、每个图像的图像信息、以及拍摄信息中的至少一个。在这种情况下，图像信息可以包括例如图像的亮度信息、直方图信息和像素信息中的至少一个，并且拍摄信息可以包括与产生图像相关的每个相机模块的用于自动对焦的镜头位置信息、相位差信息、以及对比度信息中的至少一个。
第一缓冲器120和第二缓冲器130可以例如匹配并存储临时存储的多个图像、每个图像的图像信息、以及拍摄信息中的至少一个。
显示器140可以将由多个相机模块中的第一相机模块111产生的图像显示为实时图像。在该示例中，描述了由第一相机模块111产生的图像被显示为实时取景，但是不限于此。例如，由多个相机模块中的第二相机模块113产生的图像也可以被显示为实时图像。另外，可以将由第一相机模块111和第二相机模块113产生的每个图像显示为实时图像。
显示器140可以将拍摄到的静止图像、拍摄到的运动图像以及用于控制拍摄装置的操作的命令相关UI显示在关于要拍摄的被摄体的实时图像之上、或与实时图像重叠显示。显示器140可以例如被实现为液晶显示器(LCD)、有机发光二极管(OLED)、等离子显示面板(PDP)等。此外，显示器140例如可以被实现为用于接收与所显示的UI相关的触摸命令的触摸面板。
控制器150可以被配置为：使用例如存储在第一缓冲器120和第二缓冲器130中的每个图像的图像信息以及第一相机模块111和第二相机模块113的拍摄信息中的至少一个，来分析存储在第一缓冲器120和第二缓冲器130中的图像。响应于分析出在存储在第二缓冲器130中的多个图像中的至少一个中发生了事件，控制器150可以被配置为控制显示器140以提供关于第二相机模块113的状态通知服务。
发生了事件的图像例如可以是当第二相机模块113的一部分或整个部分被异物(例如，用户的手指)覆盖时由第二相机模块113产生的图像，或者例如与存储在第二缓冲器130中的其他图像不同的自动对焦图像。
例如，响应于检测到发生了事件的图像，控制器150可以被配置为控制显示器140将关于由第一相机模块111产生的图像的实时图像转换并显示为发生了事件的图像。
例如，响应于检测到发生了事件的图像，控制器150可以被配置为控制显示器140在显示器140的第一区域中显示关于由第一相机模块111产生的图像的实时图像，并且在显示器140的第二区域中显示关于发生了事件的图像的事件UI。
例如，如图3所示，显示器140可以包括主显示器141和从主显示器141沿特定方向延伸的曲面辅助显示器143。
例如，响应于检测到发生了事件的图像，控制器150可以被配置为控制显示器140在主显示器141中显示关于由第一相机模块111产生的图像的实时图像。另外，控制器150可以被配置为控制显示器140在曲面辅助显示器143中显示关于发生了事件的图像的事件UI，例如关于由第二相机模块113产生的图像的事件UI。基于控制命令，显示器140可以在主显示器141中显示实时图像，并且在曲面辅助显示器143中显示关于发生了事件的图像的事件UI。
例如，响应于检测到发生了事件的图像，控制器150可以被配置为控制通信器(例如，包括通信电路)170将事件发生相关信息发送到邻近终端装置(未示出)。通信器170可以将事件发生相关信息发送到邻近终端装置(未示出)，并且邻近终端装置(未示出)可以基于从拍摄装置接收的事件发生相关信息来提供第二相机模块113的状态通知服务。根据一个示例，邻近终端装置(未示出)可以基于从拍摄装置接收到的事件发生相关信息，通过通知服务(例如，振动反馈、消息报警反馈、嘟嘟声反馈、灯报警反馈等)来提供关于可能异常地执行了第二相机模块113的拍摄操作的通知。
同时，将事件发生相关信息发送到邻近终端装置(未示出)的通信器170可以包括例如局域通信模块171、无线通信模块173(诸如无线局域网(LAN)模块)、包括至少一个有线通信模块的连接器175(诸如高清多媒体接口(HDMI)、通用串行总线(USB)、电气电子工程师协会(IEEE)1394等)。
局域通信模块171可以以无线方式执行拍摄装置与邻近终端装置(未示出)之间的局域通信。局域通信模块171可以包括例如以下中的至少一个：蓝牙模块、红外数据联盟(IrDA)模块、近场通信(NFC)模块、无线保真(Wi-Fi)模块和Zigbee模块等。
无线通信模块173可以根据无线通信协议(诸如IEEE)连接到外部网络以执行通信。无线通信模块173还可以包括移动通信模块，该移动通信模块根据诸如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等不同的移动通信标准来接入移动通信网络，从而进行通信。
如上所述，通信器170可以例如通过各种局域通信方法来实现，并且可以根据需要采用本公开中未提及的其他通信方法和/或通信电路。
连接器175可以提供关于各种源装置的接口，例如，USB 2.0、USB 3.0、HDMI和IEEE1394等。连接器175可以基于控制器150的控制命令，通过连接到连接器175的有线电缆，接收从外部服务器(未示出)发送的内容数据，或者将预先存储的内容数据发送到外部记录介质。另外，连接器175可以通过物理连接到连接器175的有线电缆而被供电。
输入单元180可以包括例如用作输入装置的输入电路，用于接收各种命令并将命令发送到控制器150。输入单元180例如可以包括：用于接收用户操纵命令的操纵单元(未示出)和触摸输入单元(未示出)，以及用于接收与来自遥控装置(未示出)的命令对应的控制信号的第二输入单元(未示出)。
操纵单元(未示出)可以例如被实现为具有各种功能键、数字键、特殊键、字母键等的小键盘。在显示器140被实现为触摸屏时，触摸输入单元(未示出)可以例如被实现为与显示器140形成相互层结构的触摸板。
第二输入单元(未示出)可以例如通过来自遥控装置(未示出)的包括红外线(IR)信号、射频(RF)信号等在内的控制命令，接收诸如频道调谐命令、关于拍摄装置的功能设置命令等命令，或者接收关于用户发出的语音的语音信号。
存储单元190可以例如存储不同的图像和用于控制拍摄装置的操作的操作系统(OS)。例如，OS可以是从存储单元190读取并且被编译以响应于拍摄装置开启而操作便携式终端装置100的每个组件的程序。存储单元190可以例如被实现为只读存储器(ROM)、随机存取存储器(RAM)、相对于便携式终端装置100可拆卸或可安装的存储卡(例如，安全数字(SD)卡、记忆棒等)、非易失性存储器、易失性存储器、硬盘驱动器(HDD)和固态盘(SDD)等中的至少一个。
响应于通过输入单元180接收到合成拍摄命令，控制器150可以被配置为在接收到合成拍摄命令的时刻从存储在第一缓冲器120和第二缓冲器130中的图像当中的图像产生合成图像，并且控制显示器140显示所产生的合成图像。根据一个示例，控制器150可以被配置为从构成存储在第一缓冲器120和第二缓冲器130中的图像的每个像素的值产生深度信息，并且基于深度信息来合成每个图像。然而，该方法仅是一个示例，并且可以通过各种公知的合成算法从临时存储在第一缓冲器120和第二缓冲器130中的图像产生合成图像。响应于根据示例产生合成图像，显示器140可以显示从存储在第一缓冲器120和第二缓冲器130中的图像获得的合成图像。
响应于检测到发生了事件的图像，控制器150可以被配置为从存储在第一缓冲器120中的图像当中的与所述发生了事件的图像相邻的图像、和存储在第二缓冲器130中的图像产生合成图像。例如，可能检测到在接收到合成拍摄命令的时刻发生了事件的图像。在这种情况下，控制器150可以被配置为从第二缓冲器130中提取与发生了事件的图像相邻的图像。与发生了事件的图像相邻的图像可以是在发生了事件的图像临时存储在第二缓冲器130中之前刚刚存储在第二缓冲器130中的图像。响应于提取相邻的图像，控制器150可以被配置为从存储在第一缓冲器120中的图像当中在接收到合成拍摄命令的时刻存储的图像、和从第二缓冲器130提取的图像，来产生合成图像。显示器140可以显示从存储在第一缓冲器120和第二缓冲器130中的图像获得的合成图像。
根据下面讨论的示例，在从存储在第一缓冲器120和第二缓冲器130中的图像产生合成图像之前，控制器150可以被配置为确定是否能够从存储在第一缓冲器120和第二缓冲器130中的图像产生合成图像。
根据一个示例，响应于接收到合成拍摄命令，控制器150可以被配置为基于遮挡区域(该遮挡区域基于存储在第一缓冲器120和第二缓冲器130中的每个图像的视差)和预定值(例如，预定临界值)来确定是否产生合成图像。例如，响应于接收到合成拍摄命令，控制器150可以被配置为基于存储在第一缓冲器120和第二缓冲器130中的每个图像的视差来检测遮挡区域。控制器150可以被配置为确定检测到的遮挡区域的检测量是否大于预定值，例如，预定临界值。响应于确定检测到的遮挡区域的检测量大于预定临界值，控制器150可以被配置为选择存储在第一缓冲器120和第二缓冲器130中的图像中的一个，并控制显示器140显示所选择的图像。显示器140可以显示从存储在第一缓冲器120和第二缓冲器130中的图像中选择的图像。
根据另一示例，控制器150可以被配置为基于第一相机模块111和第二相机模块113中的每一个的对焦信息以及与命令相对应的特写拍摄信息来确定是否产生合成图像。例如，第一相机模块111可以包括广角镜头，第二相机模块113可以包括长焦镜头。
例如，可拍摄对焦距离可以基于每个模块的镜头的特性，不同地应用于第一相机模块111和第二相机模块113。
图4是示出了拍摄装置的多个相机模块的示例性可拍摄对焦区域的示意图。
如图4所示，具有广角镜头的第一相机模块111可以对焦在从位于近距离的第一点(A)到位于远距离的第三点(C)的范围内的被摄体上。具有长焦镜头的第二相机模块113可以对焦在从位于近距离的第二点(B)(比第一点(A)远)到位于远距离的第三点(C)的范围内的被摄体上。
例如，与具有广角镜头的第一相机模块111相比，具有长焦镜头的第二相机模块113可以对焦在位于相对较长距离的被摄体上，但是不能对焦在位于近距离的被摄体上。响应于在接收到对第一点(A)(该点位于第二相机模块113的范围之外)和第二点(B)之间的被摄体的特写拍摄信息时接收到合成拍摄命令，控制器150可以被配置为基于接收到的特写拍摄信息和关于第一相机模块111和第二相机模块113的对焦信息，确定由第二相机模块113产生的图像的合成不可用。
响应于确定由第二相机模块113产生的图像的合成不可用，控制器150可以被配置为在存储在第一缓冲器120和第二缓冲器130中的图像当中选择存储在第一缓冲器120中的图像，并控制显示器140显示所选择的图像。显示器140可以显示从存储在第一缓冲器120中的图像中选择的图像。
下面将更详细地描述根据示例的检测拍摄装置中发生了事件的图像的操作。
图5A和图5B是示出了检测拍摄装置中发生了事件的图像的示例的示意图。
如图5A和图5B所示，控制器150可以被配置为分析存储在第一缓冲器120和第二缓冲器130中的多个图像并且检测发生了事件的图像。例如，如图5A所示，控制器150可以被配置为测量存储在第一缓冲器120中的图像中的相似度。另外，如图5B所示，控制器150可以被配置为测量存储在第二缓冲器130中的图像中的相似度。
存储在第一缓冲器120和第二缓冲器130中的图像中的相似度可以根据图像的亮度信息、直方图信息和像素信息中的至少一个来测量。如所示出的，响应于从存储在第一缓冲器120中的图像测量的相似度值低于从存储在第二缓冲器130中的图像测量的相似度值，控制器150可以被配置为确定在存储在第一缓冲器120中的图像中发生了事件。在这种情况下，存储在第一缓冲器120中的图像可以是由第一相机模块111产生的图像。响应于确定在存储在第一缓冲器120中的图像中发生了事件，控制器可以被配置为根据上述各种示例提供关于第一相机模块111和第二相机模块113当中的第一相机模块111的状态通知服务。
用户能够通过通知服务直观地识别他/她的手指覆盖了第一相机模块111，并且移动覆盖着第一相机模块111的手指。第一相机模块111和第二相机模块113可以针对要正常拍摄的被摄体产生图像。
图6是示出了在拍摄装置中产生合成图像的示例的图。
图6示出了基于时间顺序将由第一相机模块111产生的多个图像临时存储在第一缓冲器120中的示例。
第一相机模块111和第二相机模块113可以在相同的定时产生图像，并且所产生的图像可以按顺序临时存储在第一缓冲器120和第二缓冲器130中。例如，可以将8个图像分别存储在第一缓冲器120和第二缓冲器130中，并且可以在存储第八个图像的时刻输入合成拍摄命令。在这种情况下，控制器150可以被配置为在输入合成拍摄命令的时刻对存储在第一缓冲器120和第二缓冲器130中的第八个图像610-1、610’-1进行合成。在对存储在第一缓冲器120和第二缓冲器130中的第八个图像进行合成之前，控制器150可以被配置为基于拍摄信息和分别存储在第一缓冲器120和第二缓冲器130中的多个图像的图像信息中的至少一个，确定是否发生了事件。
根据一个示例，控制器150可以被配置为使用存储在第一缓冲器120和第二缓冲器130中的图像的亮度信息、直方图信息和像素信息中的至少一个来确定是否发生了事件。
当基于亮度信息确定事件的发生时，控制器150可以被配置为基于在接收到合成拍摄命令的时刻分别存储在第一缓冲器120和第二缓冲器130中的第八个图像610-1、610’-1的亮度信息和先前的图像(第七个图像610-2、610’-2)的亮度信息，来确定两个图像之间的相似度。例如，控制器150可以被配置为基于两个图像的亮度信息来确定这两个图像之间的亮度的差值，并且基于所确定的差值和预定的临界值来确定两个图像的相似度。响应于确定所确定的差值大于预定临界值，控制器150可以被配置为确定这两个图像彼此相似。响应于确定所确定的差值小于预定临界值，控制器150可以被配置为确定两个图像彼此不同。
根据该示例，响应于确定两个图像不同，控制器150可以被配置为将第一缓冲器120和第二缓冲器130中两个图像被确定为不同的缓冲器的第八个图像检测为发生了事件的图像。
根据另一示例，控制器150可以被配置为基于关于第一相机模块111和第二相机模块113的、包括用于自动对焦的镜头位置信息、相位差信息和对比度信息中的至少一个在内的拍摄信息，确定是否发生了事件。
当基于镜头位置信息确定事件的发生时，控制器150可以被配置为将分别存储在第一缓冲器120和第二缓冲器130中的第八个图像610-1、610’-1的镜头位置信息与先前的图像610-2、610’-2相比较，来确定两个图像之间的相似度。例如，控制器150可以被配置为基于关于两个图像的镜头位置信息来确定镜头之间的距离差。响应于所确定的距离差小于预定的临界值，控制器150可以被配置为确定两个图像彼此相似。响应于所确定的距离差大于预定的临界值，控制器150可以被配置为确定两个图像彼此不同。
根据该示例，响应于确定两个图像不同，控制器150可以被配置为将第一缓冲器120和第二缓冲器130中两个图像被确定为不同的缓冲器的第八个图像检测为发生了事件的图像。
根据上述各种示例，控制器150可以被配置为检测发生了事件的图像。另外，如图所示，第二缓冲器130的第八个图像610’-1可以被检测为发生了事件的图像。这样，响应于检测到发生了事件的图像，控制器150可以被配置为提取与被检测为发生了事件的图像的第八个图像610’-1相邻的图像(第七个图像610’-2)。控制器150可以被配置为通过合成存储在第一缓冲器120中的第八个图像610-1和存储在第二缓冲器130中的第七个图像610’-2来产生合成图像。
在下文中，将在下面更详细地描述提供关于拍摄装置中的多个相机模块111、113的状态通知服务的操作。
图7A和图7B是示出了提供关于拍摄装置中的多个相机模块的状态通知服务的示例的图。
如图7A所示，拍摄装置可以将由第一相机模块111和第二相机模块113中的预定的第一相机模块产生的图像710确定并显示为实时图像。
在这种情况下，在接收拍摄命令之前，拍摄装置可以临时地将由第一相机模块111产生的多个图像存储在第一缓冲器120中，并且将由第二相机模块113产生的多个图像临时存储在第二缓冲器130中。
如上所述，当由第一相机模块111和第二相机模块113产生的多个图像临时存储在第一缓冲器120和第二缓冲器130中时，拍摄装置使用例如拍摄信息和关于存储在第一缓冲器120和第二缓冲器130中的多个图像中的每一个的图像信息中的至少一个，来分析存储在第一缓冲器120和第二缓冲器130中的多个图像。
响应于分析出存储在第二缓冲器130中的图像中的至少一个是发生了事件的图像，如图7B所示，拍摄装置可以将发生了事件的图像720确定并显示为实时图像。例如，拍摄装置可以显示关于包括异物721的图像720的实时图像。因此，用户能够基于所显示的实时图像识别他/她的手指覆盖了第二相机模块113的镜头的一部分，从而将手指移动到另一个位置，然后执行拍摄操作。
因此，响应于接收到拍摄命令，拍摄装置可以在第一相机模块111和第二相机模块113上不存在异物时拍摄图像或合成所拍摄的图像。
图8是示出了在拍摄中提供多个相机模块的状态通知服务的示例的图。
如以上结合图7A所述，拍摄装置可以将由第一相机模块111和第二相机模块113中的预定的第一相机模块111产生的图像710显示为实时图像。
在这种情况下，在接收拍摄命令之前，拍摄装置可以临时地将由第一相机模块111产生的多个图像存储在第一缓冲器120中，并且将由第二相机模块113产生的多个图像临时存储在第二缓冲器130中。
如上所述，当由第一相机模块111和第二相机模块113产生的多个图像临时存储在第一缓冲器120和第二缓冲器130中时，拍摄装置使用例如拍摄信息和关于存储在第一缓冲器120和第二缓冲器130中的多个图像中的每一个的图像信息中的至少一个，来分析存储在第一缓冲器120和第二缓冲器130中的多个图像。
响应于分析出存储在第二缓冲器130中的图像中的至少一个是发生了事件的图像，如图8所示，拍摄装置可以在主显示器141中显示实时图像810，并且可以在曲面辅助显示器143中显示关于存储在第二缓冲器130中的多个图像的事件UI 820，所述多个图像包括发生了事件的图像。在这种情况下，在曲面辅助显示器143中显示的事件UI可以是与存储在第二缓冲器130中的多个图像中的每一个相对应的缩略图图像。拍摄图像在主显示器141中显示实时图像810，并且在曲面辅助显示器143中显示与包括发生了事件的图像在内的、存储在第二缓冲器130中的多个图像相对应的缩略图图像。因此，用户能够基于显示在曲面辅助显示器143中的缩略图图像来识别他/她的手指覆盖了第二相机模块113的镜头的一部分，从而将手指移动到另一个位置，然后执行拍摄操作。
另外，例如，在显示在曲面辅助显示器143中的与多个图像相对应的缩略图图像中，拍摄装置可以对与发生了事件的图像相对应的缩略图图像应用高亮效果，但是不限于此。例如，在显示在曲面辅助显示器143中的与多个图像相对应的缩略图图像中，拍摄装置可以对与发生了事件的图像相对应的缩略图图像应用用户能够识别的各种事件效果。
如上所述，由于拍摄装置可以对与发生了事件的图像相对应的缩略图图像应用高亮效果，所以用户能够更直观地通过高亮的缩略图图像识别出他/她的手指覆盖了第二相机模块113的镜头的一部分。
图9A和图9B是示出了在拍摄中提供关于多个相机模块的状态通知服务的示例的图。
如图9A所示，拍摄装置可以将由第一相机模块111和第二相机模块113中的预定的第一相机模块111产生的图像910确定为实时图像，并通过主显示器141显示被确定为实时图像的图像。另外，拍摄装置可以通过曲面辅助显示器143显示事件UI 920，该事件UI 920关于在产生被确定为实时图像的图像的时刻由第二相机模块113产生的图像的直方图信息。
根据一个示例，响应于基于对由第二相机模块113产生的图像的分析而确定没有发生事件，拍摄装置可以通过曲面辅助显示器143例如以包括第一颜色在内的条形的形式显示关于直方图信息的事件UI920。
在接收拍摄命令之前，拍摄装置可以临时地将由第一相机模块111产生的多个图像存储在第一缓冲器120中，并且将由第二相机模块113产生的多个图像临时存储在第二缓冲器130中。
如上所述，当由第一相机模块111和第二相机模块113产生的多个图像临时存储在第一缓冲器120和第二缓冲器130中时，拍摄装置使用例如拍摄信息和关于存储在第一缓冲器120和第二缓冲器130中的多个图像中的每一个的图像信息中的至少一个，来分析存储在第一缓冲器120和第二缓冲器130中的多个图像。
响应于存储在第二缓冲器130中的图像中的至少一个被检测为发生了事件的图像，如图9B所示，拍摄装置可以通过曲面辅助显示器143显示颜色已经改变为与第一颜色不同的第二颜色的事件UI 920’。在这种情况下，拍摄装置可以提供以与第一颜色不同的第二颜色显示曲面辅助显示器143的显示区域的整个部分的事件UI 920’，或者提供以第二颜色显示曲面辅助显示器143的显示区域的一部分的事件UI920’。响应于以第二颜色显示曲面辅助显示器143的显示区域的一部分，拍摄装置可以基于发生了事件的图像的存储顺序来确定显示第二颜色的区域。
例如，响应于临时存储在第二缓冲器130中的图像中最近存储的图像被检测为发生了事件的图像，拍摄装置可以以第二颜色显示曲面辅助显示器143的右侧区域。
例如，用户能够基于显示在曲面辅助显示器143中的辅助区域20的颜色来识别他/她的手指覆盖了第二相机模块113的镜头的一部分，从而将手指移动到另一个位置，然后进行拍摄操作。响应于接收到拍摄命令，拍摄装置可以在第一相机模块111和第二相机模块113上不存在异物时拍摄图像或合成所拍摄的图像。
图10是示出了提供关于拍摄装置中的多个相机模块的状态通知服务的示例的图。
如图7A所示，拍摄装置可以将由第一相机模块111和第二相机模块113中的预定的第一相机模块111产生的图像710确定并显示为实时图像。
在这种情况下，在接收拍摄命令之前，拍摄装置可以临时地将由第一相机模块111产生的多个图像存储在第一缓冲器120中，并且将由第二相机模块113产生的多个图像临时存储在第二缓冲器130中。
如上所述，当由第一相机模块111和第二相机模块113产生的多个图像临时存储在第一缓冲器120和第二缓冲器130中时，拍摄装置使用例如拍摄信息和关于存储在第一缓冲器120和第二缓冲器130中的多个图像中的每一个的图像信息中的至少一个，来分析存储在第一缓冲器120和第二缓冲器130中的多个图像。
响应于分析出存储在第二缓冲器130中的图像中的至少一个是发生了事件的图像，如图10所示，拍摄装置在主显示器141的第一区域1010中显示实时图像，并且在第二区域1020中显示发生了事件的图像。另外，拍摄装置可以通过曲面辅助显示器143显示事件UI1030，该事件UI 1030包括关于在第一区域1010中显示的实时图像的拍摄信息和关于在第二区域1020中显示的发生了事件的图像的拍摄信息中的至少一个。
但是，该示例不限于此。例如，响应于存储在第二缓冲器130中的图像中的至少一个被检测为发生了事件的图像，拍摄装置可以在屏幕的一个区域中显示实时图像，并在屏幕的另一区域中显示发生了事件的图像。另外，响应于存储在第二缓冲器130中的图像中的至少一个被检测为发生了事件的图像，拍摄装置可以在显示实时图像的区域的特定部分中显示关于发生了事件的图像的拍摄信息。
另外，如结合图8、图9A和图9B所示，响应于检测到发生了事件的图像，拍摄装置可以在主显示器141中显示实时图像，并且可以在曲面辅助显示器143中显示关于发生了事件的图像的缩略图图像或者直方图信息。在这种情况下，拍摄装置可以在主显示器141的特定区域中显示关于发生了事件的图像的图像信息和拍摄信息中的至少一个，同时在曲面辅助显示器143中显示关于发生了事件的图像的缩略图图像或直方图信息。
根据上述各种示例，用户能够基于拍摄信息再次对第二相机模块113执行自动对焦，然后执行拍摄操作。
图11是示出了提供关于拍摄装置中的多个相机模块的状态通知服务的示例的图。
如图7A所示，拍摄装置可以将由第一相机模块111和第二相机模块113中的预定的第一相机模块111产生的图像1120确定并显示为实时图像。
在这种情况下，在接收拍摄命令之前，拍摄装置可以临时地将由第一相机模块111产生的多个图像存储在第一缓冲器120中，并且将由第二相机模块113产生的多个图像临时存储在第二缓冲器130中。
如上所述，当由第一相机模块111和第二相机模块113产生的多个图像临时存储在第一缓冲器120和第二缓冲器130中时，拍摄装置使用例如拍摄信息和关于存储在第一缓冲器120和第二缓冲器130中的多个图像中的每一个的图像信息中的至少一个，来分析存储在第一缓冲器120和第二缓冲器130中的多个图像。
响应于分析出存储在第二缓冲器130中的图像中的至少一个是发生了事件的图像，拍摄装置可以将事件发生相关信息发送到能够与拍摄装置进行数据通信的邻近终端装置。如图所示，能够与拍摄装置进行数据通信的邻近终端装置例如可以是佩戴在用户手腕上的智能手表1110。
响应于存储在第二缓冲器130中的图像中的至少一个被检测为发生了事件的图像，拍摄装置可以将事件发生相关信息发送到智能手表1110。因此，智能手表1110可以基于从拍摄装置接收的事件发生相关信息提供关于第二相机模块113的状态通知服务。根据一个示例，智能手表1110可以基于从拍摄装置接收到的事件发生相关信息，通过通知服务(例如，振动反馈、消息报警反馈、嘟嘟声反馈、灯报警反馈等)来通知可能异常地执行了第二相机模块113的拍摄操作。
因此，用户能够通过戴在他/她的手腕上的智能手表1110所提供的通知服务来识别他/她的手指覆盖了第二相机模块113的镜头的一部分，从而将手指移动到另一个位置，然后执行拍摄操作。响应于从用户接收到拍摄命令，拍摄装置可以在第一相机模块111和第二相机模块113上不存在异物时拍摄图像或合成所拍摄的图像。
以上已经描述了本公开的拍摄装置的操作。在下文中，将提供根据示例的用于控制拍摄装置的示例方法的描述。
图12是示出了用于控制拍摄装置的示例方法的流程图。
如图12所示，响应于由多个相机模块(例如，第一相机模块和第二相机模块)中的至少一个产生了图像，在操作S1210中，拍摄装置在屏幕中显示所产生的图像。在接收到与拍摄操作相关的命令之前，在操作S1220中，拍摄装置将由第一相机模块和第二相机模块中的至少一个产生的图像存储在缓冲器中。
例如，响应于由多个相机模块产生图像，拍摄装置可以将由所述多个相机模块中的第一相机模块产生的图像显示为实时图像。另外，在接收到与拍摄操作相关的命令之前，拍摄装置将由第一相机模块产生的多个图像临时存储在第一缓冲器中。另外，在接收到与拍摄操作相关的命令之前，拍摄装置将由第二相机模块产生的多个图像临时存储在第二缓冲器中。
在这种情况下，可能希望的是，拍摄装置基于时间顺序将由第一和第二相机模块产生的图像临时存储在第一和第二缓冲器中。另外，可能希望的是，拍摄装置匹配并存储拍摄信息和关于由第一和第二相机模块产生的每个图像的图像信息中的至少一个。在这种情况下，图像信息可以包括例如图像的亮度信息、直方图信息和像素信息中的至少一个，并且拍摄信息可以包括与产生图像相关的每个相机模块中的用于自动对焦的镜头位置信息、相位差信息、以及对比度信息中的至少一个。
拍摄装置在操作S1230中通过使用关于存储在第一和第二缓冲器中的每个图像的图像信息以及第一和第二相机模块的拍摄信息中的至少一个来分析存储在第一和第二缓冲器中的图像，并且确定是否存在发生了事件的图像。响应于根据判断结果将存储在第一和第二缓冲器中的图像中的至少一个检测为发生了事件的图像，拍摄装置在操作S1240和S1250中提供与发生了事件的图像有关的相机模块的状态通知服务。
例如，响应于基于拍摄信息和存储在第一和第二缓冲器中的每个图像的图像信息中的至少一个确定出存储在第二缓冲器中的图像中发生了事件，拍摄装置提供与发生了事件的图像相关的第二相机模块的状态通知服务。
在这种情况下，发生了事件的图像可以是当第二相机模块的一部分或整个部分被异物(例如，手指)覆盖时由第二相机模块产生的图像，或者与存储在第二缓冲器中的其他图像不同的自动对焦图像。
根据一个示例，响应于检测到发生了事件的图像，拍摄装置可以将关于由第一相机模块产生的图像的实时图像转换为发生了事件的图像并进行显示。
根据另一示例，响应于检测到发生了事件的图像，拍摄装置可以在屏幕的第一区域中显示关于由第一相机模块产生的图像的实时图像，并且在屏幕的第二区域中显示关于发生了事件的图像的事件UI。例如，第一区域可以是通过主显示器显示的区域，第二区域可以是通过从主显示器沿特定方向延伸的曲面辅助显示器显示的区域。
例如，响应于检测到发生了事件的图像，拍摄装置可以在通过主显示器显示的第一区域中显示关于由第一相机模块产生的图像的实时图像，并在通过例如曲面辅助显示器显示的第二区域中显示发生了事件的图像，即关于由第二相机模块产生的图像的事件UI。在这种情况下，事件UI例如可以是用于提供关于包括发生了事件的图像在内的第二缓冲器中的图像的缩略图图像的UI、或用于提供关于第二缓冲器中的图像的直方图信息的UI。
根据另一示例，响应于检测到发生了事件的图像，拍摄装置可将事件发生相关信息发送到能够与拍摄装置进行通信的邻近终端装置(未示出)。因此，邻近终端装置(未示出)可以基于从拍摄装置接收到的事件发生相关信息，提供关于第二相机模块的状态通知服务。根据一个示例，邻近终端装置(未示出)可以基于从拍摄装置接收到的事件发生相关信息，通过通知服务(例如，振动反馈、消息报警反馈、嘟嘟声反馈、灯报警反馈等)来通知可能异常地执行了第二相机模块的拍摄操作。
根据以上描述的各种示例，用户能够识别他/她的手指覆盖了第二相机模块的镜头的一部分或整个部分，从而将手指移动到另一个位置，然后执行拍摄操作。
响应于接收到与拍摄操作有关的命令，拍摄装置可以在操作S1260中在第一和第二相机模块上不存在异物时拍摄图像或合成所拍摄的图像。
下面将提供根据示例的用于从由拍摄装置中的第一和第二相机模块产生的图像来产生合成图像的方法的更加详细的描述。
图13是示出了用于从拍摄装置中的多个相机模块中产生的图像来产生合成图像的示例方法的流程图。
如图13所示，拍摄装置可以在存储在第一和第二缓冲器中的图像中的至少一个已经被检测为发生了事件的图像时接收合成相关的拍摄命令。在这种情况下，在操作S1310中，拍摄装置在存储在第一和第二缓冲器中的图像当中，从发生了事件的图像之外选择要合成的图像。响应于存储在第二缓冲器中的图像中的一个被检测为发生了事件的图像，拍摄装置可以选择与被检测为发生了事件的图像相邻的图像作为要合成的图像。
响应于选择了要合成的图像，拍摄装置可以在操作S1320中基于在接收到合成命令的时刻存储在第一缓冲器中的图像与从第二缓冲器中选择的图像之间的视差来检测遮挡区域。拍摄装置在操作S1330中确定检测到的遮挡区域的量是否大于预定临界值。响应于确定检测到的遮挡区域的量大于预定临界值，拍摄装置在操作S1340中从在接收到合成命令的时刻存储在第一缓冲器中的图像和从第二缓冲器中选择的图像中选择一个图像，并且显示所选择的图像。
响应于确定检测到的遮挡区域的量小于预定临界值，拍摄装置在操作S1350中基于如下信息来确定是否能够产生合成图像：关于在接收到合成相关用户命令的时刻存储在第一缓冲器中的图像和从第二缓冲器中选择的图像中的每个图像的对焦信息、以及与用户命令相对应的特写拍摄信息。在这种情况下，第一相机模块可以包括广角镜头，第二相机模块可以包括长焦镜头。因此，可拍摄的对焦距离可以根据每个模块的镜头的特性，不同地应用于第一相机模块和第二相机模块。
因此，拍摄装置可以基于如下信息来确定是否产生合成图像：关于在接收到合成命令的时刻存储在第一缓冲器中的图像和从第二缓冲器中选择的图像中的每个图像的对焦信息、以及与命令相对应的特写拍摄信息。响应于确定关于在接收到合成相关用户命令的时刻存储在第一缓冲器中的图像和从第二缓冲器中选择的图像的合成操作是可用的，拍摄装置在操作S1360和S1370中从这两个图像产生合成图像并显示该合成图像。
响应于确定合成操作不可用，拍摄装置基于以上描述的操作S1340从在接收到合成命令的时刻存储在第一缓冲器中的图像和从第二缓冲器中选择的图像中选择一个图像，并且显示所选择的图像。
根据以上描述的各种示例实施例的拍摄装置及其控制方法可以在提供给显示装置的程序中实现。例如，包括便携式终端装置和控制方法的程序可以被存储并提供在非暂时性计算机可读介质中。
非暂时性计算机可读介质可以包括半永久性存储数据的机器可读介质。例如，可以将上述多种应用或程序存储并提供在非暂时性计算机可读介质中，诸如紧凑盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡和只读存储器(ROM)等。
如上所述，已经说明和描述了各种示例。以上示例和优点仅是示例性的，不应解释为限制实施例。本教导易于应用于其他类型的设备。此外，示例的描述意图是示意性的，而不限制权利要求的范围，并且许多备选、修改和变化对于本领域技术人员而言将是明显的。

Claims (15)

1.一种拍摄装置，包括：
多个相机模块；
第一缓冲器，被配置为存储由所述多个相机模块中的第一相机模块产生的多个图像；
第二缓冲器，被配置为存储由所述多个相机模块中的第二相机模块产生的多个图像；
显示器，被配置为将由所述第一相机模块产生的图像显示为实时图像；以及
控制器，被配置为使用存储在所述第一缓冲器和所述第二缓冲器中的每个图像的图像信息和所述多个相机模块的拍摄信息中的至少一个来分析存储在所述第一缓冲器和所述第二缓冲器中的图像，并且响应于在存储在所述第二缓冲器中的所述多个图像中的至少一个中发生了事件，控制所述显示器提供关于所述第二相机模块的状态通知服务。
2.根据权利要求1所述的装置，其中，响应于检测到发生了事件的图像，所述控制器被配置为控制所述显示器将发生了事件的图像转换为实时图像并进行显示。
3.根据权利要求1所述的装置，其中，所述显示器包括：
主显示器；以及
曲面辅助显示器，被配置为从所述主显示器延伸，
其中，响应于检测到发生了事件的图像，所述控制器被配置为控制所述显示器在所述主显示器中显示所述实时图像，并且在所述曲面辅助显示器中显示关于发生了事件的图像的事件用户界面UI。
4.根据权利要求1所述的装置，还包括：
通信电路，被配置为执行与邻近终端装置的数据通信，
其中，响应于检测到发生了事件的图像，所述控制器被配置为控制所述通信电路向所述邻近终端装置发送事件发生相关信息。
5.根据权利要求1所述的装置，其中，所述图像信息包括以下至少一项：图像的亮度信息、直方图信息和像素信息，
其中，所述拍摄信息包括以下至少一项：所述多个相机模块中的至少一个相机模块的用于自动对焦的镜头位置信息、相位差信息和对比度信息，
其中，所述第一缓冲器和所述第二缓冲器对所述拍摄信息和每个图像的所述图像信息进行匹配和存储。
6.根据权利要求5所述的装置，其中，发生了事件的图像是以下至少一项：当所述第二相机模块的至少一部分与异物重叠时产生的图像、以及与存储在所述第一缓冲器或所述第二缓冲器中的其他图像不同的自动对焦图像。
7.根据权利要求1所述的装置，其中，所述控制器被配置为从存储在所述第一缓冲器和所述第二缓冲器中的图像产生合成图像，并且控制所述显示器显示所产生的合成图像，并且
响应于检测到发生了事件的图像，所述控制器被配置为从存储在所述第一缓冲器中的图像当中的与所述发生了事件的图像相邻的图像、和存储在所述第二缓冲器中的图像产生合成图像。
8.根据权利要求7所述的装置，其中，所述控制器被配置为基于存储在所述第一缓冲器和所述第二缓冲器中的每个图像的视差来检测遮挡区域，并且基于检测到的所述遮挡区域的量是否大于预定临界值来确定是否产生所述合成图像。
9.根据权利要求7所述的装置，其中，所述第一相机模块包括广角镜头，所述第二相机模块包括长焦镜头，以及
其中，所述控制器被配置为基于所述第一相机模块和所述第二相机模块中的每一个的对焦信息以及与命令相对应的特写拍摄信息来确定是否产生所述合成图像。
10.一种用于控制具有多个相机模块的拍摄装置的方法，包括：
将由所述多个相机模块中的第一相机模块产生的图像显示为实时图像；
将由所述第一相机模块产生的图像存储在第一缓冲器中，并将由所述多个相机模块中的第二相机模块产生的图像存储在第二缓冲器中；
使用以下至少一项来分析存储在所述第一缓冲器和所述第二缓冲器中的图像：存储在所述第一缓冲器和所述第二缓冲器中的每个图像的图像信息和所述多个相机模块的拍摄信息；以及
响应于存储在所述第二缓冲器中的多个图像中的至少一个图像中发生了事件，提供关于所述第二相机模块的状态通知服务。
11.根据权利要求10所述的方法，其中，响应于检测到发生了事件的图像，所述提供包括将发生了事件的图像转换为实时图像并进行显示。
12.根据权利要求10所述的方法，其中，响应于检测到发生了事件的图像，所述提供包括在主显示器中显示所述实时图像，并且在从所述主显示器延伸的曲面辅助显示器中显示关于发生了事件的图像的事件用户界面UI。
13.根据权利要求10所述的方法，其中，响应于检测到发生了事件的图像，所述提供包括向邻近终端装置发送事件发生相关信息。
14.根据权利要求10所述的方法，其中，所述图像信息包括以下至少一项：图像的亮度信息、直方图信息和像素信息，
其中，所述拍摄信息包括以下至少一项：所述多个相机模块中的至少一个相机模块的用于自动对焦的镜头位置信息、相位差信息和对比度信息，
其中，所述第一缓冲器和所述第二缓冲器对所述拍摄信息和每个图像的所述图像信息进行匹配和存储。
15.根据权利要求14所述的方法，其中，发生了事件的图像是以下至少一项：当所述第二相机模块的至少一部分与异物重叠时产生的图像、以及与存储在所述第一缓冲器或所述第二缓冲器中的其他图像不同的自动对焦图像。
CN201680047437.8A 2015-08-17 2016-03-17 拍摄装置及其控制方法 Active CN107925729B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0115540 2015-08-17
KR1020150115540A KR102327842B1 (ko) 2015-08-17 2015-08-17 촬영 장치 및 그 제어 방법
PCT/KR2016/002703 WO2017030262A1 (en) 2015-08-17 2016-03-17 Photographing apparatus and method for controlling the same

Publications (2)

Publication Number Publication Date
CN107925729A true CN107925729A (zh) 2018-04-17
CN107925729B CN107925729B (zh) 2021-01-05

Family

ID=58052233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680047437.8A Active CN107925729B (zh) 2015-08-17 2016-03-17 拍摄装置及其控制方法

Country Status (5)

Country Link
US (1) US9848128B2 (zh)
EP (1) EP3338445B1 (zh)
KR (1) KR102327842B1 (zh)
CN (1) CN107925729B (zh)
WO (1) WO2017030262A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248101A (zh) * 2019-07-19 2019-09-17 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN113315940A (zh) * 2021-03-23 2021-08-27 海南视联通信技术有限公司 一种视频通话方法、装置及计算机可读存储介质
CN114967280A (zh) * 2019-08-06 2022-08-30 苹果公司 具有用于为横向移动提供缓冲的缓冲器的相机
US11928797B2 (en) 2018-10-24 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and method for acquiring a synthesized image
US11933599B2 (en) 2018-11-08 2024-03-19 Samsung Electronics Co., Ltd. Electronic device and method for controlling same

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989647B (zh) * 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
KR102401659B1 (ko) * 2017-03-23 2022-05-25 삼성전자 주식회사 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
KR102679543B1 (ko) 2019-12-09 2024-07-01 삼성전자 주식회사 디스플레이의 지정된 영역에 표시를 변경하는 전자 장치 및 이의 동작 방법
US11451694B1 (en) * 2021-03-16 2022-09-20 International Business Machines Corporation Mitigation of obstacles while capturing media content
JP2022188987A (ja) * 2021-06-10 2022-12-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572775A (zh) * 2008-05-03 2009-11-04 奥林巴斯映像株式会社 图像记录再现装置及图像记录再现方法
US20110080494A1 (en) * 2009-10-02 2011-04-07 Sanyo Electric Co., Ltd. Imaging apparatus detecting foreign object adhering to lens
US20110187886A1 (en) * 2010-02-04 2011-08-04 Casio Computer Co., Ltd. Image pickup device, warning method, and recording medium
US20120013708A1 (en) * 2010-07-14 2012-01-19 Victor Company Of Japan, Limited Control apparatus, stereoscopic image capturing apparatus, and control method
US20130128072A1 (en) * 2010-09-08 2013-05-23 Nec Corporation Photographing device and photographing method
CN104618627A (zh) * 2014-12-31 2015-05-13 小米科技有限责任公司 视频处理方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187322A1 (en) * 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7551754B2 (en) * 2006-02-24 2009-06-23 Fotonation Vision Limited Method and apparatus for selective rejection of digital images
US20090262125A1 (en) * 2008-04-18 2009-10-22 Vasanth Swaminathan Rendering A Multiple Viewpoint Image Into A Single Frame Buffer Using Off-Screen Rendering Surfaces
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
US9204026B2 (en) * 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
US8451344B1 (en) * 2011-03-24 2013-05-28 Amazon Technologies, Inc. Electronic devices with side viewing capability
JP2013162348A (ja) 2012-02-06 2013-08-19 Nikon Corp 撮像装置
KR20140060760A (ko) 2012-11-12 2014-05-21 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
KR101954192B1 (ko) 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
US9247223B2 (en) * 2013-01-25 2016-01-26 Blackberry Limited Reduce operating environment effect using multiple cameras
KR102070776B1 (ko) * 2013-03-21 2020-01-29 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
DE102013103971A1 (de) 2013-04-19 2014-11-06 Sensovation Ag Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
KR102031142B1 (ko) * 2013-07-12 2019-10-11 삼성전자주식회사 영상 디스플레이를 제어하는 전자 장치 및 방법
KR20150093013A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 사용자 단말 장치, 디스플레이 장치 및 그 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572775A (zh) * 2008-05-03 2009-11-04 奥林巴斯映像株式会社 图像记录再现装置及图像记录再现方法
US20110080494A1 (en) * 2009-10-02 2011-04-07 Sanyo Electric Co., Ltd. Imaging apparatus detecting foreign object adhering to lens
US20110187886A1 (en) * 2010-02-04 2011-08-04 Casio Computer Co., Ltd. Image pickup device, warning method, and recording medium
US20120013708A1 (en) * 2010-07-14 2012-01-19 Victor Company Of Japan, Limited Control apparatus, stereoscopic image capturing apparatus, and control method
US20130128072A1 (en) * 2010-09-08 2013-05-23 Nec Corporation Photographing device and photographing method
CN104618627A (zh) * 2014-12-31 2015-05-13 小米科技有限责任公司 视频处理方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928797B2 (en) 2018-10-24 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and method for acquiring a synthesized image
US11933599B2 (en) 2018-11-08 2024-03-19 Samsung Electronics Co., Ltd. Electronic device and method for controlling same
CN110248101A (zh) * 2019-07-19 2019-09-17 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110248101B (zh) * 2019-07-19 2021-07-09 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN114967280A (zh) * 2019-08-06 2022-08-30 苹果公司 具有用于为横向移动提供缓冲的缓冲器的相机
CN114967280B (zh) * 2019-08-06 2024-03-15 苹果公司 具有用于为横向移动提供缓冲的缓冲器的相机
CN113315940A (zh) * 2021-03-23 2021-08-27 海南视联通信技术有限公司 一种视频通话方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN107925729B (zh) 2021-01-05
EP3338445A4 (en) 2018-08-29
US20170054911A1 (en) 2017-02-23
EP3338445B1 (en) 2022-11-23
WO2017030262A1 (en) 2017-02-23
KR102327842B1 (ko) 2021-11-18
KR20170021125A (ko) 2017-02-27
US9848128B2 (en) 2017-12-19
EP3338445A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
CN107925729A (zh) 拍摄装置及其控制方法
CN105245640B (zh) 移动终端及其控制方法
EP3172894B1 (en) Image photographing apparatus and image photographing method
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
US9584713B2 (en) Image capturing apparatus capable of specifying an object in image data based on object detection, motion detection and/or object recognition, communication apparatus communicating with image capturing apparatus, and control method therefor
CN105075237A (zh) 图像处理设备、图像处理方法和程序
CN101325658A (zh) 成像设备、成像方法和计算机程序
CN101355631A (zh) 图像处理装置及数字式照相机
US8576320B2 (en) Digital photographing apparatus and method of controlling the same
US9207768B2 (en) Method and apparatus for controlling mobile terminal using user interaction
US9635235B2 (en) Communication apparatus and control method thereof
CN108353129B (zh) 拍摄设备及其控制方法
CN103024262A (zh) 显示设备和方法
TW201301131A (zh) 影像處理裝置及方法，以及程式
EP2955641A1 (en) Apparatus and method of providing thumbnail image of moving picture
US20160381281A1 (en) Image capture control apparatus and control method of the same
TW201301130A (zh) 影像處理設備及方法和電腦程式產品
CN108780474B (zh) 服务提供系统、服务递送系统、服务提供方法和记录介质
US20100033582A1 (en) Method and apparatus for controlling thumbnail display and digital photographing apparatus
EP3739864A1 (en) Electronic apparatus, control method of electronic apparatus, program, and computer readable medium
EP3599763A2 (en) Method and apparatus for controlling image display
JP6387700B2 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
CN111078085B (zh) 信息处理设备、信息处理设备的控制方法及存储介质
US10217196B2 (en) Image processing apparatus having image refocusing function, control method for image processing apparatus, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant