CN109076159B - 电子设备及其操作方法 - Google Patents

电子设备及其操作方法 Download PDF

Info

Publication number
CN109076159B
CN109076159B CN201780021199.8A CN201780021199A CN109076159B CN 109076159 B CN109076159 B CN 109076159B CN 201780021199 A CN201780021199 A CN 201780021199A CN 109076159 B CN109076159 B CN 109076159B
Authority
CN
China
Prior art keywords
image
display
motion
electronic device
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780021199.8A
Other languages
English (en)
Other versions
CN109076159A (zh
Inventor
N-W.韩
孙琦炯
李京俊
H.李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109076159A publication Critical patent/CN109076159A/zh
Application granted granted Critical
Publication of CN109076159B publication Critical patent/CN109076159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

提供了一种电子设备。该电子设备包括相机、显示器、与相机和显示器电耦接的处理器以及与处理器电连接的存储器。存储器被配置为存储指令，所述指令在被执行时指令处理器在接收到拍摄请求信号时估计由相机获取的图像内的对象的运动；当未识别出图像内的对象的运动时，控制相机通过应用第一拍摄条件捕获第一类型图像；并且当识别出相机获取的图像内的对象的运动时，控制相机以通过应用第二拍摄条件捕获第二类型图像。

Description

电子设备及其操作方法
技术领域
本公开涉及能够捕获图像的电子设备及其操作。
背景技术
近来，随着数字技术的发展，各种类型的电子设备被广泛使用，诸如移动通信终端、智能电话、平板个人计算机(PC)、个人数字助理(PDA)、电子记事本、笔记本电脑、可穿戴设备等。电子设备已达到移动融合阶段，此阶段中甚至将其他设备的功能集合在一起。
电子设备可以是具有图像传感器的成像设备。成像设备可以通过用户的选择来获取图像。
以上信息仅作为背景信息呈现以帮助理解本公开。没有做出任何确定，并且没有断言上述任何一个是否可用作本公开的现有技术。
发明内容
技术方案
上述电子设备可以以各种方法获取图像。
图像获取方法可以通过用户的选择来捕获图像。然而，如果对象移动，则电子设备的用户可能发现难以拍摄对象的自然动作。例如，如果对象做出意外动作，则用户可能发现在对象执行相应动作时难以对其拍摄。
本公开各方面旨在解决至少上述问题和/或缺点，并提供至少下述优点。因此，本公开一方面提供一种电子设备及其操作方法，能够基于用户的选择和设备的拍摄状态识别来拍摄图像。
本公开另一方面提供一种电子设备及其操作方法，能够基于用户的选择和对象的运动来拍摄图像。
本公开另一方面提供一种电子设备及其操作方法，能够基于用户的选择、对象的运动和设备的运动来拍摄图像。
本公开另一方面提供一种电子设备及其操作方法，能够基于用户的选择、对象的运动、设备的运动、对象(例如人)的情绪变化等来拍摄图像。
根据本公开一方面，提供一种电子设备。该电子设备包括相机、显示器、与相机和显示器电耦接的处理器以及与处理器电耦接的存储器。存储器被配置为存储指令，当指令被执行时指令处理器：在接收到拍摄请求信号时估计由相机获取的图像内的对象的运动；当未识别出相机捕获的图像内对象的运动时控制相机以通过应用第一拍摄条件来捕获第一类型图像；而当识别出由相机获取的图像内的对象的运动时，控制相机以通过应用第二拍摄条件来捕获第二类型图像。
根据本发明另一方面，提供一种电子设备的方法。该方法包括：当接收到拍摄请求信号时，估计由相机获取的图像内的对象的运动；当未被识别出由相机获取的图像内的对象的运动时，控制相机以通过应用第一拍摄条件来捕获第一类型图像；而当识别出由相机获取的图像内的对象的运动时，控制相机以通过应用第二拍摄条件来捕获第二类型图像。
通过以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显着特征对于本领域技术人员将变得清楚。
附图说明
通过以下结合附图的描述，本公开的某些实施例的以上和其他方面、特征和优点将更加明显，其中：
图1是示出根据本公开一实施例的电子设备的结构的图；
图2是示出根据本公开一实施例的相机模块的结构的图；
图3是示出根据本公开一实施例的在电子设备中捕获图像的设备的结构的图；
图4A、4B和4C是示出在根据本公开各种实施例的电子设备中执行用户设备拍摄模式时的显示示例的图；
图5A、5B、5C、5D、5E和5F是示出在根据本公开各种实施例的电子设备中具有单个显示器的屏幕显示的示图；
图6A和6B是示出在根据本公开各种实施例的电子设备中的双显示器的屏幕显示示例的图；
图7是示出在根据本公开一实施例的电子设备中获取图像的设备的另一结构的图；
图8是示出在根据本公开一实施例的电子设备中拍摄图像的操作的流程图；
图9是示出在根据本公开一实施例的电子设备中处理捕获图像的操作的流程图；
图10是示出在根据本公开一实施例的电子设备中显示拍摄图像的操作的流程图；
图11是示出在根据本公开一实施例的电子设备中拍摄图像的操作的流程图；和
图12是示出在根据本公开一实施例的电子设备中拍摄图像的操作的流程图。
贯穿附图，应该注意相同的附图标记用于描绘相同或相似的元件、特征和结构。
具体实施方式
提供以下参考附图的描述以帮助全面理解由权利要求及其等同限定的本公开的各种实施例。它包括各种特定细节以帮助理解，但这些仅被视为示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对在此描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，对于本领域技术人员来说应当清楚，提供下列对本公开的各种实施例的描述仅出于说明目的，而不是出于限制由所附权利要求及其等同限定的本公开的目的。
应当理解，除非上下文另有明确规定，否则单数形式“一”、“一个”和“该”包括复数指代。因此，例如，对“一个组件表面”的指代包括对一个或多个这样的表面的指代。
根据本公开各种实施例的电子设备可以例如包括智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书(e-电子书)阅读器、台式PC、膝上型PC、上网本电脑、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、相机或可穿戴设备中的至少之一。
以下参考附图描述根据各种实施例的电子设备。在本文件中，术语“用户”可以表示使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。在本公开的各种实施例中，电子设备包括图像传感器，并且可以是能够通过图像传感器获取图像的成像设备。
图1是示出根据本公开一实施例的电子设备的结构的图。
参见图1，电子设备10可以包括处理器100、存储器110、相机模块120、传感器模块130、输入模块140和/或显示器150。在一个实施例中，电子设备10可以省略至少一个构成元件或额外地具有其它构成元件。
处理器100可以包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或多个。处理器100可以例如根据电子设备10的至少一个其它构成元件的控制和/或应用执行来执行操作或数据处理。
根据本公开各种实施例的处理器100可以包括图像信号处理器(ISP)、对象运动估计模块、设备运动检测模块、情绪识别模块、图像控制模块、显示处理模块等。在本公开的各种实施例中，处理器100可以执行获取图像的拍摄应用。根据本公开各种实施例的电子设备10可以执行能够由用户和/或电子设备10拍摄图像的应用(在下文中，称为“用户设备拍摄应用”)。
在一个实施例中，如果执行用户设备拍摄应用，则处理器100可以估计图像内的对象的运动。处理器100可以基于用户的选择和/或对象的运动来执行捕获图像的功能。
在一个实施例中，处理器100可以估计图像内的对象的运动，并且可以检测电子设备10的运动。处理器100可以设置作为拍摄条件的其中检测到对象的运动的状态和/或其中检测到电子设备10的运动的状态。处理器100可以基于用户的选择或设置的拍摄条件来执行捕获图像的功能。
在一个实施例中，处理器100可以估计图像内的对象的运动，并且可以检测电子设备10的运动，并且可以识别图像内的对象(例如，人)的情绪。处理器100可以设置作为拍摄条件的状态，在该状态中识别出对象的运动或者检测到电子设备10的运动或者识别出对象的情绪变化。处理器100可以基于用户的选择或设置的拍摄条件来执行捕获图像的功能。
存储器110可以包括易失性和/或非易失性存储器。存储器110可以存储与电子设备的至少一个其它构成元件相关的命令或数据。存储器110可以存储软件和/或程序。该程序可以例如包括内核、中间件、应用程序编程接口(API)、应用程序(或“应用”)等。内核、中间件或API中的至少一些可以称为操作系统(OS)。根据本公开各种实施例的存储器110可以存储用于执行用户设备拍摄应用的软件和/或程序，并且可以包括缓冲和存储捕获图像的存储器(或缓冲器)。
传感器模块130可以计量电子设备10的物理量并感测其激活状态，并将计量或感测的信息转换为电信号。传感器模块130可以包括能够感测电子设备10的运动的加速度传感器和/或陀螺仪传感器。加速度传感器可以感测电子设备10的水平和/或垂直运动，陀螺仪传感器可以感测电子设备10的旋转运动。
传感器模块130还可包括手势传感器、气压计、磁传感器、握持传感器、接近传感器、颜色传感器(例如，红色、绿色、蓝色(RGB)传感器)、医疗传感器、温度-湿度传感器、照度传感器、紫外(UV)传感器或感测电子设备10的弯曲的柔性感测传感器中至少之一。
附加地或替代地，传感器模块130还可以包括用于控制属于其中的至少一个或多个传感器的控制电路。在一些实施例中，电子设备10还可以包括作为处理器100的一部分或者与处理器100分开的被配置为控制传感器模块130的处理器(例如，低功率处理器)，以便在处理器100处于睡眠状态时电子设备10可以控制传感器模块130。
相机模块120是例如能够拍摄静止图像和运动图像的设备。根据一实施例，相机模块120可包括一个或多个图像传感器(例如，电荷耦合器件(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器)、透镜单元、图像处理模块(即图像信号处理器(ISP))或闪光灯(例如，发光二极管(LED)、氙灯等)。ISP也可以包括在处理器100中。在本公开各种实施例中，将通过其中图像处理模块(即，ISP模块)包括在处理器100中的示例进行描述。
根据本公开各种实施例，相机模块120可以基于处理器100的控制来拍摄图像。相机模块120可以在处理器100的控制下控制拍摄间隔时间和/或曝光时间。
输入模块140可以包括触摸板、(数字)笔传感器、键或超声输入单元中的至少一个。触摸板可以采用(使用)电容覆盖方案、压敏方案、红外光束方案或超声方案中的至少一种方案。而且，触摸板还可以包括控制电路。触摸板还可以包括触觉层以向用户提供触觉响应。根据本公开各种实施例的触摸板可以包括压力传感器功能。(数字)笔传感器可以是触摸板的一部分或包括用于识别的单独的片。键可以包括物理按钮、光学键或键盘。超声波输入单元可以通过麦克风感测在输入工具中产生的超声波，并且检查与感测的超声波相对应的数据。
显示器150可包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器150可以为用户显示各种屏幕(例如，文本、图像、视频、图标、符号等)。
输入模块140和显示器150可以被构造为单件式触摸屏。触摸屏可以在处理器100的控制下显示屏幕，并且可以检测使用电子笔或用户身体的一部分的触摸、手势、接近度或悬停输入。
除了图1的结构之外，电子设备10还可以包括其它模块。例如，电子设备10可以是还包括通信模块的移动通信设备(例如，智能电话等)。通信模块可以包括无线通信模块和有线通信模块。无线通信模块可以包括蜂窝通信模块和短程通信模块。
蜂窝通信模块可以使用长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等中的至少之一。蜂窝通信模块可以例如通过电信网络提供语音电话、视频电话、文本服务、因特网服务等。根据一实施例，蜂窝通信模块可以使用订户识别模块(例如，订户识别模块(SIM)卡)来执行电信网络内的电子设备10的区分和认证。根据一实施例，蜂窝通信模块可以执行处理器100可以提供的功能中的至少一些功能。根据一实施例，蜂窝通信模块可以包括通信处理器(CP)。
短距离通信模块可以包括Wi-Fi、蓝牙(BT)、近场通信(NFC)、磁安全传输(MST)、全球导航卫星系统(GNSS)、全球定位系统(GPS)中的至少一种。MST可以使用电磁信号，以根据传输数据产生脉冲。脉冲可以产生磁场信号。电子设备10可以将磁场信号发送到销售点(POS)。通过MST读取器检测磁场信号并将检测到的磁场信号转换成电信号，POS可以恢复数据。根据使用区域、带宽等，GNSS可以例如包括GPS、全球导航卫星系统(Glonass)、北斗导航卫星系统(以下称“北斗”)、伽利略或欧洲全球卫星导航系统中的至少之一。下面，“GPS”可以与“GNSS”互换使用。
有线通信模块可以例如包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准-232(RS-232)、普通老式电话服务(POTS)等中的至少一种。
在下面描述的本公开各种实施例中，电子设备10可以包括图像传感器，并且可以是能够处理通过图像传感器获取的图像的成像设备。例如，在本公开各种实施例中，电子设备10可以包括利用AP、CP、图形处理单元(GPU)、中央处理单元(CPU)等的各种处理器中的一个或多个的所有设备，诸如所有信息通信设备、多媒体设备、可穿戴设备和用于以上设备的所应用的设备，这些设备支持根据本公开各种实施例的功能。
在下面描述的本公开各种实施例中，描述硬件访问方法作为示例。然而，本公开各种实施例包括使用硬件和软件中的所有的技术，因此本公开各种实施例不排除基于软件的访问方法。
根据本公开各种实施例的电子设备10包括相机模块。电子设备10可以根据用户的选择和/或电子设备10或对象的状态来控制相机模块，以捕获图像。例如，电子设备10可以通过用户的选择来捕获图像。此外，如果估计出图像内的对象的运动或者检测到电子设备10的运动或者识别出图像内的对象的情绪变化，则电子设备10可以自动捕获图像。
图2是示出根据本公开一实施例的相机模块的结构的图。相机模块20可以是图1中的相机模块120。
参见图2，相机模块20可包括定时控制单元210、图像传感器200、致动器250和镜头单元260。图像传感器200可包括行驱动器220、像素阵列230和列驱动器240。
镜头单元260可以执行对外部光信号进行成像的操作。致动器250可以在处理器的控制下控制镜头单元260。例如，镜头单元260可以基于致动器250的驱动而执行聚焦、跟踪和放大/缩小的功能。
定时控制单元210可以控制图像传感器200的操作定时。定时控制单元210可以生成用于控制图像传感器200的曝光和读出的定时控制信号。定时控制单元210可以位于相机模块20内或者可以被构造在处理器内。
行驱动器220可以通过定时控制单元210设置像素阵列230的曝光时间。像素阵列230可以生成在透镜单元260中成像的光信号作为像素信号。构成像素阵列230的各像素可包括微透镜、滤色器和/或光电检测器。例如，像素阵列230的分辨率(像素阵列的行像素数×列像素数)可以是标准清晰度(SD)(720×480)、高清晰度(HD)(1280×720)、全HD(1920×1080)、超HD(3840×2160)等。像素阵列230的各个像素可以分别产生在曝光期间通过透镜单元260成像的信号作为像素信号。曝光时间可以是像素阵列230的像素传感器接收光的时间。
列驱动器240可以通过定时控制单元210的控制来读出像素阵列230的列像素信号。例如，列驱动器240可以在定时控制单元210的控制下依次选择和读出行图像信号。列驱动器240可以包括模数转换器(ADC)。ADC可以将以行为单位输出的像素信号转换为数字数据。列驱动器240可以以移动工业处理器接口(MIPI)方案输出在ADC中转换的数字数据。
可以以诸如全局快门或滚动快门方案的驱动方法来驱动图像传感器200。快门可以表示在获取图像时控制像素阵列230的曝光时间。全局快门方案可以是同时进行像素阵列230的行线的曝光和以行为单位读出像素阵列230的像素信号的方案。滚动快门方案可以是顺序地进行像素阵列230的行线的曝光并顺序读出曝光时间到期的行线的像素信号的方案。在一个实施例中，图像传感器200可以以滚动快门方案驱动。
图3是示出在根据本公开一实施例的电子设备中捕获图像的设备30的结构的图。例如，图3中的结构可以是功能块结构。功能块可以是存储在存储器110中的程序指令，并且处理器100可以控制功能块的操作。
参见图3，图像处理模块(即，ISP)310可以是处理在相机模块(例如，图1的相机模块120)中获取的图像的模块。图像处理模块310也可以包括在相机模块中。图像处理模块310可以包括图像预处理单元、图像后处理单元、编码器、解码器等。
图像处理模块310的图像预处理操作可以对在相机模块中获取的帧图像(例如，与像素阵列230的分辨率对应的图像的像素尺寸)执行自动白平衡(AWB)、自动曝光(AE)、自动聚焦(AF)提取和处理、镜头阴影校正、死像素校正、膝盖校正等。
图像处理模块310的图像后处理操作可以包括色彩插值器、图像处理链(IPC)、色彩转换器等。图像处理模块310可以通过色彩插值器执行对于经图像预处理的子帧的色彩插值操作，并通过IPC对经色彩插值的子帧图像进行噪声消除、色彩校正等，并通过色彩转换器将RGB数据转换为亮度-带宽-色度(YUV)数据。图像传感器可以是CCD或CMOS图像传感器。CCD/CMOS图像传感器使用滤色器阵列。因此，每个像素传感器可以仅仅具有生成彩色图像的三种色彩中的一种色彩。色彩插值操作可以将从图像传感器(例如，图2的图像传感器200)输出的像素的色彩转换(即，全色转换)为包括三种色彩(红色、绿色和蓝色)的色彩的功能。色彩插值器可以使用相邻像素之间的相关性来执行色彩插值功能。IPC可以对经色彩插值的图像执行降噪、伽马校正、亮度校正等。并且，色彩转换器可以将校正的图像(例如，原始数据和/或拜耳数据)转换为YUV图像。图像处理模块310的后处理操作可以是在对经预处理的图像执行色彩插值、噪声校正等之后将图像转换为YUV图像的操作。
图像处理模块310可以对图像处理的帧图像进行编码。图像处理模块310可以缩放在相机模块中生成的图像(例如，像素阵列230的全尺寸图像)，以生成预览图像(或实时取景图像)。此外，基于处理后的图像，图像处理模块310可以控制(例如，AF、AE、AWB、IPC、面部检测、对象跟踪等)包括图像传感器的相机模块和/或图像处理模块310。
图像存储模块340可以在存储器(例如，图1中的存储器110)中存储在图像处理模块310中处理的图像(例如，捕获图像)。存储在存储器中的图像可以是编码图像或非编码图像。
运动估计模块320可以估计从图像处理模块310输出的图像内的对象运动。可以以各种方法进行对象的运动的估计。首先，估计图像内的对象运动的方法可以分析连续图像以将速度矢量分配给每个像素或区域，并且感测具有相似速度矢量的一组像素或区域以估计关于运动对象的操作信息。例如，运动估计模块320可以使用从点对点对应关系中提取速度矢量的方法、基于从连续的第一图像(例如，前一帧)和第二图像(例如，当前帧图像)提取的特征来跟踪运动对象的方法、通过使用区域信息尝试在候选区域之间进行匹配来跟踪运动对象的方法、通过使用限制条件(图像内每个像素的速度矢量变化是平缓的)测量光流来跟踪运动对象的方法等等。其次，估计图像内的对象运动的方法可以通过分析由相邻图像间的灰度值的差形成的差图像来估计对象的运动。例如，运动估计模块320可以使用利用相邻图像间的灰度值的差来隔离静止区域和动作区域的方法、合并差分运算结果和边缘运算结果以检测对象的动作信息的方法、使用差分运算和自适应预测器的方法等。
在一个实施例中，电子设备的运动估计模块320可以基于光流方案估计包括在图像中的对象的运动。
图像控制模块330可以执行由用户选择的拍摄模式。拍摄模式可以包括用户设备拍摄模式。用户设备拍摄模式可以表示一种拍摄模式，即响应于用户的捕获请求而捕获在相机模块中生成的图像，并且如果识别出在电子设备中设置的条件，则自动捕获在相机模块中生成的图像。如果选择了用户设备拍摄模式，则图像控制模块330可以驱动相机模块，并且可以通过显示处理模块350在显示器上显示在图像处理模块310中生成的预览图像。此外，图像控制模块330可以在显示器上显示拍摄按钮，用户可以通过该拍摄按钮在用户设备拍摄模式下生成捕获信号。
如果选择了用户设备拍摄模式，则图像控制模块330可以分析运动估计模块320和拍摄按钮的输入。如果识别出拍摄按钮的输入或在运动估计模块320中检测到对象的运动，则图像控制模块330可以使能图像存储模块340在存储器中存储在图像处理模块310中处理的图像。此外，如果在运动估计模块320中检测到对象的运动，则图像控制模块330可以控制相机模块以改变拍摄间隔时间和/或曝光时间。在一个实施例中，图像控制模块330可以将相机模块的拍摄间隔时间设置得更快并且将曝光时间设置得更短。在一个实施例中，如果检测到对象的运动，则图像控制模块330可以控制自动捕获图像。此外，当基于运动检测而捕获图像时，图像控制模块330可以进行控制以将相机模块的拍摄间隔时间和/或曝光时间改变为更短并且在快速时间内捕获图像。图像控制模块330可以控制图像存储模块340将捕获的图像存储在存储器中。
显示处理模块350可以在用户设备拍摄模式下在显示器上显示预览图像和/或捕获的图像。显示处理模块350可以根据显示器的类型以各种形式显示。例如，显示器可以被配置为单个显示器或多显示器(下文中，双显示器被描述为示例)。如果显示器是单个显示器，则显示处理模块350可以根据用户的选择显示预览图像，并且可以一起显示捕获图像的预览图像和缩略图图像，并且可以仅显示捕获图像的缩略图图像。如果显示器是双显示器，则显示处理模块350可以在第一显示器上显示捕获图像的缩略图图像，并在第二显示器上显示预览图像。
当显示处理模块350在显示器上显示捕获的图像时，显示处理模块350可以区分和显示通过用户的选择手动捕获的图像和通过电子设备的自动拍摄捕获的图像。在一个实施例中，显示处理模块350可以在通过用户的选择手动捕获的图像上添加和显示图标图像，并且可以在由用户和电子设备捕获的每个图像上添加和显示每个相互不同的图像，并且可以在电子设备自动捕获的图像上添加并显示图标图像。
根据本公开的实施例，如果识别出用户的拍摄请求信号，则电子设备可以捕获在相机模块中生成的图像并将捕获的图像存储在存储器中。此外，如果电子设备识别出运动估计模块320估计出图像内的对象运动，则电子设备可以捕获在相机模块中生成的图像并将捕获的图像存储在存储器中。
运动估计模块320可以以各种方法估计对象的运动。根据一实施例，运动估计模块320可以以光流方案估计对象运动。光流可以是指示亮度图案如何在图像中移动的分布情况。光流方案的运动估计方法可以是估计图像中如何看到对象以及对象正在如何移动的方法。可以使用连续图像(例如，前一帧图像和当前帧图像)来获得光流。如果光流已被破坏，则对象可能是相互不同的对象。图像的像素移动(即，运动)与对象的移动相同。如果知道对象的移动速度，则也可以知道图像中的对应像素的光流。
光流方法可以是这样的方法，即通过跟踪与图像内的对象对应的像素在连续图像帧中移动的位置来估计对象的运动的方法。例如，光流方法是通过连续两帧之间的差来估计运动的方法之一，它可以是逐渐改变亮度以表示图像中产生的对象运动的矢量方向和速度的方案。光流方案可以从连续的二维图像中提取图案运动信息，并且特别地可以很好地提取复杂的运动。
例如，光流方法的运动估计模块320可以获取连续图像、预处理所获取的图像并基于预处理图像来估计对象的运动。运动估计模块320可以使用连续的前一帧(帧n-1)和当前帧(帧n)图像。运动估计模块320可以将两帧图像预处理为灰度图像。在预处理操作中，运动估计模块320可以将RGB图像转换为灰度图像。运动估计模块320可以基于转换的灰度图像(即，灰度n-1图像和/或灰度n图像)来估计运动。例如，运动估计模块320可以以霍恩-肖克(HS)技术和/或HS或组合的局部-全局(CLG)技术来处理连续两帧图像，以获得运动信息(即，运动矢量)。CLG技术可以是这样一种方法，即该方法组合对HS密度流场强和lucas-kanade(LK)噪声有强抵抗力的方法。
如果在图像内存在对象的运动，则运动估计模块320可以检测对象的运动(即，运动矢量)。
如果在运动估计模块320中检测到运动矢量(即，如果估计了对象的运动)，则图像控制模块330可以自动捕获在相机模块中生成的图像。检测到对象的运动可以表示通过相机模块拍摄的对象正在移动。根据本公开一实施例，如果对象移动，则电子设备可以控制相机模块以在对象移动的时间期间内使拍摄间隔时间更快，以便根据对象的运动来捕获图像。为此，图像控制模块330可以控制相机模块的图像拍摄间隔时间和/或曝光时间。如果检测到对象的运动，则图像控制模块330可以快速控制相机模块的拍摄间隔时间，并且可以控制定时控制单元(例如，图2中的定时控制单元210)以产生用于缩短图像传感器(例如，图2中的图像传感器200)的曝光时间的控制信号。例如，如果检测到对象的运动，则与突发拍摄方法相似，电子设备可以在识别对象的运动的时间期间快速控制相机模块的拍摄间隔时间。
当对象移动时，电子设备可以快速捕获图像。由此，电子设备可以捕获具有相同运动的图像。图像控制模块330可以分析基于对象的运动自动拍摄的图像，并存储最佳数量的图像。为此，图像控制模块330可以分析捕获的图像，并且将具有相似运动的图像进行成组。图像控制模块330可以对成组的图像进行过滤以选择图像。例如，图像控制模块330可以消除成组的图像当中的模糊图像、太暗或太亮的图像和/或不包括对象的一部分的图像(例如，其中对象的偏离相机角度的图像)。图像控制模块330可以选择过滤图像中的其中运动不重复的图像。此外，图像控制模块330可以通过显示处理模块350在显示器上显示经过滤的图像作为建议图像，并且可以存储由用户选择的图像。当刷新显示器的屏幕时，图像控制模块330可以通过图像存储模块340仅存储每个图像组的设置数量的图像(例如，一个建议图像)，并从缓冲器(例如，内部缓冲器或处理器100或存储器110的特定区域)中消除残余图像。
显示处理模块350可以通过图像控制模块330的控制基于用户设备拍摄模式在显示器上显示捕获的图像。显示处理模块350可以基于显示器的类型(例如，单个显示器或双显示器)显示捕获的图像。
图4A、4B和4C是示出在根据本公开各种实施例的电子设备中执行用户设备拍摄模式时的显示示例的图。
参见图4A、4B和4C，如果用户选择拍摄模式，则电子设备可以如图4A所示地显示其中电子设备可以拍摄的模式类型。在图4A中，图标410可以是用于选择正常拍摄模式的图标图像(例如，通过用户的选择进行拍摄)，图标415可以是用于根据本公开的实施例的用于选择用户设备拍摄模式的图标图像。如果用户选择图4A中的图标415，则处理器(例如，图1中的处理器100)可以识别该选择并且启用相机模块(例如，图1中的相机模块120)。如图4B所示，处理器可以在显示器(例如，图1中的显示器150)上显示通过处理在相机模块中生成的图像而生成的预览图像420。如图4B所示，处理器可以在其中显示预览图像420的屏幕的部分区域中(例如，预览图像的下部显示区域)显示拍摄按钮425。如果选择了拍摄按钮425，则处理器可以根据用户的选择来捕获图像。
在如图4B所示显示预览图像420的状态下，如果估计出对象的运动，则处理器可以将相机模块的拍摄间隔时间控制得较快，同时连续地自动捕获包括移动的对象的图像(如图4C所示)。例如，如果检测到对象的运动，则处理器可以改变相机模块的拍摄速度(例如，可用的最大拍摄间隔时间和最小曝光时间)，并且在检测到对象的运动的时间期间连续地捕获图像。即使在检测到对象的运动之外还检测到电子设备的运动和/或识别出对象的情绪变化，处理器也可以通过相同的操作来捕获图像。
图5A、5B、5C、5D、5E和5F是示出在根据本公开各种实施例的电子设备中的单个显示器的屏幕显示示例的图。
参见图5A、5B、5C、5E和5F，如果显示器是单个显示器，则电子设备可以如图5A中所示地在设备用户拍摄模式下在显示器(例如，图1中的显示器150)上显示预览图像。如果用户在如图5A所示地显示预览图像的过程中生成第一输入510，则电子设备可以如图5B所示地在显示器的第一区域520中显示预览图像，并在第二区域530中显示捕获图像的缩略图图像(例如，图5B中的P1-P12)。例如，第一输入510可以是手势输入并且可以是滑动输入。图5B示出了第一输入510是从显示器的边缘区域滑动到显示器的屏幕显示区域的手势输入的示例。例如，显示由电子设备自动捕获的图像的缩略图图像的第二区域530可以是显示器的边缘区域，并且显示预览图像的第一区域520可以是除了第二区域530之外的显示器的剩余区域。
如果用户生成第二输入515，则电子设备可以如图5C所示地在显示器的整个区域中将捕获的图像显示为缩略图图像。例如，第二输入515可以是手势输入并且可以是滑动输入。图5C示出了在第二区域530中显示由电子设备自动捕获的图像的缩略图图像的状态下从显示器的第二区域530滑动到显示器的屏幕显示区域的手势输入的示例。在电子设备通过第二输入515在整个区域中显示捕获的缩略图图像的情况下，电子设备可以在显示器的第一特定区域540中显示通过用户的选择手动捕获的最新缩略图图像，并且可以在第二特定区域550中显示通过对象的运动自动捕获的最新缩略图图像，并且可以在网格类型的第三特定区域560中显示通过用户的选择和/或电子设备捕获的图像的缩略图图像(例如，图5C中的P1-P20)。
此时，如图5C中所显示的缩略图图像可以是通过用户的选择手动捕获的图像和通过对象的运动自动捕获的图像等。当电子设备将捕获的图像显示为缩略图图像时，电子设备可以区分和显示通过用户的选择手动捕获的图像或电子设备自动捕获的图像。在一实施例中，电子设备可以在用户手动选择的图像上添加和显示图标图像，并且可以不在由电子设备自动捕获的图像上显示图标图像。在一实施例中，电子设备可以在用户手动选择的图像上添加和显示第一图标图像，并且可以在由电子设备自动捕获的图像上显示与第一图标图像区分的第二图标图像。在一实施例中，电子设备可以在由电子设备自动捕获的图像上添加和显示图标图像，并且可以不在用户手动选择的图像上显示图标图像。例如，图5C示出了在用户手动捕获的图像上添加和显示图标图像545并且不在由电子设备自动捕获的图像上显示图标图像的示例。
在将捕获图像显示为缩略图图像的状态下，如果用户生成第三输入570，如图5D所示，则电子设备可以如图5E所示地在第一区域520中显示预览图像，并在第二区域530中显示捕获图像的缩略图图像。第三输入570可以是在第二输入515的反方向上进行的滑动输入。如果在第一区域520中显示预览图像并且在第二区域530中显示捕获图像的缩略图图像的状态下生成第四输入575，如图5E所示，则电子设备可以在整个显示器中显示预览图像，如图5F所示。第四输入575可以是在第一输入510的反方向上进行的滑动输入。
此外，如果电子设备在如图5A或图5F所示显示预览图像的状态下检测到运动(例如，检测到对象的运动、设备的运动、对象的情绪变化等)，则电子设备可以显示电子设备自动捕获的图像。例如，电子设备可以在显示器的屏幕上显示对象的运动的轨迹。
如图5A、5B、5C、5D、5E和5F所示，拍摄按钮500可以显示在显示图像的显示器150的屏幕上。如果用户触摸拍摄按钮500，则电子设备可以识别出这是用户的选择，并且捕获在相机模块中生成的图像。当电子设备通过用户的选择捕获图像时，电子设备可以以设置的拍摄间隔时间和/或曝光时间捕获图像。
图6A和6B是示出在根据本公开一实施例的电子设备中的双显示器的屏幕显示示例的图。
参见图6A，电子设备可以包括第一显示器610和第二显示器620。在显示器是具有第一显示器610和第二显示器620的双显示器的情况下，电子设备可以在第二显示器620上显示预览图像并且在第一显示器610上显示由用户和电子设备捕获的图像的缩略图图像。此外，可以在第二显示器620上显示用于通过用户的选择捕获图像的拍摄按钮625。
在第一显示器610上显示的缩略图图像可以是通过用户的选择手动捕获的图像和通过对象的运动自动捕获的图像等。在电子设备在第一显示器610上显示捕获的缩略图图像的情况下，电子设备可以在第一显示器610的第一特定区域630中显示通过用户的选择手动捕获的最新缩略图图像，并且在第二特定区域635中显示通过对象的运动自动捕获的最新缩略图图像。当电子设备将捕获的图像显示为缩略图图像时，电子设备可以区分和显示通过用户的选择手动捕获的图像或由电子设备自动捕获的图像。显示在图6A中的第一显示器610上的缩略图图像示出了在用户手动捕获的图像上添加和显示图标图像并且不在由电子设备自动捕获的图像上显示图标图像的示例。
参照图6B，电子设备可以显示用于设置用户设备拍摄模式的屏幕650。如果选择用于执行用户设备拍摄模式的按钮(例如，图4A中的图标415)，则电子设备可以如在屏幕660中那样在第一显示器610上显示捕获图像的缩略图图像，并在第二显示器620上显示从相机模块输出的图像作为预览图像。电子设备可以在第一显示器610的第一特定区域630中显示通过用户的选择手动捕获的最新图像，并在第一显示器610的第二特定区域635中显示电子设备自动拍摄的最新图像，并且可以在剩余区域中显示通过用户的选择和/或电子设备捕获的缩略图图像。如果用户在第一显示器610上显示的缩略图图像中选择由附图标记665表示的缩略图图像，则电子设备可以在第一显示器610上显示与所选择的缩略图图像对应的图像，如在屏幕670中那样。此外，如果在屏幕670中显示所选择的捕获图像的过程中用户选择第一显示器610，如由附图标记675表示的，电子设备可以在第一显示器610上显示捕获的缩略图图像，如屏幕680那样。
此外，如果电子设备在显示缩略图图像和预览图像的状态下检测到运动(即，对象的运动、设备的运动、对象的情绪变化等)，如屏幕660和屏幕680中那样，则电子设备也可以在第二显示器620上显示由电子设备自动捕获图像的操作。
图7是示出在根据本公开一实施例的电子设备中获取图像的设备70的另一结构的图。例如，图7中的结构可以是功能块结构。功能块可以是存储在存储器(例如，图1中的存储器110)中的程序指令，并且功能块的操作可以由处理器控制。
参见图7，图像处理模块(即，ISP)710可以是处理由相机模块(例如，图1中的相机模块120)获取的图像的模块。图像处理模块710也可以包括在相机模块中。图像处理模块710可以包括图像预处理单元、图像后处理单元、编码器、解码器等。
图像处理模块710的图像预处理单元可以对于由相机模块获取的帧图像(例如，与像素阵列230的分辨率对应的图像的像素尺寸)执行自动白平衡(AWB)、自动曝光(AE)、自动聚焦(AF)提取和处理、镜头阴影校正、死像素校正、膝盖校正等。图像处理模块710的图像后处理单元可以通过色彩插值器对经图像预处理的子帧图像执行色彩插值操作，并通过IPC对经色彩插值的子帧图像执行噪声消除、色彩校正等，并且通过色彩转换器将RGB数据转换成YUV(或亮度-色度_蓝色-色度_红色(YCbCr))数据。
图像处理模块710可以对经图像处理的帧图像进行编码。图像处理模块710可以缩放在相机模块中生成的图像(例如，像素阵列230的全尺寸图像)，并且生成图像作为预览图像(或实时图像)。此外，基于经处理的图像，图像处理模块710可以控制(例如，AF、AE、AWB、IPC、面部检测、对象跟踪等)包括图像传感器和/或图像处理模块710的相机模块。
图像存储模块740可以在存储器中存储在图像处理模块710中处理(例如，捕获)的图像。存储在存储器中的图像可以是编码图像或非编码图像。
运动估计模块720可以估计从图像处理模块710输出的图像内的对象运动。可以以各种方法进行对象运动的估计。首先，估计图像内的对象运动的方法可以分析连续图像以将速度矢量分配给每个像素或区域，并且感测具有相似速度矢量的一组像素或区域以估计关于移动对象的操作信息。例如，运动估计模块720可以使用从点对点对应关系中提取速度矢量的方法、基于从连续的第一图像(例如，前一帧)和第二图像(例如，当前帧图像)提取的特征来跟踪运动对象的方法、通过使用区域信息尝试在候选区域之间进行匹配来跟踪移动对象的方法、通过图像内每个像素的速度矢量变化是平缓的这样的限制条件来测量光流来跟踪运动对象的方法等。其次，估计图像内的对象运动的方法可以通过分析由相邻图像间的灰度值的差形成的差图像来估计对象的运动。例如，运动估计模块720可以使用利用相邻图像之间的灰度值的差来隔离静止区域和动作区域的方法、合并差分运算结果和边缘运算结果以检测对象的运动信息的方法、使用差分运算和自适应预测器的方法等。
在一个实施例中，电子设备的运动估计模块720可以基于光流方案来估计图像中包括的对象的运动。
设备运动检测模块760可以分析传感器模块(例如，图1中的传感器模块130)的输出，以检测设备的运动。设备运动检测模块760可以分析传感器模块130的加速度传感器和/或陀螺仪传感器的输出，以分析电子设备的运动。
当用户拍照时，用户可以在拍摄时移动电子设备。例如，用户可以进行全景拍摄、倾斜拍摄、变焦拍摄等，并且还可以在行驶的车中进行拍摄时移动电子设备。全景拍摄可以是在拍摄时沿360度方向水平移动电子设备的方法。倾斜拍摄可以是在拍摄时上下倾斜电子设备的方法。变焦拍摄可以是放大和缩小镜头的拍摄方法，以便在一个相机角度中包含该对象或者精确地表达远处的对象的样貌或重要外观。移动拍摄可以是在拍摄时移动安装在运输工具(例如，汽车、自行车、无人驾驶飞机、推车等)中的电子设备的方法。
用户可以在执行各种拍摄动作的同时移动电子设备。设备运动检测模块760可以分析传感器模块的加速度传感器和/或陀螺仪传感器的输出，以检测用户设备拍摄模式中的电子设备的水平运动、垂直运动、旋转运动等。如果在用户设备拍摄模式中检测到设备的运动，则设备运动检测模块760可以生成图像捕获请求信号。
情绪识别模块770可以分析获取的对象的特征，以识别对象的情绪变化。对象可以是人、宠物等。情绪识别可以是人-机接口的最重要因素之一。情绪识别技术可以主要使用面部图像、语音和/或生物信号来提取特征，并且通过先前学习的识别模型将其分类为每个情绪类别。根据本公开各种实施例的情绪识别模块770可以分析对象的面部图像，以识别对象的情绪(例如，愤怒、快乐、难过、恐惧、悲伤、吃惊等)。
使用对象的面部图像的情绪识别方法可以是感测图像(即，静止图像或视频)中的用户的面部样貌和人体运动的方法，并且据此确定用户的情绪状态。识别面部样貌的方法可以使用直接从面部图像对情绪进行分类的基于图像的识别方法或者将面部图像映射到面部肌肉动作的基于模型的识别方法。基于图像的识别方法可以是使用整个面部图像的亮度值来识别面部样貌的方法。基于模型的识别方法可以是检测面部图像中的特征并且确定面部肌肉动作以识别面部样貌的方法。
根据本公开各种实施例的情绪识别模块770可以使用基于图像的识别方法。例如，情绪识别模块770可以使用基于Adaboost算法的情绪识别方法(Adaboost的面部样貌识别)。
情绪识别模块770可从获取的图像中检测并提取面部部分，并且可执行用于使用提取的面部图像来识别情绪的预处理操作(例如，重新调整尺寸、直方图均衡等)。此后，情绪识别模块770可对经预处理的面部图像执行Adaboost算法以识别情绪。Adaboost算法可包括各种类型的情绪分类器(例如，中性强分类器、快乐强分类器、难过强分类器、愤怒强分类器、吃惊强分类器等)。Adaboost算法可为所学习的样貌输出多个对应的情绪值中的高值。
根据一实施例，情绪识别模块770可以通过Adaboost算法从图像中检测面部的位置和尺寸，并且可通过使用基于每个样貌学习的Adaboost强分类器从检测到的面部图像中获得逐个样貌的输出值。情绪识别模块770可以将与Adaboost强分类器的输出值中的最高值对应的情绪设置为识别出的情绪。情绪识别模块770可以提取面部图像以识别用户的情绪。如果识别的情绪变化，则情绪识别模块770可生成用于自动拍摄的信号。例如，情绪识别模块770可以分析Adaboost强分类器的输出值以识别用户的情绪。如果识别出情绪的变化(例如，从中性到快乐的变化、从快乐到难过的变化、从快乐到吃惊的变化等)，则情绪识别模块770可生成图像捕获请求信号。此外，如果识别出特定情绪(例如，快乐)，则情绪识别模块770可以生成图像捕获请求信号。
图像控制模块730可执行由用户选择的拍摄模式。拍摄模式可包括用户设备拍摄模式。用户设备拍摄模式可表示响应于用户的捕获请求来捕获在相机模块中生成的图像并且如果在电子设备中识别出设置条件则自动捕获在相机模块中生成的图像的拍摄模式。如果选择了用户设备拍摄模式，则图像控制模块730可驱动相机模块，并且可通过显示处理模块750在显示器上显示在图像处理模块710中生成的预览图像。此外，图像控制模块730可在显示器上显示拍摄按钮，用户可以通过该拍摄按钮在用户设备拍摄模式下生成捕获信号。此外，如果设置了用户设备拍摄模式，则图像控制模块730可启用运动估计模块720、设备运动检测模块760和/或情绪识别模块770中的至少一个模块。
如果选择了用户设备拍摄模式，则图像控制模块730可分析运动估计模块720、设备运动检测模块760、情绪识别模块770和拍摄按钮的输入。如果识别出拍摄按钮的输入或者在运动估计模块720、设备运动检测模块760或情绪识别模块770中生成了图像捕获请求信号，则图像控制模块730可以使图像存储模块740能够将在图像处理模块710中处理的图像存储在存储器中。
此外，如果在运动估计模块720、设备运动检测模块760或情绪识别模块770中生成图像捕获请求信号，则图像控制模块730可控制相机模块以改变拍摄间隔时间和/或曝光时间。在一实施例中，图像控制模块730可将相机模块的拍摄间隔时间设置得更快，并且将曝光时间设置得更短。在一实施例中，如果检测到对象的运动，则图像控制模块730可进行控制以自动捕获图像。此外，当基于运动检测来捕获图像时，图像控制模块730可进行控制以将相机模块的拍摄间隔时间和/或曝光时间变短并且在快速时间内捕获图像。图像控制模块730可控制图像存储模块740将捕获的图像存储在存储器中。
显示处理模块750可以在用户设备拍摄模式下在显示器上显示预览图像和/或捕获的图像。显示处理模块750可根据显示器的类型以各种形式显示预览图像和/或捕获图像。例如，显示器可被构造为单个显示器或多显示器(下文中，“双显示器”被描述为示例)。如果显示器是单个显示器，则显示处理模块750可以显示如图5A所示的预览图像，并且可以如图5B所示一起显示捕获图像的预览图像和缩略图图像，并且可以如图5C所示仅显示捕获图像的缩略图图像。如果显示器是双显示器，则显示处理模块750可如图6A所示在第一显示器上显示捕获图像的缩略图图像并且在第二显示器上显示预览图像。
当在显示器上显示捕获的图像时，显示处理模块750可区分和显示通过用户的选择手动捕获的图像和通过电子设备的自动拍摄捕获的图像。在一实施例中，显示处理模块750可在通过用户的选择手动捕获的图像上添加和显示图标图像，并且可在用户和电子设备捕获的每个图像上添加和显示每个相互不同的图像，并且可在由电子设备自动捕获的图像上添加和显示图标图像。
根据本公开各种实施例，如果识别出用户的拍摄请求信号，则电子设备可捕获在相机模块中生成的图像并将捕获的图像存储在存储器中。此外，如果运动估计模块720估计图像内的对象运动，或者设备运动检测模块760检测到电子设备的运动，或者情绪识别模块770识别出对象(例如，人)的情绪变化，则电子设备可捕获从相机模块输出的图像并将捕获图像存储在存储器中。
运动估计模块720可以以与图3的运动估计模块320的方法相同的方法估计对象的运动。如果运动估计模块720检测到图像内的对象运动，则运动估计模块720可以生成图像捕获请求信号。设备运动检测模块760可以根据在拍摄时移动电子设备的操作(例如，全景拍摄、倾斜拍摄、运动拍摄等)来检测电子设备的运动。如果检测到电子设备的运动，则设备运动检测模块760可以生成图像捕获请求信号。情绪识别模块770可以分析图像内的对象，以识别情绪变化或特定情绪状态。如果识别出特定情绪状态或情绪变化，则情绪识别模块770可以生成图像捕获请求信号。
如果识别出对拍摄按钮的选择，则图像控制模块730可以将相机模块设置为第一拍摄条件。如果在运动估计模块720中生成图像捕获请求信号，则图像控制模块730可以将相机模块设置为第二拍摄条件。可以基于识别出的对象的移动速度来可变地设置第二拍摄条件。此外，第二拍摄条件可以设置为固定值。如果在设备运动检测模块760中生成图像捕获请求信号，则图像控制模块730可以将相机模块设置为第三拍摄条件。可以基于电子设备的移动速度可变地设置第三拍摄条件。此外，第三拍摄条件可以设置为固定值。如果在情绪识别模块770中生成图像捕获请求信号，则图像控制模块730可以将相机模块120设置为第四拍摄条件。可以基于识别的情绪变化速度可变地设置第四拍摄条件。此外，第四拍摄条件可以设置为固定值。
第二拍摄条件到第四拍摄条件可以具有彼此不同的时间值(即，拍摄时间和/或曝光时间)，或者可以具有相同的时间值。与第一拍摄条件相比，第二拍摄条件到第四拍摄条件可以具有相对更快的拍摄间隔时间和/或更短的曝光时间。图像控制模块730可以基于第一拍摄条件至第四拍摄条件中的至少两个的组合来设置拍摄条件。
如果在运动估计模块720、设备运动检测模块760或情绪识别模块770中生成图像捕获请求信号，则图像控制模块730可以基于设置条件来控制相机模块，并且进行控制以捕获在图像处理模块710中处理的图像并将捕获的图像存储在存储器中。
图像控制模块730可以分析自动拍摄的图像并存储最佳数量的图像。为此，图像控制模块730可以分析捕获的图像，以将具有相似运动的图像进行成组。图像控制模块730可以对成组的图像进行过滤以选择图像。例如，图像控制模块730可以消除成组的图像中的模糊图像、太暗或太亮的图像和/或不包括对象的一部分的图像(例如，其中对象偏离照相机角度的图像)。图像控制模块730可以选择过滤图像中的其中运动不重复的图像。此外，图像控制模块730可以通过显示处理模块750在显示器上显示过滤图像作为建议图像，并且可以存储由用户手动选择的图像。当刷新显示器的屏幕时，图像控制模块730可以通过图像存储模块740仅存储每个图像组的设置数量的图像(例如，一个建议图像)，并从缓冲器(例如，内部缓冲器或处理器100或存储器110的特定区域)中消除残余图像。
根据本公开各种实施例的电子设备可以包括相机、显示器、与相机和显示器电耦接的处理器以及与处理器电耦接的存储器。存储器可以被配置为存储指令，所述指令在被执行时指令处理器来：在接收到拍摄请求信号时，估计由相机获取的图像内的对象的运动；当未识别出相机获取的图像内对象的运动时，控制相机通过应用第一拍摄条件来捕获第一类型图像；而当识别出相机获取的图像内对象的运动时，控制相机通过应用第二拍摄条件来捕获第二类型的图像。
根据各种实施例，第一和第二拍摄条件可以包括拍摄间隔时间或曝光时间中的至少一个，并且第二拍摄条件可以具有比第一拍摄条件短的间隔时间或曝光时间中的至少一个。
根据各种实施例，该设备还可包括：传感器，被配置为检测电子设备的运动，并且指令还可以指令处理器在通过传感器检测到电子设备的运动时控制相机通过应用第三拍摄条件来拍摄第三类型图像。
根据各种实施例，指令还可以指令处理器在识别出拍摄图像内的对象的情绪变化时，控制相机通过应用第四拍摄条件来控制相机捕获第四类型图像。
根据各种实施例，指令可以指令处理器将捕获的图像中的相似图像成组、对成组的图像进行过滤以建议包括设置数量的图像的建议图像，并存储捕获的图像和建议图像。
根据各种实施例，经过滤的图像可包括模糊图像。
根据各种实施例，指令可以进一步指令处理器以拍摄模式显示预览图像，并且基于用户的输入，在显示器的第一区域中显示预览图像并在显示器的第二个区域中显示捕获图像的缩略图图像。
根据各种实施例，第二区域可以是显示器的边缘区域。
根据各种实施例，指令还可以指令处理器基于用户的输入在显示器上显示捕获的图像的缩略图图像，并区分和显示通过在用户的选择或电子设备中的一个捕获的图像。
图8是示出在根据本公开一实施例的电子设备中拍摄图像的操作的流程图。图8可以是示出其中当检测到对象的运动时电子设备自动拍摄的操作的流程图。
参见图8，用户可以从拍摄菜单中选择用户设备拍摄功能。如果选择了用户设备拍摄功能(模式)，则在操作811中，电子设备(例如，图1中的处理器100)可以执行用户设备拍摄功能。例如，电子设备可以驱动相机模块(例如，图1中的相机模块120)并且启动估计对象的运动的模块(例如，图3中的运动估计模块320和/或图7中的运动估计模块720)。在操作813中，电子设备可以处理从相机模块输出的图像，以在显示器(例如，图1中的显示器150)上显示预览图像。电子设备可以在显示器上显示拍摄按钮。
当检测到拍摄按钮的输入或对象的运动时，电子设备可以捕获从相机模块输出的图像。根据一实施例，电子设备可以基于光流方法估计对象的运动。如果识别出对象的运动，即，在操作815中为“是”，则电子设备可以识别出这一点，并且在操作817中，电子设备可以设置用于在电子设备中自动拍摄的条件(即，第二拍摄条件)。在产生对象的运动的情况下，电子设备可能需要快速拍摄操作。在操作817中，电子设备可以将拍摄间隔时间和/或曝光时间段设置为短。如果设置了拍摄条件，则在操作819中，电子设备可以通过相机模块以快速间隔时间捕获图像。例如，如果识别出对象的运动，则电子设备可以在检测到对象的运动的同时以诸如快速连拍的方法捕获图像。
如果未识别出对象的运动，即在操作815中为“否”，并且用户选择拍摄按钮，即在操作821中为“是”，则电子设备可以识别出这一点，并且在操作823中电子设备可根据用户的选择设置第一拍摄条件。当根据用户的选择执行拍摄操作时，电子设备可以执行自动拍摄模式，或者由用户设置拍摄条件的手动拍摄模式。在模式是自动拍摄模式的情况下，电子设备可以根据拍摄环境设置拍摄条件。在模式是手动拍摄模式的情况下，电子设备可以在由用户设置的第一拍摄条件下手动拍摄图像。在电子设备设置第一拍摄条件之后，在操作825中电子设备可以根据设置的第一拍摄条件手动捕获(获取)图像。
如果选择了拍摄按钮，则电子设备可以在相应的时间点获取从相机模块输出的图像。如果识别出对象的运动，则电子设备可以在检测到对象的运动的同时自动获取图像。因此，如果在用户设备拍摄模式中识别出用户的选择或对象的运动，则电子设备可以获取图像。
如果用户在执行用户设备拍摄模式的过程中终止用户设备拍摄模式，则在操作827中，电子设备可以识别出这一点，并停止相机模块的驱动及终止拍摄操作。相反，如果没有终止用户设备拍摄模式，则电子设备可以返回到操作813并重复上述操作。如果没有识别出对象的运动，即在操作815中为“否”，并且用户没有选择拍摄按钮，即在操作821中为“否”，则在操作827中电子设备确定用户是否终止用户设备拍摄模式。
图9是示出在根据本公开一实施例的电子设备中处理捕获图像的操作的流程图。图9的流程图可以是捕获根据用户的选择或对象的运动而获取的图像的操作。
参见图9，如果在检测到对象的运动的同时自动执行拍摄操作，则电子设备可以捕获许多图像。当存储图像时，根据本公开各种实施例的电子设备可以分析捕获的图像，以存储最佳数量的图像。
在操作911中，电子设备可以将具有相似对象运动的图像成组，并且在显示器(例如，图1中的显示器150)上显示成组的图像。在对图像进行成组之后，在操作913中电子设备可以对成组的图像进行过滤。图像过滤可以是选择满足适当条件的照片或者消除不满足适当条件的图像的操作。例如，电子设备可以消除模糊图像、太暗的图像或太亮的图像中的至少一个。
在执行图像过滤操作之后，在操作915中电子设备可以选择要存储的图像。电子设备可以建议并显示每个图像组的设置数量的图像(例如，一个图像)。如果选择了图像，则在操作917中电子设备可以将所选图像存储在存储器(例如，图1中的存储器110)中。除了从图像组建议或选择的图像之外，电子设备可以消除剩余图像。
在一个实施例中，电子设备可以分析通过对象的运动自动捕获的图像，以将相似图像成组并且存储成组图像中的建议的或选择的图像并消除剩余图像。
图10是示出在根据本公开一实施例的电子设备中显示拍摄图像的操作的流程图。图10示出电子设备的显示器是单个显示器的情况的示例。
参见图10，电子设备可以在显示器上显示以用户设备拍摄模式获取的图像。在操作1011中，电子设备可以显示预览图像。在操作1011中显示的预览图像可以是其中电子设备显示如图5A或图5F所示的屏幕的状态。在显示预览图像的状态下，用户可以生成用于一起显示缩略图图像和预览图像的输入。在显示预览屏幕的状态下，如果没有生成输入，即在操作1013中为“否”，则处理返回到操作1011。或者，在显示预览屏幕的状态下，如果生成用户通过其选择第一显示的输入(例如，图5B中的第一输入510)，即在操作1013中为“是”，则电子设备可以识别出这一点，并且在操作1015中电子设备可以在显示器上显示第一显示屏幕。如图5B所示，第一显示屏幕可以在第一区域520中显示预览图像并在第二区域530中显示捕获图像的缩略图图像。缩略图图像可以显示在显示器的边缘区域中。
在显示图5B的第一显示屏幕的状态下，如果生成用户通过其选择预览图像显示的输入(例如，图5E中的第四输入575)，即在操作1017中为“是”，则电子设备可以识别出这一点，并返回操作1011及在显示器上显示预览图像，如图5F所示。在显示捕获图像的预览图像和缩略图图像的状态下，电子设备可以转换为通过用户的选择显示预览图像的屏幕。
另一方面，在显示图5B的第一显示屏幕的状态下，如果用户未选择预览图像显示，即在操作1017中为“否”，且生成用户通过其选择第二显示的输入(例如，图5C中的第二输入515)，即在操作1019中为“是”，则电子设备可以识别这一点，并且在操作1021中电子设备可以在显示器上显示第二显示屏幕。如果用户没有选择预览图像显示，即在操作1017中为“否”，并且没有生成第二输入，即在操作1019中为“否”，则电子设备可以识别这一点并且返回到操作1015。第二显示屏幕可以在显示器上显示捕获图像的缩略图图像，如图5C所示。当电子设备显示缩略图图像时，电子设备可以如图5C所示，在显示器的第一特定区域540中显示由用户的选择手动捕获的最新缩略图图像，并且可以在显示器的第二特定区域550中显示通过对象的运动自动捕获的最新缩略图图像，并且可以在显示器的第三特定区域560显示通过用户的选择和/或电子设备捕获的图像的缩略图图像。
此外，当电子设备在显示器上显示第二显示屏幕的缩略图图像时，电子设备可以区分和显示通过用户的选择手动捕获的图像或由电子设备自动捕获的图像。图5C示出在通过用户手动选择的图像上添加和显示图标图像，并且不在由电子设备自动捕获的图像上显示图标图像的示例。电子设备可以在用户手动选择的图像上添加和显示第一图标图像，并且可以在由电子设备自动捕获的图像上显示与第一图标图像不同的第二图标图像。此外，电子设备可以在由电子设备自动捕获的图像上显示图标图像，并且可以不在用户手动选择的图像上显示图标图像。
在显示第二显示屏幕的状态下，如果感测到第三输入570，如图5D所示，即在操作1023中为“是”，则电子设备可以识别出这一点，并返回操作1015并在显示器上显示第一显示屏幕，如图5E所示。在显示第二显示屏幕的状态下，如果未感测到第三输入，即在操作1023处为“否”，则电子设备可以识别出这一点，并返回操作1021。
根据用户的选择，电子设备可以仅显示预览图像、一起显示捕获图像的预览图像和缩略图图像或者仅显示捕获图像的缩略图图像。并且，如果用户结束拍摄，则电子设备可以终止图10的显示图像的操作。
电子设备的显示器可以是双显示器。在显示器是双显示器的情况下，电子设备可以在双显示器的第一显示器上显示预览图像，并且在第二显示器上显示捕获图像的缩略图图像。
图11是示出在根据本公开一实施例的电子设备中拍摄图像的操作的流程图。图11可以是示出其中如果检测到对象的运动或设备的运动则电子设备自动拍摄的操作的流程图。
参见图11，用户可以从拍摄菜单中选择用户设备拍摄功能。如果选择了用户设备拍摄功能(模式)，则在操作1111中电子设备(例如，图1中的处理器100)可以执行用户设备拍摄功能。例如，电子设备可以驱动相机模块(例如，图1中的相机模块120)并且启动用于估计对象的运动的模块(例如，图3中的运动估计模块320和/或图7中的运动估计模块720)和用于检测电子设备的运动的模块(例如，图7中的设备运动检测模块760)。在操作1113中，电子设备可以处理从相机模块输出的图像，以在显示器(例如，图1中的显示器150)上显示预览图像。电子设备可以在显示器上显示拍摄按钮。根据一实施例，在操作1113中电子设备可以根据用户的选择以图10的方法在显示器上显示预览图像。
在操作1115中，电子设备可以估计图像内是否存在对象运动。例如，电子设备可以比较多个连续帧图像以估计图像内的对象运动。如果识别出对象的运动，即在操作1115中为“是”，则电子设备可以识别出这一点，并且在操作1117中电子设备可以设置用于自动捕获图像的第二拍摄条件。如果识别出对象的运动，则电子设备可以将第二拍摄条件设置为具有比第一拍摄条件短的拍摄间隔时间和/或曝光时间。第二拍摄条件的拍摄间隔时间和/或曝光时间可以根据对象移动的速度可变地设置，或者可以设置为固定值而与对象移动速度无关。在设置第二拍摄条件之后，在操作1119中电子设备可以控制相机模块以在第二拍摄条件下自动拍摄图像。
如果未识别出对象的运动，即在操作1115中为“否”，则电子设备可以在操作1121中检测是否存在电子设备的运动。电子设备可以具有在拍摄时移动电子设备的多个模式。例如，用户可以在拍摄时沿水平或垂直方向移动电子设备。在这种情况下，如果改变相机角度，则即使捕获的图像也可能变得不同。如果检测到电子设备的运动，即在操作1121中为“是”，则电子设备可以识别出这一点，并且在操作1123中电子设备可以设置第三拍摄条件。第三拍摄条件的拍摄间隔时间和/或曝光时间可以根据电子设备的运动速度可变地设置，或者可以设置为固定值而与电子设备的运动速度无关。在设置第三拍摄条件之后，在操作1125中电子设备可以控制相机模块以在第三拍摄条件下自动拍摄图像。
如果未检测到电子设备的运动，即在操作1121中为“否”，并且如果用户选择了拍摄按钮，即在操作1127中为“是”，则电子设备可以识别出这一点，并且在操作1129中电子设备可以根据用户的选择而设置第一拍摄条件。当根据用户的选择执行拍摄操作时，电子设备可以执行自动拍摄模式或者其中由用户设置拍摄条件的手动拍摄模式。在自动拍摄模式的情况下，电子设备可以根据拍摄环境设置拍摄条件。在手动拍摄模式的情况下，电子设备可以以由用户设置的第一拍摄条件来手动拍摄图像。在设置第一拍摄条件之后，在操作1131中电子设备可以在设置的第一拍摄条件下手动获取图像。
如果在操作1127中选择了拍摄按钮，则电子设备可以在对应的时间点获取从相机模块输出的图像。此外，如果在操作1115中识别出对象的运动，则电子设备可以设置第二拍摄条件，并且如果在操作1121中检测到电子设备的运动，则电子设备可以设置第三拍摄条件，并且基于所设置的第二或第三拍摄条件来捕获图像。此时，第二拍摄条件和第三拍摄条件可以被设置为分别具有彼此不同的拍摄间隔时间和/或曝光时间或者可以被设置为具有相同的拍摄间隔时间和/或曝光时间。
如果用户在操作1127中未选择拍摄按钮，即操作1127中为“否”，并且如果用户在执行用户设备拍摄模式的过程中终止用户设备拍摄模式，即在操作1133中为“是”，则电子设备可以识别这一点，并停止相机模块的驱动且结束拍摄操作。相反，如果拍摄模式没有终止，即在操作1133中为“否”，则电子设备可以返回到操作1113并重复上述操作。
图12是示出在根据本公开一实施例的电子设备中拍摄图像的操作的流程图。图12可以是示出其中如果检测到对象的运动、设备的运动或对象的情绪，电子设备自动拍摄的操作的流程图。
参见图12，用户可以从拍摄菜单中选择用户设备拍摄功能。如果选择了用户设备拍摄功能，则在操作1211中电子设备(例如，图1中的处理器100)可以执行用户设备拍摄功能。例如，电子设备可以驱动相机模块(例如，图1中的相机模块120)并且启动用于估计对象的运动的模块(例如，图3中的运动估计模块320和/或图7中的运动估计模块720)、用于检测电子设备的运动的模块(例如，图7中的设备运动检测模块760)和用于识别对象的情绪的模块(例如，图7中的情绪识别模块770)。在操作1213中电子设备可以处理从相机模块输出的图像，以在显示器(例如，图1中的显示器150)上显示预览图像。电子设备可以在显示器上显示拍摄按钮。根据一实施例，在操作1213中电子设备可以根据用户的选择以图10的方法在显示器上显示预览图像。
在操作1215中，电子设备可以估计图像内是否存在对象的运动。例如，电子设备可以比较多个连续帧图像以估计图像内的对象运动。如果识别出对象的运动，即在操作1215中为“是”，则电子设备可以识别出这一点，并且在操作1217中电子设备可以设置用于自动捕获图像的第二拍摄条件。第二拍摄条件的拍摄间隔时间和/或曝光时间可以根据对象移动的速度可变地设置，或者可设置为固定值而与对象的移动速度无关。在设置第二拍摄条件之后，在操作1219中电子设备可以控制相机模块以在第二拍摄条件下自动拍摄图像。
如果在操作1221中未识别出对象的运动，即在操作1215中为“否”，则电子设备可以检测是否存在电子设备的运动。例如，用户可以在拍摄时沿水平或垂直方向移动电子设备。如果检测到电子设备的运动，即在操作1221中为“是”，则电子设备可以识别出这一点，并且在操作1223中电子设备可以设置第三拍摄条件。第三拍摄条件的拍摄间隔时间和/或曝光时间可以根据电子设备的运动速度可变地设置或者可以设置为固定值而与电子设备的移动速度无关。在设置第三拍摄条件之后，在操作1225中电子设备可以控制相机模块以在第三拍摄条件下自动拍摄图像。
对象可以是诸如人、宠物等能够表达情绪的对象。如果未识别出对象的运动，即在操作1215中为“否”，并且未检测到设备运动，即在操作1221中为“否”，则在操作1227中电子设备可以识别对象的情绪。如果识别出情绪的变化或者识别出特定情绪(例如，快乐、吃惊等)，即在操作1227中为“是”，则电子设备可以识别出这一点，并且在操作1229中电子设备可以设置第四拍摄条件。第四拍摄条件的拍摄间隔时间和/或曝光时间可以根据识别出对象的情绪变化的速度来可变地设置，或者可以被设置为固定值而与对象的情绪变化速度无关。在设置第四拍摄条件之后，在操作1231中电子设备可以控制相机模块以在第四拍摄条件下自动拍摄图像。
如果未识别出对象运动，即在操作1215中为“否”；未检测到设备运动，即在操作1221中为“否”；未识别出情绪变化或特定情绪，即在操作1227中为“否”；用户选择拍摄按钮，即在操作1233中为“是”，则电子设备可以识别出这一点，并且在操作1235中电子设备可以根据用户的选择设置第一拍摄条件。当根据用户的选择执行拍摄操作时，电子设备可以执行自动拍摄模式或者其中由用户设置拍摄条件的手动拍摄模式。在电子设备处于自动拍摄模式的情况下，其可以根据拍摄环境来设置拍摄条件。在电子设备处于手动拍摄模式的情况下，其可以以由用户设置的第一拍摄条件而手动拍摄图像。在设置第一拍摄条件之后，在操作1237中电子设备可以在设置的第一拍摄条件下手动地获取图像。
如果选择了拍摄按钮，即在操作1233中为“是”，则电子设备可以在对应的时间点获取从相机模块输出的图像。此外，如果识别出对象的运动，则电子设备可以设置第二拍摄条件，并且如果检测到电子设备的运动，则电子设备可以设置第三拍摄条件，并且如果识别出对象的情绪变化(或设置的情绪)，则电子设备可以设置第四拍摄条件，以基于所设置的拍摄条件来捕获图像。此时，第二拍摄条件、第三拍摄条件和第四拍摄条件可以被设置为分别具有彼此不同的拍摄间隔时间和曝光时间或者可以被设置为具有相同的拍摄间隔时间和/或曝光时间。
如果没有选择拍摄按钮，即在操作1233中为“否”，并且用户在执行用户设备拍摄模式的过程中终止用户设备拍摄模式，即在操作1239中为“是”，则电子设备可以识别到这一点，并停止相机模块的驱动且结束拍摄操作。相反，如果拍摄模式没有终止，即在操作1239中为“否”，则电子设备可以返回到操作1213并重复上述操作。
根据本公开各种实施例的用于在电子设备中操作的方法可以包括以下操作：当接收到拍摄请求信号时，估计在相机中获取的图像内的对象的运动；当未识别出相机获取的图像内的对象的运动时，控制相机通过应用第一拍摄条件来捕获第一图像；并且当识别出相机获取的图像内的对象的运动时，控制相机通过应用第二拍摄条件来拍摄第二类型图像。
根据各种实施例，第一和第二拍摄条件可以包括拍摄间隔时间或曝光时间中的至少一个，并且第二拍摄条件可以具有比第一拍摄条件短的拍摄间隔时间或曝光时间中的至少一个。
根据各种实施例，电子设备的操作方法还可以包括以下操作：检测电子设备的运动；并且当检测到电子设备的运动时，控制相机以通过应用第三拍摄条件捕获第三类型图像。
根据各种实施例，电子设备的操作方法还可以包括操作：识别由相机拍摄的图像内的对象的情绪；并且当识别出对象的情绪变化时，控制相机以通过应用第四拍摄条件来拍摄第四类型图像。
根据各种实施例，控制相机以捕获第二类型图像可以包括操作：将捕获图像中的相似图像成组、对成组图像进行过滤、建议包括设置数量的过滤图像的建议图像及存储建议图像。
根据各种实施例，对成组图像的过滤可以包括过滤模糊图像的操作。
根据各种实施例，电子设备的操作方法还可包括操作：在显示器上显示预览图像、基于用户的输入在显示器的第一区域中显示预览图像并在显示器的第二区域中显示捕获图像的缩略图图像。
根据各种实施例，第二区域可以是显示器的边缘区域。
根据各种实施例，电子设备的操作方法还可包括基于用户输入的操作，以拍摄模式在显示器上显示捕获图像的缩略图图像。显示在显示器上的缩略图图像可以是通过在用户的选择或电子设备中的一个捕获并被区分和显示的图像。
根据各种实施例，包括图像传感器的电子设备可以执行人机拍摄或叠加的机器捕获操作，其能够基于用户的选择和设备的拍摄状态识别来拍摄图像。当电子设备执行拍摄操作时，电子设备可以检测(或识别)对象的运动、设备的运动、对象(例如，人)的情绪变化等，并设置作为拍摄条件的其中检测到对象的运动、设备的运动和/或情绪变化的状态。电子设备可以在拍摄过程中基于设置的拍摄条件执行自动拍摄操作，因此电子设备可以自动捕获用户可能错过的对象图像。

Claims (15)

1.一种电子设备，包括：
相机；
显示器；
处理器，与所述相机和显示器电耦接；和
存储器，与所述处理器电耦接，
其中，所述存储器被配置为存储指令，所述指令在被执行时指令所述处理器来：
当执行用户设备拍摄功能时，估计由所述相机获取的图像内的对象的运动，
当未识别出由所述相机获取的图像内的对象的运动时，响应于用户的拍摄请求输入控制所述相机以通过应用第一拍摄条件来捕获第一类型图像，并且
当识别出由所述相机获取的图像内的对象的运动时，控制所述相机以在检测对象的运动的同时通过应用第二拍摄条件来连续捕获第二类型图像。
2.如权利要求1所述的设备，
其中，所述第一拍摄条件和第二拍摄条件包括拍摄间隔时间或曝光时间中的至少一个，以及
其中，所述第二拍摄条件包括比所述第一拍摄条件短的间隔时间或曝光时间中的至少一个。
3.如权利要求1所述的设备，还包括：
传感器，被配置为检测所述电子设备的运动，
其中，所述指令还指令所述处理器在通过所述传感器检测到所述电子设备的运动时，控制所述相机以通过应用第三拍摄条件来捕获第三类型图像。
4.如权利要求1所述的设备，其中，所述指令进一步指令所述处理器在识别出所述拍摄图像内的对象的情绪变化时，控制所述相机以通过应用第四拍摄条件来捕获第四类型图像。
5.如权利要求1所述的设备，其中，所述指令还指令所述处理器来：
将在捕获图像当中的相似的图像成组，
过滤成组的图像以建议包括设置数量的图像的建议图像，并且
存储捕获图像和建议图像。
6.如权利要求1所述的设备，其中所述指令还指令所述处理器来：
在拍摄模式下显示预览图像，并且
基于用户的输入，在所述显示器的第一区域中显示所述预览图像，而在所述显示器的第二区域中显示捕获图像的缩略图图像。
7.如权利要求6所述的设备，其中，所述第二区域包括所述显示器的边缘区域。
8.如权利要求6所述的设备，其中所述指令还指令所述处理器来：
基于用户的输入，在所述显示器上显示所述捕获图像的缩略图图像，并且
区分和显示通过用户选择或所述电子设备中的一个捕获的图像。
9.一种电子设备的方法，所述方法包括：
当执行用户设备拍摄功能时，估计由相机获取的图像内的对象的运动；
当未识别出由相机获取的图像内的对象的运动时，响应于用户的拍摄请求输入控制相机以通过应用第一拍摄条件来捕获第一类型图像；并且
当识别出由相机获取的图像内的对象的运动时，控制相机以在检测对象的运动的同时通过应用第二拍摄条件来连续捕获第二类型图像。
10.如权利要求9所述的方法，
其中，所述第一拍摄条件和第二拍摄条件包括拍摄间隔时间或曝光时间中的至少一个，以及
其中，所述第二拍摄条件包括比所述第一拍摄条件短的间隔时间或曝光时间中的至少一个。
11.如权利要求9所述的方法，还包括以下中的至少一个：
检测所述电子设备的运动，并且当检测到所述电子设备的运动时，控制相机以通过应用第三拍摄条件来捕获第三类型图像；和
识别由相机拍摄的图像内的对象的情绪，并且当识别出对象的情绪变化时，控制相机以通过应用第四拍摄条件来拍摄第四类型图像。
12.如权利要求9所述的方法，其中，控制相机捕获第二类型图像包括：
对捕获图像当中的相似的图像成组；
过滤成组的图像；
建议包括设置数量的经过滤的图像的图像的建议图像；并且
存储所述建议图像。
13.如权利要求9所述的方法，还包括：
在显示器上显示预览图像，并且
基于用户的输入，在显示器的第一区域中显示预览图像，并在显示器的第二区域中显示捕获图像的缩略图图像。
14.如权利要求13所述的方法，其中，所述第二区域包括所述显示器的边缘区域。
15.如权利要求13所述的方法，还包括：
基于用户的输入，在拍摄模式下在显示器上显示捕获图像的缩略图图像，
其中，在显示器上显示的缩略图图像包括通过用户的选择或电子设备中的一个捕获并被区分和显示的图像。
CN201780021199.8A 2016-04-01 2017-03-31 电子设备及其操作方法 Active CN109076159B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160040318A KR102462644B1 (ko) 2016-04-01 2016-04-01 전자 장치 및 그의 동작 방법
KR10-2016-0040318 2016-04-01
PCT/KR2017/003547 WO2017171465A1 (en) 2016-04-01 2017-03-31 Electronic device and operating method thereof

Publications (2)

Publication Number Publication Date
CN109076159A CN109076159A (zh) 2018-12-21
CN109076159B true CN109076159B (zh) 2021-03-26

Family

ID=59961317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780021199.8A Active CN109076159B (zh) 2016-04-01 2017-03-31 电子设备及其操作方法

Country Status (8)

Country Link
US (4) US10681263B2 (zh)
EP (1) EP3420721B1 (zh)
KR (1) KR102462644B1 (zh)
CN (1) CN109076159B (zh)
AU (2) AU2017244245B2 (zh)
BR (1) BR112018069786A2 (zh)
MX (1) MX2018011719A (zh)
WO (1) WO2017171465A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462644B1 (ko) * 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN109691079B (zh) * 2016-09-16 2021-05-14 索尼半导体解决方案公司 成像装置和电子设备
CN107257439B (zh) * 2017-07-26 2019-05-17 维沃移动通信有限公司 一种拍摄方法及移动终端
WO2019058691A1 (ja) * 2017-09-20 2019-03-28 富士フイルム株式会社 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
CN109076263B (zh) * 2017-12-29 2021-06-22 深圳市大疆创新科技有限公司 视频数据处理方法、设备、系统及存储介质
CN108446089B (zh) * 2018-03-22 2021-01-26 京东方科技集团股份有限公司 数据的显示方法、装置及显示器
WO2019204969A1 (en) * 2018-04-23 2019-10-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for automatically switching video capturing and playing back frame rate
KR102485127B1 (ko) 2018-07-06 2023-01-05 삼성전자주식회사 카메라의 방향에 따라 프리뷰 이미지의 위치를 변경하기 위한 전자 장치 및 방법
KR20200040625A (ko) * 2018-10-10 2020-04-20 삼성전자주식회사 사용자의 발화를 처리하는 사용자 단말 및 그 제어 방법
CN110062158A (zh) * 2019-04-08 2019-07-26 北京字节跳动网络技术有限公司 控制拍摄装置的方法、装置、电子设备和计算机可读存储介质
KR102150793B1 (ko) * 2019-04-17 2020-09-01 주식회사 엘지유플러스 사용자 인터페이스를 표시하는 단말 및 이의 동작 방법
DE112021003448T5 (de) * 2020-06-29 2023-07-06 Sony Group Corporation Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm
US20230185919A1 (en) * 2021-12-15 2023-06-15 GM Global Technology Operations LLC System and process using homomorphic encryption to secure neural network parameters for a motor vehicle
US20240221119A1 (en) * 2023-01-04 2024-07-04 Samsung Electronics Co., Ltd. Image-Filtering Interface

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388965A (zh) * 2007-09-14 2009-03-18 索尼株式会社 数据处理装置和数据处理方法
CN101998058A (zh) * 2009-08-20 2011-03-30 三洋电机株式会社 摄像装置和图像处理装置
CN102572238A (zh) * 2010-11-30 2012-07-11 佳能株式会社 摄像设备及其控制方法
CN103227898A (zh) * 2012-01-27 2013-07-31 奥林巴斯映像株式会社 摄像装置
CN104767933A (zh) * 2015-03-13 2015-07-08 北京畅游天下网络技术有限公司 一种具备拍照功能的便携数码设备及筛选照片的方法
CN104881296A (zh) * 2015-06-17 2015-09-02 北京奇虎科技有限公司 基于iOS系统的图片删除方法及装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193980A (ja) * 2002-12-11 2004-07-08 Canon Inc 画像表示装置
JP4325487B2 (ja) * 2004-05-31 2009-09-02 村田機械株式会社 出力画像選択装置
JP4379918B2 (ja) * 2004-11-29 2009-12-09 富士フイルム株式会社 撮影装置及び撮影方法
JP2008022080A (ja) * 2006-07-10 2008-01-31 Canon Inc 撮像装置及び制御方法
WO2009008164A1 (ja) 2007-07-09 2009-01-15 Panasonic Corporation デジタル一眼レフカメラ
JP5039786B2 (ja) 2007-07-23 2012-10-03 パナソニック株式会社 撮像装置
JP4986175B2 (ja) 2007-12-28 2012-07-25 カシオ計算機株式会社 撮像装置及びプログラム
JP2012165407A (ja) 2007-12-28 2012-08-30 Casio Comput Co Ltd 撮像装置及びプログラム
KR101030652B1 (ko) * 2008-12-16 2011-04-20 아이리텍 잉크 홍채인식을 위한 고품질 아이이미지의 획득장치 및 방법
JP5321070B2 (ja) * 2009-01-08 2013-10-23 カシオ計算機株式会社 撮影装置、撮影方法及びプログラム
JP4760928B2 (ja) * 2009-02-13 2011-08-31 カシオ計算機株式会社 撮像装置、連写速度の設定方法及びプログラム
KR101595380B1 (ko) 2009-05-07 2016-02-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP5589527B2 (ja) 2010-04-23 2014-09-17 株式会社リコー 撮像装置および追尾被写体検出方法
JP2012010162A (ja) 2010-06-25 2012-01-12 Kyocera Corp カメラ装置
US8736704B2 (en) 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
US20120243802A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence
US10284776B2 (en) * 2011-11-07 2019-05-07 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method
US9591181B2 (en) * 2012-03-06 2017-03-07 Apple Inc. Sharing images from image viewing and editing application
KR101889932B1 (ko) * 2012-07-25 2018-09-28 삼성전자주식회사 촬영 장치 및 이에 적용되는 촬영 방법
US9019415B2 (en) 2012-07-26 2015-04-28 Qualcomm Incorporated Method and apparatus for dual camera shutter
KR101900097B1 (ko) * 2012-07-30 2018-09-20 삼성전자주식회사 이미지 캡처 방법 및 이미지 캡처 장치
JP5604700B2 (ja) * 2012-10-29 2014-10-15 弘一 関根 動き検出用撮像装置、動き検出カメラおよび動き検出システム
KR20140090318A (ko) * 2013-01-07 2014-07-17 삼성전자주식회사 햅틱 기반 카메라 운용 지원 방법 및 이를 지원하는 단말기
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
KR102045957B1 (ko) * 2013-01-18 2019-11-18 삼성전자 주식회사 휴대단말의 촬영 방법 및 장치
WO2014168833A1 (en) * 2013-04-08 2014-10-16 Shafron Thomas Camera assembly, system, and method for intelligent video capture and streaming
JP6128928B2 (ja) * 2013-04-17 2017-05-17 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
KR102090105B1 (ko) * 2013-07-16 2020-03-17 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
KR102138516B1 (ko) * 2013-10-11 2020-07-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20150078275A (ko) 2013-12-30 2015-07-08 삼성전자주식회사 움직이는 피사체 촬영 장치 및 방법
US10057483B2 (en) * 2014-02-12 2018-08-21 Lg Electronics Inc. Mobile terminal and method thereof
US9628702B2 (en) * 2014-05-21 2017-04-18 Google Technology Holdings LLC Enhanced image capture
US9602728B2 (en) * 2014-06-09 2017-03-21 Qualcomm Incorporated Image capturing parameter adjustment in preview mode
KR102230267B1 (ko) 2014-09-04 2021-03-19 삼성전자주식회사 영상 표시 장치 및 방법
JP5832618B2 (ja) 2014-09-22 2015-12-16 キヤノン株式会社 撮像装置、その制御方法及びプログラム
CN104363381B (zh) * 2014-10-15 2018-03-02 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US20160205291A1 (en) * 2015-01-09 2016-07-14 PathPartner Technology Consulting Pvt. Ltd. System and Method for Minimizing Motion Artifacts During the Fusion of an Image Bracket Based On Preview Frame Analysis
KR102527811B1 (ko) * 2015-12-22 2023-05-03 삼성전자주식회사 타임랩스 영상을 생성하는 장치 및 방법
CN105763797B (zh) * 2016-02-29 2018-05-18 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
KR102462644B1 (ko) * 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
US11687778B2 (en) * 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388965A (zh) * 2007-09-14 2009-03-18 索尼株式会社 数据处理装置和数据处理方法
CN101998058A (zh) * 2009-08-20 2011-03-30 三洋电机株式会社 摄像装置和图像处理装置
CN102572238A (zh) * 2010-11-30 2012-07-11 佳能株式会社 摄像设备及其控制方法
CN103227898A (zh) * 2012-01-27 2013-07-31 奥林巴斯映像株式会社 摄像装置
CN104767933A (zh) * 2015-03-13 2015-07-08 北京畅游天下网络技术有限公司 一种具备拍照功能的便携数码设备及筛选照片的方法
CN104881296A (zh) * 2015-06-17 2015-09-02 北京奇虎科技有限公司 基于iOS系统的图片删除方法及装置

Also Published As

Publication number Publication date
KR20170112763A (ko) 2017-10-12
AU2017244245A1 (en) 2018-09-20
EP3420721A1 (en) 2019-01-02
US11089206B2 (en) 2021-08-10
AU2017244245B2 (en) 2022-03-31
WO2017171465A1 (en) 2017-10-05
AU2022201893B2 (en) 2023-11-23
BR112018069786A2 (pt) 2019-01-29
US20200304709A1 (en) 2020-09-24
US20230370711A1 (en) 2023-11-16
US11743571B2 (en) 2023-08-29
CN109076159A (zh) 2018-12-21
AU2022201893A1 (en) 2022-04-07
US20210337112A1 (en) 2021-10-28
MX2018011719A (es) 2019-01-10
US10681263B2 (en) 2020-06-09
EP3420721A4 (en) 2019-06-12
EP3420721B1 (en) 2022-05-04
KR102462644B1 (ko) 2022-11-03
US20170289444A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
CN109076159B (zh) 电子设备及其操作方法
WO2020171373A1 (en) Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
CN105874776B (zh) 图像处理设备和方法
CN109565551B (zh) 对齐于参考帧合成图像
JP5553141B2 (ja) 画像処理システム、画像処理装置、画像処理方法、およびプログラム
CN113706414B (zh) 视频优化模型的训练方法和电子设备
US11977981B2 (en) Device for automatically capturing photo or video about specific moment, and operation method thereof
WO2021078001A1 (zh) 一种图像增强方法及装置
CN111989711B (zh) 基于自适应前景掩模上采样在彩色图像帧序列中进行对象分割
KR20150005270A (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
WO2016004819A1 (zh) 一种拍摄方法、拍摄装置和计算机存储介质
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
CN113705665B (zh) 图像变换网络模型的训练方法和电子设备
CN114096994A (zh) 图像对齐方法及装置、电子设备、存储介质
KR20160149842A (ko) 영상 처리 방법 및 그 장치
JPWO2020021879A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9117110B2 (en) Face detection-processing circuit and image pickup device including the same
US20220027111A1 (en) Adjusting camera operation for encoded images
CN112655015B (zh) 电子装置及控制该电子装置的方法
CN107087114B (zh) 一种拍摄的方法及装置
JP6668646B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN113744172A (zh) 文档图像的处理方法及装置、训练样本的生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant