CN107636682B - 图像采集装置及其操作方法 - Google Patents

图像采集装置及其操作方法 Download PDF

Info

Publication number
CN107636682B
CN107636682B CN201680026993.7A CN201680026993A CN107636682B CN 107636682 B CN107636682 B CN 107636682B CN 201680026993 A CN201680026993 A CN 201680026993A CN 107636682 B CN107636682 B CN 107636682B
Authority
CN
China
Prior art keywords
region
interest
image
candidate
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680026993.7A
Other languages
English (en)
Other versions
CN107636682A (zh
Inventor
洪贤石
朴尚圭
李泳录
郑珍久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107636682A publication Critical patent/CN107636682A/zh
Application granted granted Critical
Publication of CN107636682B publication Critical patent/CN107636682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)

Abstract

一种图像采集装置，包括：包括显示面板的显示单元，所述显示单元被配置为显示包括至少一个主体的图像；包括检测电路的检测单元，所述检测单元被配置为检测用于在所述图像中设定感兴趣区域的输入；以及控制器，其被配置为从基于所述输入设定的所述感兴趣区域中检测至少一个候选区域，并且基于检测到的所述至少一个候选区域的优先级，将检测到的所述至少一个候选区域中的一个候选区域设定为自动聚焦(AF)区域。

Description

图像采集装置及其操作方法
技术领域
本发明涉及图像采集装置及操作所述图像采集装置的方法，例如，涉及能够精确地在用户期望的区域上进行自动聚焦的图像采集装置，以及操作该图像采集装置的方法。
背景技术
图像采集装置或包含照相机的电子设备通常都包括自动聚焦(AF)功能。AF功能例如可以包括：选择AF功能，将用户指定的区域设为AF区域；脸部检测AF功能，检测出脸部区域并将其设定为AF区域；等等。
然而，对于选择AF功能，如果用户并未精确指定一个特定区域并将其设定为聚焦区域，或者如果图像采集装置并未精确识别用户指定的区域，那么将会设定错误的AF区域。
发明内容
解决问题的方案
本发明提供了图像采集装置及操作所述图像采集装置的方法，所述图像采集装置通过在基于接收到的输入(例如用户输入)设定的预定范围的区域内检测脸部区域或对象区域，并将检测到的区域之一设定为自动聚焦(AF)区域，对用户期望的区域进行精确自动聚焦。
发明的有益效果
根据一个或更多示例实施方式，在基于用户输入而设定的预定范围的区域内检测脸部区域或对象区域，并将检测到的区域之一设定为AF区域，从而对用户想要聚焦的区域精确地进行自动聚焦，由此增强了用户的使用便利性。
此外，还可以对移动对象进行精确自动聚焦，并且如果设定了错误的AF区域，可以基于用户输入来重设新的AF区域。
附图说明
结合附图，根据以下详细描述，本发明上述和/或其他方面将变得显而易见和更易理解，在附图中相同的附图标记代表相同的元素，并且：
图1是示出了图像采集装置的示例的图；
图2是示出了图像采集装置的示例结构的框图；
图3是示出了图像采集装置的示例结构的框图；
图4是示出了图像采集装置的示例结构的框图；
图5A和5B是示出了图像采集装置设定感兴趣区域的示例方法的图；
图6、7、8A和8B是示出了图像采集装置设定自动聚焦区域的示例方法的图；
图9A至9C是示出了图像采集装置重设自动聚焦区域的示例方法的图；
图10A和10B是示出了图像采集装置重设自动聚焦区域的示例方法的图；
图11是示出了图像采集装置设定自动聚焦区域的示例方法的图；
图12A和12B是示出了设定感兴趣区域的大小和形状的示例方法的图；
图13是示出了操作图像采集装置的示例方法的流程图。
最佳实施方式
本发明提供一种图像采集装置及操作所述图像采集装置的方法，所述图像采集装置通过在基于所接收的输入(例如用户输入)设定的预定范围的区域内检测脸部区域或对象区域，并将检测到的区域之一设定为自动聚焦(AF)区域，对用户期望的区域进行精确自动聚焦。
其它方面将部分地在随后的描述中进行阐述，并且部分地从随后的描述中显而易见。
根据示例实施例的一个方面，图像采集装置包括：包括显示面板的显示单元，所述显示单元被配置为显示包括至少一个主体的图像；包括检测电路的检测单元，所述检测单元被配置为检测用于在所述图像中设定感兴趣区域的输入；以及控制器，所述控制器被配置为从基于所述输入设定的所述感兴趣区域中检测至少一个候选区域，并且基于检测到的所述至少一个候选区域的优先级将检测到的所述至少一个候选区域中的一个候选区域设定为自动聚焦(AF)区域。
所述检测单元可被配置为对注视所述显示单元的用户的视线(gaze)进行追踪，并且所述控制器可被配置为基于所述显示单元上与追踪到的用户的视线相交的点来设定所述感兴趣区域。
所述检测单元可以检测触摸所述显示单元的触摸输入，并且所述控制器可以被配置为与所述显示单元上的触摸点相关地设定所述感兴趣区域。
所述控制器可以被配置为基于用于设定所述感兴趣区域的大小和形状中至少一个的输入，来设定所述感兴趣区域的大小和形状中的至少一个。
所述控制器可以被配置为从所述感兴趣区域中检测包括人脸、动物脸、人和动物以外的对象、线和点中的一种或更多种的区域作为候选区域。
当从所述感兴趣区域中检测到一个候选区域时，所述控制器可以被配置为将所述一个候选区域设定为所述AF区域。
当从所述感兴趣区域中检测到两个或更多个候选区域时，所述控制器可以被配置为将所检测到的候选区域中拥有最高优先级的候选区域设定为所述AF区域。
所述检测单元可以检测在设定所述AF区域时移动视线的输入，并且所述控制器可以被配置为将位于所述视线相对于所设定的AF区域移动的方向上的候选区域重新设定为新的AF区域。
所述显示单元可以显示检测到的所述至少一个候选区域，所述控制器可以被配置为，设定基于选择检测到的所述至少一个候选区域中的一个候选区域的输入而选择的检测到的所述至少一个候选区域中的所述一个候选区域。
所述显示单元可显示所设定的AF区域。
所述图像采集装置可进一步包括图像采集单元，所述图像采集单元包括图像采集电路，所述图像采集单元被配置为通过聚焦在所设定的AF区域上来进行图像采集。
根据另一个示例实施方式的一个方面，一种对图像采集装置进行操作的方法包括以下步骤：显示包括至少一个主体的图像；通过检测用于在所述图像中设定感兴趣区域的输入来设定感兴趣区域；从所设定的感兴趣区域中检测至少一个候选区域；以及基于检测到的所述至少一个候选区域的优先级，将检测到的所述至少一个候选区域中的一个候选区域设定为自动聚焦(AF)区域。
通过检测输入来设定感兴趣区域的步骤可以包括：对注视所述显示单元的用户的视线进行追踪；以及与所述显示单元上与所追踪的视线相交的点相关地设定所述感兴趣区域。
通过检测输入来设定感兴趣区域的步骤可以包括：检测触摸所述显示单元的触摸输入；以及与所述显示单元上的触摸点相关地设定所述感兴趣区域。
该方法可进一步包括以下步骤：基于用于设定所述感兴趣区域的大小和形状中的至少一个的输入来设定所述感兴趣区域的大小和形状中的至少一个。
从所设定的感兴趣区域中检测至少一个候选区域的步骤可以包括：从所设定的感兴趣区域中检测包括人脸、动物脸、人和动物以外的对象、线和点中的一种或更多种的区域作为候选区域。
将检测到的所述至少一个候选区域中的一个候选区域设定为AF区域的步骤可以包括：当从所述感兴趣区域中检测到一个候选区域时，将所述一个候选区域设定为所述AF区域。
将检测到的所述至少一个候选区域中的一个候选区域设定为AF区域的步骤可以包括：当从所述感兴趣区域中检测到两个或更多个候选区域时，将检测到的候选区域中拥有最高优先级的候选区域设定为所述AF区域。
该方法可进一步包括以下步骤：检测在设定AF区域时移动视线的输入；将位于所述视线相对于所设定的AF区域移动的方向上的候选区域重新设定为新的AF区域。
该方法可进一步包括以下步骤：显示检测到的所述至少一个候选区域；以及检测选择检测到的所述至少一个候选区域中的一个候选区域的输入，其中，将检测到的所述至少一个候选区域中的一个候选区域设定为AF区域的步骤包括：将所选择的候选区域设定为所述AF区域。
该方法可进一步包括以下步骤：显示所设定的AF区域。
该方法可进一步包括以下步骤：通过在所设定的AF区域上聚焦来进行图像采集。
发明的实施方式
现在将更详细地参考示例实施方式，附图中示出了实例，其中贯穿所有附图，相同的附图标记表示相同的元素。就此而言，当前的示例实施方式可以有不同的形式，而不应当理解为限于此处的文字记载。因此，接下来简单地参照附图对示例实施方式进行描述，以对本发明的各方面进行解释。
下面将对本发明中所使用的术语进行简要描述，然后更详细地描述示例实施方式。
本发明中使用的术语是考虑到与本发明有关的功能在本领域中当前广泛采用的通用术语，但这些术语会根据本技术普通技术人员的意图、先例或本领域中的新技术而改变。同样，特定术语可以任意选择，在这种情况下，说明书中将详细定义其具体含义。因此，本发明所用术语不应当仅作为一个简单的名字来理解，而应基于术语的含义以及本发明的整体描述来理解。
贯穿本发明，应当理解，当某个部件“包括”某个元件时，此部件可以进一步包括其它元件，而不排除这些元件，除非有特定的相反描述。同样，文中所用术语“单元”和“模块”代表用于处理至少一个功能或操作的单元，其可由硬件(如，电路)、固件、软件或硬件和软件的组合来实现。
下面将以本领域普通技术人员容易理解示例性实施方式的方式，参照附图对示例实施方式进行详细描述。然而，本发明可以各种形式实施，而不仅限于示例实施方式。此外，为了清楚和简要，省略了对公知功能和结构的描述，并且贯穿本发明全文，为相同的元素分配了相同的附图标记。文中使用的措辞“和/或”包括相关所列术语中一个或更多个的任意和所有组合。在元素列表之后的诸如“……中的至少一个”这种表述修饰整个元素列表而不修饰列表中的单个元素。
图1是示出了图像采集装置100的示例的图。
参照图1，图像显示装置100可以通过多种方式实施，例如，采集静态图像的数字静态照相机或采集视频图像的数字视频照相机等。此外，图像采集装置100可包括数字单镜头反光(DSLR)照相机或无反照相机等。此外，图像采集装置100可包含以下设备中的至少一种：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、笔记本电脑、上网本电脑、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG-1Audio Layer-3(MP3)播放器、移动医疗设备、可穿戴设备等。图像显示装置100不仅限于上述设备，还可包括具有照相机模块的电子装置，该照相机模块包括镜头和用以采集主体的图像的图像采集器件。
根据一个示例实施方式的图像采集装置100可以包括自动聚焦(AF)功能。AF功能是一种将焦点自动调节到主体上的功能。图像采集装置100可提供多种AF模式。图像采集装置100提供的AF模式的例子可包括，例如，单次自动聚焦(SAF)模式、连续自动聚焦(CAF)模式、多次自动聚焦(MAF)模式以及手动聚焦(MF)模式。
此外，图像采集装置100可包括，例如，触摸式AF模式或视线追踪式AF模式。在触摸式AF模式下，当用户例如用他/她的手指或手写笔等触摸该用户想要聚焦的点时，基于该触摸点来进行聚焦。在视线追踪式AF模式下，当用户注视该用户想要聚焦的点时，基于用户注视的点来进行聚焦。然而，图像采集装置100的AF模式并不限于这些。
根据示例实施方式的图像采集装置100可基于用户输入(如，触摸用户想要聚焦的点的触摸输入或者注视用户想要聚焦的点的视线输入等)来设定具有预定大小和形状的感兴趣区域。图像采集装置100可从所设定的感兴趣区域(例如包括人脸、动物脸、人和动物以外的对象、线(或线的特征)、点(或点的特征)中至少一个的区域)中检测预定区域。图像采集装置100可以将检测到的预定区域之一设定为AF区域，并通过聚焦在该AF区域上进行图像采集。
另外，如图1所示，图像采集装置100可在显示单元上显示AF区域50。
图2是示出了图像采集装置100的示例结构的框图。
参照图2，图像采集装置100可包括(例如包括检测电路的)检测单元140、(例如包括图像采集电路的)图像采集单元110、(例如包括处理电路的)控制器120以及(例如包括显示面板和显示驱动电路的)显示单元130。
根据示例实施方式的检测单元140可检测用于设定感兴趣区域的输入，如用户输入。检测单元140可检测用户的视线输入或触摸输入。例如，检测单元140可包含用于追踪用户视线的照相机。用于追踪用户视线的照相机可采集用户眼睛的图像，并且用户的视线可以基于用户眼睛的图像来追踪。因此，图像采集装置100可检测到显示单元130上所显示的图像(如，取景器图像或实景图像)中用户所注视的点(例如，用户视线持续注视的点)。
另外，检测单元140可包括触摸屏。触摸屏可向用户显示实景图像，以便用户检查要被采集图像的主体的构图及其图像采集条件。当用户在查看触摸屏的同时通过触摸工具，例如手指或手写笔，触摸该用户想要聚焦的点时，检测单元140可检测到触摸点。
控制器120可以被配置为控制图像采集装置100的整体操作。控制器120可以被配置为向图像采集装置100的元件提供控制信号，由此控制图像采集装置100的元件。
根据示例实施方式的控制器120可以被配置为，基于检测单元140检测到的输入来设定感兴趣区域。例如，控制器120可以被配置为，与用户注视的点相关地设定具有预设形状和大小的感兴趣区域。控制器120可以被配置为与用户触摸的点相关地设定具有预设形状和大小的感兴趣区域。
另外，当设定了感兴趣区域时，控制器120可以被配置为，从所设定的感兴趣区域中检测至少一个候选区域。例如，控制器120可以被配置为，从感兴趣区域中检测包含人脸、动物脸、人脸和动物脸以外的对象、线(或线的特征)、点(或点的特征)等中的一个或更多个的区域，作为候选区域。
控制器120可以被配置为，将检测到的候选区域之一设定为AF区域。例如，当感兴趣区域中包含一个候选区域时，控制器120可以被配置为，将该候选区域设定为AF区域。当感兴趣区域中包含两个或更多个候选区域时，控制器120可以被配置为，基于这些候选区域的优先级将拥有最高优先级的候选区域设定为AF区域。例如，候选区域的优先级可基于包含在候选区域中的对象的类型来确定。例如包括人脸的候选区域的优先级高于包括动物脸的候选区域的优先级。包含动物脸的候选区域的优先级高于所包含的对象既不是人脸也不是动物脸的候选区域的优先级。然而，示例实施方式并不限于此，候选区域的优先级例如可基于用户输入来设定。
显示单元130可显示图像采集装置100的工作状态或者利用图像采集装置100采集的图像的信息。显示单元130例如可包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器、电子纸显示器等。然而，显示单元130并不仅限于此。
根据示例实施方式的显示单元130可以包括触摸屏。另外，显示单元130可为用户显示实景图像，以便用户检查要图像要被采集的主体的构图和图像采集条件。另外，显示单元130可显示所设定的AF区域。
图像采集单元110是一种从入射光生成电信号图像的元件，可包括聚焦透镜和驱动该聚焦透镜的透镜驱动器。聚焦透镜用于调节图像的焦点，可进行移动来减小或增大焦距，以便将焦点调节到所设定的AF区域上。聚焦透镜可由透镜驱动器驱动来进行移动。透镜驱动器可包括各种类型的电机，例如步进电机或压电电机。
此外，图像采集单元110可以包括图像传感器。图像传感器接收通过透镜入射的光来生成图像。
图3是示出了图像采集装置200的示例结构的框图。
参照图3，图像采集装置200可以包括(例如包括检测电路的)检测单元260、(例如包括处理电路的)控制器270、(例如包括显示面板的)显示单元264、(例如包括图像采集电路的)图像采集单元210，并且可以进一步包括(例如包括处理电路的)模拟-数字信号处理器221、(例如包括处理电路的)图像信号处理器220、存储器230、存储/读取控制器240、存储卡242、(例如包括存储器的)程序存储单元250、(例如包括通信电路的)通信单元290、(例如包括输入电路的)操作单元280和(例如包括显示驱动电路的)显示驱动器262。
图3中的检测单元260对应于图2中的检测单元140，图3中的控制器270对应于图2中的控制器120，图3中的显示单元264对应于图2中的显示单元130，图3中的图像采集单元210对应于图2中的图像采集单元110，因此将省略重复性描述。
参照图3，图像采集单元210是一种根据入射光生成图像，并将该图像作为电信号提供的元件，其包括透镜211、透镜驱动器212、光圈213、光圈驱动器215、图像传感器218以及图像传感器控制器219。
透镜211可以包括多个透镜组，每个透镜组包括多个透镜。透镜211的位置可以利用透镜驱动器212进行调节。透镜驱动器212可以基于控制器270提供的控制信号来调节透镜211的位置。透镜驱动器212可以通过调节透镜211的位置来调节焦距，也可进行自动聚焦、缩放调节、聚焦调节等。
光圈驱动器215可调节光圈213的开度，以调节入射在图像传感器218上的光量。
穿过透镜211和光圈213的光信号会在图像传感器218的光接收表面上形成主体的图像。图像传感器218被配置用于将光信号转换为电信号，可以是电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体图像传感器(CIS)等。图像传感器控制器219可以调节图像传感器218的灵敏度等。图像传感器控制器219可以被配置为，基于控制信号来控制图像传感器218。控制信号可以是由实时输入的图像信号自动生成的，或者是例如通过用户操作手动输入的。
模拟信号处理器221可对从图像传感器218提供的模拟信号进行降噪、增益控制、波形整形和模数转换(ADC)。
图像信号处理器220可对通过在模拟信号处理器221中处理模拟信号获得的图像数据信号执行特定的功能。例如，为实现图像质量增强和特殊效果，图像信号处理器220可以对输入的图像数据信号进行图像信号处理，例如降噪、伽马校正、滤色器阵列插值、颜色矩阵、颜色校正、颜色增强、白平衡、亮度平滑以及颜色均衡(color shading)。图像信号处理器220可将输入的图像数据压缩为图像文件，或从图像文件中重构出图像数据。图像压缩格式可以是可逆的或不可逆的。例如，静态图像可压缩为联合图像压缩组(JPEG)格式或JPEG 2000格式。对于录制的视频，多个帧可以被压缩为符合移动图像专家组(MPEG)标准的视频文件。例如，可以按照可交换图像文件格式(Exif)标准来生成图像文件。
图像信号处理器220可根据图像传感器218产生的成像信号来生成视频文件。成像信号可以是由图像传感器218生成，然后经模拟信号处理器221处理的信号。图像信号处理器220可根据成像信号来生成要包含于视频文件中的多个帧，按照适当的标准(例如，MPEG4，H.264/AVC或windows media video(WMV))对这些帧进行编码以压缩视频，并利用压缩的视频生成视频文件。视频文件可按照多种格式生成，如mpg、mp4、3gpp、avi、asf或mov。图像信号处理器220可以将生成的第一图像输出到控制器270。
从图像信号处理器220输出的图像数据经由存储器230或直接被输入到存储/读取控制器240，存储/读取控制器240基于来自用户的信号或自动地将图像数据存储到存储卡242中。另外，存储/读取控制器240可以从存储在存储卡242中的图像文件读取与图像有关的数据，并经由存储器230或其他路径将该数据输入至显示驱动器，从而在显示单元264上显示图像。存储卡242可以是可插拔的或永久安装于图像采集装置200内。例如，存储卡242可以是闪存，如安全数字(SD)卡等。
此外，图像信号处理器220可对输入的图像数据进行锐化处理、色度处理、模糊处理、边缘增强处理、图像判读处理、图像识别处理、图像效果处理等。图像识别处理可以包括脸部识别处理和场景识别处理。图像信号处理器220可进行图像信号处理，以将图像数据显示在显示单元上。例如，图像信号处理器220可进行亮度级调节、颜色校正、对比度调节、轮廓增强调节、分屏、字符图像生成以及图像合成。
同时，经图像信号处理器220处理的信号可直接或经由存储器230输入到控制器270。存储器230作为图像采集装置200的主存储器，并临时存储操作过程中图像信号处理器220或控制器270所需的信息。程序存储单元250可存储对图像采集装置200进行驱动的程序，例如操作系统或应用系统等。
显示单元264可显示图像采集装置100的操作状态或与利用图像采集装置200采集的图像有关的信息。显示驱动器262可以为显示单元264提供驱动信号。
控制器270可以被配置为对图像采集装置200的整体操作进行控制。控制器270可以被配置为，向图像采集装置200的元件提供控制信号以控制图像采集装置200的元件。
控制器270可以被配置为对输入的图像信号进行处理，并基于经处理的图像信号或外部输入信号来控制图像采集装置200的元件。控制器270可以是一个或更多个处理器。这一个或更多个处理器可由多个逻辑门的阵列来实现，或者可以由通用微处理器与存储有可在通用微处理器中执行的程序的存储器的组合来实现。此外，对于本领域的普通技术人员显而易见的是，可以使用其它类型的硬件来实现这一个或更多个处理器，并且处理器可包括一个或更多个内核。
控制器270可以被配置为：通过执行存储在程序存储单元250中的程序或使用单独的模块，来生成用于控制自动聚焦、缩放调节、聚焦调节、自动曝光补偿等的控制信号；将控制信号提供给光圈驱动器215、透镜驱动器212和图像传感器控制器219；以及对图像采集装置200的元件(如快门和频闪仪)的整体操作进行控制。
此外，控制器270可与外部监视器连接，并被配置为对图像信号处理进行控制，以使从图像信号处理器220输入的图像信号被显示在外部监视器上。控制器270可以被配置为，将通过图像信号处理获得的图像数据发送至外部监视器，以使与图像数据对应的图像在外部监视器上显示。
操作单元280可以允许用户输入多种控制信号。操作单元280可以包括多种功能按钮，例如：快门释放按钮，其被配置为输入快门释放信号，通过使图像传感器218曝光预定时长来采集图像；电源按钮，其被配置为输入控制信号以控制图像采集装置200的电源开/关状态；缩放按钮，其被配置为基于输入来扩大或缩小视角；模式选择按钮；以及被配置为调节图像采集设定值的其他按钮。只要操作单元280允许用户输入控制信号，操作单元280可以实现为任何形式，如按钮、键盘、触摸板、触摸屏或遥控器等。
通信单元290可以包括例如网络接口卡(NIC)或调制解调器等，并且可以允许图像采集装置200经由有线或无线网络与外部设备进行通信。
图4是示出了图像采集装置300的示例结构的框图。
参照图4，图像采集装置300可以包括至少一个处理器(如，应用处理器(AP))310、(例如包括通信电路的)通信模块320、用户识别模块324、存储器330、(例如包括至少一个传感器的)传感器模块340、(例如包括输入电路的)输入设备350、(例如包括显示面板和显示驱动电路的)显示器360、(例如包括接口电路的)接口370、音频模块380、照相机模块391、电源管理模块395、电池396、指示器397和电机398。
处理器310可以被配置为，通过驱动例如操作系统或应用程序来控制与处理器310连接的多个硬件或软件元件，并且可以进行各种数据处理和计算。处理器310可实现为例如单片系统(SoC)。根据示例实施方式，处理器310可进一步包括图形处理单元(GPU)和/或图像信号处理器。处理器310可包括其他模块(例如，蜂窝模块321)的至少一些元件。处理器310可以被配置为，将从至少一个其他元件(如，非易失性存储器)接收到的命令或数据加载到易失性存储器中，处理这些命令或数据，并将各种数据存储在非易失性存储器中。
例如，通信模块320可包括蜂窝模块321、Wi-Fi模块323、蓝牙模块(BT)325、全球导航卫星系统(GNSS)模块327(如，GPS模块、GLONASS模块、BeiDou模块或Galileo模块)、近场通信(NFC)模块328和射频(RF)模块329。
例如，存储器330可包括内部存储器332或外部存储器334。例如，内部存储器332可包括以下存储器中的至少一种：易失性存储器(如，动态RAM(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))、非易失性存储器(如，一次可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM或者闪速ROM)、闪存(如，NAND闪存或NOR闪存)、硬盘驱动器和固态驱动器(SSD))等。
外部存储器334可进一步包括闪存驱动器，如紧凑型闪存(CF)、安全数字(SD)卡、微安全数字(Micro-SD)卡、迷你安全数字(Mini-SD)卡、极端数字(xD)卡、多媒体(MMC)卡或记忆棒等。外部存储器334可以经由多种接口功能性和/或物理性地与图像采集装置300相连接。
例如，传感器模块340可测量物理量或检测图像采集装置300的操作状态，并将测量到的或检测到的信息转换为电信号。传感器模块340例如可以包括手势传感器340A、陀螺仪传感器340B、气压传感器340C、磁性传感器340D、加速度传感器340E、握持传感器340F、接近传感器340G、颜色传感器340H(如，红绿蓝(RGB)传感器)、生物特征识别传感器340I、温度/湿度传感器340J、照度传感器340K以及紫外(UV)传感器340M中的至少一种。传感器模块340可进一步包括控制电路以控制其中所包括的至少一个传感器。在示例实施方式中，图像采集装置300可进一步包括被配置为处理器310的一部分或配置为单独元件的处理器来控制传感器模块340，由此当处理器310处于休眠模式时控制传感器模块340。
输入设备350例如可包括触摸面板352、(数字)笔传感器354、键356或者超声输入设备358。触摸面板352例如可使用静电法、电阻法、红外法、超声法等中的至少一种。此外，触摸屏352可进一步包括控制电路。触摸面板352可进一步包括触觉层以便为用户提供触觉响应。
(数字)笔传感器354例如可以是触摸面板的一部分或包括额外的识别层(recognition sheet)。键356例如可包括物理按钮、光学键或键盘。超声波输入设备358可检测经由麦克风(如，麦克风388)在输入设备中生成的超声波，并检查与检测到的超声波相对应的数据。
显示器360可包括面板362、全息设备364或投影仪366。面板362可以实现为例如柔性的、透明的或可穿戴的面板。面板362也可以与触摸面板352形成为一个模块。
接口370例如可包括高清多媒体接口(HDMI)372、通用串行总线(USB)374、光学接口376或D-超小型(D-sub)接口378。
音频模块380例如可以将声音转换为电信号，并且反之亦然。音频模块380可处理经由例如扬声器382、接收器384、耳机386或麦克风388输入或输出的声音信息。
照相机模块391可采集例如静态图像或视频图像。在示例实施方式中，照相机模块391可包括至少一个图像传感器(如，前传感器或后传感器)、镜头、图像信号处理器(ISP)或闪光灯(如，LED或氙灯)。
电源管理模块395例如可进行图像采集装置300的电源管理。根据示例实施方式，电源管理模块395可包括电源管理集成电路(PMIC)、充电器集成电路(IC)、或者电池电量计。PMIC可以使用有线和/或无线充电方式。电池电量计例如可测量电池396的剩余电量，或充电过程中电池396的电压、电流或温度。
指示器397可显示图像采集装置300或其元件(如，处理器310)的预定状态，例如，其启动状态、消息状态或充电状态。电机398可将电信号转换为机械振动，并产生振动或触觉效应等。
此处描述的每个元件都可由一个或多个部件形成，元件的名字可以基于图像采集装置的类型而有所不同。在各示例实施方式中，图像采集装置可包括本公开所描述的元件中的至少一个，也可从中省去一些元件或额外再加入一些元件。同样，根据各种示例实施方式的图像采集装置的一些元件可组合成一个整体，并执行它们彼此组合之前各元件的功能。
图5A和5B是待参照来示出图像采集装置100借以设定感兴趣区域的示例方法的图。
参照图5A，图像采集装置100例如可以追踪用户的视线以设定感兴趣区域。
根据示例实施方式的图像采集装置100可包括取景器410。取景器410可在取景器410中所包括的显示单元上为用户显示取景器图像420，以便用户可以检查要被采集图像的主体的构图和图像采集条件。另外，取景器410可包括视线追踪照相机，该视线追踪照相机能够对注视着显示在显示单元上的取景器图像420的用户的视线进行追踪。
视线追踪照相机可采集用户眼睛的图像，用户的视线可利用用户眼睛的图像来追踪。图像采集装置100可检测所追踪的用户视线在显示单元上显示的取景器图像420中所停留的点430(用户注视的点)，并可与点430相关地设定例如具有预设大小和形状的感兴趣区域440。例如，如图5A所示，感兴趣区域440可以是以点430为圆心、半径为R的圆。然而，感兴趣区域440的形状并不限于此。
参照图5B，图像采集装置100可检测用户的触摸输入来设定感兴趣区域。
图像采集装置100可包括触摸屏。触摸屏可以为用户显示实景图像425以使用户可以检查要被采集图像的主体的构图和图像采集条件。
图像采集装置100可以在触摸屏上所显示的实景图像425中检测用户触摸的点450，并可与点450相关地设定例如具有预设大小和形状的感兴趣区域460。例如，感兴趣区域460可以是例如以点450为圆心、半径为R的圆。然而，感兴趣区域460的形状并不限于此。
图6、7、8A和8B为要参照来示出图像采集装置100借以设定AF区域的示例方法的图。
参照图6，设定感兴趣区域510时，图像采集装置100可从感兴趣区域510中检测至少一个候选区域。例如，图像采集装置100可从感兴趣区域510中检测包含人脸、动物脸、人脸和动物脸以外的对象、线(或线的特征)或点(或点的特征)等的区域，作为候选区域。
用于检测人脸的算法、用于检测动物脸的算法、用于检测其它对象的算法、用于检测线或点等的算法可预先存储在图像采集装置100中，图像采集装置100可利用所存储的这些算法来检测候选区域。
如图6所示，当从感兴趣区域510中检测到一个候选区域，此处为第一区域520，作为候选区域时，图像采集装置100可将该第一区域520设定为AF区域。
另一方面，参照图7，可以从感兴趣区域中检测两个或更多个候选区域。例如，如图7所示，图像采集装置100可以从感兴趣区域610中检测第一区域621、第二区域622和第三区域633。从第一区域621到第三区域623，每个区域都有一个优先级。这些优先级可以在图像采集装置100中预先设定，也可基于用户输入来改变。
此外，根据示例实施方式的候选区域的优先级可以基于候选区域中所包含的对象的类型来确定。例如，包括人脸的候选区域的优先级可以高于包含动物脸的候选区域的优先级。或者，包含动物脸的候选区域的优先级可以高于包含人脸和动物脸以外的对象的候选区域的优先级。
在图7中，由于第一区域621为包含人脸的区域，第二区域622为包含动物脸的区域，第三区域623为包含人脸和动物脸以外的对象(如，植物)的区域，所以图像采集装置100可将第一区域621到第三区域623当中拥有最高优先级的第一区域621设定为AF区域。
参照图8A，从感兴趣区域710中检测到的候选区域可以拥有相同的优先级。例如，图像采集装置100可能从感兴趣区域710中检测到第一区域721和第二区域722作为候选区域。第一区域721可能为包含猫脸的区域，第二区域722可能为包含小狗脸的区域。第一区域721和第二区域722均包含动物的脸，可能拥有相同的优先级。
当存在两个或更多个拥有最高优先级的候选区域时，根据示例实施方式的图像采集装置100可分析AF区域在先前时间点的几帧中的路径，并将与所分析的路径最接近的候选区域设定为AF区域。下面将参照图8B给出更详细的描述。
参照图8B，假定当前时刻为t+2，图像采集装置100可以通过检测时刻t处帧731中的AF区域741和时刻t+1处帧732中的AF区域742，来分析AF区域的移动路径。图像采集装置100可以将第一区域721和第二区域722中相对更接近AF区域741和742之间的路径的第二区域722设定为AF区域，其中AF区域741和742是之前的AF区域。
或者，当存在两个或更多个拥有最高优先级的候选区域时，图像采集装置100可将与先前时间点的几帧中的AF区域更接近的候选区域设定为AF区域。例如，图像采集装置100可将相比第一区域721，更接近时刻t处帧731中的AF区域741和时刻t+1处帧732中的AF区域742的第二区域722设定为AF区域。
图9A到图9C是要参照来示出图像采集装置借以重新设定AF区域的示例方法的图。
参照图9A，图像采集装置100可从感兴趣区域810中检测第一区域821、第二区域822和第三区域823作为候选区域。图像采集装置100可从第一区域821、第二区域822和第三区域823当中，将拥有最高优先级的第一区域设定为AF区域。然而，被设定为AF区域的第一区域821可能并不是用户期望的AF区域。在本例中，图像采集装置100可基于用户输入来重新设定新的AF区域。
根据示例实施方式的图像采集装置100可接收用于指定要重新设定的AF区域相对于当前AF区域的方向的用户输入。例如，当第一区域821被设定为当前AF区域时，如果要将第二区域822设定为新的AF区域，则用户可将他/她的视线沿着第一方向831(向着右下的方向)从第一区域821到第二区域822移动预定次数。如图9B所示，当检测到在第一方向831(向着右下的方向)上移动用户视线预定次数或更多次的输入时，图像采集装置100可将位于所检测到的移动方向(第一方向831)上的候选区域(第二区域822)设定为新的AF区域。
此外，当第一区域821被设定为当前AF区域时，如果要将第三区域823设定为新的AF区域，则用户可将他/她的视线沿着第二方向832(向着左下的方向)从第一区域821到第三区域823移动预定次数或更多次。如图9C所示，当检测到在第二方向832(向着左下的方向)上移动用户视线预定次数或更多次的输入时，图像采集装置100可将位于所检测到的移动方向(第二方向832)上的候选区域(第三区域823)设定为新的AF区域。
或者，用户可以利用操作单元280中所包括的四向键，将AF区域从第一区域821移动到第二区域822，或从第一区域821移动到第三区域823。下面将参照图10A和图10B进行更详细的描述。
图10A和10B是要参照来示出图像采集装置借以重新设定AF区域的示例方法的图。
当检测到用于指定要重新设定的AF区域相对于当前AF区域的方向的方向键输入时，根据示例实施方式的图像采集装置100可将位于所检测到的方向上的候选区域重新设定为新的AF区域。
参照图10A，图像采集装置100可从感兴趣区域910中检测第一区域921、第二区域922和第三区域923作为候选区域。图像采集装置100可从第一区域921、第二区域922和第三区域923当中，将拥有最高优先级的第一区域921设定为AF区域。
如果第一区域921不是用户期望的AF区域，则用户可按压四向键930的指示要重新设定的AF区域相对于当前AF区域的方向的方向键。图像采集装置100可检测用户的方向键输入以将位于所检测到的方向上的候选区域重新设定为新的AF区域。
例如，当第一区域921被设定为当前AF区域时，如果要将第二区域922设定为新的AF区域，则用户可按压四向键930的右向键和向下键。如图10B所示，通过检测右向键输入和向下键输入，图像采集装置100可将位于右下方的第二区域922重新设定为新的AF区域。
图11是要参照来示出图像采集装置借以设定AF区域的示例方法的图。
参照图11，根据示例实施方式的图像采集装置100可将从感兴趣区域中检测到的候选区域以及这些候选区域的优先级显示在显示单元130上。
例如，图像采集装置100可从感兴趣区域1010中检测第一区域1021、第二区域1022和第三区域1023作为候选区域。在检测到的候选区域(第一区域1021、第二区域1022和第三区域1023)当中，包含人脸的第一区域1021的优先级可以比包含动物脸的第二区域1022和包含人脸和动物脸以外的对象(例如，花)的第三区域1023的优先级高，第二区域1022的优先级可以比第三区域1023的优先级高，而第三区域1023可以拥有最低的优先级。
图像采集装置100可在显示单元130上显示第一区域1021、第二区域1022、第三区域1023及其各自的优先级。优先级可以用数字显示。例如，数字“1”可显示在拥有最高优先级的第一区域1021中，数字“2”可显示在与第一区域1021相比拥有次高优先级的第二区域1022中，数字“3”可显示在与第二区域1022相比有次高优先级的第三区域1023中。
同时，图像采集装置100可将候选区域当中拥有最高优先级的第一区域1021设定为AF区域。或者，图像采集装置100可将基于用户输入(例如，触摸候选区域之一的输入)而选择的候选区域设定为AF区域，所述用户输入用于选择所显示的候选区域之一。
在第一区域1021被设定为当前区域的情况下，当检测到四向键1030的输入时，图像采集装置100可将另一候选区域重新设定为新的AF区域。例如，在第一区域1021被设定为当前AF区域的情况下，当检测到按压四向键1030的右向键的输入时，图像采集装置100可将相比第一区域1021拥有次高优先级的第二区域1022重新设定为新的AF区域。另外，在第二区域1022被设定为当前AF区域的情况下，当检测到按压四向键1030的右向键的输入时，图像采集装置100可将相比第二区域1022拥有次高优先级的第三区域1023重新设定为新的AF区域。
另一方面，在第三区域1023被设定为当前AF区域的情况下，当检测到按压四向键1030的左向键的输入时，图像采集装置100可将相比第三区域1023拥有次低优先级的第二区域1022设定为新的AF区域。另外，在第二区域1022被设定为当前AF区域的情况下，当检测到按压四向键1030的左向键的输入时，图像采集装置100可将相比第二区域1022拥有次低优先级的第一区域1021重新设定为新的AF区域。
尽管参照图11描述了按压右向键和左向键的输入，但是同样也可经由按压向上键或向下键的输入来重新设定AF区域。
图12A和12B是要参照来示出设定感兴趣区域的大小和形状的示例方法的图。
参照图12A和12B，图像采集装置100可基于用户输入来改变感兴趣区域的大小和形状。
在进入用于设定感兴趣区域的菜单后，用户可使用例如四向键1150来改变感兴趣区域的大小和形状。例如，当以点1110为中心水平扩展当前设定的感兴趣区域1120的大小时，用户可按压右向键。当检测到右向键输入时，图像采集装置100可水平扩展感兴趣区域1120的大小，以显示如图12B所示的大小和形状已发生了改变的感兴趣区域1140。
另一方面，当以点1110为中心在水平方向上缩小当前设定的感兴趣区域1120的大小时，用户可按压左向键。当检测到左向键输入时，图像采集装置100可缩小如图12B所示的感兴趣区域1120的大小，以显示大小和形状已发生了改变的感兴趣区域1130。
另外，虽然没有图示，但是当检测到向上键输入时，图像采集装置100可垂直扩展感兴趣区域的大小，而当检测到向下键输入时，图像采集装置100可垂直缩小感兴趣区域的大小。
参照图12所描述的方法仅为一个示例实施方式，本发明并不限于此，图像采集装置100可通过检测各种用户输入来改变感兴趣区域的大小和形状。
图13是示出了操作图像采集装置的示例方法的流程图。
参照图13，在操作S1210中，图像采集装置100可在显示单元上显示包括至少一个主体的图像。
例如，图像采集装置100可在显示单元上向用户显示实景图像或取景器图像，以使用户可以查看要被采集图像的主体的构图和图像采集条件。
在操作S1220中，图像采集装置100可通过检测设定感兴趣区域的用户输入来设定感兴趣区域。
例如，图像采集装置100可检测用户的视线在显示单元所显示的图像(例如，实景图像或取景器图像)上停留的点(用户注视的点)，并且可与检测到的点相关地设定具有预定大小和预定形状的感兴趣区域。或者，图像采集装置100可检测用户在触摸屏所显示的实景图像中所触摸的点，并与检测到的点相关地设定感兴趣区域。
在操作S1230中，图像采集装置100可从设定的感兴趣区域中检测至少一个候选区域。
例如，图像采集装置100可以从设定的感兴趣区域中检测包含例如人脸、动物脸、人和动物以外的对象、线(或线的特征)或点(或点的特征)等的预定区域。
用于检测人脸的算法、用于检测动物脸的算法、用于检测其它对象的算法、用于检测线或点的算法可预先存储在图像采集装置100中，图像采集装置100可利用所存储的算法来检测候选区域。
在操作S1240中，图像采集装置100可基于候选区域的优先级将检测到的候选区域之一设定为AF区域。
例如，当感兴趣区域中包含一个候选区域时，图像采集装置100可将该候选区域设定为AF区域。或者，当感兴趣区域中包含两个或更多个候选区域时，图像采集装置100可基于候选区域的优先级将拥有最高优先级的候选区域设定为AF区域。此处，候选区域的优先级可基于候选区域中所包括的对象的类型来确定。例如包括人脸的候选区域的优先级可以高于包括动物脸的候选区域的优先级。或者，包括动物脸的候选区域的优先级可以高于包括人脸和动物脸以外的对象的候选区域的优先级。然而，候选区域的优先级并不限于此。
另外，图像采集装置100可在显示单元上显示所设定的AF区域，并驱动聚焦透镜聚焦在所设定的AF区域上。
此处阐述的根据示例实施方式的操作图像形成装置的方法可实现为程序指令，该程序指令可由各种计算单元执行，并记录在非暂态计算机可读记录介质中。非暂态计算机可读记录介质的示例可包括程序指令、数据文件和数据结构中的个体或其组合。记录在非暂态计算机可读记录介质中的程序指令可以是针对本发明而特殊设计和配置的，或者也可以是计算机软件领域中普通技术人员公知并可用的。非暂态计算机可读记录介质的示例可包括磁性介质(例如，硬盘、软盘、磁带等)、光学介质(例如，光盘-只读存储器(CD-ROM)、数字多用途盘(DVD)等)、磁光介质(如，软式光盘等)以及专门配置成存储和执行程序指令的硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例不仅可包括由编译器给出的机器语言代码，也可以包括计算机使用解释器可以执行的高级代码。
根据一个或更多示例实施方式，在基于用户输入而设定的预定范围的区域内检测脸部区域或对象区域，将检测到的区域之一设定为AF区域，从而在用户期望聚焦的区域上进行精确自动聚焦，并提高用户使用便利性。
此外，同样可以对运动对象进行精确自动聚焦，如果设定了错误的AF区域，则可以基于用户输入来重新设定新的AF区域。
应当理解，此处描述的示例实施方式应该视为仅仅是描述性的，而不是出于限制的目的。每个示例实施方式中的特征或方面的描述通常都应被认为可用于其它示例实施方式中的其它相似特征或方面。
尽管已经参照附图描述了一个或更多个示例实施方式，然而本领域普通技术人员将理解，在不脱离由所附权利要求限定的本发明的主旨和范围的前提下，可以对所述示例实施方式进行各种形式和细节上的改变。

Claims (15)

1.一种图像采集装置，包括：
包括显示面板的显示单元，所述显示单元被配置为显示包括至少一个主体的图像；
包括检测电路的检测单元，所述检测单元被配置为检测用于将显示的图像的一部分设定为感兴趣区域的输入；以及
控制器，所述控制器被配置为：
在基于所述输入的所述感兴趣区域中检测至少一个候选区域，以及
当确定检测到具有最高优先级的两个或更多个候选区域时，基于哪个候选区域最接近在所述图像的先前帧中设定的自动聚焦区域的路径，将检测到的候选区域中的一个候选区域设定为所述自动聚焦区域。
2.根据权利要求1所述的图像采集装置，其中，所述检测单元被配置为对注视所述显示单元的用户的视线进行追踪；并且
所述控制器被配置为基于所述显示单元上与追踪到的用户的视线相交的点来设定所述感兴趣区域。
3.根据权利要求1所述的图像采集装置，其中，所述检测单元被配置为检测触摸所述显示单元的触摸输入；并且
所述控制器被配置为与所述显示单元上的触摸点相关地设定所述感兴趣区域。
4.根据权利要求1所述的图像采集装置，其中，所述控制器被配置为基于用于设定所述感兴趣区域的大小和形状中的至少一个的输入，来设定所述感兴趣区域的大小和形状中的至少一个。
5.根据权利要求1所述的图像采集装置，其中，所述控制器被配置为从所述感兴趣区域中检测包括人脸、动物脸、人和动物以外的对象、线和点中的一种或更多种的区域作为候选区域。
6.根据权利要求1所述的图像采集装置，其中，当从所述感兴趣区域中检测到一个候选区域时，所述控制器被配置为将所述一个候选区域设定为所述自动聚焦区域。
7.根据权利要求1所述的图像采集装置，其中，当从所述感兴趣区域中检测到两个或更多个候选区域时，所述控制器被配置为将检测到的候选区域中拥有最高优先级的候选区域设定为所述自动聚焦区域。
8.根据权利要求1所述的图像采集装置，其中，所述检测单元被配置为检测在设定所述自动聚焦区域时移动视线的输入；并且
所述控制器被配置为将位于所述视线相对于所设定的自动聚焦区域移动的方向上的候选区域重新设定为新的自动聚焦区域。
9.一种对图像采集装置进行操作的方法，所述方法包括以下步骤：
显示包括至少一个主体的图像；
通过检测用于将显示的图像的一部分设定为感兴趣区域的输入，设定感兴趣区域；
在所设定的感兴趣区域中检测至少一个候选区域；以及
当确定检测到具有最高优先级的两个或更多个候选区域时，基于哪个候选区域最接近在所述图像的先前帧中设定的自动聚焦区域的路径，将检测到的候选区域中的一个候选区域设定为所述自动聚焦区域。
10.根据权利要求9所述的方法，其中，通过检测输入来设定感兴趣区域的步骤包括：经由显示单元来追踪视线；以及与所述显示单元上与所追踪的视线相交的点相关地设定所述感兴趣区域。
11.根据权利要求9所述的方法，其中，通过检测输入来设定感兴趣区域的步骤包括：检测触摸显示单元的触摸输入；以及与所述显示单元上的触摸点相关地设定所述感兴趣区域。
12.根据权利要求9所述的方法，还包括以下步骤：基于用于设定所述感兴趣区域的大小和形状中的至少一个的输入，来设定所述感兴趣区域的大小和形状中的至少一个。
13.根据权利要求9所述的方法，其中，从所设定的感兴趣区域中检测至少一个候选区域的步骤包括：从所设定的感兴趣区域中检测包括人脸、动物脸、人和动物以外的对象、线和点中的一种或更多种的区域作为候选区域。
14.根据权利要求9所述的方法，其中，将检测到的所述至少一个候选区域中的一个候选区域设定为自动聚焦区域的步骤包括：当从所述感兴趣区域中检测到一个候选区域时，将所述一个候选区域设定为所述自动聚焦区域。
15.根据权利要求9所述的方法，其中，将检测到的所述至少一个候选区域中的一个候选区域设定为自动聚焦区域的步骤包括：当从所述感兴趣区域中检测到两个或更多个候选区域时，将检测到的候选区域中拥有最高优先级的候选区域设定为所述自动聚焦区域。
CN201680026993.7A 2015-07-20 2016-04-29 图像采集装置及其操作方法 Active CN107636682B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0102408 2015-07-20
KR1020150102408A KR102429427B1 (ko) 2015-07-20 2015-07-20 촬영 장치 및 그 동작 방법
PCT/KR2016/004493 WO2017014415A1 (en) 2015-07-20 2016-04-29 Image capturing apparatus and method of operating the same

Publications (2)

Publication Number Publication Date
CN107636682A CN107636682A (zh) 2018-01-26
CN107636682B true CN107636682B (zh) 2021-12-28

Family

ID=57834098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680026993.7A Active CN107636682B (zh) 2015-07-20 2016-04-29 图像采集装置及其操作方法

Country Status (5)

Country Link
US (1) US10511758B2 (zh)
EP (1) EP3326360B1 (zh)
KR (1) KR102429427B1 (zh)
CN (1) CN107636682B (zh)
WO (1) WO2017014415A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6731616B2 (ja) * 2016-06-10 2020-07-29 パナソニックＩｐマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
JP7363767B2 (ja) * 2018-03-29 2023-10-18 ソニーグループ株式会社 画像処理装置と画像処理方法およびプログラム
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
CN108898604A (zh) * 2018-06-28 2018-11-27 上海连尚网络科技有限公司 用于处理图像的方法和设备
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
JP7113364B2 (ja) * 2018-10-18 2022-08-05 パナソニックＩｐマネジメント株式会社 撮像装置
US11089204B1 (en) * 2019-01-31 2021-08-10 Panasonic Intellectual Property Management Co., Ltd. Imaging device
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN110049252B (zh) * 2019-05-31 2021-11-02 努比亚技术有限公司 一种追焦拍摄方法、设备及计算机可读存储介质
WO2021131562A1 (ja) * 2019-12-27 2021-07-01 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP7467114B2 (ja) 2019-12-27 2024-04-15 キヤノン株式会社 撮像装置およびその制御方法
JP7490372B2 (ja) * 2020-01-21 2024-05-27 キヤノン株式会社 撮像制御装置及びその制御方法
JP2021131441A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 電子機器
JP7463155B2 (ja) * 2020-03-25 2024-04-08 キヤノン株式会社 撮像制御装置およびその制御方法
CN111562840B (zh) 2020-04-27 2022-08-05 京东方科技集团股份有限公司 可穿戴显示设备及其成像面的调整方法
JP2021180446A (ja) * 2020-05-15 2021-11-18 キヤノン株式会社 撮像制御装置、撮像装置、撮像装置の制御方法、プログラム
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
JP2022051280A (ja) * 2020-09-18 2022-03-31 キヤノン株式会社 焦点調節装置及び方法、及び撮像装置
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
KR20220157196A (ko) * 2021-05-20 2022-11-29 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
US11900545B2 (en) * 2022-01-06 2024-02-13 Lemon Inc. Creating effects based on facial features
KR102497227B1 (ko) * 2022-11-11 2023-02-08 (주)아이브리지닷컴 심리스 동영상 스트리밍 재생 장치 및 그 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074141A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及びその制御方法
WO2007077283A1 (en) * 2005-12-30 2007-07-12 Nokia Corporation Method and device for controlling auto focusing of a video camera by tracking a region-of-interest
KR20090006454U (ko) * 2007-12-24 2009-06-29 현대제철 주식회사 자동게이지제어장치의 오일펌프 압력계 도압관 설치구조
EP2608524A1 (en) * 2011-12-20 2013-06-26 Research In Motion Limited Method and apparatus for controlling camera functions using facial recognition and eye tracking
CN103188440A (zh) * 2011-12-28 2013-07-03 奥林巴斯映像株式会社 摄像装置以及摄像方法
GB201313224D0 (en) * 2013-07-24 2013-09-04 Nokia Corp Auto focus determination apparatus
CN103329147A (zh) * 2010-11-04 2013-09-25 数字标记公司 基于智能手机的方法和系统
CN103593647A (zh) * 2013-10-21 2014-02-19 王晓鹏 一种生物特征成像的方法与设备
KR20150025268A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
CN104717417A (zh) * 2013-12-16 2015-06-17 展讯通信（上海）有限公司 一种成像系统快速自动对焦方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206022B2 (en) * 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
JP4254873B2 (ja) 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
KR101373333B1 (ko) 2007-07-11 2014-03-10 엘지전자 주식회사 터치인식을 통한 영상촬영 기능을 구비한 휴대 단말기 및그 촬영방법
US8913176B2 (en) * 2008-09-05 2014-12-16 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
KR101560184B1 (ko) 2008-12-26 2015-10-14 삼성전자주식회사 디지털 촬영 장치 및 그 제어 방법
CN102939557B (zh) 2010-05-29 2014-07-30 蒋文宇 用于制造和使用具有通过凝视距离和低功率视线跟踪驱动的自适应透镜的眼镜的系统、方法和设备
KR20120068655A (ko) 2010-12-19 2012-06-27 김인선 무선통신장치를 이용하여 양질의 홍채 및 피사체 영상을 편리하게 촬영하기 위한 방법 및 한 개의 밴드패스필터로 가시광선과 근적외선 일부영역을 투과시키는 카메라 장치
JP6083987B2 (ja) * 2011-10-12 2017-02-22 キヤノン株式会社 撮像装置、その制御方法及びプログラム
WO2013089190A1 (ja) * 2011-12-16 2013-06-20 オリンパスイメージング株式会社 撮像装置及びその撮像方法、コンピュータにより処理可能な追尾プログラムを記憶する記憶媒体
US9423994B2 (en) * 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
KR101952684B1 (ko) * 2012-08-16 2019-02-27 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체
US20140049462A1 (en) * 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
KR20140102443A (ko) * 2013-02-14 2014-08-22 삼성전자주식회사 카메라를 이용한 물체 추적 방법 및 이를 위한 카메라 시스템
KR102085766B1 (ko) 2013-05-30 2020-04-14 삼성전자 주식회사 촬영 장치의 자동 초점 조절 방법 및 장치
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20150003819A1 (en) 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
US9489564B2 (en) * 2013-07-11 2016-11-08 Google Technology Holdings LLC Method and apparatus for prioritizing image quality of a particular subject within an image

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074141A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及びその制御方法
WO2007077283A1 (en) * 2005-12-30 2007-07-12 Nokia Corporation Method and device for controlling auto focusing of a video camera by tracking a region-of-interest
KR20090006454U (ko) * 2007-12-24 2009-06-29 현대제철 주식회사 자동게이지제어장치의 오일펌프 압력계 도압관 설치구조
CN103329147A (zh) * 2010-11-04 2013-09-25 数字标记公司 基于智能手机的方法和系统
EP2608524A1 (en) * 2011-12-20 2013-06-26 Research In Motion Limited Method and apparatus for controlling camera functions using facial recognition and eye tracking
CN103188440A (zh) * 2011-12-28 2013-07-03 奥林巴斯映像株式会社 摄像装置以及摄像方法
GB201313224D0 (en) * 2013-07-24 2013-09-04 Nokia Corp Auto focus determination apparatus
KR20150025268A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
CN103593647A (zh) * 2013-10-21 2014-02-19 王晓鹏 一种生物特征成像的方法与设备
CN104717417A (zh) * 2013-12-16 2015-06-17 展讯通信（上海）有限公司 一种成像系统快速自动对焦方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Real-time face-priority auto focus for digital and cell-phone cameras;Mohammad T et al;《IEEE Transactions on Consumer Electronics》;20081222;第54卷(第4期);第1506-1513页 *

Also Published As

Publication number Publication date
EP3326360A4 (en) 2018-06-20
US10511758B2 (en) 2019-12-17
KR102429427B1 (ko) 2022-08-04
EP3326360B1 (en) 2020-02-05
WO2017014415A1 (en) 2017-01-26
US20170026565A1 (en) 2017-01-26
EP3326360A1 (en) 2018-05-30
CN107636682A (zh) 2018-01-26
KR20170010588A (ko) 2017-02-01

Similar Documents

Publication Publication Date Title
CN107636682B (zh) 图像采集装置及其操作方法
US11496696B2 (en) Digital photographing apparatus including a plurality of optical systems for acquiring images under different conditions and method of operating the same
US10291842B2 (en) Digital photographing apparatus and method of operating the same
EP3076659B1 (en) Photographing apparatus, control method thereof, and non-transitory computer-readable recording medium
EP3316568B1 (en) Digital photographing device and operation method therefor
CN107637063B (zh) 用于基于用户的手势控制功能的方法和拍摄装置
US9854161B2 (en) Photographing device and method of controlling the same
KR20170059704A (ko) 촬영 장치 및 그 동작 방법
US20210136296A1 (en) Electronic device capable of controlling image display effect, and method for displaying image
WO2018184260A1 (zh) 文档图像的校正方法及装置
US9948857B2 (en) Method and device for generating images
US10009545B2 (en) Image processing apparatus and method of operating the same
KR102494696B1 (ko) 영상을 생성하는 방법 및 디바이스.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant