CN103777750A - 包括图像传感器的移动系统和图像传感器的操作方法 - Google Patents

包括图像传感器的移动系统和图像传感器的操作方法 Download PDF

Info

Publication number
CN103777750A
CN103777750A CN201310504921.7A CN201310504921A CN103777750A CN 103777750 A CN103777750 A CN 103777750A CN 201310504921 A CN201310504921 A CN 201310504921A CN 103777750 A CN103777750 A CN 103777750A
Authority
CN
China
Prior art keywords
sensing
operator scheme
mobile system
degree
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310504921.7A
Other languages
English (en)
Other versions
CN103777750B (zh
Inventor
朴允童
金元住
陈暎究
权东旭
金庆溢
金民镐
李起相
李相普
李镇京
崔镇旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103777750A publication Critical patent/CN103777750A/zh
Application granted granted Critical
Publication of CN103777750B publication Critical patent/CN103777750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039Accessories therefor, e.g. mouse pads
    • G06F3/0393Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3262Power saving in digitizer or tablet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种移动系统、一种三维图像传感器的操作方法以及一种具有多个深度像素和彩色像素的图像传感器的操作方法。移动系统可以包括:位于所述移动系统的第一表面上的三维图像传感器,所述三维图像传感器构造成进行第一感测以检测对象的接近度并且通过获取对象的距离信息来进行第二感测以识别对象的手势;以及/或者位于所述移动系统的第一表面上的显示装置,所述显示装置用于显示所述第一感测和所述第二感测的结果。移动系统可以包括:光源单元;多个深度像素;以及/或者多个彩色像素。可以基于所述移动系统的操作模式启动光源单元、多个深度像素或多个彩色像素。

Description

包括图像传感器的移动系统和图像传感器的操作方法
相关申请的交叉引用
本申请要求2012年10月23日提交韩国知识产权局(KIPO)的韩国专利申请No.10-2012-0117760的优先权,在此通过引用方式将该申请的全部内容并入本文。
技术领域
本发明的一些示例性实施例一般性地涉及图像传感器。本发明的一些示例性实施例涉及包括图像传感器的移动系统、图像传感器的操作方法以及包括图像传感器的移动系统的操作方法。
背景技术
图像传感器是用于将包含关于图像或距离(例如,深度)信息的光信号转换为电信号的装置。已经积极地进行了对图像传感器的研究,以精确并准确地提供所需的信息。尤其已经积极地进行了对能够提供距离信息和图像信息的三维(3D)图像传感器的研究和探讨。3D图像传感器主要用于动作识别或手势识别。同时,如果未来在移动系统中应用3D显示器,则会需要采用空间触碰方案的用户界面。在这一点上,会需要在移动系统中有效安装3D图像传感器的技术和降低3D图像传感器功耗的技术。
发明内容
本发明的一些示例性实施例可以提供配备有3D图像传感器的移动系统,以在不增加移动系统尺寸的情况下进行接近度感测和/或动作识别。
本发明的一些示例性实施例可以提供图像传感器的操作方法,其中该图像传感器能够进行接近度感测和/或动作识别。
本发明的一些示例性实施例可以提供移动系统的操作方法,其中该移动系统具有能够进行接近度感测和/或动作识别的图像传感器。
在一些示例性实施例中,一种移动系统可以包括:位于所述移动系统的第一表面上的三维(3D)图像传感器,所述3D图像传感器构造成进行第一感测以检测对象的接近度并且通过获取对象的距离信息来进行第二感测以识别对象的手势;和/或位于所述移动系统的第一表面上的显示装置,所述显示装置用于显示所述第一感测和所述第二感测的结果。
在一些示例性实施例中,可以基于触发信号启动第一操作模式以进行所述第一感测。当所述第一感测的结果表示对象接近所述3D图像传感器时可以选择性地进行所述第二感测。
在一些示例性实施例中,所述移动系统还可以包括输入装置,所述输入装置用于接收使用者的输入。当对象接近所述3D图像传感器时启动第二操作模式和第三操作模式中的至少一种操作模式,所述第二操作模式基于所述第二感测进行第一目标操作,所述第三操作模式基于由所述输入装置产生的输入信号进行第二目标操作。
在一些示例性实施例中,当对象接近所述3D图像传感器时可以启动所述第二操作模式,并且/或者可以基于所述第一目标操作而将所述移动系统的操作模式保持在所述第二操作模式或者将所述移动系统的操作模式从所述第二操作模式转换为所述第三操作模式。
在一些示例性实施例中,当对象接近所述3D图像传感器时可以启动所述第三操作模式,并且可以基于所述第二目标操作而将所述移动系统的操作模式保持在所述第三操作模式或者将所述移动系统的操作模式从所述第三操作模式转换为所述第二操作模式。
在一些示例性实施例中,当对象接近所述3D图像传感器时可以同时启动所述第二操作模式和所述第三操作模式。
在一些示例性实施例中,所述移动系统还可以包括位于所述移动系统的第一表面上的二维(2D)图像传感器,所述2D图像传感器进行第三感测以获取对象的彩色图像信息。
在一些示例性实施例中,可以基于触发信号启动第一操作模式以进行所述第一感测,并且当所述第一感测的结果表示对象接近所述3D图像传感器时可以进行所述第二感测和所述第三感测中的至少一种感测。
在一些示例性实施例中,所述3D图像传感器可以包括多个深度像素,并且可以基于所述深度像素之中彼此相邻的第一深度像素而在所述第一操作模式下进行所述第一感测。
在一些示例性实施例中,所述3D图像传感器可以包括多个深度像素,所述2D图像传感器可以包括多个彩色像素。当对象接近所述3D图像传感器时可以启动第二操作模式、第三操作模式、第四操作模式和第五操作模式中的一种操作模式,所述第二操作模式基于所述深度像素之中的在构成局部阵列的同时彼此相邻的第一深度像素进行所述第二感测,所述第三操作模式基于所述深度像素进行所述第二感测,所述第四操作模式基于所述彩色像素进行所述第三感测,所述第五操作模式基于所述深度像素和所述彩色像素同时进行所述第二感测和所述第三感测。
在一些示例性实施例中,当对象接近所述3D图像传感器时可以启动所述第二操作模式,并且可以基于在所述第二操作模式下进行的所述第二感测的结果将所述移动系统的操作模式从所述第二操作模式转换为所述第三操作模式至所述第五操作模式中的一种操作模式。
在一些示例性实施例中,当对象接近所述3D图像传感器时可以启动所述第三操作模式,并且可以基于在所述第三操作模式下进行的所述第二感测的结果将所述移动系统的操作模式保持在所述第三操作模式或者将所述移动系统的操作模式从所述第三操作模式转换为所述第四操作模式和所述第五操作模式中的一种操作模式。
在一些示例性实施例中,当启动所述第二操作模式时,还可以基于所述彩色像素的一部分进行所述第三感测。
在一些示例性实施例中,所述3D图像传感器和所述2D图像传感器可以是一个集成电路芯片或者是彼此独立的两个集成电路芯片。
在一些示例性实施例中,所述3D图像传感器可以包括多个深度像素,所述2D图像传感器可以包括多个彩色像素,并且所述深度像素和所述彩色像素可以构成一个像素阵列或者构成彼此独立的两个像素阵列。
在一些示例性实施例中,所述3D图像传感器可以包括光源单元,在进行所述第一感测时不启动所述光源单元,而在进行所述第二感测时启动所述光源单元。
在一些示例性实施例中,所述3D图像传感器可以包括光源单元,在进行所述第一感测时所述光源单元发出低亮度光,而在进行所述第二感测时所述光源单元发出高亮度光。
在一些示例性实施例中,一种三维(3D)图像传感器的操作方法可以包括步骤:基于触发信号进行第一感测以检测对象的接近度;和/或当所述第一感测的结果表示对象接近所述3D图像传感器时,通过获取对象的距离信息来进行第二感测以识别对象的手势。
在一些示例性实施例中,所述方法还可以包括:基于所述第二感测进行目标操作。
在一些示例性实施例中,所述3D图像传感器可以包括多个深度像素。可以基于所述深度像素的一部分进行所述第一感测,并且基于全部所述深度像素进行所述第二感测。
在一些示例性实施例中,一种具有多个深度像素和彩色像素的图像传感器的操作方法可以包括步骤:基于触发信号进行第一感测以检测对象的接近度;和/或当所述第一感测的结果表示对象接近所述图像传感器时,进行第二感测和第三感测中的至少一种感测,所述第二感测通过获取对象的距离信息来识别对象的手势,所述第三感测获取对象的彩色图像信息。
在一些示例性实施例中,进行所述第二感测和所述第三感测中的至少一种感测的步骤可以包括:基于所述深度像素之中的在构成局部阵列的同时彼此相邻的第一深度像素进行所述第二感测;基于所述深度像素进行所述第二感测;基于所述彩色像素进行所述第三感测;和/或基于所述深度像素和所述彩色像素同时进行所述第二感测和所述第三感测。
在一些示例性实施例中,进行所述第二感测和所述第三感测中的至少一种感测的步骤还可以包括:基于所述第一深度像素进行所述第二感测,基于所述第二感测的结果转换所述图像传感器的操作模式。
在一些示例性实施例中,一种具有三维(3D)图像传感器的移动系统的操作方法可以包括:基于触发信号进行第一感测以检测对象的接近度;和/或当所述第一感测的结果表示对象接近所述图像传感器时,通过获取对象的距离信息来进行第二感测以识别对象的手势。
在一些示例性实施例中,所述移动系统还可以包括输入装置,所述输入装置用于接收使用者的输入。选择性进行所述第二感测的步骤还可以包括基于所述第二感测进行第一目标操作;和/或基于由所述输入装置产生的输入信号进行第二目标操作。
在一些示例性实施例中,一种移动系统可以包括光源单元、多个深度像素、和/或多个彩色像素。可以基于所述移动系统的操作模式启动所述光源单元、所述多个深度像素中的至少一个深度像素或所述多个彩色像素中的至少一个彩色像素。
在一些示例性实施例中,可以基于所述移动系统的操作模式启动所述光源单元。
在一些示例性实施例中,可以基于所述移动系统的操作模式启动所述多个深度像素中的至少两个深度像素。
在一些示例性实施例中,可以基于所述移动系统的操作模式启动所述多个深度像素中的全部深度像素。
在一些示例性实施例中,可以基于所述移动系统的操作模式启动所述多个彩色像素。
在一些示例性实施例中,为了降低所述移动系统的功耗,可以基于所述移动系统的操作模式启动所述光源单元、所述多个深度像素中的至少一个深度像素或所述多个彩色像素中的至少一个彩色像素。
在一些示例性实施例中,为了降低所述移动系统的功耗,可以基于所述移动系统的操作模式启动所述光源单元、所述多个深度像素中的至少一个深度像素和所述多个彩色像素中的至少一个彩色像素。
附图说明
结合附图,从下面的示例性实施例的详细描述中将会更清楚并且更容易理解上述和/或其他方面和优点,附图中:
图1是示出根据一些示例性实施例的移动系统的平面图;
图2是示出图1所示移动系统的示例性实施例的框图;
图3是示出在图1所示移动系统中包括的3D图像传感器的实例的框图;
图4是示出根据一些示例性实施例的图像传感器的操作方法的流程图;
图5A、图5B、图5C、图6A、图6B、图6C和图6D是示出图4所示的图像传感器的操作方法的视图;
图7A和图7B是示出根据一些示例性实施例的移动系统的操作方法的流程图;
图8A、图8B、图8C、图8D和图8E是用于说明图7A和图7B所示的移动系统的操作方法的视图;
图9A和图9B是示出根据一些示例性实施例的移动系统的操作方法的流程图;
图10A和图10B是示出根据一些示例性实施例的移动系统的操作方法的流程图;
图11A和图11B是用于说明图10A和图10B所示的移动系统的操作方法的视图;
图12A和图12B是示出根据一些示例性实施例的移动系统的操作方法的流程图;
图13是示出根据一些示例性实施例的移动系统的平面图;
图14是示出图13所示移动系统的框图;
图15是示出在图13所示移动系统中包括的二维(2D)图像传感器的实例的框图;
图16A和图16B是示出根据一些示例性实施例的图像传感器的操作方法的流程图;
图17、图18A、图18B、图18C、图18D、图19A、图19B和图20是示出图16A和图16B所示的图像传感器的操作方法的视图;
图21A和图21B是示出根据一些示例性实施例的图像传感器的操作方法的流程图;
图22A和图22B是示出根据一些示例性实施例的图像传感器的操作方法的流程图;
图23是示出根据一些示例性实施例的移动系统的操作方法的流程图;
图24是示出根据一些示例性实施例的移动系统的平面图;
图25是示出图24所示移动系统的实例的框图;
图26是示出根据一些示例性实施例的移动系统的平面图;
图27是示出图26所示移动系统的实例的框图;
图28是示出在图27所示移动系统中包括的图像传感器的实例的框图;
图29A和图29B是示出在图28所示图像传感器中包括的感测单元的实例的视图;以及
图30是示出在根据一些示例性实施例的移动系统中使用的接口的实例的框图。
具体实施方式
将参考附图更全面地描述示例性实施例。然而,实施例可以以多种不同的形式具体实现并且不应当解释为限于本文所述的实施例。相反,提供这些实施例是为了使得本发明公开内容是详尽和完整的,并且将本发明概念的范围完全转达给本领域的技术人员。在附图中,为了清楚,层或区域的厚度会被放大。
应当理解的是,当一个元件被称为“在另一个元件上”、与另一个元件“连接”、“电连接”或“耦合”时,该一个元件可以直接在另一个元件上、与另一个元件直接连接、电连接或耦合,或者可以存在中间元件。相反,当一个元件被称为“直接在另一个元件上”、与另一个元件“直接连接”、“直接电连接”或“直接耦合”时,则不存在中间元件。本文所使用的术语“和/或”包括所列相关项目中的一个或多个项目的任何和所有组合。
应当理解的是,虽然在本文中可以使用术语第一、第二、第三等来描述各种元件、部件、区域、层和/或部分,但是这些元件、部件、区域、层和/或部分不应当被这些术语所限制。这些术语仅用来将一个元件、部件、区域、层和/或部分与另一个元件、部件、区域、层和/或部分区分开。例如,在不脱离示例性实施例的教导的情况下,第一元件、第一部件、第一区域、第一层和/或第一部分可以被称为第二元件、第二部件、第二区域、第二层和/或第二部分。
为了便于描述,在本文中使用空间关系术语“下方”、“下面”、“下部”、“上面”、“上部”等来描述在附图中所示的一个部件和/或特征与另一个部件和/或特征或者其他(一些)部件和/或特征之间的关系。应当理解的是,除了附图描绘的方位以外,空间关系术语旨在涵盖设备在使用时或在操作时的不同朝向。
本文所使用的术语仅用来描述具体的示例性实施例而不旨在成为示例性实施例的限制。除非文章中明确地指出,否则本文所使用的单数形式“一”、“一个”和“该”旨在也包括复数形式。还应当理解的是,在本文中使用的术语“包括”、“包括……的”、“包含”和/或“包含……的”表明存在所规定的特征、整体、步骤、操作、元件和/或部件,而不要排除存在或增加一种或多种其他特征、整体、步骤、操作、元件、部件和/或它们的组。
参考作为理想化示例性实施例(和中间结构)的示意性视图的剖视图来描述示例性实施例。因此,例如由于制造技术或容差造成的与所示形状之间的变化是可以预料的。因此,示例性实施例不应当被解释为限于本文所示部位的具体形状,而是应当包括例如由制造而产生的形状偏差。例如,以矩形示出的注入区域可以具有圆角或曲线形特征,和/或在边缘处具有注入物浓度变化,而不是从注入区域到非注入区域的二元变化。同样,由注入形成的埋置区域会在埋置区域与发生注入的表面之间的区域中导致一些注入。因此,附图中所示的区域实际上是示意性的,它们的形状不是用来示出装置的区域的实际形状并且不是用来限制示意性实施例的范围。
除非另有定义,否则在本文中使用的所有术语(包括技术术语和科学术语)具有示例性实施例所属领域的一名普通技术人员通常理解的相同含义。还应当理解,除非在本文中明确地定义,否则术语(例如通用字典中定义的术语)应当解释为具有与相关领域上下文中的含义一致的含义,而不应当以理想化或过于正式的意义进行解释。
将参考附图所示的示例性实施例,相似的附图标记在各个附图中始终表示相同的部件。
图1是示出根据一些示例性实施例的移动系统的平面图。移动系统的一些示例性实施例可以包括检测接近度、深度和/或颜色的图像传感器。移动系统的一些示例性实施例可以包括不检测接近度的图像传感器。移动系统的一些示例性实施例可以包括不检测深度的图像传感器。移动系统的一些示例性实施例可以包括不检测颜色的图像传感器。
参考图1,移动系统1000包括3D图像传感器100和显示装置1041。移动系统1000还可以包括触摸屏幕1044、按键1043和1045、麦克风1047以及扬声器1048。
3D图像传感器100安装在移动系统1000的第一表面(例如,前表面)上。3D图像传感器100进行第一感测以检测对象的接近度并且通过获取对象的距离信息来进行第二感测以识别对象的手势。也就是说,3D图像传感器100可以具有接近度感测功能和手势识别功能。
3D图像传感器100可以包括具有多个深度像素的感测单元110和用于发射红外线或近红外线的光源单元140。根据操作模式,光源单元140可以选择性地启动或者可以发出彼此具有不同亮度的光。另外,根据操作模式,可以启动包括在感测单元110中的全部或一部分深度像素。将在后面描述3D图像传感器100的具体操作和结构。
在一些示例性实施例中,3D图像传感器100可以是需要光源并采用行程时间(TOF)法、结构光法、图案光或亮度分布图法的多种深度传感器之一。
在图1中,3D图像传感器100安装在移动系统1000的前表面的左上部。然而,3D图像传感器100可以安装在移动系统1000的预定位置以进行接近度感测和手势识别。
显示装置1041安装在移动系统1000的第一表面上,用于显示第一感测和第二感测的结果。显示装置1041可以包括多种显示面板,例如,液晶显示器(LCD)、有机发光二极管(OLED)显示器和场致发射显示器(FED)。
触摸屏幕1044以及按键1043和1045可以接收使用者的输入并且可以产生输入信号以基于使用者的输入进行使用者想要的功能(例如,目标操作)。例如,当使用者的手指或手写笔触碰该触摸屏幕1044的表面时,可以进行使用者想要的功能。另外,当使用者的手指按压按键1043和1045时,也可以进行使用者想要的功能。按键1043可以是启动或关闭移动系统1000的电源键。麦克风1047可以进行语音识别,扬声器1048可以输出语音。
在一些示例性实施例中,触摸屏幕1044可以是多种触摸屏幕之一,例如电容式触摸屏幕、电阻式触摸屏幕和超声波式触摸屏幕。触摸屏幕1044与显示装置1041在相互重叠的同时可以一体化设置。根据一些示例性实施例,可以省略按键1043和1045、麦克风1047和扬声器1048中的至少一者。
根据现有技术的移动系统包括:安装在移动系统前表面上的各种输入/输出装置(例如,进行接近度感测的接近度传感器)、显示装置、触摸屏幕、按键、麦克风和扬声器。因此,当在移动系统中增加动作识别功能时,除非移动系统尺寸增加,否则在移动系统中不容易安装3D图像传感器100。
根据一些示例性实施例的移动系统包括进行接近度感测和动作识别的3D图像传感器100。3D图像传感器100在进行第一感测时可以用作接近度传感器,而在进行第二感测时可以用作普通的深度传感器。因为移动系统1000只包括一个3D图像传感器100而没有包括接近度传感器和深度传感器,所以移动系统1000可以在不增加移动系统1000尺寸的情况下具有动作识别功能和接近度感测功能。另外,根据其操作模式,3D图像传感器100可以以各种方式运行。例如,当进行第一感测时,光源单元140可以不启动或者发出具有低亮度的光,并且启动包括在感测单元110中的一些深度像素以降低3D图像传感器100和移动系统1000的功耗。另外,当进行第二感测时,光源单元140启动或发出具有高亮度的光,并且全部深度像素会启动以使3D图像传感器100和移动系统1000可以精确地识别对象的动作。
图2是示出图1所示移动系统的实例的框图。
参考图2,移动系统1000包括应用程序处理器1010、连接单元1020、存储装置1030、3D图像传感器100、用户接口1040和电源1050。根据一些示例性实施例,移动系统1000可以是预定的移动系统,例如移动电话、智能电话、平板个人计算机(PC)、便携式计算机、数字个人助理(PDA)、便携式多媒体播放器(PMP)、数字照相机、音乐播放器、便携式游戏机或导航系统。
应用程序处理器1010可以执行操作系统以操作移动系统1000。另外,应用程序处理器1010可以执行各种应用程序以提供因特网浏览器、游戏和动态图像。根据一些示例性实施例,应用程序处理器1010可以包括单核处理器或多核处理器。另外,根据一些示例性实施例,应用程序处理器1010还可以包括设置在应用程序处理器1010内部或外部的高速缓冲存储器。
连接单元1020可以与外部设备通信。例如,连接单元1020可以进行通用串行总线(USB)通信、以太网通信、近场通信(NFC)、无线射频识别(RFID)通信、移动通信或存储卡通信。例如,连接单元1020可以包括基带芯片组并且可以支持诸如全球移动通信系统(GSM)、通用分组无线业务(GPRS)、宽带码分多址移动通信系统(WCDMA)和高速分组接入(HSxPA)等通信。
存储装置1030可以储存由应用程序处理器1010处理的数据,或者可以用作工作存储器。另外,存储装置1030可以储存用于引导移动系统1000的底层镜像、与操作移动系统1000的操作系统有关的文件系统、与连接在移动系统1000上的外部设备有关的设备驱动器以及在移动系统1000中执行的应用程序。例如,存储装置1030可以包括易失性存储器,例如,动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、移动DRAM、双数据速率(DDR)同步动态随机存取存储器(SDRAM)、低功耗双数据速率(LPDDR)SDRAM、图形双数据速率(GDDR)SDRAM或内存总线式动态随机存取存储器(RDRAM),或者存储装置1030可以包括非易失性存储器,例如,电可擦除可编程只读存储器(EEPROM)、闪存、相变随机存取存储器(PRAM)、电阻式随机存取存储器(RRAM)、纳米浮置栅极存储器(NFGM)、聚合物随机存取存储器(PoRAM)、磁性随机存取存储器(MRAM)或铁电随机存取存储器(FRAM)。
3D图像传感器100可以进行第一感测和第二感测。例如,3D图像传感器100可以首先进行第一感测,然后基于第一感测的结果继续进行或选择进行第二感测。
用户接口1040可以包括至少一个输入装置,例如,键盘、按键1043和1045(例如,图1)或触摸屏幕1044(例如,图1),和/或至少一个输出装置,例如,扬声器1048(参见,图1)或显示装置1041(例如,图1)。电源1050可以向移动系统1000提供操作电压。
可以使用多种封装类型来安装移动系统1000或移动系统1000的组件,封装类型例如:封装件层叠(PoP)、球栅阵列(BGA)、芯片尺寸封装(CSP)、塑料引线芯片载体(PLCC)、塑料双列直插式封装(PDIP)、华夫组件芯片(Die in Waffle Pack)、华夫形式芯片(Die in Wafer Form)、板上芯片(COB)、陶瓷双列直插式封装(CERDIP)、塑料公制四方扁平封装(MQFP)、薄四方扁平封装(TQFP)、小外形集成电路(SOIC)、收缩型小外形封装(SSOP)、薄型小外形封装(TSOP)、薄四方扁平封装(TQFP)、系统级封装(SIP)、多芯片封装(MCP)、晶片级制造封装(WFP)和晶片级处理层叠封装(WSP)。
图3是示出在图1所示移动系统中包括的3D图像传感器100的实例的框图。
参考图3,3D图像传感器100可以包括感测单元110、行驱动(RD)单元120、模数转换(ADC)单元130、光源单元140、数字信号处理(DSP)单元150和控制单元160。
光源单元140可以输出具有所需波长的光TL(可是预定的或不是预定的;例如,红外线或近红外线)。根据操作模式,光源单元140可以选择性地启动或者可以发出具有互不相同的亮度的光。
光源单元140可以包括光源141和透镜143。光源141可以产生光TL。例如,光源141可以实现为发光二极管(LED)或激光二极管。在一些示例性实施例中,光源141可以产生亮度被调制成周期性变化的光。例如,光TL的亮度可以被调制成具有连续脉冲的脉冲波、正弦波或余弦波的形式。在一些示例性实施例中,光源141可以产生具有恒定亮度的光,即非调制光。透镜143可以将从光源141发出的光TL汇聚到对象180上。后面将参考图6B、图6C和图6D描述光源单元140发出的光TL的波形。
感测单元110接收从对象180反射的光RL并将光RL转换为电信号。在一些示例性实施例中,基于光源单元140发出的红外线或近红外线TL产生被接收光RL。在一些示例性实施例中,基于环境光中包括的红外线或近红外线产生被接收光RL。在一些示例性实施例中,基于在环境光中包括的可见光线产生被接收光RL。在一些示例性实施例中,同时基于红外线或近红外线和可见光线产生被接收光RL。
感测单元110可以包括多个深度像素111。根据操作模式,可以启动全部或部分深度像素111。深度像素111以像素阵列的形式排列并且提供关于3D图像传感器100与对象180之间距离的信息。例如,在深度像素111上可以形成有红外线滤光器或近红外线滤光器。
行驱动单元120与感测单元110的各个行连接,以产生用于驱动各个行的驱动信号。例如,行驱动单元120可以驱动包括在感测单元110中的以行为单位的深度像素111。
ADC单元130与感测单元110的各个列连接,以将感测单元110输出的模拟信号转换为数字信号。在一些示例性实施例中,ADC单元130包括多个模拟-数字转换器并且可以进行列ADC以并行地(即,同时地)将从各个列线输出的模拟信号转换为数字信号。在一些示例性实施例中,ADC单元130包括单个模拟-数字转换器并且可以进行单一ADC以顺序地将模拟信号转换为数字信号。
根据一些示例性实施例,ADC单元130可以包括用于提取有效信号成分的相关双采样(CDS)单元。在一些示例性实施例中,CDS单元可以进行模拟双采样,以基于表示复位成分的模拟复位信号与表示信号成分的模拟数据信号之间的差异来提取有效信号成分。在一些示例性实施例中,CDS单元可以进行数字双采样,以便在将模拟复位信号和模拟数据信号转换为两个数字信号之后,基于两个数字信号之间的差异来提取有效信号成分。在一些示例性实施例中,CDS单元可以通过进行模拟双采样和数字双采样两者来进行双重相关双采样。
DSP单元150接收ADC单元130输出的数字信号以进行与数字信号有关的图像数据处理。例如,DSP单元150可以进行图像插值、色彩校正、白平衡、伽马校正和颜色转换。
控制单元160可以控制行驱动单元120、ADC单元130、光源单元140和DSP单元150。控制单元160可以提供控制信号,例如,操作行驱动单元120、ADC单元130、光源单元140和DSP单元150所需的时钟信号和时序控制信号。在一些示例性实施例中,控制单元160可以包括逻辑控制电路、锁相环(PLL)电路、时序控制电路和通信接口电路。
图4是示出根据一些示例性实施例的图像传感器的操作方法的流程图。图4所示的图像传感器的操作方法可以用于操作安装在移动系统1000中的3D图像传感器100以进行接近度感测和动作识别。图5A、图5B、图5C、图6A、图6B、图6C和图6D是示出图4所示的图像传感器的操作方法的视图。出于便于说明的目的,在图5A、图5B、图5C和图6A的移动系统中仅示出3D图像传感器100和显示装置1041。
参考图1、图4、图5A、图5B、图5C、图6A、图6B、图6C和图6D,为了操作3D图像传感器100,判断是否启动了触发信号(操作步骤S110)。例如,如图5A所示,移动系统1000和3D图像传感器100在操作的初期是关闭的。如果使用者通过按压电源按键1043来启动移动系统1000,或者移动系统1000准备立即运行,即,在移动系统1000是便携式电话或智能电话的情况下当另一使用者向移动系统1000发送呼叫时,可以启动触发信号。
如果没有启动触发信号(操作步骤S110:否),则3D图像传感器100等待触发信号的启动。
如果启动了触发信号(操作步骤S110:是),则启动第一操作模式(例如,接近度感测模式)。3D图像传感器100进行用于检测对象接近度的第一感测(操作步骤S120)。例如,如图5B所示,当另一使用者发送呼叫时,启动触发信号并且启动第一操作模式以进行第一感测。在图5B所示的示例性实施例中,如果启动该操作模式,则可以不启动光源单元140,使得不会发出光。另外,可以仅启动包括在感测单元110中的一些深度像素,例如,可以仅启动彼此相邻的第一深度像素。基于启动的第一深度像素进行第一感测,并且启动的第一深度像素可以基于包括在环境光中的红外线或近红外线来提供关于对象接近度的信息。例如,第一深度像素是包括在感测单元110的深度像素之中的布置在一行或一列中的全部或一部分深度像素。
基于第一感测判断对象的接近度(操作步骤S130)。例如,在对象不接近3D图像传感器100时(即,在对象与3D图像传感器100之间的距离大于基准距离时)射入到感测单元110的红外线或近红外线的量不同于在对象接近3D图像传感器100时(即,在对象与3D图像传感器100之间的距离小于基准距离时)射入到感测单元110的红外线或近红外线的量。可以通过检测射入到感测单元110的红外线或近红外线的量的变化来提供关于对象接近度的信息。
如果确定对象不接近3D图像传感器100(操作步骤S130:否),则3D图像传感器100保持进行第一感测。
如果确定对象接近3D图像传感器100(操作步骤S130:是),则启动第二操作模式(例如,3D操作模式或深度模式)。3D图像传感器100获取关于对象距离的信息并且进行第二感测以识别对象的动作(操作步骤S140)。例如,如图5C所示,如果在接收到来自另一使用者的呼叫的同时对象180接近3D图像传感器100,则启动第二操作模式。在图5C的示例性实施例中,当启动第二操作模式时,启动光源单元140以使光源单元140可以发出光(例如,高亮度光)。另外,可以启动包括在感测单元110中的全部深度像素。可以基于启动的深度像素进行第二感测。启动的深度像素可以基于在从光源单元140发出之后被对象反射的反射光来提供关于对象距离和动作的信息。
移动系统1000基于第二感测进行目标操作(操作步骤S150)。例如,目标操作可以是多种操作之一,例如基于动作识别选择或执行菜单和/或应用程序(例如,3D界面操作)、基于动作识别在执行的菜单和/或应用程序上执行使用者想要的功能(例如,诸如游戏操纵或多媒体文件播放等3D应用程序操作)以及3D图形的摄影(例如,3D摄影操作)。
同时,与图5B的示例性实施例不同的是,在启动第一操作模式时可以启动光源单元140。例如,如图6A所示,当收到来自另一使用者的呼叫时,可以启动触发信号并且可以启动第一操作模式。在图6A的示例性实施例中,如果启动了第一操作模式,则启动光源单元140以使光源单元140可以发出光(例如,低亮度光)。另外,可以仅启动包括在感测单元110中的深度像素之中的第一深度像素,并且可以基于启动的第一深度像素进行第一感测。启动的第一深度像素可以基于在从光源单元140发出之后被对象反射的反射光来提供关于对象接近度的信息。
如果在第一操作模式和第二操作模式下都启动光源单元140,则光源单元140可以基于操作模式发出彼此具有不同亮度的光。例如,如图6B所示,光源单元140可以在进行第二感测的第二操作模式下发出高亮度光TLH。高亮度光TLH的亮度对应于幅度A1并且高亮度光TLH可以被调制成其强度能够周期性变化(以具有类似于脉冲波一样的连续脉冲)。在一些示例性实施例中,如图6C所示,光源单元140可以在进行第一感测的第一操作模式下发出低亮度光TLL1。低亮度光TLL1的亮度对应于幅度A2并且低亮度光TLL1可以被调制成其强度能够周期性变化。在一些示例性实施例中,如图6D所示,光源单元140可以在进行第一感测的第一操作模式下发出低亮度光TLL2。低亮度光TLL2的亮度对应于幅度A2,并且低亮度光TLL2具有没有调制的恒定强度以使3D图像传感器100和移动系统1000的功耗能够在第一操作模式下进一步降低。
同时,如后面将参考图7A、图7B、图10A、图10B、图12A和图12B所述,如果确定对象接近3D图像传感器100(操作步骤S130:是),则3D图像传感器100可以选择性地进行第二感测。
另外,根据一些示例性实施例,图4所示的3D图像传感器100的操作方法可以用于操作包括3D图像传感器100的移动系统1000。
图7A和图7B是示出根据一些示例性实施例的移动系统1000的操作方法的流程图。图7A和图7B所示的移动系统的操作方法可以用于操作包括3D图像传感器100和输入装置的移动系统1000,其中3D图像传感器100进行接近度感测和动作识别,输入装置例如为触摸屏幕1044以及按键1043和1045。图8A、图8B、图8C、图8D和图8E是用于说明图7A和图7B所示的移动系统的操作方法的视图。出于便于说明的目的,在图8A、图8B、图8C、图8D和图8E的移动系统中仅示出3D图像传感器100、显示装置1041、电源按键1043和触摸屏幕1044。
参考图1、图7A、图7B、图8A、图8B、图8C、图8D和图8E,为了操作移动系统1000,判断是否启动了触发信号(操作步骤S110)。如果没有启动触发信号(操作步骤S110:否),则移动系统1000等待触发信号的启动。如果启动了触发信号(操作步骤S110:是),则启动第一操作模式(例如,接近度感测模式)(操作步骤S115)并且进行第一感测(操作步骤S120)。例如,如图8A所示,如果使用者按压电源按键1043,则启动触发信号并且启动第一操作模式以进行第一感测。基于第一感测判断对象的接近度(操作步骤S130)。操作步骤S110、S120和S130与图4所示的操作步骤S110、S120和S130基本相同。
如果确定对象不接近3D图像传感器100(操作步骤S130:否),则3D图像传感器100保持进行第一感测。
如果确定对象接近图像传感器100(操作步骤S130:是),则启动第二操作模式(例如,3D操作模式)(操作步骤S210)。3D图像传感器100获取关于对象距离的信息并且进行第二感测以识别对象的动作(操作步骤S220)。移动系统1000基于第二感测进行第一目标操作(操作步骤S230)。例如,如图8A和图8B所示,当对象180接近3D图像传感器100时,在显示装置1041上显示用于选择菜单和/或应用程序的屏幕并且启动3D操作模式。启动光源单元140以使光源单元140可以发出光(例如,高亮度光)。另外,可以启动包括在感测单元110中的全部深度像素。3D图像传感器100可以进行第二感测,以识别对象180在空间中挑选或点击菜单图标和/或应用程序图标的动作。移动系统1000可以基于第二感测选择或执行菜单和/或应用程序。也就是说,第一目标操作可以是基于第二感测选择或执行菜单和/或应用程序的3D界面操作。
可以基于第一目标操作改变或保持移动系统1000的操作模式。
如果由于第一目标操作而需要使用诸如触摸屏幕1044以及按键1043和1045等输入装置的操作(操作步骤S235:U2),则启动第三操作模式(例如,2D操作模式)(操作步骤S240)。输入装置基于使用者的输入产生输入信号(操作步骤S250)。移动系统1000基于输入信号进行第二目标操作(操作步骤S260)。例如,如图8C所示,当选择文本应用程序时,在如图8C所示的显示装置1041上显示文本输入屏幕并且启动2D操作模式。触摸屏幕1044可以基于触碰事件(例如,使用者的手指190与触摸屏幕1044接触)产生输入信号。移动系统1000可以基于输入信号输入文本。具体地说,第二目标操作可以涉及使用输入装置在执行的菜单和/或应用程序上进行使用者想要的功能的操作(例如,文本输入之类的2D应用程序操作)。同时,在第三操作模式中,可以不启动光源单元140和包括在感测单元110中的深度像素。
如果由于第一目标操作而仍然需要第二感测(操作步骤S235:U3),则保持第二操作模式(操作步骤S270)。3D图像传感器100进行第二感测(操作步骤S280)。移动系统1000基于第二感测进行第三目标操作(操作步骤S290)。例如,如果如图8D所示选择照相应用程序,则如图8E所示,3D图像传感器100可以通过进行第二感测来进行3D图像摄影。也就是说,第三目标操作可以涉及进行3D图像摄影的3D摄影操作。根据一些示例性实施例,第三目标操作可以是基于动作识别进行使用者想要的功能的3D应用程序操作,或者可以是与第一目标操作基本相同的3D界面操作。同时,保持启动光源单元140和包括在感测单元110中的深度像素。
在图7A和图7B的示例性实施例中,如果确定对象接近3D图像传感器100,则启动3D操作模式,并且移动系统1000的操作模式可以基于在3D操作模式下进行的3D界面操作而保持在3D操作模式或者可以从3D操作模式转换为2D操作模式。
同时,虽然在附图中没有示出,但是可以通过在操作步骤S220中基于构成了部分阵列的深度像素进行第二感测来进一步降低3D图像传感器100和移动系统1000的功耗。
图9A和图9B是示出根据一些示例性实施例的移动系统1000的操作方法的流程图。
参考图9A和图9B,与图7A和图7B相比,附加地进行操作步骤S215、S265和S295以操作移动系统1000。图9A和图9B的操作步骤S110、S115、S120、S130、S210、S220、S230、S240、S250、S260、S270、S280和S290分别与图7A和图7B的操作步骤S110、S115、S120、S130、S210、S220、S230、S240、S250、S260、S270、S280和S290基本相同,所以将省略多余的描述。
在启动第二操作模式(操作步骤S210)之后,判断是否产生了第一完成命令(操作步骤S215)。如果没有产生第一完成命令(操作步骤S215:否),则3D图像传感器100进行第二感测(操作步骤S220)。如果产生了第一完成命令(操作步骤S215:是),则第二操作模式完成并且再次启动第一操作模式(操作步骤S115)。例如,用于选择和执行图8B和图8D所示菜单和/或应用程序的屏幕消失,动作识别完成,并且再次进行接近度感测。
在已经进行了第二目标操作(操作步骤S260)之后,判断是否产生了第二完成命令(操作步骤S265)。如果没有产生第二完成命令(操作步骤S265:否),则移动系统等待使用者的输入。如果产生了使用者的输入,则产生输入信号(操作步骤S250)并进行第二目标操作(操作步骤S260),然后重复该过程。如果产生了第二完成命令(操作步骤S265:是),则第三操作模式完成并且再次启动第二操作模式(操作步骤S210)。例如,如图8C所示的用于输入文本的屏幕消失,显示如图8B和图8D所示的用于选择或执行菜单和/或应用程序的屏幕并且对3D界面操作再次进行动作识别。
在已经进行了第三目标操作(操作步骤S290)之后,判断是否产生了第三完成命令(操作步骤S295)。如果没有产生第三完成命令(操作步骤S295:否),则移动系统等待对象的动作。如果检测到对象的动作,则进行第二感测(操作步骤S280)并进行第三目标操作(操作步骤S290),然后重复该过程。如果产生了第三完成命令(操作步骤S295:是),则过程返回到操作步骤S210,使得再次启动第二操作模式。例如,如图8E所示的图像摄影屏幕消失,显示如图8B和图8D所示的用于选择或执行菜单和/或应用程序的屏幕并且对3D界面操作再次进行动作识别。
图10A和图10B是示出根据一些示例性实施例的移动系统1000的操作方法的流程图。图10A和图10B所示的移动系统的操作方法可以用于操作包括3D图像传感器100和输入装置的移动系统1000。图11A和图11B是用于说明图10A和图10B所示的移动系统的操作方法的视图。出于便于说明的目的,在图11A和图11B的移动系统中仅示出3D图像传感器100、显示装置1041、电源按键1043和触摸屏幕1044。
参考图1、图10A、图10B、图11A和图11B,为了操作移动系统1000,判断是否启动了触发信号(操作步骤S110)。如果没有启动触发信号(操作步骤S110:否),则移动系统1000等待触发信号的启动。如果启动了触发信号(操作步骤S110:是),则启动第一操作模式(例如,接近度感测模式)(操作步骤S115),进行第一感测(操作步骤S120)并且判断对象的接近度(操作步骤S130)。操作步骤S110、S115、S120和S130与图7A所示的操作步骤S110、S115、S120和S130基本相同。
如果确定对象接近3D图像传感器100(操作步骤S130:是),则启动第三操作模式(例如,2D操作模式)(操作步骤S310)。诸如触摸屏幕1044以及按键1043和1045等输入装置基于使用者的输入产生输入信号(操作步骤S320)。移动系统1000基于第二感测进行第一目标操作(操作步骤S330)。例如,当对象180接近3D图像传感器100时,如图11A和图11B所示,在显示装置1041上显示用于选择菜单和/或应用程序的屏幕并且启动2D操作模式。触摸屏幕1044可以基于触碰事件(例如,使用者的手指190与触摸屏幕1044接触)产生输入信号。移动系统1000可以基于输入信号选择或执行菜单和/或应用程序。也就是说,第一目标操作可以涉及通过使用输入装置选择或执行菜单和/或应用程序的操作(例如,2D界面操作)。同时,在第三操作模式下,可以不启动光源单元140和包括在感测单元110中的深度像素。
可以基于第一目标操作改变或保持移动系统1000的操作模式(操作步骤S335)。
如果由于第一目标操作而需要第二感测(操作步骤S335:U3),则启动第二操作模式(例如,3D操作模式)(操作步骤S340)。3D图像传感器100进行第二图像感测(操作步骤S350)。移动系统1000基于第二感测进行第二目标操作(操作步骤S360)。例如,如图11B所示,如果选择照相应用程序,则可以启动3D操作模式。在3D操作模式下,启动光源单元140以发出光(例如,高亮度光)并且可以启动包括在感测单元110中的全部深度像素。如图8E所示,3D图像传感器100可以通过进行第二感测来进行3D图像摄影。也就是说,第二目标操作可以涉及进行3D图像摄影的3D摄影操作。根据示例性实施例,第二目标操作可以是基于动作识别进行使用者想要的功能的3D应用程序操作。
如果由于第一目标操作从而仍需要通过输入装置进行的操作(操作步骤S335:U2),则启动第三操作模式(例如,2D操作模式)(操作步骤S370)。输入装置基于使用者的输入产生输入信号(操作步骤S380)。移动系统1000基于输入信号进行第三目标操作(操作步骤S390)。例如,如图11A所示,当选择文本应用程序时,在如图8C所示的显示装置1041上显示文本输入屏幕。触摸屏幕1044可以基于触碰事件产生输入信号,并且移动系统1000可以基于输入信号输入文本。具体地说,第三目标操作可以涉及进行使用者想要的功能的2D应用程序操作。根据一些示例性实施例,第三目标操作可以是与第一目标操作基本相同的2D界面操作。同时,可以保持不启动光源单元140和包括在感测单元110中的深度像素。
在图10A和图10B的示例性实施例中,如果确定对象接近3D图像传感器100,则启动2D操作模式,并且移动系统1000的操作模式可以基于在2D操作模式下进行的2D界面操作而保持在2D操作模式或者从2D操作模式转换为3D操作模式。
虽然在图10A和图10B中没有示出,但是为了操作移动系统1000,与图9A和图9B的示例性实施例类似,可以增加判断是否产生了第一完成命令的操作步骤、判断是否产生了第二完成命令的操作步骤和判断是否产生了第三完成命令的操作步骤。
图12A和图12B是示出根据一些示例性实施例的移动系统1000的操作方法的流程图。图12A和图12B所示的移动系统的操作方法可以用于操作包括3D图像传感器100和输入装置的移动系统1000。
参考图1、图12A和图12B,为了操作移动系统1000,判断是否启动了触发信号(操作步骤S110)。如果没有启动触发信号(操作步骤S110:否),则移动系统1000等待触发信号的启动。如果启动了触发信号(操作步骤S110:是),则启动第一操作模式(例如,接近度感测模式)(操作步骤S115),进行第一感测(操作步骤S120)并且判断对象的接近度(操作步骤S130)。操作步骤S110、S115、S120和S130与图7A所示的操作步骤S110、S115、S120和S130基本相同。
如果确定对象接近3D图像传感器100(操作步骤S130:是),则同时启动第二操作模式(例如,3D操作模式)和第三操作模式(例如,2D操作模式)(操作步骤S410)。因此,进行第二感测或者基于使用者的输入产生输入信号(操作步骤S420)。基于第二感测或输入信号进行第一目标操作(操作步骤S430)。例如,当对象180接近3D图像传感器100时,在显示装置1041上显示用于选择菜单和/或应用程序的屏幕并且同时启动3D操作模式和2D操作模式。此时,如图8B和图8D所示,可以进行第二感测以识别对象180的动作,或者如图11A和图11B所示,可以基于触碰事件产生输入信号。移动系统1000可以基于第二感测和输入信号选择或执行菜单和/或应用程序。也就是说,第一目标操作可以是3D界面操作或2D界面操作。
基于第一目标操作选择移动系统1000的操作模式之一(操作步骤S435)。如果由于第一目标操作而需要第二感测(操作步骤S435:U3),则选择第二操作模式(操作步骤S440),3D图像传感器100进行第二感测(操作步骤S450)并且移动系统1000基于第二感测进行第二目标操作(操作步骤S460)。如果由于第一目标操作而需要使用输入装置的操作(操作步骤S435:U2),则选择第三操作模式(操作步骤S470),输入装置基于使用者的输入产生输入信号(操作步骤S480)并且移动系统1000基于输入信号进行第三目标操作(操作步骤S490)。
图13是示出根据一些示例性实施例的移动系统的平面图。
参考图13,移动系统1100包括3D图像传感器100、2D图像传感器200和显示装置1041。移动系统1100还可以包括触摸屏幕1044、按键1043和1045、麦克风1047以及扬声器1048。
与图1的移动系统1000相比,图13的移动系统1100还可以包括2D图像传感器200。
3D图像传感器100安装在移动系统1100的第一表面(例如,前表面)上。3D图像传感器100进行第一感测以检测对象的接近度并且通过获取对象的距离信息来进行第二感测以识别对象的手势。3D图像传感器100可以包括具有多个深度像素的感测单元110和发射红外线或近红外线的光源单元140。
2D图像传感器200安装在移动系统1100的第一表面上并且进行第三感测以获取对象的彩色图像信息。2D图像传感器200可以包括具有多个彩色像素的第二感测单元210。
在图13的示例性实施例中,3D图像传感器100和2D图像传感器200可以制备成彼此独立的两个集成电路芯片。也就是说,移动系统1100可以包括两个感测模块。在这种情况下,深度像素和彩色像素可以构成彼此独立的两个像素阵列。
显示装置1041安装在移动系统1100的第一表面上,用于显示第一感测、第二感测和第三感测的结果。
根据一些示例性实施例的移动系统1100包括3D图像传感器100,该3D图像传感器100进行第一感测和第二感测,从而在不增加移动系统1100的尺寸的情况下,使移动系统1100可以具有动作识别功能和接近度感测功能。另外,根据操作模式选择性地启动包括在第一感测单元110中的全部或部分深度像素和3D图像传感器100的光源单元140,并且还根据操作模式选择性地启动2D图像传感器200。因此,可以降低3D图像传感器100、2D图像传感器200和移动系统1100的功耗。
同时,在不启动2D图像传感器200的情况下,移动系统1100与图1的移动系统1000基本相同。在这种情况下,可以基于上面参考图4至图11所述的一些示例性实施例来操作移动系统1100。
图14是示出图13所示移动系统的框图。
参考图14,移动系统1100包括应用程序处理器1010、连接单元1020、存储装置1030、3D图像传感器100、用户接口1040和电源1050。
与图2的移动系统1000相比,图14的移动系统1100还可以包括2D图像传感器200。
3D图像传感器100可以进行第一感测和第二感测,2D图像传感器200可以进行第三感测。例如,3D图像传感器100可以主要进行第一感测,并且可以基于第一感测的结果进行第二感测和第三感测中的至少一种感测。
图15是示出包括在图13所示移动系统1000中的2D图像传感器200的实例的框图。
参考图15,2D图像传感器200可以包括第二感测单元210、行驱动单元220、模数转换(ADC)单元230、数字信号处理(DSP)单元250和控制单元260。
第二感测单元210可以将入射光(例如,可见光线)转换为电信号。第二感测单元210可以包括多个彩色像素211。彩色像素211以像素阵列的形式排列并且提供关于对象彩色图像的信息。例如,在彩色像素211上可以形成有红色滤光器、绿色滤光器和蓝色滤光器。在一些示例性实施例中,在彩色像素211上可以形成有黄色滤光器、青色滤光器和品红色滤光器。
行驱动单元220与第二感测单元210的各个行连接,以产生用于驱动各个行的驱动信号。ADC单元230与第二感测单元210的各个列连接,以将从第二感测单元210输出的模拟信号转换为数字信号。根据一些示例性实施例,ADC单元230可以包括用于提取有效信号成分的相关双采样(CDS)单元。DSP单元250接收从ADC单元230输出的数字信号以进行与数字信号有关的图像数据处理。控制单元260可以控制行驱动单元220、ADC单元230和DSP单元250。
图16A和图16B是示出根据一些示例性实施例的图像传感器的操作方法的流程图。图16A和图16B所示的图像传感器的操作方法可以用于操作安装在移动系统1100中的3D图像传感器100和2D图像传感器200。3D图像传感器100包括多个深度像素并且进行接近度感测和动作识别。2D图像传感器200包括多个彩色像素并且提供彩色图像信息。
参考图13、图16A和图16B,为了操作图像传感器,判断是否启动了触发信号(操作步骤S110)。如果没有启动触发信号(操作步骤S110:否),则移动系统1100等待触发信号的启动。如果启动了触发信号(操作步骤S110:是),则启动第一操作模式(例如,接近度感测模式)(操作步骤S115)。3D图像传感器100进行第一感测,以基于彼此相邻的第一深度像素来检测对象的接近度(操作步骤S120a)。例如,在另一使用者发送呼叫或者使用者按压电源按键1043时,启动触发信号并且启动第一操作模式以进行第一感测。
基于第一感测确定对象的接近度(操作步骤S130)。如果确定对象不接近3D图像传感器100(操作步骤S130:否),则3D图像传感器100保持进行第一感测。
如果确定对象接近3D图像传感器100(操作步骤S130:是),则启动第二操作模式(例如,略读模式(skim mode))(操作步骤S510)。3D图像传感器100基于第二深度像素(第二深度像素在构成局部阵列的同时在深度像素之中彼此相邻)获取关于对象距离的信息,并且进行第二感测以识别对象动作(操作步骤S520)。然后,基于第二感测进行第一目标操作(操作步骤S530)。例如,当对象接近3D图像传感器100时,在显示装置1041上显示接听来电呼叫或者选择菜单和/或应用程序的屏幕,并且可以基于利用第二深度像素的第二感测来选择或执行菜单和/或应用程序。也就是说,第一目标操作可以是3D界面操作。在第二操作模式下,可以进行比较简单的动作识别。
在一些示例性实施例中,第二深度像素的数量可以大于第一深度像素的数量。
基于第一目标操作改变移动系统1100的操作模式(操作步骤S535)。
当由于第一目标操作的结果而需要比较复杂的动作识别时(操作步骤S535:MD),启动第三操作模式(例如,深度模式)(操作步骤S540)。3D图像传感器100基于全部深度像素进行第二感测(操作步骤S545)。移动系统1100基于第二感测进行第二目标操作(操作步骤S550)。例如,当基于第一目标操作执行游戏应用程序时,可以基于与全部深度像素有关的第二感测进行游戏操纵。也就是说,第二目标操作可以是3D应用程序操作。
如果由于第一目标操作的结果而需要彩色图像摄影(操作步骤S535:MC),则启动第四操作模式(例如,彩色模式)(操作步骤S560)。2D图像传感器200进行第三感测,以基于全部彩色像素获取对象的彩色图像信息(操作步骤S565)。移动系统1100基于第三感测进行第三目标操作(操作步骤S570)。例如,当基于第一目标操作执行2D照相应用程序时,可以基于第三感测进行2D彩色图像摄影。也就是说,第三目标操作可以涉及进行2D彩色图像摄影的操作。
在第三操作模式下只启动全部深度像素,而在第四操作模式下只启动全部彩色像素。因此,第三操作模式和第四操作模式可以被称为单独模式。
如果由于第一目标操作的结果而需要彩色3D图像摄影(操作步骤S535:MCC),则启动第五操作模式(例如,并行模式(concurrentmode))(操作步骤S580)。3D图像传感器100基于全部深度像素进行第二感测,并且同时基于全部彩色像素进行第三感测(操作步骤S585)。基于第二感测和第三感测进行第四目标操作(操作步骤S590)。例如,当基于第一目标操作执行3D照相应用程序时,可以基于第二感测和第三感测进行3D彩色图像摄影。也就是说,第四目标操作可以涉及进行3D彩色图像摄影的操作(例如,3D摄影操作)。
在图16A和图16B的示例性实施例中,如果确定对象接近3D图像传感器100,则启动略读模式,并且移动系统1100的操作模式可以基于在略读模式下进行的3D界面操作而从略读模式转换为深度模式、彩色模式或并行模式。
虽然在图16A和图16B中没有示出,但是当根据一些示例性实施例启动第二操作模式时(操作步骤S510),可以进一步启动至少一部分彩色像素。例如,当在进行图像通信的同时进行3D界面操作时,可以同时启动第二深度像素和至少一部分彩色像素。2D图像传感器200可以基于在第二操作模式下启动的至少一部分彩色像素来进一步进行第三感测。
图17、图18A、图18B、图18C、图18D、图19A、图19B和图20是示出图16A和图16B所示的图像传感器的操作方法的视图。出于便于说明的目的,在图17、图18A、图18B、图18C、图18D、图19A、图19B和图20的图像传感器中仅示出包括多个深度像素的第一感测单元110和包括多个彩色像素的第二感测单元210。
参考图16A和图17,当启动第一操作模式时(操作步骤S115),可以启动包括在第一感测单元110中的深度像素的第一深度像素113,并且不启动光源单元140,使得不会发出光。包括在第二感测单元210中的全部彩色像素可以不启动。因此,当进行接近度感测时,可用降低3D图像传感器100、2D图像传感器200和移动系统1100的功耗。
在图17中,第一深度像素113排列成对应于一列深度像素。然而,根据一些示例性实施例,第一深度像素113可以排列成对应于一行深度像素或者排列成对应于一行或一列的一部分。此外,根据一些示例性实施例,如图6C和图6D所示,光源单元140可以在第一操作模式下发出低亮度光。
参考图16A和图18A,当启动第二操作模式时(操作步骤S510),可以启动包括在第一感测单元110中的深度像素的第二深度像素115,并且如图6B所示,光源单元140可以发出高亮度光。包括在第二感测单元210中的全部彩色像素可以不启动。因此,当进行比较简单的动作识别时,可以降低3D图像传感器100、2D图像传感器200和移动系统1100的功耗。尤其是在图18A的示例性实施例中可以降低第一感测单元110的功耗。
参考图16A、图18B和图18C,当启动第二操作模式时(操作步骤S510),可以启动包括在第一感测单元110中的深度像素的第二深度像素115,并且如图6B所示,光源单元140可以发出高亮度光。此时,可以启动包括在第二感测单元210中的彩色像素的第一彩色像素215(对应于第二深度像素115)(参见图18B),或者可以启动全部彩色像素219(参见图18C)。
参考图16A和图18D,当启动第二操作模式时(操作步骤S510),进行与包括在第一感测单元110中的深度像素有关的像元合并(binning)操作。例如,如图18D所示,可以通过合并相邻的四个像素(即,2×2像元合并)来形成一个像素,并且可以通过启动全部合并后的像素117来进行第二感测。如图6C所示,光源单元140可以发出低亮度光。包括在第二感测单元210中的全部彩色像素可以不启动。因此,当进行比较简单的动作识别时,可以降低3D图像传感器100、2D图像传感器200和移动系统1100的功耗。尤其是在图18D的示例性实施例中可以降低光源单元140的功耗。
根据一些示例性实施例,可以使用硬件或软件进行像元合并操作。
根据一些示例性实施例,当进行与包括在第一感测单元110中的深度像素有关的像元合并操作时,可以启动包括在第二感测单元210中的全部彩色像素219或部分彩色像素(例如,图18B的第一彩色像素215)。
参考图16B和图19A,当启动第三操作模式(操作步骤540)时,可以启动包括在第一感测单元110中的全部深度像素119,并且如图6B所示,光源单元140可以发出高亮度光。包括在第二感测单元210中的全部彩色像素可以不启动。因此,可以精确地进行比较复杂的动作识别。
参考图16B和图19B,当启动第四操作模式(操作步骤560)时,可以启动包括在第二感测单元210中的全部彩色像素219。包括在第一感测单元110中的全部深度像素和光源单元140可以不启动。因此,可以有效地进行2D彩色图像摄影。
参考图16B和图20,当启动第五操作模式(操作步骤560)时,可以启动包括在第一感测单元110中的全部深度像素119,并且如图6B所示,光源单元140可以发出高亮度光。可以启动包括在第二感测单元210中的全部彩色像素219。因此,可以有效地进行3D彩色图像摄影。
如上文所述,根据操作模式可以选择性地启动包括在3D图像传感器100中的全部或部分深度像素和/或包括在2D图像传感器200中的彩色像素,并且根据操作模式光源单元140选择性地启动或发出彼此具有不同亮度的光,从而可以降低3D图像传感器100、2D图像传感器200以及包括3D图像传感器100和2D图像传感器200的移动系统1100的功耗。
图21A和图21B是示出根据一些示例性实施例的图像传感器的操作方法的流程图。
参考图21A和图21B,与图16A和图16B相比,可以附加地进行操作步骤S515、S555、S575和S595来操作图像传感器。图21A和图21B的操作步骤S110、S115、S120a、S130、S510、S520、S530、S540、S545、S550、S560、S565、S570、S580、S585和S590分别与图16A和图16B的操作步骤S110、S115、S120a、S130、S510、S520、S530、S540、S545、S550、S560、S565、S570、S580、S585和S590基本相同,所以将省略多余的描述。
在启动第二操作模式(操作步骤S510)之后,判断是否产生了第一完成命令(操作步骤S515)。如果没有产生第一完成命令(操作步骤S515:否),则3D图像传感器100基于第二深度像素进行第二感测(操作步骤S520)。如果产生了第一完成命令(操作步骤S515:是),则第二操作模式完成并且再次启动第一操作模式(操作步骤S115)。
在已经进行了第二目标操作(操作步骤S550)之后,判断是否产生了第二完成命令(操作步骤S555)。如果没有产生第二完成命令(操作步骤S555:否),则移动系统等待对象的手势。如果产生了对象的手势,则进行第二感测(操作步骤S545)并且进行第二目标操作(操作步骤S550),然后重复该过程。如果产生了第二完成命令(操作步骤S555:是),则第三操作模式完成并且再次启动第二操作模式(操作步骤S510)。
在已经进行了第三目标操作(操作步骤S570)之后,判断是否产生了第三完成命令(操作步骤S575)。如果没有产生第三完成命令(操作步骤S575:否),则根据使用者的输入进行第三感测(操作步骤S565)并且进行第三目标操作(操作步骤S570),然后重复该过程。如果产生了第三完成命令(操作步骤S575:是),则第四操作模式完成并且再次启动第二操作模式(操作步骤S510)。
在已经进行了第四目标操作(操作步骤S590)之后,判断是否产生了第四完成命令(操作步骤S595)。如果没有产生第四完成命令(操作步骤S595:否),则根据使用者的输入进行第二感测和第三感测(操作步骤S585)并且进行第四目标操作(操作步骤S590),然后重复该过程。如果产生了第四完成命令(操作步骤S595:是),则第五操作模式完成并且再次启动第二操作模式(操作步骤S510)。
图22A和图22B是示出根据一些示例性实施例的图像传感器的操作方法的流程图。图22A和图22B所示的图像传感器的操作方法可以用于操作安装在移动系统1100中的3D图像传感器100和2D图像传感器200。
参考图13、图22A和图22B,为了操作图像传感器,判断是否启动了触发信号(操作步骤S110)。如果没有启动触发信号(操作步骤S110:否),则移动系统1100等待触发信号的启动。如果启动了触发信号(操作步骤S110:是),则启动第一操作模式(例如,接近度感测模式)(操作步骤S115),基于第一深度像素进行第一感测(操作步骤S120a)并且判断对象的接近度(操作步骤S130)。操作步骤S110、S115、S120a和S130与图16A所示的操作步骤S110、S115、S120a和S130基本相同。
如果确定对象接近3D图像传感器100(操作步骤S130:是),则启动第三操作模式(例如,深度模式)(操作步骤S610)。3D图像传感器100基于全部深度像素进行第二感测(操作步骤S620)。移动系统1100基于第二感测进行第一目标操作(操作步骤S630)。第一目标操作可以是3D界面操作并且可以基于比较简单的动作识别来进行3D界面操作。
可以基于第一目标操作改变或保持移动系统1100的操作模式(操作步骤S635)。
如果由于第一目标操作的结果而需要比较复杂的动作识别(操作步骤S635:MD),则保持第三操作模式(操作步骤S640)。3D图像传感器100基于全部深度像素进行第二感测(操作步骤S545)。移动系统1100基于第二感测进行第二目标操作(操作步骤S550)。如果由于第一目标操作的结果而需要进行彩色图像摄影(操作步骤S635:MC),则启动第四操作模式(例如,彩色模式)(操作步骤S560)。2D图像传感器200基于全部彩色像素进行第三感测以获取对象的彩色图像信息(操作步骤S565)。移动系统1100基于第三感测进行第三目标操作(操作步骤S570)。如果由于第一目标操作的结果而需要进行彩色3D图像摄影(操作步骤S635:MCC),则启动第五操作模式(例如,并行模式)(操作步骤S580)。3D图像传感器100基于全部深度像素和彩色像素同时进行第二感测和第三感测(操作步骤S585)。基于第二感测和第三感测进行第四目标操作(操作步骤S590)。操作步骤S545、S550、S560、S565、S570、S580、S585和S590分别与图16B的操作步骤S545、S550、S560、S565、S570、S580、S585和S590基本相同。
在图22A和图22B的示例性实施例中,如果确定对象接近3D图像传感器100,则启动深度模式来代替略读模式,并且移动系统1100的操作模式可以基于在深度模式下进行的3D界面操作而保持在深度模式或者可以从深度模式转换为彩色模式或并行模式。
虽然在图22A和图22B中没有示出,但是与图21A和图21B的示例性实施例类似,在操作图像传感器时还可以增加判断是否产生了第一至第四完成命令的操作步骤。
同时,根据一些示例性实施例,图16A、图16B、图21A、图21B、图22A和图22B所示的图像传感器的操作方法还可以用于操作包括3D图像传感器100和2D图像传感器200的移动系统1100。
图23是示出根据一些示例性实施例的移动系统的操作方法的流程图。图23所示的移动系统的操作方法还可以用于操作包括3D图像传感器100、2D图像传感器200和输入装置的移动系统1100。
参考图13、图16B和图23,为了操作移动系统,判断是否启动了触发信号(操作步骤S110)。如果没有启动触发信号(操作步骤S110:否),则移动系统1100等待触发信号的启动。如果启动了触发信号(操作步骤S110:是),则启动第一操作模式(例如,接近度感测模式)(操作步骤S115),基于第一深度像素进行第一感测(操作步骤S120a)并且判断对象的接近度(操作步骤S130)。操作步骤S110、S115、S120a和S130与图16A所示的操作步骤S110、S115、S120a和S130基本相同。
如果确定对象接近3D图像传感器100(操作步骤S130:是),则启动2D操作模式(操作步骤S710)。诸如触摸屏幕1044以及按键1043和1045等输入装置基于使用者的输入产生输入信号(操作步骤S720)。基于输入信号进行第一目标操作(操作步骤S730)。例如,当对象接近3D图像传感器100时,在显示装置1041上显示用于选择菜单和/或应用程序的屏幕,并且可以基于触碰事件(例如,与触摸屏幕1044接触)产生的输入信号来选择或执行菜单和/或应用程序。也即是说,第一目标操作可以是2D界面操作。
可以基于第一目标操作改变移动系统1100的操作模式(操作步骤S535)。
当由于第一目标操作的结果而需要比较复杂的动作识别时(操作步骤S535:MD),保持第三操作模式(操作步骤S540)。如果由于第一目标操作的结果而需要彩色图像摄影(操作步骤S535:MC),则启动第四操作模式(例如,彩色模式)(操作步骤S560)。如果由于第一目标操作的结果而需要进行彩色3D图像摄影(操作步骤S535:MCC),则启动第五操作模式(例如,并行模式)(操作步骤S580)。
在图23和图16B的示例性实施例中,如果确定对象接近3D图像传感器100,则启动2D操作模式来代替略读模式,并且移动系统1100的操作模式可以基于在2D操作模式下进行的2D界面操作而在2D操作模式下从2D操作模式转换为的深度模式、彩色模式或并行模式。
虽然在图23和图16B中没有示出,但是与图21A和图21B的示例性实施例类似,在操作移动系统时还可以增加判断是否产生了第一至第四完成命令的操作步骤。
图24是示出根据一些示例性实施例的移动系统的平面图。
参考图24,移动系统1200包括图像传感器300和显示装置1041。移动系统1200还可以包括触摸屏幕1044、按键1043和1045、麦克风1047以及扬声器1048。
图像传感器300安装在移动系统1200的第一表面(例如,前表面)上。图像传感器300进行第一感测以检测对象的接近度、通过获取对象的距离信息来进行第二感测以识别对象的手势并且进行第三感测以获取对象彩色图像信息。图像传感器300可以包括具有多个深度像素的第一感测单元110、发出红外线或近红外线的光源单元140以及具有多个彩色像素的第二感测单元210。
在图24的示例性实施例中,3D图像传感器和2D图像传感器可以制备成一个集成电路芯片。也就是说,移动系统1200可以包括一个感测模块。在这种情况下,深度像素和彩色像素可以构成彼此独立的两个像素阵列。
显示装置1041安装在移动系统1200的第一表面上,用于显示第一感测、第二感测和第三感测的结果。
除了移动系统1200的3D图像传感器和2D图像传感器被制备成一个集成电路芯片以外,图24的移动系统1200与图13的移动系统1100基本相同。因此,可以基于上面参考图16A至图23所述的一些示例性实施例来操作移动系统1200。在不启动第二图像传感器(即,第二感测单元210)的情况下,可以基于上面参考图4图图11所述的一些示例性实施例来操作移动系统1200。
图25是示出图24所示移动系统1200的实例的框图。
参考图25,移动系统1200包括应用程序处理器1010、连接单元1020、存储装置1030、图像传感器300、用户接口1040和电源1050。
与图14的移动系统1100相比,图25的移动系统1200还可以包括集成3D图像传感器100和2D图像传感器200的图像传感器300。
图像传感器300可以进行第一感测、第二感测和第三感测。例如,图像传感器300可以主要进行第一感测,并且可以基于第一感测的结果进行第二感测和第三感测中的至少一种感测。
图26是示出根据一些示例性实施例的移动系统的平面图。
参考图26,移动系统1300包括图像传感器400和显示装置1041。移动系统1300还可以包括触摸屏幕1044、按键1043和1045、麦克风1047以及扬声器1048。
图像传感器400安装在移动系统1300的第一表面(例如,前表面)上。图像传感器400进行第一感测以检测对象的接近度、通过获取对象的距离信息来进行第二感测以识别对象的手势并且进行第三感测以获取对象彩色图像信息。图像传感器400可以包括具有多个深度像素和彩色像素的感测单元410以及发出红外线或近红外线的光源单元440。
在图26的示例性实施例中,3D图像传感器和2D图像传感器可以制备成一个集成电路芯片。也就是说,移动系统1300可以包括一个感测模块。在这种情况下,深度像素和彩色像素可以构成一个像素阵列。具体地说,图像传感器400可以是3D彩色图像传感器,例如,RGBZ(红、绿、蓝和深度)传感器。
显示装置1041安装在移动系统1300的第一表面上,用于显示第一感测、第二感测和第三感测的结果。
除了移动系统1300的3D图像传感器和2D图像传感器被制备成一个集成电路芯片并且深度像素和彩色像素构成一个像素阵列以外,图26的移动系统1300与图13的移动系统1100基本相同。因此,以基于上面参考图16A至图23所述的一些示例性实施例来操作移动系统1300。在不启动彩色像素的情况下,可以基于上面参考图4至图11所述的一些示例性实施例来操作移动系统1300。
图27是示出图26所示移动系统的实例的框图。
参考图27,移动系统1300包括应用程序处理器1010、连接单元1020、存储装置1030、图像传感器400、用户接口1040和电源1050。
与图14的移动系统1100相比,图27的移动系统1300还可以包括集成3D图像传感器和2D图像传感器并且多个深度像素和彩色像素构成一个像素阵列的3D彩色图像传感器400。
图像传感器400可以进行第一感测、第二感测和第三感测。例如,图像传感器400可以主要进行第一感测,并且可以基于第一感测的结果进行第二感测和第三感测中的至少一种感测。
图28是示出包括在图27所示移动系统中的图像传感器的实例的框图。图29A和图29B是示出包括在图28所示图像传感器中的感测单元的实例的视图。
参考图28,图像传感器400可以包括感测单元410、第一行驱动单元420a、第二行驱动单元420b、第一模数转换(ADC)单元430a、第二ADC单元430b、光源单元440、数字信号处理(DSP)单元450和控制单元460。
光源单元440可以输出具有所需波长(可以是预定的或不是预定的;例如,红外线或近红外线)的光TL。光源单元440可以根据操作模式而选择性地启动或者可以发出具有互不相同的亮度的光。光源单元440可以包括产生光TL的光源441和用于将光汇聚到对象180的透镜443。
感测单元410可以通过接收从对象180反射的光RL并将光RL转换为电信号来提供距离信息。另外,感测单元410还可以通过将入射光(例如,可见光线)转换为电信号来提供彩色图像信息。
感测单元410可以包括多个深度像素和彩色像素。根据一些示例性实施例,深度像素和彩色像素可以以多种数量比和尺寸比包括在感测单元410中。例如,如图29A所示,感测单元410a可以包括深度像素411a和彩色像素413a,或者如图29B所示,感测单元410b可以包括深度像素411b和彩色像素413b。在一些示例性实施例中,在深度像素上形成有红外线滤光器(或近红外线滤光器),并且在彩色像素上形成有彩色滤光器(例如,红色滤光器、绿色滤光器和蓝色滤光器)。
第一行驱动单元420a与彩色像素的各个行连接并且可以产生用于驱动彩色像素的各个行的第一驱动信号。第二行驱动单元420b与深度像素的各个行连接并且可以产生用于驱动深度像素的各个行的第二驱动信号。第一ADC单元430a与彩色像素的各个列连接并且可以将彩色像素的各个列输出的第一模拟信号转换为第一数字信号。第二ADC单元430b与深度像素的各个列连接并且可以将深度像素的各个列输出的第二模拟信号转换为第二数字信号。DSP单元450接收第一ADC单元430a和第二ADC单元430b输出的第一数字信号和第二数字信号,以进行与第一数字信号和第二数字信号有关的图像数据处理。控制单元460可以控制第一行驱动单元420a、第二行驱动单元420b、第一ADC单元430a、第二ADC单元430b、光源单元440和DSP单元450。
图30是示出在根据一些示例性实施例的移动系统中使用的接口的实例的框图。
参考图30,移动系统2000可以实现为使用或支持移动行业处理器接口(MIPI)的数据处理装置(例如,便携式电话、数字个人助理、便携式多媒体播放器或智能电话),并且可以包括应用程序处理器2110、图像传感器2140和显示器2150。
应用程序处理器2110的相机串行接口(CSI)主机2112可以通过CSI与图像传感器2140的CSI设备2141进行串行通信。在一个实施例中,CSI主机2112可以包括光学去串行化器DES,CSI设备2141可以包括光学串行化器SER。应用程序处理器2110的显示器串行接口(DSI)主机2111可以通过DSI与显示器2150的DSI设备2151进行串行通信。在一个实施例中,DSI主机2111可以包括光学串行化器SER,DSI设备2151可以包括光学去串行化器DES。
另外,移动系统2000还可以包括可以与应用程序处理器2110进行通信的RF(射频)芯片2160。根据MIPI DigRF,数据可以在移动系统2000的物理层(PHY)2113与RF芯片的2160的PHY2161之间传送。另外,应用程序处理器2110还可以包括DigRF主控机2114以便根据MIPI DigRF控制数据传输,RF芯片2160还可以包括由DigRF主控机2114控制的DigRF从机2162。
同时,移动系统可以包括全球定位系统(GPS)2120、存储装置2170、麦克风2180、动态随机存取存储器(DRAM)2185和扬声器2190。另外,移动系统2000可以使用超宽带(UWB)2210、无线局域网(WLAN)2220和全球微波互联接入(WiMAX)2230来进行通信。移动系统2000的结构和接口仅是说明性的,并且示例性实施例不限于此。
一些示例性实施例可以应用于能够进行接近度感测和手势识别的3D图像传感器和包括该3D图像传感器的移动系统。例如,一些示例性实施例可以应用于诸如移动电话、智能电话、平板PC、便携式计算机、数字个人助理(PDA)、便携式多媒体播放器(PMP)、数字照相机、音乐播放器、便携式游戏机和导航仪等各种终端。
应当理解,本文所述的示例性实施例应当理解为是描述性的而不是出于限制的目的。各个实施例中的特征或方面的描述通常应当理解为可用于其他实施例中的类似特征或方面。

Claims (23)

1.一种移动系统,包括:
位于所述移动系统的第一表面上的三维图像传感器,所述三维图像传感器构造成进行第一感测以检测对象的接近度并且通过获取对象的距离信息来进行第二感测以识别对象的手势;以及
位于所述移动系统的第一表面上的显示装置,所述显示装置用于显示所述第一感测和所述第二感测的结果。
2.根据权利要求1所述的移动系统,其中,基于触发信号启动第一操作模式以进行所述第一感测,并且
其中,当所述第一感测的结果表示对象接近所述三维图像传感器时选择性地进行所述第二感测。
3.根据权利要求2所述的移动系统,还包括:
输入装置,其用于接收使用者的输入;
其中,当对象接近所述三维图像传感器时启动第二操作模式和第三操作模式中的至少一种操作模式,所述第二操作模式基于所述第二感测进行第一目标操作,所述第三操作模式基于由所述输入装置产生的输入信号进行第二目标操作。
4.根据权利要求3所述的移动系统,其中,当对象接近所述三维图像传感器时启动所述第二操作模式,并且基于所述第一目标操作而将所述移动系统的操作模式保持在所述第二操作模式或者将所述移动系统的操作模式从所述第二操作模式转换为所述第三操作模式。
5.根据权利要求3所述的移动系统,其中,当对象接近所述三维图像传感器时启动所述第三操作模式,并且基于所述第二目标操作而将所述移动系统的操作模式保持在所述第三操作模式或者将所述移动系统的操作模式从所述第三操作模式转换为所述第二操作模式。
6.根据权利要求3所述的移动系统,其中,当对象接近所述三维图像传感器时同时启动所述第二操作模式和所述第三操作模式。
7.根据权利要求1所述的移动系统,还包括:
位于所述移动系统的第一表面上的二维图像传感器,所述二维图像传感器进行第三感测以获取对象的彩色图像信息。
8.根据权利要求7所述的移动系统,其中,基于触发信号启动第一操作模式以进行所述第一感测,并且当所述第一感测的结果表示对象接近所述三维图像传感器时进行所述第二感测和所述第三感测中的至少一种感测。
9.根据权利要求8所述的移动系统,其中,所述三维图像传感器包括多个深度像素,并且基于所述深度像素之中彼此相邻的第一深度像素而在所述第一操作模式下进行所述第一感测。
10.根据权利要求8所述的移动系统,其中,所述三维图像传感器包括多个深度像素,所述二维图像传感器包括多个彩色像素,并且
其中,当对象接近所述三维图像传感器时启动第二操作模式、第三操作模式、第四操作模式和第五操作模式中的一种操作模式,所述第二操作模式基于所述深度像素之中的在构成局部阵列的同时彼此相邻的第一深度像素进行所述第二感测,所述第三操作模式基于所述深度像素进行所述第二感测,所述第四操作模式基于所述彩色像素进行所述第三感测,所述第五操作模式基于所述深度像素和所述彩色像素同时进行所述第二感测和所述第三感测。
11.根据权利要求10所述的移动系统,其中,当对象接近所述三维图像传感器时启动所述第二操作模式,并且基于在所述第二操作模式下进行的所述第二感测的结果将所述移动系统的操作模式从所述第二操作模式转换为所述第三操作模式至所述第五操作模式中的一种操作模式。
12.根据权利要求10所述的移动系统,其中,当对象接近所述三维图像传感器时启动所述第三操作模式,并且基于在所述第三操作模式下进行的所述第二感测的结果将所述移动系统的操作模式保持在所述第三操作模式或者将所述移动系统的操作模式从所述第三操作模式转换为所述第四操作模式和所述第五操作模式中的一种操作模式。
13.根据权利要求10所述的移动系统,其中,当启动所述第二操作模式时,还基于所述彩色像素的一部分进行所述第三感测。
14.根据权利要求7所述的移动系统,其中,所述三维图像传感器和所述二维图像传感器是一个集成电路芯片或者是彼此独立的两个集成电路芯片。
15.根据权利要求7所述的移动系统,其中,所述三维图像传感器包括多个深度像素,所述二维图像传感器包括多个彩色像素,并且所述深度像素和所述彩色像素构成一个像素阵列或者构成彼此独立的两个像素阵列。
16.根据权利要求1所述的移动系统,其中,所述三维图像传感器包括光源单元,在进行所述第一感测时不启动所述光源单元,而在进行所述第二感测时启动所述光源单元。
17.根据权利要求1所述的移动系统,其中,所述三维图像传感器包括光源单元,在进行所述第一感测时所述光源单元发出低亮度光,而在进行所述第二感测时所述光源单元发出高亮度光。
18.一种三维图像传感器的操作方法,所述方法包括步骤:
基于触发信号进行第一感测以检测对象的接近度;以及
当所述第一感测的结果表示对象接近所述三维图像传感器时,通过获取对象的距离信息来进行第二感测以识别对象的手势。
19.根据权利要求18所述的操作方法,还包括步骤:
基于所述第二感测进行目标操作。
20.根据权利要求18所述的操作方法,其中,所述三维图像传感器包括多个深度像素,并且
其中,基于所述深度像素的一部分进行所述第一感测,并且基于全部所述深度像素进行所述第二感测。
21.一种包括多个深度像素和彩色像素的图像传感器的操作方法,所述方法包括步骤:
基于触发信号进行第一感测以检测对象的接近度;以及
当所述第一感测的结果表示对象接近所述图像传感器时,进行第二感测和第三感测中的至少一种感测,所述第二感测通过获取对象的距离信息来识别对象的手势,所述第三感测获取对象的彩色图像信息。
22.根据权利要求21所述的操作方法,其中,进行所述第二感测和所述第三感测中的至少一种感测的步骤包括:
基于所述深度像素之中的在构成局部阵列的同时彼此相邻的第一深度像素进行所述第二感测;
基于所述深度像素进行所述第二感测;
基于所述彩色像素进行所述第三感测;以及
基于所述深度像素和所述彩色像素同时进行所述第二感测和所述第三感测。
23.根据权利要求22所述的操作方法,其中,进行所述第二感测和所述第三感测中的至少一种感测的步骤还包括:
基于所述第一深度像素进行所述第二感测,基于所述第二感测的结果转换所述图像传感器的操作模式。
CN201310504921.7A 2012-10-23 2013-10-23 包括图像传感器的移动系统和图像传感器的操作方法 Active CN103777750B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120117760A KR101938648B1 (ko) 2012-10-23 2012-10-23 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
KR10-2012-0117760 2012-10-23

Publications (2)

Publication Number Publication Date
CN103777750A true CN103777750A (zh) 2014-05-07
CN103777750B CN103777750B (zh) 2019-02-05

Family

ID=50484889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310504921.7A Active CN103777750B (zh) 2012-10-23 2013-10-23 包括图像传感器的移动系统和图像传感器的操作方法

Country Status (4)

Country Link
US (1) US9829983B2 (zh)
KR (1) KR101938648B1 (zh)
CN (1) CN103777750B (zh)
DE (1) DE102013111558A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106574973A (zh) * 2014-12-22 2017-04-19 谷歌公司 集成在同一半导体封装中的影像传感器和光源驱动器
CN108632513A (zh) * 2018-05-18 2018-10-09 北京京东尚科信息技术有限公司 智能照相机

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102290287B1 (ko) * 2014-10-24 2021-08-17 삼성전자주식회사 이미지 신호와 근접 신호를 동시에 생성하는 이미지 센서
KR102248404B1 (ko) 2014-11-17 2021-05-07 삼성전자주식회사 움직임 분석 방법 및 움직임 분석 장치
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
WO2016204363A1 (en) * 2015-06-17 2016-12-22 Lg Electronics Inc. Mobile terminal and method for controlling the same
KR102311688B1 (ko) 2015-06-17 2021-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102432620B1 (ko) 2015-11-12 2022-08-16 삼성전자주식회사 외부 객체의 근접에 따른 동작을 수행하는 전자 장치 및 그 방법
US11417002B2 (en) 2016-06-17 2022-08-16 Pixart Imaging Inc. Image recognition system, sensor module, and method for image recognition
TW201800901A (zh) * 2016-06-17 2018-01-01 原相科技股份有限公司 偵測動作資訊的方法及感光陣列
US10168459B2 (en) 2016-11-30 2019-01-01 Viavi Solutions Inc. Silicon-germanium based optical filter
US10970922B2 (en) * 2018-09-28 2021-04-06 Apple Inc. Generating a 3D model of a fingertip for visual touch detection
US20210185284A1 (en) * 2019-12-13 2021-06-17 Sony Semiconductor Solutions Corporation EBS/ToF/RGB CAMERA FOR SMART SURVEILLANCE AND INTRUDER DETECTION
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
WO2021160024A1 (en) * 2020-02-14 2021-08-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system of identifying a user selection at a display of a user device
EP4179411A1 (en) * 2020-07-10 2023-05-17 Telefonaktiebolaget LM ERICSSON (PUBL) Visual feedback from a user equipment
DE102021201074A1 (de) 2021-02-05 2022-08-11 Robert Bosch Gesellschaft mit beschränkter Haftung Detektorbaugruppe und optischer Sensor

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050120503A (ko) * 2004-06-19 2005-12-22 엘지전자 주식회사 이동 통신 단말기의 사진 촬영 장치와 방법
CN101030013A (zh) * 2006-03-03 2007-09-05 富士通株式会社 图像捕获装置
CN101651145A (zh) * 2008-08-06 2010-02-17 三星电子株式会社 三维图像传感器的像素阵列
CN101730874A (zh) * 2006-06-28 2010-06-09 诺基亚公司 基于免接触的手势的输入
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
CN102222329A (zh) * 2010-03-17 2011-10-19 微软公司 深度检测的光栅扫描
US20110285825A1 (en) * 2010-05-20 2011-11-24 Cisco Technology, Inc. Implementing Selective Image Enhancement
KR20120051213A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 영상촬영방법 및 그에 따른 멀티미디어 장치
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技(厦门)有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN102547355A (zh) * 2010-12-21 2012-07-04 三星电子株式会社 图像传感器和操作该图像传感器的方法
CN102662460A (zh) * 2012-03-05 2012-09-12 清华大学 移动终端的非接触式控制装置及其控制方法
CN202433830U (zh) * 2011-10-31 2012-09-12 北京德信互动网络技术有限公司 人机互动系统
CN102685534A (zh) * 2011-03-15 2012-09-19 三星电子株式会社 操作包括多个深度像素的三维图像传感器的方法
CN102693046A (zh) * 2011-02-23 2012-09-26 微软公司 互动显示设备中的悬停检测

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265249A (ja) 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US7053937B1 (en) 1999-05-21 2006-05-30 Pentax Corporation Three-dimensional image capturing device and recording medium
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
JP5308088B2 (ja) 2008-07-24 2013-10-09 パナソニック株式会社 距離画像センサ
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
US20110063437A1 (en) 2008-08-20 2011-03-17 Tatsumi Watanabe Distance estimating device, distance estimating method, program, integrated circuit, and camera
KR20100054540A (ko) 2008-11-14 2010-05-25 삼성전자주식회사 픽셀 회로, 광전 변환장치, 및 이를 포함하는 이미지 센싱 시스템
JP5431810B2 (ja) 2009-07-03 2014-03-05 株式会社豊田中央研究所 画像センサとその画像センサに用いられる受光装置
KR101646908B1 (ko) 2009-11-27 2016-08-09 삼성전자주식회사 거리 정보를 감지할 수 있는 이미지 센서
EP2504399A1 (de) 2009-11-27 2012-10-03 Basf Se Verfahren zur herstellung von polymerhaltigen beschichtungen
JP5689630B2 (ja) 2010-09-01 2015-03-25 日本電産サンキョー株式会社 撮影用光学装置および撮影用光学システム
CN103534664B (zh) * 2011-05-12 2016-08-31 苹果公司 存在感测
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US8976110B2 (en) * 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050120503A (ko) * 2004-06-19 2005-12-22 엘지전자 주식회사 이동 통신 단말기의 사진 촬영 장치와 방법
CN101030013A (zh) * 2006-03-03 2007-09-05 富士通株式会社 图像捕获装置
CN101730874A (zh) * 2006-06-28 2010-06-09 诺基亚公司 基于免接触的手势的输入
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
CN101651145A (zh) * 2008-08-06 2010-02-17 三星电子株式会社 三维图像传感器的像素阵列
CN102222329A (zh) * 2010-03-17 2011-10-19 微软公司 深度检测的光栅扫描
US20110285825A1 (en) * 2010-05-20 2011-11-24 Cisco Technology, Inc. Implementing Selective Image Enhancement
KR20120051213A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 영상촬영방법 및 그에 따른 멀티미디어 장치
CN102547355A (zh) * 2010-12-21 2012-07-04 三星电子株式会社 图像传感器和操作该图像传感器的方法
CN102693046A (zh) * 2011-02-23 2012-09-26 微软公司 互动显示设备中的悬停检测
CN102685534A (zh) * 2011-03-15 2012-09-19 三星电子株式会社 操作包括多个深度像素的三维图像传感器的方法
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技(厦门)有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN202433830U (zh) * 2011-10-31 2012-09-12 北京德信互动网络技术有限公司 人机互动系统
CN102662460A (zh) * 2012-03-05 2012-09-12 清华大学 移动终端的非接触式控制装置及其控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106574973A (zh) * 2014-12-22 2017-04-19 谷歌公司 集成在同一半导体封装中的影像传感器和光源驱动器
US10257455B2 (en) 2014-12-22 2019-04-09 Google Llc Image sensor and light source driver integrated in a same semiconductor package
CN106574973B (zh) * 2014-12-22 2019-06-11 谷歌有限责任公司 集成在同一半导体封装中的影像传感器和光源驱动器
USRE49664E1 (en) 2014-12-22 2023-09-19 Google Llc Image sensor and light source driver integrated in a same semiconductor package
USRE49748E1 (en) 2014-12-22 2023-12-05 Google Llc Image sensor and light source driver integrated in a same semiconductor package
CN108632513A (zh) * 2018-05-18 2018-10-09 北京京东尚科信息技术有限公司 智能照相机

Also Published As

Publication number Publication date
US20140111423A1 (en) 2014-04-24
CN103777750B (zh) 2019-02-05
KR101938648B1 (ko) 2019-01-15
US9829983B2 (en) 2017-11-28
KR20140051572A (ko) 2014-05-02
DE102013111558A1 (de) 2014-05-08

Similar Documents

Publication Publication Date Title
CN103777750A (zh) 包括图像传感器的移动系统和图像传感器的操作方法
KR102364084B1 (ko) 이동단말기 및 그 제어방법
KR102290892B1 (ko) 이동단말기 및 그것의 제어방법
KR102304305B1 (ko) 이동단말기 및 그 제어방법
US20180074627A1 (en) Electronic device including display emitting light to provide optics-based fingerprint detection
US11455044B2 (en) Motion detection system having two motion detecting sub-system
CN102547355A (zh) 图像传感器和操作该图像传感器的方法
KR102311688B1 (ko) 이동단말기 및 그 제어방법
US9164638B2 (en) Information processing method and device for electronic device with touch screen
US20150071648A1 (en) Display-to-display data transmission
US10996771B2 (en) Electronic apparatus and control method thereof
KR102289786B1 (ko) 이동 단말기 및 그 제어 방법
US9946421B2 (en) Mobile terminal with multiple driving modes and control method for the mobile terminal
CN108681726B (zh) 3d芯片模组、身份识别装置及电子设备
KR102215817B1 (ko) 이동 단말기 및 그 제어 방법
US20100079394A1 (en) Input device and display
CN114816167B (zh) 应用图标的显示方法、电子设备及可读存储介质
EP4086740A1 (en) Display method and electronic device
US10289212B2 (en) Electronic device and non transitory storage medium
CN115700461A (zh) 投屏场景下的跨设备手写输入方法、系统和电子设备
US9793726B2 (en) Wireless power transmission system
EP3879388B1 (en) Display panel and control method thereof, electronic device
KR102412387B1 (ko) 이동 단말기 및 그의 기능 객체 정렬 방법
CN105959533A (zh) 一种对焦方法及移动终端
US20150109224A1 (en) Electronic device and method for controlling operation according to floating input

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant