CN107608515B - 成像功率的动态节省 - Google Patents

成像功率的动态节省 Download PDF

Info

Publication number
CN107608515B
CN107608515B CN201710864300.8A CN201710864300A CN107608515B CN 107608515 B CN107608515 B CN 107608515B CN 201710864300 A CN201710864300 A CN 201710864300A CN 107608515 B CN107608515 B CN 107608515B
Authority
CN
China
Prior art keywords
mode
predetermined area
dimensional image
light sensitive
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710864300.8A
Other languages
English (en)
Other versions
CN107608515A (zh
Inventor
M.迪拉赫尔
M.弗拉切尔
M.戈奇利希
M.马克
J.普赖因萨克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN107608515A publication Critical patent/CN107608515A/zh
Application granted granted Critical
Publication of CN107608515B publication Critical patent/CN107608515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

本发明涉及成像功率的动态节省。设备和技术的代表性实现给成像设备和系统提供可适应的设定。可以基于是否在预定区域内检测到运动来定义操作模式。可以基于当前的操作模式来动态地调整照明或调制的一个或多个参数。

Description

成像功率的动态节省
背景技术
因为半导体工艺已经变得更快支持基于光波的成像系统，此类系统变得更广泛地用于对象检测。一些成像系统能够每秒提供数十张图像，而使此类设备对于对象跟踪也是有用的。由于一些成像系统的潜在的小形状系数和潜在的高信号保真度，它们良好地适合于许多类型的消费设备（例如，电视、计算机、平板、智能电话等）中的手势控制。当此类成像系统的分辨率可以变化时，使用这些系统的应用能够利用它们的操作速度。
由于成像系统的功率要求以及移动设备的有限的功率存储容量，诸如笔记本计算机、或智能电话之类的移动设备不易适配于使用此类成像系统。基于光的成像系统的高功率要求的最大贡献者是在操作和调制功能期间以恒定的功率级和/或恒定的频率来应用的照明源。此外，在最差情况使用场景中，为了最佳性能可以用恒定的最大横向分辨率（即，像素的数目）来应用此类系统。功率需求通常超过移动设备的功率存储容量，从而降低当应用于移动设备时成像系统的有用性。
发明内容
根据本发明的第一方面提供一种成像装置，包括：
传感器模块，其包括光敏像素阵列，所述光敏像素阵列布置成在第一操作模式中捕获预定区域的二维图像和在第二操作模式中基于飞行时间原理捕获预定区域的三维图像；
控制模块，其被配置为确定所述预定区域的二维图像或三维图像和先前捕获的图像之间的差异，并且基于所述差异是否指示对象在预设持续时间内在预定区域内移动来确定所述装置的操作模式；
其中所述控制模块被布置成当所述差异指示在所述预设持续时间内在所述预定区域内对象移动时，将所述装置设置在所述第二操作模式，
其中所述控制模块被布置成在所述第二操作模式中捕获所述三维图像期间激活照明源和调制组件，所述照明源被布置成发射照射所述预定区域的至少一部分的电磁辐射，所述调制组件被布置成在第二操作模式中捕获三维图像期间调制所述电磁辐射和/或所述光敏像素阵列的一个或多个光敏像素。
根据本发明的第一方面的一种优选实施例，所述调制组件被布置成在所述第二操作模式中调制所述电磁辐射和所述一个或多个光敏像素这二者，以使在飞行时间操作期间所述一个或多个光敏像素的调制与所述电磁辐射的调制相关。
根据本发明的第一方面的另一种优选实施例，所述控制模块被布置成当所述差异指示在所述预定区域内没有对象移动时，将所述装置设置在所述第一操作模式。
根据本发明的第一方面的另一种优选实施例，所述控制模块被布置成在所述第一操作模式时去激活所述照明源。
根据本发明的第一方面的另一种优选实施例，所述控制模块被布置成在所述第一操作模式时至少部分地去激活所述调制组件。
根据本发明的第一方面的另一种优选实施例，所述光敏像素阵列被布置成在所述第二模式中在所述飞行时间操作期间检测所述预定区域内的手势。
根据本发明的第一方面的另一种优选实施例，所述二维图像具有比所述三维图像更低的分辨率。
根据本发明的第一方面的另一种优选实施例，所述二维图像是灰度图像。
根据本发明的第二方面提供一种成像系统，包括：由光敏像素阵列组成的传感器模块，所述光敏像素阵列被布置成在待机模式中捕获预定区域的二维图像，并且在活动模式中基于飞行时间原理捕获所述预定区域的三维图像；
照明模块，其被布置成基于所述系统的操作模式发射光辐射；
调制组件，其被布置成基于所述系统的操作模式来调制所述光敏像素阵列的一个或多个光敏像素和/或光辐射；
控制模块，其被布置成确定所述预定区域的二维图像或三维图像和先前捕获的图像之间的差异，并且基于所述差异是否指示对象在预设持续时间内在所述预定区域内移动来确定所述系统的操作模式；
其中在所述系统处于活动模式时的所述三维图像的捕获期间所述照明模块和所述调制组件被激活。
根据本发明的第二方面的一种优选实施例，在所述第二操作模式中所述照明模块是活跃的并且所述调制组件被布置成调制所述光辐射和所述一个或多个光敏像素这二者，以使在所述系统处于活动模式时的飞行时间操作期间所述一个或多个光敏像素的调制与所述光辐射的调制相关。
根据本发明的第二方面的另一种优选实施例，所述照明组件在系统处于待机模式时被去激活。
根据本发明的第二方面的另一种优选实施例，所述调制组件在所述系统处于待机模式时至少部分地被去激活，从而使得所述一个或多个光敏像素和/或所述光辐射不被调制。
根据本发明的第二方面的另一种优选实施例，所述系统包括三维手势识别系统，其被布置成基于所捕获的三维图像检测所述预定区域内的手势。
根据本发明的第二方面的另一种优选实施例，所述二维图像是灰度图像。
根据本发明的第三方面提供一种成像方法，包括：
在第一操作模式中用三维成像器捕获预定区域的二维图像，和/或在第二操作模式中基于飞行时间原理用三维成像器捕获预定区域的三维图像；
确定所述预定区域的二维图像或三维图像和先前捕获的图像之间的差异；
当所述差异指示在预设持续时间内在所述预定区域内没有对象移动时，在所述第一操作模式中操作所述三维成像器；和
当所述差异指示在所述预定区域内对象移动时，在所述第二操作模式中操作所述三维成像器；其中在所述第二操作模式中操作所述三维成像器包括当在所述预定区域内检测到对象移动时，激活在三维图像的捕获期间所述预定区域的至少一部分的照明以及所述照明和/或所述三维成像器的一个或多个光敏像素的调制。
根据本发明的第三方面的一种优选实施例，在所述第二操作模式中操作所述三维成像器包括激活所述照明和所述一个或多个光敏像素这二者的调制，以及在飞行时间操作期间使所述调制相关。
根据本发明的第三方面的另一种优选实施例，所述方法还包括：当在第一操作模式中时，在捕获所述二维图像时，避免对所述三维成像器的一个或多个光敏像素进行调制和/或避免对所述预定区域的照明进行调制。
根据本发明的第三方面的另一种优选实施例，所述方法还包括当在所述第一操作模式中时读取由所述三维成像器的所述一个或多个光敏像素产生的电流的一部分。
根据本发明的第三方面的另一种优选实施例，所述方法还包括当在所述第二操作模式中时使用所述三维成像器的多个光敏像素来捕获所述三维图像，并且当在所述第一操作模式中时使用所述三维成像器的所述多个光敏像素的一部分来捕获所述二维图像。
根据本发明的第三方面的另一种优选实施例，所述方法还包括当在所述第二操作模式中时使用第一帧率来捕获图像，并且当在所述第一操作模式中时使用更低的第二帧率来捕获图像。
根据本发明的第三方面的另一种优选实施例，所述方法还包括当在所述第一操作模式中捕获图像时对所述三维成像器的光敏像素进行装仓，所述装仓包括将一组相邻的像素进行组合并且将该组作为单个复合像素来处理。
根据本发明的第三方面的另一种优选实施例，所述方法还包括当在所述第二操作模式中进行操作时检测所述预定区域内的手势。
根据本发明的第三方面的另一种优选实施例，所述二维图像是灰度图像。
根据本发明的第四方面提供一种装置，包括：
被设置成以第一操作模式捕获预定区域的低分辨率图像，以及以第二操作模式捕获预定区域的较高分辨率三维图像的传感器模块；
被设置成确定预定区域的低分辨率图像或较高分辨率图像与先前捕获的图像之间的差异，并且基于所述差异是否指示在预设持续时间内预定区域内的对象运动而确定装置的操作模式的控制模块。
根据本发明的第四方面的一种优选实施例，低分辨率图像包括二维图像和灰度图像的至少之一。
根据本发明的第四方面的另一种优选实施例，当所述差异指示在预设持续时间内预定区域内没有对象运动时，所述控制模块被设置成将所述装置设定处于第一操作模式。
根据本发明的第四方面的另一种优选实施例，当处于第一操作模式时，所述控制模块被设置成去激活所述装置的照明源，所述照明源被设置成照明预定区域的至少部分。
根据本发明的第四方面的另一种优选实施例，当处于第一操作模式时，在所述传感器模块捕获预定区域的低分辨率图像时，所述控制模块被设置成使所述装置的所述照明源闪光。
根据本发明的第四方面的另一种优选实施例，当处于第一操作模式时，所述控制模块被设置成去激活所述装置的照明源和传感器模块的一个或多个光敏像素的至少之一的调制。
根据本发明的第四方面的另一种优选实施例，当所述差异指示在预定区域内的对象运动时，所述控制模块被设置成将所述装置设定处于第二操作模式。
根据本发明的第四方面的另一种优选实施例，第二操作模式包括基于飞行时间原理来执行被设置成检测预定区域内的手势的三维成像。
根据本发明的第四方面的另一种优选实施例，当处于第二操作模式时，所述控制模块被设置成激活照明源，所述照明源被设置成发射照明预定区域的至少部分的电磁辐射。
根据本发明的第四方面的另一种优选实施例，当处于第二操作模式时，所述控制模块被设置成激活调制组件，所述调制组件被设置成调制电磁辐射和/或传感器模块的一个或多个光敏像素。
根据本发明的第五方面提供一种系统，包括：
由被设置成以待机模式捕获预定区域的低分辨率图像和以活动模式捕获预定区域的较高分辨率三维图像的光敏像素组成的传感器模块；
被设置成基于所述系统的操作模式来发射光辐射的照明模块；
被设置成基于所述系统的操作模式来调制传感器模块的一个或多个光敏像素和/或光辐射的调制组件；
被设置成确定预定区域的低分辨率图像或较高分辨率图像与先前捕获的图像之间的差异，并且基于所述差异是否指示在预设持续时间内预定区域内的对象运动来确定所述系统的操作模式的控制模块。
根据本发明的第五方面的一种优选实施例，当所述系统处于待机模式时，所述调制组件被至少部分地去激活并且所述传感器模块被设置成捕获预定区域的二维和/或灰度图像。
根据本发明的第五方面的另一种优选实施例，当所述系统处于待机模式时，不调制一个或多个光敏像素和/或光辐射。
根据本发明的第五方面的另一种优选实施例，当所述系统处于待机模式时，所述照明模块被去激活或所述照明模块被设置成在捕获低分辨率图像期间发射光辐射的不连续闪光。
根据本发明的第五方面的另一种优选实施例，当所述系统处于活动模式时，所述照明模块是活动的并且一个或多个光敏像素和光辐射被调制。
根据本发明的第五方面的另一种优选实施例，所述系统包括被设置成基于接收光辐射的反射和基于飞行时间原理来检测预定区域内的手势的三维手势识别系统。
根据本发明的第六方面提供一种方法，包括：
用处于第一操作模式的三维成像器来捕获预定区域的低分辨率图像；
用处于第二操作模式的三维成像器来捕获预定区域的较高分辨率三维图像；
确定预定区域的低分辨率图像或较高分辨率图像与先前捕获的图像之间的差异；
当所述差异指示在预设持续时间内在预定区域内没有对象运动时，以第一操作模式来操作三维成像器；以及
当所述差异指示预定区域内的对象运动时，以第二操作模式来操作三维成像器。
根据本发明的第六方面的一种优选实施例，所述方法进一步包括当在预设持续时间内在预定区域内没有检测到对象运动时去激活预定区域的照明，以及当在预定区域内检测到对象运动时激活预定区域的照明。
根据本发明的第六方面的另一种优选实施例，所述方法进一步包括当处于第一操作模式时，在捕获低分辨率图像时避免调制三维成像器的一个或多个光敏像素和/或避免调制预定区域的照明。
根据本发明的第六方面的另一种优选实施例，所述方法进一步包括当处于第一操作模式时，读取由三维成像器的一个或多个光敏像素生成的部分电流。
根据本发明的第六方面的另一种优选实施例，所述方法进一步包括当处于第二操作模式时使用三维成像器的多个光敏像素来捕获较高分辨率三维图像，以及当处于第一操作模式时使用三维成像器的多个光敏像素的部分来捕获低分辨率图像。
根据本发明的第六方面的另一种优选实施例，所述方法进一步包括当处于第二操作模式时使用第一帧率来捕获图像，以及当处于第一操作模式时使用第二较低帧率来捕获图像。
根据本发明的第六方面的另一种优选实施例，所述方法进一步包括当以第一操作模式来捕获图像时将三维成像器的光敏像素装仓，所述装仓包括将一组相邻的像素组合并且将所述组作为单个复合像素来处理。
根据本发明的第六方面的另一种优选实施例，所述方法进一步包括当以第二操作模式来操作时检测预定区域内的手势。
根据本发明的第七方面提供一种三维成像设备，包括：
被设置成使用飞行时间原理以第一操作模式来捕获预定区域的二维和/或灰度图像，以及以第二操作模式来捕获预定区域的高分辨率三维图像的传感器模块；
被设置成确定预定区域的二维和/或灰度图像或高分辨率图像与先前捕获的图像之间的差异，以及当所述差异指示在预设持续时间内在预定区域内没有对象运动时将所述装置设定成处于第一操作模式，并且当所述差异指示预定区域内的对象运动时将所述装置设定成处于第二操作模式的控制模块。
附图说明
参考附图提出了详细的描述。在附图中，附图标记的最左的一个或多个数字标识该附图标记第一次出现在其中的附图。在不同附图中使用相同的附图标记指示类似或相同的项目。
为了本讨论，将附图中图示的设备和系统示出为具有多个组件。如本文描述的设备和/或系统的各种实现可以包括更少的组件，并且依然在本公开的范围内。可替代地，设备和/或系统的其他实现可以包括附加的组件或所描述的组件的各种组合，并且依然在本公开的范围内。
图1是根据一种实现的所描述的设备和技术可以被采用在其中的示例性应用环境的图示。
图2是根据一种实现的示例性成像系统组件的框图。
图3是根据一种实现的示例性操作模式和关联的成像参数的状态图。该状态图还示出了用于在操作模式之间切换的示例性触发。
图4是图示根据一种实现的用于调整成像系统的参数的示例性过程的流程图。
具体实施方式
综述
本公开涉及被设置成检测、识别、和/或跟踪在相对于成像系统在预定区域中的对象和/或手势的成像系统（例如，使用发射的电磁（EM）辐射的成像系统）。例如，可以使用成像系统来检测和识别对象或人手的手势，比如，在计算设备附近的区域中。当对象或手做出手势时，成像系统可以识别并且跟踪手-手势组合来作为计算设备的鼠标或其他输入的替代。
在一种实现中，例如，成像系统使用诸如反射光发射的距离计算之类的飞行时间原理来检测、识别、和/或跟踪诸如人手或手势之类的对象。因为EM辐射被反射离开预定区域中的对象，所以飞行时间距离计算可以是基于接收发射的EM辐射的反射。例如距离计算可以基于光的速度以及反射的EM辐射的传播时间。
由于此类成像系统的潜在的较小形状系数和潜在的较高信号保真度，它们能够良好地适合于手势控制，例如在许多类型的消费设备（例如，电视、计算机、平板设备、智能电话等）中。然而，此类成像系统的功率要求会使它们禁止在能够具有有限的电池存储的移动设备中使用。在许多情况中，可能不持续要求手势跟踪和控制，而是当手势出现在“预定义区域”中时才要求。因此，当没有手势（例如，对象运动）出现在预定义区域中时，掉电或去激活成像系统的一些功能和/或部分可以是有用的。因而，当成像系统处于“待机模式”中时，能够节省功率。然后，当在预定义区域中检测到对象运动时，能够部分或全部地激活成像系统的功能和/或部分。
设备和技术的代表性实现给示例性成像设备和系统提供可适应的设定。例如，可适应的设定可以与成像设备和系统的各种操作模式关联，并且可以被使用以节省功率，从而使成像设备更能适应于在移动设备中使用。可以基于是否在预定区域内检测到对象运动来定义操作模式。例如，能够为待机情况定义一种操作模式，并且能够为活动情况定义另一种。在一种实现中，成像设备以一定间隔捕获预定义区域的图像。操作模式基于在预定区域的捕获图像之间是否检测到差异，以及该差异是否指示预定义区域内的对象运动来定义。
操作模式可以与诸如功率级、调制、占空比等之类的发射的EM辐射的参数关联。另外，操作模式可以与诸如调制、图像捕获率、电流检测等之类的成像设备传感器的光敏像素的参数关联。可以基于当前的操作模式和后续的操作模式来动态地且自动地调整发射的EM辐射的或像素的一个或多个参数。例如，当检测到对象运动时成像系统可以使用较高分辨率模式，而当没有检测到对象运动时可以使用较低分辨率模式。在各种实现中，也可以基于操作模式来调整照明参数。
在本公开中讨论了用于成像系统、设备、和技术的各种实现和布置。参考附图中图示的示例性基于光的成像系统和设备讨论了技术和设备。然而，这不意在限制，而是为了便于讨论和说明性便利。所讨论的技术和设备可以应用于任何各种成像设备设计、结构等等（例如，基于辐射、基于声发射、基于粒子发射等），并且依然在本公开的范围内。
以下使用多个示例更详细地说明实现。尽管这里和以下讨论了各种实现和示例，但是通过将单独的实现和示例的特征和元素结合，进一步的实现和示例可以是可能的。
示例性成像系统环境
图1是根据一种实现的所描述的设备和技术可以被采用在其中的示例性应用环境100的图示。如在图示中示出的，例如，成像系统102可以与计算设备（“移动设备”）104一起应用。可以使用成像系统102来检测诸如人手之类的对象106的运动，例如在预定区域108中。在一种实现中，成像系统102被设置成检测和/或识别对象或人手106的手势，并且可以被设置成跟踪对象或人手106的运动和/或手势来作为移动设备104的鼠标或其他输入设备的替代。例如，在一种实现中，可以在显示设备110上呈现或显示成像系统102的输出（例如，鼠标指针或光标）。
在各种实现中，成像系统102可以与移动设备104集成，或可以使一些组件与移动设备104分离或远离。例如，可以将用于成像系统102的一些处理远程地（例如，云、网络等）定位。在另一个示例中，可以在远程设备上或在远程位置发送、显示、或呈现来自成像系统102的一些输出。
如本文讨论的，移动设备104指代诸如膝上计算机、智能电话等之类的移动计算设备。移动设备104的示例可以无限制地包括移动计算设备、膝上或笔记本计算机、手持计算设备、平板计算设备、上网本计算设备、个人数字助理（PDA）设备、阅读器设备、智能电话、移动电话、媒体播放器、可佩戴式计算设备等等。所述实现关于这点不受限制。进一步地，关于成像系统102的实现，作为计算设备104的固定计算设备也被包括在本文的范围内。固定计算设备可以无限制地包括固定计算机、个人或台式计算机、电视、机顶盒、游戏机、音频/视频系统、电器等等。
示例性对象106可以包括成像系统102可以被设置成检测、识别、跟踪和/或等等的任何项目。例如，此类项目可以包括诸如全部或部分人手之类的人类身体部分。对象106的其他示例可以包括鼠标、冰球、棒、控制器、游戏块、运动装置等等。在各种实现中，成像系统102也可以被设置成检测、识别、和/或跟踪对象106的手势。手势可以包括表达想法的对象106的任何运动或位置或配置。例如，手势可以包括以一定方位或配置（例如，用一个或多个手指指向、用手的一个或多个部分做出封闭形状等）来安置（position）人手和/或以一种模式（例如，以椭圆运动、以基本上线性的运动等）来移动手。当安置、配置、移动等等其他对象106时，也可以用它们来做出手势。
成像系统102可以被设置成检测、识别、和/或跟踪在相对于移动设备104的预定区域108内的对象106。例如，可以选择预定区域108来包含人手或其他对象106可以在其内的区域。在一种情况中，预定区域108可以包含手可以在其处出现以做出手势来作为鼠标或其他输入设备的替代的区域。例如该区域可以在移动设备104的前面、旁边、或周围。
图1的图示示出了在移动设备104前面作为类-立方体区域的预定区域108。这是为了图示和讨论的目的，并且不意在限制。预定区域108可以是任何的形状或尺寸，并且可以被选择以使得当期望的对象出现时，所述预定区域108将通常地包含所述期望的对象，但是不包含非期望的对象（例如，不意在检测、识别、跟踪等等其他项目）。在一种实现中，预定区域108可以包括一英尺乘一英尺的立方体。在其他实现中，预定区域108可以包括其他的形状和尺寸。
如上面讨论的，本文参考成像系统102所描述的技术、组件、和设备不限于图1中的图示，并且可以应用于其他成像系统和设备设计和/或应用而不背离本公开的范围。在一些情况中，可以使用附加的或可替代的组件来实现本文描述的技术。需要理解的是成像系统102可以作为独立的系统或设备、或者作为另一个系统的部分（例如，与其他组件、系统等集成）来实现。
示例性成像系统
图2是示出根据一种实现的成像系统102的示例性组件的框图。如在图2中示出的，成像系统102可以包括照明模块202、调制组件204、传感器模块206、以及控制模块208。在各种实现中，成像系统102可以包括更少的、附加的、或可替代的组件，并且依然在本公开的范围内。成像系统102的一个或多个组件可以与成像系统102的另一个组件来搭配、组合、或以其他方式集成。例如，在一种实现中，成像系统102可以包括成像设备或装置。进一步地，成像系统102的一个或多个组件可以与组件的另一个或另一些远程地定位。
如果被包括在一种实现中，照明模块202被设置成基于系统102的操作模式来发射电磁（EM）辐射（例如，光辐射）以照明预定区域108。例如在一种实现中，照明模块202是光发射器。在各种实现中，光发射器包括发光二极管（LED）、激光发射器等等。在一种实现中，当照明模块202活动时，其照明整个环境（例如，预定区域108）。在可替代的实现中，照明模块202以脉冲、阶段、或扫描的方式来照明环境。
在各种实现中，可以从照明模块202发射不同形式的EM辐射。在一些实现中，发射红外光等等。例如，光辐射可以包括一种或多种经调制的光脉冲。可以在短间隔内接通照明模块202，从而允许发射的一个或多个光脉冲照明预定区域108，包括预定区域108内的任何对象106。例如，红外光向预定区域108提供对于人眼不是可见的照明，因此不使人分心。在其他实现中，可以发射提供视觉反馈等等的其他类型或频率的EM辐射。如上面提到的，在可替代的实现中，可以由照明模块202发射其他的能量形式（例如，基于辐射、基于声发射、基于粒子发射等）。
在一种实现中，照明模块202被设置成照明可以出现在预定区域108中的一个或多个对象106，以检测对象106的运动。例如，照明模块202被设置成基于系统的操作模式来发射电磁辐射以照明预定区域108的至少部分。在一种实现中，照明模块202的输出（例如，光脉冲）的参数或特性被设置成基于在预定区域108中是否检测到对象106的运动而自动地且动态地调整。例如，为了节省功率，当在预定区域108中没有检测到对象运动时可以去激活照明模块202的功率输出或调制，并且当在预定区域108中检测到对象运动时将其激活。
如果被包括在一种实现中，调制组件204被设置成基于成像系统102的操作模式来调制从照明模块202发射的EM辐射和/或调制传感器模块206的一个或多个光敏像素。在一种实现中，调制组件204被设置成在飞行时间操作（例如，计算对象离成像系统102的距离）期间将EM辐射的调制与传感器模块206的像素的调制相关。在各种实现中，当系统处于待机模式（例如，当在预定区域108中没有检测到对象106运动时）中时，调制组件204可以去激活从照明模块202发射的EM辐射的调制和/或去激活传感器模块206的一个或多个光敏像素的调制，并且当系统处于活动模式（例如，当在预定区域108中检测到对象106运动时）中时激活EM辐射的调制和/或激活一个或多个光敏像素的调制。
如在图2中示出的，在各种实现中，传感器模块206被包括在成像系统102中。在一种实现中，传感器模块206被设置成接收从预定区域108中的（一个或多个）对象106反射的EM辐射。在一种实现中，传感器模块206由多个光敏像素组成。在一个示例中，多个像素中的每个可以是单独的图像传感器。在此类示例中，来自传感器模块206的结果图像可以是单独像素的传感器图像的组合。在一种实现中，多个光敏像素中的每个被设置成将EM辐射的反射转换成电流信号。在各种实现中，一个或多个处理组件（例如，控制模块208）可以将来自像素的电流信号处理成图像。
在一种实现中，传感器模块206被设置成捕获预定区域108的一个或多个图像。例如，当处于待机模式时传感器模块206可以捕获预定区域108的低分辨率图像，并且当处于活动模式时捕获预定区域108的较高分辨率三维图像。在各种实现中，传感器模块206可以被设置成以一定间隔（例如，当处于待机模式时以500毫秒间隔等等，而当处于活动模式时以16毫秒间隔等等，等）或以特定帧率（例如，当处于待机模式时2fps等等，而当处于活动模式时以60fps等等，等）来捕获预定区域108的图像。因此，在至少一种实现中，当处于活动模式时成像系统102使用第一帧率来捕获图像，并且当处于待机模式时使用第二较低的帧率来捕获图像。
在一种实现中，传感器模块206（或者传感器模块206的单独像素）提供光辐射从照明模块202传播到对象106并且回到传感器模块206的时间测量。因此，在此类实现中，成像系统102包括被设置成基于接收光辐射的反射以及基于飞行时间原理来检测预定区域108内的对象106的手势的三维手势识别系统。
例如，在该实现中，传感器模块206是被设置成基于接收反射的EM辐射来检测预定区域108内的对象106的图像传感器。传感器模块206能够基于从照明模块202发射的EM辐射反射回传感器模块206所花费的时间来检测对象是否在预定区域108中。这能够与当在预定区域108中没有对象时EM辐射返回到传感器模块206所花费的时间相比较。
在一种实现中，传感器模块206被设置成基于接收光辐射的反射来识别预定区域108内的对象106（例如，诸如人手）的手势。例如，传感器模块206能够基于传感器模块206的每个单独像素的成像来识别人手、对象106、和/或手势。作为单独成像传感器的每个像素组合能够基于由单独像素接收的部分EM辐射的反射时间而产生手、手势等等的图像。这与传感器模块206的帧率结合而允许跟踪手、对象、手势等等的图像。在其他的实现中，传感器模块206能够用从多个单独像素中成像来识别多个对象、手、和/或手势。
在一种实现中，传感器模块206的分辨率可以基于成像系统102的操作模式而是可调整的。例如，当没有检测到对象106运动时传感器模块可以以第一操作模式来捕获预定区域108的低分辨率图像（例如，10x10像素）以节省能量。当检测到某一对象106运动时传感器模块可以为了最佳性能而以第二操作模式来捕获预定区域108的较高分辨率图像（例如，160x160像素）。在其他的实现中，其他分辨率值可以与操作模式、或可替代的操作模式关联。
在进一步实现中，传感器模块206可以执行对被配置成接收EM辐射的反射的像素的装仓（binning）。例如，装仓可以包括将一组相邻的像素组合并且将该组像素作为单个复合像素来处理。增加的像素区域可以导致较高的传感器灵敏度，并且因此降低照明需求，从而在较低的环境光中允许在发射的EM辐射或操作方面的功率减少。功率减少可以是以减少的峰值功率、减少的积分时间等等的形式。进一步地，通过使用更少的像素可以减少图像处理而达到附加的功率节约。
在一种实现中，基于是否在预定区域108中检测到对象106的运动而为与用于照明模块202的输出的参数、特性等等（例如，功率级、调制等）关联的成像系统102来定义操作模式。图3是示出根据一种实现的两个示例性操作模式和其关联的成像系统102参数的状态图300。两个操作模式被标记了意味着在预定区域108中没有检测到对象运动的“待机模式”（即，第一操作模式），以及意味着在预定区域108中检测到至少一个对象的一些运动的“活动”（即，第二操作模式）。在可替代的实现中，更少的、附加的、或可替代的操作模式可以由成像系统102以类似的方式来定义和/或使用。
如在图3中示出的，成像系统102可以基于是否在预定区域108内检测到对象运动而在操作模式（例如，待机模式和活动模式）之间交替。在各种实现中，也可以使用持续时间以确定从一个操作模式到另一个操作模式的切换。例如，在一种实现中，当在预定区域108内没有检测到对象运动时，可以在预设持续时间（例如，500毫秒等等）内将成像系统102设定成待机模式。
如在图3中示出的，在各种实现中，当成像系统102处于待机模式时，可以调整或去激活成像系统102的照明模块202的一个或多个功能以节省功率。例如，照明在图像捕获期间可以被去激活或者其在图像捕获期间可以是未调制的。在另一个示例中，当成像系统102处于待机模式时，在图像捕获期间照明可以是“闪光的（flashed）”。换句话说，例如，当传感器模块206捕获低分辨率图像时，可以用光辐射的一个或多个不连续脉冲来使照明脉动，类似于传统静物照相机上的闪光。进一步地，不需要调制此类闪光脉冲而节省更多功率。
在一种实现中，当在单个照明期间照明预定区域108时，成像系统102可以捕获低分辨率图像。这是对比于捕获较高分辨率图像，其可以使用多个（例如，在一个示例中，近似地是4）照明期间来用于类似的、但是三维的捕获。
另外，当成像系统102处于待机模式时，可以将对照明或照明模块202的两个或更多调整结合以节省功率。在其他的实现中，当处于待机模式时，可以调整照明模块202的附加的或可替代的功能。在各种实现中，当处于待机模式时，控制模块208被设置成调整或去激活照明模块202的以上功能。
同样如图3中示出的，在各种实现中，当成像系统102处于活动模式时，可以激活成像系统102的照明模块202的一个或多个功能。例如，照明（即，光辐射）可以在图像捕获期间被激活，并且其可以在图像捕获期间被调制。进一步地，当处于活动模式时，照明在图像捕获期间可以是以全功率或全强度。在其他实现中，当处于活动模式时，可以激活照明模块202的附加的或可替代的功能。在各种实现中，当处于活动模式时，控制模块208被设置成调整或激活照明模块202的以上功能。
如图3中示出的，在各种实现中，当成像系统102处于待机模式时，可以调整或去激活成像系统102的传感器模块206（和/或调制组件204）的一个或多个功能以节省功率。例如，传感器模块206可以捕获预定区域108的低分辨率图像。例如，低分辨率图像可以包括用比在活动模式捕获的图像更少的像素来捕获的图像。在其他示例中，低分辨率图像可以包括二维图像、灰度图像等等（例如，强度图像）、或以上的组合。
在进一步实现中，传感器模块206可以被设置成使用未调制像素来捕获图像。换句话说，可以参考传感器模块206的光敏像素来调整或去激活调制组件204。在一种实现中，如上述的，当成像系统102处于待机模式时，可以将像素的一些或全部装仓。在另一种实现中时，传感器模块206可以被设置成读取由光敏像素产生的部分电流。换句话说，读取由传感器模块的像素接收的反射光所生成的预设比例的电流。
在一种实现中，在传感器模块206中使用具有至少两个面（side）或部分（section）的像素。在该实现中，传感器模块206可以被设置成从少于像素的全部面或部分来读取。例如，在一种实现中，当成像系统102处于待机模式时，传感器模块206可以被设置成从两个或更多个面或部分之一读取。这样做能够减少当处于待机模式时成像系统102的功耗。在可替代的实现中，传感器模块206可以被设置成从像素的另一部分的面或部分来读取。
在一种实现中，如上面讨论的，当处于待机模式时，传感器模块206可以被设置成比当处于活动模式时用于捕获图像的帧率更低的帧率来捕获图像。进一步地，在组合中可以调整与任何的或所有的传感器模块206相关的功能。在其他实现中，当处于待机模式时，可以调整传感器模块206或调制组件204的附加的或可替代的功能。在各种实现中，当处于待机模式时，控制模块208被设置成调整或去激活传感器模块206和/或调制组件204的这些功能。
同样如图3中示出的，在各种实现中，当成像系统102处于活动模式时，可以激活成像系统102的传感器模块206（和/或调制组件204）的一个或多个功能。例如，当处于活动模式时，传感器模块206可以捕获预定区域108的高分辨率图像和/或预定区域108的三维图像。在一种实现中，当处于活动模式时，成像系统102被设置成基于飞行时间原理来执行被设置成检测预定区域108内的手势的三维成像。
在一种实现中，传感器模块206被设置成使用调制的像素来捕获图像。换句话说，可以关于传感器模块206的光敏像素来调整或激活调制组件204。在一种实现中，当成像系统102处于活动模式时，可以个别地使用像素的一些或全部来增加或最大化捕获图像的分辨率。在另一种实现中，传感器模块206可以被设置成读取由光敏像素产生的全电流。换句话说，读取由传感器模块的像素接收的反射光所生成的电流的全值。
在一种实现中，在传感器模块206中使用具有至少两个面或部分的像素的情况下，传感器模块206可以被设置成从像素的两个或全部面或部分来读取。例如，在一种实现中，当成像系统102处于活动模式时，传感器模块206可以被设置成从全部的两个或更多个面或部分来读取。
在一种实现中，如上面讨论的，当处于活动模式时，传感器模块206可以被设置成以比当处于待机模式时用于捕获图像的帧率更高的帧率来捕获图像。进一步地，在组合中可以调整或激活与任何的或所有的传感器模块206相关的功能。在其他实现中，当处于活动模式时，可以调整或激活传感器模块206或调制组件204的附加的或可替代的功能。在各种实现中，当处于活动模式时，控制模块208被设置成调整或激活传感器模块206和/或调制组件204的以上功能。
如果被包括在一种实现中，控制模块208可以被设置成向成像系统102提供控制和/或处理。例如，控制模块208可以控制成像系统102的操作模式、控制其他模块（202、204、206）的操作、和/或处理由其他模块（202、204、206）输出的信号和信息。在各种实现中，控制模块208被设置成与照明模块202、调制组件204、和传感器模块206的一个或多个通信。在一些实现中，可以将控制模块208集成到其他模块（202、204、206）的一个或多个中、或远离模块（202、204、206）。
在一种实现中，控制模块208被设置成基于捕获的图像是否指示预定区域108内的对象106的运动而确定成像系统102的操作模式。在该实现中，控制模块208被设置成比较捕获的图像（例如，或低分辨率或高分辨率图像）来确定图像中的任何差异。例如，在一种实现中，控制模块208将预定区域的图像与预定区域的先前捕获的图像相比较。如果对象在图像捕获之间的时间期间移动了，则后来的图像可以将该运动反映为图像中的差异。如果在后续的图像中没有检测到差异，则可以指示在预定区域108内没有对象运动。
因此，在一种实现中，控制模块208被设置成确定预定区域108的低分辨率图像或较高分辨率图像（取决于捕获时的操作模式）和先前捕获的图像之间的差异，并且基于该差异（或缺乏差异）是否指示在预设持续时间内预定区域108内的对象运动而确定成像设备或系统102的操作模式。如参考图3中的状态图300讨论的，当在预设持续时间内在预定区域108内没有检测到对象运动时控制模块208将成像系统102切换或设定成第一操作模式，而当在预定区域108内检测到对象106的运动时控制模块208将成像系统102切换或设定成第二操作模式。在可替代的实现中，控制模块208可以被设置成基于其他的触发（例如，发热量、功率级、光照条件等）来将成像系统102自动地在操作模式之间切换。
在一种实现中，控制模块208被设置成检测、识别、和/或跟踪由一只或多只手、或由对象106做出的手势。在各种实现中，可以将控制模块208编程为识别一些手势和/或对象106并且排除其他。也可以将控制模块208编程为识别和跟踪与到移动设备等等的输入或命令关联的某些手势。在一个示例中，当跟踪手势时，控制模块208将成像系统102设定成第二操作模式以确保最佳性能，并且提供手势的最准确读取。
在各种实现中，控制模块208可以被设置成基于反射的EM辐射的测量时间来计算对象106离成像系统102的距离。因此，控制模块208可以被设置成将从传感器模块206（或者从传感器模块206的像素）输出的电流信号转换成对象106离成像系统102的距离。进一步地，在一种实现中，控制模块208可以被设置成将电流信号转换成对象106的三维图像。在一种实现中，控制模块208被设置成将对象106的计算的距离和/或三维图像输出。例如，成像系统102可以被设置成向显示设备、向被设置成处理信息的另一个系统等等输出距离、检测的对象106的三维图像、对象106的跟踪坐标等等。
在各种实现中，可以使用附加的或可替代的组件以实现（accomplish）公开的技术和布置。
代表性过程
图4图示用于调整成像系统（诸如成像系统102）的参数的代表性过程400。过程400描述了在预定区域（诸如预定区域108）中检测一个或多个对象（诸如对象106）的运动。可以基于是否在预定区域中检测到对象的运动而调整发射的电磁（EM）辐射的一个或多个参数。过程400参考图1-3来描述。
描述过程所依照的次序不意在被解释为限制，并且能够以任何次序将任何数目的描述的过程块组合来实现过程、或可替代的过程。另外，可以从过程中删除单独的块而不背离本文描述的主题事项的精神和范围。此外，能够以任何适合的材料或其组合来实现该过程而不背离本文描述的主题事项的范围。
在块402，该过程包括用处于第一操作模式的三维成像器来捕获预定区域的低分辨率图像。例如，低分辨率图像可以包括二维图像、灰度图像、用较少像素捕获的图像、以上的组合等等。
在块404，该过程包括用处于第二操作模式的三维成像器来捕获预定区域的较高分辨率三维图像。例如，可以使用比低分辨率图像更多数目的像素来捕获较高分辨率图像。另外，基于飞行时间图像捕获技术，较高分辨率图像可以是三维的。
在各种实现中，图像捕获（低或较高分辨率）可以包括用来照明预定区域的发射的电磁（EM）辐射。在一些实现中，在环境光（例如，环境的自然光）中执行图像捕获而不具有主动照明。在一种实现中，在环境光对于图像捕获不充分的情况下，EM辐射在图像捕获期间通过使用一个或多个不连续脉冲而可以是“闪光的”。
在一个示例中，例如，EM辐射可以由包括LED或激光发射器的发射器（诸如照明模块202等等）来发射。在一些实现中，EM辐射可以是调制光。例如，可以使用调制组件（诸如调制组件204）来对光进行调制，以及可以相关于成像设备的一个或多个光敏像素的调制来对光进行调制。在一种实现中，当成像系统处于待机模式操作时，不对光进行调制。在各种实现中，预定区域可以相对于计算设备（诸如移动设备104），例如，诸如以便向计算设备提供输入。
在各种实现中，该过程包括接收由成像传感器（诸如传感器模块206）反射的EM辐射以捕获图像。例如，成像传感器可以由一个或多个光敏像素组成。比如，成像传感器可以经由光学器件、接收器、天线等等来接收EM反射。
在块406，该过程包括确定预定区域的低分辨率图像或较高分辨率图像与先前捕获图像之间的差异。例如，可以针对一个或多个差异来比较后续的捕获图像，其中（一个或多个）差异可以指示预定区域内的一个或多个对象已经移动或正在移动。在各种实现中，比较图像以及检测差异（或缺乏差异）能够触发操作模式的切换（待机模式到活动模式或者活动模式到待机模式）。
在块408，该过程包括当差异指示在预设持续时间内预定区域内没有对象运动时，以第一操作模式来操作三维成像器。例如，当在预定区域内没有检测到手势（即，对象运动）时，可以将三维成像器设定成待机模式以节省功率。
在块410，该过程包括当差异指示在预定区域内的对象运动时，以第二操作模式来操作三维成像器。例如，当在预定区域内检测到手势（即，对象运动）时，为了改善的性能可以将三维成像器设定成活动模式。
在一种实现中，该过程包括基于操作模式（例如，基于是否在预定区域内检测到对象的运动）来调整EM辐射和/或图像传感器的一个或多个参数。在各种实现中，EM辐射的一个或多个参数可以包括：激活、照明时间或占空比、以及电磁辐射的调制。例如，在一种实现中，该过程包括当在预设持续时间内在预定区域内没有检测到对象运动时去激活预定区域的照明，以及当在预定区域内检测到对象运动时激活预定区域的照明。
在各种实现中，图像传感器的一个或多个参数可以包括：分辨率和/或维度、颜色、像素调制、像素装仓、部分电流读出、从像素的单个面或部分读取、以及帧率。例如，在一种实现中，该过程包括当处于第一操作模式时，在捕获低分辨率图像时避免调制三维成像器的一个或多个光敏像素和/或避免调制预定区域的照明。在另一种实现中，该过程包括当处于第二操作模式时使用三维成像器的多个光敏像素来捕获较高分辨率、三维图像。在进一步实现中，该过程包括当以第二操作模式来操作时检测预定区域内的手势。
在进一步实现中，该过程可以包括当处于第一操作模式时读取由三维成像器的一个或多个光敏像素生成的部分电流，和/或当处于第一操作模式时使用三维成像器的多个光敏像素中的部分来捕获低分辨率图像。
另一个示例包括当处于第二操作模式时使用第一帧率来捕获图像，并且当处于第一操作模式时使用第二较低的帧率来捕获图像。在另一种实现中，该过程包括当以第一操作模式来捕获图像时，将三维成像器的光敏像素装仓，所述装仓包括将一组相邻的像素组合并且将该组作为单个复合像素来处理。
在一种实现中，该过程进一步包括诸如测量从发射EM辐射到接收EM辐射的反射的时间以及基于测量的时间来计算对象的距离之类的飞行时间技术。在各种实现中，该过程包括为了输入控制而向计算设备输出手势信息，等等。另外，该过程可以包括向显示设备、向被设置成处理信息的另一个系统等等输出诸如距离、被检测对象的三维图像、对象的跟踪坐标等之类的成像信息。
在可替代的实现中，其他技术可以以各种组合被包括在过程400中，并且依然在本公开的范围内。
总结
尽管用结构特征和/或方法论动作所特有的语言描述了本公开的实现，但是需要理解的是所述实现不必局限于所描述的特定的特征或动作。更确切地说，特定的特征和动作被公开为实现示例性设备和技术的代表性形式。

Claims (23)

1.一种成像装置，包括：
传感器模块，其包括光敏像素阵列，所述光敏像素阵列布置成在第一操作模式中捕获预定区域的二维图像和在第二操作模式中基于飞行时间原理捕获预定区域的三维图像；
控制模块，其被配置为确定所述预定区域的二维图像或三维图像和先前捕获的图像之间的差异，并且基于所述差异是否指示对象在预设持续时间内在预定区域内移动来确定所述装置的操作模式；
其中所述控制模块被布置成当所述差异指示在所述预设持续时间内在所述预定区域内对象移动时，将所述装置设置在所述第二操作模式，
其中所述控制模块被布置成在所述第二操作模式中捕获所述三维图像期间激活照明源和调制组件，所述照明源被布置成发射照射所述预定区域的至少一部分的电磁辐射，所述调制组件被布置成在第二操作模式中捕获三维图像期间调制所述电磁辐射和/或所述光敏像素阵列的一个或多个光敏像素。
2.根据权利要求1所述的装置，其中所述调制组件被布置成在所述第二操作模式中调制所述电磁辐射和所述一个或多个光敏像素这二者，以使在飞行时间操作期间所述一个或多个光敏像素的调制与所述电磁辐射的调制相关。
3.根据权利要求1所述的装置，其中所述控制模块被布置成当所述差异指示在所述预定区域内没有对象移动时，将所述装置设置在所述第一操作模式。
4.根据权利要求1所述的装置，其中所述控制模块被布置成在所述第一操作模式时去激活所述照明源。
5.根据权利要求1所述的装置，其中所述控制模块被布置成在所述第一操作模式时至少部分地去激活所述调制组件。
6.根据权利要求1所述的装置，其中所述光敏像素阵列被布置成在所述第二操作模式中在所述飞行时间操作期间检测所述预定区域内的手势。
7.根据权利要求1所述的装置，其中所述二维图像具有比所述三维图像更低的分辨率。
8.根据权利要求1所述的装置，其中所述二维图像是灰度图像。
9.一种成像系统，包括：由光敏像素阵列组成的传感器模块，所述光敏像素阵列被布置成在待机模式中捕获预定区域的二维图像，并且在活动模式中基于飞行时间原理捕获所述预定区域的三维图像；
照明模块，其被布置成基于所述系统的操作模式发射光辐射；
调制组件，其被布置成基于所述系统的操作模式来调制所述光敏像素阵列的一个或多个光敏像素和/或光辐射；
控制模块，其被布置成确定所述预定区域的二维图像或三维图像和先前捕获的图像之间的差异，并且基于所述差异是否指示对象在预设持续时间内在所述预定区域内移动来确定所述系统的操作模式；
其中在所述系统处于活动模式时的所述三维图像的捕获期间所述照明模块和所述调制组件被激活。
10.根据权利要求9所述的系统，其中在所述活动模式中所述照明模块是活跃的并且所述调制组件被布置成调制所述光辐射和所述一个或多个光敏像素这二者，以使在所述系统处于活动模式时的飞行时间操作期间所述一个或多个光敏像素的调制与所述光辐射的调制相关。
11.根据权利要求9所述的系统，其中所述照明组件在系统处于待机模式时被去激活。
12.根据权利要求9所述的系统，其中所述调制组件在所述系统处于待机模式时至少部分地被去激活，从而使得所述一个或多个光敏像素和/或所述光辐射不被调制。
13.根据权利要求9所述的系统，其中所述系统包括三维手势识别系统，其被布置成基于所捕获的三维图像检测所述预定区域内的手势。
14.根据权利要求9所述的系统，其中所述二维图像是灰度图像。
15.一种成像方法，包括：
在第一操作模式中用三维成像器捕获预定区域的二维图像，和/或在第二操作模式中基于飞行时间原理用三维成像器捕获预定区域的三维图像；
确定所述预定区域的二维图像或三维图像和先前捕获的图像之间的差异；
当所述差异指示在预设持续时间内在所述预定区域内没有对象移动时，在所述第一操作模式中操作所述三维成像器；和
当所述差异指示在所述预定区域内对象移动时，在所述第二操作模式中操作所述三维成像器；其中在所述第二操作模式中操作所述三维成像器包括当在所述预定区域内检测到对象移动时，激活在三维图像的捕获期间所述预定区域的至少一部分的照明以及所述照明和/或所述三维成像器的一个或多个光敏像素的调制。
16.根据权利要求15所述的方法，其中在所述第二操作模式中操作所述三维成像器包括激活所述照明和所述一个或多个光敏像素这二者的调制，以及在飞行时间操作期间使所述调制相关。
17.根据权利要求15所述的方法，还包括：当在第一操作模式中时，在捕获所述二维图像时，避免对所述三维成像器的一个或多个光敏像素进行调制和/或避免对所述预定区域的照明进行调制。
18.根据权利要求15所述的方法，还包括当在所述第一操作模式中时读取由所述三维成像器的所述一个或多个光敏像素产生的电流的一部分。
19.根据权利要求15所述的方法，还包括当在所述第二操作模式中时使用所述三维成像器的多个光敏像素来捕获所述三维图像，并且当在所述第一操作模式中时使用所述三维成像器的所述多个光敏像素的一部分来捕获所述二维图像。
20.根据权利要求15所述的方法，还包括当在所述第二操作模式中时使用第一帧率来捕获图像，并且当在所述第一操作模式中时使用更低的第二帧率来捕获图像。
21.根据权利要求15所述的方法，还包括当在所述第一操作模式中捕获图像时对所述三维成像器的光敏像素进行装仓，所述装仓包括将一组相邻的像素进行组合并且将该组相邻的像素作为单个复合像素来处理。
22.根据权利要求15所述的方法，还包括当在所述第二操作模式中进行操作时检测所述预定区域内的手势。
23.根据权利要求15所述的方法，其中所述二维图像是灰度图像。
CN201710864300.8A 2012-11-21 2013-11-21 成像功率的动态节省 Active CN107608515B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/682,776 US10063757B2 (en) 2012-11-21 2012-11-21 Dynamic conservation of imaging power
US13/682776 2012-11-21
CN201310588337.4A CN103838371B (zh) 2012-11-21 2013-11-21 成像功率的动态节省

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201310588337.4A Division CN103838371B (zh) 2012-11-21 2013-11-21 成像功率的动态节省

Publications (2)

Publication Number Publication Date
CN107608515A CN107608515A (zh) 2018-01-19
CN107608515B true CN107608515B (zh) 2021-01-05

Family

ID=50625740

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710864300.8A Active CN107608515B (zh) 2012-11-21 2013-11-21 成像功率的动态节省
CN201310588337.4A Active CN103838371B (zh) 2012-11-21 2013-11-21 成像功率的动态节省

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201310588337.4A Active CN103838371B (zh) 2012-11-21 2013-11-21 成像功率的动态节省

Country Status (3)

Country Link
US (2) US10063757B2 (zh)
CN (2) CN107608515B (zh)
DE (1) DE102013112798A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
GB2513579A (en) * 2013-04-29 2014-11-05 Tobii Technology Ab Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system
US20150350611A1 (en) * 2013-05-30 2015-12-03 Manything Systems Limited Methods and systems for monitoring environments using smart devices
CN105474112B (zh) * 2013-08-21 2019-03-08 三菱电机株式会社 程序编辑方法
KR101619651B1 (ko) * 2014-11-26 2016-05-10 현대자동차주식회사 운전자 감시장치 및 그의 조명제어방법
WO2017115692A1 (ja) * 2015-12-28 2017-07-06 アルプス電気株式会社 手書き入力装置、情報入力方法及びプログラム
KR102586962B1 (ko) * 2016-04-07 2023-10-10 한화비전 주식회사 감시 시스템 및 그 제어 방법
US9930320B2 (en) * 2016-05-04 2018-03-27 Apple Inc. Resolving three dimensional spatial information using time-shared structured lighting that embeds digital communication
JP6992753B2 (ja) * 2016-07-26 2022-01-13 ソニーグループ株式会社 撮像制御装置および撮像制御方法、並びに撮像素子
US11481022B2 (en) * 2017-08-18 2022-10-25 Hewlett-Packard Development Company, L.P. Motion based power states
EP3697078B1 (en) 2017-10-27 2022-05-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and device as well as electronic device
CN107800962B (zh) * 2017-10-27 2019-12-10 Oppo广东移动通信有限公司 图像处理方法、装置和电子装置
CN108989638B (zh) * 2018-08-01 2021-03-05 Oppo（重庆）智能科技有限公司 成像装置及其控制方法、电子装置和计算机可读存储介质
US11172180B2 (en) * 2018-09-19 2021-11-09 Canon Kabushiki Kaisha Control apparatus, control method and non-transitory computer-readable medium
US11500103B2 (en) 2018-10-23 2022-11-15 Lg Electronics Inc. Mobile terminal
US11620044B2 (en) 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal
WO2020085525A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 이동단말기 및 그 제어 방법
US11068688B2 (en) * 2019-01-04 2021-07-20 Pierre T. Gandolfo Multi-function ultrasonic sensor controller with fingerprint sensing, haptic feedback, movement recognition, 3D positioning and remote power transfer capabilities
KR20200136148A (ko) 2019-05-27 2020-12-07 엘지이노텍 주식회사 카메라 모듈
US11343412B2 (en) * 2019-10-22 2022-05-24 Intel Corporation User detection and user attention detection using multi-zone depth sensing
CN111090104B (zh) * 2019-12-26 2022-11-11 维沃移动通信有限公司 成像处理方法和电子设备
US11108957B1 (en) * 2020-06-17 2021-08-31 Microsoft Technology Licensing, Llc Low power operation of differential image sensor pixels
US11792507B1 (en) 2021-01-15 2023-10-17 Apple Inc. Video monitoring using a hierarchical combination of camera sensors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183276A (zh) * 2007-12-13 2008-05-21 上海交通大学 基于摄像头投影仪技术的交互系统
CN101995948A (zh) * 2009-08-07 2011-03-30 索尼公司 位置检测设备和位置检测方法
CN102473041A (zh) * 2009-08-12 2012-05-23 岛根县 图像识别装置、操作判断方法以及程序
CN102640081A (zh) * 2009-12-03 2012-08-15 Lg电子株式会社 通过检测用户的存在的姿势识别设备的功率控制方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4179704A (en) * 1977-12-27 1979-12-18 Cbs Inc. Television system for displaying and recording paths of motion
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
EP2175659B1 (en) * 1996-12-04 2012-11-14 Panasonic Corporation Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US6995748B2 (en) 2003-01-07 2006-02-07 Agilent Technologies, Inc. Apparatus for controlling a screen pointer with a frame rate based on velocity
US7302089B1 (en) * 2004-04-29 2007-11-27 National Semiconductor Corporation Autonomous optical wake-up intelligent sensor circuit
DE102005032946A1 (de) * 2004-07-16 2006-02-02 Carl Zeiss Meditec Ag Vorrichtung zur Bearbeitung eines Objektes mittels Laserstrahlung
JP4845698B2 (ja) * 2006-12-06 2011-12-28 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
US7961222B2 (en) * 2007-03-20 2011-06-14 Panasonic Corporation Image capturing apparatus and image capturing method
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
JP5243432B2 (ja) * 2008-02-06 2013-07-24 パナソニック株式会社 画像処理装置、及び画像処理方法
US8447128B2 (en) * 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
US20100103104A1 (en) * 2008-10-29 2010-04-29 Electronics And Telecommunications Research Institute Apparatus for user interface based on wearable computing environment and method thereof
JP2010122934A (ja) * 2008-11-20 2010-06-03 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5199171B2 (ja) * 2009-04-17 2013-05-15 株式会社ジャパンディスプレイイースト 表示装置
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US8179445B2 (en) * 2010-03-03 2012-05-15 Eastman Kodak Company Providing improved high resolution image
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2469294A1 (en) * 2010-12-23 2012-06-27 André Borowski 2D/3D real-time imager and corresponding imaging methods
JP2012244395A (ja) * 2011-05-19 2012-12-10 Sony Corp 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
WO2013084414A1 (ja) * 2011-12-08 2013-06-13 パナソニック株式会社 デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ
US9191578B2 (en) * 2012-06-29 2015-11-17 Broadcom Corporation Enhanced image processing with lens motion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183276A (zh) * 2007-12-13 2008-05-21 上海交通大学 基于摄像头投影仪技术的交互系统
CN101995948A (zh) * 2009-08-07 2011-03-30 索尼公司 位置检测设备和位置检测方法
CN102473041A (zh) * 2009-08-12 2012-05-23 岛根县 图像识别装置、操作判断方法以及程序
CN102640081A (zh) * 2009-12-03 2012-08-15 Lg电子株式会社 通过检测用户的存在的姿势识别设备的功率控制方法

Also Published As

Publication number Publication date
CN103838371A (zh) 2014-06-04
US10313570B2 (en) 2019-06-04
CN103838371B (zh) 2017-09-08
US10063757B2 (en) 2018-08-28
US20140139631A1 (en) 2014-05-22
US20170324891A1 (en) 2017-11-09
DE102013112798A1 (de) 2014-05-22
CN107608515A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN107608515B (zh) 成像功率的动态节省
US20130335576A1 (en) Dynamic adaptation of imaging parameters
US10855938B2 (en) Gaze tracking variations using selective illumination
US8941620B2 (en) System and method for a virtual multi-touch mouse and stylus apparatus
US10609285B2 (en) Power consumption in motion-capture systems
US9285893B2 (en) Object detection and tracking with variable-field illumination devices
US10313599B2 (en) Motion sensor device having plurality of light sources
US20150010309A1 (en) System for Use in Remote Controlling Controlled Device
US20140376773A1 (en) Tunable operational parameters in motion-capture and touchless interface operation
US9435646B2 (en) Displacement detection device and operating method thereof
KR20110005737A (ko) 광학 베즐을 가진 대화형 입력 시스템
US10187936B1 (en) Non-linear lighting system brightness control for a user device
US9723181B2 (en) Gesture recognition apparatus and complex optical apparatus
US9727160B2 (en) Displacement detection device and operating method thereof
US8358282B2 (en) Object detection device
CN113260951A (zh) 基于指距或手接近的淡入用户界面显示
US20150248189A1 (en) Touch Sensing Systems
US20070188447A1 (en) Light-pointing device and light-tracking receiver having a function selection key and system using the same
US10132626B2 (en) Adaptive distance estimation
Czuszynski et al. Semi complex navigation with an active optical gesture sensor
Czuszynski et al. The passive operating mode of the linear optical gesture sensor
GB2526525A (en) Touch sensing systems
JP6231601B2 (ja) ジェスチャー認識入力の取得
KR20100012367A (ko) 가상 광학 입력 장치 및 그 광원 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant