CN103813156A - 运动传感器阵列装置和深度感测系统及使用其的方法 - Google Patents

运动传感器阵列装置和深度感测系统及使用其的方法 Download PDF

Info

Publication number
CN103813156A
CN103813156A CN201310538133.XA CN201310538133A CN103813156A CN 103813156 A CN103813156 A CN 103813156A CN 201310538133 A CN201310538133 A CN 201310538133A CN 103813156 A CN103813156 A CN 103813156A
Authority
CN
China
Prior art keywords
motion
motion sensor
depth
sensor array
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310538133.XA
Other languages
English (en)
Inventor
金泰瓒
金茂永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103813156A publication Critical patent/CN103813156A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3243—Power saving in microcontroller unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了运动传感器阵列装置和深度感测系统及使用其的方法。在本发明构思的一个例子中，运动传感器阵列装置包括晶片和在该晶片上实现的至少两个运动传感器，所述至少两个运动传感器中的每一个包括多个运动传感器像素，以感测对象的运动并产生运动图像数据。运动传感器阵列装置还包括分别设置在所述至少两个运动传感器上的至少两个透镜，其中，运动传感器阵列在芯片和封装之一中实现。

Description

运动传感器阵列装置和深度感测系统及使用其的方法
本申请要求于2012年11月2日提交的韩国专利申请第10-2012-0123524号的优先权，该韩国专利申请的公开内容全部通过引用被包含于此。
技术领域
本发明构思的实施例涉及用于从至少两个运动传感器获得深度信息的运动传感器和/或使用该运动传感器的系统。
背景技术
使诸如智能电话和数字照相机的便携式装置中的功耗最小化对于这些便携式装置的制造者而言是一个始终存在的挑战。同时，嵌入在用于捕获图像的深度信息的这种装置的图像捕获元件内的深度传感器通常需要光源。这种光源具有高的功耗。
发明内容
一些示例实施例提供用于以较低的功耗捕获包括图像的深度信息的这种图像的设备、系统和/或方法。
在本发明构思的一个例子中，运动传感器阵列装置包括晶片和在该晶片上实现的至少两个运动传感器，所述至少两个运动传感器中的每一个包括多个运动传感器像素，以感测对象的运动并产生运动图像数据。运动传感器阵列装置还包括分别设置在所述至少两个运动传感器上的至少两个透镜，其中，运动传感器阵列以芯片和封装中的一种来实现。
在另一个示例实施例中，运动传感器阵列装置还包括深度传感器，该深度传感器被配置为从分别由所述至少两个运动传感器生成的运动图像数据中提取关于对象的深度信息。
在另一个示例实施例中，运动传感器阵列装置还包括三维图像生成器，该三维图像生成器被配置为通过组合深度信息和运动图像数据来生成三维图像。
在另一个示例实施例中，所述至少两个透镜是晶片透镜，并且，运动传感器阵列装置在封装中实现。
在另一个示例实施例中，每一个运动传感器像素都是动态视觉传感器（DVS）像素。
在本发明构思的另一个示例实施例中，所述至少两个运动传感器中的每一个包括包含多个DVS像素的像素阵列和行地址事件表示（AER）电路，该行AER电路被配置为至少处理由每一个DVS像素产生的多个事件信号当中的第一事件信号。所述至少两个运动传感器中的每一个还包括列AER电路，该列AER电路被配置为至少处理由每一个DVS像素产生的多个事件信号当中的第二事件信号。
在另一个示例实施例中，深度感测系统包括上述的运动传感器阵列装置、图像信号处理器和中央处理单元，图像信号处理器被配置为处理从运动传感器阵列装置输出的图像数据，中央处理单元被配置为控制运动传感器阵列装置和图像信号处理器。
在一个示例实施例中，深度感测系统包括运动传感器阵列，该运动传感器阵列包括至少两个运动传感器，所述至少两个运动传感器中的每一个包括被配置为感测对象的运动并产生运动图像数据的多个运动传感器像素。深度感测系统还包括深度传感器，该深度传感器被配置为从分别由所述至少两个运动传感器产生的运动图像数据提取关于对象的深度信息。
在另一个示例实施例中，所述至少两个运动传感器包括被配置为在第一位置感测对象的运动并产生第一运动图像数据的第一运动传感器。所述至少两个运动传感器还包括被配置为在第二位置感测对象的运动并产生第二运动图像数据的第二运动传感器。
在另一个示例实施例中，深度传感器基于第一运动图像数据和第二运动图像数据之间的差异产生深度信息。
在另一个示例实施例中，所述至少两个运动传感器是按矩阵形式设置的M×N运动传感器，其中，M和N中的至少一个是具有至少2的值的自然数。
在另一个示例实施例中，深度传感器基于分别由M×N运动传感器产生的运动图像数据之间的差异产生深度信息。
在另一个示例实施例中，深度传感器基于由M×N运动传感器产生的运动图像数据之间的差异产生深度信息。
在另一个示例实施例中，运动传感器阵列在芯片和封装之一中实现。
在另一个示例实施例中，运动传感器阵列和深度传感器一同在芯片和封装之一中实现。
在另一个示例实施例中，深度感测系统还包括三维图像生成器，该三维图像生成器被配置为通过组合深度信息和运动图像数据来生成三维图像。
在另一个示例实施例中，深度感测系统还包括在所述至少两个运动传感器中的每一个上堆叠的至少一个透镜。
在本发明构思的一个示例实施例中，使用运动传感器阵列的深度感测方法包括：通过使用至少两个运动传感器感测对象的运动来产生运动图像数据，所述至少两个运动传感器中的每一个包括多个运动传感器像素；以及从由所述至少两个运动传感器产生的运动图像数据产生关于对象的深度信息。
在另一个示例实施例中，产生运动图像数据包括：检测入射在所述多个运动传感器像素之一上的光的强度的变化；以及基于检测到的变化来产生事件信号。该方法还包括：输出产生了事件信号的运动传感器像素的地址信息；以及基于该地址信息来产生运动图像数据。
在另一个示例实施例中，产生深度信息包括基于分别由所述至少两个运动传感器产生的运动图像数据之间的差异来产生深度信息。
在另一个示例实施例中，该方法还包括通过组合深度信息和运动图像数据来产生三维图像。
在一个示例实施例中，深度感测系统包括运动传感器阵列，该运动传感器阵列被配置为在多个位置感测至少一个对象的运动并基于在所述多个位置感测的运动来产生多个运动图像数据。深度感测系统还包括被配置为基于产生的多个运动图像数据来确定对象的深度信息的图像处理器。
在另一个示例实施例中，运动传感器阵列被配置为基于在所述多个位置中的每一个中被捕获的帧的明暗度信息（shade information，明/暗信息）和至少一个存储的明暗度信息、以及被捕获的帧的电压值和至少一个存储的电压值中的至少一个来在所述多个位置中的每一个位置感测运动。
在另一个示例实施例中，图像处理器被配置为基于产生的所述多个运动图像数据中的至少两个之间的差异来确定深度信息。
在另一个示例实施例中，深度感测系统还包括三维图像生成器，该三维图像生成器被配置为通过组合深度信息和产生的所述多个运动图像数据来生成三维图像。
在另一个示例实施例中，运动传感器阵列包括多个运动传感器，所述多个运动传感器中的各个在所述多个位置中的一个位置感测运动。
附图说明
通过参照附图详细地描述本发明的示例实施例，本发明构思的上述和其它特征和优点将变得更加清楚，在附图中：
图1是根据本发明构思的示例实施例的使用运动传感器阵列的深度感测系统的框图；
图2是根据本发明构思的示例实施例的图1中图示的运动传感器阵列的框图；
图3是根据本发明构思的示例实施例的图2中图示的运动传感器的框图；
图4是根据本发明构思的示例实施例的图1中图示的图像信号处理器（ISP）的框图；
图5是根据本发明构思的示例实施例的图3中图示的运动传感器的布线的示图；
图6是根据本发明构思的示例实施例的图5中图示的运动传感器像素的示图；
图7是根据本发明构思的示例实施例的使用运动传感器阵列的深度感测系统的框图；
图8A是根据本发明构思的示例实施例的运动传感器的框图；
图8B是根据本发明构思的示例实施例的ISP的框图；
图9A是根据本发明构思的示例实施例的从运动传感器阵列输出的运动数据的示图；
图9B是根据本发明构思的示例实施例的从运动传感器阵列输出的运动数据的示图；
图10是根据本发明构思的示例实施例实现的运动传感器阵列装置的示图；
图11是根据本发明构思的示例实施例的包括图1中图示的运动传感器阵列的电子系统的框图；以及
图12是根据本发明构思的示例实施例的包括图1中图示的运动传感器阵列的图像处理系统的框图。
具体实施方式
现在将在下文中参照附图更全面地描述本发明构思。在附图中相同的元件用相同的附图标记标注。
在本文中披露详细的说明实施例。但是，为了描述示例实施例的目的，本文中披露的特定的结构和功能细节仅仅是代表性的。然而，本发明可以以诸多可替换的形式实施，并且不应当被解释为仅仅局限于本文中陈述的实施例。
因此，虽然示例实施例能够为各种修改和可替换的形式，但是，这些实施例在附图中以示例的方式示出并在这里被详细地描述。但是，应该理解，不应当将示例实施例限制为所披露的特定形式。相反，示例实施例覆盖落入在本公开的范围内的所有的修改、等同物和可替换物。在对附图的整个描述中，相同的标号表示相同的元件。
虽然在本文中可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应当受这些术语的限制。这些术语仅仅用于将一个元件与另一个元件区分开。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，类似地，第二元件可以被称为第一元件。如这里所使用的，术语“和/或”包括相关列举项目中的一个或多个的所有的任何组合。
当一个元件被提到与另一个元件“连接”或“结合”时，它可以与另一个元件直接连接或结合，或者，可以存在中间元件。与此形成对照的是，当一个元件被提到与另一个元件“直接连接”或“直接结合”时，不存在中间元件。用于描述元件之间的关系的其它词语应该以类似的方式被解释（例如，“之间”与“直接之间”，“相邻”与“直接相邻”等等）。
本文中使用的术语仅仅出于描述特定实施例的目的，并且不应当是限制性的。如本文中使用的，单数形式“一个”、“一种”和“该”应当也包括复数形式，除非上下文中明确地另有说明。将会进一步理解，术语“包括”、“包含”、“含有”和/或“具有”在本文中使用时指定所述的特征、整体、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其它的特征、整体、步骤、操作、元件、组件和/或其集合的存在或添加。
还应该注意，在一些可替换的实施方式中，指出的功能/动作可能会不按照在图中指出的顺序发生。例如，根据涉及的功能/动作，连续地示出的两个图事实上可以基本上同时地执行，或者有时可以按照相反的顺序执行。
在下面的描述中提供具体细节，以提供对示例实施例的彻底的理解。但是，本领域的普通技术人员将会理解，示例实施例可以在没有这些具体细节的情况下被实践。例如，系统可以在框图中示出，以便不会在不必要的细节中使示例实施例模糊。在其它情形中，公知的处理、结构和技术可以在没有不必要的细节的情况中被示出，以便避免使示例实施例模糊。
在下面的描述中，将针对动作来描述说明性的实施例，并且，可以被实现为程序模块或功能处理的操作的符号表示（例如，以流程图、流程示图、数据流程图、结构图、框图等）包括执行特定任务或者实现特定抽象数据类型并可以在现有的网络元件中使用现有的硬件来实现的子程序、程序、对象、组件、数据结构等。这种现有的硬件可以包括一个或多个中央处理单元（CPU）、数字信号处理器（DSP）、专用集成电路、场可编程门阵列（FPGA）、计算机等。
尽管流程图可以将这些操作描述为序列处理，但是这些操作中的很多操作可以并行地、并发地或同时地执行。另外，可以对这些操作的顺序重新进行排列。一种处理可以在其操作完成时终止，但是，也可以具有在图中没有包含的另外的步骤。一种处理可以对应于方法、函数、过程、子例行程序、子程序等。当一种处理对应于一个函数时，其终止可以对应于该函数返回到调用函数或主函数。
如本文中所披露的，术语“存储介质”或者“计算机可读存储介质”可以表示一个或多个用于存储数据的装置，其包括只读存储器（ROM）、随机存取存储器（RAM）、磁RAM、芯存储器、磁盘存储介质、光学存储介质、闪速存储器装置和/或用于存储信息的其它的有形的机器可读介质。术语“计算机可读介质”可以包括，但不限于，便携式或固定的存储装置，光学存储装置，以及能够存储、包含或承载（一种或多种）指令和/或数据的各种其它介质。
此外，示例实施例可以通过硬件、软件、固件、中间件、伪代码、硬件描述语言或其任何组合来实现。当在软件、固件、中间件或伪代码中实现时，执行所需任务的程序代码或代码段可以被存储在机器或计算机可读介质（例如，计算机可读存储介质）中。当在软件中实现时，一个或多个处理器将会执行所需任务。
代码段可以表示流程、函数、子程序、程序、例行程序、子例行程序、模块、软件包、类，或者指令、数据结构或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容，代码段可以被结合到另一个代码段或硬件电路。信息、变元、参数、数据等可以通过包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的手段来被传递、转发或发送。
图1是根据本发明构思的示例实施例的深度感测系统10的框图。图2是根据本发明构思的示例实施例的图1中图示的运动传感器阵列100的框图。
参照图1和2，深度感测系统10可以包括运动传感器阵列100、图像信号处理器（ISP）200、显示单元205、中央处理单元（CPU）210和外围电路250。在一个示例实施例中，深度感测系统10可以以片上系统（SoC）的形式实现。
深度感测系统10可以包括多个运动传感器，该多个运动传感器感测对象的运动并获取运动图像数据以获得深度信息。如图2所示，多个运动传感器101可以按照M×N阵列设置，其中，M和N是1或大于1的自然数，并且，M和/或N是等于或大于2的整数。
运动传感器阵列100可以包括多个运动传感器101和设置在每一个运动传感器101上的透镜102。每一个运动传感器101根据其位置感测对象的运动并产生运动图像数据或者用于产生运动图像数据的事件信号（例如，运动地址信息）。因此，可以使用按照M×N阵列设置的运动传感器101来获得在许多不同的角度处拾取的运动图像数据。
每一个运动传感器101可以分析按帧连续地捕获的图像，并可以将每一个被分析的帧的明暗度信息（shade information，明/暗信息）以数字代码的形式存储在帧存储器（未示出）中。运动传感器101可以比较已经存储在帧存储器中的前一帧的明暗度信息和新接收到的当前帧的明暗度信息并感测对象的运动。当获取单个像素的明暗度信息时，运动传感器101还可以将相邻像素（例如，分别在该单个像素的上下左右的四个相邻像素）的明暗度信息一起处理，以计算明暗的运动方向。
可替换地，运动传感器101可以在像素中包括信号存储装置（例如，电容器）。运动传感器101可以存储与前一帧的像素信号相对应的电压值并比较该电压值和与当前帧的像素信号相对应的电压值，以感测对象的运动。
如上所述，运动传感器101使用各种方法来感测对象的运动，以产生运动图像数据MDATA。因此，包括多个运动传感器101的运动传感器阵列100可以产生在不同角度处捕获的运动图像数据MDATA<1>至MDATA<MN>，并且将运动图像数据MDATA<1>至MDATA<MN>发送给ISP200。在一个示例实施例中，MDATA<1>表示由M×N运动传感器101中的(1,1)运动传感器101捕获的运动图像数据，并且，MDATA<MN>表示由M×N运动传感器101中的(M,N)运动传感器101捕获的运动图像数据。
运动传感器阵列100可以在单个晶片上实现，并且，可以被实现为单个封装模块。这将在下面参照图10被详细地描述。
ISP200可以从运动传感器阵列100接收运动图像数据MDATA<1>至MDATA<MN>，处理运动图像数据MDATA<1>至MDATA<MN>，并且产生经处理的运动图像数据MDATA'。ISP200可以使运动图像数据MDATA<1>至MDATA<MN>变成帧。ISP200还可以校正与运动图像数据MDATA<1>至MDATA<MN>相关的亮度、对比度和色度。
ISP200还可以从运动图像数据MDATA<1>至MDATA<MN>产生深度信息，并且，可以将该深度信息嵌入在经处理的运动图像数据MDATA'中。ISP200还可以通过组合深度信息和经处理的运动图像数据MDATA'来产生三维图像数据。ISP200可以将经处理的运动图像数据MDATA'发送给显示单元205和CPU210。ISP200可以控制运动传感器阵列100的全部操作。
虽然在示例实施例中ISP200在运动传感器阵列100的外面实现，但是本发明构思并不限于这些示例实施例。例如，ISP200可以在运动传感器阵列100的内部实现。
显示单元205可以显示经处理的运动图像数据MDATA'。显示单元205可以是能够输出图像的任何装置。例如，显示单元205可以被实现为电子装置，该电子装置包括，但不限于，计算机、移动电话和照相机。
CPU210可以基于从外围电路250接收到的信号（或数据）来控制运动传感器阵列100。外围电路250可以向CPU210提供根据系统状态和/或各种输入产生的信号（或数据）。各种输入可以是通过输入/输出（I/O）接口输入的信号。
外围电路250可以被实现为输入/输出（I/O）接口。因此，外围电路250可以将通过用户的输入产生的信号发送给CPU210。I/O接口可以是任何类型的I/O装置，其包括，但不限于，外部输入按钮、触摸屏或鼠标。
可替换地，外围电路250可以被实现为电力监视模块。因此，当确定系统电源不足够时，外围电路250可以将对应于该确定的信号发送给CPU210。CPU210可以禁用或限制运动传感器阵列100和显示单元205中的至少一个的性能。
作为另一个可替换的方案，外围电路250可以被实现为应用执行模块。因此，当执行特定应用时，外围电路250可以将从应用执行模块产生的信号发送给CPU210。特定应用可以是，但不限于，如下中的任何一个：照相机拍摄应用、增强现实应用或者需要照相机图像的任何应用。
图3是根据本发明构思的示例实施例的图2中图示的运动传感器101中的每一个的框图。参照图3，运动传感器101可以包括像素阵列110、控制逻辑或者控制电路120、地址事件表示（AER）单元和运动图像生成器160。AER单元可以包括行AER电路130和列AER电路140。像素阵列110可以包括感测对象的运动的多个运动传感器像素M。在示例实施例中运动传感器像素M可以由动态视觉传感器（DVS）像素实现，但是，本发明构思并不限于当前的实施例。
控制逻辑120可以控制运动传感器101的全部操作。控制逻辑120可以控制AER单元。
AER单元可以处理从感测光量变化的运动传感器像素M中的每一个输出的事件信号，并且，可以将用于重置产生了该事件信号的每一个运动传感器像素M的信号发送给运动传感器像素M。
像素阵列110中的每一个运动传感器像素M可以根据光量的变化来输出事件信号。下面将参照图5和6详细地描述事件信号。列AER电路140可以接收事件信号并基于该事件信号来输出产生了该事件信号的运动传感器像素M的列地址值CADDR。行AER单元130可以从运动传感器像素M接收事件信号并基于该事件信号来输出产生了该事件信号的运动传感器像素M的行地址值RADDR。
运动图像生成器160可以基于由行AER电路130产生的行地址值RADDR和由列AER电路140产生的列地址值CADDR来输出运动图像数据MDATA。例如，运动图像生成器160可以表示只对应于期望（或者，可替换地，预定的）颜色（例如，黑色）的行地址值RADDR和列地址值CADDR的运动传感器像素M，从而只指示具有运动的像素（例如，具有期望水平或更高水平的变化的像素）。运动图像数据MDATA可以由只表示具有运动的像素（例如，具有期望水平或更高水平的变化的像素）的数据构成，如图9A和9B所示。
当由于运动传感器像素M中的明暗度的变化而导致光电二极管的电流的变化时，产生事件信号。例如，当光电二极管的电流增加时，运动传感器像素M产生开启（on）事件信号，并且，当电流降低时，运动传感器像素M产生关断（off）事件信号。
运动图像生成器160可以从由行AER电路130产生的行地址值RADDR和由列AER电路140产生的列地址值CADDR检测运动传感器像素M中的事件（即，on事件或off事件），并且可以基于检测到的事件来检测对象出现在运动传感器像素M中还是从运动传感器像素M中消失。因此，运动图像生成器160可以通过如下方式来检测对象的运动方向：随着时间分析像素阵列110中的每一个运动传感器像素M的输出值，即，关于每一个运动传感器像素M的行地址值RADDR、列地址值CADDR和on/off事件信号。例如，当在像素阵列110中对象从左向右移动时，对象出现在运动传感器像素M中，因此，在运动传感器像素M中发生off事件。因此，随着时间的推移，具有off事件的像素从左向右顺序地出现。因此，运动图像生成器160产生随着时间从左向右移动的运动图像数据MDATA，因此，观看者看见从左向右移动的对象。
图4是根据本发明构思的示例实施例的图1中图示的ISP200的框图。ISP200可以包括深度传感器（也被称为“深度信息生成器”）220和三维（3D）图像生成器230。深度传感器220可以从分别由运动传感器阵列100中的M×N个运动传感器生成的运动图像数据MDATA<1>至MDATA<MN>来提取对象的深度信息DDATA。
尽管这些运动传感器感测同一对象的运动，但是由于这些运动传感器的位置（例如，X和Y坐标）不同，因此在运动图像数据MDATA<1>至MDATA<MN>之间会发生差异。例如，在两个运动传感器之间发生双眼视差，并且，在至少三个运动传感器之间发生差异。
深度传感器220可以使用运动图像数据MDATA<1>至MDATA<MN>之间的差异来提取深度信息DDATA。例如，深度传感器220可以使用与人眼感知到对象的深度的方法类似的算法，即，与利用由至少两个图像传感器捕获的关于对象的双眼视差角之间的差异来测量对象的深度的方法类似的算法，来生成深度信息DDATA。换句话说，使用双眼视差角对于近距离的对象较大而对于远距离的对象较小的原理，深度传感器220从其中存在有差异的运动图像数据MDATA<1>至MDATA<MN>来生成深度信息DDATA。这一点将在下面参考图9A和图9B进行进一步的描述。
3D图像生成器230可以通过将深度信息DDTA与运动图像数据MDATA<1>至MDATA<MN>结合来生成3D图像3D_DATA。
图5是根据本发明构思的示例实施例的图3中图示的像素阵列110的布线的示图。参考图3和图5，图5示出像素阵列110的一部分112、行AER电路130和列AER电路140。像素阵列110的一部分112包括第一运动传感器像素112-1到第四运动传感器像素112-4。
在一个示例实施例中，第一运动传感器像素112-1和第二运动传感器像素112-2具有相同的行地址，第三运动传感器像素112-3和第四运动传感器像素112-4具有相同的行地址。第一运动传感器像素112-1和第三运动传感器像素112-3具有相同的列地址，第二运动传感器像素112-2和第四运动传感器像素112-4具有相同的列地址。
在行方向上形成的布线可以包括行AER事件信号线REQY_1和REQY_2以及行AER重置信号线ACKY_1和ACKY_2。运动传感器像素112-1至112-4中的每一个都可以将on事件信号或off事件信号通过行AER事件信号线REQY_1或REQY_2发送到行AER电路130。行AER电路130可以通过行AER重置信号线ACKY_1和ACKY_2将DVS重置信号发送到每个运动传感器像素112-1至112-4。
在列方向上形成的布线可以包括列AER事件on信号线REQX_ON_1和REQX_ON_2、列AER事件off信号线REQX_OFF_1和REQX_OFF_2以及列AER重置信号线ACKX_1和ACKX_2。运动传感器像素112-1至112-4中的每一个可以通过列AER事件on信号线REQX_ON_1和REQX_ON_2将on事件信号发送到列AER电路140。运动传感器像素112-1至112-4中的每一个还可以通过列AER事件off信号线REQX_OFF_1或REQX_OFF_2将off事件信号发送到列AER电路140。列AER电路140可以通过列AER重置信号线ACKX_1或ACKX_2将DVS重置信号发送到运动传感器像素112-1至112-4中的每个。
图6是根据本发明构思的示例实施例的图5中图示的运动传感器像素112-1至112-4的其中之一的示图。参考图5和图6，在图5中图示的运动传感器像素112-1至112-4可以是DVS像素。在运动传感器像素112-1至112-4是DVS像素时，将参考图6详细描述单元DVS像素117的操作。单元DVS像素117可以包括：光电二极管（PD）117-1、电流到电压（I/V）转换器117-2、放大器电路117-3、比较器电路117-4和数字逻辑117-5。
PD117-1是光电转换元件的例子。PD117-1可以是以下的任意一个，但并不限于此：光电晶体管、光电门（photo gate）、钉扎光电二极管（PPD），及它们的组合。PD117-1可以根据入射光的强度生成光电流（photocurrent）I。
I/V转换器117-2可以包括转换晶体管Cx和反相器（inverter）INV。转换晶体管Cx被连接在电源电压VDD与PD117-1的一端之间。反相器INV可以对在PD117-1末端处的电压进行求反，并输出第一电压Vin。换句话说，I/V转换器117-2可以感测流入到PD117-1中的光电流I，并输出对应于光电流I的第一电压Vin。
放大器电路117-3可以包括：第一电容器C1、第二电容器C2、放大器AMP和重置开关SW。放大器电路117-3可以基于第一电压Vin来输出与第一电压Vin随着时间的变化有关的第二电压Vout。重置开关SW可以根据数字逻辑117-5的控制将第二电压Vout重置为重置电压。
比较器电路117-4可以包括第一比较器COMP1和第二比较器COMP2。第一比较器COMP1可以将第二电压Vout与on阈值电压进行比较，并根据比较结果生成on事件信号ES_on。第二比较器COMP2可以将第二电压Vout与off阈值电压进行比较，并根据比较结果生成off事件信号ES_off。
换句话说，当单元DVS像素117的明暗度的变化超出期望水平（或者可替换地，预定水平）时，比较器电路117-4可以生成on事件信号ES_on或off事件信号ES_off，其中，期望水平可以基于经验性研究和/或用户输入来设置。例如，当单元DVS像素117的明暗度变得比期望水平亮时，on事件信号ES_on可以处于高电平。当单元DVS像素117的明暗度变得比期望水平暗时，off事件信号ES_off可以处于高电平。on事件信号ES_on和off事件信号ES_off可以被发送到数字逻辑117-5。
数字逻辑117-5可以基于从比较器电路117-4接收到的on事件信号ES_on和off事件信号ES_off来生成事件信号。例如，数字逻辑117-5可以包括OR元件，例如，或门，并且可以接收on事件信号ES_on和off事件信号ES_off，并且在on事件信号ES_on或off事件信号ES_off处于高电平时，生成on/off事件信号ES_on_off。on/off事件信号ES_on_off可以通过行AER事件信号线REQY发送到行AER电路130。在一个示例实施例中，或门可以在单元DVS像素117外部实现，例如，在行AER电路130内实现。
数字逻辑117-5还可以通过列AER on事件信号线REQX_ON将on事件信号ES_on发送到列AER电路140，并通过列AER off事件信号线REQX_OFF将off事件信号ES_off发送到列AER电路140。
另外，数字逻辑117-5可以根据从比较器电路117-4输出的on事件信号ES_on和off事件信号ES_off来生成重置开关信号RS_SW。例如，数字逻辑117-5可以包括OR元件，例如，或门，并且可以接收on事件信号ES_on和off事件信号ES_off，并且在on事件信号ES_on或off事件信号ES_off处于高电平时，生成重置开关信号RS_SW。重置开关SW可以响应于重置开关信号RS_SW来重置第二电压Vout。在其他实施例中，或门可以在单元DVS像素117的外部实现。
在一个示例实施例中，生成on/off事件信号ES_on_off的或门和生成重置开关信号RS_SW的或门可以在一个或门中实现。
数字逻辑117-5可以通过行AER重置信号线ACKY来接收第一DVS重置信号RS1，并通过列AER重置信号线ACKX来接收第二DVS重置信号RS2。数字逻辑117-5可以根据从行AER电路130接收的第一DVS重置信号RS1和从列AER电路140接收的第二DVS重置信号RS2来生成重置开关信号RS_SW。
数字逻辑117-5可以包括AND元件，例如，与门，并且可以在第一DVS重置信号RS1和第二DVS重置信号RS2都处于高电平时，生成重置开关信号RS_SW。在其它的实施例中，与门可以在单元DVS像素117的外部实现。
在图6中图示的单元DVS像素117仅仅是一个例子，本发明构思并不局限于该例子。本发明构思的实施例可以被应用于感测对象的运动的任意类型的像素。
图7是根据本发明构思的示例实施例的使用运动传感器阵列100'的深度感测系统10'的框图。图8A是根据本发明构思的示例实施例的运动传感器101'的框图。图8B是根据本发明构思的示例实施例的ISP200'的框图。
除了下面的描述，在图7中图示的深度感测系统10'类似于在图1中图示的深度感测系统10。
在图1中图示的在深度感测系统10中的运动传感器阵列100将分别由M×N个运动传感器生成的运动图像数据MDATA<1>至MDATA<MN>输出到ISP200，而在图7中图示的深度感测系统10’中的运动传感器阵列100’将运动地址信息MADDR输出到ISP200’。运动地址信息MADDR包括已经在上面描述过的由行AER电路130生成的行地址值RADDR和由列AER电路140生成的列地址值CADDR。
虽然图3中示出的运动传感器101包括：像素阵列110、控制逻辑120、AER单元（包括行AER电路130和列AER电路140）和运动图像生成器160，而图8A中示出的运动传感器101'则不包括运动图像生成器160。反之，如图8B所示，对应于各M×N个运动传感器的运动图像生成器210-1至210-MN被包括在ISP200’中。
图9A和图9B是用于解释根据本发明构思的示例实施例的使用运动传感器阵列的深度感测方法的示图。包括在运动传感器阵列中的运动传感器可以感测对象的运动，并生成与已经发生运动的部分的地址对应的运动地址信息。运动图像数据可以从运动地址信息生成。
图9A和图9B示出由两个运动传感器DVS<1>和DVS<2>捕获的运动图像数据。在图9A中到对象的深度小于在图9B中到对象的深度。在图9A中分别由两个运动传感器DVS<1>和DVS<2>捕获的运动图像数据之间的差异大于在图9B中分别由两个运动传感器DVS<1>和DVS<2>捕获的运动图像数据之间的差异。如上所述，由各个运动传感器捕获的运动图像数据之间的差异随着到对象的深度而改变。因此，深度信息可以从由每个运动传感器生成的运动图像数据来生成。
图10是根据本发明构思的示例实施例实现的运动传感器阵列装置的示图。如图10的部分（a）所示，多个运动传感器阵列可以被集成到单个晶片中。附图标记100表示包括多个运动传感器的单个阵列，并且多个运动传感器阵列100可以被集成到单个晶片中。
如图10的部分（c）所示，该晶片被锯成单个的运动传感器阵列100，并且每个运动传感器阵列100都可以以单个芯片或封装实现。换句话说，如图10的部分（b）所示，多个运动传感器（例如DVS）101被分组到以芯片或封装实现的单个运动传感器阵列100中。此时，运动传感器阵列100是M×N个运动传感器101的阵列，其中，M或N≥2并且M×N可以是2×1或1×2。晶片级别的透镜102被安装在每个运动传感器101上。换句话说，多个运动传感器可以在晶片上实现，并且晶片透镜可以被堆叠在每个运动传感器上。
与将在芯片或封装中实现的运动传感器集成到运动传感器阵列中相比，将晶片上的多个运动传感器分组或封装到如上所述的单个运动传感器阵列中简化了制造工序，并且降低了制造成本。在其它实施例中，运动传感器阵列装置还可以在单个芯片或封装中包括深度传感器。在另外的实施例中，运动传感器阵列装置还可以在单个芯片或封装中包括3D图像生成器。
图11是根据本发明构思的示例实施例的包括图1中图示的运动传感器阵列100的电子系统的框图。参考图1和图11，电子系统1000可以由数据处理设备来实现，诸如，移动电话、个人数字助理（PDA）、便携式媒体播放器（PMP）、IP TV或者可以使用或支持MIPI接口的智能电话。电子系统1000包括运动传感器阵列100、应用处理器1010和显示器1050。
在应用处理器1010中包括的CSI主机1012通过CSI与在图像传感器1040中包括的CSI装置1041进行串行通信。例如，光学解串器（de-serializer）（DES）可以在CSI主机1012中实现，光学串行器（serializer，SER）可以在CSI装置1041中实现。
在应用处理器1010中包括的DSI主机1011通过DSI与在显示器1050中包括的DSI装置1051进行串行通信。例如，光学串行器（SER）可以在DSI主机1011中实现，光学解串器（DES）可以在DSI装置1051中实现。
电子系统1000还可以包括与应用处理器1010进行通信的射频（RF）芯片1060。电子系统1000的物理层（PHY）1013与RF芯片1060的PHY根据MIPI DigRF标准相互进行数据通信。电子系统1000还可以包括GPS1020、存储装置1070、麦克风1080、DRAM1085和扬声器1290中的至少一个元件。电子系统1000可以使用Wimax1030、WLAN1100或USB1110等进行通信。
图12是根据本发明构思的示例实施例的包括图1中图示的运动传感器阵列100的图像处理系统1100的框图。参考图1和图12，图像处理系统1100可以包括：运动传感器阵列100、处理器1100、存储器1120、显示单元1130和接口1140。
处理器1110可以控制运动传感器阵列100的操作。例如，处理器1110可以从接收自运动传感器阵列100的运动信息提取深度信息，并基于将深度信息与运动信息相结合来生成3D图像数据。存储器1120可以存储根据处理器1110的控制通过总线1150来控制运动传感器阵列100的操作的程序，并且可以存储由处理器1110生成的图像。处理器1110可以访问存储器1120并执行该程序。存储器1120可以由非易失性存储器来实现。
根据处理器1110的控制，运动传感器阵列100可以基于数字像素信号（例如，运动信息）来生成深度信息，并且可以基于深度信息和运动信息生成3D图像数据。
显示单元1130可以从处理器1110或存储器1120接收图像，并通过液晶显示器（LCD）或有源矩阵有机发光二极管（AMOLED）来显示图像。接口1140可以被实现为输入或输出二维或三维图像。接口1140可以是无线接口。
如上所述，根据本发明构思的示例实施例，在需要时，运动感测系统从运动传感器阵列获得深度信息，从而使得与使用要求光源的深度传感器的传统运动感测系统相比，运动感测系统可以以低功率实现。
虽然已经参考其示例实施例对本发明概念进行了具体的示出和描述，但是本领域普通技术人员应当理解，在不脱离由下列权利要求所定义的发明的功能的精神和范围情况下，可以对其进行形式和细节上的各种改变。

Claims (25)

1.一种运动传感器阵列装置，包括：
晶片；
在晶片上实现的至少两个运动传感器，所述至少两个运动传感器中的每一个包括被配置为感测对象的运动并产生运动图像数据的多个运动传感器像素；以及
分别被设置在所述至少两个运动传感器上的至少两个透镜，
其中，所述运动传感器阵列装置以芯片和封装之一实现。
2.根据权利要求1所述的运动传感器阵列装置，还包括：
深度传感器，该深度传感器被配置为从由所述至少两个运动传感器产生的运动图像数据提取关于对象的深度信息。
3.根据权利要求2所述的运动传感器阵列装置，还包括：
三维图像生成器，该三维图像生成器被配置为通过组合深度信息和运动图像数据来产生三维图像。
4.根据权利要求1所述的运动传感器阵列装置，其中，所述至少两个透镜是晶片透镜，并且
运动传感器阵列装置以封装实现。
5.根据权利要求1所述的运动传感器阵列装置，其中，所述运动传感器像素中的每一个是动态视觉传感器像素。
6.根据权利要求5所述的运动传感器阵列装置，其中，所述至少两个运动传感器中的每一个包括：
像素阵列，该像素阵列包括多个动态视觉传感器像素；
行地址事件表示电路，该行地址事件表示电路被配置为至少处理由每一个动态视觉传感器像素产生的多个事件信号当中的第一事件信号；以及
列地址事件表示电路，该列地址事件表示电路被配置为至少处理由每一个动态视觉传感器像素产生的多个事件信号当中的第二事件信号。
7.一种深度感测系统，包括：
根据权利要求1所述的运动传感器阵列装置；
图像信号处理器，该图像信号处理器被配置为处理从运动传感器阵列装置输出的图像数据；以及
中央处理单元，该中央处理单元被配置为控制运动传感器阵列装置和图像信号处理器。
8.一种深度感测系统，包括：
运动传感器阵列，该运动传感器阵列包括至少两个运动传感器，所述至少两个运动传感器中的每一个包括被配置为感测对象的运动并产生运动图像数据的多个运动传感器像素；以及
深度传感器，该深度传感器被配置为从由所述至少两个运动传感器产生的运动图像数据提取关于对象的深度信息。
9.根据权利要求8所述的深度感测系统，其中，所述至少两个运动传感器包括：
第一运动传感器，该第一运动传感器被配置为在第一位置感测对象的运动并产生第一运动图像数据；以及
第二运动传感器，该第二运动传感器被配置为在第二位置感测对象的运动并产生第二运动图像数据。
10.根据权利要求9所述的深度感测系统，其中，深度传感器基于第一运动图像数据和第二运动图像数据之间的差异产生深度信息。
11.根据权利要求8所述的深度感测系统，其中，所述运动传感器阵列是按矩阵形式设置的M×N个运动传感器，其中，M和N中的至少一个是具有大于等于2的值的自然数。
12.根据权利要求11所述的深度感测系统，其中，深度传感器基于由M×N个运动传感器产生的运动图像数据之间的差异产生深度信息。
13.根据权利要求8所述的深度感测系统，其中，运动传感器阵列以芯片和封装之一实现。
14.根据权利要求8所述的深度感测系统，其中，运动传感器阵列和深度传感器一起以芯片和封装之一实现。
15.根据权利要求8所述的深度感测系统，还包括：
三维图像生成器，该三维图像生成器被配置为通过组合深度信息和运动图像数据来产生三维图像。
16.根据权利要求8所述的深度感测系统，还包括：
在所述至少两个运动传感器中的每一个上堆叠的至少一个透镜。
17.一种使用运动传感器阵列的深度感测方法，该深度感测方法包括：
通过使用至少两个运动传感器感测对象的运动来产生运动图像数据，所述至少两个运动传感器中的每一个包括多个运动传感器像素；以及
从由所述至少两个运动传感器产生的运动图像数据产生关于对象的深度信息。
18.根据权利要求17所述的深度感测方法，其中，产生运动图像数据包括：
检测入射在所述多个运动传感器像素中的每一个上的光的强度的变化；
基于检测到的变化来产生事件信号；
输出产生事件信号的运动传感器像素的地址信息；以及
基于该地址信息来产生运动图像数据。
19.根据权利要求17所述的深度感测方法，其中，产生深度信息包括：
基于分别由所述至少两个运动传感器产生的运动图像数据之间的差异来提取深度信息。
20.根据权利要求17所述的深度感测方法，还包括：
通过组合深度信息和运动图像数据来产生三维图像。
21.一种深度感测系统，包括：
运动传感器阵列，该运动传感器阵列被配置为在多个位置感测至少一个对象的运动，并且基于在所述多个位置感测到的运动来产生多个运动图像数据；以及
图像处理器，该图像处理器被配置为基于产生的多个运动图像数据来确定对象的深度信息。
22.根据权利要求21所述的深度感测系统，其中，运动传感器阵列被配置为基于下述两者中的至少之一来在所述多个位置中的每一个位置感测运动：
在所述多个位置中的每一个位置中捕获的帧的明/暗信息和至少一个存储的明/暗信息，以及
被捕获的帧的电压值和至少一个存储的电压值。
23.根据权利要求21所述的深度感测系统，其中，图像处理器被配置为基于产生的所述多个运动图像数据中的至少两个之间的差异来确定深度信息。
24.根据权利要求21所述的深度感测系统，还包括：
三维图像生成器，该三维图像生成器被配置为通过组合深度信息和产生的所述多个运动图像数据来产生三维图像。
25.根据权利要求21所述的深度感测系统，其中，运动传感器阵列包括多个运动传感器，所述多个运动传感器中的各个运动传感器在所述多个位置中的一个位置感测运动。
CN201310538133.XA 2012-11-02 2013-11-04 运动传感器阵列装置和深度感测系统及使用其的方法 Pending CN103813156A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120123524A KR20140056986A (ko) 2012-11-02 2012-11-02 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
KR10-2012-0123524 2012-11-02

Publications (1)

Publication Number Publication Date
CN103813156A true CN103813156A (zh) 2014-05-21

Family

ID=50489913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310538133.XA Pending CN103813156A (zh) 2012-11-02 2013-11-04 运动传感器阵列装置和深度感测系统及使用其的方法

Country Status (4)

Country Link
US (1) US20140125994A1 (zh)
KR (1) KR20140056986A (zh)
CN (1) CN103813156A (zh)
DE (1) DE102013111729A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844659A (zh) * 2015-01-14 2016-08-10 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
CN106055082A (zh) * 2015-04-10 2016-10-26 三星电子株式会社 用于基于事件显示屏幕的装置和方法
CN107018357A (zh) * 2016-01-27 2017-08-04 三星电子株式会社 关于图像形成的动态视觉传感器的事件采样的方法和设备
CN107027019A (zh) * 2016-01-29 2017-08-08 北京三星通信技术研究有限公司 图像视差获取方法及装置
CN107079115A (zh) * 2014-09-30 2017-08-18 高通股份有限公司 使用基于帧及基于事件混合方案的传感器架构
CN107750372A (zh) * 2015-03-16 2018-03-02 皮埃尔和玛利居里大学(巴黎第六大学) 场景三维(3d)重建的方法
CN108076338A (zh) * 2016-11-14 2018-05-25 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备
CN108073857A (zh) * 2016-11-14 2018-05-25 北京三星通信技术研究有限公司 动态视觉传感器dvs事件处理的方法及装置
CN108574809A (zh) * 2017-03-08 2018-09-25 三星电子株式会社 像素、像素驱动电路以及包括其的视觉传感器
CN110771145A (zh) * 2017-04-18 2020-02-07 脸谱科技有限责任公司 事件摄像机
CN110868518A (zh) * 2018-08-14 2020-03-06 三星电子株式会社 使用动态视觉传感器进行脉冲光图案捕获的系统和方法
CN112243536A (zh) * 2018-03-14 2021-01-19 索尼高级视觉传感股份公司 用3d-ic技术制造的基于事件的视觉传感器
US11245861B2 (en) 2017-10-30 2022-02-08 Sony Semiconductor Solutions Corporation Solid-state imaging element

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9467680B2 (en) 2013-12-12 2016-10-11 Intel Corporation Calibration of a three-dimensional acquisition system
KR102251374B1 (ko) 2014-08-18 2021-05-12 삼성전자주식회사 이미지 센싱 장치 및 그 장치의 동작 방법
KR102062840B1 (ko) 2014-10-31 2020-02-11 삼성전자주식회사 양안 시차를 이용한 물체 위치 검출 장치 및 그 장치의 동작 방법
KR102248404B1 (ko) 2014-11-17 2021-05-07 삼성전자주식회사 움직임 분석 방법 및 움직임 분석 장치
US10043064B2 (en) 2015-01-14 2018-08-07 Samsung Electronics Co., Ltd. Method and apparatus of detecting object using event-based sensor
KR102426677B1 (ko) 2015-03-09 2022-07-28 삼성전자주식회사 오프셋 및 잡음이 감소되는 차분 증폭기 및 이벤트에 기반한 비전 센서
KR20170004436A (ko) 2015-07-02 2017-01-11 삼성전기주식회사 조명 제어 방법 및 그를 이용한 조명 제어 시스템
WO2017009944A1 (ja) * 2015-07-14 2017-01-19 オリンパス株式会社 固体撮像装置
JPWO2017013806A1 (ja) * 2015-07-23 2018-05-10 オリンパス株式会社 固体撮像装置
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
KR102457724B1 (ko) 2015-09-22 2022-10-24 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치
KR102381862B1 (ko) 2015-12-10 2022-04-01 삼성전자주식회사 데이터 통신 장치
US10062151B2 (en) * 2016-01-21 2018-08-28 Samsung Electronics Co., Ltd. Image deblurring method and apparatus
US10129495B2 (en) 2016-03-25 2018-11-13 Qualcomm Incorporated Apparatus and method for generating local binary patterns (LBPS)
TWI578272B (zh) * 2016-05-18 2017-04-11 Chunghwa Telecom Co Ltd Shelf detection system and method
US10659764B2 (en) * 2016-06-20 2020-05-19 Intel Corporation Depth image provision apparatus and method
US10609359B2 (en) 2016-06-22 2020-03-31 Intel Corporation Depth image provision apparatus and method
DE102016111570B4 (de) * 2016-06-23 2022-03-03 Vega Grieshaber Kg Verfahren zur Ermittlung einer Linearisierungskurve zur Ermittlung des Füllstands in einem Behälter aus einer Füllhöhe sowie Verwendung eines mobilen Endgeräts hierfür
KR102282140B1 (ko) * 2017-03-08 2021-07-28 삼성전자주식회사 픽셀, 픽셀 구동 회로 및 이를 포함하는 비전 센서
US10855927B2 (en) * 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
US10129984B1 (en) * 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US11244464B2 (en) 2018-03-09 2022-02-08 Samsung Electronics Co., Ltd Method and apparatus for performing depth estimation of object
CN108827461B (zh) * 2018-04-25 2019-05-03 上海芯仑光电科技有限公司 像素采集电路及光流传感器
EP3561685B1 (en) * 2018-04-27 2022-06-01 IniVation AG Device and method for controlling a transfer of information from a plurality of electronic components through a communication bus to a host device
CN110225233B (zh) * 2019-06-28 2020-11-27 Oppo广东移动通信有限公司 摄像头模组、电子设备以及影像拍摄方法
KR20210006106A (ko) 2019-07-08 2021-01-18 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
US11694304B2 (en) * 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
US11871156B2 (en) * 2020-04-02 2024-01-09 Samsung Electronics Co., Ltd. Dynamic vision filtering for event detection
FR3109667B1 (fr) * 2020-04-28 2024-04-05 Commissariat Energie Atomique Capteur d’image piloté par évènements et son procédé de lecture
TWI813943B (zh) * 2021-02-04 2023-09-01 神盾股份有限公司 影像感測器晶片及其感測方法
JP2022188990A (ja) * 2021-06-10 2022-12-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070296856A1 (en) * 2003-08-11 2007-12-27 Yuan-Chung Lee Variable-field motion detector
WO2011073079A1 (en) * 2009-12-15 2011-06-23 Universite De La Mediterranee Aix-Marseille Ii Method and device for measuring the angular position of a rectilinear contrasting edge of an object, and system for fixation and tracking a target comprising at least one such contrasting edge
US20120092623A1 (en) * 2009-05-04 2012-04-19 Huebner Kenneth J Light array projection and sensing system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926336B1 (ko) 2010-02-05 2019-03-07 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070296856A1 (en) * 2003-08-11 2007-12-27 Yuan-Chung Lee Variable-field motion detector
US20120092623A1 (en) * 2009-05-04 2012-04-19 Huebner Kenneth J Light array projection and sensing system
WO2011073079A1 (en) * 2009-12-15 2011-06-23 Universite De La Mediterranee Aix-Marseille Ii Method and device for measuring the angular position of a rectilinear contrasting edge of an object, and system for fixation and tracking a target comprising at least one such contrasting edge

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079115A (zh) * 2014-09-30 2017-08-18 高通股份有限公司 使用基于帧及基于事件混合方案的传感器架构
CN105844659A (zh) * 2015-01-14 2016-08-10 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
CN105844659B (zh) * 2015-01-14 2019-04-26 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
CN105865462B (zh) * 2015-01-19 2019-08-06 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
CN107750372B (zh) * 2015-03-16 2021-12-10 皮埃尔和玛利居里大学(巴黎第六大学) 一种场景三维重建的方法、装置及计算机可读介质
CN107750372A (zh) * 2015-03-16 2018-03-02 皮埃尔和玛利居里大学(巴黎第六大学) 场景三维(3d)重建的方法
CN106055082A (zh) * 2015-04-10 2016-10-26 三星电子株式会社 用于基于事件显示屏幕的装置和方法
CN107018357B (zh) * 2016-01-27 2020-07-14 三星电子株式会社 关于图像形成的动态视觉传感器的事件采样的方法和设备
CN107018357A (zh) * 2016-01-27 2017-08-04 三星电子株式会社 关于图像形成的动态视觉传感器的事件采样的方法和设备
CN107027019A (zh) * 2016-01-29 2017-08-08 北京三星通信技术研究有限公司 图像视差获取方法及装置
CN107027019B (zh) * 2016-01-29 2019-11-08 北京三星通信技术研究有限公司 图像视差获取方法及装置
CN108073857A (zh) * 2016-11-14 2018-05-25 北京三星通信技术研究有限公司 动态视觉传感器dvs事件处理的方法及装置
CN108073857B (zh) * 2016-11-14 2024-02-27 北京三星通信技术研究有限公司 动态视觉传感器dvs事件处理的方法及装置
CN108076338A (zh) * 2016-11-14 2018-05-25 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备
CN108076338B (zh) * 2016-11-14 2022-04-08 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备
CN108574809A (zh) * 2017-03-08 2018-09-25 三星电子株式会社 像素、像素驱动电路以及包括其的视觉传感器
CN108574809B (zh) * 2017-03-08 2022-04-05 三星电子株式会社 像素、像素驱动电路以及包括其的视觉传感器
CN110771145A (zh) * 2017-04-18 2020-02-07 脸谱科技有限责任公司 事件摄像机
US11659291B2 (en) 2017-10-30 2023-05-23 Sony Semiconductor Solutions Corporation Solid-state imaging element
US11245861B2 (en) 2017-10-30 2022-02-08 Sony Semiconductor Solutions Corporation Solid-state imaging element
CN112243536A (zh) * 2018-03-14 2021-01-19 索尼高级视觉传感股份公司 用3d-ic技术制造的基于事件的视觉传感器
CN110868518A (zh) * 2018-08-14 2020-03-06 三星电子株式会社 使用动态视觉传感器进行脉冲光图案捕获的系统和方法
CN110868518B (zh) * 2018-08-14 2021-11-30 三星电子株式会社 使用动态视觉传感器进行脉冲光图案捕获的系统和方法

Also Published As

Publication number Publication date
US20140125994A1 (en) 2014-05-08
DE102013111729A1 (de) 2014-05-08
KR20140056986A (ko) 2014-05-12

Similar Documents

Publication Publication Date Title
CN103813156A (zh) 运动传感器阵列装置和深度感测系统及使用其的方法
JP6377855B2 (ja) 結像方法、結像装置及び電子装置
US9055242B2 (en) Image sensor chip, method of operating the same, and system including the image sensor chip
KR102009978B1 (ko) 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 상기 이미지 처리 시스템의 동작 방법
CN106341628A (zh) 具有宽动态范围的图像传感器、像素电路和操作方法
US20150189200A1 (en) Cmos image sensor based on thin-film on asic and operating method thereof
JP2010268264A (ja) 撮像素子及び撮像装置
JP2019204521A (ja) プログラム及び情報処理装置
CN103869973A (zh) 感测装置以及感测方法
CN103096094A (zh) 视觉识别装置和方法
EP3435654A1 (en) Mobile terminal facilitating image capture mode switching, and method therefor
US10313612B2 (en) Image sensor, control method, and electronic device
CN114125237A (zh) 图像传感器、摄像模组、电子设备、图像获取方法及介质
US20150172570A1 (en) Image sensor capable of adjusting number of oversamplings, method of operating the same, and image data processing system including the same
CN113674685B (zh) 像素阵列的控制方法、装置、电子设备和可读存储介质
KR20180102988A (ko) 이벤트 감지 장치
CN107124554A (zh) 一种移动终端及其对焦处理方法、及存储装置
US20230020674A1 (en) Electronic apparatus and operating method thereof
US20210185259A1 (en) Image sensor, imaging device including image sensor, and method of operating imaging device
US20210367006A1 (en) Camera in Display
US10939056B2 (en) Imaging apparatus, imaging method, imaging program
US8946614B2 (en) Image sensor with wide dynamic range and method of operating the same including one or more first and second column groups of pixels alternatively arranged
CN110024373B (zh) 摄像装置、摄像方法及存储介质
US8614411B2 (en) 2D/3D dual-mode image sensing circuitry with a pull-down unit
US10091441B1 (en) Image capture at multiple resolutions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20171208

AD01 Patent right deemed abandoned