CN113766152A - 使用时间差分像素的动作传感器及导航装置 - Google Patents

使用时间差分像素的动作传感器及导航装置 Download PDF

Info

Publication number
CN113766152A
CN113766152A CN202110409888.4A CN202110409888A CN113766152A CN 113766152 A CN113766152 A CN 113766152A CN 202110409888 A CN202110409888 A CN 202110409888A CN 113766152 A CN113766152 A CN 113766152A
Authority
CN
China
Prior art keywords
pixel
navigation device
difference
time
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110409888.4A
Other languages
English (en)
Inventor
刘仁杰
柯怡贤
刘汉麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Publication of CN113766152A publication Critical patent/CN113766152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种包含像素矩阵以及读取电路的光传感器。所述像素矩阵包含多个像素以矩阵排列，且所述多个像素的每一者输出时间差分像素数据。所述读取电路用于以读取框依序读取所述像素矩阵，并对所述读取框内的像素的所述时间差分像素数据进行混合差分运算。藉此，所述读取电路的输出即为已经完成时间差分与空间差分的数据。

Description

使用时间差分像素的动作传感器及导航装置
技术领域
本发明有关一种使用时间差分像素的传感器，更特别有关一种使用时间差分像素的动作传感器及导航装置的抬起检测。
背景技术
在具有像素矩阵的传感器中，为了进行动作检测，读取电路会在第一时间读出所述像素矩阵的第一图像帧并将其存入第一帧缓冲器。接着，在第二时间，读取电路读出所述像素矩阵的第二图像帧并将其存入第二帧缓冲器。
在进行动作辨识时，处理器再从所述第一帧缓冲器存取所述第一图像帧并从所述第二帧缓冲器存取所述第二图像帧以进行运算。
亦即，传感器必须具备至少两个帧缓冲器。
有鉴于此，一种无须先将不同时间获取的像素数据分别储存于帧缓冲器后再进行像素运算的动作传感器即为所需。
发明内容
本发明提供一种在读取多个像素的时间差分数据时即进行所述多个像素之间的空间差分运算的动作传感器。
本发明还提供一种在导航像素矩阵外围另外配置提起检测像素矩阵的导航装置。
本发明提供一种包含像素矩阵以及读取电路的动作传感器。所述像素矩阵包含多个像素以矩阵排列，且所述多个像素的每一者用于输出时间差分像素数据。所述读取电路用于以读取框依序读取所述像素矩阵，并计算所述读取框的中央像素与该中央像素的周围像素的所述时间差分像素数据的混合差分。
本发明还提供一种包含第一像素区域、至少一个第二像素区域以及处理器的导航装置。所述第一像素区域用于输出第一图像数据。所述至少一个第二像素区域配置于所述第一像素区域的侧边，用于输出第二图像数据。所述处理器用于根据所述第一图像数据计算所述导航装置的位移，并根据所述第二图像数据判断所述导航装置是否被提起。
本发明还提供一种包含第一像素区域、至少一个第二像素区域、读取电路以及处理器的导航装置。所述第一像素区域用于输出第一图像数据。所述至少一个第二像素区域配置于所述第一像素区域的侧边并包含多个像素以矩阵排列，且所述多个像素的每一者用于输出时间差分像素数据。所述读取电路用于以读取框读取所述至少一个第二像素区域，并计算所述读取框的中央像素与该中央像素的周围像素的所述时间差分像素数据的混合差分。所述处理器用于根据所述第一图像数据计算所述导航装置的位移，并根据所述混合差分判断所述导航装置是否被提起。
为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，详细说明如下。此外，于本发明的说明中，相同的构件以相同的符号表示，于此合先述明。
附图说明
图1A-1D是本发明一种实施例的光传感器的运作示意图；
图2是本发明另一种实施例的光传感器的运作示意图；
图3是本发明一种实施例的导航装置的方框示意图；及
图4是本发明另一种实施例的导航装置的方框示意图。
附图标记说明
100 像素矩阵
11 读取电路
111 空间差分电路
13 比较器
15 计数器
21 主机
A1、A2、A35、A36 读取框
具体实施方式
本发明实施例的动作传感器及导航装置是根据依序经过时间差分与空间差分的像素数据分别判断动作及抬起。本发明的所述时间差分与空间差分是在从像素读取像素数据的期间进行，以在模拟阶段即完成混合差分运算。
参照图1A所示，其为本发明实施例的光传感器(例如CMOS图像传感器，但不限于)的示意图。光传感器例如适用于，但不限于，安防系统以作为动作传感器，用于在检测到动作时发出激活信号Strig至主机21，以启动录像程序、增加像素矩阵的图框率、开启光源、增加所述像素矩阵输出图像帧的帧尺寸等其中至少一者，但并不限于此。某些实施方式中，当所述光传感器未检测到动作时，主机21例如进入休眠模式或省电模式以降低耗能。
所述主机21例如与所述光传感器(例如配置于摄像机内)分开设置但彼此耦接以在其间传送控制信号及图像数据。
光传感器包含像素矩阵100、读取电路11、比较器13、计数器15及时序控制器17，其中，虽然图1A至图1D显示比较器13及计数器15为独立电路，但本发明并不限于此。其他实施方式中，比较器13及计数器15可包含于光传感器的读取电路11或处理器(未绘示)中，其中，该处理器例如是微处理器(MCU)、数字处理器(DSP)或特定功能集成电路(ASIC)。
像素矩阵100包含多个像素(图1A至图1D中以8×8个像素为例说明) 以矩阵排列，且所述多个像素的每一者用于输出时间差分像素数据。该时间差分像素数据例如是所述多个像素的每一者的光二极管在目前时间与参考时间(例如在运行时每隔一预定时间设定一个新的参考时间)产生的电荷的差值；或是所述多个像素的每一者的光二极管在目前时间与一个帧周期前的先前时间产生的电荷的差值。
可计算并输出时间差分像素数据的像素结构为已知，且该像素结构并非为本发明的主要目的，例如可参照https://arxiv.org/pdf/1904.08405，标题为“Event-basedVision:A Survey”的图1(a)，该概论的全部内容在此并入参考。本发明在于利用时间差分像素数据实现动作检测以及提起检测。
所述时间差分像素数据根据所使用的像素电路而定。一种非限定的实施方式中，当光二极管产生的电荷值在两时间之间增加超过预定阈值时，输出高电位(例如以“1”来表示)以作为时间差分像素数据；而当光二极管产生的电荷值在两时间之间减少低于预定阈值时，输出低电位(例如以“0”来表示)以作为时间差分像素数据；亦可反向为之。亦即，时间差分像素数据是两个时间(例如目前时间与参考时间或目前时间与先前时间)之间光二极管产生的电荷所造成的电压差值。
读取电路11利用读取框依序读取像素矩阵100，并计算所述读取框的中央像素与该中央像素的周围像素的时间差分像素数据的空间差分。
例如，图1A中，读取电路11在第一时间同时读取读取框A1的中央像素P10及该中央像素P10的周围像素P11至P18总共9个的时间差分像素数据。读取电路11所能读出的像素数据是根据时序控制器17的控制信号(例如包含行选择信号及读取信号等)来决定。
一种非限定实施方式中，读取电路11读取所述9个时间差分像素数据时，可先计算中央像素P10的时间差分像素数据与周围像素P11至P18的每一者的时间差分像素数据的差值以作为计算空间差分的一种方式。接者，读取电路11再计算求得的8个差值的8个绝对值的总和以作为所述9个像素的混合差分。比较器13则比较该总和与预定值(例如根据不同应用可为电压值、电流值或充/放电时间)以决定读取框A1范围内的亮度变化。当所述读取框A1的混合差分大于或等于所述预定值，计数器15的计数值加1，否则计数值不增加。
接着，读取框朝向像素矩阵100的右方移动一个像素距离而到达如图1B 显示的位置A2。读取电路11在第二时间同时读取读取框A2的中央像素P20 及该中央像素P20的周围像素P21至P28总共9个的时间差分像素数据。读取电路11计算求得的8个差值的8个绝对值的总和以作为读取框A2中的9 个像素的混合差分，其类似于上述计算读取框A1的混合差分。比较器13 同样比较读取电路11计算的所述读取框A2的所述总和与所述预定值。计数器15同样当所述读取框A2的混合差分大于或等于所述预定值时，计数值加 1；反之则不增加计数值。
时序控制器17依序控制像素矩阵100中可读取的像素以使得读取电路 11依序(例如先向右再向下)读取像素矩阵100的所有像素，直到计算出读取框A36(如图1D所示)的混合差分以供比较器13与所述预定值比较。本实施方式中，与读取框A1至A36相关的混合差分是已经依序完成了时间及空间差分的数值。
计数器15计数/累计像素矩阵100中所述混合差分中大于或等于所述预定值的读取框的个数。当该计数/累计的个数大于或等于预定数目(例如像素矩阵100的像素数目的预定比例以作为计数阈值)时表示侦测到活动，计数器15则发出激活信号Strig至主机21。
必须说明的是，其他实施方式中，只要计数/累计的个数大于或等于所述预定数目，像素矩阵100的扫描即可停止且计数器15传送激活信号Strig至主机21。亦即，如果所述预定数目在任何先前的读取框已经到达，读取电路11没有必要一直读到最后一个读取框A36。
图1A至图1D中，仅显示读取电路11与可读取像素之间的读取线Lr，以表示该等像素的时间差分像素数据通过读取线Lr被读取电路11读取。其他的不可读取像素则未显示与读取线Lr连接，藉以简化图式。图1A至图 1D中的箭号表示读取框的移动方向。
必须说明的是，虽然图1A至图1D中，读取框A1至A36显示为包含3×3 个像素的像素范围，但本发明并不以此为限。在像素矩阵100包含较多像素的实施例中，读取框可包含更多个像素，例如5×5个像素的像素范围。
参照图2，另一实施方式中，光传感器包含六个比较器13。读取电路11 同时读取像素矩阵100的3行像素数据，并使用上述的相同方法获得每个读取框A1至A6的混合差分。比较器13接着比较所述混合差分与预定值以决定每个读取框A1至A6的亮度变化。例如，最左边的比较器13比较读取框 A1相关的混合差分与所述预定值；左边第二个比较器13比较读取框A2相关的混合差分与所述预定值；…；右边第二个比较器13比较读取框A5相关的混合差分与所述预定值；且最右边的比较器13比较读取框A6相关的混合差分与所述预定值。计数器15则计算读取框A1至A6中混合差分大于所述预定值的个数。
接着，被读取电路11读取的3行像素每次向下移动一个像素距离直到像素矩阵100的最后一行像素被读取或扫描，且读取电路11、比较器13及计数器15重复前段中的程序。当预定计数值到达时(在扫描像素矩阵100 的全部像素或部分像素后)，计数器15发出激活信号Strig。可以了解的是，当像素矩阵100具有更多的列，则需要更多的比较器13。
请参照图3所示，其为本发明一种实施例的导航装置的示意图。该导航装置例如是光学鼠标，其光传感器(例如CMOS图像传感器，但不限于) 包含第一像素区域300、至少一个第二像素区域(例如此处显示4个第二像素区域301至304分别配置于第一像素区域300的4边)、读取电路31、时序控制器37以及处理器39，其中该处理器39例如包括微处理器(MCU)、数字信号处理器(DSP)或特定应用集成电路(ASCI)。时序控制器37用于产生控制信号(例如包含行扫描信号及读取信号等)以使得读取电路31能够读取各像素的像素数据。
必须说明的是，虽然图3显示第二像素区域301至304与第一像素区域 300具有间隔距离，但本发明并不限于此。其他实施方式中，第二像素区域 301至304与第一像素区域300相邻接地设置。
必须说明的是，虽然图3显示第一像素区域300及第二像素区域301至 304是由同一个读取电路31读取其像素数据，但本发明并不限于此。其他实施方式中，第一像素区域300及第二像素区域301至304是由不同的读电路读取其像素数据。一种实施方式中，第一像素区域300及第二像素区301至 304是设置于相同基底层(base layer)。如图4所示，第二像素区域(显示有格线的区域)与第一像素区域(显示为空白的区域)分别为相同像素矩阵400的不同区域。
以下以图3为例进行说明，本发明所属技术领域的技术人员在了解图3 的说明后，即仍能够了解图4的运作方式。
第一像素区域300用于输出第一图像数据，该第一图像数据的尺寸根据第一像素区域300的像素矩阵所包含的像素数目决定。读取电路31在读取第一像素区域300后输出第一图像数据Imove至处理器39。
第二像素区域301至304配置于第一像素区域300的4个侧边。第二像素区域301至304的每一者分别用于输出第二图像数据。更详言之，读取电路31在读取第二像素区域301至304后，相对第二像素区域301至304的每一者分别输出第二图像数据Ilift至处理器39。例如图3中，读取电路31 在每一帧周期输出一个第一图像数据Imove及四个第二图像数据Ilift。一种实施方式中，第一图像数据Imove及第二图像数据Ilift包含像素区域在目前曝光期间获取的像素数据，而非时间差分像素数据。产生第一图像数据Imove及第二图像数据Ilift的图框率可彼此相同或不同，并无特定限制。
处理器39根据第一图像数据Imove计算导航装置的位移。计算位移的方式为已知，故其详细内容在此不再赘述。例如，处理器39通过比较连续获取的第一图像数据Imove(例如计算相关性)来计算导航装置的位移，该位移例如用于控制显示器上的光标。
处理器39还根据第二图像数据Ilift判断所述导航装置是否被提起。一种实施方式中，处理器39计算第二图像数据Ilift的总和或平均像素值。处理器39则根据所述总和或平均像素值的绝对值判断所述导航装置是否被提起。例如，当所述绝对值大于或等于阈值，表示所述导航装置被提起。
另一种实施方式中，处理器39根据两个第二像素区域之间，例如301 与303之间或302与304之间，的绝对值的差值判断所述导航装置是否被提起。例如，当所述差值大于或等于变化阈值时，表示所述导航装置被提起；而当所述差值未超过所述变化阈值时，表示所述导航装置未被提起。
第二平均像素值可大于或小于第一平均像素值，视第二像素区域301至 304在所述导航装置未被提起时是否能够接收光源所发出的光而定。当处理器39判断第二像素区域301至304其中一者的时间差值(从第一时间到第二时间)大于或等于所述变化阈值时，表示所述导航装置至少一侧被使用者提起。例如，当第二像素区域301相关的绝对值大于或等于所述变化阈值时，表示所述导航装置的左侧被使用者提起；当第二像素区域302相关的绝对值大于或等于所述变化阈值时，表示所述导航装置的上侧被使用者提起；依此类推。
处理器39当判断所述导航装置至少一侧被用户提起时，则发出提起信号Slift以进行相对应控制，例如停止根据第一图像数据Imove所计算的位移控制光标、进入省电模式以降低检测矩阵300的图框率或关闭光源等，但不限于此。一种非限定的实施方式中，处理器39根据所述导航装置被提起的不同侧进行不同控制。例如，当判断所述导航装置的上侧被用户提起时，以不同比例或倍数根据第一图像数据Imove所计算的位移控制光标；而当判断所述导航装置的下侧被用户提起时，才停止根据第一图像数据Imove所计算的位移控制光标，但并不限于此。
另一种实施例中，第二像素区域301至304的每个像素分别用于输出时间差分像素数据以形成所述第二图像数据Ilift。如前所述，所述时间差分像素数据是所述每个像素的光二极管在目前时间与参考时间产生的电荷的差值；或所述每个像素的光二极管在目前时间与一个帧周期前的先前时间产生的电荷的差值。本实施方式中，处理器39用于计数第二像素区域301至304 输出的第二图像数据Ilift的每一者中，多个像素的时间差分像素数据大于或等于预定阈值的像素数目(例如计数输出“1”的像素数目)，并据以判断所述导航装置是否被提起。
必须说明的是，处理器39不必要计算第二图像数据Ilift的所有像素来判断提起。一旦一个第二像素区域中具有明显时间差分像素数据(亦即大于或等于预定阈值)的像素计数大于或等于预定计数阈值，即确认提起。在确认提起后，发出提起信号Slift并停止计数。
换句话说，当所述导航装置被提起时，不同时间的像素值(即时间差分像素数据)就会出现较大的变化。因此，本实施方式中，处理器31比较时间差分像素数据与预定阈值或预定值，并统计出现明显变化(即超过预定阈值或预定值)的像素数目来判断提起事件。预定阈值或预定值的设定可排除噪声干扰。
如前所述，当处理器39判断出现提起事件时，则进行预定控制。
在第二像素区域301至304的多个像素的每一者用于输出时间差分像素数据的实施方式中，读取电路31还对时间差分像素数据先进行空间差分以形成混合差分。处理器39(例如其内包含比较器及计数器)接着根据所述混合差分判断所述导航装置是否被提起。
更详言之，读取电路31使用类似图1A至图1D的读取框依序读取第二像素区域301至304的每一者，并计算所述读取框的中央像素与该中央像素的周围像素的时间差分像素数据的空间差分，可参照上述说明。此时，为了能够使用读取框依序扫描第二像素区域301至304，第二像素区域301至304 的每一者至少包含3×3个像素。可以了解的是，当读取框是包含5×5个像素的像素区域，第二像素区域301至304的每一者至少包含5×5个像素。
图3所示的实施方式中，第二像素区域301至304的每一者输出4个混合差分，其为读取电路31分别根据4个读取框所求得。如前所述，读取电路31计算所述读取框的中央像素的时间差分像素数据与所述中央像素的周围像素的每一者的时间差分像素数据的差值，并计算求得的差值的8个绝对值的总和以作为混合差分。
处理器39从读取电路31接收所述混合差分后，比较所述读取框的每一者的混合差分与预定值。当某一读取框的混合差分大于或等于所述预定值时，计数值则加1；反之，计数值则不增加。处理器39相对所述第二像素区域301至304的每一者累计所述混合差分大于或等于所述预定值的读取框的个数，且当所述第二像素区域301至304的其中一者的所述个数大于或等于预定数目时，判断所述导航装置被提起。
如前所述，处理器39没有必要通过扫描第二像素区域301至304每一者的所有像素来计数所有读取框。只要一个第二像素区域到达预定值，与该第二像素区域的提起即可确认并停止扫描。
例如，当第二像素区域301的4个读取框(例如纵向扫描第二像素区域301，其由时序控制器37的控制信号决定)中有2个以上(即阈值为2)读取框的混合差分大于或等于预定值时，表示所述导航装置的左侧被提起；依此类推可判断其他侧的提起。阈值可根据不同应用而设定，只要小于或等与每个第二像素区域使用的读取框即可。
本实施方式中，处理器39同样根据第一图像数据Imove计算所述导航装置的位移，因其内容已说明于上，故于此不再赘述。
如前所述，当处理器39判断出现提起事件时，则进行预定控制。
图3及图4中显示的ΔIlift表示平均像素值变化、统计像素数目或累计读取框的个数，以表示光二极管产生的电荷的时间变化。
必须说明的是，上述各实施例中的数值，例如像素数目、矩阵个数及阈值等仅为例示，并非用以限定本发明。
综上所述，已知的具有像素矩阵的传感器中，至少需配置两个帧缓冲器用于暂存像素矩阵在不同时间所输出的图像帧。因此，本发明另提供一种动作传感器(例如参照图1A至图1D)及导航装置(例如参照图3至图4)，其使用像素矩阵输出的时间差分像素数据。接者，再对读取框中不同位置的时间差分像素数据进行空间差分，以在读取像素数据时即完成混合差分运算，而不需使用帧缓冲器。处理器可直接根据混合差分结果进行后续控制，而无须在数字阶段进行时间差分运算。
虽然本发明已通过前述实例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求所界定的范围为准。

Claims (20)

1.一种导航装置，该导航装置包含：
第一像素区域，该第一像素区域用于输出第一图像数据；
至少一个第二像素区域，该至少一个第二像素区域配置于所述第一像素区域的侧边，用于输出第二图像数据；以及
处理器，该处理器用于根据所述第一图像数据计算所述导航装置的位移，并根据所述第二图像数据判断所述导航装置是否被提起。
2.根据权利要求1所述的导航装置，其中该导航装置包含4个第二像素区域分别配置于所述第一像素区域的4边。
3.根据权利要求1所述的导航装置，其中所述至少一个第二像素区域与所述第一像素区域分别为相同像素矩阵的不同区域。
4.根据权利要求1所述的导航装置，其中所述处理器用于
计算所述第二图像数据的总和或平均像素值，及
根据所述总和或所述平均像素值的绝对值或根据所述至少一个第二像素区域间的所述绝对值的差值判断所述导航装置是否被提起。
5.根据权利要求1所述的导航装置，其中
所述至少一个第二像素区域的每个像素分别用于输出时间差分像素数据以形成所述第二图像数据，且
所述处理器用于累计所述至少一个第二图像区域中所述时间差分像素数据大于预定阈值的像素数目，并据以判断所述导航装置是否被提起。
6.根据权利要求5所述的导航装置，其中所述时间差分像素数据是
所述每个像素的光二极管在目前时间与参考时间产生电荷的差值；或
所述每个像素的光二极管在目前时间与一个帧周期前的先前时间产生的电荷的差值。
7.一种导航装置，该导航装置包含：
第一像素区域，该第一像素区域用于输出第一图像数据；
至少一个第二像素区域，该至少一个第二像素区域配置于所述第一像素区域的侧边并包含多个像素以矩阵排列，且所述多个像素的每一者用于输出时间差分像素数据；
读取电路，该读取电路用于以读取框读取所述至少一个第二像素区域，并计算所述读取框的中央像素与该中央像素的周围像素的所述时间差分像素数据的混合差分；以及
处理器，该处理器用于根据所述第一图像数据计算所述导航装置的位移，并根据所述混合差分判断所述导航装置是否被提起。
8.根据权利要求7所述的导航装置，其中所述时间差分像素数据是
所述像素的光二极管在目前时间与参考时间产生的电荷的差值；或
所述像素的光二极管在目前时间与一个帧周期前的先前时间产生的电荷的差值。
9.根据权利要求7所述的导航装置，其中所述至少一个第二像素区域至少包含3×3个像素。
10.根据权利要求7所述的导航装置，其中所述读取电路用于
比较所述读取电路计算的所述读取框的每一者的所述混合差分与预定值，
相对所述至少一个第二像素区域的每一者计数所述混合差分大于所述预定值的所述读取框的个数，及
当所述至少一个第二像素区域的其中一者的所述读取框的个数大于预定数目时，判断所述导航装置被提起。
11.根据权利要求7所述的导航装置，其中所述读取电路用于
计算所述中央像素的所述时间差分像素数据与所述周围像素的每一者的所述时间差分像素数据的差值；且
计算所述差值的绝对值的总和以作为所述混合差分。
12.根据权利要求7的导航装置，其中该导航装置包含4个第二像素区域分别配置于所述第一像素区域的4边。
13.根据权利要求7的导航装置，其中所述至少一个第二像素区域与所述第一像素区域分别为相同像素矩阵的不同区域。
14.一种动作传感器，该动作传感器包含：
像素矩阵，该像素矩阵包含多个像素以矩阵排列，且所述多个像素的每一者用于输出时间差分像素数据；以及
读取电路，该读取电路用于以读取框依序读取所述像素矩阵，并计算所述读取框的中央像素与该中央像素的周围像素的所述时间差分像素数据的混合差分。
15.根据权利要求14所述的动作传感器，其中所述时间差分像素数据是
所述像素的光二极管在目前时间与参考时间产生的电荷的差值；或
所述像素的光二极管在目前时间与一个帧周期前的先前时间产生的电荷的差值。
16.根据权利要求14所述的动作传感器，其中所述读取框包含3×3个像素或5×5个像素的像素范围。
17.根据权利要求14所述的动作传感器，还包含比较器用于比较所述读取电路计算的所述读取框的每一者的所述混合差分与预定值。
18.根据权利要求17所述的动作传感器，还包含计数器用于
计数所述像素矩阵中所述混合差分大于所述预定值的所述读取框的个数，且
当所述读取框的个数大于预定数目时发出激活信号。
19.根据权利要求14所述的动作传感器，其中所述激活信号用于启动录像程序、增加所述像素矩阵的图框率、开启光源、增加所述像素矩阵输出图像帧的帧尺寸其中至少一者。
20.根据权利要求14所述的动作传感器，其中所述读取电路用于
计算所述中央像素的所述时间差分像素数据与所述周围像素的每一者的所述时间差分像素数据的差值；且
计算所述差值的绝对值的总和以作为所述混合差分。
CN202110409888.4A 2020-06-05 2021-04-16 使用时间差分像素的动作传感器及导航装置 Pending CN113766152A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/893,936 US11055548B1 (en) 2020-06-05 2020-06-05 Motion sensor using temporal difference pixels and lift-up detection thereof
US16/893,936 2020-06-05

Publications (1)

Publication Number Publication Date
CN113766152A true CN113766152A (zh) 2021-12-07

Family

ID=76657961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110409888.4A Pending CN113766152A (zh) 2020-06-05 2021-04-16 使用时间差分像素的动作传感器及导航装置

Country Status (2)

Country Link
US (3) US11055548B1 (zh)
CN (1) CN113766152A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302872A (ja) * 2003-03-31 2004-10-28 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2005018655A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 運転者行動推定装置
CN102196191A (zh) * 2010-03-17 2011-09-21 瑞昱半导体股份有限公司 图像处理装置与其方法
US20130077818A1 (en) * 2011-09-23 2013-03-28 Lite-On Singapore Pte. Ltd. Detection method of optical navigation device
CN103777782A (zh) * 2012-10-26 2014-05-07 原相科技股份有限公司 光学导航装置及其抬升检测方法
CN104699325A (zh) * 2013-12-09 2015-06-10 原相科技股份有限公司 适于环境光与提起检测的光学导航系统及其检测方法
JP2017225084A (ja) * 2016-06-17 2017-12-21 株式会社ニコン 撮像素子、電子機器、撮像方法、およびプログラム
CN109150152A (zh) * 2017-06-27 2019-01-04 原相科技股份有限公司 光学式控制键及其运作方法、以及图像传感器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4380439B2 (ja) * 2004-07-16 2009-12-09 ソニー株式会社 データ処理方法およびデータ処理装置並びに物理量分布検知の半導体装置および電子機器
TWI501117B (zh) * 2012-10-22 2015-09-21 Pixart Imaging Inc 光學導航裝置及其抬升偵測方法
KR102350097B1 (ko) * 2015-04-30 2022-01-13 삼성디스플레이 주식회사 영상 보정부, 이를 포함하는 표시 장치 및 이의 영상 표시 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302872A (ja) * 2003-03-31 2004-10-28 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2005018655A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 運転者行動推定装置
CN102196191A (zh) * 2010-03-17 2011-09-21 瑞昱半导体股份有限公司 图像处理装置与其方法
US20130077818A1 (en) * 2011-09-23 2013-03-28 Lite-On Singapore Pte. Ltd. Detection method of optical navigation device
CN103777782A (zh) * 2012-10-26 2014-05-07 原相科技股份有限公司 光学导航装置及其抬升检测方法
CN104699325A (zh) * 2013-12-09 2015-06-10 原相科技股份有限公司 适于环境光与提起检测的光学导航系统及其检测方法
JP2017225084A (ja) * 2016-06-17 2017-12-21 株式会社ニコン 撮像素子、電子機器、撮像方法、およびプログラム
CN109150152A (zh) * 2017-06-27 2019-01-04 原相科技股份有限公司 光学式控制键及其运作方法、以及图像传感器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任克强;马文楷;: "基于自适应HCS-LBP特征的行人检测算法", 光电子・激光, no. 10 *

Also Published As

Publication number Publication date
US20230386258A1 (en) 2023-11-30
US11783633B2 (en) 2023-10-10
US20210383143A1 (en) 2021-12-09
US11055548B1 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
US5790234A (en) Eyeball detection apparatus
KR101640096B1 (ko) 화상 처리 장치, 프로젝터 및, 프로젝터의 제어 방법
KR101151496B1 (ko) 이미지 신호 처리 방법 및 장치
US6012980A (en) Coordinates detecting device, method for same and game device
KR100591731B1 (ko) 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상처리 방법
KR101640090B1 (ko) 화상 처리 장치, 프로젝터 및, 프로젝터의 제어 방법
US11869273B2 (en) Object recognition with removal of event as noise when the event is detected for a group of pixels exceeding a threshold
JP2008191465A (ja) 画像表示装置
US20070070007A1 (en) Liquid crystal display apparatus
KR101465801B1 (ko) 표시 장치
CN112369012B (zh) 图像传感器、记录设备以及复位方法
CN113766152A (zh) 使用时间差分像素的动作传感器及导航装置
US8655024B2 (en) Displacement detection device and displacement detection method thereof
KR20220025552A (ko) 영상처리장치 및 그의 영상보정방법
JP5232924B2 (ja) 表示装置及び表示装置の制御方法
US10438543B2 (en) Liquid crystal display apparatus
JP5329765B2 (ja) 液晶プロジェクタ及びフリッカ調整方法
US10616521B2 (en) Imaging device for detecting sparse event information in a pixel array
CN114128252A (zh) 摄像设备及其控制方法
CN112215782A (zh) 一种卷帘快门成像装置图像校正方法及装置
EP1876815A2 (en) Image processing method of pointer input system
US20230065051A1 (en) Photoelectric conversion device, image pickup apparatus, control method, and storage medium
US11082650B1 (en) Image capturing device and line variation noise reduction device
JP2023118323A (ja) 固体撮像素子、固体撮像素子の制御方法、プログラム、記憶媒体、及び撮像装置
JP2007173914A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination