CN110909730A - 移动检测的成像系统 - Google Patents

移动检测的成像系统 Download PDF

Info

Publication number
CN110909730A
CN110909730A CN201811083832.9A CN201811083832A CN110909730A CN 110909730 A CN110909730 A CN 110909730A CN 201811083832 A CN201811083832 A CN 201811083832A CN 110909730 A CN110909730 A CN 110909730A
Authority
CN
China
Prior art keywords
window
imaging system
movement
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811083832.9A
Other languages
English (en)
Inventor
彭源智
陈泊芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Imaging Ltd
Original Assignee
Himax Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Imaging Ltd filed Critical Himax Imaging Ltd
Priority to CN201811083832.9A priority Critical patent/CN110909730A/zh
Publication of CN110909730A publication Critical patent/CN110909730A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种移动检测的成像系统，其包含：影像传感器；视窗布局单元，其根据消失点或水平线以确定视窗布局，该视窗布局中的视窗的大小是不一致的；特征提取器，其确定目前影像的视窗的特征；及区域移动检测器，其比较该目前影像的视窗的特征与先前影像的相应视窗的特征，以确定是否发生区域移动。

Description

移动检测的成像系统
技术领域
本发明涉及一种成像系统，特别是涉及一种移动检测(motion detection)的成像系统。
背景技术
由于深度学习(deep-learning)人工智能(AI)的发展，使得相机普遍使用在基于影像的分析，用以提取信息。然而，影像的传送需要大量的带宽与功耗。为了降低带宽与功耗，因此提出事件触发(event-triggered)的成像系统，其仅传送与处理有用信息的影像，而筛去冗余(redundant)影像。信息是否有用可藉由检测移动(motion)的发生来识别。
当比较不同时间所撷取帧(frame)时，比较其特征(feature)而非像素值，因而可以大量降低计算量。其中，将帧均等分割为多个区块或视窗，再提取个别的特征。比较目前帧的特征与先前帧的特征，以确定是否发生移动。然而，即使对象的大小相同，远处对象的影像会小于近处对象的影像，使得远处对象的移动经常未能成功检测到。
因此，亟需提出一种新颖的成像系统，以克服传统成像系统的缺陷。
发明内容
鉴于上述，本发明实施例的目的之一在于提出一种移动检测的成像系统，可防止移动检测的漏失，且可保持成像系统的低功耗与低成本。
根据本发明的实施例，移动检测的成像系统包含影像传感器、视窗布局单元、特征提取器及区域移动检测器。视窗布局单元根据消失点或水平线以确定视窗布局，该视窗布局中的视窗的大小是不一致的。特征提取器确定目前影像的视窗的特征。区域移动检测器比较目前影像的视窗的特征与先前影像的相应视窗的特征，以确定是否发生区域移动。
附图简单说明
图1示出本发明实施例的移动检测的成像系统的方块图。
图2A示出本发明实施例的移动检测的成像方法的流程图。
图2B示出本发明另一实施例的移动检测的成像方法的流程图。
图3A至图3E是例示的视窗布局。
图4示出确定视窗的特征的另一个例子。
图5A示出图1的区域移动检测器的细部方块图。
图5B示出图1的全域移动检测器的细部方块图。
具体实施方式
图1示出本发明实施例的移动检测(motion detection)的成像系统100的方块图。成像系统100可使用硬件(例如影像信号处理器)或/和软件(例如计算机程序)来实施。图2A示出本发明实施例的移动检测的成像方法200A的流程图。
在本实施例中，成像系统100/成像方法200A可为事件触发(event-triggered)成像系统/方法，用以大量降低功耗与带宽。本实施例的成像系统100可包含影像传感器11，例如互补式金属氧化物半导体(CMOS)影像传感器。本实施例的成像系统100可包含模式选择器12，用以确定目前模式，据此影像传感器11可使用不同的分辨率、功耗量或帧速率(framerate)。在本实施例中，成像系统100可至少具有移动检测模式与影像(静态影像/动态影像)模式。
在步骤21，(影像传感器11)摄取影像，并确定所摄取影像的消失点(vanishingpoint)或水平线(horizontal line)。在影像平面上，三维空间的平行线在二维透视投影时，会收敛于消失点，该消失点则位于水平线上，该水平线一般又称为视线高度(eyelevel)。在一实施例中，所摄取影像传送至主机(host)10，其作为影像分析器，以识别所摄取影像的消失点或水平线。主机100可设于远端。在另一实施例中，消失点/水平线可由使用者设定。在又一实施例中，消失点/水平线可为预设，因此可以省略步骤21。
接着，在步骤22，视窗布局(windows layout)单元13根据水平线或消失点以确定移动检测的视窗布局。根据本实施例的特征之一，所确定的视窗布局的视窗大小并非一致(uniform)。在本实施例中，靠近水平线/消失点的视窗小于远离水平线/消失点的视窗。图3A至图3D是例示的视窗布局。根据图示，靠近水平线31或消失点32的视窗小于远离水平线31或消失点32的视窗。值得注意的是，所摄取影像的某些区域(例如天空)并未设有视窗，如图3B与图3C所例示。
在确定了视窗布局后，模式选择器12切换成像系统100至移动检测模式(步骤23)。本实施例的成像系统100可包含特征提取器(feature extractor)14、区域移动检测器15及特征储存器16。其中，特征提取器14确定(影像传感器11所摄取的)目前影像的视窗的特征(值)。视窗的特征可储存于特征储存器16，例如静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM)。在一例子中，视窗的特征为该视窗内像素的平均值。图4显示确定视窗的特征的另一个例子。将每一区块(或视窗)切割为多个子区块(例如图4当中标示A、B、C、D的2x2子区块)。对子区块A～D进行以下的计算以确定相应区块的特征：
区块特征i,j＝(abs[mean(A+B)-mean(C+D)]+
abs[mean(B+D)-mean(A+C)])/2
其中abs为绝对值函数，mean为平均值函数。
在步骤24，区域移动检测器15比较目前影像的视窗的特征与(储存在特征储存器16的)先前影像的视窗的特征，以确定是否发生(区域)移动。重复执行步骤24，直到移动被检测到。
图5A显示图1中的区域移动检测器15的细部方块图。在本实施例中，区域移动检测器15可包含差值(difference)单元151，其将先前特征与目前特征相减，因而产生差值。区域移动检测器15可包含绝对值单元152，用以产生该差值的绝对值。区域移动检测器15还可包含比较器153，其比较该绝对值与预设的临界值。根据比较器153的结果，可产生移动图(motion map)。区域移动检测器15还可包含逻辑电路154，例如或(OR)闸，用以对比较器153的结果(亦即移动图)进行逻辑运算，因而产生区域移动标记(flag)，用以表示是否发生(区域)移动。
当检测到区域移动时，则流程进入步骤25，模式选择器12切换成像系统100至影像(静态影像/动态影像)模式，以摄取静态影像或动态影像，并将其传送至主机10。传送完静态影像或动态影像后，流程回到步骤23，模式选择器12切换成像系统100至移动检测模式。
图2B显示本发明另一实施例的移动检测的成像方法200B的流程图。本实施例(图2B)的步骤21～24相同于图2A。在步骤25(亦即影像模式)，摄取静态影像或动态影像并传送至主机10后，流程进入步骤26，全域(global)移动检测器17确定是否发生全域移动。如果检测到全域移动，表示影像是不稳定的，则成像系统100等待预设期间(步骤27)；否则，流程回到步骤23(亦即移动检测模式)。重复执行步骤27，直到预设期间已达到，则流程进入步骤21，以确定新消失点或水平线。接着，在步骤22，视窗布局单元13根据新水平线或消失点以确定移动检测的新视窗布局。在另一实施例中，如图2B的虚线所示，如果步骤26检测到全域移动，重复执行步骤26直到没有全域移动被检测到。此时，流程进入步骤21，以确定新消失点或水平线。接着，在步骤22，视窗布局单元13根据新水平线或消失点以确定移动检测的新视窗布局。
图5B显示图1中的全域移动检测器17的细部方块图。在本实施例中，全域移动检测器17可包含和值单元171，其将(区域移动检测器15所产生的)移动图的元素相加，以产生和值。全域移动检测器17可包含比较器172，其比较和值与预设临界值，因而产生全域移动标记，表示是否发生全域移动。当和值大于预设临界值，则全域移动标记变为主动(asserted)，表示发生全域移动，否则全域移动标记为非主动(de-asserted)。在另一实施例中，可监督水平线(或消失点)以检测全域移动。当水平线(或消失点)偏移实质的距离时，则表示发生全域移动。
根据上述实施例，由于移动检测的视窗大小不一致，因而不会漏失掉具有小影像的远处移动对象。图3E例示本发明实施例的视窗布局。如图所示，即使远处的人与近处的人具有相同的体型，然而位于远处的人具有较小影像。由于远处的人位于小视窗，因此当该远处的人移动时(例如从一视窗移动至相邻视窗)，区域移动检测器15可藉由比较不同时间所撷取的特征，可检测到该远处的人的区域移动。另一方面，由于近处的人位于大视窗，因而可以大量降低运算量与特征的储存量。藉由水平线31，对象(例如图3E所例示的人)可前后移动，也可左右移动。当对象远离水平线时，表示为近处对象。相反的，藉由消失点，对象仅可前后移动(例如隧道中的车辆)。当对象远离消失点时，表示为近处对象。
以上所述仅为本发明的较佳实施例而已，并非用以限定本发明之专利保护范围；凡其它未脱离发明所揭示之精神下所完成的等效改变或修饰，均应包含在下述的权利要求书的范围内。

Claims (10)

1.一种移动检测的成像系统，包含：
影像传感器；
视窗布局单元，其根据消失点或水平线以确定视窗布局，该视窗布局中的视窗的大小是不一致的；
特征提取器，其确定目前影像的视窗的特征；及
区域移动检测器，其比较该目前影像的视窗的特征与先前影像的相应视窗的特征，以确定是否发生区域移动。
2.根据权利要求1所述移动检测的成像系统，还包含影像分析器，以识别该消失点或该水平线。
3.根据权利要求1所述移动检测的成像系统，其中靠近该消失点或该水平线的视窗小于远离该消失点或该水平线的视窗。
4.根据权利要求1所述移动检测的成像系统，其中该特征提取器确定视窗的特征为该视窗内像素的平均值。
5.根据权利要求1所述移动检测的成像系统，其中该区域移动检测器包含：
差值单元，其将该先前影像的特征与该目前影像的特征相减，因而产生差值；
绝对值单元，其产生该差值的绝对值；
比较器，其比较该绝对值与预设临界值，因而产生比较结果；及
逻辑电路，其根据该目前影像与该先前影像的特征相关的比较结果，以产生区域移动标记，用以表示是否发生区域移动。
6.根据权利要求1所述移动检测的成像系统，还包含：
全域移动检测器，其确定是否发生全域移动。
7.根据权利要求6所述移动检测的成像系统，其中该全域移动检测器包含：
和值单元，其将该目前影像的视窗的特征相加，以产生和值；及
比较器，其比较该和值与预设临界值，以产生比较结果，据以产生全域移动标记，以表示是否发生全域移动。
8.根据权利要求1所述移动检测的成像系统，还包含：
模式选择器，在确定该视窗布局后设定移动检测模式，且当检测到区域移动时设定影像模式。
9.根据权利要求1所述移动检测的成像系统，还包含：
特征储存器，其储存视窗的特征。
10.根据权利要求1所述移动检测的成像系统，其中该成像系统为事件触发成像系统。
CN201811083832.9A 2018-09-14 2018-09-14 移动检测的成像系统 Pending CN110909730A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811083832.9A CN110909730A (zh) 2018-09-14 2018-09-14 移动检测的成像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811083832.9A CN110909730A (zh) 2018-09-14 2018-09-14 移动检测的成像系统

Publications (1)

Publication Number Publication Date
CN110909730A true CN110909730A (zh) 2020-03-24

Family

ID=69812656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811083832.9A Pending CN110909730A (zh) 2018-09-14 2018-09-14 移动检测的成像系统

Country Status (1)

Country Link
CN (1) CN110909730A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114089433A (zh) * 2020-08-05 2022-02-25 恒景科技股份有限公司 存在检测系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070206861A1 (en) * 2006-03-06 2007-09-06 Shoen Jay R Efficient detection of constant regions of an image
CN101175160A (zh) * 2006-11-02 2008-05-07 明基电通股份有限公司 影像振动的检测方法及系统
US20100092044A1 (en) * 2008-10-15 2010-04-15 Realtek Semiconductor Corp. Image Processing Apparatus and Method
US20110157379A1 (en) * 2008-06-09 2011-06-30 Masayuki Kimura Imaging device and imaging method
CN102654819A (zh) * 2011-03-04 2012-09-05 富泰华工业（深圳）有限公司 窗口调整方法及使用该方法的电子装置
TW201239811A (en) * 2011-03-25 2012-10-01 Himax Imaging Inc Image calibration method
CN103379312A (zh) * 2012-04-28 2013-10-30 日立(中国)研究开发有限公司 影像监视系统及影像监视方法
CN104680151A (zh) * 2015-03-12 2015-06-03 武汉大学 一种顾及雪覆盖影响的高分辨全色遥感影像变化检测方法
CN104702897A (zh) * 2013-12-10 2015-06-10 明泰科技股份有限公司 网络视频录影的快速历史回放及事件锁定的方法
CN105366463A (zh) * 2014-08-11 2016-03-02 株式会社日立建筑系统 影像监视装置
CN107689055A (zh) * 2017-08-24 2018-02-13 河海大学 一种多时相遥感影像变化检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070206861A1 (en) * 2006-03-06 2007-09-06 Shoen Jay R Efficient detection of constant regions of an image
CN101175160A (zh) * 2006-11-02 2008-05-07 明基电通股份有限公司 影像振动的检测方法及系统
US20110157379A1 (en) * 2008-06-09 2011-06-30 Masayuki Kimura Imaging device and imaging method
US20100092044A1 (en) * 2008-10-15 2010-04-15 Realtek Semiconductor Corp. Image Processing Apparatus and Method
CN102654819A (zh) * 2011-03-04 2012-09-05 富泰华工业（深圳）有限公司 窗口调整方法及使用该方法的电子装置
TW201239811A (en) * 2011-03-25 2012-10-01 Himax Imaging Inc Image calibration method
CN103379312A (zh) * 2012-04-28 2013-10-30 日立(中国)研究开发有限公司 影像监视系统及影像监视方法
CN104702897A (zh) * 2013-12-10 2015-06-10 明泰科技股份有限公司 网络视频录影的快速历史回放及事件锁定的方法
CN105366463A (zh) * 2014-08-11 2016-03-02 株式会社日立建筑系统 影像监视装置
CN104680151A (zh) * 2015-03-12 2015-06-03 武汉大学 一种顾及雪覆盖影响的高分辨全色遥感影像变化检测方法
CN107689055A (zh) * 2017-08-24 2018-02-13 河海大学 一种多时相遥感影像变化检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪飞 等: "可视化搜索用户界面", 《计算机辅助设计与图像学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114089433A (zh) * 2020-08-05 2022-02-25 恒景科技股份有限公司 存在检测系统
CN114089433B (zh) * 2020-08-05 2024-02-09 恒景科技股份有限公司 存在检测系统

Similar Documents

Publication Publication Date Title
CN113286194A (zh) 视频处理方法、装置、电子设备及可读存储介质
KR100902343B1 (ko) 로봇 영상 시스템 및 검출 방법
US9014463B2 (en) System for real-time stereo matching
KR101939628B1 (ko) 모션 검출 방법 및 모션 검출기
KR100814424B1 (ko) 폐색영역 검출장치 및 검출방법
CN110008795B (zh) 图像目标追踪方法及其系统与计算机可读取记录介质
JP5478047B2 (ja) 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム
EP3413236B1 (en) Control apparatus, method of controlling image sensing device, and computer-readable storage medium
US9794588B2 (en) Image processing system with optical flow recovery mechanism and method of operation thereof
JP6616521B2 (ja) 画像処理装置
US8369609B2 (en) Reduced-complexity disparity map estimation
US10818018B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US20140126818A1 (en) Method of occlusion-based background motion estimation
KR20120020008A (ko) 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템
CN107578424B (zh) 一种基于时空分类的动态背景差分检测方法、系统及装置
US6671321B1 (en) Motion vector detection device and motion vector detection method
US11153479B2 (en) Image processing apparatus, capable of detecting an amount of motion between images by tracking a point across one or more images, image capturing apparatus, image processing method, and storage medium
US20200065979A1 (en) Imaging system and method with motion detection
JP4617883B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
CN110992393A (zh) 一种基于视觉的目标运动跟踪方法
JP2015226326A (ja) 映像解析方法及び映像解析装置
CN110909730A (zh) 移动检测的成像系统
JP2022529414A (ja) 誤動作のない動き検出のための方法及びシステム
WO2014182156A1 (en) A system and method for detecting an object
US11270442B2 (en) Motion image integration method and motion image integration system capable of merging motion object images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200324