CN109767453B9 - 信息处理装置、背景图像更新方法和非暂态计算机可读存储介质 - Google Patents

信息处理装置、背景图像更新方法和非暂态计算机可读存储介质 Download PDF

Info

Publication number
CN109767453B9
CN109767453B9 CN201811313126.9A CN201811313126A CN109767453B9 CN 109767453 B9 CN109767453 B9 CN 109767453B9 CN 201811313126 A CN201811313126 A CN 201811313126A CN 109767453 B9 CN109767453 B9 CN 109767453B9
Authority
CN
China
Prior art keywords
moving object
background
image
unit
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811313126.9A
Other languages
English (en)
Other versions
CN109767453A (zh
CN109767453B (zh
Inventor
觉幸典弘
于珊珊
大谷猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN109767453A publication Critical patent/CN109767453A/zh
Publication of CN109767453B publication Critical patent/CN109767453B/zh
Application granted granted Critical
Publication of CN109767453B9 publication Critical patent/CN109767453B9/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

公开了一种信息处理装置、背景图像更新方法以及非暂态计算机可读存储介质。信息处理装置包括存储器以及耦接至存储器的处理器，并且该处理器被配置成执行处理，该处理包括：基于运动图像中的多个帧彼此之间的比较的结果提取与所述多个帧中包括的移动对象对应的移动对象区域；在多个帧之中追踪移动对象区域的位置；针对多个帧中的每一个将除了其位置移动超过限定时间段的移动对象区域之外的图像区域确定为背景区域；以及基于确定的结果更新运动图像的背景图像。

Description

信息处理装置、背景图像更新方法和非暂态计算机可读存储介质
技术领域
本文讨论的实施方式涉及信息处理装置、背景图像更新方法和非暂态 计算机可读存储介质。
背景技术
迄今为止，背景差分法被认为是从由摄像机捕获的运动图像检测作为 前景出现的移动对象的方法。在背景差分法中，从由摄像机捕获的运动图 像检测不包括要检测的对象的背景图像(也被称为背景模型)并且存储该 背景图像。从由摄像机捕获的运动图像获得背景图像的差异，从而检测移 动对象出现的图像区域。
作为用于检测要被用于背景差分法的背景图像的技术，已知使用预定 透过率来控制监测图像中的每个区域的像素值并且依次更新与背景图像对 应的区域的像素值的技术。已知增加除了被确定为处于移动对象区域中的 像素之外的像素的计数值并且更新具有已经达到预定值的计数值的像素的 背景图像数据的技术。已知以下技术：通过对作为前景连续出现的次数进 行计数将具有变得等于或高于用于确定静止的预定阈值的静止时间的部分 确定为静止区域，并且创建被确定为静止区域的区域的新背景模型。
[相关领域技术文献]
[专利文献]
[专利文献1]日本公开特许公报第2013-152669号。
[专利文献2]日本公开特许公报第2003-123074号。
[专利文献3]日本公开特许公报第2010-15469号。
发明内容
鉴于前述内容，本公开内容的目的是抑制对包括在背景图像中的移动 对象的检测。
根据实施方式的一个方面，一种信息处理装置包括存储器以及耦接至 存储器的处理器，并且该处理器被配置成执行处理，该处理包括：基于运 动图像中的多个帧彼此之间的比较的结果提取与运动图像中的多个帧中包 括的移动对象对应的移动对象区域；在多个帧之中追踪移动对象区域的位 置；针对多个帧中的每一个将除了其位置移动超过限定时间段的移动对象 区域之外的图像区域确定为背景区域；以及基于确定的结果更新运动图像 的背景图像。
附图说明
图1是示出根据第一实施方式的检测设备的功能配置的示例的框图。
图2是说明背景区域的确定的说明图。
图3是说明已经更新的背景图像的说明图。
图4是说明根据第一实施方式的系统配置的示例的说明图。
图5是示出根据第一实施方式的系统的功能配置的示例的框图。
图6是示出根据第一实施方式的系统的操作的示例的流程图。
图7是说明根据第二实施方式的系统配置的示例的说明图。
图8是示出根据第二实施方式的系统的功能配置的示例的框图。
图9A和图9B是示出根据第二实施方式的系统的操作的示例的流程 图。
图10是说明振动指令的确定的说明图。
图11是说明根据第三实施方式的系统配置的示例的说明图。
图12是示出根据第三实施方式的系统的功能配置的示例的框图。
图13A和图13B是示出根据第三实施方式的系统的操作的示例的流 程图。
图14是示出根据实施方式的检测设备的硬件配置的示例的框图。
具体实施方式
然而，在上述相关技术中，例如，存在以下问题：如果出现在由摄像 机捕获的运动图像中的移动对象在一定时间段内停止移动，则检测到其中 移动对象就像阴影一样出现的背景图像。
根据一个方面，目的是抑制对包括在背景图像中的移动对象的检测。
在下面，将参照附图给出对根据实施方式的信息处理装置、背景更新 方法以及背景更新程序的描述。在实施方式中，对具有相同功能的部件给 出相同附图标记，并且将省略冗余的描述。在以下实施方式中描述的信息 处理装置、背景更新方法和背景更新程序仅是示例，并且不限制实施方 式。下面描述的每个实施方式可以在不会引起不一致的范围内适当地组 合。
(第一实施方式)
图1是示出根据第一实施方式的检测设备的功能配置的示例的框图。 如图1中所示，将由摄像机2捕获的运动图像输入到检测设备1。检测设 备1包括背景检测单元10，背景检测单元10从输入的运动图像检测与除 了作为前景出现的移动对象之外的背景对应的背景图像3。检测设备1是 对运动图像执行图像处理的信息处理装置，并且例如可以采用PC(个人 计算机)、智能电话、平板终端等。
背景图像3是与用于通过背景差分法检测其中移动对象出现的图像区 域的背景对应的也被称为背景模型的图像数据，并且例如是指示与背景对 应的图像区域的每个像素的包括亮度值等的像素值的图像数据。在背景差 分法中，通过从由摄像机2捕获的运动图像获得背景图像3的差异，可以 检测其中移动对象出现的图像区域。
背景检测单元10包括移动对象区域提取单元11、移动对象区域保存 单元12、移动对象区域追踪单元13、背景区域确定单元14、背景更新单 元15和背景保存单元16。
移动对象区域提取单元11基于由摄像机2输入的运动图像的前一帧 与后一帧的比较的结果提取移动对象区域，该移动对象区域是与每一帧中 出现的移动对象对应的图像区域。也就是说，移动对象区域提取单元11 是提取单元的示例。
移动对象区域保存单元12保存由移动对象区域提取单元11提取的移 动对象区域。具体地，移动对象区域保存单元12提取并保存由移动对象 区域提取单元11从帧提取的移动对象区域中的像素。
移动对象区域追踪单元13参考保存在移动对象区域保存单元12中的 移动对象区域，以基于由移动对象区域提取单元11提取的移动对象区域 与运动图像的每一帧之间的相关性来在帧之间追踪移动对象区域的位置。 也就是说，移动对象区域追踪单元13是追踪单元的示例。
背景区域确定单元14将每一帧的除了由移动对象区域提取单元11提 取的移动对象区域之外的背景区域确定为由摄像机2捕获的运动图像的每 一帧中的图像区域。如果帧中包括具有由移动对象区域追踪单元13追踪 的位置的移动对象区域，则背景区域确定单元14将除了该移动对象区域 之外的图像区域确定为每一帧的背景区域。也就是说，背景区域确定单元 14是确定单元的示例。
图2是说明背景区域的确定的说明图。在图2中，运动图像G1是由 摄像机2捕获并输入到背景检测单元10中的运动图像。相关性信息G2是 通过计算运动图像G1的前一帧与后一帧的亮度值的相关性而获得的信 息。
如图2中所示，如果包括在运动图像G1的前一帧和后一帧中移动的 移动对象，则在相关性信息G2中与移动对象对应的区域R1的相关性变 低。
因此，移动对象区域提取单元11根据要处理的帧与前一帧的相关性 信息G2获得具有低相关性的区域R1作为包括移动对象的候选区域。移 动对象区域提取单元11在所获得的区域R1中提取在亮度值上与要处理的 帧具有高相关性的区域R2作为与移动对象对应的移动对象区域。由此， 背景区域确定单元14将除了与具有运动的移动对象对应地提取的区域R2 之外的图像区域确定为背景区域。
在移动对象如在“帧t-1”和之后中那样停止移动的情况下，根据相 关性信息G2未获得具有低相关性的区域R1，移动对象区域提取单元11 不提取移动对象区域。
为了应对移动对象的这样的静止，移动对象区域追踪单元13基于移 动对象区域保存单元12中保存的移动对象区域即区域R2与运动图像G1 的每一帧之间的相关性在帧之中追踪移动对象区域的位置。具体地，移动 对象区域追踪单元13在运动图像G1的每一帧中追踪与区域R2具有高相 关性的位置。
例如，在图2的示例中，尽管移动对象在“帧t-1”和之后的帧中处 于静止，但是移动对象区域追踪单元13基于与直到前一帧获得的区域R2 的相关性追踪与已经停止的移动对象对应的区域R3的位置。由此，在已 经由移动对象区域追踪单元13追踪其位置的区域R3保留在帧中的情况 下，背景区域确定单元14将除了区域R3之外的图像区域确定为背景区 域。
背景更新单元15基于由背景区域确定单元14确定的每一帧中的背景 区域来检测由摄像机2捕获的运动图像的每一帧中的背景图像3。也就是 说，例如，背景更新单元15是背景检测单元的示例。
具体地，例如，背景更新单元15基于由背景区域确定单元14确定的 背景区域将要处理的帧的背景区域中的像素值(例如，亮度值)乘以预定 值。由此，背景更新单元15从要处理的帧检测与背景区域对应的背景图 像。
接下来，背景更新单元15从保存直到要处理的帧的前一帧检测到的 背景图像的背景保存单元16读取背景图像，并且与从要处理的帧检测到 的背景图像进行相加。由此，背景更新单元15将由背景保存单元16保存 的背景图像更新为直到要处理的帧的背景图像。接下来，背景更新单元 15输出更新后的背景图像作为背景图像3。
图3是说明已经更新的背景图像的说明图。在图3中，运动图像G1 是从帧外移入的商店员工H在收银机处工作的场景。如果将除了由移动 对象区域提取单元11提取的移动对象区域之外的图像区域确定为背景区 域，则未从处于静止状态和之后的帧中提取到移动对象区域，并且因此与 在收银机处的停止移动的商店员工H对应的阴影H'有时被包括在背景图 像3'中。以这种方式，如果使用其中移动对象(商店员工H)作为阴影出 现的背景图像3'执行背景差分法，则引起移动对象的检测准确度的降低。
相反，在已经由移动对象区域追踪单元13追踪其位置的移动对象区 域保留在帧中的情况下，如果将除了该移动对象区域之外的图像区域确定 为背景区域，则除了已经停止在收银机前方的商店员工H之外的图像区 域被确定为背景区域。因此，可以获得不包括商店员工H的背景图像3。
例示了上述设备1被应用于监视在商店员工照顾顾客时的顾客接待的 系统的情况，并且将给出对由检测设备1执行的处理的详细信息的描述。
图4是说明根据第一实施方式的系统配置的示例的说明图。如图4中 所示，摄像机2捕获在顾客H1和商店员工H2的顾客接待场景下的商店 员工H2的运动图像，并且将捕获的运动图像输出至上司H3的终端设备 1a。
终端设备1a是信息处理装置例如应用上述检测设备1的PC等，并且 从由摄像机2捕获的运动图像检测背景图像。终端设备1a基于检测到的 背景图像通过背景差分法检测商店员工H2在顾客接待时的运动，评估商 店员工H2对顾客H1的顾客接待，并且向显示器等显示评估结果。由 此，上司H3可以检查商店员工H2的顾客接待。
图5是示出根据第一实施方式的系统的功能配置的示例的框图。如图 5中所示，终端设备1a包括背景检测单元10a、背景差分处理单元20、面 部检测单元21、运动计算单元22、点头检测单元23、接待质量评估单元 24、数据处理单元25和输出单元26。
背景检测单元10a包括移动对象区域提取单元11、移动对象区域保 存单元12、移动对象区域追踪单元13、背景区域确定单元14、背景更新 单元15、背景保存单元16和运动保存单元17。
移动对象区域提取单元11包括移动对象区域候选提取单元11a、特 征点提取单元11b、内区域特征点提取单元11c、移动对象区域候选运动 计算单元11d和移动对象区域确定单元11e。
移动对象区域候选提取单元11a基于前一帧与后一帧的相关性来提取 移动对象区域的候选。具体地，例如，如由下面的表达式(1)所示的， 移动对象区域候选提取单元11a获得具有比要处理的帧与前一帧之间的相 关性信息G2的相关性低的相关性的区域R1作为在要处理的帧中的移动 对象区域候选。
[表达式1]
∑m＝-M，…，M，n＝-N，…，N|G(t，x+m，y+n)-G(t+1，x+m，y+n)|＞T1…(1)
在表达式(1)中，t是与帧有关的时间，并且G(t,x,y)是在时间 (t)处的帧中的像素(x，y)。阈值T1是预先设置的用于确定相关值的 阈值。移动对象区域候选提取单元11a获得满足表达式(1)的像素点 (x，y)的集合C即移动对象区域候选。
特征点提取单元11b从由移动对象区域候选提取单元11a提取的当前 时间(t)处的移动对象区域候选提取图像中的特征点。例如，特征点提 取单元11b提取满足以下表达式(2)中的四个表达式中的两个或更多个 表达式的点(x，y)∈C作为特征点。阈值T2是预先设置的用于确定特 征点的阈值。
由此，特征点提取单元11b提取在附近存在具有不同方向的两个或更 多个突出边缘的点作为特征点。作为满足表达式(2)中的四个表达式中 的两个或更多个表达式的点被提取的点(x，y)∈C的集合被假设为P。
[表达式2]
Figure BDA0001855543310000071
内区域特征点提取单元11c基于由特征点提取单元11b提取的特征点 提取在下一时间(t+1)处的移动对象区域候选中的特征点作为内区域特 征点。具体地，内区域特征点提取单元11c针对在下一时间(t+1)处的 帧中的移动对象区域候选中的点中的每个特征点在附近搜索在亮度上具有 特定值或更高值的相关性的点，并且将搜索到的点确定为内区域特征点。
例如，假设点(k，l)∈C，内区域特征点提取单元11c获得满足以下 表达式(3)的点(x，y)∈P作为内区域特征点。假设阈值T3是预先设 置的用于确定相关性的高度的阈值。所获得的点的集合被假设为P'。在下 一时间(t+1)处的内区域特征点的集合被假设为C'。
[表达式3]
∑m＝-M，…，M，n＝-N，…，N|G(t，x+m，y+n)-G(t+1，k+m，l+n)|＜T3…(3)
移动对象区域候选运动计算单元11d针对每个内区域特征点通过从目 的地位置减去移动之前的位置来获得运动，计算所获得的运动的平均值作 为移动对象区域候选的运动。具体地，移动对象区域候选运动计算单元 11d通过以下表达式(4)计算移动对象区域候选的运动(u(t)，v(t))。
[表达式4]
Figure BDA0001855543310000072
移动对象区域确定单元11e从移动对象区域候选确定移动对象区域。 具体地，在当前时间处的移动对象区域候选的每个点移动了由移动对象区 域候选运动计算单元11d计算的移动对象区域候选的运动的情况下，如果 移动之后的位置在移动对象区域候选内，则移动对象区域确定单元11e确 定该点包括在移动对象区域中。
例如，如果在每个点(x，y)∈C处(x+u，y+v)∈C'，则确定该 点包括在移动对象区域中。接下来，移动对象区域确定单元11e将移动对 象区域候选的被确定为包括在移动对象区域中的每个点(集合R)确定为 移动对象区域。由此，移动对象区域提取单元11提取移动对象区域，该 移动对象区域是与在每一帧中出现的移动对象对应的图像区域。
移动对象区域保存单元12基于由移动对象区域确定单元11e确定的 移动对象区域提取并保存移动对象区域中的像素(集合R)。也就是说， 移动对象区域保存单元12提取并保存从每一帧提取的移动对象区域。
移动对象区域追踪单元13参考保存在移动对象区域保存单元12中的 移动对象区域，并且基于运动图像与每一帧的相关性在帧之中追踪移动对 象区域的位置。具体地，移动对象区域追踪单元13使用保存在移动对象 区域保存单元12中的移动对象区域MR获得使以下表达式(5)的值最小 化的平移量(p，q)。移动对象区域追踪单元13追踪通过平移移动对象 区域MR中的每个点而产生的点的集合作为下一时间处的移动对象区域 MR'。
[表达式5]
∑(x，y)∈MR|G(t，x，y)-G(t+1，x+p，y+q)|…(5)
移动对象区域追踪单元13将当前时间处的移动对象区域的位置与下 一时间处的移动对象区域的位置之间的差值即平移量(p，q)作为运动保 存在运动保存单元17中。
背景区域确定单元14将除了由移动对象区域提取单元11提取的移动 对象区域之外的图像区域确定为每一帧的背景区域。如果帧包括已经由移 动对象区域追踪单元13追踪其位置的移动对象区域，则背景区域确定单 元14还基于移动对象区域追踪单元13的追踪结果将除了该移动对象区域 之外的图像区域确定为每一帧的背景区域。
更具体地，背景区域确定单元14确定由移动对象区域追踪单元13追 踪其位置的移动对象区域的运动(u(k)，v(k))在k＝1,...,t中的每个时间 处满足以下表达式(6)的次数。阈值T4是预先设置的用于确定位置的移 动的阈值。
[表达式6]
|u(k)|+|v(k)|>T4…(6)
接下来，如果表达式(6)被满足的次数等于或高于阈值T5，则背景 区域确定单元14将除了已经由移动对象区域追踪单元13追踪其位置的移 动对象区域之外的图像区域确定为背景区域。阈值T5是预先设置的用于 确定位置已经移动的帧数的阈值。
也就是说，背景区域确定单元14将除了其位置已经移动了超过等于 或大于阈值T5的帧数的移动对象区域之外的图像区域确定为背景区域。 以这种方式，在其位置已经被追踪的移动对象区域中，除了其位置已经移 动达等于或大于阈值T5的帧数的移动对象区域之外的图像区域被确定为 背景区域。因此，例如，可以抑制随风摇摆达数帧的树枝被视为移动对象 区域并被从背景中排除的情况。
背景更新单元15基于由背景区域确定单元14确定的背景区域将当前 时间处的帧中的背景区域中的每个点的亮度值乘以预定值(固定值α)。 由此，背景更新单元15获得当前时间处的帧中的背景区域中的亮度值 (用于与直到当前时间处的帧的背景图像(背景模型)相加的当前时间处 的帧中的背景图像)。
接下来，背景更新单元15从背景保存单元16读取当前时间之前的背 景图像，并且与在当前时间处的帧中的背景区域的亮度值进行相加。背景 更新单元15将通过将相加的背景图像除以1和固定值α的总和值而产生的 值确定为直到当前时间的背景图像，并且更新背景保存单元16中的背景 图像。具体地，背景更新单元15通过以下表达式(7)更新已经被确定为 背景图像(H)中的背景的每个点(x，y)的背景。
[表达式7]
H(t+1，x，y)＝(G(t+1，x，y)×α+H(t，x，y))/(α+1)…(7)
背景差分处理单元20执行与背景差分法有关的背景差分处理。具体 地，背景差分处理单元20参考背景保存单元16中的背景图像，并且基于 摄像机2的运动图像G1的每一帧与背景图像之间的差异来检测与运动图 像G1的每一帧中包括的移动对象对应的移动对象图像。也就是说，背景 差分处理单元20是差分处理单元的示例。
更具体地，背景差分处理单元20基于运动图像G1的每一帧的点G(t, x,y)与背景保存单元16中的背景图像H(t,x,y)的差异来获得满足以下表 达式(8)的点的集合作为移动对象区域HMR。阈值T6是预先设置的用 于通过背景差分法确定移动对象区域HMR的阈值。
[表达式8]
∑m＝-M，…，M，n＝-N，…，N|G(t,x+m,y+n)-H(t,x+m,y+n)|>T6…(8)
面部检测单元21从由背景差分处理单元20检测到的移动对象区域 HMR检测人的面部图像。具体地，假设预先捕获的商店员工H2的面部 图像是F(x,y)(x＝0,...,2X,y＝0,...,2Y)，面部检测单元21检测满足以下 表达式(9)并且被包括在移动对象区域HMR中的区域作为面部图像。
[表达式9]
∑m＝-X，…，X，n＝-Y，…，Y|F(X+m，Y+n)-G(t，k+m，1+n)|＜T7…(9)
在表达式(9)中，阈值T7是预先设置的用于确定面部的阈值。在表 达式(9)中，要作为面部图像的区域(FR)变成以像素(k，l)作为面 部的中心的(2X+1)×(2Y+1)的矩形。
运动计算单元22计算由面部检测单元21检测到的面部图像在前一帧 和后一帧中的运动。具体地，运动计算单元22计算使下面的表达式 (10)最小化的(k，l)作为面部的运动。
[表达式10]
∑(x，y)∈FR|G(t，x，y)-G(t+1，x+k，y+1)|...(10)
点头检测单元23基于由运动计算单元22计算的面部的运动来检测面 部的点头即商店员工H2的点头。具体地，在面部运动(u，v)中的v值 (点头时面部在竖直方向上的运动)在负方向上变化等于或大于预定阈值 T8的量并且然后在正方向上变化等于或大于预定阈值T8的量的情况下， 点头检测单元23将其确定为点头。
例如，假设在v变成最低值vmin之前的并且在其处发生小于阈值T5 的变化的时间是开始时间，并且此时的v值是vleft。假设在v变成最低值 vmin之后的并且在其处发生小于阈值T5的变化的时间是结束时间，并且 此时的v值是vright。点头检测单元23通过以下表达式(11)获得点头的 时间长度(i)和点头的深度(j)，点头的深度(j)是v的变化量。
[表达式11]
i＝(结束时间)-(开始时间),j＝((vleft-vmin)+(vright-vmin))/2…(11)
接待质量评估单元24基于由点头检测单元23检测到的商店员工H2 的点头来评估商店员工H2对顾客H1的接待质量。也就是说，接待质量 评估单元24是基于移动对象图像评估移动对象的运动的评估单元的示 例。
具体地，接待质量评估单元24基于记载“当相同的点头持续时，交 谈的人感觉他或她真的是听到”的相关技术知识根据由点头检测单元23 检测到的商店员工H2的点头的时间长度(i)和点头的深度(j)来获得 商店员工H2的接待质量。
例如，假设第s次的点头的时间长度是is，并且点头的深度是js，接 待质量评估单元24从r为s-1时起减去1直到r满足以下两个表达式 (12)。接待质量评估单元24计算表达式(12)变得不被满足时的次数 R＝s-r。接下来，接待质量评估单元24使用计算的次数R通过评估值＝ 1/R来计算接待质量的评估值。
[表达式12]
Figure BDA0001855543310000111
数据处理单元25基于接待质量评估单元24的评估结果生成要在显示 器上显示的评估结果的显示数据。例如，数据处理单元25生成以时间作 为水平轴并且以评估值作为竖直轴的图表显示数据。输出单元26在显示 器的屏幕上显示由数据处理单元25生成的显示数据，并且将评估结果输 出至上司H3。由此，上司H3可以检查商店员工H2的接待质量例如在以 时间作为水平轴并且以评估值作为竖直轴的图表的情况下接待质量随时间 的变化。
图6是示出根据第一实施方式的系统的操作的示例的流程图。如图6 中所示，在处理开始时，移动对象区域候选提取单元11a根据基于来自摄 像机2的运动图像G1并且基于当前时间(t)处的帧与前一帧或后一帧之 间的相关性来获得移动对象区域候选(S1)。接下来，特征点提取单元 11b从当前时间(t)处的移动对象区域候选提取图像中的特征点(S2)。
接下来，内区域特征点提取单元11c针对在下一时间(t+1)处的帧 中的移动对象区域候选中的点中的每个特征点在附近搜索具有特定值或更 高值的亮度相关性的点，并且将搜索到的点确定为内区域特征点(S3)。
接下来，移动对象区域候选运动计算单元11d针对每个内区域特征点 获得通过从目的地位置减去移动之前的位置而产生的运动，并且计算移动 对象区域候选的运动(S4)。
接下来，移动对象区域确定单元11e从移动对象区域候选确定移动对 象区域(S5)，并且移动对象区域保存单元12保存由移动对象区域确定 单元11e确定的移动对象区域(S6)。
接下来，移动对象区域追踪单元13获得下一时间处的移动对象区域 候选，并且参考保存在移动对象区域保存单元12中的移动对象区域并获 得相关性以在帧之中追踪移动对象区域的位置(S7)。
接下来，移动对象区域追踪单元13基于当前时间处的移动对象区域 的位置与下一时间处的移动对象区域的位置之间的差异将移动对象的运动 (平移量(p，q))保存在运动保存单元17中(S8)。
接下来，背景区域确定单元14基于由移动对象区域提取单元11提取 的移动对象区域和移动对象区域追踪单元13的追踪结果来确定背景保存 单元16中的背景图像中的要更新的区域(背景区域)(S9)。
接下来，背景更新单元15基于由背景区域确定单元14确定的背景区 域将当前时间处的帧中的背景区域中的每个点的亮度值乘以固定值α，将 其乘积与从背景保存单元16读取的背景图像相加，并且更新背景图像的 亮度(S10)。接下来，背景更新单元15将更新后的背景图像的亮度保存 在背景保存单元16中作为直到当前时间的帧中的背景图像(S11)。
接下来，背景差分处理单元20使用保存在背景保存单元16中的背景 (背景图像)通过背景差分法从摄像机2的运动图像G1估计移动对象区 域(S12)。接下来，面部检测单元21从在S12中估计的移动对象区域检 测面部(S13)。接下来，运动计算单元22检测由面部检测单元21检测 到的面部的前一帧与后一帧中的运动(S14)。
接下来，点头检测单元23基于由运动计算单元22检测到的面部的运 动来检测面部的点头即商店员工H2的点头(S15)。接下来，接待质量 评估单元24基于由点头检测单元23检测到的商店员工H2的点头来评估 商店员工H2对顾客H1的接待质量(S16)。接下来，数据处理单元25 生成接待质量评估单元24的评估结果的显示数据以在显示器上显示。输 出单元26在屏幕上显示由数据处理单元25生成的显示数据，并且向上司 H3输出商店员工H2的接待质量的评估结果(S17)。
接下来，背景检测单元10a基于来自摄像机2的运动图像(运动图像 G1)的存在来确定运动图像是否已经结束(S18)。如果运动图像已经结 束(S18：是)，则终止背景检测单元10a的处理。如果运动图像尚未结 束(S18：否)，则背景检测单元10a的处理返回至S1。
(第二实施方式)
图7是说明根据第二实施方式的系统配置的示例的说明图。如图7中 所示，摄像机2在顾客H1和商店员工H2的接待场所处捕获商店员工H2 的图像，并且将捕获的运动图像输出至商店员工H2的终端设备1b。
终端设备1b是信息处理装置例如应用上述检测设备1的智能电话 等，并且从由摄像机2捕获的运动图像检测背景图像。终端设备1b基于 背景图像通过背景差分法检测商店员工H2在顾客接待时的运动，评估商 店员工H2对顾客H1的顾客接待，并且通过振动等向商店员工H2通知评 估结果。由此，商店员工H2可以检查他自己或她自己的顾客接待。
图8是示出根据第二实施方式的系统的功能配置的示例的框图。如图 8中所示，终端设备1b与根据第一实施方式的终端设备1a的不同点在 于：终端设备1b包括背景检测单元10b、振动指令单元27和振动单元 28。
背景检测单元10b中的背景区域确定单元14包括背景度计算单元 14a和背景度调整单元14b。背景度计算单元14a基于根据移动对象区域 追踪单元13的追踪结果得到的其中被追踪的移动对象区域的位置已经移 动的帧的数量来计算移动对象区域的背景度。也就是说，背景度计算单元 14是计算单元的示例。
具体地，背景度计算单元14a基于根据移动对象追踪单元13的追踪 结果获得的直到当前时间具有移动的位置的帧的数量来计算背景度，该背 景度随着具有运动的帧的数量增加而具有较低值。
更具体地，假设从过去至当前时间的帧中具有运动的帧的数量(次 数)是A，背景度计算单元14a基于以下表达式(13)计算背景度 (HD)，该背景度(HD)限定例如最大值1。
[表达式13]
HD＝1/(A+1)...(13)
背景度调整单元14b基于预定阈值调整由背景度计算单元14a计算的 背景度(HD)的大小。例如，背景度调整单元14b将背景度(HD)中的 小于预定下限阈值的权重值视为0，并且将小于下限阈值的背景度 (HD)的大小视为0。背景度调整单元14b将背景度(HD)中的等于或 高于预定上限阈值T10的值视为与阈值T10相同的值。由此，对于等于或 高于上限阈值T10的值，背景度(HD)的大小被固定在阈值T10处。
背景更新单元15将更新背景时的固定值α改变成根据由背景度调整单 元14b调整的背景度(HD)的值。具体地，基于由背景区域确定单元14 确定的背景区域，背景更新单元15将当前时间处的帧中的背景区域中的 每个点的亮度值乘以背景度(HD)的值。接下来，背景更新单元15从背 景保存单元16读取当前时间之前的背景图像，并且与在当前时间处的帧 中的背景区域的亮度值相加。对于背景图像的总和，背景更新单元15将 通过该总和除以通过将1与背景度(HD)相加产生的值而获得的值确定 为直到当前时间的背景图像，并且更新背景保存单元16中的背景图像。
具体地，背景更新单元15通过以下表达式(14)更新被确定为背景 图像(H)中的背景的每个点(x，y)的背景。
[表达式14]
H(t+1，x,y)＝(G(t+1,x,y)×HD+H(t,x,y))/(HD+1)...(14)
以这种方式，背景更新单元15应用基于由移动对象区域追踪单元13 追踪的移动对象区域的位置已经移动的帧的数量的背景度代替固定值α来 更新背景。因此，例如，背景更新单元15可以适当地从背景排除已经移 动了长时间的移动对象。背景更新单元15可以进行更新以将过去在短时 段内具有运动并且被估计成背景的移动对象包括背景中。
背景检测单元10b包括结束确定单元18。结束确定单元18参考保存 在背景保存单元16中的背景图像，并且基于当前时间处与下一时间处的 背景的亮度的相关性确定是否终止对背景的检测。例如，如果根据当前时 间处和下一时间处的背景的亮度的相关性，同一背景图像在运动图像G1 中持续预定时间段，则结束确定单元18确定该背景不必被检测并且终止 对背景的检测。
更具体地，如果当前时间处的背景图像H(t,x,y)与下一时间处的背景 图像H(t+1,x,y)之间的亮度的相关性满足以下表达式(15)的情况持续 预定阈值T12或更长时间，则结束确定单元18确定终止对背景的检测。 阈值T11是预先设置的用于评估同一背景图像是否持续的阈值。
[表达式15]
∑(x,y)∈H|H(t,x,y)-H(t+1,x,y)|＜T11…(15)
背景检测单元10b基于结束确定单元18的确定结果终止对背景的检 测。由此，例如，在运动图像G1中背景不发生变化的时段持续的情况 下，背景检测单元10b可以终止对背景的检测。
振动指令单元27基于接待质量评估单元24的评估结果确定是否将给 予商店员工H2的振动指令发送至振动单元28。例如，如果接待质量评估 单元24的评估值小于预定值的状态持续预定时间段，则振动指令单元27 将给予商店员工H2的振动指令发送至振动单元28。振动单元28基于振 动指令单元27的指令振动并且通过振动通知商店员工H2。由此，商店员 工H2可以识别到作为接待质量评估单元24的评估结果的例如接待质量的 评估值低于预定值的状态持续。
图9A和图9B是示出根据第二实施方式的系统的操作的示例的流程 图。如图9A和图9B中所示，该流程图与根据第一实施方式的流程图的 不同点在于包括S20至S25的处理。
具体地，在S9之后，背景度计算单元14a基于移动对象区域追踪单 元13的追踪结果来计算移动对象区域的背景度(HD)(S20)。接下 来，背景度调整单元14b使用预定阈值调整由背景度计算单元14a计算的 背景度(HD)的大小(S21)。
接下来，背景更新单元15将通过将背景区域中的每个点的亮度乘以 背景度(HD)的值而产生的值确定为背景的亮度，并且更新背景保存单 元16中的背景图像(S22)。
在S11之后，结束确定单元18参考保存在背景保存单元16中的背景 图像，并且确定当前时间处与下一时间处的背景图像的亮度的相关性等于 或高于阈值的情况是否持续一定次数(S23)。
在S16之后，振动指令单元27基于接待质量评估单元24的评估结果 (接待质量)确定是否向振动单元28发送振动指令(S24)。
图10是说明振动指令的确定的说明图。在图10中，水平轴表示时间 轴，并且竖直轴表示曲线图的评估值。如图10中所示，关于接待质量评 估单元24的评估结果中的评估值的曲线图，在评估值低于阈值T9的时段 S持续预定时段的情况下，振动指令单元27向振动单元28发送振动指 令。通过由振动指令引起的振动单元28的振动，商店员工H2可以识别到 例如接待质量的评估值低于阈值T9的状态持续一定时间段。
返回至图9B，如果S18是否定确定(S18：否)，则背景检测单元 10b基于结束确定单元18的确定结果确定是否结束背景检测(背景估 计)(S25)。如果要结束背景检测(S25：是)，则背景检测单元10b的 处理返回至S12。如果不结束背景检测(S25：否)，则背景检测单元10b 的处理返回至S1。
(第三实施方式)
图11是说明根据第三实施方式的系统配置的示例的说明图。如图11 中所示，摄像机2a是能够由上司H3经由终端设备1d操作拍摄方向、放 大/缩小等的摄像机。摄像机2a基于上司H3的操作捕获顾客H1和商店员 工H2的接待场所的图像，并且将捕获的运动图像输出至服务器设备1c。
服务器设备1c是应用检测设备1并且从摄像机2a的运动图像检测背 景图像的信息处理装置。服务器设备1c基于检测到的背景图像通过背景 差分法检测商店员工H2在顾客接待时的运动，评估商店员工H2对顾客 H1的顾客接待，并且通知终端设备1d。终端设备1d向显示器等显示所通 知的顾客接待的评估。终端设备1d接收由上司H3针对客户接待的评估向 商店员工H2给出的指令(反馈)的输入，并且将输入指令反馈回商店员 工H2的终端设备4。
图12是示出根据第三实施方式的系统的功能配置的示例的框图。如 图12中所示，服务器设备1c与根据第一实施方式的终端设备1a的不同 点在于包括背景检测单元10c和图像校正单元29。
背景检测单元10c包括陀螺仪传感器30和用户输入保存单元31。陀 螺仪传感器30是检测摄像机2a在x轴、y轴和z轴方向上的运动的传感 器，并且是运动检测单元的示例。用户输入保存单元31保存由用户(上 司H3)在终端设备1d处给出的输入指令例如摄像机2a的操作指令等。
背景区域确定单元14基于由陀螺仪传感器30检测到的摄像机2a的 运动来校正每一帧中的背景区域中的与摄像机2a的运动有关的位移。具 体地，背景区域确定单元14基于由下一表达式(16)表示的旋转矩阵 Rot来校正与摄像机的运动(以x轴(水平)、y轴(竖直)和z轴(光 学轴)为中心的旋转)有关的旋转位移。在表达式(16)中，假设由陀螺 仪传感器30检测到的摄像机2a的运动中的旋转角度是θx、θy和θz。由 此，背景区域确定单元14可以获得与摄像机2a的运动有关的位移已经被 校正的背景图像。
[表达式16]
Figure BDA0001855543310000161
图像校正单元29基于保存在用户输入保存单元31中的摄像机2a的 操作指令来校正摄像机2a的图像(运动图像G1)。具体地，图像校正单 元29校正运动图像G1以取消由用户执行的放大/缩小。
更具体地，图像校正单元29通过下一表达式(17)计算校正后的运 动图像(G′)，其中由用户执行的放大/缩小的缩放因子是Z。在表达式 (17)中，假设U(x)是抑制x的小数位数的函数。
[表达式17]
G′(t+1，x，y)＝(x/Z-U(x/Z))×(y/Z-U(y/Z))×G(t，U(x/Z)，U(y/Z))
+(1-x/Z+U(x/Z))×(y/Z-U(y/Z))×G(t，U(x/Z)+1，U(y/Z))
+(x/Z-U(x/Z))×(1-y/Z+U(y/Z))×G(t，U(x/Z)，U(y/Z)+1)
+(1-x/Z+U(x/Z))×(1-y/Z+U(y/Z))×G(t，U(x/Z)+1，U(y/Z)+1)…(17)
终端设备1d包括数据处理单元25、输出单元26、用户输入单元 32、摄像机操作输入单元33和反馈单元34。用户输入单元32基于来自 输入设备(图中未示出)例如键盘、鼠标等的输入来接收各种用户输入例 如处理结束、对商店员工H2的反馈的内容等。用户输入单元32向用户输 入保存单元31通知所接收的操作内容。
摄像机操作输入单元33基于来自输入设备(图中未示出)例如键 盘、鼠标等的输入接收关于摄像机2a的操作输入(拍摄方向和放大/缩 小)等。摄像机操作输入单元33向用户输入保存单元31通知所接收的操 作内容。反馈单元34向终端设备4通知已经由用户输入单元32接收到的 对商店员工H2的反馈的内容。
图13A和图13B是示出根据第三实施方式的系统的操作的示例的流 程图。如图13A和图13B中所示，根据第三实施方式的操作与根据第一 实施方式的操作的不同点在于包括S30至S35的处理。
具体地，摄像机操作输入单元33从用户(上司H3)接收放大/缩小 的输入(S30)。由摄像机操作输入单元33接收的放大/缩小的输入内容 被保存在用户输入保存单元31中。
接下来，图像校正单元29基于保存在用户输入保存单元31中的放大 /缩小的输入内容来修改图像(运动图像G1)以取消缩放(S31)。
在S8之后，背景区域确定单元14从陀螺仪传感器30获得摄像机2a 的运动(S32)。接下来，背景区域确定单元14基于由陀螺仪传感器30 检测到的摄像机2a的运动来校正与每一帧中的背景区域的运动有关的摄 像机2a的位移。由此，背景区域确定单元14通过减去摄像机2a的运动 来确定背景要更新的区域(背景区域)(S33)。
在S11之后，用户输入单元32在来自输出单元26的显示器上显示正 在估计的背景即由背景检测单元10c检测到的背景。接下来，用户输入单 元32从用户(上司H3)接收关于背景估计是否已经完成的输入 (S34)。如果存在背景估计完成的输入，则用户输入单元32将背景估计 完成保存在用户输入保存单元31中。如果背景估计完成被保存在用户输 入保存单元31中，则背景检测单元10c终止通过背景检测单元10c进行 的对背景的检测。
在S17之后，反馈单元34向终端设备4通知由用户输入单元32从用 户(上司H3)接收到的对商店员工H2的反馈的内容(S35)。由此，经 由终端设备4向商店员工H2通知从上司H3向商店员工H2给出的指令 (反馈)。
如上所述，检测设备1和终端设备1a、1b和1c包括移动对象区域提 取单元11、移动对象区域追踪单元13、背景区域确定单元14和背景更新 单元15。移动对象区域提取单元11基于输入运动图像的前一帧与后一帧 的比较的结果提取帧中包括的移动对象的移动对象区域。移动对象区域追 踪单元13基于由移动对象区域提取单元11提取的移动对象区域与运动图 像的每一帧之间的相关性来在帧之中追踪移动对象区域的位置。背景区域 确定单元14将运动图像的每一帧中的除了所提取的移动对象区域之外的 图像区域确定为每一帧的背景区域。如果帧中包括已经由移动对象区域追 踪单元13追踪其位置的移动对象区域，则背景区域确定单元14将除了该 移动对象区域之外的图像区域确定为每一帧中的背景区域。背景更新单元 15基于由背景区域确定单元14确定的每一帧中的背景区域来检测运动图 像的每一帧中的背景图像。
因此，例如，如果出现在运动图像中的移动对象处于静止达固定时间 段，则检测设备1和终端设备1a、1b和1c可以抑制对背景图像中的运动 图像的检测。
背景区域确定单元14将除了位置已经移动超过等于或大于阈值T5的 帧数的移动对象区域之外的图像区域确定为背景区域。以这种方式，在其 位置已经被跟追踪的移动对象区域中，除了其位置已经移动达等于或大于 阈值T5的帧数的移动对象区域之外的图像区域被确定为背景区域。因 此，例如，可以抑制随风摇摆达数帧的树枝被视为移动对象区域并被从背 景中排除的情况。
检测设备1和终端设备1a、1b和1c包括保存直到运动图像的预定帧 的前一帧检测到的背景图像的背景保存单元16。背景更新单元15将在预 定帧中确定的背景区域中的像素值乘以预定值(固定值α)，并且将其乘 积与保存在背景保存单元16中的背景图像相加以检测与预定帧对应的背 景图像。由此，在预定帧中确定的用于背景模型的背景区域中，检测设备 1和终端设备1a、1b和1c可以通过与通过将直到预定帧的前一帧的背景 图像乘以即预定值而产生的背景图像(预定帧的背景图像)相加来更新背 景图像。
代替预定值(固定值α)，检测设备1和终端设备1a、1b和1c可以 应用基于其中由移动对象区域追踪单元13追踪的移动对象区域的位置已 经移动的帧的数量的背景度(HD)来更新背景。在这种情况下，可以适 当地从背景排除例如具有长时间段的运动的移动对象。替选地，可以更新 背景以将在过去的短时间段内具有运动并且能够被估计为背景的移动对象 包括在背景中。
附图中示出的每个设备的每个部件不必如附图中所示地进行物理配 置。也就是说，每个设备的分布和集成的具体形式不限于所示的配置，并 且可以根据各种负载、使用状态等将全部或部分配置在功能上或物理上分 布或集成在任何单元中。
可以在CPU(或微型计算机例如MPU、MCU(微控制器单元)等) 上执行由检测设备1、终端设备1a、1b和1d、服务器设备1c等(在下文 中被称为检测设备1作为代表)执行的各种处理功能的全部或任何部分。 不言而喻，可以通过在CPU(或者微型计算机例如MPU、MCU等)上分 析并执行的程序或者通过基于布线逻辑的硬件来执行各种处理功能的全部 或任何部分。可以使用云计算结合多个计算机执行由检测设备1执行的各 种处理功能。
顺便提及，可以通过执行预先设置在计算机上的程序来实现上述实施 方式中描述的各种处理。因此，在下文中，将给出对具有与上述实施方式 的功能相同的功能的计算机(硬件)的示例的描述。图14是示出根据实 施方式的检测设备1的硬件配置的示例的框图。将给出对图14中所示的 硬件配置的示例的描述作为使用作为代表的检测设备1的计算机的示例。 然而，不言而喻，对于终端设备1a、1b和1d以及服务器设备1c等硬件 配置是相同的。
如图14中所示，检测设备1包括执行各种操作处理的CPU 101、接 收数据输入的输入设备102、监视器103和扬声器104。检测设备1包括 从存储介质读取程序等的读取设备105、用于连接各种设备的接口设备 106以及与外部设备具有有线或无线通信连接的通信设备107。检测设备 1包括硬盘设备109以及临时存储各种信息的RAM 108。检测设备1中的 每个单元(101至109)连接至总线110。
硬盘设备109存储用于执行上述实施方式中描述的各种处理的程序 111。硬盘设备109存储由程序111引用的各种数据112。输入设备102例 如从操作者接收操作信息的输入。监视器103显示例如由操作员操作的各 种画面。接口设备106连接至例如打印机等。通信设备107连接至通信网 络例如LAN(局域网)等，并且经由通信网络与外部设备交换各种信 息。
CPU 101读取存储在硬盘设备109中的程序111，将程序加载到 RAM 108中，并且执行程序以执行各种处理。通过执行程序111，CPU 101用作例如背景检测单元10、10a、10b和10c、背景差分处理单元20、 面部检测单元21、运动计算单元22、点头检测单元23、接待质量评估单 元24、数据处理单元25、输出单元26、振动指令单元27、图像校正单元 29、用户输入单元32、摄像机操作输入单元33、反馈单元34等。程序 111可以不存储在硬盘设备109中。例如，检测设备1可以读取存储在可 读存储介质中的程序111并且执行程序111。能够由检测设备1读取的存 储介质由例如便携式记录介质例如CD-ROM、DVD盘、USB(通用串行 总线)存储器等、半导体存储器例如闪存等、硬盘驱动器等支持。程序 111可以存储在连接至公共线路、因特网、LAN等的设备中，并且检测设 备1可以从这些设备读取程序111并执行程序111。

Claims (10)

1.一种信息处理装置，包括：
提取单元，其被配置成基于动态图像中的多个帧彼此之间的比较的结果提取与所述多个帧中包括的移动对象对应的移动对象区域；
追踪单元，其被配置成基于所述移动对象区域和所述动态图像的每个帧之间的相关性在所述多个帧之中追踪所述移动对象区域的位置；
确定单元，其被配置成针对所述多个帧中的每一个将除了其位置移动超过限定时间段的所述移动对象区域之外的图像区域确定为背景区域；以及
更新单元，其被配置成基于所述确定的结果更新所述动态图像的背景图像。
2.根据权利要求1所述的信息处理装置，其中，
所述确定单元将除了所述移动对象区域中的位置移动超过预定帧数的特定移动对象区域之外的图像区域确定为所述背景区域。
3.根据权利要求1所述的信息处理装置，其中，所述信息处理装置还包括：
存储单元，其被配置成存储直到所述动态图像的预定帧的前一帧检测到的背景图像；并且其中，
所述更新单元包括：
乘法单元，其被配置成将针对所述预定帧确定的所述背景区域中的像素值乘以预定值；以及
加法单元，其被配置成将该乘积与所存储的背景图像相加以更新与所述预定帧对应的背景图像。
4.根据权利要求3所述的信息处理装置，其中，所述信息处理装置还包括：
计算单元，其被配置成基于所述移动对象的位置发生变化的帧的数量计算所述移动对象区域的背景度；并且其中，
所述乘法单元将针对所述预定帧确定的所述背景区域中的像素值乘以所计算的背景度；并且
所述加法单元将该乘积与所存储的背景图像相加以更新与所述预定帧对应的背景图像。
5.根据权利要求1所述的信息处理装置，其中，所述信息处理装置还包括：
第一检测单元，其被配置成基于所述背景图像与所述多个帧中的每一个之间的差异检测与所述多个帧中的每一个中包括的移动对象对应的移动对象图像。
6.根据权利要求5所述的信息处理装置，其中，所述信息处理装置还包括：
评估单元，其被配置成基于从所述多个帧中的每一个检测到的所述移动对象图像评估所述移动对象的移动。
7.根据权利要求6所述的信息处理装置，其中，所述信息处理装置还包括：
接收单元，其被配置成接收与捕获所述动态图像的摄像机有关的操作输入；以及
校正单元，其被配置成校正所述动态图像以取消所述操作输入；并且其中，
所述评估单元基于从校正后的动态图像中的多个帧中的每一个检测到的所述移动对象图像评估所述移动对象的运动。
8.根据权利要求6所述的信息处理装置，其中，所述信息处理装置还包括：
第二检测单元，其被配置成对捕获所述动态图像的摄像机的移动进行检测；以及
校正单元，其被配置成基于检测到的所述摄像机的运动来校正所述多个帧中的每一个中的所述背景区域的随着所述摄像机的运动的位移。
9.一种通过计算机执行的背景图像更新方法，所述背景图像更新方法包括：
基于动态图像中的多个帧彼此之间的比较的结果提取与所述多个帧中包括的移动对象对应的移动对象区域；
基于所述移动对象区域和所述动态图像的每个帧之间的相关性在所述多个帧之中追踪所述移动对象区域的位置；
针对所述多个帧中的每一个将除了其位置移动超过限定时间段的所述移动对象区域之外的图像区域确定为背景区域；以及
基于所述确定的结果更新所述动态图像的背景图像。
10.一种存储使计算机执行处理的程序的非暂态计算机可读存储介质，所述处理包括：
基于动态图像中的多个帧彼此之间的比较的结果提取与所述多个帧中包括的移动对象对应的移动对象区域；
基于所述移动对象区域和所述动态图像的每个帧之间的相关性在所述多个帧之中追踪所述移动对象区域的位置；
针对所述多个帧中的每一个将除了其位置移动超过限定时间段的所述移动对象区域之外的图像区域确定为背景区域；以及
基于所述确定的结果更新所述动态图像的背景图像。
CN201811313126.9A 2017-11-10 2018-11-06 信息处理装置、背景图像更新方法和非暂态计算机可读存储介质 Active CN109767453B9 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-217768 2017-11-10
JP2017217768A JP7067023B2 (ja) 2017-11-10 2017-11-10 情報処理装置、背景更新方法および背景更新プログラム

Publications (3)

Publication Number Publication Date
CN109767453A CN109767453A (zh) 2019-05-17
CN109767453B CN109767453B (zh) 2023-04-07
CN109767453B9 true CN109767453B9 (zh) 2023-06-30

Family

ID=64267584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811313126.9A Active CN109767453B9 (zh) 2017-11-10 2018-11-06 信息处理装置、背景图像更新方法和非暂态计算机可读存储介质

Country Status (4)

Country Link
US (1) US10713799B2 (zh)
EP (1) EP3483835B1 (zh)
JP (1) JP7067023B2 (zh)
CN (1) CN109767453B9 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7106282B2 (ja) * 2018-01-30 2022-07-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7079126B2 (ja) * 2018-03-22 2022-06-01 キヤノン株式会社 監視装置、監視システム、制御方法、及びプログラム
JP7169752B2 (ja) * 2018-03-22 2022-11-11 キヤノン株式会社 監視装置、監視システム、制御方法、及びプログラム
JP6525181B1 (ja) * 2018-05-27 2019-06-05 株式会社アジラ 行動推定装置
JP7183085B2 (ja) * 2019-03-14 2022-12-05 株式会社東芝 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置
US10885606B2 (en) * 2019-04-08 2021-01-05 Honeywell International Inc. System and method for anonymizing content to protect privacy
JP2021163303A (ja) * 2020-04-01 2021-10-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284086A (ja) * 1994-04-05 1995-10-27 Nec Corp 背景画像生成方法および装置
JPH08191411A (ja) * 1994-11-08 1996-07-23 Matsushita Electric Ind Co Ltd シーン判別方法および代表画像記録・表示装置
JPH08241414A (ja) * 1995-03-07 1996-09-17 Matsushita Electric Ind Co Ltd 動物体検出・追跡装置と閾値決定装置
JP2004046647A (ja) * 2002-07-12 2004-02-12 Univ Waseda 動画像データに基づく移動物体追跡方法及び装置
JP2005165791A (ja) * 2003-12-03 2005-06-23 Fuji Xerox Co Ltd 対象物の追跡方法及び追跡システム
JP2008219489A (ja) * 2007-03-05 2008-09-18 Nippon Hoso Kyokai <Nhk> 映像オブジェクトの軌跡画像合成装置およびそのプログラム
CN101739689A (zh) * 2009-12-15 2010-06-16 中国科学院长春光学精密机械与物理研究所 动态视频中背景图像的实时提取与更新方法
JP2011009893A (ja) * 2009-06-24 2011-01-13 Nec Corp フォロー対象検出装置、フォロー対象検出方法およびフォロー対象検出プログラム
CN102214303A (zh) * 2010-04-05 2011-10-12 索尼公司 信息处理设备、信息处理方法及程序
JP2014026372A (ja) * 2012-07-25 2014-02-06 Dainippon Printing Co Ltd カメラの撮影視野変動検知装置
JP2015210823A (ja) * 2014-04-25 2015-11-24 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム
JP2016177388A (ja) * 2015-03-18 2016-10-06 株式会社リコー 移動体位置姿勢計測装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0672327A4 (en) * 1992-09-08 1997-10-29 Paul Howard Mayeaux VISION CAMERA AND VIDEO PRETREATMENT SYSTEM.
JP2003123074A (ja) 2001-10-11 2003-04-25 Sanyo Electric Co Ltd 動物体検出装置、動物体検出方法及び動物体検出プログラム
GB2395781A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
US7720283B2 (en) * 2005-12-09 2010-05-18 Microsoft Corporation Background removal in a live video
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
US8244469B2 (en) * 2008-03-16 2012-08-14 Irobot Corporation Collaborative engagement for target identification and tracking
US8311281B2 (en) * 2008-04-09 2012-11-13 Nec Corporation Object detection apparatus
JP4999794B2 (ja) 2008-07-04 2012-08-15 日本電信電話株式会社 静止領域検出方法とその装置、プログラム及び記録媒体
US9025830B2 (en) * 2012-01-20 2015-05-05 Cyberlink Corp. Liveness detection system based on face behavior
JP5832910B2 (ja) 2012-01-26 2015-12-16 セコム株式会社 画像監視装置
CN104364824A (zh) * 2012-06-13 2015-02-18 松下知识产权经营株式会社 物体检测装置
US9412025B2 (en) * 2012-11-28 2016-08-09 Siemens Schweiz Ag Systems and methods to classify moving airplanes in airports
JP6156163B2 (ja) * 2013-06-28 2017-07-05 株式会社Ｊｖｃケンウッド 画像処理装置及び画像処理方法
KR102366521B1 (ko) * 2015-01-19 2022-02-23 한화테크윈 주식회사 이동 물체 탐지 시스템 및 방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284086A (ja) * 1994-04-05 1995-10-27 Nec Corp 背景画像生成方法および装置
JPH08191411A (ja) * 1994-11-08 1996-07-23 Matsushita Electric Ind Co Ltd シーン判別方法および代表画像記録・表示装置
JPH08241414A (ja) * 1995-03-07 1996-09-17 Matsushita Electric Ind Co Ltd 動物体検出・追跡装置と閾値決定装置
JP2004046647A (ja) * 2002-07-12 2004-02-12 Univ Waseda 動画像データに基づく移動物体追跡方法及び装置
JP2005165791A (ja) * 2003-12-03 2005-06-23 Fuji Xerox Co Ltd 対象物の追跡方法及び追跡システム
JP2008219489A (ja) * 2007-03-05 2008-09-18 Nippon Hoso Kyokai <Nhk> 映像オブジェクトの軌跡画像合成装置およびそのプログラム
JP2011009893A (ja) * 2009-06-24 2011-01-13 Nec Corp フォロー対象検出装置、フォロー対象検出方法およびフォロー対象検出プログラム
CN101739689A (zh) * 2009-12-15 2010-06-16 中国科学院长春光学精密机械与物理研究所 动态视频中背景图像的实时提取与更新方法
CN102214303A (zh) * 2010-04-05 2011-10-12 索尼公司 信息处理设备、信息处理方法及程序
JP2014026372A (ja) * 2012-07-25 2014-02-06 Dainippon Printing Co Ltd カメラの撮影視野変動検知装置
JP2015210823A (ja) * 2014-04-25 2015-11-24 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム
JP2016177388A (ja) * 2015-03-18 2016-10-06 株式会社リコー 移動体位置姿勢計測装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Adaptive background mixture models for real-time tracking;Chris Stauffer，W.E.L Grimson;《IEEE》;19991231;全文 *

Also Published As

Publication number Publication date
EP3483835B1 (en) 2021-06-16
US10713799B2 (en) 2020-07-14
EP3483835A1 (en) 2019-05-15
CN109767453A (zh) 2019-05-17
CN109767453B (zh) 2023-04-07
JP7067023B2 (ja) 2022-05-16
JP2019091121A (ja) 2019-06-13
US20190147601A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
CN109767453B9 (zh) 信息处理装置、背景图像更新方法和非暂态计算机可读存储介质
US10380756B2 (en) Video processing system and method for object detection in a sequence of image frames
US11625840B2 (en) Detecting motion in images
CN109711304B (zh) 一种人脸特征点定位方法及装置
CN109791695B (zh) 基于图像块的运动向量确定所述块的方差
US8467575B2 (en) Moving-object detection apparatus, moving-object detection method and moving-object detection program
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
US10115206B2 (en) Detection system, detection method, and program storage medium
US20120128255A1 (en) Part detection apparatus, part detection method, and program
CN106550187A (zh) 用于图像稳定的设备和方法
US8379095B2 (en) Method and apparatus for determining presence of user&#39;s hand tremor or intentional motion
CN111601013B (zh) 用于处理视频帧的方法和装置
US9911061B2 (en) Fast histogram-based object tracking
US10346680B2 (en) Imaging apparatus and control method for determining a posture of an object
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
KR102203884B1 (ko) 촬상 장치 및 제어 방법
WO2023275941A1 (en) Image processing apparatus, feature map generating apparatus, learning model generation apparatus, image processing method, and computer-readable recording medium
CN110300253B (zh) 图像处理装置和方法及存储指令的存储介质
JP2009080623A (ja) 画像処理装置およびそれを搭載した撮像装置
EP3534605B1 (en) Image processing device, image display device, and program
CN114973145A (zh) 一种图像去重方法、装置、设备及可读存储介质
CN117994298A (zh) 图像配准处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CI03 Correction of invention patent

Correction item: Description

Correct: correct

False: error

Number: 14-02

Page: ??

Volume: 39

CI03 Correction of invention patent