CN103688292B - 图像显示装置和图像显示方法 - Google Patents

图像显示装置和图像显示方法 Download PDF

Info

Publication number
CN103688292B
CN103688292B CN201280027875.XA CN201280027875A CN103688292B CN 103688292 B CN103688292 B CN 103688292B CN 201280027875 A CN201280027875 A CN 201280027875A CN 103688292 B CN103688292 B CN 103688292B
Authority
CN
China
Prior art keywords
image
frame
close quarters
object detection
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280027875.XA
Other languages
English (en)
Other versions
CN103688292A (zh
Inventor
藤松健
森冈干夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103688292A publication Critical patent/CN103688292A/zh
Application granted granted Critical
Publication of CN103688292B publication Critical patent/CN103688292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种图像显示装置,能够在拍摄的图像中获得稳定且易于观看的检测框和裁剪出的图像,在拍摄的图像中,存在混合了密集区域和非密集区域的可能性,诸如全向图像。密集区域检测部102通过检测拍摄的图像的移动区域来检测拍摄的图像中的密集区域。对象检测部103通过执行模式匹配来检测拍摄的图像中的目标的图像。检测框形成部110形成环绕由密集区域检测部102所检测出的密集区域的密集区域框以及环绕由对象检测部103所检测出的目标的图像的对象检测框。

Description

图像显示装置和图像显示方法
技术领域
本发明涉及检测由例如监视摄像机获得的拍摄的图像中的人物、以用检测框环绕人物的方式显示人物、并且还裁剪出并显示人物的图像的图像显示装置和图像显示方法。具体地,本发明是有利地适用于其中存在密集区域的拍摄的图像的技术。
背景技术
某些传统视频摄像机,诸如监视摄像机和车载摄像机,具有自动追踪功能,其自动地追踪诸如人物的目标图像。为了自动地追踪对象,有必要检测对象。在对象靠近在一起的密集区域中,检测准确性由于对象靠近带来的阻碍而降低。因此,在密集区域中,自动追踪可能会丢失或者自动追踪的准确性可能显著降低。
专利文献1公开了一种自动追踪装置,其通过相对于难以执行追踪的图像,诸如密集区域的图像,选择非追踪模式,并且拍摄指定的固定面积的图像,来避免不切实际的追踪并且降低了错误追踪的可能性。
引用列表
专利文献
PTL 1:日本专利申请公开No.2007-068008
PTL 2:日本专利申请公开No.2009-110054
PTL 3:日本专利申请公开No.2009-110152
发明内容
技术问题
专利文献1中所描述的技术是采取具有摇摄(pan)、俯仰(tilt)和缩放(zoom)功能的所谓“PTZ摄像机”中的自动追踪的技术。因此,拍照范围有限。例如,当存在正在进行多种不同移动的人时,如果追踪特定人物同时进行摇摄、俯仰和缩放(PZT)操作,则很有可能的是,与特定人物进行不同移动的另一人物将不会在拍照视角中。此外,当采用专利文献1中所描述的技术时,如果人物出现在与密集区域相分开的位置处,则很有可能的是,该人物将落入拍照视角之外。
与之对照,当从由诸如全向摄像机的拍摄广域图像的摄像机获得的图像中检测到目标图像时,所检测到的图像被环绕有检测框并且被追踪,执行电子PTZ且裁剪出所检测的图像,有可能避免上述的特定目标落入视角之外的缺点。
但是,对于由诸如全向摄像机的拍摄广域图像的摄像机获得的图像,和对于包括密集区域的图像,在此之前,关于如何形成检测框以及如何裁剪出图像使得获得稳定且易于观看的图像,还没有进行足够的研究。
考虑到上述情况而构思本发明,并且本发明的目的在于提供一种图像显示装置和图像显示方法,相对于其中有可能混合了密集区域和非密集区域的拍摄的图像,诸如全向图像来说,其能够获得稳定且易于观看的检测框以及裁剪出的图像。
问题的解决方案
根据本发明的图像显示装置的一个方面包括:密集区域检测部,所述密集区域检测部通过检测拍摄的全向图像的移动区域来检测所述全向图像中的密集区域,其中,通过在差值等于或大于阈值时进行确定来检测所述全向图像的所述移动区域,所述差值指示相对于所拍摄的图像的帧间差;对象检测部,所述对象检测部通过执行模式匹配来检测所述拍摄的全向图像中的目标的图像;以及检测框形成部,所述检测框形成部:形成环绕所述密集区域的密集区域框,并且如果所述密集区域框和环绕所述目标的所述图像的对象检测框将不重叠,则形成所述对象检测框,并且,如果所述密集区域框和所述对象检测框将重叠,则不形成所述对象检测框,其中,所述对象检测框当在单一目标和另一目标之间的圆周距离大于预定值时包围每个所述单一目标,并且当在多个目标之间的圆周距离小于或等于预定值时包围所述多个目标。
根据本发明的图像显示装置的一个方面进一步包括图像裁剪部,所述图像裁剪部从所述拍摄的图像中裁剪出被所述密集区域框所环绕的区域的图像以及被所述对象检测框所环绕的区域的图像。
根据本发明的图像显示方法的一个方面包括:密集区域检测步骤,通过检测拍摄的全向图像的移动区域来检测所述全向图像中的密集区域,其中,通过在差值等于或大于阈值时进行确定来检测所述全向图像的所述移动区域,所述差值指示相对于所拍摄的图像的帧间差;对象检测步骤,通过执行模式匹配来检测所述拍摄的全向图像中的目标的图像;以及检测框形成步骤:形成环绕所述密集区域的密集区域框,并且,如果所述密集区域框和环绕所述目标的所述图像的对象检测框将不重叠,则形成所述对象检测框,并且如果所述密集区域框和所述对象检测框将重叠,则不形成所述对象检测框,其中,所述对象检测框当在单一目标和另一目标之间的圆周距离大于预定值时包围每个所述单一目标,并且当在多个目标之间的圆周距离小于或等于预定值时包围所述多个目标。
根据本发明的图像显示方法的一个方面进一步包括图像裁剪步骤,从所述拍摄的图像中裁剪出被所述密集区域框所环绕的区域的图像以及被所述对象检测框所环绕的区域的图像。
发明的有利效果
根据本发明,通过执行分别适合于密集检测和对象检测的不同方法形成检测框(密集区域框和对象检测框),能够获得稳定且易于观看的检测框和裁剪出的图像。
附图说明
[图1]图1是示出根据本发明实施例的图像显示装置的配置的框图。
[图2]图2包括用来描述由距离计算部执行的距离计算处理的图,其中,图2A是示出全向图像上距离d1和全景图像上圆周方向上的距离d2的图,图2B是示出全景图像上圆周方向上的距离d2和全景图像上径向上的距离d3的图。
[图3]图3是用来描述由图像显示装置执行的形成检测框的操作的流程图。
[图4]图4包括示出由检测框形成部形成的检测框的示例的图。
[图5]图5包括示出由检测框形成部形成的检测框的示例的图,尤其是示出其中存在移动人物情况下的示例的图。
[图6]图6包括图示根据实施例的图像显示装置的第一显示图像示例的图。
[图7]图7包括图示根据实施例的图像显示装置的第二显示图像示例的图。
[图8]图8包括图示根据实施例的图像显示装置的第三显示图像示例的图。
[图9]图9包括图示根据实施例的图像显示装置的第四显示图像示例的图。
具体实施方式
下面参考附图来详细描述本发明的实施例。
尽管在下面的实施例中,主要描述的是其中目标图像为人物图像的示例,但目标图像不限于人物图像。目标图像可以是例如车辆或其他对象的图像。
图1示出了根据本实施例的图像显示装置的配置。在图像显示装置100中,由全向摄像机获得的全向图像被输入到图像输入部101中。在此,输入到图像输入部101中的图像不限于全向图像,并且图像是由广角视频摄像机所获得的拍摄的图像就足够了。图像输入部101将所输入的拍摄的图像输出到密集区域检测部102和对象检测部103。
密集区域检测部102通过检测拍摄的图像的移动区域来检测拍摄的图像中的密集区域。密集区域检测部102具有移动信息计算部104和密集区域确定部105。移动信息计算部104对所输入的拍摄的图像计算帧间差,确定其中差值等于或大于阈值的区域作为前景区域(换句话说,移动区域)。移动信息计算部104将所确定的前景区域的信息(移动区域信息)输出到密集区域确定部105。
密集区域确定部105对前景区域的信息执行聚类,并且确定其中前景区域面积等于或大于阈值的区域为密集区域。例如,在专利文献2和3中也描述了这样使用移动信息来确定密集区域的方法。在此情况下,当拍摄的图像是全向图像时,优选地,用来确定密集区域的阈值根据到全向图像中心的距离而变化。更具体地说,通常,在全向图像的情况下,当拍摄具有相同面积的对象的图像时,对象被拍摄为尺寸根据与图像中心的接近程度而增加的区域,并且因此,阈值优选地被设置为根据与图像中心的接近程度而增加的值。由此,有可能对所有区域以相同方式执行密集度估计。密集区域确定部105将有关确定的密集区域的信息输出到检测框形成部110。
对象检测部103通过执行模式匹配来检测拍摄的图像中的目标的图像。在根据本实施例的情况下,由于目标是人物,对象检测部103通过执行预先准备的人物模式和拍摄的图像之间的模式识别处理来检测拍摄的图像中的人物。对象检测部103将检测到的人物在图像上的位置信息输出到对象位置存储部106、移动方向计算部107、和距离计算部108。
移动方向计算部107计算由对象检测部103所检测到的每个人物的移动方向。更具体地说,对于每个人物,移动方向计算部107基于存储在对象位置存储部106中的过去的位置和新输入的当前位置来计算移动方向。移动方向计算部107将计算出的每个人物的移动方向输出到检测框形成部110。
距离计算部108计算由对象检测部103所检测出的每个人物之间的距离。距离计算部108例如通过下述i)到iii)中描述的任意一种方法来计算图2中所示的距离d1、d2或d3。更具体地说,所计算出的距离可以是距离d1、距离d2或距离d3。
i)距离计算部108计算全向图像上的距离d1,如图2A所示。ii)距离计算部108计算全景图像上的圆周方向上的距离d2,如图2A和图2B所示。iii)距离计算部108计算全景图像上的径向上的距离d3,如图2B所示。
距离计算部108将计算出的距离d1、d2或d3输出到检测框形成部110。
检测框形成部110形成密集区域框,其环绕由密集区域检测部102所检测到的密集区域,并且形成对象检测框,其环绕由对象检测部103所检测到的人物的图像。
检测框形成部110首先对密集区域和检测到的人物分组。在此时,密集区域被视为单一组(相同组)。此外,在检测到人物的情况下,相互间距离小于阈值的检测到的人物被视为相同组。检测框形成部110形成分别环绕相同组的框,作为检测框。也就是说,环绕密集区域的检测框被形成为密集区域框,而环绕相互间距离小于阈值的检测到的人物的框被形成为对象检测框。
在此情况下,检测框形成部110对密集区域和所检测到的人物进行分组的组的数目(换句话说,所形成的框的数目)不大于最大显示数目保持部111所保持的组的数目。也就是说,当由最大显示数目保持部111所保持的组的数目例如为3时,组的最大数目(框的最大数目)为3。在此,由最大显示数目保持部111所保持的信息不限于组的最大数目(框的最大数目),例如还可以是最大框尺寸。
检测框形成部110根据下面的规则来执行分组和检测框的形成。
a)当存在由密集区域检测部102检测到的密集区域时,通过相比于由对象检测部103所检测到的人物以更高优先级将检测框分配给密集区域,来形成密集区域框。
b)相对于由对象检测部103所检测到的人物,形成对象检测框,同时基于检测到的人物之间的距离来对所检测到的人物进行分组。
c)在由对象检测部103所检测到的人物图像中,为密集区域框之外的人物的图像形成对象检测框。换句话说,不形成包含在密集区域框内的对象检测框。
d)将在密集区域方向上移动的人物包括在与密集区域相同的检测框内。可替换地,如果存在在密集区域方向上移动的人物,则通过在移动人物的方向上逐渐地放大密集区域的检测框的尺寸,来逐渐地将该移动人物包括在与密集区域相同的检测框中。
框形成部110被配置为如在上述a)和c)中以超越对象检测框的优先级形成密集区域框的原因在于,当借助于对象检测部执行使用模式匹配的人物检测时,密集区域中的检测变得不稳定。换句话说,对于密集区域,通过形成密集区域框而不执行检测不稳定的单独追踪(即,不形成单独追踪框),有可能执行稳定且易于观看的检测框的形成以及裁剪出图像。
而且,通过利用上面b)中所述的规则,有可能抑制对象检测框的数目的不必要的增加,从而能够获得易于观看的对象检测框和裁剪出的图像。
此外,通过利用上面d)中所述的规则,当沿着密集区域框裁剪图像时,能够获得其中密集区域和移动人物之间的位置关系易于理解的裁剪出的图像。
在此,检测框的尺寸可以根据检测框的数目等而变化,或者检测框的尺寸可以固定。检测框形成部110将有关已经形成的检测框的信息输出到图像裁剪部112。
图像裁剪部112沿着检测框裁剪图像。因此,获得了由检测框所环绕的每一区域的裁剪出的图像。图像裁剪部112将每一裁剪出的图像输出到变形校正部113。
变形校正部113对每一裁剪出的图像进行变形校正处理,并且将经过了变形校正的裁剪出的图像输出到图像输出部114。更具体地说,从全向图像裁剪出的图像以图像的尺寸根据与全向图像中心的接近程度而增加的方式被拍照,因此变形校正部113执行以根据其与周边的接近程度而放大图像同时插入像素的变形校正处理。
图像输出部114执行调整经过变形校正处理的裁剪出的图像的定向的处理,以及调整裁剪出的图像在屏幕上的排列的处理等,并且将经过这样的处理的图像输出到监视器。
图3是用来描述由图像显示装置100执行的形成检测框的操作的流程图。
在图像显示装置100中,在步骤ST1开始处理之后,在步骤ST2,密集区域确定部105确定密集区域,在步骤ST3,对象检测部103检测人物。接着,在步骤ST4,检测框形成部110基于密集区域信息和有关人物间距离的信息来执行分组。在步骤ST5,检测框形成部110形成检测框。随后,在步骤ST6,检测框形成部110确定每个所检测出的人物是否正在移动,并且如果确定所检测出的人物正在移动,则操作转到步骤ST7,在此步骤,在移动人物的方向上放大密集区域的检测框的尺寸。在步骤ST8,图像显示装置100结束处理以形成检测框。
接下来,使用图4和图5来描述由检测框形成部110形成的检测框。图4图示了不存在移动人物的情况下的示例。图5图示了存在移动人物的情况下的示例。在此,在图4和图5中所图示的示例中,假定如图2A和图2B中所述的全景图像上的圆周方向上的距离d2被用作人物之间的距离。而且,假定由最大显示数目保持部111所保持的组的数目(即,框的最大数目)为3。
图4A显示了三人之间距离全都等于或大于预定值的示例。在此情况下,每个人被分组到分开的组中,并且被分开的检测框(对象检测框)所环绕。
图4B示出了两人之间距离小于预定值且上述两人与另外一人的距离等于或大于预定值的示例。在此情况下,两个人被分组到相同的组中,并且被相同检测框所环绕。另外那人被分组到分开的组中,且被分开的检测框所环绕。图4C示出了类似于图4B的执行分组为两人的组和一人的组的示例。在图4C中,虽然如图2A中所示的全向图像上的距离d1小,但是如图2A和图2B中所示的全景图像上的圆周方向上的距离d2等于或大于预定值,因此一个人被分组到与另两个人分开的组中。
图4D示出了存在密集区域和非密集区域的混合的情况的示例。密集区域被确定为相同的组并被以高于其他区域的优先级的检测框所环绕。对于在密集区域以外的区域中检测到的人,两个人之间的距离小于预定值,且上述两个人到另外一人的距离大于或等于预定值。因此,那两个人被分组到相同的组中且被相同检测框所环绕,而另外一人被分组到分开的组中且被分开的检测框所环绕。
接下来,使用图5来描述存在密集区域和移动人物的示例。如图5A中所示,密集区域被密集区域框所环绕,在密集区域之外的区域中检测到的人被对象检测框所环绕。在此情况下,如箭头所示,一个人物正在接近密集区域的方向上移动。此时,如图5B所示,在该接近人物的方向上,密集区域框被放大。适当时,如图5C所示,移动人物进入密集区域框。如图5D所示,当移动人物的对象检测框完全包含在密集区域框中时,移动人物的对象检测框被清除。更具体地说,对移动人物的追踪结束。
接下来,描述由本实施例的图像显示装置100所获得的显示图像的示例。对于下面所述的显示图像示例,假定采用这样的配置:屏幕被分割为四部分,全向图像显示在这样分割的屏幕的左上部分,裁剪出的图像被显示在分割屏幕的其他三部分中。
<第一显示图像示例>
图6图示了第一显示图像示例。在全向图像中显示检测框。在此情况下,例如,以不同颜色来显示密集区域框和对象检测框,使得它们彼此可以区分。在图中,为方便起见,用实线示出对象检测框而用虚线示出密集区域框。在此,由于对象检测框伴随对象的移动而移动,对象检测框也可以被称为“追踪框”。
图6A、图6B、图6C、图6D和图6E以按次序顺序变化的时间序列来示出框图像。
在图6A和图6B中,对象检测部103检测到三个人,形成三个对象检测框,显示三个裁剪出的图像。
与之对照,在图6C所示的状态中,检测到密集区域,形成密集区域框,密集区域框中所包含的图像被显示为裁剪出的图像。
在图6D所示的状态中,在非密集区域中出现人物,形成环绕该人物的新对象检测框,检测框中包含的图像被显示为裁剪出的图像。
在图6E所示的状态中,一个人物从密集区域移动到非密集区域,对象检测部103检测到该人物,形成环绕该人物的新对象检测框,检测框中包含的图像被显示为裁剪出的图像。
<第二显示图像示例>
图7图示了第二显示图像示例。图7中所图示的显示图像示例是存在在密集区域方向上移动的人物的示例。
在图7A所示的状态中,检测到密集区域,形成密集区域框,密集区域框中所包含的图像被裁剪出并被显示。在图7B所示的状态中,在非密集区域中出现人物,形成环绕该人物的新对象检测框,对象检测框中所包含的图像被显示为裁剪出的图像。
在图7C和图7D所示的状态中,检测到非密集区域中的人物正在密集区域的方向上移动,因此密集区域框在移动人物的方向上被放大。结果,如根据图7C和图7D中分割屏幕的右上部分所能理解的,由于移动人物显示在密集区域的图像的角落里,可以执行图像显示,其中密集区域和移动人物之间的位置关系易于理解。
图7E显示了移动人物完全进入到密集区域框中的状态(现实中,移动人物的对象检测框完全进入到密集区域框的状态)。在此状态下,结束对移动人物的对象检测框的显示,同时也结束对该人物的分开裁剪出的图像的显示。
图7F和图7G显示了在密集区域框内部的人物移动离开密集区域框的状态。如图7F所示,当密集区域和移动人物之间的距离(该距离可以由检测框形成部110来计算)小于预定值时,通过在移动人物的方向上放大密集区域框,使得移动人物出现在密集区域的裁剪出的图像中。适当时,当密集区域和移动人物之间的距离变得大于或等于预定值时,如图7G所示,在密集区域框的扩张结束时形成移动人物的对象检测框,密集区域和移动人物被完全相互独立地裁剪出来并且被显示。
<第三显示图像示例>
图8图示了第三显示图像示例。如图8C或图8H所示,该显示图像示例是在存在接近密集区域或移动离开密集区域的移动人物的情况下,显示与移动人物的移动相一致进行移动的窗的示例。移动人物的图像被裁剪出并在窗中显示。
更具体地说,当存在正在密集区域方向上移动的人物时,如图8C所示,示出该人物的裁剪出的图像的窗被显示在监视器上。此时,窗的位置被设置为使得窗与被裁剪并显示在分割屏幕的一个部分中的密集区域图像之间的位置关系与在实际空间中密集区域和该移动人物之间的位置关系相同。而且,指示移动人物的移动方向的箭头被显示在窗附近。因此,能够一眼就识别出移动人物接近密集区域的方式。
与之对照,当存在移动离开密集区域的人物时,如图8H所示,示出该人物的裁剪出的图像的窗被显示在监视器上。而且,指示移动人物的移动方向的箭头被显示在窗附近。因此,能够一眼就识别出移动人物移动离开密集区域的方式。
图像输出部114可以在这样的情况下执行窗显示处理。
在该示例中,在图8C和图8H以外的图中,即图8A、图8B、图8D、图8E、图8F、图8G和图8I中的显示状态大致与上面图7中所述的显示状态相同,因此在此省略对其的描述。
<第四显示图像示例>
图9图示了第四显示图像示例。根据该显示图像示例,当在全向图像中出现新人物时,如图9C所示,在监视器上显示通过裁剪人物图像而获得的窗。此时,窗的位置被设置为使得窗和已正在被显示的裁剪出的图像(在图9C所示的示例中,是被裁剪并显示在分割屏幕的一个部分中的密集区域图像)之间的位置关系与在实际空间中的位置关系相同。而且,新出现的人物和窗被关联,例如使用如图9C中所示的箭头。因此易于辨别窗图像对应于哪个人物。通过采用该配置,有可能实现易于观看的显示,并由此理解全向图像和裁剪出的图像之间的对应。
<有益效果>
如上所述,根据本实施例,图像显示装置100包括:密集区域检测部102,其通过检测拍摄的图像的移动区域来检测拍摄的图像中的密集区域;对象检测部103,其通过执行模式匹配来检测拍摄的图像中的目标的图像;和检测框形成部110,其形成环绕由密集区域检测部102所检测到的密集区域的密集区域框以及环绕由对象检测部103所检测出的目标的图像的对象检测框。
因此有可能执行处理,使得对于密集区域以外的对象,由于通过对象检测部103获得高检测准确度,基于由对象检测部103获取的检测结果来获得对象检测框和裁剪出的图像,而另一方面,对于密集区域中的对象,由于没有通过对象检测部103获得高检测准确度,基于由密集区域检测部102所获取的检测结果来获得密集区域框和裁剪出的图像。结果,有可能执行对稳定且易于观看的检测框的形成并对图像进行裁剪。
也就是说,对于有可能混合了人物密集区域和非密集区域的拍摄的图像,例如全向图像,能够稳定地显示非密集区域中的对象检测框(追踪框),同时避免密集区域中对象检测框(追踪框)的不稳定显示。更具体地说,对于密集区域,有可能通过停止显示对象检测框(追踪框)转而显示通过与用于检测对象检测框的方法不同的方法检测到的密集区域框,来显示稳定且易于观看的检测框。此外,由于基于该种稳定检测框执行对图像的裁剪,有可能对裁剪出的图像执行稳定的显示。
在此,前面实施例的图像显示装置100能够由诸如包括存储器和CPU的个人电脑的计算机来构建。而且,构成图像显示装置100的每一配置元素的功能能够通过CPU读取和执行存储在存储器上的计算机程序来实现。
2011年6月7日提交的日本专利申请公开No.2011-127186,包括说明书、附图和摘要,在此都通过引用而完整地并入本文。
工业适用性
本发明适合于下述的情况:例如,对于通过全向摄像机获得的全向图像,形成并显示目标的检测框,并且显示目标的裁剪出的图像。
附图标记列表
100 图像显示装置
102 密集区域检测部
103 对象检测部
104 移动信息计算部
105 密集区域确定部
107 移动方向计算部
108 距离计算部
110 检测框形成部
112 图像裁剪部

Claims (12)

1.一种图像显示装置,包括:
密集区域检测部,所述密集区域检测部通过检测拍摄的全向图像的移动区域来检测所述全向图像中的密集区域,其中,通过在差值等于或大于阈值时进行确定来检测所述全向图像的所述移动区域,所述差值指示相对于所拍摄的图像的帧间差;
对象检测部,所述对象检测部通过执行模式匹配来检测所述拍摄的全向图像中的目标的图像;以及
检测框形成部,所述检测框形成部:
形成环绕所述密集区域的密集区域框,和
如果所述密集区域框和环绕所述目标的所述图像的对象检测框将不重叠,则形成所述对象检测框,并且
如果所述密集区域框和所述对象检测框将重叠,则不形成所述对象检测框,
其中,所述对象检测框当在单一目标和另一目标之间的圆周距离大于预定值时包围每个所述单一目标,并且当在多个目标之间的圆周距离小于或等于预定值时包围所述多个目标。
2.根据权利要求1所述的图像显示装置,进一步包括图像裁剪部,所述图像裁剪部从所述拍摄的全向图像中裁剪出被所述密集区域框所环绕的区域的图像以及被所述对象检测框所环绕的区域的图像。
3.根据权利要求1和2之一所述的图像显示装置,其中,基于以帧间差值为基础所检测出的移动区域,所述密集区域检测部将其中所述移动区域的面积大于或等于阈值的区域确定为所述密集区域。
4.根据权利要求1所述的图像显示装置,其中,所述检测框形成部以超越所述对象检测框的优先级形成所述密集区域框。
5.根据权利要求1所述的图像显示装置,其中,在由所述对象检测部所检测出的所述目标的所述图像中,所述检测框形成部对于存在于所述密集区域框之外的所述目标的所述图像形成所述对象检测框。
6.根据权利要求1所述的图像显示装置,其中,所述检测框形成部不形成被包含在所述密集区域框中的所述对象检测框。
7.根据权利要求1所述的图像显示装置,进一步包括移动方向计算部,所述移动方向计算部基于由所述对象检测部所获得的检测结果来计算所述目标的移动方向,其中,当由所述对象检测部所检测出的所述目标的移动方向是接近所述密集区域的方向时,所述检测框形成部在所述目标的方向上放大所述密集区域框。
8.根据权利要求1所述的图像显示装置,进一步包括距离计算部,所述距离计算部基于由所述对象检测部所获得的检测结果来计算目标之间的距离,其中,在由所述对象检测部所检测出的目标的图像中,所述检测框形成部以相同的对象检测框来环绕所述目标之间的距离小于或等于阈值的目标的图像。
9.根据权利要求1所述的图像显示装置,其中,所述图像显示装置将屏幕分割成多个部分,并且在分割的屏幕的每个部分中显示所述拍摄的全向图像、由所述密集区域框所环绕的图像和由所述对象检测框所环绕的图像,其中,当存在于所述拍摄的全向图像中并且由所述对象检测框所环绕的目标在存在于所述拍摄的全向图像中并且由所述密集区域框所环绕的目标的方向上移动时,所述图像显示装置显示裁剪出存在于所述对象检测框中的目标的窗。
10.根据权利要求1所述的图像显示装置,其中,所述图像显示装置将屏幕分割成多个部分,并且在分割的屏幕的每个部分中显示所拍摄的图像、由所述密集区域框所环绕的图像和由所述对象检测框所环绕的图像,其中,当存在于所拍摄的图像中并且由所述密集区域框所环绕的目标移动离开所拍摄的图像中的所述密集区域时,所述图像显示装置显示裁剪出存在于所述密集区域中的目标的窗。
11.一种图像显示方法,包括:
密集区域检测步骤,通过检测拍摄的全向图像的移动区域来检测所述全向图像中的密集区域,其中,通过在差值等于或大于阈值时进行确定来检测所述全向图像的所述移动区域,所述差值指示相对于所拍摄的图像的帧间差;
对象检测步骤,通过执行模式匹配来检测所述拍摄的全向图像中的目标的图像;以及
检测框形成步骤:
形成环绕所述密集区域的密集区域框,和
如果所述密集区域框和环绕所述目标的所述图像的对象检测框将不重叠,则形成所述对象检测框,并且
如果所述密集区域框和所述对象检测框将重叠,则不形成所述对象检测框,
其中,所述对象检测框当在单一目标和另一目标之间的圆周距离大于预定值时包围每个所述单一目标,并且当在多个目标之间的圆周距离小于或等于预定值时包围所述多个目标。
12.根据权利要求11所述的图像显示方法,进一步包括图像裁剪步骤,从所拍摄的图像中裁剪出被所述密集区域框所环绕的区域的图像以及被所述对象检测框所环绕的区域的图像。
CN201280027875.XA 2011-06-07 2012-05-30 图像显示装置和图像显示方法 Active CN103688292B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-127186 2011-06-07
JP2011127186A JP5810296B2 (ja) 2011-06-07 2011-06-07 画像表示装置及び画像表示方法
PCT/JP2012/003534 WO2012169149A1 (en) 2011-06-07 2012-05-30 Image display apparatus and image display method

Publications (2)

Publication Number Publication Date
CN103688292A CN103688292A (zh) 2014-03-26
CN103688292B true CN103688292B (zh) 2017-06-23

Family

ID=46229898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280027875.XA Active CN103688292B (zh) 2011-06-07 2012-05-30 图像显示装置和图像显示方法

Country Status (5)

Country Link
US (1) US9600732B2 (zh)
EP (1) EP2718898A1 (zh)
JP (1) JP5810296B2 (zh)
CN (1) CN103688292B (zh)
WO (1) WO2012169149A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5991647B2 (ja) * 2013-03-28 2016-09-14 株式会社デンソー 車両用周辺監視制御装置
JP2014220724A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP6032163B2 (ja) * 2013-09-11 2016-11-24 トヨタ自動車株式会社 三次元物体認識装置、三次元物体認識方法、及び移動体
JP6696422B2 (ja) 2014-06-27 2020-05-20 日本電気株式会社 異常検知装置及び異常検知方法
JP6280020B2 (ja) * 2014-10-28 2018-02-14 セコム株式会社 移動物体追跡装置
EP3285476A4 (en) 2015-04-14 2018-09-19 Sony Corporation Image processing device, image processing method, and image processing system
JP2017038742A (ja) * 2015-08-18 2017-02-23 株式会社ユニバーサルエンターテインメント 情報処理装置
EP3185206B1 (en) * 2015-12-22 2018-09-26 Thomson Licensing Methods and systems for image processing of digital images
CN109313805A (zh) * 2016-06-22 2019-02-05 索尼公司 图像处理装置、图像处理系统、图像处理方法和程序
KR20180042777A (ko) * 2016-10-18 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
EP3496100A1 (en) * 2017-12-08 2019-06-12 Nokia Technologies Oy Method and apparatus for applying video viewing behavior
JP7188067B2 (ja) * 2018-12-27 2022-12-13 オムロン株式会社 人検出装置および人検出方法
CN112437249B (zh) * 2019-08-26 2023-02-07 杭州海康威视数字技术股份有限公司 一种人员跟踪方法及一种人员跟踪系统
TWI749365B (zh) * 2019-09-06 2021-12-11 瑞昱半導體股份有限公司 移動影像整合方法及移動影像整合系統
CN112511764A (zh) * 2019-09-16 2021-03-16 瑞昱半导体股份有限公司 移动图像整合方法及移动图像整合系统
CN111314660A (zh) * 2020-02-25 2020-06-19 四川新视创伟超高清科技有限公司 应用于超高清视频切画的视频信号处理方法及系统
CN111343393A (zh) * 2020-02-25 2020-06-26 四川新视创伟超高清科技有限公司 超高清视频切画方法
CN111311645A (zh) * 2020-02-25 2020-06-19 四川新视创伟超高清科技有限公司 超高清视频切画目标跟踪识别方法
CN111327841A (zh) * 2020-02-25 2020-06-23 四川新视创伟超高清科技有限公司 基于x86架构的超高清视频切画方法及其系统
WO2022004302A1 (ja) * 2020-06-30 2022-01-06 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2022139871A (ja) * 2021-03-12 2022-09-26 大日本印刷株式会社 撮影システム
WO2022264551A1 (ja) * 2021-06-18 2022-12-22 パナソニックIpマネジメント株式会社 通知システム、通知方法、プログラム及び管理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007174A (ja) * 2002-05-31 2004-01-08 Toshiba Corp 画像処理システム、画像処理方法、画像処理プログラム
JP4594197B2 (ja) 2005-09-01 2010-12-08 パナソニック株式会社 自動追尾装置
JP2007311860A (ja) * 2006-05-16 2007-11-29 Opt Kk 画像処理装置、カメラ装置および画像処理方法
JP4624396B2 (ja) 2007-10-26 2011-02-02 パナソニック株式会社 状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラム
JP4966820B2 (ja) 2007-10-29 2012-07-04 パナソニック株式会社 混雑推定装置および方法
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
JP5213639B2 (ja) * 2008-10-26 2013-06-19 三洋電機株式会社 画像処理装置
JP4715909B2 (ja) * 2008-12-04 2011-07-06 ソニー株式会社 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
US8494553B2 (en) * 2011-01-11 2013-07-23 Qualcomm Incorporated Position determination using horizontal angles

Also Published As

Publication number Publication date
JP5810296B2 (ja) 2015-11-11
EP2718898A1 (en) 2014-04-16
CN103688292A (zh) 2014-03-26
US20140098996A1 (en) 2014-04-10
JP2012253723A (ja) 2012-12-20
WO2012169149A1 (en) 2012-12-13
US9600732B2 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
CN103688292B (zh) 图像显示装置和图像显示方法
US9898829B2 (en) Monitoring apparatus and system using 3D information of images and monitoring method using the same
JP5472506B2 (ja) 複数の移動対象物の追跡撮影システム及び撮影制御方法
GB2557465A (en) Method for calibrating a camera and calibration system
JP2006229322A (ja) 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
CN101540052B (zh) 图像信号处理器和图像信号处理方法
TW201142756A (en) Image processing device, image processing method and program
JP6460700B2 (ja) トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム
JP2008117305A (ja) 画像処理装置
EP3629570A2 (en) Image capturing apparatus and image recording method
US11410459B2 (en) Face detection and recognition method using light field camera system
JP2006311578A (ja) 映像監視システム
JP5111934B2 (ja) 監視装置
WO2020174916A1 (ja) 撮影システム
JP2007195141A (ja) 画像速度算出装置及び画像速度算出方法
CN109785562A (zh) 一种立式光电地面威胁警戒系统及可疑目标识别方法
JP2004364212A (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
WO2003021967A2 (en) Image fusion systems
JP2002027449A (ja) 移動物体識別方法および移動物体識別装置
JP7176429B2 (ja) ガス漏れ位置特定システム及びガス漏れ位置特定プログラム
KR20140134505A (ko) 영상 객체 추적 방법
JP2009116686A (ja) 撮像対象検出装置および方法
JP4812099B2 (ja) カメラ位置検出方法
JP2017011598A (ja) 監視システム
JP2005167604A (ja) 映像監視システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant