CN102783142B - 图像显示装置和图像显示方法 - Google Patents

图像显示装置和图像显示方法 Download PDF

Info

Publication number
CN102783142B
CN102783142B CN201080065182.0A CN201080065182A CN102783142B CN 102783142 B CN102783142 B CN 102783142B CN 201080065182 A CN201080065182 A CN 201080065182A CN 102783142 B CN102783142 B CN 102783142B
Authority
CN
China
Prior art keywords
image
mobile object
upward direction
unit
cut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080065182.0A
Other languages
English (en)
Other versions
CN102783142A (zh
Inventor
藤井博文
横光澄男
藤松健
渡边伟志
松本裕
松本裕一
三轮道雄
杉浦雅贵
森冈干夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN102783142A publication Critical patent/CN102783142A/zh
Application granted granted Critical
Publication of CN102783142B publication Critical patent/CN102783142B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供了图像显示装置和图像显示方法，其中当全方位摄像机追踪经过全方位摄像机下方附近的移动物体时，包含移动物体的切取图像的旋转角度被抑制，并且当移动物体经过全方位摄像机下方时，切取图像不垂直翻转，由此总是能够易于观看图像显示。从移动物体的当前位置预测随后的位置，所预测的移动位置的坐标被变换成实空间平面上的坐标，且基于实空间平面上的坐标来计算图像方向上的旋转速度，当所计算的旋转速度中的最高旋转速度等于或大于预定阈值时，修正用于设定切取图像的向上方向的切取参数，且使用修正后的切取参数从全方位图像切取包含移动物体的图像并显示。换言之，当从全方位图像切取包含移动物体的图像时，在调整旋转速度之后切取图像。

Description

图像显示装置和图像显示方法
技术领域
本发明涉及图像显示装置和图像显示方法，其适合在使用获取360度全方位图像的全方位摄像机的安保摄像机系统中使用。
背景技术
迄今为止，已提出获取360度全方位图像，并且从所获取的全方位图像中提取所期望的图像以生成并显示新图像。例如，专利文献1中所公开的“图像生成装置和系统”设定由一个或多个摄像机所获取的周围图像的中心方位和视场角，并且从所获取的周围图像的全部或一部分中提取以所设定的中心方位为中心位置且位于与所设定的视场角对应的范围内的图像，以生成全景图像。
此外，迄今为止，已提出从顺次拍摄的拍摄图像中切取所期望的图像，且将其放大并显示。例如，专利文献2中所公开的“图像处理装置、摄像装置和图像处理方法”从通过顺次拍摄所获得的拍摄图像中检测由物体的变化而导致的拍摄图像的移动部分，切取包含所检测的移动部分的拍摄图像的区域，对所切取的移动区域图像进行对于由拍摄透镜而导致的畸变的修正处理以及放大所切取的移动区域图像的放大处理，并生成被修正的放大图像。
顺便提及，当全方位摄像机安装成使得其光轴正好向下延伸、借助来自由摄像机所获得的全方位图像的差分信息来检测目标图像（例如，人物图像）并且图像被切成以所检测的目标图像为中心的给定矩形形状时，从全方位图像的中心向外的方向匹配切取图像的向上方向。图16中示出了该配置的略图。在该图中，由附图标记100所指示的点表示图像中心，且由附图标记110所指示的图像为切取图像。此外，由附图标记120所指示的箭头为切取图像的向上方向。此外，图16仅示出了代表矩形切取图像110的框，省略了全方位图像（由圆圈130所指示的部分表示全方位图像）。
现有技术文献
专利文献
专利文献1：JP-A-2006-211105
专利文献2：JP-A-2007-311860
发明内容
本发明要解决的问题
然而，当图像被切取使得从图像中心向外的方向匹配切取图像的向上方向、且如图17所示摄像机追踪在摄像机下方附近经过的移动物体（未示出，例如，“人物”）时，每个包含该移动物体的切取图像随之变化而旋转，导致图像难以观看的问题。此外，如图18所示，所切取的中心一经过摄像机下方，切取图像就倒转，同样地，导致图像难以观看的问题。当图像被切取使得从图像中心的向外方向匹配切取图像的向上方向时，出现经过摄像机下方附近的移动物体的切取图像难以观看的问题。
鉴于上述情况而做出本发明，并且本发明的目的是要提供图像显示装置和图像显示方法，其中，当全方位摄像机追踪经过全方位摄像机下方附近的移动物体时，每个包含移动物体的切取图像的旋转变化受到抑制，并且当移动物体经过全方位摄像机下方时，切取图像不垂直翻转，由此总是能够获得易于观看的图像显示。
用于解决问题的方法
本发明的图像显示装置被配置为切取并显示全方位图像内的移动物体，并且所述图像显示装置包括：移动物体位置获取单元，被配置为获取所述全方位图像内的所述移动物体的位置；确定单元，被配置为确定是否修正切取图像的向上方向；参数修正单元，被配置为当所述确定单元确定要修正所述切取图像的所述向上方向时修正切取参数；切取单元，被配置为基于由所述参数修正单元所修正的所述切取参数来从所述全方位图像之中切取包含所述移动物体的图像；以及显示单元，被配置为显示由所述切取单元所切取的包含所述移动物体的所述图像。
上述图像显示装置进一步包括：旋转速度计算单元，被配置为基于由所述移动物体位置获取单元所获取的所述全方位图像内的所述移动物体的移动位置的坐标来计算所述图像的旋转速度，并且当由所述旋转速度计算单元所计算的旋转速度中的最高旋转速度等于或大于给定阈值时，所述确定单元确定要修正所述切取图像的所述向上方向。
上述图像显示装置进一步包括：坐标变换单元，被配置为将由所述移动物体位置获取单元所获取的所述移动物体的移动位置的坐标变换成实空间平面上的坐标；以及旋转速度计算单元，被配置为基于由所述坐标变换单元所获得的所述实空间平面上的坐标来计算所述图像的所述旋转速度，并且当由所述旋转速度计算单元所计算的旋转速度中的最高旋转速度等于或大于给定阈值时，所述确定单元确定要修正所述切取图像的所述向上方向。
在上述图像显示装置中，所述移动物体位置获取单元包括：移动物体检测单元，被配置为根据所述全方位图像来检测所述移动物体；移动物体位置存储单元，被配置为存储由所述移动物体检测单元所检测到的所述移动物体的位置；以及移动位置预测单元，被配置为基于存储在所述移动物体位置存储单元中的所述移动物体的位置来预测所述移动物体的移动位置。
在上述图像显示装置中，所述移动物体位置获取单元根据预先记录的所述全方位图像来读取所述移动物体的位置。
上述图像显示装置进一步包括：向上方向确定单元，被配置为当所述移动物体进入向上方向固定区域时确定图像切取的所述向上方向；以及向上方向存储单元，被配置为存储由所述向上方向确定单元所确定的图像切取的所述向上方向，并且基于由所述移动物体位置获取单元所获取的所述全方位图像内的所述移动物体的移动位置的坐标，当所述移动物体位于所述向上方向固定区域中时，所述确定单元确定要修正所述切取图像的所述向上方向。
本发明的图像显示方法用于切取并显示全方位图像内的移动物体，并且所述图像显示方法包括：获取所述全方位图像内的所述移动物体的位置的移动物体位置获取步骤；确定是否修正切取图像的向上方向的确定步骤；当在所述确定步骤确定要修正所述切取图像的所述向上方向时修正切取参数的参数修正步骤；基于在所述参数修正步骤中所修正的所述切取参数来从所述全方位图像之中切取包含所述移动物体的图像的切取步骤；以及显示在所述切取步骤中所切取的包含所述移动物体的图像的显示步骤。
本发明的有益效果
根据本发明，当全方位摄像机追踪经过全方位摄像机下方附近的移动物体时，每个包含移动物体的切取图像的旋转变化均受到抑制，并且当移动物体经过全方位摄像机下方时，切取图像不垂直翻转，由此总是能够获得易于观看的图像显示。
附图说明
图1是示出根据本发明第一实施例的图像显示装置的概略配置的框图。
图2是示出通过图1的图像显示装置中的坐标变换单元所进行的坐标变换的外观的示意图。
图3是示出其中被输入至图1的图像显示装置的输入图像和切取图像经受在实空间平面上坐标变换的示例的图示。
图4是示出图1的图像显示装置的操作的图示。
图5是示出图1的图像显示装置的操作的流程图。
图6是示出图1的图像显示装置中的旋转速度控制的一个应用示例的操作的图示。
图7是示出图1的图像显示装置中的旋转速度控制的另一个应用示例的操作的图示。
图8是示出图1的图像显示装置中的旋转速度控制的又一个应用示例的操作的图示。
图9的（a）和（b）是示出图1的图像显示装置中的旋转速度控制的再一个应用示例的操作的图示。
图10是示出根据本发明第二实施例的图像显示装置的概略配置的框图。
图11是示出图10的图像显示装置的操作的流程图。
图12是示出根据本发明第三实施例的图像显示装置的概略配置的框图。
图13是示出图12的图像显示装置的操作的流程图。
图14是示出图12的图像显示装置中所使用的图像记录装置的概略配置的框图。
图15是示出图14的图像显示装置中的操作的流程图。
图16是示出从全方位图像的切取图像的操作的图示。
图17是示出由现有技术中的全方位图像的切取图像所导致的一个问题的图示。
图18是示出由现有技术中的全方位图像的切取图像所导致的另一个问题的图示。
图19是示出根据本发明第四实施例的图像显示装置的概略配置的框图。
图20是示出全方位图像上的向上方向的图示。
图21是示出向上方向固定区域的图示。
具体实施方式
以下，将参照附图详细描述用于实施本发明的优选实施例。
（第一实施例）
图1是示出根据本发明第一实施例的图像显示装置的概略配置的框图。在图中，根据本实施例的图像显示装置1主要应用于监视移动物体（例如，人物）的安保摄像机系统。图像显示装置1包括全方位图像输入单元10、移动物体检测单元11、移动物体位置存储单元12、移动位置预测单元13、坐标变换单元14、旋转速度计算单元15、切取参数修正单元16、切取单元17和显示单元18。
全方位图像输入单元10从未示出的全方位摄像机接收全方位图像。移动物体检测单元11从由全方位图像输入单元10所接收的全方位图像检测将要追踪的移动物体。移动物体位置存储单元12存储移动物体检测单元11中所存储的位置。移动位置预测单元13基于移动物体位置存储单元12中所存储的移动物体的位置来预测移动物体的移动位置。坐标变换单元14将由移动位置预测单元13所预测的移动物体的移动位置的坐标变换成实空间平面上的坐标。图2是示意性示出通过坐标变换单元14所进行的坐标变换的外观的示例，其将移动物体的移动位置P1的坐标（X1,Y1）变换成实空间平面上的坐标（x1,y1）。
旋转速度计算单元15基于由坐标变换单元14所获得的实空间平面上的坐标来计算图像方向上的旋转速度。图3是其中切取图像110经受在实空间平面上坐标变换的示例。旋转速度能够通过使用实空间平面上的两个向量之间的角度差（θ2-θ1）来计算。在移动物体的预测位置经受在实空间平面上坐标变换之后，通过使用实空间平面上的两个向量之间的角度差来计算旋转速度。
切取参数修正单元16当由旋转速度计算单元15所计算的旋转速度中最高旋转速度等于或大于给定阈值时修正作为用于指定图像的向上方向的参数的切取参数。该参数被修正为使得旋转速度的总和不变，并且旋转速度任何时候都不超过阈值。结果，参数修正区间的开始和结束旋转角度能够匹配参数非修正区间，并且参数修正区间中的最高旋转速度能够被抑制。例如，如图4所示，切取参数被修正为使得超过阈值的三个时刻t3至t5处的相应的旋转速度变得等于或小于阈值，并且时刻t0至t8的区间中的旋转速度的积分值（时刻t0至t8处的旋转角度）变得彼此相同。切取单元17借助于由切取参数修正单元16所修正的切取参数从全方位图像之中切取包含移动物体的图像。显示单元18显示由切取单元17所切取的包含移动物体的图像。
随后，将描述根据本实施例的图像显示装置1的操作。图5是示出图像显示装置1的操作的流程图。在图中，当全方位图像输入单元10从未示出的全方位摄像机接收全方位图像时，移动物体检测单元11检测移动物体（将要追踪的移动物体）（步骤S1），并确定是否能够检测到将要追踪的移动物体（步骤S2）。如果不能检测到将要追踪的移动物体，则该处理结束，且如果能够检测到将要追踪的移动物体，则输出移动物体的位置。移动物体位置存储单元12存储从移动物体检测单元11输出的移动物体的位置（步骤S3）。当存储了移动物体的位置时，移动位置预测单元13根据已存储在移动物体位置存储单元12中的移动物体的位置来预测随后的移动位置（步骤S4）。然后，坐标变换单元14将已由移动位置预测单元13预测的移动物体的位置变换成实空间平面上的坐标（步骤S5）。
然后，旋转速度计算单元15根据已经受在实空间平面上坐标变换的所预测的位置来计算旋转速度（步骤S6），并确定所计算的旋转速度是否等于或大于阈值（步骤S7）。如果所计算的旋转速度等于或大于阈值，则切取参数修正单元16修正切取参数，使得切取参数变得小于阈值（步骤S8）。在修正了参数之后，切取单元17借助于修正后的切取参数从全方位图像之中切取包含移动物体的图像（步骤S9）。然后，显示单元18显示切取图像（步骤S10）。在该处理完成了之后，流程返回到步骤S1，并重复相同的处理。此外，如果在步骤S7的确定中由旋转速度计算单元15所计算的旋转速度小于阈值，则不修正切取参数，且流程照原样移至切取处理。
这样，根据本实施例的图像显示装置1，基于移动物体的当前位置预测随后的位置，并将所预测的移动位置的坐标被变换成实空间平面上的坐标，且基于实空间平面上的坐标来计算图像方向上的旋转速度。如果所计算的旋转速度的最高旋转速度等于或大于给定阈值，则修正用于设定切取图像的向上方向的切取参数，且借助于修正后的切取参数从全方位图像之中切取包含移动物体的图像，并显示。据此，由于当从全方位图像之中切取包含移动物体的图像时调整了旋转速度并进行切取，因而当摄像机追踪经过全方位摄像机下方附近的移动物体时，包含移动物体的切取图像中的旋转变化受到抑制。结果，切取图像不会难以观看。即，图像显示比常规的要易于观看。
在上述实施例中，如图4中所示，当最高旋转速度等于或大于给定阈值时，修正用于设定切取图像的向上方向的切取参数。替代地，如图6所示，除开始切取时的图像以及结束切取时的图像之外，可将旋转速度控制到给定值。通过将旋转速度控制到给定值，图像显示更易于观看。
此外，如图7所示，参数可被修正，以使得在当最高旋转速度超过给定阈值时的时刻旋转速度被抑制（由中央的椭圆所表示的部分），且旋转速度在其他时刻增大（由其两端的椭圆所表示的部分）。结果，能够进一步增强参数修正区间中的可见性。
此外，如图8所示，可进行修正，使得在其中进行参数修正的区间的两端（由椭圆表示的部分）修正量减小，且在中央部分修正量增大。结果，能够使与其中不存在参数修正的区间的连接平滑。
此外，特别是在移动物体经过全方位摄像机下方附近的情况下，所期望的是，切取参数被修正成使得当移动物体向摄像机下方靠近时根据行进方向和速度早期开始旋转，同时切取图像的旋转速度减小至给定值以下。此外，所期望的是，切取参数被修正成使得在移动物体经过了摄像机下方附近之后根据行进方向和速度后期开始旋转。图9的（a）中示出了该外观。图9的（b）是示出现有技术中的图像的切取的图示。
（第二实施例）
图10是示出根据本发明的第二实施例的图像显示装置的概略配置的框图。在图中，与以上在图1中的描述过的部件共同的部件用相同的附图标记表示，并将省略对它们的描述。
根据上面提及的第一实施例的图像显示装置1改变了切取图像的方向（箭头的方向）。另一方面，根据第二实施例的图像显示装置2被设计为在箭头的方向固定到向上方向的同时切取图像。为了实现这一点，根据本实施例的图像显示装置2包括：向上方向确定单元20，当由移动物体检测单元11所检测的移动物体进入向上方向固定区域时，该向上方向确定单元20确定切取图像时的向上方向；和向上方向存储单元21，该向上方向存储单元21存储已由向上方向确定单元20所确定的切取图像时的向上方向。当移动物体位于向上方向固定区域内时，切取参数修正单元16基于已存储在向上方向存储单元21中的切取图像时的向上方向来修正所切取的参数。切取单元17借助于由切取参数修正单元16所修正的切取参数从全方位图像之中切取包含移动物体的图像。显示单元18显示已由切取单元17所切取的包含移动物体的图像。
图21是示出向上方向固定区域的图示。将参照图21详细描述固定向上方向的方法。移动物体如图中的虚线箭头所指示那样行进。附图标记110-0至110-3表示相应的时刻处的切取图像，且120-0至120-3表示相应的时刻处的向上方向。附图标记150表示向上方向固定区域。直到移动物体进入向上方向固定区域150，参数才被修正，并生成通常的切取图像。切取图像110-0的向上方向120-0表示从图像的中心向移动物体延伸的线段的方向为切取图像的向上方向。
然后，存储移动物体进入向上方向固定区域150时的向上方向。在此情况下，存储向上方向120-1。随后，生成切取图像，其中参数被修正成使得向上方向固定区域150内的切取图像的向上方向固定到与向上方向120-1相同的方向。
图11是示出根据本实施例的图像显示装置2的操作的流程图。在图中，当全方位图像输入单元10从未示出的全方位摄像机接收全方位图像时，移动物体检测单元11检测移动物体（将要追踪的移动物体）（步骤S20），并确定是否能检测到将要追踪的移动物体（步骤S21）。如果不能检测到将要追踪的移动物体，则该处理结束。如果能检测到将要追踪的移动物体，则确定移动物体是否已进入预定的向上方向固定区域（步骤S22）。如果将要追踪的移动物体已进入向上方向固定区域，则确定移动物体的向上方向（步骤S23），且然后存储所确定的向上方向（步骤S24）。另一方面，如果在步骤S22的确定中将要追踪的移动物体未进入向上方向固定区域，则流程不进行任何处理而移至后一步骤S25。
如果将要追踪的移动物体已进入向上方向固定区域并且已确定并存储向上方向，或者未进入向上方向固定区域，则确定将要追踪的移动物体是否位于向上方向固定区域内（步骤S25）。如果将要追踪的移动物体位于向上方向固定区域内，则修正切取参数，即确定向上方向的参数（步骤S26）。如果将要追踪的移动物体位于向上方向固定区域以外，或者在位于向上方向固定区域内并修正了切取参数之后，切取单元17借助于修正后的切取参数从全方位图像之中切取包含移动物体的图像（步骤S27）。当切取单元17然后从全方位图像之中切取包含移动物体的图像时，显示单元18显示图像（步骤S28）。在该处理完成之后，流程回到步骤S20，并且重复相同的处理。
这样，根据本实施例的图像显示装置2，当移动物体进入向上方向固定区域时确定切取图像时的向上方向，并存储当时的向上方向。当移动物体位于向上方向固定区域内时，基于所存储的切取图像时的向上方向而修正切取参数，并借助于该切取参数从全方位图像之中切取包含移动物体的图像，并显示。据此，由于包含移动物体的图像是在向上方向固定的状态下从全方位图像之中切取的，因而当摄像机追踪进入全方位摄像机下方附近的移动物体时在所切取的包含移动物体的图像中没有任何旋转变化，并且当移动物体经过全方位摄像机下方时不会使切取图像倒转，图像显示总是易于观看。
（第三实施例）
图12是示出根据本发明的第三实施例的图像显示装置的概略配置的框图。在图中，与以上在图1中的描述过的部件共同的部件用相同的附图标记表示，并将省略对它们的描述。
根据上述第一实施例的图像显示装置1实时地预测移动物体的方向，对所预测的移动位置进行坐标变换以计算旋转速度，并根据所计算的旋转速度来修正切取参数。另一方面，根据第三实施例的图像显示装置3被设计为从所记录的图像之中读取移动物体的移动位置，对所读取的移动位置进行坐标变换以计算旋转速度，并根据所计算的旋转速度修正切取参数。即，通过使用所记录的图像，能够推进处理，而无需预测移动物体的移动位置。
参照图12，根据本实施例的图像显示装置3包括：再生位置指示单元30，其指示将要再生的位置；移动物体位置读取单元31，其从预先记录的全方位图像读取移动物体的位置；图像读取单元32，其从所指示的再生的位置读取图像；和，坐标变换单元14，其将由移动物体位置读取单元31所读取的移动物体的位置的坐标变换成实空间平面上的坐标。图像显示装置3还包括：旋转速度计算单元15，其基于已由坐标变换单元14所获得的实空间上的坐标而计算图像方向上的旋转速度；切取参数修正单元16，其当由旋转速度计算单元15所计算的旋转速度中的最高旋转速度等于或大于给定阈值时修正切取参数；切取单元17，其借助于由切取参数修正单元16所修正的切取参数从全方位图像之中切取包含移动物体的图像；和显示单元18，其显示已由切取单元17切取的包含移动物体的图像。
另一方面，图14是示出根据本实施例的图像显示装置3中所使用的图像记录装置4的概略配置的框图。在图中，图像记录装置4包括全方位图像输入单元41、图像存储单元42、移动物体检测单元43和移动物体位置存储单元44。全方位图像输入单元41从未示出的全方位摄像机接收全方位图像。图像存储单元42存储已由全方位图像输入单元41接收的来自全方位摄像机的全方位图像。移动物体检测单元43从由全方位图像输入单元41所接收的全方位图像检测所跟踪的移动物体。移动物体位置存储单元44存储已由移动物体检测单元43检测的移动物体的位置。
随后，将描述根据本实施例的图像显示装置3的操作。图13是示出图像显示装置3的操作的流程图。在图中，再生位置指示单元30根据用户的指令指示再生位置（步骤S30）。然后，确定再生是否已完成（步骤S31）。如果再生已完成，则该处理结束。如果再生未完成，则移动物体位置读取单元31从图像记录装置4中的移动物体位置存储单元44读取其再生位置已指定的移动物体的位置（步骤S32）。然后，移动物体位置读取单元31将所读取的移动物体的位置传送至坐标变换单元14，且坐标变换单元14将该移动物体的位置变换成实空间平面上的坐标（步骤S33）。
然后，旋转速度计算单元15根据已经受在实空间平面上的坐标变换的移动物体的位置来计算旋转速度（步骤S34），并确定所计算的旋转速度是否等于或大于阈值（步骤S35）。如果所计算的旋转速度等于或大于阈值，则切取参数修正单元16修正切取参数，使得切取参数变得小于阈值（步骤S36）。在修正了参数之后，切取单元17借助于修正后的切取参数从由图像读取单元32所读取的全方位图像之中切取包含移动物体的图像（步骤S37）。然后，显示单元18显示切取图像（步骤S38）。在该处理完成之后，流程回到步骤S31，并且重复相同的步骤直到再生已完成。此外，如果在步骤S35的确定中由旋转速度计算单元15所计算的旋转速度小于阈值，则不修正切取参数，且流程照原样移至切取处理。
随后，将描述根据本实施例的图像显示装置3中所使用的图像记录装置4的操作。图15是示出图像记录装置4的操作的流程图。在图中，当全方位图像输入单元41从未示出的全方位摄像机接收全方位图像时，移动物体检测单元43检测移动物体（将要追踪的移动物体）（步骤S40），并确定是否能检测到将要追踪的移动物体（步骤S41）。如果不能检测到将要追踪的移动物体，则该处理结束。如果能检测到将要追踪的移动物体，则移动物体位置存储单元44存储移动物体的位置（步骤S42）。然后，图像存储单元42存储由全方位图像输入单元41所接收的全方位图像（步骤S43）。重复上述步骤S40至S43直到检测不到移动物体。
这样，根据本实施例的图像显示装置3，从预先记录的全方位图像之中读取移动物体的位置，并将该位置的坐标变换成实空间平面上的坐标。然后，基于实空间平面上的坐标来计算图像方向上的旋转速度，并且当所计算的旋转速度中的最高旋转速度等于或大于给定阈值时，修正用于设定切取图像的向上方向的切取参数。
据此，由于所记录的全方位图像是在无需移动物体的位置预测、无需用于存储移动物体位置的装置（上面提及的移动物体位置存储单元12）以及用于预测移动物体位置的装置（上面提及的移动位置预测单元13）的情况下被处理的，因而减小了单体图像显示装置的成本。图像被以如上述第一实施例中相同的方式被切取，并且当从全方位图像中切取包含移动物体的图像时，调整旋转速度。因此，当摄像机追踪经过全方位摄像机下方附近的移动物体时，包含移动物体的切取图像中的旋转变化被抑制。结果，切取图像不难以观看。即，图像显示比常规的要易于观看。
（第四实施例）
图19是示出根据本发明第四实施例的图像显示装置的概略配置的框图。在图中，与以上在图1中的描述过的部件共同的部件用相同的附图标记表示，并将省略对它们的描述。
根据上面提及的第一实施例的图像显示装置1基于实空间上的图像的旋转速度来确定旋转速度是否超过阈值。即，通过使用实空间上的图像的旋转速度，例如即使在摄像机相对于地板倾斜安装时或者当参数被修正时，也能得到准确的旋转速度。然而，由于为了得到实空间中的图像的旋转速度而会增大计算量，因而当并非获得精确度而是意图减小处理负荷时，可以仅借助全方位图像内的旋转速度来修正参数而无需展开到实空间中。根据本实施例的图像显示装置5被设计为基于已从全方位图像得到的图像的旋转速度来确定旋转速度是否超过阈值。由于无需到实空间中的展开处理，因而能减小得到旋转速度时的计算量。
旋转速度计算单元55根据与已由移动位置预测单元13得到的移动物体的预测位置对应的图像的向上方向（从全方位图像的中心向移动物体的向量的方向）来获得图像的旋转速度。图20是示出全方位图像上的图像的向上方向的图示。旋转速度可以借助于两个向量之间的角度差（θ4-θ3）来计算。同样，即使在根据第三实施例的图像显示装置3中，也能实现其中不进行到实空间中的展开的方法。
虽然参照具体实施例详细描述了本发明，但本领域技术人员显而易见的是，在不脱离本发明的精神和范围的情况下可以做出各种改变或修改。
本申请基于在2010年3月4日提交的日本专利申请（申请号2010-047863），其内容通过引用而并入于此。
工业实用性
本发明提供了下述优点，当全方位摄像机追踪经过全方位摄像机下方附近的移动物体时，每个包含移动物体的切取图像的旋转变化被抑制，并且当移动物体经过全方位摄像机下方时，切取图像不垂直翻转，由此总是能够获得易于观看的图像显示。本发明适用于使用获取全方位图像的全方位摄像机的安保摄像机系统。
附图标记的说明
1、2、3、5：图像显示装置
4：图像记录装置
10、41：全方位图像输入单元
11、43：移动物体检测单元
12、44：移动物体位置存储单元
13：移动位置预测单元
14：坐标变换单元
15、55：旋转速度计算单元
16：切取参数修正单元
17：切取单元
18：显示单元
20：向上方向确定单元
21：向上方向存储单元
30：再生位置指示单元
31：移动物体位置读取单元
32：图像读取单元
42：图像存储单元
110：切取图像
120：切取图像的向上方向
130：全方位图像

Claims (7)

1.一种图像显示装置，被配置为切取并显示全方位图像内的移动物体，所述图像显示装置包括：
移动物体位置获取单元，被配置为获取所述全方位图像内的所述移动物体的位置；
确定单元，被配置为：
基于所述全方位图像的中心位置和所述移动物体的位置，确定切取图像的向上方向，所述向上方向根据所述移动物体的位置的改变而改变，并且
基于所述向上方向的旋转速度或者在所述全方位图像的中心与所述移动物体的位置之间的距离，确定是否修正所述向上方向；
参数修正单元，被配置为当所述确定单元确定要修正所述向上方向时修正所述向上方向；
切取单元，被配置为基于所述向上方向来从所述全方位图像之中切取包含所述移动物体的图像；以及
显示单元，被配置为显示由所述切取单元所切取的包含所述移动物体的所述图像。
2.根据权利要求1所述的图像显示装置，进一步包括：
旋转速度计算单元，被配置为计算所述向上方向的旋转速度，
其中，当由所述旋转速度计算单元所计算的所述旋转速度中的最高旋转速度等于或大于给定阈值时，所述确定单元确定要修正所述向上方向。
3.根据权利要求1所述的图像显示装置，进一步包括：
坐标变换单元，被配置为将由所述移动物体位置获取单元所获取的所述移动物体的移动位置的坐标变换成实空间平面上的坐标；以及
旋转速度计算单元，被配置为基于由所述坐标变换单元所获得的所述实空间平面上的所述坐标来计算所述向上方向的所述旋转速度，
其中，当由所述旋转速度计算单元所计算的所述旋转速度中的最高旋转速度等于或大于给定阈值时，所述确定单元确定要修正所述向上方向。
4.根据权利要求1所述的图像显示装置，
其中，所述移动物体位置获取单元包括：
移动物体检测单元，被配置为在所述全方位图像中检测所述移动物体；
移动物体位置存储单元，被配置为存储由所述移动物体检测单元所检测到的所述移动物体的位置；以及
移动位置预测单元，被配置为基于存储在所述移动物体位置存储单元中的所述移动物体的位置来预测所述移动物体的移动位置。
5.根据权利要求1所述的图像显示装置，
其中，所述移动物体位置获取单元根据预先记录的所述全方位图像来读取所述移动物体的位置。
6.根据权利要求1所述的图像显示装置，进一步包括：
向上方向存储单元，被配置为当所述移动物体进入向上方向固定区域时，存储所述向上方向，所述向上方向固定区域是距所述全方位图像的中心位置的距离比预定阈值短的区域，
其中，在所述移动物体在所述向上方向固定区域中的同时，所述确定单元确定要将所述向上方向修正为所存储的向上方向。
7.一种图像显示方法，用于切取并显示全方位图像内的移动物体，所述图像显示方法包括：
获取所述全方位图像内的所述移动物体的位置的移动物体位置获取步骤；
确定步骤：
基于所述全方位图像的中心位置和所述移动物体的位置，确定切取图像的向上方向，所述向上方向根据所述移动物体的位置的改变而改变，并且
基于所述向上方向的旋转速度或者在所述全方位图像的中心与所述移动物体的位置之间的距离，确定是否修正所述向上方向；
当在所述确定步骤确定要修正所述向上方向时修正所述向上方向的参数修正步骤；
基于所述向上方向来从所述全方位图像之中切取包含所述移动物体的图像的切取步骤；以及
显示在所述切取步骤中所切取的包含所述移动物体的所述图像的显示步骤。
CN201080065182.0A 2010-03-04 2010-11-08 图像显示装置和图像显示方法 Expired - Fee Related CN102783142B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-047863 2010-03-04
JP2010047863 2010-03-04
PCT/JP2010/006551 WO2011108043A1 (ja) 2010-03-04 2010-11-08 画像表示装置及び画像表示方法

Publications (2)

Publication Number Publication Date
CN102783142A CN102783142A (zh) 2012-11-14
CN102783142B true CN102783142B (zh) 2016-06-22

Family

ID=44541729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080065182.0A Expired - Fee Related CN102783142B (zh) 2010-03-04 2010-11-08 图像显示装置和图像显示方法

Country Status (5)

Country Link
US (1) US8907985B2 (zh)
EP (1) EP2544448A4 (zh)
JP (1) JP5703448B2 (zh)
CN (1) CN102783142B (zh)
WO (1) WO2011108043A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックＩｐマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
JP5847570B2 (ja) * 2011-12-19 2016-01-27 キヤノン株式会社 画像処理装置及びその制御方法
JP6271917B2 (ja) * 2013-09-06 2018-01-31 キヤノン株式会社 画像記録装置及び撮像装置
JP5613815B1 (ja) 2013-10-29 2014-10-29 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
US9693023B2 (en) 2014-02-05 2017-06-27 Panasonic Intellectual Property Management Co., Ltd. Monitoring apparatus, monitoring system, and monitoring method
JP2017063276A (ja) * 2015-09-24 2017-03-30 カシオ計算機株式会社 映像表示装置、映像表示方法、及びプログラム
KR20170133043A (ko) * 2016-05-25 2017-12-05 삼성전자주식회사 3차원 인덕터 구조물 및 이를 포함하는 적층형 반도체 장치
JP6601422B2 (ja) * 2017-01-11 2019-11-06 トヨタ自動車株式会社 画像表示装置
WO2018168823A1 (ja) * 2017-03-14 2018-09-20 株式会社ニコン 画像処理装置および電子機器
KR102330264B1 (ko) * 2017-08-04 2021-11-23 삼성전자주식회사 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
US11089285B2 (en) * 2017-08-10 2021-08-10 Sony Corporation Transmission device, transmission method, reception device, and reception method
CN110111515A (zh) * 2018-02-01 2019-08-09 广州弘度信息科技有限公司 一种边界入侵检测方法、装置、服务器及系统
JP7192582B2 (ja) * 2019-03-11 2022-12-20 オムロン株式会社 物体追跡装置および物体追跡方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101399921A (zh) * 2007-09-28 2009-04-01 索尼株式会社 图像拾取装置、图像拾取方法及其程序
CN101444098A (zh) * 2006-05-16 2009-05-27 Opt株式会社 图像处理装置、摄像机装置以及图像处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086375A (ja) * 1999-09-09 2001-03-30 Matsushita Electric Ind Co Ltd 回転台付カメラ
JP4516665B2 (ja) 2000-05-19 2010-08-04 パナソニック株式会社 監視装置
US7312810B2 (en) * 2001-05-25 2007-12-25 Matsushita Electric Industrial Co., Ltd. Wide-angle image generating device
JP2006211105A (ja) 2005-01-26 2006-08-10 Konica Minolta Holdings Inc 画像生成装置およびシステム
JP4470759B2 (ja) * 2005-02-28 2010-06-02 ソニー株式会社 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
JP2008263251A (ja) * 2005-08-05 2008-10-30 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP4839131B2 (ja) * 2006-05-17 2011-12-21 矢崎総業株式会社 グラフィックメータ表示装置
US8107769B2 (en) * 2006-12-28 2012-01-31 Casio Computer Co., Ltd. Image synthesis device, image synthesis method and memory medium storage image synthesis program
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
JP5202183B2 (ja) 2008-08-21 2013-06-05 東邦テナックス株式会社 表面多孔質炭素繊維、前駆体繊維及びそれらの製造方法
JP4748250B2 (ja) * 2009-02-27 2011-08-17 ソニー株式会社 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101444098A (zh) * 2006-05-16 2009-05-27 Opt株式会社 图像处理装置、摄像机装置以及图像处理方法
CN101399921A (zh) * 2007-09-28 2009-04-01 索尼株式会社 图像拾取装置、图像拾取方法及其程序

Also Published As

Publication number Publication date
JP5703448B2 (ja) 2015-04-22
JPWO2011108043A1 (ja) 2013-06-20
CN102783142A (zh) 2012-11-14
US8907985B2 (en) 2014-12-09
EP2544448A4 (en) 2013-11-20
US20130002712A1 (en) 2013-01-03
WO2011108043A1 (ja) 2011-09-09
EP2544448A1 (en) 2013-01-09

Similar Documents

Publication Publication Date Title
CN102783142B (zh) 图像显示装置和图像显示方法
KR102609477B1 (ko) 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법
JP4586709B2 (ja) 撮像装置
CN101611625B (zh) 自动跟踪装置和自动跟踪方法
US20060078162A1 (en) System and method for stabilized single moving camera object tracking
KR101627185B1 (ko) 영상촬영장치의 제어방법
JP4759524B2 (ja) 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
US8965105B2 (en) Image processing device and method
CN108141540B (zh) 具有移动检测的全向相机
US20070140674A1 (en) Shake correction device, filming device, moving image display device, shake correction method and recording medium
JP2007281555A (ja) 撮像装置
JP2010124028A (ja) 監視装置
CN111742550A (zh) 一种3d影像拍摄方法、3d拍摄设备及存储介质
JPWO2010137104A1 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
JP2009188905A (ja) 自動追尾撮影装置、自動追尾撮影方法および自動追尾撮影プログラム
JP2009171362A (ja) 撮影装置、撮影方法
JP5015121B2 (ja) 撮像装置
JP2007201570A (ja) 画像処理装置、撮影装置、画像処理方法、および、制御プログラム
JPH07162730A (ja) 移動体撮像装置
JP2017174094A (ja) 画像処理装置、画像処理方法及びプログラム
JP2009027437A (ja) 画像処理装置，画像処理方法及び撮像装置
JP2015084461A (ja) 映像処理装置およびその制御方法
JP3615970B2 (ja) 移動体の検知方法
JPH02123877A (ja) 移動物体の自動追尾装置
JP2006140605A (ja) 撮影装置及びその方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150910

Address after: Osaka

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160622

Termination date: 20181108