CN110291557B - 监视装置 - Google Patents

监视装置 Download PDF

Info

Publication number
CN110291557B
CN110291557B CN201780085294.4A CN201780085294A CN110291557B CN 110291557 B CN110291557 B CN 110291557B CN 201780085294 A CN201780085294 A CN 201780085294A CN 110291557 B CN110291557 B CN 110291557B
Authority
CN
China
Prior art keywords
image
unit
change region
label
distance data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780085294.4A
Other languages
English (en)
Other versions
CN110291557A (zh
Inventor
新房健一
矶野恭佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN110291557A publication Critical patent/CN110291557A/zh
Application granted granted Critical
Publication of CN110291557B publication Critical patent/CN110291557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/022Capturing of monitoring data by sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0847Transmission error
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明的监视装置包括:从测定出监视区域的三维激光扫描器(10)的测定结果中分别获取到监视区域所存在的多个物体为止的距离数据、以作为当前距离数据的当前数据运算部(20);从测定结果中获取过去的距离数据、并转换成比较距离数据的比较数据运算部(30);对当前距离数据与比较距离数据的差分值进行计算、提取该差分值大于等于阈值的变化区域的变化区域提取部(40);生成对基于当前距离数据和变化区域提取部(40)提取的变化区域的正面视点图像以使其成为使三维激光扫描器(10)的视点移动的图像的方式进行转换而得的图像的坐标转换部(80);以及基于正面视点图像和坐标转换部(80)生成的图像来对监视区域中存在的多个物体进行识别的对象物识别部(120)。

Description

监视装置
技术领域
本发明涉及对监视区域中存在的对象物进行识别的监视装置。
背景技术
以往,存在使用摄像头图像来检测及识别对象物的技术。摄像头图像为二维数据,因此从该摄像头图像获得的信息也限定为二维坐标、亮度及颜色等。现有技术中大多利用亮度背景差分方式,来提取监视区域内的变化区域进而识别对象物。
然而,像这样大多数的现有技术中,存在下述问题:在对象物与背景之间不存在亮度差的情况下,不能精确地识别对象物。另外,由于在从摄像头图像获得的二维数据中不能获得与对象物的距离相关的信息,因此,例如在三维坐标上两个对象物沿Z轴方向隔开配置的情况下,存在下述问题:若该两个对象物在二维上看起来重叠,则被识别为互相接触,并且报警对象被视为一个。
因此,例如,在专利文献1中所公开的入侵者监视装置中,根据半导体激光的测定结果,生成将到对象物为止的距离作为像素的距离图像,并生成差分距离图像,该差分距离图像为对处理对象的距离图像和基准距离图像进行比较而得的差分。然后,将该差分距离图像分割成多个子帧,由各子帧生成二值化三维图像,对该三维图像进行三维标记从而生成三维标签图像,在该三维标签图像中将要素点进行分组,将属于相同的组的要素点对应于相同的对象物,来识别各对象物。
现有技术文献
专利文献
专利文献1:
日本专利特开2005-216160号公报
发明内容
发明所要解决的技术问题
然而,专利文献1中所记载的技术中,如上所述,通过采用距离差并进行扩展成三维的标记来生成三维标签图像,从而对对象物进行识别。采用该三维标记的方法来对考虑了距离差的对象物进行识别时,存在以下问题:每一个像素的运算量较大,对处理时间提出限制。
本发明是为了解决上述的问题而完成的,其目的在于提供一种不进行三维标记就能够识别对象物的监视装置。
解决技术问题所采用的技术方案
本发明所涉及的监视装置包括:当前数据运算部,该当前数据运算部从测定出监视区域的三维激光扫描器的测定结果中分别获取到监视区域中存在的多个物体为止的距离数据,以作为当前距离数据;比较数据运算部,该比较数据运算部从测定结果中获取过去的距离数据,并转换成比较距离数据;变化区域提取部,该变化区域提取部对当前距离数据与比较距离数据的差分值进行计算,提取该差分值大于等于阈值的变化区域;坐标转换部,该坐标转换部生成如下图像,该图像通过对基于当前距离数据和变化区域提取部提取的变化区域的正面视点图像,以使其成为使三维激光扫描器的视点移动的图像的方式进行转换而得到;以及对象物识别部,该对象物识别部基于正面视点图像和坐标转换部生成的图像,对监视区域中存在的多个物体进行识别。
发明效果
根据本发明,不进行三维标记就能够识别对象物。
附图说明
图1是示出实施方式1所涉及的监视装置的结构的框图。
图2是示出三维激光扫描器的结构的图。
图3是示出三维激光扫描器的分散结构的说明图。
图4是示出将实施方式1中三维激光扫描器所扫描的监视区域作为假想性三维空间来显示的立体模型的一个示例的图。
图5是作为一个示例而示出了在分割成8×4×4个立方体的立体模型中如何观察实施方式1中监视区域内存在的地板、对象A及对象B的图。
图6是对实施方式1中当前数据运算部使当前数据存储部存储的当前数据进行说明的图,图6A是当前数据所示的图像的示意图,图6B是示出将图6A的当前数据所示的图像的示意图分割成各网格、并附记当前数据所示的数字的一个示例的图。
图7是对实施方式1中比较数据运算部使比较数据存储部存储的比较数据进行说明的图,图7A是比较数据所示的图像的示意图,图7B是示出将图7A的比较数据所示的图像的示意图分割成各网格、并附记比较数据所示的数字的一个示例的图。
图8是示出了实施方式1中变化区域提取部以网格单位对图6所示那样的当前数据、和图7所示那样的比较数据进行比较从而计算出差分值而得的结果来作为一个示例的图,图8A是示出作为计算出图6B所示那样的当前数据和图7B所示那样的比较数据的差分值而得的结果而获得的图像的示意图,图8B是示出计算出图6B所示那样的当前数据和图7B所示那样的比较数据的差分值而得的结果的图。
图9是表示实施方式1中变化区域提取部如图8所示那样在计算出差分值后、基于该差分值提取变化区域而得的结果的图。
图10是示出实施方式1中坐标转换部从正面视点图像向正上方视点图像进行坐标转换而得的结果的正上方视点图像的形象的图。
图11是对实施方式1中正面图像标记部所进行的标记的动作的步骤的一个示例进行说明的图。
图12是示出实施方式1中正面图像标记部按照如利用图11所说明那样的标记的步骤来对由图9所示那样的正面视点图像中示出的变化区域中所包含的网格进行标记而得的结果的一个示例的图。
图13是示出实施方式1中正上方图像标记部按照如利用图11所说明那样的标记的步骤来对由图10所示那样的正上方视点图像中示出的变化区域中所包含的网格进行标记而得的结果的一个示例的图。
图14是用于说明实施方式1中标签分割部对带标签变化区域中所包含的各网格重新赋予标签号码的具体的动作的图。
图15是用于说明实施方式1中标签分割部对带标签变化区域中所包含的各网格重新赋予标签号码的具体的动作的图。
图16是示出实施方式1中,对象物识别部对确定带标签变化区域中所包含的网格设定了费雷特径(Feret diameters)的一个示例的图。
图17是示出正面视点图像的形象的一个示例的图,上述正面视点图像未利用对转换后变化区域中所包含的网格进行二维标记而得的结果,而仅基于对变化区域中所包含的网格进行二维标记而得的结果,来示出在设定了用于判定对象物的费雷特径的情况下的变化区域。
图18是用于说明搜索范围的一个示例的图,上述搜索范围用于决定对于被发现的变化区域的立方体、与已赋予了标签号码的立方体是否为相邻状态。
图19是示出基于利用图18所说明的考虑方式来对图5所示那样的立方体模型进行对象物的识别而得的结果的图。
图20是示出实施方式1所涉及的监视装置的动作的流程图。
图21是示出由实施方式1所涉及的监视装置的识别处理部所进行的判定处理的流程图。
图22A及图22B是示出本发明的实施方式1所涉及的监视装置的硬件结构的一个示例的图。
图23是示出本发明的实施方式2所涉及的监视装置的结构的框图。
图24是示出实施方式2所涉及的监视装置的动作的流程图。
图25是用于说明实施方式2中标签分割部对未进行标记的变化区域中所包含的各网格赋予标签号码的具体的动作的图。
图26是用于说明实施方式2中标签分割部对在未进行标记的变化区域中所包含的各网格赋予标签号码的具体的动作的图。
图27是示出实施方式2中对象物识别部对确定带标签变化区域的网格设定了费雷特径的一个示例的图。
具体实施方式
下面,为了对本发明进行更加详细的说明,根据附图对用于实施本发明的方式进行说明。
实施方式1.
图1是表示实施方式1所涉及的监视装置1000的结构的框图。
监视装置1000由三维激光扫描器10、当前数据运算部20、当前数据存储部21、比较数据运算部30、比较数据存储部31、变化区域提取部40、识别处理部50、通知处理部60、正面图像生成部70、坐标转换部80、正上方图像标记部90、正面图像标记部100、标签分割部110及对象物识别部120构成。
图1中,除了监视装置1000以外,还记载了示出三维激光扫描器10的扫描范围的背景200、在该背景200的前面竖立的对象物201及PC300,该PC300是在监视装置1000的上位存在的装置,用于进行蜂鸣器等报警处理。另外,此处,将在监视装置1000的上位存在的装置设为PC300以作为一个示例,但在监视装置1000的上位存在的装置不限于此,只要是能够基于监视装置1000中的通知处理来进行报警处理的装置即可,例如是声音输出装置等。监视装置1000中的通知处理的详细情况将在后面进行阐述。
另外,如上所述,背景200是指三维激光扫描器10的扫描范围,是成为监视装置1000的监视对象的监视区域。示出该监视区域的、从三维激光扫描器10的视点观察而得的图像根据三维激光扫描器10的分辨率分割成纵向α个横向β个,进而分成独立的小区域。该实施方式1中,将该单独的小区域作为针对图像的每个像素进行分割而得的区域,上述图像由三维激光扫描器10对监视区域进行扫描而得到。另外,在本实施方式1中,也将该针对每个像素进行分割而得的区域称为网格。
三维激光扫描器10获取在扫描范围内存在的对象物201等的三维信息,并测量到该对象物201等为止的距离等。
图2是示出三维激光扫描器10的结构的图。如图2所示那样,三维激光扫描器10内置有激光发光单元11、使用了旋转镜的分散机构13及激光受光单元16,对背景200中示出的范围进行扫描来获取距离数据及强度数据。激光发光单元11照射激光脉冲12。
分散机构13是使从激光发光单元11所发出的激光脉冲12在广角范围内分散的机构。图2的示例中,示出了使用了旋转镜的分散机构13。对使用了该旋转镜的分散机构13的详细情况将在后面进行阐述。由分散机构13分散而得的分散激光脉冲14被照射及反射至背景200或对象物(图2中未图示)并形成激光反射光15。图2的示例中示出了分散激光脉冲14向背景200的X方向及Y方向依次被分散照射的情形。具体而言,在背景200的X方向6点及背景200的Y方向2点的合计12点处被分散照射。
另外,图2中设为使用了旋转镜的分散机构13,但还可以应用其它的分散机构。例如,可以使用以无电动机方式将透镜进行扫描的无扫描光学系统。
激光受光单元16接收由反射对象进行反射而得的激光反射光15,基于发光到受光的时间差,计算到反射对象为止的距离,以作为距离数据。图2的示例中,对于在背景200的X方向6点及背景200的Y方向2点的合计12点处被分散的所有照射位置,单独计算距离,以作为距离数据。并且,激光受光单元16对于被分散的所有照射位置,基于照射的光量与接收到的光量的比率,计算反射对象在各点中的反射率,以作为强度数据。将由激光受光单元16计算而得的距离数据及强度数据输出至图1所示的当前数据运算部20及比较数据运算部30。
将由激光受光单元16计算而得的、关于所有照射位置的距离数据及强度数据称为点组数据17。
由激光受光单元16向当前数据运算部20及比较数据运算部30所进行的点群数据17的输出以帧单元来进行。激光受光单元16将对背景200整体进行一次扫描而得的点组数据17、即若用图2的示例来说则为对背景200的X方向6点、Y方向2点的合计12点进行一次扫描而得到的点组数据17作为一帧的点组数据17来输出至当前数据运算部20及比较数据运算部30。
接着,参照图3对使用了旋转镜的分散机构13的详细情况进行说明。分散机构13由第一旋转镜13a、第一电动机13b、第二旋转镜13c及第二电动机13d构成。第一旋转镜13a与射入的激光脉冲12的脉冲频率同步动作,使激光脉冲12相对于第一旋转镜13a的面沿水平方向分散。沿水平方向分散的水平分散激光脉冲13e始终以相同的角度被分散。第一电动机13b为使第一旋转镜13a驱动的驱动源。第二旋转镜13c与射入的激光脉冲12的脉冲频率同步动作,使水平分散激光脉冲13e沿垂直方向进一步分散。沿垂直方向被分散的垂直分散激光脉冲13f始终以相同的角度被分散。第二电动机13d为使第二旋转镜13c驱动的驱动源。
根据以上的动作,三维激光扫描器10得到以下所示的X、Y及Z的三维信息。
X:水平方向坐标
Y:垂直方向坐标
Z:距离数据
图2的示例中,水平方向坐标X为6点,垂直方向坐标Y为2点。距离数据Z为示出Z轴方向的距离的信息。下面,将距离数据也称为Z轴信息。
三维信息中,由于包含有Z轴信息,因此即使在对象物向三维坐标上的Z轴方向移动的情况下、即朝向三维激光扫描器10前进的情况下,也能通过取在该对象物的移动的前后分别获得的Z轴信息的差分,从而获得该对象物向Z轴方向的移动量。另外,即使在多个对象物向三维坐标上的Z轴方向隔开配置的情况下,也能通过取Z轴信息的差分从而获得该对象物间在Z轴方向的距离。
当前数据运算部20获取从三维激光扫描器10输出的点组数据17中的距离数据,并使当前数据存储部21将该距离数据存储作为当前数据,上述当前数据表示与监视区域、即三维激光扫描器10的扫描范围相关的当前时刻的距离数据。此处,当前数据运算部20与表示各网格的信息相关联,使当前数据存储部21存储所输入的距离数据。
比较数据运算部30获取从三维激光扫描器10输出的点组数据17中的距离数据,转换成比较数据并使比较数据存储部31对其进行存储。向比较数据的转换处理例如可通过下述等方式来进行:从由获取到的距离数据向过去追溯50帧的距离数据中获得平均距离数据来作为比较数据、或获得所输入的距离数据的上一帧的距离数据来作为比较数据。另外,比较数据运算部30使数据存储部(图示省略)预先存储从三维激光扫描器10获取到的距离数据,基于该预先存储的距离数据,获取向过去追溯而得的距离数据即可。比较数据运算部30与表示各网格的信息相关联,使比较数据存储部31存储作为比较数据的距离数据。
另外,在该实施方式1中,也将当前数据称为当前距离数据,此外,也将比较数据称为比较距离数据。
变化区域提取部40获取存储于当前数据存储部21的当前数据、与存储于比较数据存储部31的比较数据,对当前数据和比较数据以网格单位进行比较从而计算差分值,提取计算出的差分值大于等于预先设定的阈值的像素区域以作为变化区域。通常,变化区域设定固定的阈值,并转换为二值化数据来进行处理,上述二值化数据以差分值是否大于等于设定的阈值来进行二值化而得。
另外,当前数据及比较数据由距离数据构成,因此变化区域提取部40计算出的差分值表示“距离差”。例如,在当前数据中包含有背景200及对象物201、比较数据中仅包含有背景200的情况下,所得到的差分值表示“背景与对象物之间的距离”。
此处,对变化区域提取部40提取的变化区域进行说明。
首先,对变化区域提取部40比较的当前数据及比较数据进行说明。
图4是示出将实施方式1中三维激光扫描器10所扫描的监视区域作为假想性三维空间来显示的立体模型的一个示例的图。即,图4是示出将实施方式1中以二维显示的三维激光扫描器10的视野内的各网格作为假想性三维空间来进行组装而得的立体模型的一个示例的图。
图4中示出了将表示监视区域的假想性三维空间分割成8×4×4个立方体的立方体模型。各立方体表示可通过向一个点的激光照射来测定的、假想性三维空间内的点或区域。
图5是作为一个示例而示出了在分割成8×4×4个立方体的立体模型中如何观察实施方式1中监视区域内存在的地板303、对象A301及对象B302的图。下面,将对象A301及对象B302等个别的对象物也统称为对象物201。
图5A是示出对三维激光扫描器10、对象A301及对象B302从横向观察的位置关系的示意图。另外,图5B中,图上左侧是8×4×4个的立方体紧密接触的立体模型,图上右侧是将图上左侧所示的、8×4×4个的立方体紧密接触的立体模型沿横向切成4个从而能观察到所有立方体的立体模型。另外,图5C是三维激光扫描器10对监视区域进行扫描而得的图像的示意图。
另外,在该实施方式1中,如图5A所示那样,以下述情况为前提:监视区域内存在多个对象物201,并且,该多个对象物201在监视区域内隔开配置,并且,在从三维激光扫描器10的视点来观察,该多个对象物201在图像上至少一部分看起来重叠。
图5中示出了对象物201中存在有对象A301及对象B302这两个对象的示例,但并不限于此,对象物201也可以是大于等于3个。
图5A、图5B中,除相当于地板303、对象A301及对象B302的立方体以外的立方体是在未能在三维激光扫描器10中获得距离数据的立方体。
另外,图5C中,三维激光扫描器10对监视区域进行扫描而得的图像中,除相当于地板303、对象A301及对象B302的网格以外的网格是未能在三维激光扫描器10中获得距离数据的网格。该实施方式1中,也将未能在三维激光扫描器10中获得距离数据的网格称为空白网格304。
如图5C所示那样,地板303的各部分由于三维激光扫描器10的俯角,从该三维激光扫描器10看起来在Z轴方向隔开越远,在图像内越是看起来位于较高位置。另外,对象A301及对象B302即使在Z轴方向彼此有距离地隔开,在三维激光扫描器10对监视区域进行扫描而得的图像内看起来也是重叠的。
图6是对实施方式1中当前数据运算部20使当前数据存储部21存储的当前数据进行说明的图。图6A是当前数据所示的图像的示意图。图6B是示出将图6A的当前数据所示的图像的示意图分割成各网格、并附记当前数据所示的数字而得的一个示例的图。
图6B中,将三维激光扫描器10对监视区域进行扫描而得的图像分割成Y轴方向19个×X轴方向24个的网格。
图6B中,当前数据所示的数字为与三维激光扫描器10的距离。另外,图6B中,作为一个示例,将与三维激光扫描器10的距离设为0~15m的范围,并由0~F表示该距离。由该0~F所示的距离的单位设为m。
图6B中示出了对象A301的当前数据占据在3m±1m的范围内、对象A301存在于与三维激光扫描器10的距离大致为3m的位置处的情况。并且,图6B中示出了对象B302的当前数据占据在9m±1m的范围内、对象B302存在于与三维激光扫描器10的距离大致为9m的位置处的情况。然而,对象A301或对象B302均为沿Z轴方向移动就产生变化的变动值。
另外,图6B中,地板303在1~15m的范围内均等地扩展。
另外,图6B中,空白网格304示出未能获得距离数据的像素,在之后的运算中也假设为距离“F”来进行处理。
图7是对实施方式1中比较数据运算部30使比较数据存储部31存储的比较数据进行说明的图。图7A是比较数据所示的图像的示意图,图7B是示出将图7A的比较数据所示的图像的示意图分割成各网格、并附记比较数据所示的数字而得的一个示例的图。
图7B中,比较数据所示的数字为与三维激光扫描器10的距离。另外,图7B中,作为一个示例,将与三维激光扫描器10的距离设为0~15m的范围,并由0~F表示该距离。由该0~F所示的距离的单位设为m。
对象A301及对象B302为移动的对象物201,因此比较数据运算部30在生成比较数据时,在比较数据生成逻辑中消除该对象A301及对象B302,如图7B所示,生成比较数据作为仅示出距离数据的值稳定的地板303的数据。
另外,图7B中,地板303在1~15m的范围内均等地扩展。
变换区域提取部40对图6所示那样的当前数据、与图7所示那样的比较数据以网格单位进行比较从而计算差分值,提取计算出的差分值大于等于预先设定的阈值的像素区域以作为变化区域。
图8是示出了实施方式1中变化区域提取部40对图6所示那样的当前数据、与图7所示那样的比较数据以网格单位进行比较从而计算出差分值而得的结果来作为一个示例的图。图8A是示出作为计算出图6B所示那样的当前数据与图7B所示那样的比较数据的差分值而得的结果而获得的图像的示意图。图8B是示出计算出图6B所示那样的当前数据与图7B所示那样的比较数据的差分值而得的结果的图。
图8B中,在各网格中将当前数据和比较数据的差分值附记成为绝对值来示出。即,图8B所附记的数字示出了当前数据和比较数据的距离差。
另外,即使在图8B中,也将与三维激光扫描器10的距离设为0~15m的范围,并由0~F表示该距离。由该0~F所示的距离的单位设为m。
图9是示出实施方式1中变化区域提取部40如图8所示那样在计算出差分值后、基于该差分值提取出变化区域而得的结果的图。
另外,该实施方式1中,作为一个示例,变化区域提取部40在各网格中,在当前数据和比较数据的差分值大于等于“2”的情况下,提取该网格以作为变化区域。
图9中示出了作为变化区域而由变化区域提取部40提取的网格,以作为变化区域901。
另外,图9中,对变化区域901所包含的各网格,与图8B同样,将当前数据与比较数据的差分值作为数字进行附记。
如上所述,变化区域提取部40获取存储于当前数据存储部21的当前数据、与存储于比较数据存储部31的比较数据,对当前数据和比较数据以网格单位进行比较从而计算差分值,提取计算出的差分值大于等于预先设定的阈值的像素区域以作为变化区域。
变化区域提取部40将提取出的变化区域的信息输出至正面图像生成部70。
回到利用了图1的监视装置1000的说明。
正面图像生成部70基于变化区域提取部40输出的变化区域的信息,生成正面视点图像,该正面视点图像以示出监视区域的图像上的像素区域来示出了该变化区域。具体而言,正面图像生成部70基于变化区域提取部40输出的变化区域的信息,从当前数据所示的图像中的网格中仅提取对应于该变化区域的网格,并生成仅由该提取出的网格形成的正面视点图像。若将正面视点图像可视化则成为与图9所示的图像类似的图像。然而,图9中所附记的数字为当前数据与比较数据的差分值,但正面视点图像为基于当前数据的图像,因此需要注意下述一点:在假设附记数字的情况下,上述数字为当前数据所示的数字。
正面图像生成部70将正面视点图像的信息输出至坐标转换部80及正面图像标记部100。
另外,该实施方式1中,如上所述,监视装置1000具备正面图像生成部70,正面图像生成部70基于变化区域提取部40所输出的变化区域的信息,生成正面视点图像。然而,也可以设为监视装置1000不具备正面图像生成部70,后述的坐标转换部80及正面图像标记部100基于当前数据与变化区域提取部40所提取出的变化区域的信息,将当前数据和变化区域的信息进行汇总以视为正面视点图像。该情况下,例如,变化区域提取部40将当前数据和变化区域的信息输出至坐标转换部80及正面图像标记部100。
坐标转换部80及正面图像标记部100将从变化区域提取部40输出的当前数据和变化区域的信息进行汇总以作为正面视点图像,并进行后述的处理。
坐标转换部80基于从正面图像生成部70输出的正面视点图像的信息,生成使该正面视点图像的视点移动的图像。
图10是示出实施方式1中坐标转换部80从正面视点图像向正上方视点图像进行坐标转换而得的结果的正上方视点图像的形象的图。
坐标转换部80对正面视点图像进行坐标转换,该坐标转换将该正面视点图像中的深度方向设为Y轴方向,并且将正面视点图像中的X轴方向直接设为X轴方向。另外,正面视点图像中的深度方向相当于监视区域中的Z轴方向。具体而言,例如,对象A301存在于离三维激光扫描器10大致3m的位置,对象B302存在于离三维激光扫描器10大致9m的位置(参照图6),因此坐标转换部80将从该三维激光扫描器10到对象A301为止的距离3m及到对象B302为止的距离9m分别设为Y轴上的坐标,在当前的X轴上的坐标保持不变,从而重新投影变化区域。即,本实施方式1中所述的有坐标转换部80所进行的坐标转换是指点组数据17中的距离数据的Z轴信息和Y轴信息的转换。
其结果是,生成图10所示那样的图像形象所示的像素区域。本实施方式1中,图10所示那样的、坐标转换部80进行变化区域的坐标转换而生成的像素区域也称为转换后变化区域,图10所示那样的、示出转换后变化区域的图像也称为正上方视点图像。即,本实施方式1中,正上方视点图像是对于正面图像生成部70生成而得的正面视点图像以使其成为使所述三维激光扫描器10的视点向正上方方向的视点移动的图像的方式进行转换而得的图像。
在正上方视点图像中,如图10所示,示出对象A301的转换后变化区域(参照图10的1002)、与示出对象B302的转换后变化区域(参照图10的1001)中,该对象A301及对象B302所包含的网格分开配置,以明确对象A301与对象B302的距离差。
坐标转换部80将示出转换后变化区域的正上方视点图像的信息输出至正上方图像标记部90。
正上方图像标记部90基于示出从坐标转换部80输出的转换后变化区域的正上方视点图像的信息,进行转换后变化区域中所包含的各网格的标记。
正面图像标记部100基于示出从正面图像生成部70输出的变化区域的正面视点图像的信息,进行变化区域中所包含的各网格的标记。
如上所述,正面视点图像及正上方视点图像所示的变化区域及转换后变化区域为由变化区域提取部40提取的、基于由当前数据与比较数据的差分值大于等于阈值的网格形成的区域的区域。然而,正上方视点图像及正面视点图像中,该区域内的网格彼此独立。
然而,变化区域及转换后变化区域本来相对与三维激光扫描器10的视野内存在的对象物201即对象A301或对象B302而产生。因此,变化区域及转换后变化区域的网格彼此独立,但各网格本来也属于对象A301或对象B302的某一个。
因此,正上方图像标记部90对于正上方视点图像中所示的转换后变化区域中所包含的网格判别属于相同对象物201的网格并汇总为一个集合体,针对每个该集合体标记标签。
另外,正面图像标记部100对于正面视点图像中所示的变化区域中所包含的网格判别属于相同对象物201的网格并汇总为一个集合体,针对每个该集合体赋予标签。
在本实施方式1中将该正上方图像标记部90及正面图像标记部100将网格汇总为一个集合体、针对每个该集合体赋予标签的动作称为标记。
具体而言,正上方图像标记部90及正面图像标记部100对转换后变化区域及变化区域中的各网格中属于相同对象物201的网格进行判别,对判别为属于该相同对象物201的各网格赋予相同标签号码。存在多个对象物201的情况下,对各对象物201分别赋予不同的标签号码。
此处,对正上方图像标记部90及正面图像标记部100所进行的标记的动作进行详细说明。
另外,该正上方图像标记部90及正面图像标记部100所进行的标记为图像上的网格所对应的标记,因此为了与后述的三维空间中的标记动作进行区别,特别称为二维标记。后述的三维空间中的标记称为三维标记。
图11是对实施方式1中正面图像标记部100所进行的标记动作的步骤的一个示例进行说明的图。
此处,利用图11对标记动作的说明进行说明以作为正面图像标记部100所进行的标记动作的步骤的一个示例。正上方图像标记部90所进行的标记的动作的步骤也与正面图像标记部100所进行的标记动作的步骤同样,仅进行标记的对象是变化区域所包含的网格还是转换后变化区域所包含的网格是不同的。因此,省略由正上方图像标记部90所进行的标记动作的详细说明。
图11中,由黑四边所示的网格表示了如下网格的一个示例,该网格基于变化区域提取部40提取出的变化区域的信息而包含于由正面图像生成部70生成的正面视点图像所示的变化区域中。
图11示出了为简单说明标记动作而配置了变化区域的网格的一个示例。另外,图11所示的示例为与图9所示的示例不同的变化区域901的示例。
正面图像标记部100从正面视点图像的左上起搜索变化区域的网格从而开始光栅扫描(参照图11A)。另外,图11A中,由白四边示出了作为光栅扫描的对象的搜索部。
正面图像标记部100所实施的光栅扫描为通常的、已有的光栅扫描,因此省略详细的说明。
若正面图像标记部100在最开始的变化区域的网格处发现,则对该遇到的网格赋予标签“1”(参照图11B)。
正面图像标记部100接着继续光栅扫描。然后,正面图像标记部100在新发现的变化区域的网格与已赋予了标签号码的网格相邻的情况下,对该发现的网格赋予与已赋予的标签号码相同的标签号码(参照图11C)。相邻的网格例如设为彼此的X坐标的差及Y坐标的差均在±1以内的网格。另外,这仅仅是一个示例,可以将相邻的网格设为彼此的X坐标的差及Y坐标的差均在±2以内的网格,能预先适当地设定到哪个范围的网格为止视为相邻的网格。
图11C中示出了下述状态:正面图像标记部100由于发现了与已赋予了标签号码“1”的网格相邻的网格,因此对发现的网格赋予标签“1”。
正面图像标记部100接着继续光栅扫描。然后,正面图像标记部100在新发现的变化区域的网格不与已赋予了标签号码的网格相邻的情况下,对该发现的网格赋予与已赋予的标签号码不同的标签号码(参照图11D)。
图11D中示出了下述状态:正面图像标记部100由于发现了与已赋予了标签号码“1”的网格相邻的网格,因此对发现的网格赋予标签“2”。
正面图像标记部100接着继续光栅扫描。然后,正面图像标记部100在进一步新发现的变化区域的网格不与已赋予了标签号码的网格相邻的情况下,对该发现的网格赋予与已赋予的标签号码不同的标签号码(参照图11E)。
图11E中示出了下述状态:正面图像标记部100由于发现了与已赋予标签号码“1”或“2”的网格均不相邻的网格,因此对发现的网格赋予标签“3”。
正面图像标记部100结束第一条线的光栅扫描,则转移至第二条线的光栅扫描(参照图11F)。
正面图像标记部100进行第二条线的光栅扫描,与第一条线同样,对变化区域的网格赋予标签号码。然后,正面图像标记部100结束第二条线的光栅扫描,则转移至第三条线的光栅扫描(参照图11G)。
设正面图像标记部100判别出新发现的变化区域的网格为与已赋予了不同的标签号码的多个网格相邻的网格(参照图11H)。
图11H中示出了下述状态:正面图像标记部100在执行第三条线的光栅扫描中,发现了与已赋予了标签号码“1”的网格、赋予了“2”的网格均相邻的网格。
该情况下判明出在该时刻,赋予了标签号码“1”的网格、与赋予了标签号码“2”的网格均属于相同对象物201。
正面图像标记部100对判明出属于相同对象物201的、赋予了标签号码“1”的网格与赋予了标签号码“2”的网格,赋予相同的标签号码。具体而言,正面图像标记部100将赋予了标签号码“2”的网格的标签号码变更为“1”,以标签号码“1”来统一(参照图11I)。另外,这仅仅是一个示例,例如,正面图像标记部100可以将赋予了标签号码“1”的网格的标签号码变更为“2”。对判明出属于相同对象物201的变化区域的网格赋予相同标签号码即可。
设正面图像标记部100接着进行光栅扫描,并转移到第六条线的光栅扫描。设在该第六条线中新发现了变化区域的网格,但判明出该网格为仅与已存在的一个赋予了标签号码的网格相邻的网格。例如,设新发现的变化区域的网格为仅与已赋予了标签号码“1”的网格相邻的网格。
该情况下,正面图像标记部100对新发现的网格赋予标签号码“1”,对已赋予了标签号码的网格、例如赋予了标签号码“3”的网格,不进行标签号码的变更(参照图11J~图11K)。
正面图像标记部100以上述步骤进行标记的动作。其结果是,例如,对由图11A所示那样的状态下的正面视点图像所示的变化区域中所包含的网格进行标记,如图11L所示那样,成为对变化区域中所包含的网格赋予了标签号码“1”和标签号码“3”的状态。
图12是示出实施方式1中正面图像标记部100按照如利用图11所说明的标记的步骤,对由图9所示那样的正面视点图像所示的变化区域901中所包含的网格进行标记而得的结果的一个示例的图。另外,图12中对进行了标记的各网格附记了已赋予的标签号码。
如图12所示那样,对于作为变化区域901而被提取的网格全部赋予了相同标签号码“1”。
对于作为变化区域901而被提取的网格混合有对象A301所包含的网格和对象B302所包含的网格,但正面视点图像中的二维标记中对其无法区分,因此例如如图12所示那样,正面图像标记部100对对象A301所包含的网格、对象302所包含的网格均赋予相同标签号码。
另一方面,图13是示出实施方式1中正上方图像标记部90按照如利用图11所说明那样的标记的步骤,对由图10所示那样的正上方视点图像所示的转换后变化区域1001、1002中所包含的网格进行标记而得的结果的一个示例的图。另外,图13中对进行了标记的各网格附记了已赋予的标签号码。
正上方图像标记部90所进行的标记也与正面图像标记部100所进行的标记同样,为二维标记,但该二维标记的对象为正上方视点图像。如上所述,正上方视点图像中,对于多个对象物201,各个对象物201所包含的网格分开配置以明确彼此的距离差。具体而言,如图10所示那样,将示出对象A301的转换后变化区域1002中所包含的网格、与示出对象B302的转换后变化区域1001中所包含的网格分开进行配置。
然而,例如如图13所示那样,正上方图像标记部90对示出对象B302的转换后变化区域(参照图13的1301)中所包含的网格赋予标签号码“1”,对示出对象A301的转换后变化区域(参照图13的1302)的网格赋予标签号码“2”。
如上所述,正上方图像标记部90及正面图像标记部100分别对由正上方视点图像所示的转换后变化区域中所包含的网格及由正面视点图像所示的变化区域中所包含的网格进行标记。
正上方图像标记部90将赋予了标签号码的信息的转换后变化区域作为带标签转换后变化区域,并将示出该带标签转换后变化区域的正上方视点图像的信息输出至标签分割部110。
正面图像标记部100将赋予了标签号码的信息的变化区域作为带标签变化区域,并将示出该带标签变化区域的正面视点图像的信息输出至标签分割部110。
回到图1的说明。
标签分割部110基于正上方视点图像的信息和正面视点图像的信息,将赋予在由正面视点图像所示的带标签变化区域中所包含的各网格的标签号码针对每个对象物201进行分配,上述正上方视点图像示出从正上方图像标记部90输出的带标签转换后变化区域,上述正面视点图像示出从正面图像标记部100输出的带标签变化区域。
利用附图对标签分割部110的动作进行详细说明。
例如,设基于从正上方图像标记部90输出的信息的带标签转换后变化区域的正上方视点图像为图13所示那样的正上方视点图像,设示出基于从正面图像标记部100输出的信息的带标签变化区域的正面视点图像为图12所示那样的正面视点图像,以下进行说明。
标签分割部110对示出带标签转换后变化区域的正上方视点图像与示出带标签变化区域的正面视点图像进行比较。
如图13所示那样,示出带标签转换后变化区域的正上方视点图像中,转换后变化区域内的网格中、对象A301所包含的网格(参照图13的1302)与对象B302所包含的网格(参照图13的1301)分开,分别赋予了不同的标签号码“1”或“2”。
另一方面,如图12所示那样,示出带标签变化区域的正面视点图像中,带标签变化区域1201内的网格中,对象A301所包含的网格与对象B302所包含的网格未分开,赋予了相同的标签号码“1”。
标签分割部110对示出带标签转换后变化区域的正上方视点图像与示出带标签变化区域的正面视点图像在使X轴一致的状态下进行比较,基于赋予在带标签转换后变化区域中所包含的各网格的标签号码,使在带标签变化区域中所包含的各网格中混合的、对象A301所包含的网格与对象B302所包含的网格分开,并重新赋予针对每个对象物201的标签号码。
图14及图15是用于说明实施方式1中标签分割部110对带标签变化区域中所包含的各网格重新赋予标签号码的具体的动作的图。
图14A及图15A示出了示出带标签转换后变化区域1301、1302的正上方视点图像的形象。图14A及图15A中,对带标签转换后变化区域1301、1302中所包含的各网格附记了由正上方图像标记部90赋予的标签号码。
另外,图14B为示出带标签变化区域的正面视点图像的形象,对带标签变化区域1201中所包含的各网格附记由正面图像标记部100赋予的标签号码。另外,图15B为示出标签分割部110重新赋予标签号码后的带标签变化区域1501的正面视点图像的形象,对带标签变化区域1501中所包含的各网格附记重新赋予了标签分割部110的标签号码。
首先,如图14所示那样,标签分割部110根据正上方视点图像(图14A),对对象A301的、X轴方向的两端的位置与对象B302的、X轴两端的位置进行判别。该对象A301的两端的位置、与对象B302的两端的位置能够根据赋予在带标签转换后变化区域1301、1302的网格的标签号码来判别。
另外,图14A中,对象A301所包含的网格为赋予了标签号码“2”的网格(参照图14的1302),对象B302所包含的网格为赋予了标签号码“1”的网格(参照图14的1301)。
标签分割部110分别通过正上方视点图像上判别出的对象A301的两端的位置、与对象B302的两端的位置,来设定与X轴垂直相交的直线。
此处,设定有沿X轴分别通过对象A301的左端、对象A301的右端、对象B302的左端、或对象B302的右端的四条直线。图14中分别由A左虚线1401、A右虚线1402、B左虚线1403及B右虚线1404示出了该四条直线。另外,此处,A右虚线1402和B左虚线1403重叠。
并且,标签分割部110还分别将在正上方视点图像上设定的A左虚线1401、A右虚线1402、B左虚线1403及B右虚线1404设定在正面视点图像(图14B)上,以设定在与正上方视点图像上的X轴的位置相同的位置。
如图12所示,带标签变化区域1201内的所有的网格赋予了相同的标签号码,因此对象A301所包含的网格与对象B302所包含的网格未分开。然而,根据设定于正面设定图像上的直线,即使在上述的带标签变化区域1201内,也能够分别判别出对象A301所包含的网格与对象B302所包含的网格的位置。
如图14B所示那样,标签分割部110按照A左虚线1401、A右虚线1402、B左虚线1403及B右虚线1404,使带标签变化区域1201内的网格分开为对象A301所包含的网格与对象B302所包含的网格,并重新赋予标签号码以使得成为针对每个对象物201不同的标签号码。
此处,如图15B所示,标签分割部110使赋予在带标签变化区域1501中所包含的网格的标签号码与赋予在带标签转换后变化区域1301、1302的网格的标签号码匹配。具体而言,标签分割部110重新赋予标签号码,以使得对象A301所包含的网格的标签号码成为“2”、对象B302所包含的网格的标签号码成为“1”。
另外,这仅仅是一个示例,对于标签分割部110基于赋予在带标签转换后变化区域1301、1302中所包含的网格的标签号码所判别出的、不同的多个对象物201所包含的网格,针对所包含的每个对象物201重新赋予标签号码即可。
标签分割部110将赋予了重新赋予在各网格的标签号码的带标签变化区域作为确定带标签变化区域,并将示出该确定带标签变化区域的正面视点图像的信息输出至对象物识别部120。
对象物识别部120基于示出从标签分割部110输出的确定带标签变化区域的正面视点图像的信息,来识别三维激光扫描器10的视野内存在的对象物201。
具体而言,例如,若设从标签分割部110输出有图15B那样的、示出确定带标签变化区域1501的正面视点图像的信息,则对象物识别部120基于赋予在确定带标签变化区域1501所包含的网格的标签号码,通过赋予标签号码“1”和标签号码“2”两种标签号码,从而识别三维激光扫描器10的视野内存在的两个对象物201。
而且,对象物识别部120设定费雷特径以使得包含相同对象物201所包含的网格。
图16是示出实施方式1中对象物识别部120对在确定带标签变化区域所包含的网格设定费雷特径的一个示例的图。
另外,图16中示出了示出设定有费雷特径的确定带标签变化区域的正面视点图像的形象。
如图16所示那样,对象物识别部120对于赋予了标签号码“1”的网格与赋予了标签号码“2”的网格分别设定外接矩形,并设定第一费雷特径1601及第二费雷特径1602。此处,将赋予了标签号码“1”的网格的外接矩形作为第一费雷特径1601,将赋予了标签号码“2”的网格外接矩形作为第二费雷特径1602。即,对象A301所包含的网格作为第二费雷特径1602、对象B302所包含的网格作为第一费雷特径1601而分开。
对象物识别部120将赋予了第一费雷特径1601及第二费雷特径1602的信息的确定带标签变化区域作为识别对象区域,并将示出该识别对象区域的正面视点图像的信息输出至识别处理部50。
如上所述,本实施方式1所涉及的监视装置1000中,将示出三维激光扫描器10的视野的当前数据在二维图像上与比较数据进行比较,基于距离数据的差分提取变化区域,生成对该变化区域进行坐标转换而得的转换后变化区域的信息。
而且,监视装置1000对变化区域中所包含的网格与转换后变化区域中所包含的网格分别由二维标记进行标记,从而利用对转换后变化区域中所包含的网格进行二维标记而得的结果,对于对变化区域中所包含的网格进行二维标记而得的结果,在对于多个不同对象物201赋予了相同标签号码的情况下,重新赋予标签号码以针对每个不同的对象物201赋予标签号码。由此,也可根据二维标记进行将远近差考虑在内的对象物201的判定。
此处,图17是示出未利用对转换后变化区域中所包含的网格进行二维标记而得的结果、而仅基于对变化区域中所包含的网格进行二维标记而得的结果来示出在设定了用于判定对象物201的费雷特径的情况下的变化区域的正面视点图像的形象的一个示例的图。
图17中,作为一个示例,如图12所示的正面视点图像那样,基于进行变化区域中所包含的网格的二维标记而得的结果即带标签变化区域1201,进行了对象物201的判定。
图12所示的正面视点图像中,带标签变化区域1201的网格即使包含有对象A301及对象B302,也赋予相同标签号码“1”。
若仅根据由该正面视点图像所示的带标签变化区域1201的二维标记结果来判断对象物201,则判断为对象物201仅有一个,也仅能设定一个费雷特径(参照图17的1701)。
这是因为仅根据由正面视点图像所示的带标签变化区域1201不能判别对象A301所存在的位置与对象B302所存在的位置的远近差。
如上所述,本实施方式1所涉及的监视装置1000中,生成转换后变化区域,利用该转换后变化区域来判别包含有变化区域内的网格的对象物201,所述转换后变化区域能判别对象A301所存在的位置与对象B302所存在的位置的远近差,并由正上方视点图像所示出。由此,即使由二维标记进行对象物201的判定,也能分别将变化区域中被视为一个的多个不同的对象物201正确地识别为不同的对象物201。
另外,例如,根据三维标记的方法而不是二维标记,能够判别不同的对象物201的远近差,因此即使是存在如存在于从正面观察而重叠的位置那样的两个对象A301及对象B302的情况下(参照图5C),也能分别利用距离数据来进行识别。
下面,对利用现有的、通常的三维标记的方式来判断多个对象物201的方法进行简单说明。
另外,此处作为一个示例,如图5所示那样,将三维激光扫描器10的视野内所存在的地板303、对象A301及对象B302表示作为8×4×4个的立方体的一部分(参照图5B),并由基于每个该立方体的距离数据的三维标记来识别对象A301及对象B302。
三维标记中包含深度方向的相邻立方体来作为标记对象。
例如,在被发现的变化区域的立方体为与已赋予了标签号码的立方体相邻的立方体的情况下,对该被发现的变化区域的立方体赋予相同的标签号码。
图18是用于对被发现的变化区域的立方体与已赋予了标签号码的立方体是否为相邻状态的搜索范围的一个示例进行说明的图。
图18中,相邻的立方体是指彼此的X坐标的差、Y坐标的差及Z坐标的差均在±1以内的立方体,将被发现的变化区域的立方体表示为关注立方体1801,另外,将与该关注立方体1801相邻的立方体表示为邻接立方体1802。
领接立方体1802中存在已赋予了标签号码的立方体的情况下,对关注立方体1801赋予与已赋予了标签号码的邻接立方体1802相同的标签号码。
图19示出基于上述的、利用图18所说明的考虑方式、对图5所示那样的立方体模型进行对象物201的识别而得的结果。
图19中示出了对对象A301所包含的立方体赋予标签号码“1”、对对象B302所包含的立方体赋予标签号码“2”的情况。即,通过三维标记,能识别出变化区域的立方体为两个对象物201所包含的立方体的情况。
此处,赋予了标签号码“1”的立方体、即对象A301所包含的立方体的外接矩形设定为第一费雷特径1901。另外,赋予了标签号码“2”的立方体、即对象B302所包含的立方体的外接矩形设定为第二费雷特径1902。
如上所述,若以利用了距离数据的三维标记的方式来识别对象物201,则能将对象A301及对象B302识别为不同的对象物201。
然而,若要以三维标记的方式识别对象物201则存在下面的问题。
如图18所示那样,与关注立方体1801相邻的邻接立方体1802合计为26个。即,在三维标记的方式中,例如,在将相邻的立方体的X、Y、Z坐标均设为±1以内的情况下,对于一个关注立方体1801,若不进行26次的比较运算则一个关注立方体1801的三维标记操作将无法完成。
与此相对,根据二维标记的方式,例如,与上述三维标记的情况同样,以将X、Y坐标均在±1以内的立方体设为邻接立方体的方式,将从要标记的对象(此处,设为关注立方体)起在±1的范围内存在的立方体设为邻接立方体,邻接立方体成为8个。即,对于一个关注立方体,只要进行8次的比较运算则该关注立方体的二维标记操作就会完成。
由此,在三维标记和二维标记中,运算量产生超过三倍的差。另外,在上述的示例中,关注立方体、或从关注立方体起±1的范围内所存在的立方体或网格成为了比较运算的对象,但假设作为该比较运算的对象的立方体或网格的范围进一步扩展则运算量的差也进一步扩大。
例如,若将关注立方体、或从关注立方体起±2的范围内所存在的立方体或网格设为比较运算的对象,则在三维标记中,相邻的立方体为124个,对于一个关注立方体需要124次的比较运算。
与此相对,在二维标记中,相邻的立方体为24个,对于一个关注立方体用24次的比较运算即可。
该情况下,在三维标记和二维标记中,运算量产生超过五倍的差。
如上所述,若利用三维标记的方式来识别对象物201,则能同时识别Z坐标上有无接触,并看起来也认为是有效的,但实际上,虽然识别对象物201,但需要二维标记的三倍、五倍这样的运算量,与二维标记相比存在运算成本也变大这一问题。
如上所述,本实施方式1所涉及的监视装置1000中通过生成转换后变化区域从而基于距离数据将Z坐标上有无接触考虑在内,并通过二维标记的方式,能识别对象物201。即,本实施方式1所涉及的监视装置1000利用距离差,并且无需进行三维标记就能实现抑制了运算量的对象物的识别。
回到图1的说明。
识别处理部50基于示出对象物识别部120输出的识别对象区域的正面视点图像的信息,根据每个费雷特径的变化区域,提取“面积”、“纵横尺寸”、“速度”等特征量,并基于提取出的特征量是否满足预先决定的条件,来进行变化区域是否为通知对象的识别处理。识别处理部50在识别出变化区域为通知对象的的情况下,将通知指示信息输出至通知处理部60。
通知处理部60基于从识别处理部50输出的通知指示信息进行通知处理。作为通知处理可以列举向存在于上位的PC300等装置发送特定的信号的处理、或向装置进行使蜂鸣器发声等的处理等。
另外,本实施方式1中,如图1所示,三维激光扫描器10被监视装置1000所具备,但并不限于此,三维激光扫描器10可以被监视装置1000的外部所具备,监视装置1000可以经由网络等,从三维激光扫描器10获取点组数据17。
接着,对实施方式1所涉及的监视装置1000的动作进行说明。
图20是示出实施方式1所涉及的监视装置1000的动作的流程图。
另外,此处,为了简化说明,以三维激光扫描器10的分辨率为24×19像素的情况为示例进行说明。
首先,三维激光扫描器10对背景200、即监视区域的范围进行扫描(步骤ST2001),并获取点组数据17、即距离数据和强度数据(步骤ST2002)。具体而言,将背景200的范围分割成三维激光扫描器10的分辨率即24×19来进行扫描。距离数据通常为数字数据,此处设为24×19像素的每一个像素为8比特的多值数据。
三维激光扫描器10将获取到的点组数据输出至当前数据运算部20及比较数据运算部30。
当前数据运算部20将步骤ST2002中获取到的24×19像素的点组数据17中的距离数据作为当前数据来存储于当前数据存储部21(步骤ST2003)。作为当前数据的形象如图6所示那样。另外,图6B中对各网格赋予距离数据。
比较数据运算部30将在过去步骤ST2002中获取并存储于未图示的数据存储部的24×19像素的点组数据17中的距离数据转换成比较数据,并存储于比较数据存储部31(步骤ST2004)。作为比较数据的形象如图7所示那样。另外,图7B中对各网格附记有距离数据。
变化区域提取部40获取存储于当前数据存储部21的当前数据、以及存储于比较数据存储部31的比较数据,对当前数据与比较数据用立方体单位进行比较并计算差分值(参照图8),提取计算出的差分值大于等于预先设定的阈值的像素区域以作为变化区域(参照步骤ST2005、图9)。该步骤ST2005的处理中,当前数据及比较数据由距离数据构成,因此变化区域提取部40计算的差分值表示“距离差”。例如,在当前数据中包含有背景200及对象物201、比较数据中仅包含有背景200的情况下,所获得的差分值表示“比较数据的背景与当前数据的对象物之间的距离”。
步骤ST2005中获得到的差分值为每1个像素为8比特的多值数据,变化区域提取部40对获得的差分值是否大于等于预先设定的阈值进行判定(步骤ST2006)。在差分值大于等于阈值的情况下(步骤ST2006的“是”的情况),提取该像素区域以作为变化区域(步骤ST2007)。变化区域提取部40将提取出的变化区域的信息输出至正面图像生成部70。然后,正面图像生成部70基于变化区域提取部40输出的变化区域的信息,将该变化区域生成在示出监视区域的图像上的像素区域中示出的正面视点图像,并将该正面视点图像的信息输出至坐标转换部80及正面图像标记部100。
另一方面,在差分值为小于阈值的情况下(步骤ST2006的“否”的情况),判定为该像素区域不是变化区域(步骤ST2008),前进至步骤ST2009的处理。之后,变化区域提取部40对是否对24×19所有像素进行了处理进行判定(步骤ST2009)。在未对24×19所有像素进行处理的情况下(步骤ST2009的“否”的情况),回到步骤ST2005的处理,重复上述的处理。
另一方面,在对24×19所有像素进行了处理的情况下(步骤ST2009的“是”的情况),坐标转换部80基于在步骤ST2007中从正面图像生成部70输出的正面视点图像的信息,生成使该正面视点图像的视点移动的图像(步骤ST2010)。具体的动作如利用图9、图10等所说明的那样。坐标转换部80将转换后变化区域的正上方视点图像的信息输出至正上方图像标记部90。
正面图像标记部100基于步骤ST2007中从正面图像生成部70输出的、示出变化区域的正面视点图像的信息,进行变化区域中所包含的各网格的标记(步骤ST2011)。具体的动作如利用图11、图12等所说明的那样。正面图像标记部100将示出带标签变化区域的正面视点图像的信息输出至标签分割部110。
正上方图像标记部90基于示出步骤ST2010中从坐标转换部80输出的转换后变化区域的正上方视点图像的信息,进行转换后变化区域中所包含的各网格的标记(步骤ST2012)。具体的动作如利用图11、图13等所说明的那样。正上方图像标记部90将示出代标签变化区域的正上方视点图像的信息输出至标签分割部110。
标签分割部110基于正上方视点图像的信息和正面视点图像的信息,将赋予在正面视点图像中示出的带标签变化区域中所包含的各网格的标签号码针对每个对象物201进行分配(步骤ST2013),上述正上方视点图像示出步骤ST2012中从正上方图像标记部90输出的带标签转换后变化区域,上述正面视点图像示出步骤ST2011中从正面图像标记部100输出的带标签变化区域。具体的动作如利用图14、图15等所说明的那样。标签分割部110将示出赋予了重新赋予的标签号码的确定带标签变化区域的正面视点图像的信息输出至对象物识别部120。
对象物识别部120基于示出步骤ST2013中从标签分割部110输出的确定带标签变化区域的正面视点图像的信息,来识别三维激光扫描器10的视野中存在的对象物201(步骤ST2014)。具体的动作如利用图15、图16等所说明的那样。对象物识别部120将示出赋予了费雷特径的信息的识别对象区域的正面视点图像的信息输出至识别处理部50。
识别处理部50基于示出对象物识别部120在步骤ST2014中输出的识别对象区域的正面视点图像的信息,根据每个费雷特径的变化区域,提取“面积”、“纵横尺寸”、“速度”等特征量,并对提取出的特征量是否满足预先决定的匹配条件进行判定(步骤ST2015)。在满足匹配条件的情况下(步骤ST2015的“是”的情况),识别处理部50识别为变化区域是通知对象(步骤ST2016)。识别处理部50在识别出变化区域为通知对象的情况下,将通知指示信息输出至通知处理部60。
另一方面,在未满足匹配条件的情况下(步骤ST2015的“否”的情况),判定为变化区域不是通知对象(步骤ST2017),回到步骤ST2001的处理。
此处,对由步骤ST2015中的识别处理部50所进行的判定处理进行详细说明。
图21是示出由实施方式1所涉及的监视装置1000的识别处理部50所进行的判定处理的流程图。
识别处理部50对属于费雷特径的变化区域是否存在于监视范围内进行判定(步骤ST2101)。另外,此处,监视范围是监视区域、即三维激光扫描器10的测定范围内的范围,例如,指在需要监视的基础上在检测到对象物201的情况下求出通知的范围,预先对该监视范围进行设定。
属于费雷特径的变化区域存在于监视范围内的情况下(步骤ST2101的“是”的情况),识别处理部50进一步对属于费雷特径的变化区域是否具有规定的面积进行判定(步骤ST2102)。
属于费雷特径的变化区域具有规定的面积的情况下(步骤ST2102的“是”的情况),识别处理部50进一步对属于费雷特径的变化区域是否具有规定的纵横尺寸进行判定(步骤ST2103)。在具有规定的纵横尺寸的情况下(步骤ST2103的“是”的情况),识别处理部50进一步对属于费雷特径的变化区域是否具有规定的移动速度进行判定(步骤ST2104)。在具有规定的移动速度的情况下(步骤ST2104的“是”的情况),前进至图20的步骤ST2016,识别为变换区域是通知对象。
另一方面,在属于费雷特径的变化区域未存在于监视范围内的情况下(步骤ST2101的“否”的情况),或者,在属于费雷特径的变化区域未具有规定的面积的情况下(步骤ST2102的“否”的情况),或者,在属于费雷特径的变化区域未具有规定的纵横尺寸的情况下(步骤ST2103的“否”的情况),或者在属于费雷特径的变化区域未具有规定的移动速度的情况下(步骤ST2104的“否”的情况),前进至图20的步骤ST2017,判断为不是通知对象。
另外,识别处理部50对于所有的费雷特径针对每个费雷特径进行上述的动作。另外,若存在识别处理部50判断为至少一个为通知对象的费雷特径,则前进至图20的步骤ST2016,并识别为属于费雷特径的变化区域为通知对象。
回到图20的流程图。
通知处理部60基于步骤ST2016中从识别处理部50输出的通知指示信息,对识别出的通知对象进行通知处理(步骤ST2018),并回到步骤ST2001的处理。
图22A、图22B是示出本发明的实施方式1所涉及的监视装置1000的硬件结构的一个示例的图。
在本发明的实施方式1中,当前数据运算部20、比较数据运算部30、变化区域提取部40、识别处理部50、通知处理部60、正面图像生成部70、坐标转换部80、正上方图像标记部90、正面图像标记部100、标签分割部110及对象物识别部120的各功能由处理电路2201来实现。即,监视装置1000具备用于在下述情况下进行通知处理的处理电路2201,即:基于从三维激光扫描器10获取到的点组数据,检测成为通知对象的变化。
处理电路2201可以如图22A所示那样是专用硬件,还可以如图22B所示那样是执行存储于存储器2205的程序的CPU(Central Processing Unit:中央处理单元)2206。
在处理电路2201是专用硬件的情况下,处理电路2201例如与单一电路、复合电路、程序化后的处理器、并联程序化后的处理器、ASIC(Application Specific IntegratedCircuit:专用集成电路)、FPGA(Field-Programmable Gate Array:现场可编程门阵列)或它们的组合相对应。
在处理电路2201为CPU2206的情况下,当前数据运算部20、比较数据运算部30、变化区域提取部40、识别处理部50、通知处理部60、正面图像生成部70、坐标转换部80、正上方图像标记部90、正面图像标记部100、标签分割部110及对象物识别部120的各功能由软件、固件、或软件和固件的组合来实现。即,当前数据运算部20、比较数据运算部30、变化区域提取部40、识别处理部50、通知处理部60、正面图像生成部70、坐标转换部80、正上方图像标记部90、正面图像标记部100、标签分割部110及对象物识别部120由执行存储于HDD(HardDisk Drive:硬盘驱动器)2202、存储器2205等的程序的CPU2206、系统LSI(Large-ScaleIntegration:大规模集成电路)等处理电路来实现。另外,存储于HDD2202、存储器2205等的程序也可以说是使计算机执行当前数据运算部20、比较数据运算部30、变化区域提取部40、识别处理部50、通知处理部60、正面图像生成部70、坐标转换部80、正上方图像标记部90、正面图像标记部100、标签分割部110及对象物识别部120的步骤、方法的程序。此处,存储器2205例如可以是RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)、闪存、EPROM(Erasable Programmable Read Only Memory:可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory:电可擦可编程只读存储器)等非易失性或易失性的半导体存储器、以及磁盘、软盘、光盘、压缩磁盘、小型磁盘、DVD(Digital Versatile Disc:数字通用盘)等。
另外,对于当前数据运算部20、比较数据运算部30、变化区域提取部40、识别处理部50、通知处理部60、正面图像生成部70、坐标转换部80、正上方图像标记部90、正面图像标记部100、标签分割部110及对象物识别部120的各功能,可以用专用的硬件来实现一部分,并用软件或固件来实现一部分。例如,对于当前数据运算部20和比较数据运算部30可以由作为专用的硬件的处理电路2201来实现其功能,对于变化区域提取部40、识别处理部50、通知处理部60、正面图像生成部70、坐标转换部80、正上方图像标记部90、正面图像标记部100、标签分割部110及对象物识别部120,可以通过处理电路读取并执行存储于存储器2205的程序来实现其功能。
当前数据存储部21和比较数据存储部31例如使用HDD2202。另外,这仅仅是一个示例,当前数据存储部21和比较数据存储部31可以由DVD、存储器2205等来构成。
并且,监视装置1000具有三维激光扫描器10、或与存在于上位的PC300等装置进行通信的输入接口装置2203、输出接口装置2204。
如上所述,根据本实施方式1,构成为包括:当前数据运算部20,该当前数据运算部20从测定出监视区域的三维激光扫描器10的测定结果中,分别获取到监视区域中存在的多个物体为止的距离数据,以作为当前距离数据;比较数据运算部30,该比较数据运算部30从测定结果获取过去的距离数据,并转换成比较距离数据;变化区域提取部40,该变化区域提取部40对当前距离数据与比较距离数据的差分值进行计算,提取该差分值大于等于阈值的变化区域;坐标转换部80,该坐标转换部80生成如下图像,所述图像由对于基于当前距离数据和变化区域提取部40提取的变化区域的正面视点图像,以使其成为使三维激光扫描器10的视点移动的图像的方式进行转换而得到;以及对象物识别部120,该对象物识别部120基于正面视点图像及坐标转换部80生成的图像,对监视区域中所存在的多个物体进行识别,因此不进行三维标记就能够识别对象物。
实施方式2.
实施方式1中,标签分割部110利用示出带标签转换后变化区域的正上方视点图像的信息来重新赋予标签号码,以使得赋予带标签变化区域中所包含的各网格的标签号码成为针对每个对象物201相同的标签号码。
本实施方式2中,对如下实施方式进行说明:标签分割部110a对于变化区域中所包含的各网格,未提前进行标记处理,对于未赋予标签号码的变化区域中所包含的各网格,利用示出带标签转换后变化区域的正上方视点图像的信息来进行标签号码的赋予。
图23是示出本发明的实施方式2所涉及的监视装置1000a的结构的框图。
图23中,对于与实施方式1中利用图1所说明的监视装置1000相同的结构标注相同的标号并省略重复的说明。
实施方式2所涉及的监视装置1000a与实施方式1所涉及的监视装置1000在不具备正面图像标记部100这一点上是不同的。另外,实施方式2所涉及的监视装置1000a的标签分割部110a的动作与实施方式1所涉及的监视装置1000的标签分割部110的动作不同。
另外,本实施方式2中,若正面图像生成部70基于变化区域提取部40提取出的变化区域的信息来生成正面视点图像,则将该正面视点图像的信息输出至坐标转换部80和标签分割部110a。
另外,即使在本实施方式2中,也可以不具备正面图像生成部70,而对当前数据和变化区域提取部40提取出的变化区域的信息进行汇总以视为正面视点图像。该情况下,例如,变化区域提取部40将当前数据和变化区域的信息输出至坐标转换部80和标签分割部110a,坐标转换部80和标签分割部110a对变化区域提取部40输出的当前数据和变化区域的信息进行汇总以作为正面视点图像,并基于该正面视点图像来动作。
本实施方式2所涉及的监视装置1000a的硬件结构与在实施方式1中利用图22A、图22B所说明的结构相同,因此省略重复的说明。
图24是示出实施方式2所涉及的监视装置1000a的动作的流程图。
图24的步骤ST2401~2411、步骤ST2413~2417的动作,分别与实施方式1中使用图20所说明的步骤ST2001~2010、2012、步骤ST2014~2418的动作相同,因此省略重复的说明。
对于本实施方式2所涉及的监视装置1000a的动作,仅在实施方式1中所说明的图20的步骤ST2013的动作变成为步骤ST2412的动作这点上不同。因此,仅对与实施方式1不同的步骤ST2412的、标签分割部110a的动作进行以下说明。
标签分割部110a基于正上方视点图像的信息和正面视点图像的信息,对变换区域中所包含的各网格赋予每个对象物201的标签号码(步骤ST2412),上述正上方视点图像示出在步骤ST2411中从正上方图像标记部90输出的带标签转换后变化区域,上述正面视点图像在步骤ST2407中由正面图像生成部70输出而得到。
利用附图对步骤ST2412中的标签分割部110a的动作进行详细说明。
例如,设基于步骤ST2411中从正上方图像标记部90输出的信息的正上方视点图像的形象为图13所示那样的正上方视点图像的形象,基于步骤ST2407中从正面图像生成部70输出的信息的正面视点图像的形象为图9所示那样的正面视点图像的形象,进行以下说明。
标签分割部110a对示出带标签转换后变化区域的正上方视点图像和示出变化区域的正面视点图像进行比较。
如图13所示那样,示出带标签转换后变化区域的正上方视点图像中,转换后变化区域内的网格中、对象A301所包含的网格(参照图13的1302)与对象B302所包含的网格(参照图13的1301)分开,标注有不同的标签号码“1”或“2”。
另一方面,如图9所示那样,示出变化区域的正面视点图像中,作为变化区域901而被提取出的、对象A301所包含的网格与对象B302所包含的网格并未分离。另外,如图9所示那样的正面视点图像中,由于未进行标记,因此对各网格未赋予标签号码。
标签分割部110a在使X轴一致的状态下对示出带标签转换后变化区域的正上方视点图像、与示出未进行标记的变化区域的正面视点图像进行比较,基于赋予在带标签转换后变化区域中所包含的各网格的标签号码,使在变化区域901中所包含的各网格中混合的、对象A301所包含的网格与对象B302所包含的网格分开,并重新赋予每个对象物201的标签号码。
图25及图26是用于说明实施方式2中标签分割部110a对在未进行标记的变化区域中所包含的各网格赋予标签号码的具体的动作的图。
图25A及图26A示出了示出带标签转换后变化区域1301、1302的正上方视点图像。图25A及图26A中,对带标签转换后变化区域1301、1302中所包含的各网格附记由正上方图像标记部90赋予的标签号码。
另外,图25B为示出变化区域901的正面视点图像,对变化区域901中所包含的各网格,将当前数据与比较数据的距离差作为数字进行附记。
另外,图26B为示出标签分割部110a赋予了标签号码后的变化区域901的正面视点图像,对变化区域901中所包含的各网格赋予标签分割部110a赋予的标签号码。
首先,如图25所示那样,标签分割部110a根据正上方视点图像(图25A),对对象A301的、X轴方向的两端的位置与对象B302的、X轴方向的两端的位置进行判别。该对象A301的两端的位置、与对象B302的两端的位置能够根据标注在带标签转换后变化区域1301、1302的网格的标签号码来进行判别。
另外,图25A中,对象A301所包含的网格为标注有标签号码“2”的网格(参照图25A的1302),对象B302所包含的网格为标注有标签号码“1”的网格(参照图25A的1301)。
标签分割部110a分别通过正上方视点图像上判别出的对象A301的两端的位置、与对象B302的两端的位置,来设定与X轴垂直相交的直线。
此处,设定有沿X轴分别通过对象A301的左端、对象A301的右端、对象B302的左端、或对象B302的右端的四条直线。图25中分别由A左虚线2501、A右虚线2502、B左虚线2503及B右虚线2504示出了该四条直线。另外,此处,A右虚线2502和B左虚线2503重叠。
并且,标签分割部110a还分别将在正上方视点图像上设定的A左虚线2501、A右虚线2502、B左虚线2503及B右虚线2504设定在正面视点图像(图25B)上,以使得设定在与正上方视点图像上的X轴的位置相同的位置。
如图9所示那样,对变化区域901内的任意的网格也未赋予标签号码,对象A301所包含的网格与对象B302所包含的网格并未分离。然而,根据设定于正面视点图像上的直线,即使在上述的变化区域901内,也能够分别对对象A301所包含的网格、与对象B302所包含的网格的位置进行判别。
如图25B所示那样,标签分割部110a按照A左虚线2501、A右虚线2502、B左虚线2503及B右虚线2504,使变化区域901内的网格分开为对象A301所包含的网格与对象B302所包含的网格,并赋予标签号码以针对每个对象物201赋予不同的标签号码。
此处,如图26B所示,标签分割部110a使赋予在变化区域2601中所包含的网格的标签号码与赋予在带标签转换后变化区域1301、1302的网格的标签号码匹配。具体而言,标签分割部110a重新赋予标签号码,以使得对象A301所包含的网格的标签号码成为“2”、对象B302所包含的网格的标签号码成为“1”。
另外,这仅仅是一个示例,对于标签分割部110a基于赋予在带标签转换后变化区域1301、1302中所包含的网格的标签号码所判别出的、不同的多个对象物201所包含的网格,针对所包含的每个对象物201重新赋予标签号码即可。
标签分割部110a将赋予了赋予在各网格的标签号码的变化区域设为确定带标签变化区域,并将示出该确定带标签变化区域的正面视点图像的信息输出至对象物识别部120。
对象物识别部120基于示出从标签分割部110a输出的确定带标签变化区域的正面视点图像的信息,来识别三维激光扫描器10的视野中存在的对象物201(步骤ST2413)。
具体的动作与如实施方式1中所说明的图20的步骤ST2014相同因此省略详细的说明,但对象物识别部120在该步骤ST2413中,设定费雷特径,以使得包含相同对象物201所包含的网格。
图27是示出实施方式2中对象识别部120对确定带标签变化区域的网格设定了费雷特径的一个示例的图。
另外,图27中示出了示出设定有费雷特径的确定带标签变化区域的正面视点图像的形象。
如图27所示那样,对象物识别部120对于赋予了标签号码“1”的网格、与标注有标签号码“2”的网格分别设定外接矩形,并设定第一费雷特径2701及第二费雷特径2702。此处,将赋予了标签号码“1”的网格的外接矩形作为第一费雷特径2701,将赋予了标签号码2的网格的外接矩形作为第二费雷特径2702。即,对象A301所包含的网格作为第二费雷特径2702、对象B302所包含的网格作为第一费雷特径2701而分开。
对象物识别部120将赋予了第一费雷特径2701及第二费雷特径2702的信息的确定带标签变化区域作为识别对象区域,并将示出该识别对象区域的正面视点图像的信息输出至识别处理部50。
如上所述,实施方式1中通过正面图像标记部100与正上方图像标记部90,实施两次标记处理,与之相对,本实施方式2中仅进行由正上方图像标记部90所进行的标记处理。即,省略由正面图像标记部100所进行的标记处理,相对于变化区域提取部40输出的变化区域的信息中所包含的各网格,标签分割部110a直接赋予标签标号。由此,无需考虑变化区域所包含的各网格的领接条件就可进行标记,因此不能去除原本应该孤立而被无视的噪声性变化区域,可能导致费雷特径内部包含有该噪声的变化区域的网格,但能使运算量变为最小。
如上所述,根据本实施方式2,具备:正上方图像标记部90,该正上方图像标记部90将坐标转换部80所生成的正上方视点图像中示出的变化区域中所包含的各像素中、相邻的像素汇总作为一个集合体,针对每个该集合体赋予标签;以及标签分割部110a,该标签分割部110a使用正上方图像标记部90所赋予的标签,对正面视点图像中示出的变化区域中所包含的各像素赋予每个物体的标签,对象物识别部120构成为基于标签分割部110a所赋予的标签,对监视区域中存在的多个物体进行识别,因此对于变化区域中所包含的网格,暂时进行标记处理并赋予标签号码后,与进行标签号码的变更以使其成为每个对象物201的标签号码的情况相比,能进一步抑制运算量,并能使用距离差来识别对象物,且不进行三维标记。
另外,以上的实施方式1、2中,示出坐标转换部80进行变化区域的坐标转换而生成的转换后变化区域的图像为对于正面视点图像以使其成为使三维激光扫描器10的视点向正上方方向的视点移动的图像的方式进行转换而得的图像(正上方视点图像)。
然而,并不限于此,示出坐标转换部80进行变化区域的坐标转换而生成的转换后变化区域的图像也可以为对于正面视点图像以使其成为使三维激光扫描器10的视点向正下方方向的视点移动的图像的方式进行转换而得的图像(正下方视点图像)。
该情况下,正上方图像标记部90基于示出从坐标转换部80输出的转换后变化区域的正下方视点图像的信息,进行转换后变化区域中所包含的各网格的标记。
另外,本发明申请可以在其发明的范围内对各实施方式进行自由组合,或对各实施方式的任意构成要素进行变形,或省略各实施方式中的任意的构成要素。
工业上的实用性
本发明所涉及的监视装置无需进行三维标记就可以识别对象物,因此能够应用于例如识别监视区域中存在的对象物的监视装置等。
标号说明
10 三维激光扫描器、
11 激光发光单元、
12 激光脉冲、
13 分散机构、
14 分散激光脉冲、
15 激光反射光、
16 激光受光单元、
17 点组数据、
20 当前数据运算部、
21 当前数据存储部、
30 比较数据运算部、
31 比较数据存储部、
40 变化区域提取部、
50 识别处理部、
60 通知处理部、
70 正面图像生成部、
80 坐标转换部、
90 正上方图像标记部、
100 正面图像标记部、
110、110a 标签分割部、
120 对象物识别部、
200 背景、
201 对象物、
300 PC、
301 对象A、
302 对象B、
303 地板、
304 空白网格、
1000、1000a 监视装置、
2201 处理电路、
2202 HDD、
2203 输入接口装置、
2204 输出接口装置、
2205 存储器、
2206 CPU。

Claims (6)

1.一种监视装置,其特征在于,包括:
当前数据运算部,该当前数据运算部从测定出监视区域的三维激光扫描器的测定结果中分别获取到所述监视区域中所存在的多个物体为止的距离数据,以作为当前距离数据;
比较数据运算部,该比较数据运算部从所述测定结果中获取过去的所述距离数据,并转换成比较距离数据;
变化区域提取部,该变化区域提取部对所述当前距离数据与所述比较距离数据的差分值进行计算,提取该差分值大于等于阈值的变化区域;
坐标转换部,该坐标转换部生成如下图像,该图像通过对基于所述当前距离数据和所述变化区域提取部提取的变化区域的正面视点图像,以使其成为使所述三维激光扫描器的视点向正上方方向或正下方方向移动的图像的方式进行转换而得到;以及
对象物识别部,该对象物识别部基于所述正面视点图像和所述坐标转换部生成的图像,对所述监视区域中存在的多个物体进行识别。
2.如权利要求1所述的监视装置,其特征在于,
所谓通过对所述正面视点图像以使其成为使所述三维激光扫描器的视点移动的图像的方式进行转换而得的图像,是指通过对所述正面视点图像以使其成为使所述三维激光扫描器的视点向正上方方向移动的图像的方式进行转换而得的正上方视点图像。
3.如权利要求1所述的监视装置,其特征在于,
所谓通过对所述正面视点图像以使其成为使所述三维激光扫描器的视点移动的图像的方式进行转换而得的图像,是指通过对所述正面视点图像以使其成为使所述三维激光扫描器的视点向正下方方向移动的图像的方式进行转换而得的正下方视点图像。
4.如权利要求1所述的监视装置,其特征在于,包括:
正上方图像标记部,该正上方图像标记部对在所述坐标转换部生成的图像中示出的变化区域中所包含的各像素中相邻的像素进行汇总,以作为一个集合体,并针对每个该集合体赋予标签;以及
标签分割部,该标签分割部使用所述正上方图像标记部赋予的标签,对在所述正面视点图像中示出的变换区域中所包含的各像素赋予每个所述物体的标签,
所述对象物识别部基于所述标签分割部赋予的标签,对所述监视区域中存在的多个物体进行识别。
5.如权利要求4所述的监视装置,其特征在于,
还包括正面图像标记部,该正面图像标记部对在所述正面视点图像中示出的变化区域中所包含的各像素中相邻的像素进行汇总,以作为一个集合体,并针对每个该集合体赋予标签,
所述标签分割部使用所述正上方图像标记部赋予的标签,对所述正面图像标记部赋予所述正面视点图像中示出的变化区域中所包含的各像素的标签重新赋予所述标签,以使得成为每个所述物体的标签,
所述对象物识别部基于所述标签分割部重新赋予的标签,对所述监视区域中存在的多个物体进行识别。
6.如权利要求1所述的监视装置,其特征在于,
所述坐标转换部对在所述正面视点图像中示出的变化区域的坐标,以X轴为基准进行所述距离数据与Y轴上的坐标值的坐标转换,从而生成所述图像。
CN201780085294.4A 2017-02-06 2017-12-13 监视装置 Active CN110291557B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-019471 2017-02-06
JP2017019471 2017-02-06
PCT/JP2017/044755 WO2018142779A1 (ja) 2017-02-06 2017-12-13 監視装置

Publications (2)

Publication Number Publication Date
CN110291557A CN110291557A (zh) 2019-09-27
CN110291557B true CN110291557B (zh) 2023-06-06

Family

ID=63039533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780085294.4A Active CN110291557B (zh) 2017-02-06 2017-12-13 监视装置

Country Status (5)

Country Link
US (1) US11393185B2 (zh)
EP (1) EP3579181B1 (zh)
JP (1) JP6599031B2 (zh)
CN (1) CN110291557B (zh)
WO (1) WO2018142779A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019037129A1 (en) * 2017-08-25 2019-02-28 Beijing Didi Infinity Technology And Development Co., Ltd. METHODS AND SYSTEMS FOR DETECTING ENVIRONMENTAL INFORMATION OF A VEHICLE

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997337A (ja) * 1995-09-29 1997-04-08 Fuji Heavy Ind Ltd 侵入物監視装置
CN1444009A (zh) * 2002-03-13 2003-09-24 欧姆龙株式会社 监视装置
JP2007122508A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2012215555A (ja) * 2011-03-30 2012-11-08 Advanced Telecommunication Research Institute International 計測装置,計測方法および計測プログラム
CN102842028A (zh) * 2011-03-22 2012-12-26 富士重工业株式会社 车外监视装置及车外监视方法
CN104115203A (zh) * 2012-03-01 2014-10-22 日产自动车株式会社 立体物检测装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4445763B2 (ja) 2004-01-30 2010-04-07 セコム株式会社 画像生成装置及び侵入者監視装置
JP3941790B2 (ja) * 2004-04-08 2007-07-04 石川島播磨重工業株式会社 移動物体検出装置及び方法
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
JP6309099B2 (ja) 2014-07-03 2018-04-11 三菱電機株式会社 監視装置
WO2016199244A1 (ja) * 2015-06-10 2016-12-15 株式会社日立製作所 物体認識装置及び物体認識システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997337A (ja) * 1995-09-29 1997-04-08 Fuji Heavy Ind Ltd 侵入物監視装置
CN1444009A (zh) * 2002-03-13 2003-09-24 欧姆龙株式会社 监视装置
JP2007122508A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
CN102842028A (zh) * 2011-03-22 2012-12-26 富士重工业株式会社 车外监视装置及车外监视方法
JP2012215555A (ja) * 2011-03-30 2012-11-08 Advanced Telecommunication Research Institute International 計測装置,計測方法および計測プログラム
CN104115203A (zh) * 2012-03-01 2014-10-22 日产自动车株式会社 立体物检测装置

Also Published As

Publication number Publication date
US11393185B2 (en) 2022-07-19
CN110291557A (zh) 2019-09-27
EP3579181A4 (en) 2020-02-12
EP3579181A1 (en) 2019-12-11
JP6599031B2 (ja) 2019-10-30
JPWO2018142779A1 (ja) 2019-06-27
EP3579181B1 (en) 2023-06-07
US20190347502A1 (en) 2019-11-14
WO2018142779A1 (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
CN107532885B (zh) 光图案中的强度变化用于体积中的物体的深度绘制
US9117281B2 (en) Surface segmentation from RGB and depth images
US10648795B2 (en) Distance measuring apparatus and distance measuring method
US8649025B2 (en) Methods and apparatus for real-time digitization of three-dimensional scenes
CN109542276B (zh) 一种触控点识别方法及装置和显示设备
JP6781432B2 (ja) 電波伝搬シミュレーションモデルの作成方法、作成システム、作成装置および作成プログラム
CN113785331A (zh) 点云数据处理装置、点云数据处理方法以及程序
CN113888458A (zh) 用于对象检测的方法和系统
JP2019185730A (ja) 画像処理装置、画像処理方法及びプログラム
US7477775B2 (en) Microscope system
EP3779882B1 (en) Providing intensity peak position in image data from light triangulation in a three-dimensional imaging system
JP7128568B2 (ja) 監視装置
CN110291557B (zh) 监视装置
CN114467111B (zh) 物体识别方法及物体识别装置
JP6758152B2 (ja) 監視用画像処理装置および監視装置
EP4352451A1 (en) Texture mapping to polygonal models for industrial inspections
JP2021156882A (ja) 距離測定データの取得
JP7340434B2 (ja) 配筋検査システム、配筋検査方法、及び配筋検査プログラム
JP7054989B2 (ja) 監視装置
US20210389460A1 (en) Image processing device, control program, and image processing method
JPH024028B2 (zh)
JP6756448B2 (ja) 監視装置
JP2000230815A (ja) 光学式3次元計測装置、及び光学式3次元計測方法
US11699245B1 (en) Feature describing the shape of spatially distributed data set
Rodrigues et al. Analytical Change Detection on the KITTI dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant