CN112611360B - 物体检测装置、车辆及物体检测处理方法 - Google Patents

物体检测装置、车辆及物体检测处理方法 Download PDF

Info

Publication number
CN112611360B
CN112611360B CN202011065160.6A CN202011065160A CN112611360B CN 112611360 B CN112611360 B CN 112611360B CN 202011065160 A CN202011065160 A CN 202011065160A CN 112611360 B CN112611360 B CN 112611360B
Authority
CN
China
Prior art keywords
detection device
axis
coordinate system
object detection
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011065160.6A
Other languages
English (en)
Other versions
CN112611360A (zh
Inventor
石崎将崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Publication of CN112611360A publication Critical patent/CN112611360A/zh
Application granted granted Critical
Publication of CN112611360B publication Critical patent/CN112611360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/15—Fork lift trucks, Industrial trucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Civil Engineering (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Electromagnetism (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

本发明的课题在于减轻处理负荷。本发明涉及一种物体检测装置、搭载有物体检测装置的车辆及利用物体检测装置进行的物体检测处理方法。叉车中搭载有物体检测装置。物体检测装置从立体相机进行拍摄所得的图像获取视差图像，并从视差图像导出世界坐标系中的物体的坐标。物体检测装置在世界坐标系的XY平面中，提取存在于各区块的物体中最靠近叉车的附近物体，所述世界坐标系的XY平面是以第1区块位于正面区域且第2区块位于转弯区域的方式划分。第1区块的沿着世界坐标系的Y轴的尺寸比沿着世界坐标系的X轴的尺寸长。第2区块的沿着世界坐标系的Y轴的尺寸比沿着世界坐标系的X轴的尺寸短。物体检测装置将世界坐标系中的附近物体的坐标转换成由相机拍摄到的图像上的坐标，对该坐标进行人检测处理。由此，判定附近物体是否是人。

Description

物体检测装置、车辆及物体检测处理方法
技术领域
本发明涉及一种物体检测装置、搭载有物体检测装置的车辆及利用物体检测装置进行的物体检测处理方法。
背景技术
车辆中搭载有用来检测人或障碍物等物体的物体检测装置。专利文献1记载的物体检测装置将摄像装置的图像分割成多个区域，以各区域为对象提取识别处理对象图像。物体检测装置对识别处理对象图像进行人检测处理。识别处理对象图像的提取基于亮度梯度或霍夫转换(Hough transform)等进行。
[背景技术文献]
[专利文献]
[专利文献1]日本专利特开2017-151815号公报
发明内容
[发明所要解决的问题]
专利文献1中，进行人检测处理的区域较大而物体检测装置的处理负荷较大。
本发明的目的在于提供一种能够减轻处理负荷的物体检测装置。
[解决问题的技术手段]
解决所述问题的物体检测装置搭载在车辆上，且具备：物体提取部，在实际空间上的坐标系即世界坐标系中，提取表示物体的一部分的点的集合即点群作为所述物体，所述世界坐标系将水平方向中沿所述车辆的车宽方向延伸的轴作为X轴，将水平方向中与所述X轴正交的轴作为Y轴；附近物体提取部，在所述世界坐标系的XY平面中，针对第1区块及第2区块中的每一个区块提取存在于各区块的所述物体中最靠近所述车辆的所述物体即附近物体，所述世界坐标系的XY平面以如下方式划分，即，所述第1区块位于在所述Y轴延伸的方向上与所述车辆相对的正面区域，所述第2区块在所述Y轴延伸的方向上排列多个且位于在所述X轴延伸的方向上与所述正面区域相邻的转弯区域，其中，所述第1区沿着所述Y轴的尺寸比沿着所述X轴的尺寸长，所述第2区块沿着所述Y轴的尺寸比沿着所述X轴的尺寸短；坐标转换部，将所述世界坐标系中的所述附近物体的坐标转换成由相机拍摄到的图像上的坐标；及人判定部，进行人检测处理，所述人检测处理是对所述图像上的所述附近物体的坐标判定所述附近物体是否是人的处理。
当车辆直线行进时，车辆沿Y轴延伸的方向通过正面区域。通过以第1区块位于正面区域的方式划分XY平面，判定第1区块的附近物体是否是人，物体检测装置能够在车辆直线行进时检测出是否存在阻碍车辆行进的人。也就是说，针对车辆直线行进时要通过的路径，检测车辆的前后是否存在人。当车辆转弯时，车辆在与X轴及Y轴交叉的方向上通过转弯区域。因此，当车辆转弯时，必须能够检测在X轴延伸的方向及Y轴延伸的方向这两个方向上是否均有人。关于转弯区域，以多个第2区块位于Y轴延伸的方向上的方式划分XY平面，判定第2区块的附近物体是否是人，由此，物体检测装置能够在车辆转弯时检测出是否存在可能阻碍车辆行进的人。也就是说，针对车辆转弯时会通过的路径，检测在车辆的前后左右是否存在人。像这样，以与车辆要通过的路径一致的区块位于其中的方式划分XY平面，能够检测出可能阻碍车辆行进的人。通过将世界坐标系中的附近物体的坐标转换成由相机拍摄到的图像上的坐标，对图像上的坐标进行人检测处理，与对整个图像进行人检测处理的情况相比，进行人检测处理的区域较少，能够减轻物体检测装置的处理负荷。
所述物体检测装置也可以为如下，即，在所述世界坐标系中，以沿所述X轴延伸的方向排列的多个所述第1区块位于所述正面区域的方式划分所述正面区域。
通过将正面区域以多个第1区块位于其中的方式划分，可针对多个第1区块中的每一个区块提取附近物体。与使正面区域为1个第1区块的情况相比，可精细地判定正面区域中是否存在人。
所述物体检测装置也可以为如下，即，所述物体提取部包含：视差图像获取部，从立体相机进行拍摄所得的图像获取将视差与各像素相关联所得的视差图像；及坐标导出部，从所述视差图像导出所述世界坐标系中的所述点的坐标；且所述坐标转换部将所述世界坐标系中的所述附近物体的坐标转换成由作为所述相机的所述立体相机拍摄到的图像上的坐标。
视差图像从由立体相机拍摄到的图像获得。因此，从视差图像获得的世界坐标系中的坐标与图像上的坐标可相互转换。因此，通过使用由立体相机拍摄到的图像导出图像上的附近物体的坐标，可使图像上的附近物体的坐标的精度提高。
所述物体检测装置也可以为如下，即，对能够进行所述人检测处理的所述附近物体的数量设定有上限，且所述人判定部对所述第1区块的所述附近物体进行所述人检测处理之后，从靠近所述车辆的所述第2区块的所述附近物体起依次进行所述人检测处理。
通过对进行人检测处理的附近物体的数量设定上限，可抑制人检测处理所需的时间变得过长。
解决所述问题的车辆是搭载有所述任一项记载的物体检测装置的车辆。
所述车辆也可以为叉车。
解决所述问题的物体检测处理方法利用搭载于车辆的物体检测装置来进行，且包括下述步骤：利用所述物体检测装置的物体提取部，在实际空间上的坐标系即世界坐标系中，提取表示物体的一部分的点的集合即点群作为所述物体，所述世界坐标系将水平方向中沿所述车辆的车宽方向延伸的轴作为X轴，将水平方向中与所述X轴正交的轴作为Y轴；利用所述物体检测装置的附近物体提取部，在所述世界坐标系的XY平面中，针对第1区块及第2区块中的每一个区块提取存在于各区块的所述物体中最靠近所述车辆的所述物体即附近物体，所述世界坐标系的XY平面以如下方式划分：所述第1区块位于在所述Y轴延伸的方向上与所述车辆相对的正面区域，所述第2区块在所述Y轴延伸的方向上排列多个且位于在所述X轴延伸的方向上与所述正面区域相邻的转弯区域，其中，所述第1区沿着所述Y轴的尺寸比沿着所述X轴的尺寸长，所述第2区块沿着所述Y轴的尺寸比沿着所述X轴的尺寸短；利用所述物体检测装置的坐标转换部，将所述世界坐标系中的所述附近物体的坐标转换成由相机拍摄到的图像上的坐标；以及利用所述物体检测装置的人判定部进行人检测处理，所述人检测处理是对所述图像上的所述附近物体的坐标判定所述附近物体是否是人的处理。
所述物体检测处理方法也可以为如下，即，在所述世界坐标系中，以沿所述X轴延伸的方向排列的多个所述第1区块位于所述正面区域的方式划分所述正面区域。
所述物体检测处理方法也可以为如下，即，所述物体提取步骤包括下述步骤：利用所述物体提取部的视差图像获取部，从立体相机进行拍摄所得的图像获取将视差与各像素相关联所得的视差图像；以及利用所述物体提取部的坐标导出部，从所述视差图像导出所述世界坐标系中的所述点的坐标；且所述坐标转换部将所述世界坐标系中的所述附近物体的坐标转换成由作为所述相机的所述立体相机拍摄到的图像上的坐标。
所述物体检测处理方法也可以为如下，即，对能够进行所述人检测处理的所述附近物体的数量设定有上限，且所述人判定部对所述第1区块的所述附近物体进行所述人检测处理之后，从靠近所述车辆的所述第2区块的所述附近物体起依次进行所述人检测处理。
[发明的效果]
根据本发明，能够减轻处理负荷。
附图说明
图1是搭载物体检测装置的叉车的立体图。
图2是叉车及监视装置的概略构成图。
图3是表示第1图像的图。
图4是表示物体检测装置进行的物体检测处理的流程图。
图5是表示中央区域处理的流程图。
图6是表示XY平面的物体位置的图。
图7是示意性地表示被分割成多个区块的XY平面的图。
图8是用来说明第1图像中进行人检测处理的区域的图。
图9是用来说明物体检测处理的变化例的图。
具体实施方式
以下，对物体检测装置的一实施方式进行说明。
如图1所示，作为车辆的叉车10具备车体11、配置在车体11的前下部的驱动轮12、配置在车体11的后下部的转向轮14及装卸装置16。车体11具备设置在驾驶座上部的护顶架(head guard)15。本实施方式的叉车10通过搭乘者的操作来进行行驶动作及装卸动作。
如图2所示，叉车10具备主控制器20、行驶用马达M1、控制行驶用马达M1的行驶控制装置23及车速传感器24。主控制器20进行与行驶动作及装卸动作相关的控制。主控制器20具备CPU(Central Processing Unit，中央处理器)21、及存储着用来进行各种控制的程序等的存储部22。主控制器20也可以具备执行各种处理中至少一部分处理的专用硬件、也就是适于特定用途的集成电路：ASIC(Application Specific Integrated Circuit，特殊应用集成电路)。作为处理电路的主控制器20可包含根据计算机程序动作的1个以上的处理器、ASIC等1个以上的专用硬件电路或它们的组合。处理器包含CPU、以及RAM(RandomAccess Memory，随机存取存储器)及ROM(Read-Only Memory，只读存储器)等存储器。存储器存储着构成为使CPU执行处理的程序代码或指令。存储器、也就是计算机可读介质包含可由通用或专用的计算机访问的所有可利用的介质。
主控制器20的CPU21对行驶控制装置23赋予行驶用马达M1的转速的指令，以使叉车10的车速达到目标车速。本实施方式的行驶控制装置23是马达驱动器。本实施方式的车速传感器24是检测行驶用马达M1的转速的转速传感器。车速传感器24将行驶用马达M1的转速输出至行驶控制装置23。行驶控制装置23基于来自主控制器20的指令，以行驶用马达M1的转速与指令一致的方式控制行驶用马达M1。
叉车10中搭载着监视装置30。监视装置30具备作为相机的立体相机31、及根据由立体相机31拍摄到的图像进行物体检测的物体检测装置41。立体相机31配置成能够从叉车10的上方俯视叉车10行驶的路面。本实施方式的立体相机31拍摄叉车10的后方。因此，物体检测装置41检测的物体成为叉车10后方的物体。如图1所示，立体相机31例如配置在护顶架15。
如图2所示，立体相机31具备第1相机32与第2相机33。作为第1相机32及第2相机33，例如使用CCD(Charge Coupled Device，电荷耦合器件)影像传感器或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)影像传感器。第1相机32及第2相机33是以彼此的光轴平行的方式配置。本实施方式中，第1相机32及第2相机33彼此沿水平方向排列配置。如果将由第1相机32拍摄到的图像作为第1图像，将由第2相机33拍摄到的图像作为第2图像，那么在第1图像与第2图像中，同一物体显现成在横向上偏移。详细来说，拍摄同一物体时，对于第1图像中拍摄到的物体与第2图像中拍摄到的物体，横向的像素[px]会产生与第1相机32和第2相机33之间的距离对应的偏移。第1图像及第2图像是像素数相同，例如使用640×480[px]＝VGA的图像。第1图像及第2图像是以RGB信号表示的图像。
物体检测装置41具备CPU42、及由RAM及ROM等构成的存储部43。存储部43中存储着用来从立体相机31所拍摄到的图像检测物体的各种程序。物体检测装置41也可以具备执行各种处理中至少一部分处理的专用硬件、也就是适于特定用途的集成电路：ASIC。作为处理电路的物体检测装置41可包含根据计算机程序动作的1个以上的处理器、ASIC等1个以上的专用硬件电路或它们的组合。处理器包含CPU、以及RAM及ROM等存储器。存储器存储着构成为使CPU执行处理的程序代码或指令。存储器、也就是计算机可读介质包含可由通用或专用的计算机访问的所有可利用的介质。
以下，对利用物体检测装置41进行的物体检测处理进行说明。物体检测处理例如在叉车10为启动状态时且叉车10后退时以指定的控制周期反复进行。启动状态是指能够使叉车10进行行驶动作及装卸动作的状态。
在以下的说明中，作为一例，对已利用立体相机31拍摄图3所示的环境时的物体检测处理进行说明。图3是通过拍摄叉车10的后方而获得的第1图像I1。根据第1图像I1可掌握到，在叉车10的后方存在人或人以外的物体。此外，为了便于说明，将物体所存在的第1图像I1上的坐标以框AA表示，但在实际的第1图像I1中不存在框AA。
如图4所示，在步骤S1中，物体检测装置41从由立体相机31拍摄到的影像中获取同一帧的第1图像I1及第2图像。
接着，在步骤S2中，物体检测装置41通过进行立体处理来获取视差图像。视差图像是使视差[px]与像素相关联所得的图像。视差通过将第1图像I1与第2图像进行比较并对各图像中拍摄到的同一特征点算出第1图像I1与第2图像的像素数的差来获得。此外，特征点是指物体的边缘等能够以边界的形式辨识的部分。特征点可根据亮度信息等进行检测。
物体检测装置41使用暂时存储各图像的RAM，进行从RGB向YCrCb的转换。此外，物体检测装置41也可以进行失真校正、边缘加强处理等。物体检测装置41进行立体处理，所述立体处理是将第1图像I1的各像素与第2图像的各像素的相似度进行比较而算出视差。此外，作为立体处理，可以使用针对每一个像素算出视差的方法，也可以使用将各图像分割成包含多个像素的区块并算出每一个区块的视差的区块匹配法。物体检测装置41将第1图像I1作为基准图像，将第2图像作为比较图像而获取视差图像。物体检测装置41针对第1图像I1的每一个像素提取最相似的第2图像的像素，算出第1图像I1的像素和与该像素最相似的像素的横向的像素数的差作为视差。由此，能够获取视差与作为基准图像的第1图像I1的各像素相关联所得的视差图像。视差图像不一定需要显示，而是表示视差与视差图像中的各像素相关联所得的数据。此外，物体检测装置41也可以进行从视差图像中去除路面的视差的处理。通过进行步骤S2的处理，物体检测装置41成为视差图像获取部。
接着，在步骤S3中，物体检测装置41导出世界坐标系中的特征点的坐标。首先，物体检测装置41导出相机坐标系中的特征点的坐标。相机坐标系是将光轴作为Z轴，将与光轴正交的2个轴分别作为X轴、Y轴的3轴正交坐标系。相机坐标系中的特征点的坐标可由相机坐标系中的Z坐标Zc、X坐标Xc及Y坐标Yc表示。Z坐标Zc、X坐标Xc及Y坐标Yc可分别使用以下的(1)式～(3)式而导出。
[数式1]
Figure BDA0002713538770000061
[数式2]
Figure BDA0002713538770000071
[数式3]
Figure BDA0002713538770000072
(1)式～(3)式中的B是基线长度[mm]，f是焦距[mm]，d是视差[px]。xp是视差图像中的任意的X坐标，x'是视差图像的中心坐标的X坐标。yp是视差图像中的任意的Y坐标，y'是视差图像的中心坐标的Y坐标。
将xp设为视差图像中的特征点的X坐标，将yp设为视差图像中的特征点的Y坐标，将d设为与特征点的坐标相关联的视差，由此，导出相机坐标系中的特征点的坐标。
此处，将3轴正交坐标系设为实际空间上的三维坐标系即世界坐标系，所述3轴正交坐标系是将水平方向中沿叉车10的车宽方向延伸的轴作为X轴，将水平方向中沿与X轴正交的方向延伸的轴作为Y轴，将与X轴及Y轴正交的轴作为Z轴。世界坐标系的Y轴也可以称为沿叉车10的行进方向即叉车10的前后方向延伸的轴。世界坐标系的Z轴也可以称为沿铅直方向延伸的轴。世界坐标系中的特征点的坐标可由世界坐标系中的X坐标Xw、Y坐标Yw及Z坐标Zw表示。
物体检测装置41进行使用以下的(4)式将相机坐标转换成世界坐标的世界坐标转换。
[数式4]
Figure BDA0002713538770000073
此处，(4)式中的H是世界坐标系中的立体相机31的设置高度[mm]，θ是第1相机32及第2相机33的光轴与水平面所成的角+90°的角度。
利用世界坐标转换获得的世界坐标中，X坐标Xw表示在叉车10的车宽方向上的从叉车10到特征点的距离。Y坐标Yw表示在叉车10的行进方向上的从叉车10到特征点的距离。Z坐标Zw表示从路面到特征点的高度。特征点是表示物体的一部分的点。通过进行步骤S3的处理，物体检测装置41成为坐标导出部。
接着，在步骤S4中，物体检测装置41提取存在于世界坐标系中的物体。物体检测装置41将表示物体的一部分的多个特征点中假定表示同一物体的特征点的集合作为1个点群，提取该点群作为物体。例如，物体检测装置41进行聚类(cluster)，所述聚类是根据步骤S3中导出的特征点的世界坐标，将位于指定范围内的特征点视为1个点群。物体检测装置41将经聚类的点群视为1个物体。此外，步骤S4中进行的特征点的聚类可利用各种方法进行。通过进行步骤S1～步骤S4的处理，物体检测装置41成为提取存在于世界坐标系中的物体的物体提取部。物体提取部包含视差图像获取部及坐标导出部。
接着，在步骤S5中，物体检测装置41导出步骤S4中所提取的物体的位置。此外，物体的位置是指世界坐标系的XY平面中的物体的坐标。通过进行步骤S5的处理，如图6所示，可导出世界坐标系的XY平面上的物体O的坐标。物体检测装置41可根据构成经聚类的点群的特征点的世界坐标辨识物体O的世界坐标。例如，可以将经聚类的点群中位于端缘的多个特征点的X坐标Xw、Y坐标Yw及Z坐标Zw作为物体O的X坐标Xw、Y坐标Yw及Z坐标Zw，也可以将成为点群的中心的特征点的X坐标Xw、Y坐标Yw及Z坐标Zw作为物体的X坐标Xw、Y坐标Yw及Z坐标Zw。也就是说，世界坐标系的物体O的坐标可以表示整个物体O，也可以表示物体O的一点。
如图6所示，物体检测装置41通过将物体O的X坐标Xw、Y坐标Yw及Z坐标Zw投影到世界坐标系的XY平面，导出世界坐标系中的XY平面上的物体O的X坐标Xw及Y坐标Yw。也就是说，物体检测装置41通过从物体O的X坐标Xw、Y坐标Yw及Z坐标Zw去除Z坐标Zw，导出水平方向上的物体O的X坐标Xw及Y坐标Yw。此外，本实施方式的世界坐标系将叉车10的后端且叉车10的车宽方向的中心作为原点OP。
接着，如图4所示，在步骤S6中，物体检测装置41通过重置人检测处理数而将人检测处理数设为0。人检测处理数是指能够在1次控制周期中进行人检测处理的次数，换句话说，是指成为进行人检测处理的对象的物体O的数量。
在步骤S7之后的处理中，物体检测装置41从表示世界坐标系的水平面的XY平面检测人。物体检测装置41通过进行判定步骤S4中所提取的物体O是否是人的人检测处理，来检测存在于XY平面的人。本实施方式中，规定了世界坐标系的XY平面中进行人的检测的检测范围，物体检测装置41检测存在于检测范围内的人。此外，在以下的说明中，将世界坐标系的X轴延伸的方向作为X方向，将世界坐标系的Y轴延伸的方向作为Y方向而进行说明。
如图7所示，本实施方式的检测范围DA是向叉车10的后方扩大的方形区域。此外，如上所述，将叉车10的后端作为世界坐标系的原点OP，但为了便于说明，在图7中使叉车10与原点OP在Y方向上分开而图示。检测范围DA的X方向的中心位置与叉车10的X方向的中心位置相同。检测范围DA的X方向的尺寸、及检测范围DA的Y方向的尺寸可在监视装置30能够检测人的范围内设定任意值。检测范围DA的X方向的尺寸规定了对叉车10的左右方向＝叉车10的转弯方向进行人的检测的范围。通过调整检测范围DA的X方向的尺寸，可调整对叉车10的左右方向多远可检测到人。检测范围DA的Y方向的尺寸规定了对叉车10的后方＝叉车10的行进方向进行人的检测的范围。通过调整检测范围DA的Y方向的尺寸，可调整对叉车10的后方多远可检测到人。
检测范围DA分成正面区域F与转弯区域CR、CL。
正面区域F是叉车10的行进方向中成为叉车10的正面的区域。与叉车10在Y方向上相对的区域可称为正面区域F。正面区域F是叉车10向后方直线行进时，叉车10的至少一部分通过的区域。正面区域F包含1个中央区域A及2个左右区域BR、BL。中央区域A是与叉车10的X方向的中心位置在Y方向上相对的区域。中央区域A遍及整个X方向与叉车10在Y方向上相对。左右区域BR、BL是位于隔着中央区域A的位置的区域。2个左右区域BR、BL可分别称为与中央区域A在X方向上相邻的区域。左右区域BR、BL是X方向的一部分与叉车10在Y方向上相对的区域。在以下的说明中，方便起见，将2个左右区域BR、BL中的一个称为第1左右区域BR，将另一个称为第2左右区域BL。第1左右区域BR是位于叉车10的右方的左右区域，第2左右区域BL是位于叉车10的左方的左右区域。
转弯区域CR、CL是与正面区域F不同的区域。转弯区域CR、CL是与叉车10在Y方向上不相对的区域。转弯区域CR、CL是在叉车10后退过程中使叉车10转弯时叉车10通过的区域。换句话说，转弯区域CR、CL是叉车10向后方直线行进时叉车10不通过的区域。2个转弯区域CR、CL是位于隔着正面区域F的位置的区域。2个转弯区域CR、CL分别是与正面区域F在X方向上相邻的区域。在以下的说明中，方便起见，将2个转弯区域CR、CL中的一个称为第1转弯区域CR，将另一个称为第2转弯区域CL。第1转弯区域CR是位于叉车10的右方的转弯区域，第2转弯区域CL是位于叉车10的左方的转弯区域。
世界坐标系中的XY平面的检测范围DA是以多个区块F1～F3、CR1～CR12、CL1～CL12位于其中的方式划分。
正面区域F通过将正面区域F在X方向上分割而划分成3个第1区块F1、F2、F3。可以说第1区块F1～F3是针对中央区域A及左右区域BR、BL中的每一个而设置的。所有第1区块F1～F3的大小相同。第1区块F1～F3是沿着世界坐标系的Y轴的尺寸比沿着世界坐标系的X轴的尺寸长的方形区域。第1区块F1～F3的沿着X轴的尺寸可设定为任意值。本实施方式中，第1区块F1～F3的沿着X轴的尺寸是假定检测人而设定，例如设定为比人的宽度略大的尺寸。第1区块F1～F3的沿着X轴的尺寸例如设定为400[mm]～1500[mm]。第1区块F1～F3的沿着Y轴的尺寸能够设定为任意值。本实施方式中，第1区块F1～F3的沿着Y轴的尺寸与检测范围DA的Y方向的尺寸相同。
2个转弯区域CR、CL通过将各转弯区域CR、CL在Y方向上分割而分割成多个第2区块CR1～CR12、CL1～CL12。第1转弯区域CR分割成12个第2区块CR1～CR12。第2转弯区域CL分割成12个第2区块CL1～CL12。所有第2区块CR1～CR12、CL1～CL12的大小相同。第2区块CR1～CR12、CL1～CL12是沿着世界坐标系的Y轴的尺寸比沿着世界坐标系的X轴的尺寸短的方形区域。第2区块CR1～CR12、CL1～CL12的沿着X轴的尺寸可设定为任意值。本实施方式中，第2区块CR1～CR12、CL1～CL12的沿着X轴的尺寸与转弯区域CR、CL的沿着X轴的尺寸相同。第2区块CR1～CR12、CL1～CL12的沿着Y轴的尺寸可任意地设定。本实施方式中，第2区块CR1～CR12、CL1～CL12的沿着Y轴的尺寸是假定检测人而设定，例如设定为比人的宽度略大的尺寸。第2区块CR1～CR12、CL1～CL12的沿着Y轴的尺寸例如设定为400[mm]～1500[mm]。
可以说检测范围DA根据与叉车10的位置关系在X方向或Y方向的任一方向上被分割。XY平面的检测范围DA以如下方式划分：第1区块F1～F3位于正面区域F，第2区块CR1～CR12、CL1～CL12位于转弯区域CR、CL。通过将物体O投影到像所述那样分割的世界坐标系的XY平面，物体检测装置41可辨识出各物体O存在于哪一个区块F1～F3、CR1～CR12、CL1～CL12中。此外，在物体O横跨多个区块F1～F3、CR1～CR12、CL1～CL12的情况下，物体检测装置41也可以根据物体O的中心坐标判定物体O存在于哪一个区块F1～F3、CR1～CR12、CL1～CL12中。另外，在物体O横跨多个区块F1～F3、CR1～CR12、CL1～CL12的情况下，物体检测装置41也可以判定为物体O存在于多个区块F1～F3、CR1～CR12、CL1～CL12中。像这样，物体O存在于哪一个区块F1～F3、CR1～CR12、CL1～CL12中的判定可通过任意方法进行。
物体检测装置41通过图4所示的步骤S7之后的处理，针对像所述那样划分的区块F1～F3、CR1～CR12、CL1～CL12中的每一个区块判定是否存在人。
如图4所示，在步骤S7中，物体检测装置41移行至判定在正面区域F中的中央区域A中是否存在人的中央区域处理。物体检测装置41移行至中央区域处理时，进行图5所示的步骤S31～S34的处理。
如图5所示，在步骤S31中，物体检测装置41判定在中央区域A的第1区块F1中是否存在物体O。在步骤S31的判定结果为肯定的情况下，物体检测装置41进行步骤S32的处理。另一方面，在步骤S31的判定结果为否定的情况下，物体检测装置41结束中央区域处理。
在步骤S32中，物体检测装置41进行将人检测处理数加上1的递增处理。
接着，在步骤S33中，物体检测装置41提取存在于第1区块F1的物体O中最靠近叉车10的物体O作为附近物体O1。关于最靠近叉车10的物体O，在第1区块F1中存在一个物体O的情况下，是指该物体O，在第1区块F1中存在多个物体O的情况下，是指多个物体O中Y坐标Yw最靠近原点OP的物体O。此外，多个物体O中最靠近叉车10的物体O也可以设为距原点OP的欧氏距离最短的物体O。附近物体O1是指优先于与附近物体O1不同的物体O进行人检测处理的物体。
接着，在步骤S34中，物体检测装置41进行判定附近物体O1是否是人的人检测处理。附近物体O1是否是人的判定能够通过以下处理进行。首先，物体检测装置41将附近物体O1的世界坐标转换成相机坐标。从世界坐标向相机坐标的转换可使用以下的(5)式进行。
[数式5]
Figure BDA0002713538770000111
通过将(5)式的X坐标Xw、Y坐标Yw及Z坐标Zw设为附近物体O1的世界坐标，可导出附近物体O1的相机坐标。此外，本实施方式中，将附近物体O1的世界坐标设为XY平面上的坐标，因此，Z坐标Zw为0。
接着，物体检测装置41使用以下的(6)式及(7)式，根据相机坐标导出第1图像I1上的附近物体O1的坐标。
[数式6]
Figure BDA0002713538770000112
[数式7]
Figure BDA0002713538770000113
通过将(6)式及(7)式的X坐标Xc、Y坐标Yc及Z坐标Zc设为附近物体O1的相机坐标，可导出附近物体O1的第1图像I1上的坐标。
物体检测装置41通过对第1图像I1上的附近物体O1的坐标进行人检测处理，而判定附近物体O1是否是人。此外，第1图像I1上的附近物体O1的坐标也可以除了包含由(6)式及(7)式导出的坐标以外，还包含该坐标周边的坐标。人检测处理利用从第1图像I1中提取特征量的特征量提取法进行，例如使用HOG：方向梯度直方图(Histograms of OrientedGradients)或SIFT：尺度不变特征转换(Scale Invariant Feature Transform)而进行。由此，物体检测装置41可判定附近物体O1是人还是人以外的物体O。此外，叉车10与附近物体O1的位置关系利用步骤S5导出，因此，物体检测装置41可掌握叉车10与附近物体O1的位置关系。像所述那样，通过进行步骤S31～步骤S34的处理，物体检测装置41能够判定在中央区域A中是否存在人。
如图4所示，在步骤S8中，物体检测装置41移行至判定在第1左右区域BR中是否存在人的第1左右区域处理。步骤S8中的第1左右区域处理可通过与中央区域处理同样的处理进行。详细来说，只要对第1左右区域BR的第1区块F3进行中央区域处理中对中央区域A的第1区块F1进行的处理即可。由此，物体检测装置41可判定在第1左右区域BR中是否存在人。
接着，在步骤S9中，物体检测装置41移行至判定在第2左右区域BL中是否存在人的第2左右区域处理。步骤S9中的第2左右区域处理可通过与中央区域处理同样的处理进行。详细来说，只要对第2左右区域BL的第1区块F2进行中央区域处理中对中央区域A的第1区块F1进行的处理即可。由此，物体检测装置41能够判定在第2左右区域BL中是否存在人。
接着，在步骤S10中，物体检测装置41通过重置检测距离而将检测距离设为1。检测距离规定将多个第2区块CR1～CR12、CL1～CL12中的哪一个第2区块CR1～CR12、CL1～CL12作为处理对象。将多个第2区块CR1～CR12、CL1～CL12中最靠近叉车10的第2区块CR1、CL1作为第1个，将距离叉车10第二近的第2区块CR2、CL2作为第2个…，以这种方式从靠近叉车10的第2区块起依次标注编号。在该情况下，与检测距离的值对应的第2区块CR1～CR12、CL1～CL12成为步骤S12之后的处理的对象。例如，如果检测距离为1，那么最靠近叉车10的第2区块CR1、CL1成为处理对象。如果检测距离为12，那么距离叉车10最远的第2区块CR12、CL12成为处理对象。
接着，在步骤S11中，物体检测装置41判定检测距离是否为最大值以下。物体检测装置41通过步骤S12～步骤S22的处理，从最靠近叉车10的第2区块CR1、CL1起依次进行是否存在人的判定。本实施方式中，第2区块CR1～CR12、CL1～CL12的数量在每一个转弯区域CR、CL中各为12个，因此，检测距离的最大值为12。可以说在步骤S11中判定是否对所有第2区块CR1～CR12、CL1～CL12进行了是否存在人的判定。在步骤S11的判定结果为肯定的情况下，物体检测装置41进行步骤S12的处理。另一方面，在步骤S11的判定结果为否定的情况下，物体检测装置41结束物体检测处理。
在步骤S12中，物体检测装置41判定在第1转弯区域CR的第2区块CR1～CR12中是否存在物体O。在步骤S12中被判定是否存在物体O的第2区块CR1～CR12是与检测距离对应的顺序的第2区块CR1～CR12。如上所述，如果检测距离为1，那么判定在最靠近叉车10的第2区块CR1中是否存在物体O，如果检测距离为2，那么判定在距离叉车10第二近的第2区块CR2中是否存在物体O。在步骤S12的判定结果为肯定的情况下，物体检测装置41进行步骤S13的处理。另一方面，在步骤S12的判定结果为否定的情况下，物体检测装置41进行步骤S17的处理。
在步骤S13中，物体检测装置41提取步骤S12中判定为存在于第2区块CR1～CR12的物体O中最靠近叉车10的物体O作为附近物体O1。关于最靠近叉车10的物体O，在第2区块CR1～CR12中存在一个物体O的情况下，是指该物体O，在第2区块CR1～CR12中存在多个物体O的情况下，是指多个物体O中X坐标Xw最靠近原点OP的物体O。此外，多个物体O中最靠近叉车10的物体O也可以设为距原点OP的欧氏距离最短的物体O。
接着，在步骤S14中，物体检测装置41进行判定步骤S13中所提取的附近物体O1是否是人的人检测处理。步骤S14中进行的处理是与步骤S34中进行的处理同样的处理。也就是说，物体检测装置41将步骤S13中所提取的附近物体O1的世界坐标转换成第1图像I1上的附近物体O1的坐标，对该坐标进行人检测处理。
接着，在步骤S15中，物体检测装置41进行将人检测处理数加上1的递增处理。
接着，在步骤S16中，物体检测装置41判定人检测处理数是否小于预先规定的最大值。预先规定的最大值设定为能够在控制周期内进行人检测处理的数量。如果对检测范围DA内的所有附近物体O1进行人检测处理，那么有控制周期变得过长的担心，因此，通过限制成为进行人检测处理的对象的附近物体O1的数量来抑制控制周期变得过剩。在步骤S16的判定结果为肯定的情况下，物体检测装置41进行步骤S17的处理。另一方面，在步骤S16的判定结果为否定的情况下，物体检测装置41结束物体检测处理。通过进行步骤S12～步骤S16的处理，物体检测装置41能够判定在第1转弯区域CR的各第2区块CR1～CR12中是否存在人。
步骤S17～步骤S21的处理是如下处理，即，对第2转弯区域CL进行与步骤S12～步骤S16中进行的处理同样的处理。在步骤S17中，对第2转弯区域CL的第2区块CL1～CL12进行与步骤S12同样的处理，由此，物体检测装置41判定在第2转弯区域CL的第2区块CL1～CL12中是否存在物体O。在步骤S17的判定结果为肯定的情况下，物体检测装置41进行步骤S18的处理。另一方面，在步骤S17的判定结果为否定的情况下，物体检测装置41进行步骤S22的处理。
在步骤S18中，对第2转弯区域CL的第2区块CL1～CL12进行与步骤S13同样的处理，由此，物体检测装置41提取存在于第2转弯区域CL的第2区块CL1～CL12的物体O中最靠近叉车10的物体O作为附近物体O1。通过进行步骤S13、S18、S33的处理，物体检测装置41成为附近物体提取部。
步骤S19是与步骤S14同样的处理，物体检测装置41对步骤S18中所提取的附近物体O1进行人检测处理。通过进行步骤S14、S19、S34的处理，物体检测装置41成为坐标转换部及人判定部。步骤S20是与步骤S15相同的处理。步骤S21是与步骤S16相同的处理。在步骤S21的判定结果为肯定的情况下，物体检测装置41进行步骤S22的处理。另一方面，在步骤S21的判定结果为否定的情况下，物体检测装置41结束物体检测处理。
在步骤S22中，物体检测装置41进行将检测距离加上1的递增处理。接着，物体检测装置41进行步骤S11的处理。因此，反复进行步骤S12～步骤S22的处理直到步骤S11的判定结果变为否定为止。
通过进行物体检测处理，对存在于各区块F1～F3、CR1～CR12、CL1～CL12的各个的物体O中最靠近叉车10的附近物体O1进行人检测处理。也就是说，物体检测装置41针对第1区块F1～F3及第2区块CR1～CR12、CL1～CL12中的每一个区块提取存在于各区块F1～F3、CR1～CR12、CL1～CL12的附近物体O1，判定该附近物体O1是否是人。图8中，以一点划线的框A1表示第1图像I1中存在附近物体O1的坐标。
如图8所示，物体检测装置41对框A1内的区域进行人检测处理。由此，对第1图像I1中存在附近物体O1的坐标进行人检测处理。本实施方式中，只对附近物体O1进行人检测处理，对与附近物体O1不同的物体O不进行人检测处理。可以说物体检测装置41使附近物体O1优先于与附近物体O1不同的物体O，对第1图像上的坐标进行人检测处理。“优先”包含像所述那样只对存在附近物体O1的第1图像I1上的坐标进行人检测处理的形态。
如上所述，可以说物体检测装置41具备物体提取部、附近物体提取部、坐标转换部及人判定部，作为通过执行预先规定的程序来发挥功能的功能要素。
对本实施方式的作用进行说明。
当叉车10直线行进时，叉车10沿Y方向通过正面区域F。可以说当叉车10直线行进时，叉车10要通过的路径在已进行物体检测处理的时间点成为沿Y方向延伸的路径。以第1区块F1～F3位于正面区域F的方式划分XY平面，并判定第1区块F1～F3的附近物体O1是否是人，由此，物体检测装置41能够在叉车10直线行进时检测出是否存在可能阻碍叉车10行进的人。也就是说，针对叉车10直线行进时要通过的路径，检测叉车10的后方是否存在人。
当叉车10转弯时，叉车10在与X方向及Y方向交叉的方向上通过转弯区域CR、CL。当叉车10转弯时，叉车10要通过的路径在已进行物体检测处理的时间点从Y方向朝X方向偏移。由此，可以说当叉车10转弯时，叉车10要通过的路径在已进行物体检测处理的时间点成为沿与X方向及Y方向交叉的方向延伸的路径。
假设在将XY平面的整个检测范围DA分割成第1区块的情况下，针对各转弯区域CR、CL的第1区块中的每一个，提取在Y方向上最靠近叉车10的物体作为附近物体。然而，如上所述，当叉车10转弯时，叉车10要通过的路径成为相对于Y方向朝X方向偏移的路径，因此，如果将在Y方向上最靠近叉车10的物体作为附近物体，那么可将不阻碍叉车10行进的物体提取为附近物体。这样一来，产生如下情况：对不阻碍叉车10行进的物体进行人检测处理，另一方面，对阻碍叉车10行进的物体不进行人检测处理。因此，当叉车10转弯时，必须能够对叉车10检测在X方向及Y方向的两个方向上是否存在人。
本实施方式中，关于转弯区域CR、CL，以在Y方向上多个第2区块CR1～CR12、CL1～CL12位于其中的方式划分世界坐标系的XY平面。通过判定第2区块CR1～CR12、CL1～CL12的附近物体O1是否是人，物体检测装置41能够在叉车10转弯时检测出是否存在可能阻碍叉车10行进的人。详细来说，在X方向上并排存在有多个人的情况下，对第2区块CR1～CR12、CL1～CL12中最靠近叉车10的物体O即附近物体O1进行人检测处理，由此，能够检测出可能阻碍X方向上的行进的人。在Y方向上并排存在有多个人的情况下，通过在Y方向上配置多个第2区块CR1～CR12、CL1～CL12，而针对第2区块CR1～CR12、CL1～CL12中的每一个区块进行人检测处理，因此，能够检测出可能阻碍Y方向上的行进的人。也就是说，针对当叉车10转弯时会通过的路径，除了检测叉车10的后方是否存在人，还检测在左右方向上是否存在人。像这样，通过以与叉车10要通过的路径一致的区块F1～F3、CR1～CR12、CL1～CL12位于其中的方式划分XY平面，能够检测可能阻碍叉车10行进的人。
物体检测装置41针对区块F1～F3、CR1～CR12、CL1～CL12中的每一个区块分别提取附近物体O1，判定附近物体O1是否是人。最靠近叉车10的附近物体O1是在叉车10行驶时可能阻碍叉车10在其附近行进的物体O。与此相对，与附近物体O1不同的物体O比附近物体O1离叉车10远，除此以外，在通过叉车10行驶而通过附近物体O1之后，会成为附近物体O1。因此，与附近物体O1不同的物体O在可能阻碍叉车10行进的情况下，在下次之后的控制周期中进行人检测处理，与附近物体O1相比，进行人检测处理的优先度低。因此，通过提取附近物体O1并判定附近物体O1是否是人，关于与附近物体O1不同的物体O，认为即使不进行人检测处理，在实用上也不会产生障碍。
关于叉车10，在检测到人的情况下，有时进行与检测到人以外的物体O的情况不同的处理。例如，在监视装置30具备报告部的情况下，物体检测装置41检测到人时，通过报告部对叉车10的搭乘者进行附近有人的内容的报告。作为报告部，例如能够使用通过显示进行报告的显示器或通过声音进行报告的蜂鸣器。另外，物体检测装置41检测到人时，也可以对叉车10周边的人进行用来让他辨识到附近有叉车10的报告。在物体检测装置41的检测结果输出至主控制器20的情况下，主控制器20也可以在检测到人时使叉车10减速或设定车速上限等进行车速限制。
此处，物体检测处理每隔指定的控制周期反复进行。物体检测处理中，判定物体O是否是人的人检测处理中物体检测装置41的处理负荷较大。如果对第1图像I1的所有区域进行人检测处理，那么处理负荷变大。叉车10与轿车相比，进行急转弯的频率更多，使用视角比轿车中搭载的立体相机宽的立体相机31的情况较多。因此，关于叉车10中搭载的物体检测装置41，进行人检测处理的区域特别容易变多，从而处理负荷容易变大。
如果处理负荷较大，那么有时在控制周期内无法对所有物体O进行人检测处理。假设从靠近叉车10的物体O起依次对所有物体O进行人检测处理，则会产生如下情况，即，在阻碍叉车10行进的物体O之前，对不阻碍行进的物体O进行人检测处理。这样一来，有如下情况：无法在控制周期内对阻碍叉车10行进的物体O进行人检测处理，而无法检测阻碍行进的人或阻碍行进的人的检测变迟。如果想要在维持控制周期的状态下对第1图像I1上的所有物体O进行人检测处理，那么必须使用处理能力高的物体检测装置，从而导致制造成本增加。另外，如果想要在维持物体检测装置41的处理能力的状态下在控制周期内对所有物体O进行人检测处理，那么必须延长控制周期，从而阻碍行进的人的检测变迟。
本实施方式中，针对区块F1～F3、CR1～CR12、CL1～CL12中的每一个区块提取可能阻碍行进的附近物体O1，判定附近物体O1是否是人。物体检测装置41只要至少判定附近物体O1是否是人即可，因此，与对所有物体O进行人检测处理的情况相比，处理负荷变小。另外，控制周期只要以能够判定附近物体O1是否是人的方式设定即可，因此，与对所有物体O进行人检测处理的情况相比，能够抑制控制周期变长。
此外，物体检测装置41如果能够从主控制器20获取转向角度或方向盘角度等转向信息，那么也能够预先掌握叉车10要通过的路径。在该情况下，可提取位于叉车10要通过的路径上的物体O作为附近物体O1。然而，在主控制器20与物体检测装置41不连接的情况等、物体检测装置41无法获取转向信息的情况下，无法从叉车10要通过的路径提取附近物体O1。并且，在无法提取附近物体O1的情况下，必须判定所有物体O是否是人，从而物体检测装置41的处理负荷变大。
相对于此，本实施方式中，将世界坐标系的XY平面分割成多个区块F1～F3、CR1～CR12、CL1～CL12，针对区块F1～F3、CR1～CR12、CL1～CL12中的每一个区块提取附近物体O1。在叉车10直线行进时的路径与叉车10转弯时的路径中配置不同的区块F1～F3、CR1～CR12、CL1～CL12。由此，可提取当叉车10直线行进时可能阻碍叉车10行进的附近物体O1、及当叉车10转弯时可能阻碍叉车10行进的附近物体O1。因此，即使在无法从主控制器20获得转向信息的情况下，也能够提取多个物体O中应该进行人检测处理的附近物体O1。
对本实施方式的效果进行说明。
(1)根据叉车10要通过的路径，将世界坐标系的XY平面划分成第1区块F1～F3与第2区块CR1～CR12、CL1～CL12。由此，物体检测装置41可提取可能阻碍叉车10行进的附近物体O1。物体检测装置41可通过判定附近物体O1是否是人而进行人的检测。假设从由单眼相机拍摄到的图像进行人检测处理的情况下，对图像的整个区域进行人检测处理之后，将检测到人的区域在世界坐标系中的坐标导出。在该情况下，进行人检测处理的区域较大，物体检测装置41的处理负荷变大。相对于此，将世界坐标系中的附近物体O1的坐标转换成由立体相机31拍摄到的第1图像I1上的坐标，对第1图像I1上的坐标进行人检测处理，由此，与对第1图像I1整体进行人检测处理的情况相比，进行人检测处理的区域较少，能够减轻物体检测装置41的处理负荷。
(2)正面区域F被划分成多个第1区块F1～F3。通过将正面区域F划分成多个第1区块F1～F3，能够针对第1区块F1～F3中的每一个区块提取附近物体O1。与使正面区域F为1个第1区块的情况相比，可精细地判定正面区域F中是否存在人。
(3)物体检测装置41从立体相机31进行拍摄所得的图像获取视差图像，从视差图像导出世界坐标系中的特征点的坐标。从视差图像获得的世界坐标系中的特征点的坐标与第1图像I1上的坐标可相互转换。因此，通过使用由立体相机31拍摄到的图像提取附近物体O1，可使第1图像I1上的附近物体O1的坐标的精度提高。
(4)物体检测装置41先于转弯区域CR、CL判定正面区域F中是否存在人。存在于正面区域F的人阻碍叉车10行进的可能性比存在于转弯区域CR、CL的人高。通过优先于转弯区域CR、CL判定正面区域F中是否存在人，可迅速地检测阻碍叉车10行进的人。
实施方式能够以如下方式变更而实施。实施方式及以下的变化例可在技术上不矛盾的范围内相互组合而实施。
○也可以对能够进行人检测处理的附近物体O1的数量设定上限。上限例如是根据控制周期规定的值，设定为能够在控制周期内进行人检测处理的数量。在该情况下，物体检测装置41对第1区块F1～F3的附近物体O1进行人检测处理之后，从第2区块中靠近叉车10的第2区块的附近物体O1起依次进行人检测处理。也就是说，物体检测装置41优先对正面区域F判定是否存在人之后，判定转弯区域CR、CL中是否存在人。
在图9所示的例子中，上限设定为15。如果在3个第1区块F1～F3、及各转弯区域CR、CL中的距叉车10较近的6个第2区块CR1～CR6、CL1～CL6中存在物体O，那么物体检测装置41判定存在于这些区块中的附近物体O1是否是人。另一方面，在3个第1区块F1～F3、及12个第2区块CR1～CR6、CL1～CL6中的1个区块中不存在物体O的情况下，物体检测装置41对转弯区域CR、CL的第2区块中距叉车10第七近的第2区块的附近物体O1进行人检测处理。在图9所示的例子中，在第1转弯区域CR的第2区块中距叉车10第四近的第2区块CR4中不存在物体O，因此，判定第2转弯区域CL中距叉车10第七近的第2区块CL7的附近物体O1是否是人。在图9所示的例子中，判定第2转弯区域CL中距叉车10第七近的第2区块CL7的附近物体O1是否是人，但也可以判定第1转弯区域CR的第2区块CR7的附近物体O1是否是人。
像这样，通过对进行人检测处理的附近物体O1的数量设定上限，可抑制物体检测装置41进行的人检测处理所需的时间变得过长。另外，在存在物体O的区块较少的情况下，能够判定直到远处是否存在人。
○只要在控制周期内，那么物体检测装置41也可以对附近物体O1以外的物体O同样进行人检测处理。“优先”包含先于与附近物体O1不同的物体O而对附近物体O1进行人检测处理的形态。也就是说，物体检测装置41只要至少能够判定附近物体O1是否是人即可，也可以判定存在于各区块F1～F3、CR1～CR12、CL1～CL12的物体O中，附近物体O1与居于附近物体O1后的靠近叉车10的物体O是否是人。
○监视装置30也可以具备激光测距仪与单眼相机代替立体相机31。作为激光测距仪，使用一边变更水平方向上的照射角度一边照射激光的二维激光测距仪。如果将照到激光的部分作为照射点，那么激光测距仪可将距照射点的距离与照射角度相关联而进行测定。也就是说，可测定将激光测距仪作为原点时的照射点的坐标。通过激光测距仪测定的坐标是实际空间上的坐标系即世界坐标系的坐标。激光测距仪将测定结果输出至物体检测装置41。在使用激光测距仪的情况下，照射点成为表示物体O的一部分的点。
物体检测装置41提取照射点的集合即点群作为物体O。物体O的提取能够通过与使用特征点的物体O的提取同样的方法进行。也就是说，物体检测装置41提取通过将多个照射点聚类所获得的点群作为物体O。物体检测装置41从物体O中提取附近物体O1。附近物体O1的提取能够利用与实施方式同样的方法进行。像这样，物体检测装置41可代替由立体相机31拍摄到的图像，而根据激光测距仪的测定结果提取物体O，从物体O中提取附近物体O1。
物体检测装置41提取附近物体O1时，将世界坐标系中的附近物体O1的坐标转换成由作为相机的单眼相机拍摄到的图像上的坐标。世界坐标系的坐标与图像上的坐标有关联。因此，通过预先掌握世界坐标系的坐标与图像上的关联，并制作映射表等，能够将世界坐标系的坐标转换成利用单眼相机获得的图像上的坐标。物体检测装置41对附近物体O1的图像上的坐标进行人检测处理。由此，可判定附近物体O1是否是人。
监视装置30只要具备通过物体检测装置41能够将存在于叉车10周边的物体以点群的形式检测出的传感器即可，也可以具备毫米波雷达等雷达代替激光测距仪。另外，也可以使用三维激光测距仪。
○物体检测装置41也可以先于正面区域F判定转弯区域CR、CL中是否存在人。另外，物体检测装置41也可以同时判定正面区域F及转弯区域CR、CL中是否存在人。
○物体检测处理只要能够针对区块F1～F3、CR1～CR12、CL1～CL12中的每一个区块判定是否存在人即可，物体检测装置41所进行的物体检测处理的步序或处理内容也可以适当变更。例如，物体检测装置41也可以对所有区块F1～F3、CR1～CR12、CL1～CL12提取附近物体O1之后，判定所提取的附近物体O1是否是人。实施方式中，每当从区块F1～F3、CR1～CR12、CL1～CL12中提取附近物体O1时便进行人检测处理，与此相对，将所有区块F1～F3、CR1～CR12、CL1～CL12的附近物体O1提取之后，进行人检测处理。另外，也可以先于第1转弯区域CR判定第2转弯区域CL中是否存在人。
○也可以从物体检测处理中省略步骤S6、S15、S16、S20、S21、S32。在该情况下，物体检测装置41判定所有区块F1～F3、CR1～CR12、CL1～CL12中是否存在人。
○正面区域F也可以不分割成3个第1区块F1～F3。在该情况下，整个正面区域F成为1个第1区块。
○第1区块的数量也可以适当变更。同样地，第2区块的数量也可以适当变更。
○也可以不规定检测范围DA。即使在该情况下，通过将世界坐标系的XY平面划分成第1区块F1～F3与第2区块CR1～CR12、CL1～CL12，也能够获得与实施方式相同的效果。
○物体检测处理也可以在叉车10为启动状态时一直进行。也就是说，也可以在叉车10前进时进行物体检测处理。
○监视装置30也可以检测叉车10前方的人。在该情况下，立体相机31以拍摄叉车10的前方的方式配置。物体检测装置41在叉车10前进时进行物体检测处理。另外，监视装置30也可以检测叉车10的前方及后方这两侧的人。在该情况下，立体相机31中设置有拍摄叉车10的前方的相机与拍摄叉车10的后方的相机这两个相机。
○物体O是否是人的判定也可以使用进行监督式学习模型的机器学习的人判定部来进行。作为人判定部，例如可采用支持向量机、神经网络、朴素贝叶斯(naive Bayes)、深度学习、决策树等监督式学习器。作为机器学习中使用的教学数据，使用从图像中提取的人的形状要素或外观要素等图像固有成分。作为形状要素，例如可列举人的大小或轮廓等。作为外观要素，例如可列举光源信息、纹理信息、相机信息等。光源信息中包含反射率或与阴影等相关的信息。纹理信息中包含颜色信息等。相机信息中包含与画质、分辨率、视角等相关的信息。
○实施方式中，根据世界坐标系的XY平面的物体O的坐标判定物体O是不是附近物体O1，但也可以根据3轴正交坐标系的坐标判定物体O是不是附近物体O1。3轴正交坐标系中的物体O的坐标包含Z坐标Zw。
○作为叉车10，也可以是自动地进行行驶动作及装卸动作的叉车。为自动地进行行驶动作及装卸动作的叉车10的情况下，也可以根据物体O是否是人来变更路径或车速。例如，主控制器20也可以在躲避物体O的情况下，与人以外的情况相比，在是人的情况下增大躲避距离，或者在物体O是人的情况下降低在附近行驶时的车速。另外，叉车10也可以能够切换自动方式的操作与手动方式的操作。
○世界坐标系不限于正交坐标系，也可以设为极坐标系。
○世界坐标系也可以是将立体相机31的X方向的中心作为原点OP的坐标系。
○物体检测装置41也可以从由立体相机31拍摄到的图像中的第2图像检测人。物体检测装置41导出第2图像上的附近物体O1的坐标，但由于第2图像是比较图像，所以，如果从附近物体O1的世界坐标导出图像上的附近物体O1的坐标，那么会产生与基线长度对应的偏移。因此，物体检测装置41根据基线长度校正第2图像上的附近物体O1的坐标，对校正后的坐标进行人检测处理。
○物体检测装置41也可以能够通过进行按照CAN：控制器局域网(ControllerArea Network)或LIN：本地互联网络(Local Interconnect Network)等车辆用通信协议的通信，而与主控制器20进行数据收发。在该情况下，能够使主控制器20进行与物体检测处理的检测结果对应的处理。例如，像实施方式中所记载的那样，在主控制器20进行车速限制的情况或通过主控制器20使报告部作动的情况下，物体检测装置41与主控制器20构成为能够通信。另一方面，在监视装置30具备报告部，且通过物体检测装置41使报告部作动的情况下，物体检测装置41与主控制器20也可以不构成为能够通信。
○物体提取部、附近物体提取部、坐标转换部、人判定部、视差图像获取部及坐标导出部也可以分别为单独的装置。
○从相机坐标向世界坐标的转换也可以根据表格数据进行。表格数据是使Y坐标Yw与Y坐标Yc和Z坐标Zc的组合对应所得的表格数据、及使Z坐标Zw与Y坐标Yc和Z坐标Zc的组合对应所得的表格数据。通过将这些表格数据预先存储在物体检测装置41的ROM等，可根据相机坐标系中的Y坐标Yc与Z坐标Zc求出世界坐标系中的Y坐标Yw及Z坐标Zw。同样地，从世界坐标向相机坐标的转换也同样可以根据表格数据进行。
○第1相机32与第2相机33也可以沿铅直方向排列配置。
○第1图像I1的像素数与第2图像的像素数也可以不同。例如，也可以使作为比较图像的第2图像的像素数与视差图像的像素数相同，使作为基准图像的第1图像I1的像素数多于第2图像的像素数。
○立体相机31也可以具备3个以上的相机。
○立体相机31也可以安装在装卸装置16等任意位置。
○叉车10也可以通过引擎驱动而行驶。在该情况下，行驶控制装置成为控制对引擎的燃料喷射量等的装置。
○物体检测装置41也可以搭载在建筑机械、自动搬送车、卡车等叉车10以外的工业车辆或轿车等车辆。
【符号的说明】
10:作为车辆的叉车
31:作为相机的立体相机
41:作为物体提取部、附近物体提取部、坐标转换部、人判定部、视差图像获取部及
坐标导出部的物体检测装置
F:正面区域
F1～F3:第1区块
CR、CL:转弯区域
CR1～CR12、CL1～CL12:第2区块。

Claims (10)

1.一种物体检测装置，搭载在车辆上，且具备：
物体提取部，在实际空间上的坐标系即世界坐标系中，提取表示物体的一部分的点的集合即点群作为所述物体，所述世界坐标系将水平方向中沿所述车辆的车宽方向延伸的轴作为X轴，将水平方向中与所述X轴正交的轴作为Y轴；
附近物体提取部，在所述世界坐标系的XY平面中，针对第1区块及第2区块中的每一个区块提取存在于各区块的所述物体中最靠近所述车辆的所述物体即附近物体，所述世界坐标系的XY平面以如下方式划分：所述第1区块位于在所述Y轴延伸的方向上与所述车辆相对的正面区域，所述第2区块在所述Y轴延伸的方向上排列多个且位于在所述X轴延伸的方向上与所述正面区域相邻的转弯区域，其中，所述第1区块沿着所述Y轴的尺寸比沿着所述X轴的尺寸长，所述第2区块沿着所述Y轴的尺寸比沿着所述X轴的尺寸短；
坐标转换部，将所述世界坐标系中的所述附近物体的坐标转换成由相机拍摄到的图像上的坐标；及
人判定部，进行人检测处理，所述人检测处理是对所述图像上的所述附近物体的坐标判定所述附近物体是否是人的处理。
2.根据权利要求1所述的物体检测装置，其中在所述世界坐标系中，以沿所述X轴延伸的方向排列的多个所述第1区块位于所述正面区域的方式划分所述正面区域。
3.根据权利要求1或2所述的物体检测装置，其中所述物体提取部包含：
视差图像获取部，从立体相机进行拍摄所得的图像获取将视差与各像素相关联所得的视差图像；及
坐标导出部，从所述视差图像导出所述世界坐标系中的所述点的坐标；且
所述坐标转换部将所述世界坐标系中的所述附近物体的坐标转换成由作为所述相机的所述立体相机拍摄到的图像上的坐标。
4.根据权利要求1至3中任一项所述的物体检测装置，其中对能够进行所述人检测处理的所述附近物体的数量设定有上限，且
所述人判定部对所述第1区块的所述附近物体进行所述人检测处理之后，从靠近所述车辆的所述第2区块的所述附近物体起依次进行所述人检测处理。
5.一种车辆，搭载有根据权利要求1至4中任一项所述的物体检测装置。
6.根据权利要求5所述的车辆，其中所述车辆是叉车。
7.一种物体检测处理方法，利用搭载于车辆的物体检测装置来进行，且包括下述步骤：利用所述物体检测装置的物体提取部，在实际空间上的坐标系即世界坐标系中，提取表示物体的一部分的点的集合即点群作为所述物体，所述世界坐标系将水平方向中沿所述车辆的车宽方向延伸的轴作为X轴，将水平方向中与所述X轴正交的轴作为Y轴；
利用所述物体检测装置的附近物体提取部，在所述世界坐标系的XY平面中，针对第1区块及第2区块中的每一个区块提取存在于各区块的所述物体中最靠近所述车辆的所述物体即附近物体，所述世界坐标系的XY平面以如下方式划分：所述第1区块位于在所述Y轴延伸的方向上与所述车辆相对的正面区域，所述第2区块在所述Y轴延伸的方向上排列多个且位于在所述X轴延伸的方向上与所述正面区域相邻的转弯区域，其中，所述第1区沿着所述Y轴的尺寸比沿着所述X轴的尺寸长，所述第2区块沿着所述Y轴的尺寸比沿着所述X轴的尺寸短；
利用所述物体检测装置的坐标转换部，将所述世界坐标系中的所述附近物体的坐标转换成由相机拍摄到的图像上的坐标；以及
利用所述物体检测装置的人判定部进行人检测处理，所述人检测处理是对所述图像上的所述附近物体的坐标判定所述附近物体是否是人的处理。
8.根据权利要求7所述的物体检测处理方法，其中在所述世界坐标系中，以沿所述X轴延伸的方向排列的多个所述第1区块位于所述正面区域的方式划分所述正面区域。
9.根据权利要求7或8所述的物体检测处理方法，其中所述物体提取步骤包括下述步骤：
利用所述物体提取部的视差图像获取部，从立体相机进行拍摄所得的图像获取将视差与各像素相关联所得的视差图像；以及
利用所述物体提取部的坐标导出部，从所述视差图像导出所述世界坐标系中的所述点的坐标；且
所述坐标转换部将所述世界坐标系中的所述附近物体的坐标转换成由作为所述相机的所述立体相机拍摄到的图像上的坐标。
10.根据权利要求7至9中任一项所述的物体检测处理方法，其中对能够进行所述人检测处理的所述附近物体的数量设定有上限，且
所述人判定部对所述第1区块的所述附近物体进行所述人检测处理之后，从靠近所述车辆的所述第2区块的所述附近物体起依次进行所述人检测处理。
CN202011065160.6A 2019-10-04 2020-09-30 物体检测装置、车辆及物体检测处理方法 Active CN112611360B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019183767A JP7298426B2 (ja) 2019-10-04 2019-10-04 物体検出装置
JP2019-183767 2019-10-04

Publications (2)

Publication Number Publication Date
CN112611360A CN112611360A (zh) 2021-04-06
CN112611360B true CN112611360B (zh) 2022-11-22

Family

ID=72670566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011065160.6A Active CN112611360B (zh) 2019-10-04 2020-09-30 物体检测装置、车辆及物体检测处理方法

Country Status (4)

Country Link
US (1) US11420855B2 (zh)
EP (1) EP3800576A1 (zh)
JP (1) JP7298426B2 (zh)
CN (1) CN112611360B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11798254B2 (en) * 2020-09-01 2023-10-24 Northwestern University Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP3937414B2 (ja) * 2004-08-11 2007-06-27 本田技研工業株式会社 平面検出装置及び検出方法
US7899211B2 (en) * 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
JP4797794B2 (ja) * 2006-05-24 2011-10-19 日産自動車株式会社 歩行者検出装置および歩行者検出方法
JP2009231938A (ja) * 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置
JP5426503B2 (ja) * 2010-08-26 2014-02-26 日本車輌製造株式会社 搬送車両および運転支援装置
CN102313536B (zh) * 2011-07-21 2014-02-19 清华大学 基于机载双目视觉的障碍物感知方法
JP5548667B2 (ja) * 2011-11-24 2014-07-16 富士重工業株式会社 車外環境認識装置
JP6755672B2 (ja) 2016-02-25 2020-09-16 住友重機械工業株式会社 作業機械用周辺監視システム
JP6095817B1 (ja) 2016-03-02 2017-03-15 三菱電機マイコン機器ソフトウエア株式会社 物体検出装置
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
CN108090930A (zh) * 2016-11-22 2018-05-29 广州映博智能科技有限公司 基于双目立体相机的障碍物视觉检测系统及方法
JP6844508B2 (ja) 2017-11-15 2021-03-17 株式会社豊田自動織機 安全装置
CN109472831A (zh) * 2018-11-19 2019-03-15 东南大学 面向压路机施工过程的障碍物识别测距系统及方法
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置

Also Published As

Publication number Publication date
US20210101791A1 (en) 2021-04-08
CN112611360A (zh) 2021-04-06
JP7298426B2 (ja) 2023-06-27
US11420855B2 (en) 2022-08-23
JP2021060720A (ja) 2021-04-15
EP3800576A1 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
JP6013884B2 (ja) 物体検出装置及び物体検出方法
EP3716145A1 (en) Object detection device and method
US10902632B2 (en) Position detection apparatus and position detection method
JP7180445B2 (ja) 物体検出装置
WO2016208198A1 (ja) 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法
CN112611360B (zh) 物体检测装置、车辆及物体检测处理方法
US20230237809A1 (en) Image processing device of person detection system
EP3428876A1 (en) Image processing device, apparatus control system, imaging device, image processing method, and program
WO2022004495A1 (ja) 障害物検出装置及び障害物検出方法
EP4216177A1 (en) Image processing device of person detection system
JP7081526B2 (ja) 物体検出装置
JP2018088237A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
JP2020057258A (ja) 物体検出装置及び物体検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant