CN111753632B - 驾驶辅助装置 - Google Patents

驾驶辅助装置 Download PDF

Info

Publication number
CN111753632B
CN111753632B CN202010231919.7A CN202010231919A CN111753632B CN 111753632 B CN111753632 B CN 111753632B CN 202010231919 A CN202010231919 A CN 202010231919A CN 111753632 B CN111753632 B CN 111753632B
Authority
CN
China
Prior art keywords
human body
distance
virtual
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010231919.7A
Other languages
English (en)
Other versions
CN111753632A (zh
Inventor
若山凉至
小原和马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN111753632A publication Critical patent/CN111753632A/zh
Application granted granted Critical
Publication of CN111753632B publication Critical patent/CN111753632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种驾驶辅助装置。在驾驶辅助装置(10)中，人体确定部(66b)获取摄像头(44)获取到的图像数据中的、位于本车辆(12)的周围的人体(70)的图像来作为人体信息。虚拟骨骼推定部(66c)根据人体信息来推定人体(70)的虚拟骨骼(82)。雷达(46)或者LiDAR(48)测定距人体(70)的与虚拟骨骼(82)对应的部分的距离。据此，能够减轻人体识别处理的处理负荷。

Description

驾驶辅助装置
技术领域
本发明涉及一种对移动体的驾驶进行辅助的驾驶辅助装置。
背景技术
例如，在国际公开第2018/207351号中公开了，根据摄像头拍摄到的人体的图像，用骨架线连接该人体的关节位置，据此生成人体的骨骼信息。
发明内容
另外，在辅助本车辆(移动体)的驾驶的驾驶辅助装置中，在识别位于本车辆的前方的人体的情况下，首先用摄像头(视觉传感器)来拍摄人体的图像。接着，规定包括所拍摄到的图像中拍到的人体的框(范围)。接着，设定以测距传感器为顶点(基准位置)的与该框对应的虚拟的棱锥(设想存在人体的区域)，使用该测距传感器来测定与棱锥内之间的距离。接着，使用测距传感器测定到的各距离和人体的图像来识别人体。
然而，在该方法中，对棱锥内的所有部分进行距离测定，因此还要测定与棱锥内的除人体以外的部分(位置)的距离。据此，当使用测定到的各距离来进行人体的识别处理时，与人体以外的部分的距离会导致噪声，因此难以高精度地进行该人体的识别，并且识别处理的处理负荷增大。
另一方面，在国际公开第2018/207351号的技术中，能够生成人体的骨骼信息。然而，关于如何将这种技术适用于驾驶辅助装置中的人体识别处理，在国际公开第2018/207351号中没有任何提示。
本发明是考虑这样的技术问题而完成的，其目的在于，提供一种能够高精度地识别人体，并且能够减轻识别处理的处理负荷的驾驶辅助装置。
本发明的方式是对移动体的驾驶进行辅助的驾驶辅助装置，该驾驶辅助装置具有视觉传感器、测距传感器、人体信息获取部和虚拟骨骼推定部，其中，所述视觉传感器获取所述移动体的周围的图像；所述测距传感器测定距所述移动体的周围的物体的距离；所述人体信息获取部获取所述视觉传感器获取到的所述图像中的、位于所述移动体的周围的人体的图像来作为人体信息；所述虚拟骨骼推定部根据所述人体信息来推定所述人体的虚拟骨骼。在该情况下，所述测距传感器测定距所述人体的与所述虚拟骨骼对应的部分的距离。
根据本发明，根据人体的图像(人体信息)来推定该人体的虚拟骨骼，由测距传感器仅测定距与推定出的虚拟骨骼对应的人体的部分的距离。据此，测距传感器的测定范围仅被缩小到人体的部分，能够抑制对距人体以外的部分(位置)的距离进行测定。其结果，能够高精度地识别人体。
另外，通过缩小测距传感器的测定范围，能够减少测距传感器的测定结果的信息量。据此，能够减轻人体识别处理的处理负荷。
根据参照附图对以下实施方式进行的说明，上述的目的、特征和优点应易于被理解。
附图说明
图1是搭载有本实施方式所涉及的驾驶辅助装置的本车辆的结构图。
图2是示意性表示人体横穿本车辆的前方的情况的说明图。
图3是现有技术的方法的说明图。
图4是本实施方式的方法的说明图。
图5是表示图1的驾驶辅助装置的动作的流程图。
图6是表示图5的步骤S3的详细处理的流程图。
图7是表示图5的步骤S7的详细处理的流程图。
具体实施方式
下面，列举优选的实施方式且边参照附图边对本发明所涉及的驾驶辅助装置进行说明。
[1.本实施方式的结构]
＜1.1驾驶辅助装置10的整体结构＞
图1是表示本发明一实施方式所涉及的驾驶辅助装置10的结构的框图。驾驶辅助装置10被组装于车辆12(以下还称为本车辆12。)，且自动或者手动进行本车辆12(移动体)的行驶控制。另外，所谓“行驶控制”是指至少包括本车辆12的加减速控制的与本车辆12的行驶有关的控制。在“行驶控制”通过“自动驾驶”来进行的情况下，“自动驾驶”是除了包括全自动地进行本车辆12的行驶控制(驾驶辅助)的“全自动驾驶”之外，还包括半自动地进行行驶控制(驾驶辅助)的“半自动驾驶”的概念。
如图1所示，驾驶辅助装置10基本上由输入系统装置组14、控制系统16和输出系统装置组18构成。构成输入系统装置组14和输出系统装置组18的各个装置通过通信线连接于控制系统16。
输入系统装置组14具有外界传感器20、通信装置22、导航装置24、车辆传感器26、自动驾驶开关28和连接于操作设备30的操作检测传感器32。
输出系统装置组18具有：驱动力装置34，其驱动未图示的车轮；操舵装置36，其对该车轮进行操舵；制动装置38，其对该车轮进行制动；告知装置40，其通过视觉和听觉向驾驶员进行告知；和转向灯42，其向外部告知本车辆12进行左右转弯的方向。
＜1.2输入系统装置组14的具体结构＞
外界传感器20获取表示本车辆12的外界状态的信息(以下称为外界信息。)，且将该外界信息输出给控制系统16。具体而言，外界传感器20构成为，包括摄像头44(视觉传感器)、雷达46(测距传感器)、LiDAR(Light Detection and Ranging：光探测和测距，LaserImaging Detection and Ranging：激光成像探测与测距)48(测距传感器)。
通信装置22构成为能够与路侧机、其他车辆、和包括服务器的外部装置进行通信，例如收发与交通设备有关的信息、与其他车辆有关的信息、探测信息或者最新的地图信息50。该地图信息50被存储在设置于控制系统16的存储装置52的规定存储器区域内或者被存储于导航装置24。
导航装置24构成为包括能检测本车辆12的当前位置的卫星定位装置和用户接口(例如，触摸屏式的显示器、扬声器和麦克风)。另外，导航装置24根据本车辆12的当前位置或者用户指定的指定位置，来计算至指定的目的地的路径，且将该路径输出给控制系统16。由导航装置24计算出的路径被作为路径信息54而存储在存储装置52的规定存储器区域内。
车辆传感器26包括：速度传感器，其检测本车辆12的行驶速度(车速)；加速度传感器，其检测加速度；横向加速度(横G)传感器，其检测横向加速度；偏航角速率传感器，其检测绕垂直轴的角速度；方位传感器，其检测方向和方位；倾斜度传感器，其检测倾斜度，车辆传感器26将来自各传感器的检测信号输出给控制系统16。这些检测信号作为本车辆信息56被存储在存储装置52的规定存储器区域内。
自动驾驶开关28例如由按钮式的硬件开关、或者使用导航装置24的软件开关来构成。自动驾驶开关28构成为，能够通过包括驾驶员的用户的手动操作来切换多种驾驶模式。
操作设备30构成为包括加速踏板、方向盘、制动踏板、变速杆和转向灯操作杆。在操作设备30上安装有操作检测传感器32，该操作检测传感器32检测有无驾驶员的操作和操作量、操作位置。
操作检测传感器32将作为检测结果的加速踏板踩踏量(油门开度)、方向盘操作量(操舵量)、制动踏板踩踏量、挡位、左右转弯方向等输出给构成控制系统16的后述的行驶控制部58。
＜1.3输出系统装置组18的具体结构＞
驱动力装置34由驱动力ECU(Electronic Control Unit)、包括发动机和驱动马达的驱动源构成。驱动力装置34按照从行驶控制部58输入的行驶控制值生成本车辆12的行驶驱动力(扭矩)，且将该行驶驱动力经由变速器、或者直接传递给车轮。
操舵装置36由EPS(电动助力转向系统)ECU和EPS装置构成。操舵装置36按照从行驶控制部58输入的行驶控制值来改变车轮(转向轮)的方向。
制动装置38例如是并用液压式制动器的电动伺服制动器，由制动ECU和制动执行机构构成。制动装置38按照从行驶控制部58输入的行驶控制值来对车轮进行制动。
告知装置40由告知ECU、显示装置和音响装置构成。告知装置40按照从构成控制系统16的后述的告知控制部60输出的告知指令，来进行与自动驾驶或者手动驾驶有关的告知动作。转向灯42按照从告知控制部60输出的告知指令来进行与本车辆12的左右转弯有关的告知动作。
＜1.4控制系统16的结构＞
控制系统16由1个或者多个ECU构成，除了上述的存储装置52、行驶控制部58和告知控制部60之外，还具有各种功能实现部。在该实施方式中，功能实现部是通过由1个或者多个CPU(Central Processing Unit)执行存储在非暂时性存储装置52中的程序来实现功能的软件功能部。作为替代，功能实现部也可以是由FPGA(Field-Programmable GateArray：现场可编程门阵列)等集成电路构成的硬件功能部。
控制系统16构成为，除了包括存储装置52、行驶控制部58和告知控制部60之外，还包括外界识别部62、行动计划部64和人体应对部66。
外界识别部62使用由输入系统装置组14输入的各种信息(例如，来自外界传感器20的外界信息)，来识别位于本车辆12的两侧的车道标识线(白线)，生成包括停止线和交通信号灯的位置信息、或者可行驶区域的“静态”的外界识别信息。另外，外界识别部62使用输入的各种信息，生成包括泊车车辆和停车车辆等障碍物、人和其他车辆等交通参与者、或者交通信号灯的灯色(亮灯颜色)的“动态”的外界识别信息。
行动计划部64根据外界识别部62的识别结果制成每个行驶路段的行动计划(事件的时序)，且根据需要更新行动计划。作为事件的种类，例如如图2所示，当在本车辆12的前方有人体70时，是使该本车辆12顺利行驶的事件。另外，在本实施方式中，人体70包括：(1)行人；(2)包括二轮车和四轮车的移动体的操纵者；(3)包括在交叉路口等协调交通流的警察和施工人员的交通协调员。在以下的说明中，对人体70为行人的情况进行说明。
另外，行动计划部64使用从存储装置52读出的地图信息50、路径信息54和本车辆信息56，生成按照所制成的行动计划的行驶轨迹(目标行为的时序)。具体而言，该行驶轨迹是以位置、姿势角、速度、加速度、曲率、偏航角速率、操舵角为数据单位的时序数据集。
人体应对部66使用来自外界识别部62的各种信息，识别存在于本车辆12的周围的人体70，且进行用于应对识别到的人体70的处理。另外，人体应对部66将与应对识别到的人体70的应对结果有关的信息输出给行动计划部64。
在该情况下，人体应对部66作为外界信息获取部66a、人体确定部66b(人体信息获取部)、虚拟骨骼推定部66c、距离测定执行判定部66d、距离测定指示部66e、人体识别处理部66f和行驶控制变更处理部66g来发挥作用。在后面对人体应对部66的这些结构要素的功能进行叙述。
行驶控制部58按照由行动计划部64生成的行驶轨迹(目标行为的时序)，来确定至少包括本车辆12的加减速控制的、用于对本车辆12进行行驶控制的各个行驶控制值。然后，行驶控制部58将所得到的各个行驶控制值输出给驱动力装置34、操舵装置36和制动装置38。告知控制部60按照由行动计划部64生成的行驶轨迹来对告知装置40或者转向灯42进行驱动控制。下面，有时将行驶控制部58和告知控制部60总称为“驾驶控制部72”。
[2.驾驶辅助装置10的动作]
本实施方式中的驾驶辅助装置10如以上那样构成。接着，参照图2～图7，说明搭载有驾驶辅助装置10的本车辆12通过自动驾驶在道路74上行驶的情况下的驾驶辅助装置10的动作。
＜2.1人体70和道路74的说明＞
图2是表示本车辆12在道路74上行驶的状态的图。本车辆12想要沿未图示的预定行驶路径在道路74上行驶。
在本车辆12行驶的道路74的前方有人行横道76。人体70想要通过横穿人行横道76在本车辆12的前方穿过。在该情况下，驾驶辅助装置10(参照图1)根据摄像头44拍摄到的本车辆12周围的图像数据、雷达46和LiDAR48的检测结果来识别人体70。
＜2.2人体70的识别处理的概要＞
接着，一边参照图3和图4一边对驾驶辅助装置10进行的对人体70的识别处理的概要进行说明。图3是现有技术的方法，图4是本实施方式中的方法。
在图3的现有技术的方法中，首先，由摄像头44来拍摄包括人体70(参照图2)的本车辆12(参照图1)前方的规定区域。接着，根据摄像头44拍摄到的图像数据，来设定以摄像头44的位置为顶点(基准位置)的虚拟的棱锥78。棱锥78具有包括图像数据拍到的人体70的、还被称为“BBOX”的2维矩形形状的框80。接着，通过雷达46或者LiDAR48来进行相对于棱锥78内(的位置)的距离测定。接着，使用雷达46或者LiDAR48测定到的与棱锥78内的部分(位置)之间的各距离和人体70的图像来识别人体70。
然而，在图3的现有技术的方法中，对棱锥78内整体进行距离的测定。因此，还测定与位于棱锥78内的人体70以外的部分(位置)之间的距离。其结果，在使用测定到的各距离来进行人体70的识别处理的情况下，与人体70以外的部分的距离导致噪声。因此，难以高精度地进行人体70的识别，并且识别处理的处理负荷变大。
与此相对，在图4所示的本实施方式的方法中，在由摄像头44对包括人体70(参照图2)的本车辆12(参照图1)前方的规定区域进行拍摄之后，根据摄像头44拍摄到的图像数据来确定人体70的图像。接着，使用人体70的图像来推定对该人体70的骨骼进行仿真的虚拟骨骼82。接着，通过雷达46或者LiDAR48对人体70的与虚拟骨骼82对应的部分(人体70的覆盖骨头周围的肌肉等的体表)进行距离测定。接着，使用雷达46或者LiDAR48测定到的各距离和人体70的图像来识别人体70。
因此，在本实施方式的方法中，将测定范围缩小在与虚拟骨骼82对应的人体70的部分来进行距离测定。即，在棱锥78内，在与虚拟骨骼82对应的位置存在人体70的可能性高。因此，通过缩小测定范围来进行距离测定，能够抑制(减少)对与人体70以外的部分之间的距离进行测定，使噪声减少，因此能够高精度地识别人体70。
＜2.3驾驶辅助装置10的动作＞
接着，一边参照图5～图7的流程图一边对具体地执行上述的本实施方式的方法的驾驶辅助装置10的动作进行说明。另外，图5～图7的动作主体是人体应对部66。
首先，在图5的步骤S1中，人体应对部66的外界信息获取部66a(参照图1)获取摄像头44拍摄到的图像数据等外界信息。
在步骤S2中，人体确定部66b提取(获取)图像数据中、位于本车辆12周围(前方)的人体70(参照图2)的图像作为人体信息。
在步骤S3中，虚拟骨骼推定部66c根据提取出的人体信息来推定人体70的虚拟骨骼82。图6是表示步骤S3的处理的细节的流程图。
如图4所示，虚拟骨骼82由多个人体特征部82a、多个虚拟关节部82b和作为直线部分的轴部82c构成，其中，多个所述人体特征部82a是人体70(参照图2的)的手或头等、表征该人体70的人体部分；多个所述虚拟关节部82b相当于人体70的关节；所述作为直线部分的轴部82c相当于按照人体骨骼构造来连接多个人体特征部82a和多个虚拟关节部82b的骨头。
因此，在图6的步骤S31中，虚拟骨骼推定部66c首先根据人体信息，判定是否能检测到人体特征部82a和虚拟关节部82b。
在能检测到人体特征部82a和虚拟关节部82b的情况下(步骤S31：是)，在接着的步骤S32中，虚拟骨骼推定部66c通过使用公知的深度学习(Deep learning)的推定方法，例如“OpenPose”，来推定多个人体特征部82a和多个虚拟关节部82b的位置。
在步骤S33中，虚拟骨骼推定部66c根据推定出的多个人体特征部82a和多个虚拟关节部82b的位置，来推定相当于人体70的骨头周围的肌肉等(被体表覆盖的部分)的带肉部分84。
在步骤S34中，虚拟骨骼推定部66c以通过带肉部分84的内部(中心)的方式用直线连结多个人体特征部82a和多个虚拟关节部82b，且将连结的直线推定为轴部82c。
另外，当在步骤S31无法根据人体信息进行虚拟骨骼82的推定的情况下(步骤S31：否)，虚拟骨骼推定部66c中止虚拟骨骼82的推定处理，跳过步骤S32～S34的处理。
返回图5，在步骤S4中，距离测定执行判定部66d推定与人体70的距离。当在步骤S3中推定出虚拟骨骼82的情况下，距离测定执行判定部66d判定为能够根据虚拟骨骼82来测定与人体70的距离(步骤S4：是)。
在步骤S5中，距离测定指示部66e接受步骤S4中的肯定的判定结果，控制雷达46或者LiDAR48使其测定距人体70的与虚拟骨骼82对应的体表的距离。据此，雷达46或者LiDAR48根据来自距离测定指示部66e的指示，测定距人体70的与虚拟骨骼82对应的体表的距离。其结果，在步骤S6中，外界信息获取部66a能够获取来自雷达46或者LiDAR48的距人体70的与虚拟骨骼82对应的体表的距离的测定结果。
或者，在步骤S5中，距离测定指示部66e也可以指示外界信息获取部66a仅获取雷达46或者LiDAR48对距离的测定结果中、距与虚拟骨骼82对应的人体70的体表的距离的测定结果。据此，在步骤S6中，外界信息获取部66a仅获取距与虚拟骨骼82对应的人体70的体表的距离的测定结果。
在步骤S7中，人体识别处理部66f根据在步骤S6中获取到的距离和在步骤S2中确定的人体信息来进行人体70的识别处理。图7是表示步骤S7的处理的细节的流程图。
在图7的步骤S71中，人体识别处理部66f首先判定各距离的测定结果(距离信息)中、与轴部82c对应的人体70的体表的距离信息、和与人体特征部82a或虚拟关节部82b对应的人体70的体表的距离信息是否是相反的结果。
如前述那样，轴部82c是虚拟骨骼82中的直线部分。另一方面，人体特征部82a或者虚拟关节部82b是虚拟骨骼82中的点部分或者具有一定体积的部分。因此，可以说与轴部82c对应的距离信息的精度相对高于与人体特征部82a或者虚拟关节部82b对应的距离信息的精度。
因此，在结果为二者的距离信息相反的情况下(步骤S71：是)，人体识别处理部66f在步骤S72中优先采用精度高的与轴部82c对应的距离信息。另一方面，在结果为二者的距离信息大致一致的情况下(步骤S71：否)，人体识别处理部66f在步骤S73中优先采用与人体特征部82a或者虚拟关节部82b对应的距离信息。
在接着的步骤S74中，人体识别处理部66f使用在步骤S72或S73中采用的距离信息和在步骤S2中确定的人体信息来识别人体70。具体而言，根据作为人体70的图像的人体信息来确定该人体70的形状，并且根据所采用的距离信息来确定人体70相对于本车辆12的位置。
返回图5，在步骤S8中，行驶控制变更处理部66g判定是否需要变更本车辆12的行驶控制。具体而言，当在本车辆12行驶过程中识别到人体70正横穿前方的人行横道76时，行驶控制变更处理部66g判定为需要改变本车辆12的行驶控制，以生成使本车辆12的车速减速或者使本车辆12在人行横道76的近前暂时停车的行驶轨迹(步骤S8：是)。
然后，行驶控制变更处理部66g在接着的步骤S9中，根据步骤S8中的肯定的判定结果，将用于变更本车辆12的行驶控制的指示内容输出给行动计划部64。据此，行动计划部64受理行驶控制变更处理部66g的判定结果来更新行动计划。其结果，行驶控制部58根据更新后的行动计划(行驶轨迹)，控制构成输出系统装置组18的各个装置，据此使本车辆12的车速降低或者使本车辆12在人行横道76的近前暂时停车。
在此之后，进入步骤S10，在继续由人体应对部66进行的处理的情况下(步骤S10：是)，返回步骤S1，反复执行步骤S1～S10的处理。
另一方面，当在步骤S2中无法确定人体信息或者在步骤S3中无法进行虚拟骨骼82的推定处理的情况下(步骤S31：否)，在步骤S4中，距离测定执行判定部66d判定为无法由雷达46或者LiDAR48进行距离测定(步骤S4：否)，跳过步骤S5～S9的处理，进入步骤S10。
并且，在步骤S10中，在停止自动驾驶下的行驶的情况下(步骤S10：否)，图5～图7的一系列处理结束。
＜2.4变形例＞
在图5～图7中，说明雷达46或者LiDAR48根据虚拟骨骼82来测定与人体70的距离的情况。另外，也可以为：即使在无法推定虚拟骨骼82的情况下(图6的步骤S31：否)，在步骤S4中，距离测定执行判定部66d也允许由雷达46或者LiDAR48执行距离测定。在该情况下，雷达46或者LiDAR48在步骤S5中，按照图3所示的现有技术的方法来推定与人体70的距离。因此，在步骤S7中，根据与棱锥78内的部分的各距离来进行人体70的识别处理。
[3.本实施方式的效果]
如以上说明的那样，本实施方式所涉及的驾驶辅助装置10是辅助本车辆12(移动体)的驾驶的装置，具有摄像头44(视觉传感器)、雷达46或者LiDAR48(测距传感器)、人体确定部66b(人体信息获取部)和虚拟骨骼推定部66c，其中，所述摄像头44(视觉传感器)获取本车辆12的周围的图像；所述雷达46或者所述LiDAR48(测距传感器)测定与本车辆12的周围的物体的距离；所述人体确定部66b(人体信息获取部)获取摄像头44获取到的图像数据中、位于本车辆12周围的人体70的图像作为人体信息；所述虚拟骨骼推定部66c根据人体信息来推定人体70的虚拟骨骼82。在该情况下，雷达46或者LiDAR48测定距人体70的与虚拟骨骼82对应的部分(覆盖带肉部分84的体表)的距离。
根据该结构，根据人体70的图像(人体信息)来推定该人体70的虚拟骨骼82，由雷达46或者LiDAR48仅测定距与推定出的虚拟骨骼82对应的人体70的部分的距离。据此，雷达46或者LiDAR48的测定范围仅缩小在人体70的部分，由此能够抑制测定与人体70以外的部分的距离。其结果，能够高精度地识别人体70。
当进一步进行说明时，通过在图5的步骤S3中的图像识别处理阶段推定虚拟骨骼82，能够大幅减少在步骤S5中的距离测定中雷达46或者LiDAR48在三维空间(棱锥78)内搜索的点组的数量。据此，能够一边改善步骤S7中的人体70的识别处理的处理速度，一边高精度地进行包括人体70的三维位置的推定处理在内的该人体70的识别处理。
在此，虚拟骨骼82具有人体特征部82a和虚拟关节部82b，其中所述人体特征部82a至少包括人体70的手或者头部。雷达46或者LiDAR48测定距人体70的与人体特征部82a或者虚拟关节部82b对应的部分(覆盖带肉部分84的体表)的距离。据此，能够有效抑制与人体70以外的部分的距离的测定，更高精度地识别人体70。
另外，驾驶辅助装置10还具有人体识别处理部66f，该人体识别处理部66f根据雷达46或者LiDAR48测定到的与人体70的距离和人体信息来识别人体70。虚拟骨骼82具有人体特征部82a、多个虚拟关节部82b和轴部82c，其中所述轴部82c按照人体骨骼结构来连接人体特征部82a和多个虚拟关节部82b。雷达46或者LiDAR48还测定距人体70的与轴部82c对应的部分(覆盖带肉部分84的体表)的距离。
并且，在与轴部82c对应的距人体70的距离、和与人体特征部82a或者虚拟关节部82b对应的距人体70的距离不同的情况下，人体识别处理部66f通过优先使用距与轴部82c对应的人体70的距离来识别人体70。
轴部82c是虚拟骨骼82中的直线部分。因此，与人体特征部82a或者虚拟关节部82b相比较，测定到的距离的精度相对较高。因此，通过优先采用与轴部82c对应的距人体70的距离，能够高精度地识别人体70。
另外，在尽管人体确定部66b能够获取到人体信息但虚拟骨骼推定部66c难以根据人体信息推定虚拟骨骼82的情况下，雷达46或者LiDAR48也可以测定距与框80对应的本车辆12的周边部分(棱锥78内)的距离，其中所述框80包围人体70(人体信息)。据此，能够避免在本车辆12自动驾驶过程中人体70的识别处理中断。
雷达46或者LiDAR48测定距人体70的以下部分的距离：人体70中的与距虚拟骨骼82的距离为规定距离的区域对应的部分(覆盖带肉部分84的体表)。据此，能够可靠地测定与人体70的距离。
另外，人体70包括行人、其他移动体的操纵者、或者协调交通流的交通协调员，其中所述其他移动体包括二轮车或者四轮车，摄像头44在与本车辆12行驶的道路74(车道)相邻的范围内获取人体70的图像。通过根据虚拟骨骼82来识别这些属性的人体70，能够识别各人体特征部82a的位置和动作。其结果，能够识别该人体70的手势等。
在该情况下，根据人体特征部82a或者摄像头44获取到的图像中能与人体70重叠识别到的目标等，赋予人体70属性，并且推定该人体70的手势的意图。例如，根据图像中与本车辆12前方的二轮车重叠的人体70的规定动作，能够识别为“能超过二轮车”。另外，也可以通过在图像中捕捉到操纵者(驾驶员)将手从本车辆12前方的四轮车的车窗伸出的动作，来识别为该动作的意图为使本车辆12停止。
另外，推定这种人体70的意图的处理是对行人、操纵者、或者交通协调员等交通参与者进行的处理，因此在与道路74相邻的规定范围内获取人体70的图像，且使用该图像来检测人体70即可。
另外，本发明并不限定于上述实施方式，当然能够根据本说明书的记载内容来采用各种结构。

Claims (5)

1.一种驾驶辅助装置(10)，该驾驶辅助装置(10)对移动体(12)的驾驶进行辅助，其特征在于，
具有视觉传感器(44)、测距传感器(46、48)、人体信息获取部(66b)、虚拟骨骼推定部(66c)和距离测定指示部(66e)，其中，
所述视觉传感器(44)获取所述移动体的周围的图像；
所述测距传感器(46、48)测定距所述移动体的周围的物体的距离；
所述人体信息获取部(66b)获取所述视觉传感器获取到的所述移动体的周围的图像中的、位于所述移动体的周围的人体(70)的图像来作为人体信息；
所述虚拟骨骼推定部(66c)根据所述人体信息来推定所述人体的虚拟骨骼(82)，
所述距离测定指示部(66e)指示所述测距传感器测定距与所述虚拟骨骼对应的部分的距离，其中所述虚拟骨骼由所述虚拟骨骼推定部推定，
所述测距传感器根据来自所述距离测定指示部的指示来测定距所述人体的与所述虚拟骨骼对应的部分的距离，
在能获取到所述人体信息然而根据所述人体信息无法推定所述虚拟骨骼的情况下，所述测距传感器针对所述视觉传感器获取到的所述图像的整体来测定所述距离，其中所述图像包含与包围所述人体信息的框对应的所述移动体的周边部分。
2.根据权利要求1所述的驾驶辅助装置，其特征在于，
所述虚拟骨骼具有人体特征部(82a)和虚拟关节部(82b)，其中所述人体特征部(82a)至少包括所述人体的手或者头部，
所述测距传感器测定距所述人体的与所述人体特征部或者所述虚拟关节部对应的部分的距离。
3.根据权利要求2所述的驾驶辅助装置，其特征在于，
还具有人体识别处理部(66f)，该人体识别处理部(66f)根据所述测距传感器测定到的距所述人体的距离和所述人体信息来识别所述人体，
所述虚拟骨骼具有所述人体特征部、多个所述虚拟关节部和轴部(82c)，其中所述轴部(82c)按照人体骨骼结构来连接所述人体特征部和多个所述虚拟关节部，
所述测距传感器还测定距所述人体的与所述轴部对应的部分的距离，
在与所述轴部对应的距所述人体的距离、和与所述人体特征部或者所述虚拟关节部对应的距所述人体的距离不同的情况下，所述人体识别处理部通过优先使用与所述轴部对应的距所述人体的距离来识别所述人体。
4.根据权利要求1～3中任一项所述的驾驶辅助装置，其特征在于，
所述测距传感器测定距与规定距离的区域对应的所述人体的部分的距离，其中所述规定距离的区域是指距所述虚拟骨骼的距离为规定距离的区域。
5.根据权利要求1～3中任一项所述的驾驶辅助装置，其特征在于，
所述人体包括行人、其他移动体的操纵者或者协调交通流的交通协调员，其中所述其他移动体包括二轮车或者四轮车，
所述视觉传感器在与所述移动体行驶的车道(74)相邻的范围内获取所述人体的图像。
CN202010231919.7A 2019-03-29 2020-03-27 驾驶辅助装置 Active CN111753632B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019065417A JP2020166485A (ja) 2019-03-29 2019-03-29 運転支援装置
JP2019-065417 2019-03-29

Publications (2)

Publication Number Publication Date
CN111753632A CN111753632A (zh) 2020-10-09
CN111753632B true CN111753632B (zh) 2024-03-26

Family

ID=72605857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010231919.7A Active CN111753632B (zh) 2019-03-29 2020-03-27 驾驶辅助装置

Country Status (3)

Country Link
US (1) US11380120B2 (zh)
JP (1) JP2020166485A (zh)
CN (1) CN111753632B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530824A (zh) * 2015-09-15 2017-03-22 丰田自动车株式会社 驾驶辅助装置
WO2018207351A1 (ja) * 2017-05-12 2018-11-15 富士通株式会社 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム
CN109074745A (zh) * 2016-04-21 2018-12-21 株式会社电装 驾驶辅助装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5103955B2 (ja) * 2007-03-09 2012-12-19 富士通株式会社 画像検索方法、装置およびプログラム
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
JP6792160B2 (ja) * 2017-01-31 2020-11-25 富士通株式会社 移動支援システム、移動支援装置、移動支援端末、移動支援方法、地図作成システム、地図作成装置、及び情報取得端末
JP7311295B2 (ja) * 2019-03-29 2023-07-19 本田技研工業株式会社 制御装置、制御方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530824A (zh) * 2015-09-15 2017-03-22 丰田自动车株式会社 驾驶辅助装置
CN109074745A (zh) * 2016-04-21 2018-12-21 株式会社电装 驾驶辅助装置
WO2018207351A1 (ja) * 2017-05-12 2018-11-15 富士通株式会社 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム

Also Published As

Publication number Publication date
US20200311400A1 (en) 2020-10-01
US11380120B2 (en) 2022-07-05
JP2020166485A (ja) 2020-10-08
CN111753632A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN109760674B (zh) 车辆控制设备
US20160304126A1 (en) Vehicle control device
CN114612877A (zh) 用于估计未来路径的系统和方法
KR20200016958A (ko) 주차 지원 방법 및 주차 지원 장치
US11548443B2 (en) Display system, display method, and program for indicating a peripheral situation of a vehicle
KR102205144B1 (ko) 주차 지원 방법 및 주차 지원 장치
CN112825127B (zh) 生成用于自动驾驶标记的紧密2d边界框的方法
CN110036426A (zh) 控制装置和控制方法
JP6984624B2 (ja) 表示制御装置および表示制御プログラム
WO2021053763A1 (ja) 運転支援装置、運転支援方法及びプログラム
CN111753632B (zh) 驾驶辅助装置
US20220266824A1 (en) Road information generation apparatus
US20220258737A1 (en) Map generation apparatus and vehicle control apparatus
CN111746399A (zh) 驾驶辅助装置
US20220254056A1 (en) Distance calculation apparatus and vehicle position estimation apparatus
JP7141479B2 (ja) 地図生成装置
US20220262252A1 (en) Division line recognition apparatus
US11867526B2 (en) Map generation apparatus
US20220307861A1 (en) Map generation apparatus
US20220258733A1 (en) Division line recognition apparatus
US20230314162A1 (en) Map generation apparatus
CN109649398B (zh) 导航辅助系统和方法
JP2023149356A (ja) 地図生成装置
CN115675330A (zh) 基于移动设备的辅助驾驶方法、装置、设备及存储介质
JP6343479B2 (ja) 移動体制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant