CN116342641A - 图像处理装置、以及移动体 - Google Patents

图像处理装置、以及移动体 Download PDF

Info

Publication number
CN116342641A
CN116342641A CN202310309175.XA CN202310309175A CN116342641A CN 116342641 A CN116342641 A CN 116342641A CN 202310309175 A CN202310309175 A CN 202310309175A CN 116342641 A CN116342641 A CN 116342641A
Authority
CN
China
Prior art keywords
processor
behavior
mobile body
mobile
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310309175.XA
Other languages
English (en)
Inventor
茂木亮介
大和田祥武
井田阳介
三次朋广
青山贵宏
岩野翔太
斋藤伸彦
贵岛大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN116342641A publication Critical patent/CN116342641A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B60Q1/346—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction with automatic actuation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/547—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18159—Traversing an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明的图像处理装置(10)具有通信接口(12)和处理器(13)。处理器(13)从对移动体(1)的周围进行拍摄而得到的周围影像检测对象物的像，并基于检测到的对象物的状态，决定移动体(1)的举动。通信接口(12)将指示已决定的移动体(1)的举动的信息向移动体输出。处理器(14)基于从周围影像检测到的对象物的状态，决定移动体(1)的第一举动，并将指示已决定的第一举动的信息经由通信接口(12)向移动体(1)输出。然后，处理器(14)基于从移动体(1)的第一举动后的周围影像检测到的对象物的状态，决定移动体(1)的第二举动。

Description

图像处理装置、以及移动体
本申请是申请日为2019年1月7日、申请号为201980007021.7、发明名称为“图像处理装置、拍摄装置、移动体以及图像处理方法”的申请的分案申请。
相关申请的相互参照
本申请主张2018年1月29日申请的日本国专利申请2018-012872号、日本国专利申请2018-012877号、以及日本国专利申请2018-012902号的优先权，并将所述申请的全部公开内容引入于此以用于参照。
技术领域
本发明涉及图像处理装置、拍摄装置、移动体以及图像处理方法。
背景技术
以往，已知一种从照相机的拍摄图像检测对象物的技术。
例如，在专利文献1中记载了一种技术，通过车载照相机对车辆的周围进行拍摄，并根据车载照相机的拍摄图像，检测行人的膝部位置的移动速度以及上半身部位置的移动速度。另外，在专利文献2中记载了一种技术，车辆在交叉路口右转时，通过车载照相机、雷达等来检测对面车的状态，并基于该检测结果，判定与对面车发生碰撞的可能性，并向驾驶员进行通知。
现有技术文献
专利文献
专利文献1：日本特开2010-066810号公报
专利文献2：日本特开2008-243065号公报
发明内容
本发明的实施方式的图像处理装置具有处理器和输出部。所述处理器从对移动体的周围进行拍摄而得到的周围影像检测对象物的像，并基于检测到的该对象物的状态，决定所述移动体的举动。所述输出部将指示由所述处理器决定的所述移动体的举动的信息向所述移动体输出。所述处理器基于从所述周围影像检测到的对象物的状态，决定所述移动体的第一举动，将指示已决定的该第一举动的信息经由所述输出部向所述移动体输出。然后，所述处理器基于从所述移动体的所述第一举动后的周围影像检测到的所述对象物的状态，决定所述移动体的第二举动。
本发明的实施方式的图像处理装置具有处理器和输出部。所述处理器从对移动体的周围进行拍摄而得到的周围影像检测其他移动体的像，并基于检测到的该其他移动体的状态，进行决定所述移动体的举动的举动决定处理。所述输出部将指示由所述处理器决定的所述移动体的举动的信息向所述移动体输出。作为所述举动决定处理，所述处理器基于从所述周围影像检测到的其他移动体的第一状态，决定所述移动体的第一举动，并将指示已决定的该第一举动的信息经由所述输出部向所述移动体输出。然后，在基于从所述移动体的所述第一举动后的周围影像检测到的所述其他移动体的第二状态，没有得到所述其他移动体对于所述第一举动的有意的反应的情况下，所述处理器决定所述移动体的第二举动。
本发明的实施方式的图像处理装置具有处理器和输出部。所述处理器从对进行运送旅客的移动体的周围进行拍摄而得到的周围影像检测所述移动体的搭乘候选者的像，并基于检测到的该搭乘候选者的状态，决定所述移动体的举动。所述输出部将指示由所述处理器决定的所述移动体的举动的信息向所述移动体输出。所述处理器基于从所述周围影像检测到的所述搭乘候选者的状态，决定所述移动体的第一举动，并将指示已决定的该移动体的第一举动的信息经由所述输出部向所述移动体输出。所述处理器基于从所述移动体的所述第一举动后的周围影像检测到的所述搭乘候选者的状态，决定所述移动体的第二举动。
本发明的实施方式的拍摄装置具有上述任一个的图像处理装置、以及获取所述周围影像的输入部。
本发明的实施方式的移动体搭载有上述的拍摄装置。
本发明的实施方式的图像处理方法由图像处理装置执行，所述图像处理方法包括：从对移动体的周围进行拍摄而得到的周围影像检测对象物的像，并基于检测到的该对象物的状态，决定所述移动体的第一举动的步骤；将指示已决定的所述第一举动的信息向所述移动体输出的步骤；以及基于从所述移动体的所述第一举动后的周围影像检测到的所述对象物的状态，决定所述移动体的第二举动的步骤。
本发明的实施方式的图像处理方法由图像处理装置执行，所述图像处理方法包括：从对移动体的周围进行拍摄而得到的周围影像检测其他移动体的像，并基于检测到的该其他移动体的第一状态，决定所述移动体的第一举动的步骤；将指示已决定的所述第一举动的信息向所述移动体输出的步骤；以及在基于从所述移动体的所述第一举动后的周围影像检测到的所述其他移动体的第二状态，没有得到所述其他移动体对于所述第一举动的有意的反应的情况下，决定所述移动体的第二举动的步骤。
本发明的实施方式的图像处理方法由图像处理装置执行，所述图像处理方法包括：从对进行运送旅客的移动体的周围进行拍摄而得到的周围影像检测所述移动体的搭乘候选者的像，并基于检测到的该搭乘候选者的状态，决定所述移动体的第一举动的步骤；将指示已决定的所述第一举动的信息向所述移动体输出的步骤；以及基于从所述移动体的所述第一举动后的周围影像检测到的所述搭乘候选者的状态，决定所述移动体的第二举动的步骤。
附图说明
图1是表示本发明的第一实施方式的图像处理装置的结构例的图。
图2是表示在移动体与行人之间产生僵持状态的例子的图。
图3是表示图1所示的图像处理装置的动作的一例的流程图。
图4是表示本发明的第二实施方式的图像处理装置的结构例的图。
图5是表示在移动体与其他移动体之间产生僵持状态的例子的图。
图6是表示图4所示的图像处理装置的动作的一例的流程图。
图7是表示本发明的第三实施方式的图像处理装置的结构例的图。
图8是表示图7所示的图像处理装置的动作的一例的流程。
具体实施方式
近年来，正在开展车辆的全自动驾驶的研究/开发。也考虑将上述专利文献1以及专利文献2所记载的技术应用于全自动驾驶，例如，检测从静止到行进的这种行人的状态或者人驾驶的其他车辆的状态，并将其用于基于全自动驾驶的车辆的控制。然而，即使在应用了上述技术的情况下，也未必一定进行适当的全自动驾驶，对于交通的便利性仍有提高的余地。
以下，参照附图对本发明的实施方式进行例示说明。在各图中，相同的附图标记表示相同或同等的结构构件。
(第一实施方式)
图1是表示本发明的第一实施方式的图像处理装置10a的主要部分的结构例的图。如图1所示，本实施方式的图像处理装置10a搭载于移动体1，从移动体1的周围的周围影像检测对象物的状态，根据检测到的对象物的状态，来决定移动体1执行的举动。作为对象物，例如有人、其他移动体、动物等。另外，作为对象物的人包括行人、骑自行车的人等。作为移动体1，例如，有具有自动驾驶功能的车辆。以下，“自动驾驶”包括使驾驶车辆的用户操作的一部分或全部自动化。例如，自动驾驶也可以包括在SAE(Society ofAutomotiveEngineers)中定义的等级1至5。以下，对移动体1具有在SAE中定义的等级4以上的全自动驾驶功能进行说明。另外，以下，有时将具有全自动驾驶功能的车辆称为全自动驾驶车辆。
图1所示的图像处理装置10a具有作为输出部的通信接口12、处理器13a、存储部14。在移动体1上搭载有作为输入部的拍摄部11，用于获取对移动体1的周围进行拍摄而得到的周围影像。图像处理装置10a和拍摄部11构成搭载于移动体1的拍摄装置1A。首先，对拍摄部11进行说明。
拍摄部11是搭载于移动体1的车载照相机。拍摄部11获取对移动体1的周围进行拍摄而得到的周围影像，并向处理器13a输出。也可以在移动体1上搭载有多台拍摄部11。例如，在移动体1上搭载有4台车载照相机的情况，例如，在能够拍摄移动体1的前方的周围区域和移动体1的前侧面中的至少一部分的位置、能够拍摄移动体1的后方的周围区域和移动体1的后侧面中的至少一部分的位置、能够拍摄移动体1的左侧的周围区域和移动体1的左侧面的至少一部分的位置、能够拍摄移动体1的右侧的周围区域和移动体1的右侧面中至少一部分的位置分别配置拍摄部11。通过这样的配置，能够拍摄移动体1的四方的周围区域。
拍摄部11至少具有拍摄光学系统和拍摄元件。
拍摄光学系统例如包括一个以上的透镜和光圈等的光学构件。具有拍摄光学系统的透镜例如是鱼眼透镜等的视角广的透镜。拍摄光学系统使被拍摄体像在拍摄元件的受光面上成像。拍摄元件例如包括CCD(Charge CoupledDevice)图像传感器或CMOS(Complementary Metal-Oxide Semiconductor)图像传感器等。在拍摄元件的受光面上排列有多个像素。拍摄元件对成像于受光面上的被拍摄体像进行拍摄而生成拍摄图像。拍摄部11将由拍摄元件生成的拍摄图像经由有线或无线向处理器13a输出。拍摄部11向搭载于移动体1的ECU(Electronic Control Unit：电子控制单元)、显示器以及导航装置等的外部装置输出拍摄图像。另外，拍摄部11也可以具有对拍摄图像实施白平衡调整处理、曝光调整处理、以及伽马校正处理等规定的图像处理的功能。
接着，对图像处理装置10a所具有的各结构进行说明。
通信接口12是经由有线或无线与移动体1的各种控制系统进行通信的接口。通信接口12例如与控制移动体1的行驶的控制系统、控制移动体1的车灯以及转向灯的闪烁、喇叭的鸣动等的控制系统等进行通信。
处理器13a例如包括DSP(Digital Signal Processor：数字信号处理器)等专用的处理器、或者CPU(Central Processing Unit：中央处理单元)等通用处理器。处理器13a控制图像处理装置10a整体的动作。例如，处理器13a从拍摄部11获取的周围影像检测对象物的像，并基于检测到的对象物的状态，决定移动体1的举动。在对象物是人的情况下，处理器13a基于人的移动的方向、人的面部或视线的方向、以及人的手或脚的移动中的至少一个来检测人的状态。
另外，处理器13a经由通信接口12访问移动体1的各种控制系统，并检测移动体1的举动。处理器13a检测作为移动体1的举动的前进、后退、停止、减速、行进路径变更、照明点灯、让行(passing)、转向灯闪烁、喇叭鸣动、外部显示、以及现状保持等。处理器13a例如访问控制移动体1的行驶的控制系统，检测前进、后退、停止、减速以及行进路径变更等的举动。另外，处理器13a访问控制移动体1的车灯以及转向灯的闪烁、喇叭的鸣动等的控制系统，检测照明点灯、让行、转向灯闪烁、喇叭鸣动以及外部显示等举动。
处理器13a从拍摄部11获取的周围影像检测对象物的像，并基于检测到的对象物的状态，来决定移动体1的第一举动。处理器13a将指示已决定的第一举动的信息经由通信接口12向移动体1的控制系统输出。在移动体1的第一举动后，基于根据拍摄部11获取的周围影像而检测到的对象物的状态，没有得到对象物对于第一举动的有意的反应的情况下，处理器13a决定移动体1的第二举动。在此，有意的反应是指能够识别对象物的意图的反应，例如，是在移动体1的自动驾驶中能够意识到对象物的意图的反应。关于有意的反应的具体例在后面进行叙述。
存储部14例如包括一次存储装置或二次存储装置等。存储部14存储图像处理装置10a的动作所需的各种信息以及程序。
接着，对图像处理装置10a的动作进行说明。
有时在全自动驾驶车辆与对象物之间产生僵持状态。作为可能产生僵持状态的状况，例如，如图2所示，若对象物是人，则存在移动体1在机动车道上行驶的过程中，行人3站立在人行横道2的附近的人行道上的状况。在图2所示的状况下，移动体1在从拍摄部11获取的周围影像检测到站立在人行横道2的附近的行人3时，例如，在人行横道2的跟前停止，以使行人3能够横穿人行横道2。然而，存在行人3未必一定要横穿人行横道2，而只是停留在人行横道处的情况。在该情况下，无论行人3是否有横穿人行横道2的意图，但由于行人3一直停留在人行横道2的附近，因此，移动体1成为在人行横道2的跟前停止的状态。由此，在移动体1和行人3之间产生僵持状态，有可能妨碍顺畅的交通。
另一方面，在本实施方式中，在可能产生上述那样的僵持状态的状况下，在没有从对象物得到有意的反应的情况下，图像处理装置10a通过对对象物采取进一步的行动，从而获取对象物的回应，来检测对象物的意图。即，在本实施方式中，使移动体1和对象物如同进行会话一样，来检测对象物的意图。这样，降低了产生僵持状态的盖然性，从而实现了交通的顺畅化，因此，能够基于移动体1实现交通的便利性的提高。
图3是表示图像处理装置10a的动作的一例的流程图，是用于说明图像处理装置10a执行的图像处理方法的图。在图3中，如图2所示，以作为对象物的行人3站立在人行横道2的附近的状态为例进行说明。
步骤S11：处理器13a根据拍摄部11获取的周围影像，如图2所示，判定在人行横道2的附近是否存在停留的行人3。在人行横道2的附近停留有行人3的状况是在移动体1与行人3之间可能产生僵持状态的状况的一例。处理器13a在可能产生僵持状态的各种状况下判定是否存在行人3。处理器13a使用各种图像识别技术，能够检测来自周围影像的行人3的状态以及例如人行横道2的附近的周围环境。
步骤S12：在判定为不存在行人3的情况下(步骤S11：否)，处理器13a使移动体1的全自动驾驶继续，使移动体1通过人行横道2。
步骤S13：在判定为存在行人3的情况下(步骤S11：是)，处理器13a决定“停车”作为移动体1的举动。处理器13a将指示停车的信息经由通信接口12向移动体1输出，使移动体1停车。即，处理器13a在人行横道2的附近这样的环境中，基于从周围影像检测到的停留的行人3的状态，决定“停车”作为移动体1的举动(第一举动)，并将指示“停车”的信息经由通信接口12向移动体1输出。
步骤S14：处理器13a判定是否获取到行人3对于移动体1的举动(停车)的有意的反应。例如，处理器13a根据拍摄部11获取的周围影像来判定是否获取到行人3的有意的反应。
在判定为能够获取到行人3对于移动体1的举动(停车)的有意的反应的情况下(步骤S14：是)，处理器13a进入步骤S12的处理，使移动体1的全自动驾驶继续。作为有意的反应，例如，在图2所示的人行横道2的例子中，具有行人3开始横穿人行横道2、做出表示不横穿人行横道2的手势、做出给移动体1让道的手势等的反应。根据这些反应，能够检测出行人3的意图，即，行人3有横穿人行横道2的意图、行人3没有横穿人行横道2的意图、行人3有给移动体1让道的意图。通过检测这些行人3的意图，移动体1能够继续全自动驾驶。
步骤S15：在移动体1停车后，在判定为基于从拍摄部11获取的周围影像检测到的行人3的状态，无法获取行人3对于移动体1的举动(停车)的有意的反应的情况下(步骤S14：否)，处理器13a决定移动体1的举动(第二举动)。在无法获取行人3对于移动体1的举动(停车)的有意的反应的情况下，能够推定为行人3没有注意到移动体1的举动(停车)或者没有横穿人行横道2的意图等。在该情况下，处理器13a为了使行人3注意到移动体1或者为了检测行人3的意图，决定移动体1的第二举动。例如，处理器13a决定使移动体1的车灯瞬间向上(远光灯)点灯的“让行”，作为移动体1的举动(第二举动)。处理器13a将指示“让行”的信息经由通信接口12向移动体输出，使其执行让行。
这样，在移动体1的第一举动(停车)后，基于从拍摄部11获取的周围影像检测到的行人3的状态，没有得到行人3对于第一举动的有意的反应的情况下，处理器13a决定移动体1的第二举动(让行)。这样一来，通过移动体1促使行人3进行反应，从而能够通过图像处理装置10a更准确地检测行人3的意图。其结果，降低了在移动体1与行人3之间产生僵持状态的盖然性，从而实现了交通的顺畅化，因此，能够基于移动体1实现交通的便利性的提高。
步骤S16：处理器13a判定是否获取到行人3对于移动体1的举动(让行)的有意的反应。
在判定为能够获取到行人3对于移动体1的举动(让行)的有意的反应的情况下(步骤S16：是)，处理器13a进入步骤S12的处理，使移动体1的全自动驾驶继续。
步骤S17：在让行后，判定为基于从拍摄部11获取的周围影像检测到的行人3的状态，无法获取行人3对于移动体1的举动(让行)的有意的反应的情况下(步骤S16：否)，处理器13a决定在未到达人行横道2的程度(例如，数十cm左右)下使移动体1前进的“稍微前进”，作为移动体1的举动。然后，处理器13a将指示“稍微前进”的信息经由通信接口12向移动体1输出，使移动体1稍微前进。即，在步骤S17中，在将“让行”作为第一举动，基于从移动体1的让行后的周围影像检测到的行人3的状态，没有得到行人3对于第一举动的有意的反应的情况下，处理器13a决定“稍微前进”，来作为移动体1的第二举动。
步骤S18：处理器13a判定是否获取到行人3对于移动体1的举动(稍微前进)的有意的反应。
在判定为能够获取行人3对于移动体1的举动(稍微前进)的有意的反应的情况下(步骤S18：是)，处理器13a进入步骤S12的处理，使移动体1的全自动驾驶继续。
步骤S19：在移动体1的稍微前进后，判定基于从拍摄部11获取的周围影像检测到的行人3的状态，无法获取行人3对于移动体1的举动(稍微前进)的有意的反应的情况下(步骤S18：否)，处理器13a决定“喇叭鸣动”作为移动体1的举动。处理器13a将指示“喇叭鸣动”的信息经由通信接口12向移动体1输出，使喇叭鸣动。即，在步骤S19中，在将“稍微前进”作为第一举动，基于从移动体1的稍微前进后的周围影像检测到的行人3的状态，没有得到行人3对于第一举动的有意的反应的情况下，处理器13a决定“喇叭鸣动”来作为移动体1的第二举动。
步骤S20：处理器13a判定是否获取到行人3对于移动体1的举动(喇叭鸣动)的有意的反应。
在判定为能够获取行人3对于移动体1的举动(喇叭鸣动)的有意的反应的情况下(步骤S20：是)，处理器13a进入步骤S12的处理，使移动体1的全自动驾驶继续。
步骤S21：在移动体1进行喇叭鸣动后，在判定为基于从拍摄部11获取的周围影像检测到的行人3的状态，无法获取行人3对于移动体1的举动(喇叭鸣动)的有意的反应的情况下(步骤S20：否)，处理器13a解除移动体1的全自动驾驶。即，在即使反复进行规定次数的移动体1的举动也无法从行人3获取有意的反应的情况下，处理器13a解除移动体1的全自动驾驶。通过解除全自动驾驶，移动体1的驾驶员自身能够根据行人3的情况、姿态等来识别行人3的意图，根据该识别结果，使移动体1行驶。
在图3中，以作为移动体1的举动的“停车”、“让行”、“稍微前进”、以及“喇叭鸣动”为例进行了说明，但并不限于此。作为移动体1的举动，能够适当地选择“前进”、“后退”、“停止”、“减速”、“行进路径变更”、“照明点灯”、“让行”、“转向灯闪烁”、“喇叭鸣动”、“外部显示”、以及“现状保持”等动作。另外，移动体1的举动也可以是适当地组合“前进”、“后退”、“停止”、“减速”、“行进路径变更”、“照明点灯”、“让行”、“转向灯闪烁”、“喇叭鸣动”、“外部显示”、以及“现状保持”等动作。另外，在移动体1具有声音输出功能的情况下，移动体1的举动也可以包括声音输出。另外，在移动体1具有向地面等进行投影的投影功能的情况下，移动体1的举动也可以包括向人行道等投影消息等规定的像。
另外，在图3中，以处理器13a按照“停车”、“让行”、“稍微前进”、“喇叭鸣动”的顺序来决定移动体1的举动为例进行了说明，但并不限定于此。处理器13a也可以从“前进”、“后退”、“停止”、“减速”、“行进路径变更”、“照明点灯”、“让行”、“转向灯闪烁”、“喇叭鸣动”、“外部显示”、以及“现状保持”等多个动作之中，根据规定的优先顺序来决定移动体1的举动。处理器13a也可以例如根据基于周围环境等的规定的优先顺序来决定移动体1的举动。例如，处理器13a可以在夜间将“喇叭鸣动”这种成为噪音的动作的优先顺序设定较低，将“照明点灯”、“让行”以及“转向灯闪烁”等不产生噪音的动作的优先顺序设定为高。另外，处理器13a也可以根据行人3注意到各动作的可能性等而赋予各动作分数。在该情况下，例如，若将一次或多次的基于单一动作的举动向行人3进行提示也没有得到有意的反应，则处理器13a也可以决定将相比赋予单一的动作的分数而合计的分数更高的多个动作的组合，作为移动体1的举动。
另外，在图3中，使用在即使反复进行规定次数的移动体1的举动也无法从行人3获取有意的反应的情况下，解除移动体1的全自动驾驶的例子进行了说明，但并不限定于此。处理器13a例如也可以一边与行人3保持距离并缓行，一边使移动体1行驶，来代替解除全自动驾驶。
另外，在图1中，使用通过搭载于移动体1的图像处理装置10a进行来自周围影像的对象物的状态的检测以及与对象物的状态相对应的移动体1的举动的决定等的例子进行了说明，但并不限定于此。例如，也可以是网络上的服务器等具有主要处理器13a所具有的来自周围影像的对象物的状态的检测以及与对象物的状态相对应的移动体1的举动的决定等功能。在该情况下，移动体1能够经由网络与服务器进行通信，将周围影像从移动体1向服务器发送。服务器根据从移动体1获取的周围影像，进行与对象物的检测以及对象物的状态相对应的移动体1的举动的决定，将指示已决定的举动的信息向移动体1发送。
这样，在本实施方式中，图像处理装置10a具有通信接口12和处理器13a。处理器13a从对移动体1的周围进行拍摄而得到的周围影像来检测对象物的像，基于检测到的对象物的状态，来决定移动体1的举动。通信接口12将指示由处理器13a决定的移动体1的举动的信息向移动体1输出。处理器13a基于从周围影像检测到的对象物的状态，决定移动体1的第一举动，并将指示已决定的第一举动的信息经由通信接口12向移动体1输出。处理器13a基于从移动体1的第一举动后的周围影像检测到的对象物的状态，来决定移动体1的第二举动。
在移动体1的第一举动后，通过使移动体1进行第二举动，促使对象物的反应，从而能够更准确地检测对象物的意图。其结果，降低了在移动体1与对象物之间产生僵持状态的盖然性，从而实现了交通的顺畅化，因此，能够基于移动体1实现交通的便利性的提高。
(第二实施方式)
图4是表示本发明的第二实施方式的图像处理装置10b的主要部分结构例的图。如图4所示，本实施方式的图像处理装置10b搭载于移动体1，从移动体1的周围的周围影像检测其他移动体的状态，根据检测到的其他移动体的状态，决定移动体1执行的举动。作为移动体1，例如有具有自动驾驶功能的车辆。另外，作为其他移动体，例如有人驾驶的车辆。
图1所示的图像处理装置10b具有作为输出部的通信接口12、处理器13b、存储部14。即，本实施方式的图像处理装置10b与第一实施方式的图像处理装置10a相比不同点在于，将处理器13a变更为处理器13b。在移动体1中搭载有作为输入部的拍摄部11，该拍摄部11用于获取对移动体1的周围进行拍摄而得到的周围影像。图像处理装置10b和拍摄部11构成搭载于移动体1的拍摄装置1A。
处理器13b例如包括DSP等专用的处理器或者CPU等通用处理器。处理器13b控制图像处理装置10b整体的动作。例如，处理器13b从拍摄部11获取的周围影像检测其他移动体的像，并基于检测到的其他移动体的状态，进行决定移动体1的举动的举动决定处理。处理器13b检测其他移动体的前进、后退、停止、减速、操纵方向、行进路径变更、照明点灯、让行、转向灯闪烁、喇叭鸣动、外部显示以及现状保持中的至少一个，作为其他移动体的状态。
另外，处理器13b经由通信接口12访问移动体1的各种控制系统，检测移动体1的举动。处理器13b检测作为移动体1的举动的前进、后退、停止、减速、行进路径变更、照明点灯、让行、转向灯闪烁、喇叭鸣动、外部显示、以及现状保持等。处理器13b例如访问控制移动体1的行驶的控制系统，检测前进、后退、停止、减速、行进路径变更等举动。另外，处理器13b访问控制移动体1的车灯以及转向灯的闪烁、喇叭的鸣动等的控制系统，检测照明点灯、让行、转向灯闪烁、喇叭鸣动以及外部显示等举动。
处理器13b进行以下的动作，作为举动决定处理。即，处理器13b从拍摄部11获取的周围影像检测其他移动体的像，并基于检测到的其他移动体的第一状态，决定移动体1的第一举动。处理器13b将指示已决定的第一举动的信息经由通信接口12向移动体1的控制系统输出。在移动体1的第一举动后，基于从拍摄部11获取的周围影像检测到的其他移动体的第二状态，没有得到其他移动体对于第一举动的有意的反应的情况下，处理器13b决定移动体1的第二举动。在此，有意的反应是指能够识别其他移动体的驾驶员的意图的反应，例如，在移动体1的自动驾驶下，能够识别其他移动体的驾驶员的意图的反应。关于有意的反应的具体例将在后面叙述。
接着，对图像处理装置10b的动作进行说明。
有时在全自动驾驶车辆与人驾驶的车辆之间发生僵持状态。作为可能产生僵持状态的状况，例如，如图5所示，存在在移动体1在交叉路口右转时，行驶在对面车道的其他移动体4在交叉路口的跟前停止的状况。在如图5所示的状况下，移动体1在从拍摄部11获取的周围影像检测到对面车道上的其他移动体4时，例如，在从行驶车道稍微进入交叉路口的地点停止，以使其他移动体4能够直行或者左转。然而，其他移动体4未必一定要进入交叉路口而直行或左转，有时为了给移动体1让道或者为了卸下货物等而停止。在该情况下，尽管其他移动体4的驾驶员没有进入交叉路口的意图，但是由于其他移动体4持续存在于交叉路口的跟前，因此，移动体1有可能一直处于停止的状态。这样一来，在移动体1与其他移动体4之间产生僵持状态，有可能妨碍顺畅的交通。
另一方面，在本实施方式中，在可能产生上述那样的僵持状态的状况下，没有从其他移动体4得到有意的反应的情况下，图像处理装置10b对其他移动体4采取进一步的行动。这样一来，图像处理装置10b获取其他移动体4的回应，更准确地检测其他移动体4的驾驶员的意图。即，在本实施方式中，如同移动体1与其他移动体4进行会话一样，来检测其他移动体4的驾驶员的意图。由此，降低产生僵持状态的盖然性，从而实现了交通的顺畅化，因此，能够基于移动体1实现交通的便利性的提高。
图6是表示图像处理装置10b的动作的一例的流程图，是用于说明图像处理装置10b执行的图像处理方法的图。在图6中，如图5所示，以移动体1在交叉路口右转的状态为例进行说明。
步骤S31：处理器13b根据拍摄部11获取的周围影像，判定在对面车道上是否存在其他移动体4即对面车。
步骤S32：在判定为不存在对面车的情况下(步骤S31：否)，处理器13b使移动体1的全自动驾驶继续，使移动体1在交叉路口右转。
步骤S33：在判定为存在对面车的情况下(步骤S31：是)，处理器13b根据拍摄部11获取的周围影像，判定对面车是否正在前进。
步骤S34：在判定为对面车正在前进的情况下(步骤S33：是)，处理器13b使移动体1在交叉路口的中央附近，即，使对面车能够直行而等待右转的右转位置停止。
步骤S35：接着，处理器13b判定是否对面车在交叉路口直行或左转而通过了交叉路口。
在判定为对面车未通过交叉路口的情况下(步骤S35：否)，处理器13b返回步骤S34的处理，使移动体1持续停止。
在判定为对面车已通过交叉路口的情况下(步骤S35：是)，处理器13b使移动体1的全自动驾驶继续，使移动体1在交叉路口右转。
步骤S36：在判定为对面车未前进的情况下(步骤S33：否)，处理器13b决定使移动体1从右转位置稍微(例如，数十cm程度)前进的“稍微前进”，来作为移动体1的举动，以不妨碍对面车的直行。即，处理器13b，在交叉路口右转时这样的环境下，基于停止这样的对面车的状态(第一状态)，决定“稍微前进”作为移动体1的举动(第一举动)，将指示“稍微前进”的信息经由通信接口12向移动体1输出。
如上所述，在移动体1在交叉路口右转时，其他移动体4即对面车处于停止的状况是在移动体1与其他移动体4之间产生僵持状态的状况的一例。处理器13b在可能产生僵持状态的各种状况下，判定是否存在其他移动体4。处理器13b能够使用各种的图像识别技术，从周围影像检测其他移动体4的状态、以及交叉路口的右转时的周围环境。
步骤S37：处理器13b判定是否获取到对面车对于移动体1的举动(稍微前进)的有意的反应。例如，处理器13b根据拍摄部11获取的周围影像，判定是否获取到对面车的有意的反应。
在判定为能够获取对面车对于移动体1的举动(稍微前进)的有意的反应的情况下(步骤S37：是)，处理器13b进入步骤S32的处理，使移动体1的全自动驾驶继续。作为有意的反应，例如，在如图5所示的交叉路口的右转时的例子中，具有对面车开始前进、对面车给移动体1让道的动作，例如，让行等反应。根据这些反应，能够检测出有进入交叉路口的意图、有给移动体1让道的意图这样的对面车的驾驶员的意图。通过检测对面车的驾驶员的意图，移动体1能够根据其意图，继续全自动驾驶。
步骤S38：在移动体1的第一举动(稍微前进)后，在判定为基于从拍摄部11获取的周围影像检测到的对面车的状态，无法获取对面车相对于移动体1的举动的有意的反应的情况下(步骤S37：否)，处理器13b决定移动体1的举动(第二举动)。在无法获取对面车对于移动体1的举动(稍微前进)的有意的反应的情况下，能够推定对面车的驾驶员没有注意到移动体1的举动或者没有进入交叉路口的意图等。在该情况下，为了使对面车的驾驶员注意到移动体1或者更准确地检测对面车的驾驶员的意图，处理器13b决定促使对面车的反应的移动体1的第二举动。例如，处理器13b决定使移动体1的车灯瞬间向上(远光灯)点灯的“让行”，作为移动体1的第二举动。处理器13b将指示“让行”的信息经由通信接口12向移动体1输出，使其执行让行。
这样，在移动体1的第一举动(稍微前进)后，基于从拍摄部11获取的周围影像检测到的其他移动体4的状态，没有得到其他移动体4对于第一举动的有意的反应的情况下，处理器13b决定移动体1的第二举动(让行)。这样一来，通过移动体1促使其他移动体4进行反应，从而能够利用图像处理装置10b更准确地检测其他移动体4的驾驶员的意图。其结果，降低了在移动体1与其他移动体4之间产生僵持状态的盖然性，从而能够实现交通的顺畅化，因此，能够实现交通的便利性的提高。
步骤S39：处理器13b判定是否获取到对面车对于移动体1的举动(让行)的有意的反应。
在判定为能够获取到对面车对于移动体1的举动(让行)的有意的反应的情况下(步骤S39：是)，处理器13b进入步骤S32的处理，使移动体1的全自动驾驶继续。
步骤S40：在判定为无法获取对面车对于移动体1的举动(让行)的有意的反应的情况下(步骤S39：否)，处理器13b解除移动体1的全自动驾驶。通过解除全自动驾驶，移动体1的驾驶员自身能够根据对面车的情况等来识别对面车的驾驶员的意图，并根据该识别结果，使移动体1行驶。
在图6中，作为第二举动，使用在让行后没有得到对面车的有意的反应的情况下，解除移动体1的全自动驾驶的例子进行了说明，但并不限定于此。处理器13b也可以接着让行，依次进行喇叭鸣动、转向灯闪烁等动作，并针对每个动作判定是否能够得到对面车的有意的反应。另外，处理器13b也可以在即使反复进行规定次数的移动体1的举动也无法获取来自其他移动体4的有意的反应的情况下，解除移动体1的全自动驾驶。
另外，在图6中，作为移动体1的举动，以“稍微前进”、“让行”为例进行了说明，但并不限定于此。能够适当地选择“前进”、“后退”、“停止”、“减速”、“行进路径变更”、“照明点灯”、“让行”、“转向灯闪烁”、“喇叭鸣动”、“外部显示”、以及“现状保持”等动作，作为移动体1的举动。另外，移动体1的举动也可以是适当地组合“前进”、“后退”、“停止”、“减速”、“行进路径变更”、“照明点灯”、“让行”、“转向灯闪烁”、“喇叭鸣动”、“外部显示”以及“现状保持”等动作的举动。另外，在移动体1具有声音输出功能的情况下，移动体1的举动也可以包括声音输出。另外，在移动体1具有向地面等进行投影的投影功能的情况下，移动体1的举动也包括向人行道等投影消息等规定的像。
另外，在图6中，采用处理器13b按照“稍微前进”、“让行”的顺序来决定移动体1的举动的例子进行了说明，但并不限定于此。处理器13b也可以从“前进”、“后退”、“停止”、“减速”、“行进路径变更”、“照明点灯”、“让行”、“转向灯闪烁”、“喇叭鸣动”、“外部显示”、“现状保持”等多个动作之中，根据规定的优先顺序，来决定移动体1的举动。处理器13b也可以例如根据基于周围环境等的规定的优先顺序，决定移动体1的举动。例如，处理器13b也可以在夜间将“喇叭鸣动”这种成为噪音的动作的优先顺序设定为低，将“照明点灯”、“让行”、以及“转向灯闪烁”等不产生噪音的动作的优先顺序设定为高。另外，处理器13b也可以针对每个动作赋予与规定的基准，例如其他移动体4的驾驶员注意到每个动作的可能性的高低相对应的分数。在该情况下，例如，在提示一次或多次的基于单一的动作的举动也无法获取到其他移动体4的有意的反应的情况下，处理器13b也可以决定将相比赋予单一的动作的分数而合计分数更高的多个动作的组合，作为移动体1的举动。
另外，在图6中，使用在即使反复进行规定次数的移动体1的举动也无法从其他移动体4获取有意的反应的情况下，解除移动体1的全自动驾驶的例子进行了说明，但并不限定于此。处理器13b例如也可以一边使移动体1与其他移动体4保持距离并缓行，一边使移动体1行驶，来代替解除全自动驾驶。
另外，在图4中，使用通过搭载于移动体1的图像处理装置10b进行来自周围影像的其他移动体4的状态的检测以及与其他移动体4的状态相对应的移动体1的举动的决定等的例子进行了说明，但并不限定于此。例如，也可以是网络上的服务器等具有主要处理器13b所具有的来自周围影像的其他移动体4的状态的检测以及与其他移动体4的状态相对应的移动体1的举动的决定等功能。在该情况下，移动体1能够经由网络与服务器进行通信，从移动体1向服务器发送周围影像。服务器根据从移动体1获取的周围影像，进行其他移动体4的检测以及与其他移动体4的状态相对应的移动体1的举动的决定，并将指示已决定的举动的信息向移动体1发送。
接着，对处理器13b的动作例进行更具体的说明。
处理器13b预测移动体1的行进路径。处理器13b例如基于拍摄部11的拍摄影像以及经由通信接口12控制移动体1的行驶的控制系统的监视结果，来预测移动体1的行进路径。另外，处理器13b基于其他移动体4的状态(第一状态)，来预测其他移动体4的行进路径。而且，在预测到移动体1与其他移动体4会发生碰撞的情况下，例如，若其他移动体4的状态(第二状态)为前进或现状保持，则直到碰撞的预测被解除为止，处理器13b决定停止或减速来作为移动体1的举动(第二举动)。另外，在预测到移动体1与其他移动体4会发生碰撞的情况下，例如，若其他移动体4的状态(第二状态)为停止、减速以及行进路径变更中的任一个，则处理器13b决定前进或让行来作为移动体1的举动(第二举动)。这样一来，能够避免移动体1与其他移动体4发生碰撞。以下，对移动体1行驶时的各种情况下的处理器13b的动作例进行说明。
首先，参照表1对移动体1在交叉路口右转时的处理器13b的动作例进行说明。
[表1]
Figure BDA0004147868610000171
处理器13b在移动体1的右转时，检测行驶在移动体1的行驶车道的对面车道的对面车的状态，作为其他移动体4。在对面车正在前进的情况下，处理器13b决定“停止”，来作为移动体1的举动。而且，处理器13b再次检测对面车的状态。在对面车正在前进的情况下，处理器13使移动体1待机。即，处理器13b保持使移动体1停止的状态。另外，在对面车停止的情况下，处理器13b决定“稍微前进”、“让行”、“喇叭鸣动”、“转向灯闪烁”等，来作为移动体1的举动。
另外，在对面车停止的情况下，处理器13b决定“稍微前进”、“让行”、“喇叭鸣动”、“转向灯闪烁”等，来作为移动体1的举动。然后，处理器13b再次检测对面车的状态，并判定是否从对面车得到了有意的反应。在判定为从对面车得到了有意的反应的情况下，处理器13b决定与对面车的反应相对应的举动，来作为移动体1的举动。例如，在判定为对面车的驾驶员有进入交叉路口的意图的情况下，处理器13b使移动体1停止，直到对面车通过为止。另外，例如，在判定为对面车的驾驶员有给移动体1让道的意图的情况下，处理器13b使移动体1在交叉路口右转。
在判定为没有从对面车得到有意的反应的情况下，为了促使能够检测对面车的驾驶员的意图的对面车的反应，处理器13b决定“稍微前进”、“让行”、“喇叭鸣动”、“转向灯闪烁”等，来作为移动体1的举动。然后，处理器13b再次检测对面车的状态。这样，在移动体1在交叉路口右转时，处理器13b检测行驶在对面车道的其他移动体4的状态。然后，在检测到对面车停止来作为对面车的状态的情况下，处理器13b进行举动决定处理。
在移动体1右转时，对面车停车的情况下，对面车的驾驶员的意图未必一定明确，在移动体1与对面车之间可能产生僵持状态。因此，通过举动决定处理，决定促使作为移动体1的举动的对面车的反应的举动，从而更准确地检测对面车的驾驶员的意图，由此，能够降低产生僵持状态的盖然性。
接着，移动体1从行驶车道向高速道路等干线合流时，即，参照表2对移动体1的从第一车道向第二车道合流时的动作例进行说明。
[表2]
Figure BDA0004147868610000181
在向高速道路等干线合流时，处理器13b检测其他移动体4、即相比移动体1更靠后方且行驶在干线的车辆的状态。以下，将相比移动体1更靠后方且行驶在干线的车辆称为干线行驶车辆。在不存在干线行驶车辆的情况下，处理器13b决定“转向灯点灯”、“车道变更开始”，来作为移动体1的举动。即，在不存在干线行驶车辆的情况下，处理器13b使移动体1开始向干线合流。
在干线行驶车辆正在减速的情况下，能够推定干线行驶车辆的驾驶员有促使移动体1向干线合流的意图。因此，处理器13b决定“转向灯点灯”、“向干线侧一点一点移动”、“加速”，来作为移动体1的举动。然后，处理器13b检测干线行驶车辆的状态，若能够直接向干线合流，则使移动体1开始向干线合流。
在干线行驶车辆正在加速的情况下，能够推定干线行驶车辆的驾驶员有不促使移动体1向干线合流而保持原状态继续行驶的意图。因此，处理器13b决定“转向灯点灯”、“向干线侧一点一点移动”、“减速”，来作为移动体1的举动。而且，处理器13b检测干线行驶车辆的状态，例如，若干线行驶车辆保持原状态继续行驶，则不进行向干线的合流，在该干线行驶车辆通过后再次尝试向干线合流。
在干线行驶车辆匀速行驶的情况下，即，干线行驶车辆的车速未变化规定值以上的匀速行驶的情况下，不清楚干线行驶车辆的驾驶员有促使移动体1向干线合流的意图，还是有不促使移动体1向干线合流而保持原状态继续行驶的意图。因此，为了促使能够检测干线行驶车辆的驾驶员的意图的干线行驶车辆的反应，处理器13b决定“转向灯点灯”、“向干线侧一点一点移动”、“加速”、“减速”等，来作为移动体1的举动。然后，处理器13b再次检测干线行驶车辆的状态，并判定是否从干线行驶车辆得到了有意的反应。在判定为从干线行驶车辆得到了有意的反应的情况下，处理器13b决定与干线行驶车辆的反应相对应的举动，来作为移动体1的举动。例如，在判定为干线行驶车辆的驾驶员有促使移动体1向干线合流的意图的情况下，处理器13b使移动体1开始向干线合流。另外，例如，处理器13b在判定为干线行驶车辆的驾驶员有不促使移动体1向干线合流而保持原状态继续行驶的意图的情况下，在该干线行驶车辆通过后，再次尝试向干线合流。
在判定为没有从干线行驶车辆得到有意的反应的情况下，处理器13b决定用于促使能够检测干线行驶车辆的驾驶员的意图的对面车的反应的移动体1的举动，来作为移动体1的举动。这样，在移动体1从第一车道向第二车道合流时，处理器13b检测位于移动体1的后方且行驶在第二车道的其他移动体4的状态。然后，在检测到其他移动体4匀速行驶作为其他移动体4的状态的情况下，处理器13b进行举动决定处理。
在移动体1从其行驶车道向干线合流时，在干线行驶车辆正在匀速行驶的情况下，干线行驶车的意图并不明确，在移动体1与干线行驶车辆之间可能产生僵持状态。因此，通过举动决定处理，决定促使对面车的反应的举动，来作为移动体1的举动，从而更准确地检测对面车的驾驶员的意图，由此，能够降低产生僵持状态的盖然性。
接着，参照表3对移动体1在交叉路口或者T字路右转或左转时，即移动体1从移动体1的行驶路径进入与行驶路径交叉的交叉路时的动作例进行说明。
[表3]
Figure BDA0004147868610000201
在移动体1在交叉路口或者T字路右转或左转时，处理器13b检测行驶在交叉路的车辆中的、移动体1要进入该车辆的前方的车辆的状态，来作为其他移动体4的状态。以下，将行驶在交叉路且移动体1要进入该车辆的前方的车辆称为交叉路行驶车辆。
在交叉路行驶车辆已停止的情况下，处理器13b决定“稍微前进”，来作为移动体1的举动。然后，处理器13b再次检测交叉路行驶车辆的状态。在交叉路行驶车辆的状态为在规定时间以上不变化的情况下，即，在交叉路行驶车辆保持停止状态的情况下，处理器13b使移动体1进入该交叉路行驶车辆的前方。在交叉路行驶车辆前进的情况下，处理器13b取消进入该交叉路行驶车辆的前方，决定促使交叉路行驶车辆前进的举动，来作为移动体1的举动。
另外，虽然交叉路行驶车辆正在行驶，但存在移动体1能够进入交叉路行驶车辆的前方的规定以上的空间的情况下，处理器13b决定“稍微前进”，来作为移动体1的举动。然后，处理器13b再次检测交叉路行驶车辆的状态。在交叉路行驶车辆已停止的情况下以及在交叉路行驶车辆进行了减速、让行的情况下，处理器13b判定为交叉路行驶车辆的驾驶员有给移动体1让道的意图，从而使移动体1进入交叉路。另外，在交叉路行驶车辆已减速但未进行让行的情况下，处理器13b取消进入该交叉路行驶车辆的前方，决定促使交叉路行驶车辆前进的举动，来作为移动体1的举动。
另外，处理器13b也可以例如在移动体1的行驶时，在移动体1的行驶路径上在移动体1的行进方向上存在的其他移动体4的状态。在该情况下，处理器13b在检测到其他移动体4停止的情况下，也可以进行举动决定处理。这样，例如，在道路宽度狭窄的道路上，在移动体1与其他移动体4交错的情况下，处理器13b也可以根据其他移动体4的反应，来决定前进或在此停止等移动体1的举动。
另外，处理器13b也可以根据拍摄部11获取的周围影像来检测道路后视镜，基于映在道路后视镜上的像，来检测其他移动体4的状态。这样一来，即使在视野较差的道路、交叉路口等，也能够检测其他移动体4的状态。
在这样的本实施方式中，图像处理装置10b具有通信接口12和处理器13b。处理器13b从对移动体1的周围进行拍摄而得到的周围影像来检测其他移动体4的像，并基于检测到的其他移动体4的状态，进行决定移动体1的举动的举动决定处理。通信接口12将指示由处理器13b决定的移动体1的举动的信息向移动体1输出。处理器13b基于从周围影像检测到的其他移动体4的第一状态，决定移动体1的第一举动，并将指示已决定的第一举动的信息经由通信接口12向移动体1输出，来作为举动决定处理。在基于从移动体1的第一举动后的周围影像检测到的其他移动体4的第二状态，没有得到其他移动体4对于第一举动的有意的反应的情况下，处理器13b决定移动体1的第二举动。
在没有得到其他移动体4对于移动体1的第一举动的有意的反应的情况下，通过使移动体1进行第二举动，促使其他移动体4的反应，从而能够更准确地检测其他移动体4的驾驶员的意图。其结果，降低了在移动体1与其他移动体4之间产生僵持状态的盖然性，从而实现了交通的顺畅化，因此，能够基于移动体1实现交通的便利性的提高。
(第三实施方式)
图7是表示本发明的第三实施方式的图像处理装置10c的主要部分结构例的图。如图7所示，本实施方式的图像处理装置10c搭载于公交车、出租车等运送旅客的移动体1。在此，移动体1具有自动驾驶功能。图像处理装置10c从移动体1的周围的周围影像检测移动体1的搭乘候选者的状态，并根据检测到的搭乘候选者的状态，来决定使移动体1执行的举动。
图7所示的图像处理装置10c具有作为输出部的通信接口12、处理器13c、存储部14。即，本实施方式的图像处理装置10c与第一实施方式的图像处理装置10a相比不同点在于，将处理器13a变更为处理器13c。在移动体1搭载有作为输入部的拍摄部11，该拍摄部11用于获取对移动体1的周围进行拍摄而得到的周围影像。图像处理装置10c和拍摄部11构成搭载于移动体1的拍摄装置1A。
处理器13c例如包括DSP等专用处理器或者CPU等通用处理器。处理器13c控制图像处理装置10c整体的动作。例如，处理器13c从拍摄部11获取的周围影像检测移动体1的搭乘候选者的像，并基于检测到的搭乘候选者的状态，决定移动体1的举动。处理器13c基于搭乘候选者的移动方向、搭乘候选者的面部或视线的方向、以及搭乘候选者的手或脚的移动中的至少一个，来检测搭乘候选者的状态。
另外，处理器13c经由通信接口12访问移动体1的各种控制系统，检测移动体1的举动。处理器13c检测作为移动体1的举动的前进、后退、停止、减速、行进路径变更、照明点灯、让行、转向灯闪烁、喇叭鸣动、外部显示、以及现状保持等。处理器13c例如访问控制移动体1的行驶的控制系统，检测前进、后退、停止、减速以及行进路径变更等举动。另外，处理器13c访问控制移动体1的车灯以及转向灯的闪烁、喇叭的鸣动等的控制系统，检测照明点灯、让行、转向灯闪烁、喇叭鸣动以及外部显示等举动。
处理器13c从拍摄部11获取的周围影像检测移动体1的搭乘候选者的像，并基于检测到的搭乘候选者的状态，来决定移动体1的第一举动。处理器13c将指示已决定的第一举动的信息经由通信接口12向移动体1的控制系统输出。处理器13c在移动体1的第一举动后，基于从拍摄部11获取的周围影像检测到的搭乘候选者的状态，来决定移动体1的第二举动。
接着，对图像处理装置10c的动作进行说明。
在运送旅客的移动体1上搭载有全自动驾驶功能的情况下，将站立在车站的人、站立在移动体1的行驶路的路边的人等识别为搭乘候选者，移动体1停止，以使搭乘候选者能够乘车。然而，这样的搭乘候选者未必一定想搭乘移动体1。在该情况下，移动体1有可能将站立在车站的人、站立在移动体1的行驶路的路边的人等持续识别为搭乘候选者，并保持停止的状态。这样一来，在移动体1与搭乘候选者之间产生僵持状态，有可能妨碍顺畅的交通。
另一方面，在本实施方式中，图像处理装置10c在如上所述的可能产生僵持状态的状况下，在移动体1的第一举动后，通过对搭乘候选者进行进一步的行动，获取搭乘候选者的回应，从而更准确地检测搭乘候选者的意图。即，在本实施方式中，如同移动体1与搭乘候选者进行了会话一样，来检测搭乘候选者的意图。由此，降低了产生僵持状态的盖然性，从而实现了交通的顺畅化，因此，能够基于移动体1实现交通的便利性的提高。
图8是表示图像处理装置10c的动作的一例的流程图，是用于说明图像处理装置10c执行的图像处理方法的图。在图8中，以移动体1为出租车的情况为例进行说明。
步骤S51：处理器13c根据在移动体1行驶中从拍摄部11获取的周围影像，判定搭乘候选者的有无。在此，处理器13c例如将站立在移动体1的行驶路的路边的人检测为搭乘候选者。
步骤S52：在判定为没有搭乘候选者的情况下(步骤S51：否)，处理器13c使移动体1保持前进。即，处理器13c使移动体1继续行驶。
步骤S53：在判定为有搭乘候选者的情况下(步骤S51：是)，处理器13c根据拍摄部11获取的周围影像，进行搭乘候选者的示意动作识别。
步骤S54：处理器13c根据搭乘候选者的示意动作识别的结果，判定搭乘候选者是否做出了用于乘坐出租车的乘车行动。作为用于乘坐出租车的乘车行动，例如有搭乘候选者扬起手的行动、视线朝向移动体1的行动等。但是，搭乘候选者即使做出了这些行动，也未必一定有乘坐移动体1的意图。
步骤S55：在判定为搭乘候选者做出了乘车行动的情况下(步骤S54：是)，处理器13c例如决定“减速”、“让行”、“喇叭鸣动”或“转向灯闪烁”等，来作为移动体1的第一举动。然后，处理器13c将指示已决定的举动的信息经由通信接口12向移动体1输出。
步骤S56：处理器13c根据在步骤S55所决定的移动体1的第一举动后拍摄部11获取的周围影像，判定搭乘候选者是否靠近了本车辆即移动体1。在做出了乘车行动的搭乘候选者正在靠近移动体1的情况下，搭乘候选者有乘坐移动体1的意图的可能性较高。因此，在第一举动后，通过判定搭乘候选者是否靠近了移动体1，与仅通过乘车行动的有无进行判定的情况相比，能够更高精度地检测搭乘候选者乘坐移动体1的意图的有无。
在判定为搭乘候选者未靠近移动体1的情况下(步骤S56：否)，处理器13c判定为搭乘候选者没有乘坐移动体1的意图，从而进入步骤S52的处理，使移动体1保持前进。在判定为搭乘候选者未靠近移动体1的情况下，处理器13c也可以返回步骤S55的处理，使移动体1进行其他举动，再次判定搭乘候选者是否靠近了移动体1。在该情况下，在即使反复多次进行了移动体1的举动和搭乘候选者是否靠近了移动体1的判定，依然判定为搭乘候选者未靠近移动体1的情况下，处理器13c可以进入步骤S52的处理。
在反复进行多次移动体1的举动和搭乘候选者是否靠近了移动体1的判定的情况下，处理器13c也可以从“前进”、“后退”、“停止”、“减速”、“行进路径变更”、“照明点灯”、“让行”、“转向灯闪烁”、“喇叭鸣动”、“外部显示”以及“现状保持”等多个动作中，根据规定的优先顺序，来决定移动体1的举动。另外，在移动体1具有声音输出功能的情况下，移动体1的举动也可以包括声音输出。另外，在移动体1具有向地面等进行投影的投影功能的情况下，移动体1的举动也可以包括向人行道等投影消息等的规定的像。
另外，处理器13c例如也可以根据基于周围环境等的规定的优先顺序，来决定移动体1的举动。例如，处理器13c也可以在夜间将“喇叭鸣动”这种成为噪音的动作的优先顺序设定为低，将“照明点灯”、“让行”以及“转向灯闪烁”等的不产生噪音的动作的优先顺序设定为高。另外，处理器13c也可以针对每个动作赋予与搭乘候选者注意到的可能性等相对应的分数。在该情况下，例如，若将一次或多次的基于单一的动作的举动向搭乘候选者提示也没有得到有意的反应，则处理器13a也可以决定将相比赋予单一的动作的分数而合计的分数更高的多个动作的组合，作为移动体1的举动。
在判定为搭乘候选者靠近了移动体1的情况下(步骤S56：是)，处理器13c判定搭乘候选者有乘坐移动体1的意图。
步骤S57：若判定为搭乘候选者有乘坐移动体1的意图，则为了使搭乘候选者乘车，处理器13c决定“停止”，来作为移动体1的举动。然后，处理器13c将指示“停止”的信息经由通信接口12向移动体1输出。
这样，处理器13c基于从周围影像检测到的搭乘候选者的状态，例如，正在做出乘车行动的状态，决定“减速”、“让行”、“喇叭鸣动”以及“转向灯闪烁”等举动，来作为移动体1的第一举动。处理器13c将指示已决定的第一举动的信息经由通信接口12向移动体1输出。然后，在移动体1的第一举动后，处理器13c根据从拍摄部11获取的周围影像检测到的搭乘候选者的状态，即搭乘候选者是否靠近了移动体1，来决定停止或继续行驶这样的移动体1的第二举动。
步骤S58：在移动体1停止后，处理器13c使移动体1的门打开，以使搭乘候选者能够乘坐移动体1。
步骤S59：在门打开后，处理器13c判定搭乘候选者向移动体1的乘车是否已完成。
在判定为搭乘候选者向移动体1的乘车未完成的情况下(步骤S59：否)，处理器13c重复进行步骤S59的处理。
步骤S60：在判定为搭乘候选者向移动体1的乘车已完成的情况下(步骤S59：是)，处理器13c关闭移动体1的门。
步骤S61：在移动体1的门关闭后，为了提示周围移动体1的发车，处理器13c使移动体1的转向灯闪烁。之后，处理器13c进入步骤S52的处理，使移动体1前进。
步骤S62：在判定为搭乘候选者未进行乘车行动的情况下(步骤S54：否)，处理器13c基于周围影像，判定距搭乘候选者的距离是否在规定距离以上。在此，规定距离是指移动体1能够安全地停止的距离。
在判定为距搭乘候选者的距离为规定距离以上的情况下(步骤S62：是)，处理器13c返回步骤S53的处理。在步骤S54中，在判定为搭乘候选者未做出用于乘坐出租车的乘车行动后，有时搭乘候选者会做出乘车行动。因此，在移动体1与搭乘候选者的距离为规定距离以上的情况下，通过反复进行步骤S53以及步骤S54的处理，能够反复确认搭乘候选者的乘车的意图。
在判定为距搭乘候选者的距离不在规定距离以上的情况下(步骤S62：否)，处理器13c进入步骤S52的处理。
表4汇总了上述动作。
[表4]
Figure BDA0004147868610000261
如表4所示，若处理器13c检测到作为位于移动体1的行驶路的路边等的搭乘候选者的状态的扬起手、视线朝向移动体1等状态，则决定“减速”、“让行”、“喇叭鸣动”或“转向灯闪烁”，来作为移动体1的举动。然后，在移动体1进行决定的举动后，若检测到靠近了移动体1来作为搭乘候选者的状态，则为了使搭乘候选者乘车，处理器13c决定“停止”、“门打开”，来作为移动体1的举动。另外，若检测到未靠近移动体1来作为搭乘候选者的状态，则处理器13c决定“前进”，来作为移动体1的举动。另外，在第一举动后，处理器13c也可以使移动体1停车，之后，判定搭乘候选者是否靠近了本车辆即移动体1。
在图8中，使用在判定为搭乘候选者做出了乘车行动的情况下，在步骤S55中，决定“减速”、“让行”、“喇叭鸣动”以及“转向灯闪烁”等，来作为移动体1的第一举动的例子进行了说明，但并不限定于此。处理器13c也可以例如在步骤S55中，决定使移动体1停止的“停止”，来作为移动体1的第一举动。在该情况下，在步骤S56中，在判定为搭乘候选者已靠近移动体1的情况下，处理器13c进入步骤S58以后的处理。另外，在步骤S56中，在判定为搭乘候选者未靠近本车辆的情况下，在门关闭、转向灯闪烁之后，处理器13c使移动体1前进。
接着，在移动体1为公交车的情况下，参照表5对处理器13c的动作的一例进行说明。
[表5]
Figure BDA0004147868610000271
处理器13c将存在于车站的附近的人作为搭乘候选者进行检测。若检测到站立在车站附近、朝向车站跑来等状态，作为搭乘候选者的状态，则处理器13c例如决定“转向灯闪烁”，来作为移动体1的举动。然后，处理器13c若从在移动体1的转向灯闪烁后拍摄部11获取的周围影像检测到已靠近移动体1、将视线朝向移动体1、向移动体1扬起手等状态，作为搭乘候选者的状态，则判定为搭乘候选者有乘坐移动体1的意图。然后，为了使搭乘候选者乘车，处理器13c决定“停止”、“门打开”，来作为移动体1的举动。另外，若处理器13c从在移动体1的转向灯闪烁后拍摄部11获取的周围影像检测到未靠近移动体1来作为搭乘候选者的状态，则决定“前进”，来作为移动体1的举动。
即使搭乘候选者的状态是在车站附近站立或者朝向车站跑来的状态，该搭乘候选者也未必一定想要乘坐移动体1。因此，处理器13c使移动体1的转向灯闪烁来作为第一举动，在搭乘候选者针对该第一举动做出了靠近了移动体1、将视线朝向移动体1、向移动体1扬起手等反应的情况下，判定为搭乘候选者有乘坐移动体1的意图。
至此，使用处理器13c检测搭乘候选者的状态，并基于检测到的搭乘候选者的状态，来决定移动体1的举动的例子进行了说明，但并不限定于此。处理器13c也可以从拍摄部11获取的周围图像，检测从移动体1下车的乘客的状态，并基于检测到的状态，决定移动体1的举动。例如，处理器13c也可以在检测到乘客从移动体1下车完成并充分离开移动体1等后，使移动体1发车等。由此，能够确保上下车时的安全性。
这样，在本实施方式中，图像处理装置10c具有通信接口12和处理器13c。处理器13c从对在进行运送旅客的移动体1的周围进行拍摄而得到的周围影像检测移动体1的搭乘候选者的像，并基于检测到的搭乘候选者的状态，决定移动体1的举动。通信接口12将指示由处理器13c决定的移动体1的举动的信息向移动体1输出。处理器13c基于从周围影像检测到的搭乘候选者的状态，决定移动体1的第一举动，并将指示已决定的移动体1的第一举动的信息经由通信接口12向移动体1输出。处理器13c基于从移动体1的第一举动后的周围影像检测到的搭乘候选者的状态，来决定移动体1的第二举动。
通过基于移动体1的第一举动后的搭乘候选者的状态，来决定移动体1的第二举动，能够更准确地检测搭乘候选者乘坐移动体1的意图的有无。其结果，降低了在移动体1与搭乘候选者之间产生僵持状态的盖然性，从而实现了交通的顺畅化，因此，能够基于移动体1实现交通的便利性的提高。
基于各附图以及实施例对本发明的一个实施方式进行了说明，但应当注意的是，本领域技术人员基于本发明能够容易地进行各种的变形以及修改。因此，应当注意，这些变形以及修改也包括在本发明的范围内。
附图标记的说明：
1：移动体
1A：拍摄装置
2：人行横道
3：行人
4：其他移动体
10a、10b、10c：图像处理装置
11：拍摄部(输入部)
12：通信接口(输出部)
13a、13b、13c：处理器
14：存储部

Claims (6)

1.一种图像处理装置，具有处理器，所述处理器基于对移动体的周围进行拍摄而得到的周围影像中所包含的对象物的状态，决定所述移动体针对所述对象物的举动，其中，
所述处理器基于所述移动体的周围环境、以及对于所述移动体针对所述对象物的第一举动的所述对象物的反应，来决定所述移动体的举动。
2.如权利要求1所述的图像处理装置，其中，
所述处理器基于所述对象物对于所述第一举动的有意的反应的有无，来决定所述移动体的举动。
3.如权利要求1所述的图像处理装置，其中，
所述处理器从多个动作中根据规定的优先顺序来决定所述第一举动。
4.如权利要求1所述的图像处理装置，其中，
所述处理器从多个动作中决定所述第一举动，在该决定中，在夜间相对于成为噪音的动作，优先不产生噪音的动作。
5.如权利要求4所述的图像处理装置，其中，
所述处理器在夜间使作为第一举动的喇叭鸣动的优先顺序比照明点灯、让行、转向灯闪烁的优先顺序低。
6.一种移动体，进行与权利要求1所述的图像处理装置决定的举动相对应的动作。
CN202310309175.XA 2018-01-29 2019-01-07 图像处理装置、以及移动体 Pending CN116342641A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2018012877 2018-01-29
JP2018-012872 2018-01-29
JP2018-012902 2018-01-29
JP2018-012877 2018-01-29
JP2018012872 2018-01-29
JP2018012902 2018-01-29
PCT/JP2019/000076 WO2019146385A1 (ja) 2018-01-29 2019-01-07 画像処理装置、撮像装置、移動体および画像処理方法
CN201980007021.7A CN111527533A (zh) 2018-01-29 2019-01-07 图像处理装置、拍摄装置、移动体以及图像处理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980007021.7A Division CN111527533A (zh) 2018-01-29 2019-01-07 图像处理装置、拍摄装置、移动体以及图像处理方法

Publications (1)

Publication Number Publication Date
CN116342641A true CN116342641A (zh) 2023-06-27

Family

ID=67395920

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980007021.7A Pending CN111527533A (zh) 2018-01-29 2019-01-07 图像处理装置、拍摄装置、移动体以及图像处理方法
CN202310309175.XA Pending CN116342641A (zh) 2018-01-29 2019-01-07 图像处理装置、以及移动体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980007021.7A Pending CN111527533A (zh) 2018-01-29 2019-01-07 图像处理装置、拍摄装置、移动体以及图像处理方法

Country Status (5)

Country Link
US (1) US20200342757A1 (zh)
EP (1) EP3748605A4 (zh)
JP (3) JP7014822B2 (zh)
CN (2) CN111527533A (zh)
WO (1) WO2019146385A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7326041B2 (ja) * 2019-06-25 2023-08-15 京セラ株式会社 画像処理装置、撮像装置、移動体、および画像処理方法
JP7345123B2 (ja) * 2019-08-26 2023-09-15 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム
JP7313465B2 (ja) * 2019-10-29 2023-07-24 三菱電機株式会社 運転支援装置および運転支援方法
JP7145178B2 (ja) * 2020-02-21 2022-09-30 本田技研工業株式会社 走行制御装置、走行制御方法およびプログラム
US11290856B2 (en) 2020-03-31 2022-03-29 Toyota Motor North America, Inc. Establishing connections in transports
CN115384545A (zh) * 2021-05-25 2022-11-25 华为技术有限公司 控制方法和装置
EP4201744A1 (de) * 2021-12-22 2023-06-28 Volkswagen Aktiengesellschaft Verfahren und system zur regelung der lichtemission einer fahrzeugleuchte

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57106099U (zh) * 1980-05-15 1982-06-30
JPS57174800A (en) * 1981-04-22 1982-10-27 Takeshi Irisawa Getting-on signal
JP2005332297A (ja) * 2004-05-21 2005-12-02 Fujitsu Ten Ltd 運転者意志通知装置
WO2006070865A1 (ja) * 2004-12-28 2006-07-06 Kabushiki Kaisha Toyota Chuo Kenkyusho 車両運動制御装置
JP3132300U (ja) * 2007-03-08 2007-06-07 株式会社イー・エス・ピー 警報発生装置及び音声発生装置
JP2008243065A (ja) 2007-03-28 2008-10-09 Fujitsu Ten Ltd 運転支援装置および運転支援方法
EP2119617A1 (en) * 2008-05-12 2009-11-18 IVECO S.p.A. Vehicle driving aid system for lane changing assistance
JP5012684B2 (ja) * 2008-06-20 2012-08-29 トヨタ自動車株式会社 走路環境データベース生成システム、当該システムを構成する移動体、および走路環境データベース生成方法
JP2010066810A (ja) 2008-09-08 2010-03-25 Mazda Motor Corp 車両用歩行者検出装置
JP2010072836A (ja) * 2008-09-17 2010-04-02 Toyota Motor Corp 周辺監視装置
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
CN101992782A (zh) * 2010-12-02 2011-03-30 张婧 城市无人驾驶电动有轨出租车交通系统
US20130325563A1 (en) * 2012-06-01 2013-12-05 Tai Cheung Poon Systems and methods for maximizing profits and opportunities for taxi drivers
JP2014106854A (ja) * 2012-11-29 2014-06-09 Toyota Infotechnology Center Co Ltd 自動運転車両制御装置および方法
US9475422B2 (en) * 2014-05-22 2016-10-25 Applied Invention, Llc Communication between autonomous vehicle and external observers
JP6368574B2 (ja) * 2014-07-29 2018-08-01 クラリオン株式会社 車両制御装置
DE102014111023A1 (de) * 2014-08-04 2016-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Steuern eines automatisierten Fahrzeuges
KR102036050B1 (ko) * 2014-12-30 2019-10-24 주식회사 만도 차선 변경 장치 및 방법
JP6361618B2 (ja) * 2015-09-15 2018-07-25 トヨタ自動車株式会社 運転支援装置
CN105629785A (zh) * 2015-12-30 2016-06-01 小米科技有限责任公司 智能汽车行驶控制方法及装置
US10479373B2 (en) * 2016-01-06 2019-11-19 GM Global Technology Operations LLC Determining driver intention at traffic intersections for automotive crash avoidance
JP2019059245A (ja) * 2016-02-05 2019-04-18 マクセル株式会社 ヘッドアップディスプレイ装置及びその表示制御方法
US9902311B2 (en) * 2016-02-22 2018-02-27 Uber Technologies, Inc. Lighting device for a vehicle
US10077052B2 (en) * 2016-03-31 2018-09-18 Faraday&Future Inc. State-based operation for autonomous vehicles

Also Published As

Publication number Publication date
EP3748605A4 (en) 2021-10-20
EP3748605A1 (en) 2020-12-09
JP2022064929A (ja) 2022-04-26
JP7489517B2 (ja) 2024-05-23
WO2019146385A1 (ja) 2019-08-01
CN111527533A (zh) 2020-08-11
JPWO2019146385A1 (ja) 2021-01-28
US20200342757A1 (en) 2020-10-29
JP7014822B2 (ja) 2022-02-01
JP2023082158A (ja) 2023-06-13

Similar Documents

Publication Publication Date Title
CN116342641A (zh) 图像处理装置、以及移动体
US11142192B2 (en) Imaging device, signal processing device, and vehicle control system
CN110281930B (zh) 车辆控制装置、车辆、车辆控制方法以及存储介质
CN109564734B (zh) 驾驶辅助装置、驾驶辅助方法、移动体和程序
JP6103265B2 (ja) 車両用歩行者画像取得装置
CN111278702B (zh) 车辆控制装置、具有该车辆控制装置的车辆以及控制方法
EP3366540A2 (en) Information processing apparatus and non-transitory computer-readable recording medium
US10803307B2 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
US10793163B2 (en) Vehicle system, vehicle control method, and vehicle control program
CN113246993B (zh) 驾驶支援系统
JP2020194209A (ja) 制御装置、乗降施設、制御方法、およびプログラム
CN111587206B (zh) 车辆控制装置、具有该车辆控制装置的车辆以及控制方法
JP6913602B2 (ja) 情報処理装置およびプログラム
CN110281925B (zh) 行驶控制装置、车辆以及行驶控制方法
EP3888977A1 (en) Image processing device, imaging device, moving body and image processing method
CN114194186B (zh) 车辆行驶控制装置
CN113170080A (zh) 信息处理设备、信息处理方法和程序
JP2021024361A (ja) 車両報知システム
JP2020088604A (ja) 走行制御装置、制御方法およびプログラム
CN113727895A (zh) 车辆控制方法以及车辆控制装置
CN115179863A (zh) 移动体的控制装置及控制方法、存储介质以及车辆
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
JP7139632B2 (ja) 車両の自動運転制御ｅｃｕおよび自動運転制御方法
JP7326041B2 (ja) 画像処理装置、撮像装置、移動体、および画像処理方法
JP6888851B1 (ja) 自動運転車

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination