CN111886638B - 图像处理装置、拍摄装置以及移动体 - Google Patents

图像处理装置、拍摄装置以及移动体 Download PDF

Info

Publication number
CN111886638B
CN111886638B CN201980020192.3A CN201980020192A CN111886638B CN 111886638 B CN111886638 B CN 111886638B CN 201980020192 A CN201980020192 A CN 201980020192A CN 111886638 B CN111886638 B CN 111886638B
Authority
CN
China
Prior art keywords
state
history
controller
action
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980020192.3A
Other languages
English (en)
Other versions
CN111886638A (zh
Inventor
福岛尚典
茂木亮介
贵岛大辅
斋藤伸彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to CN202211613485.2A priority Critical patent/CN115973188A/zh
Publication of CN111886638A publication Critical patent/CN111886638A/zh
Application granted granted Critical
Publication of CN111886638B publication Critical patent/CN111886638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/041—Potential occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Abstract

图像处理装置(10)具有存储部(13)、控制器(14)以及输出部(15)。控制器(14)从拍摄图像中检测对象物的像。控制器(14)存储新检测出的对象物的状态以使该状态包含于存储部(13)所存储的对象物的状态的历史中。控制器(14)基于存储部所存储的状态的历史来决定移动体(1)的行动。输出部(15)将指示所决定的移动体(1)的行动的信息输出到移动体。

Description

图像处理装置、拍摄装置以及移动体
相关申请的相互参照
本申请主张2018年3月28日于日本申请的特愿2018-62569的优先权，并将该在先申请的全部公开内容援引于此以进行参考。
技术领域
本公开涉及图像处理装置、拍摄装置和移动体。
背景技术
近年来，正在进行车辆的全自动驾驶的研究和开发。正在研究在车辆的全自动驾驶中使用通过已拍摄的拍摄图像的图像分析而估计的周围状况。例如，提出了通过车载摄像头对车辆的周边进行拍摄，根据车载摄像头的拍摄图像来检测行人的膝部位置的移动速度以及上半身部位置的移动速度(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2010-066810号公报
发明内容
根据第一观点的图像处理装置具备：
存储部；
控制器，从拍摄了移动体的周边以及内部中的至少一方的拍摄图像中检测对象物的像，存储新检测出的该对象物的状态以使该状态包含于所述存储部所存储的该对象物的状态的历史中，并基于所述存储部所存储的该状态的历史来决定所述移动体的行动；以及
输出部，将指示所决定的所述移动体的行动的信息输出到所述移动体。
另外，根据第二观点的拍摄装置具备图像处理装置，该图像处理装置具有：
存储部；控制器，从拍摄了移动体的周边以及内部中的至少一方的拍摄图像中检测对象物的像，存储新检测出的该对象物的状态以使该状态包含于所述存储部所存储的该对象物的状态的历史中，并基于所述存储部所存储的该状态的历史来决定所述移动体的行动；以及输出部，将指示所决定的所述移动体的行动的信息输出到所述移动体。
另外，根据第三观点的移动体具备拍摄装置，拍摄装置具备图像处理装置，该图像处理装置具有：
存储部；控制器，从拍摄了移动体的周边以及内部中的至少一方的拍摄图像中检测对象物的像，存储新检测出的该对象物的状态以使该状态包含于所述存储部所存储的该对象物的状态的历史中，并基于所述存储部所存储的该状态的历史来决定所述移动体的行动；以及输出部，将指示所决定的所述移动体的行动的信息输出到所述移动体。
附图说明
图1是表示包含本实施方式的图像处理装置的移动体的概略结构的功能框图。
图2是表示存储在图1的存储部中的状态的历史与应执行的行动之间的对应关系的表的一例。
图3是表示图1的存储部所存储的状态以及行动的历史与应执行的行动之间的对应关系的表的一例。
图4是用于说明图1的控制器所执行的行动决定处理的流程图。
图5是用于说明图1的控制器所执行的行动更新处理的流程图。
具体实施方式
在下文中参照附图描述应用了本公开的图像处理装置的实施方式。
如图1所示，包含本公开的第一实施方式的图像处理装置10的拍摄装置11搭载于移动体1，拍摄装置11根据移动体1的周边和移动体1内部的拍摄图像来检测对象物的状态，并根据检测出的对象物的状态来决定使移动体1执行的行动。
移动体1例如可以包括具备自动驾驶功能的车辆、船舶以及航空器等。车辆例如可以包括汽车、工业车辆、铁道车辆、生活车辆、以及在跑道上行驶的固定翼飞机等。汽车例如可以包括客车、卡车、公共汽车、二轮车以及无轨电车等。工业车辆例如可以包括面向农业及建设的工业车辆等。工业车辆可以包括例如叉车以及高尔夫球车等。面向农业的工业车辆例如可以包括拖拉机、耕耘机、插秧机、割捆机、联合收割机以及割草机等。面向建设的工业车辆例如可以包括推土机、刮土机、挖掘机、吊车、倾卸车以及压路机等。车辆可以包括人力行驶的车辆。车辆的分类不限于上述的例子。例如，汽车可以包括能够在道路上行驶的工业车辆。多个分类中可以包含相同的车辆。船舶例如可以包括海上喷气机、汽艇以及油轮等。航空器例如可以包括固定翼飞机及旋翼飞机等。
对象物例如可以包括人、其他移动体、动物等。另外，作为对象物的人可以包括行人、骑自行车的人等。
自动驾驶可以包括使驾驶车辆的用户操作的一部分或全部自动化。例如，自动驾驶可以包括在SAE(Society of Automotive Engineers：国际汽车工程师学会)中定义的等级1至5。以下，说明移动体1具备SAE所定义的等级4以上的全自动驾驶功能的情况。
拍摄装置11构成为包括拍摄部12和图像处理装置10。
拍摄部12例如是搭载于移动体1的车载摄像头。拍摄部12取得对移动体1的周边和内部中的至少一个拍摄而得到的拍摄图像，并输出到图像处理装置10。单个或多个拍摄部12被包括在拍摄装置11中。例如，拍摄部12设置在移动体1的前方、后方、左侧方、右侧方以及移动体1的车内，分别拍摄移动体1的前方、后方、左侧方、右侧方的周边以及移动体1的车内。
拍摄部12构成为包括拍摄光学系统和拍摄元件。拍摄光学系统例如包括1个以上的透镜和光圈等光学构件。拍摄光学系统所具备的透镜例如是鱼眼透镜等视角广的透镜。拍摄光学系统使被摄体像在拍摄元件的受光面成像。拍摄元件例如包括CCD(ChargeCoupled Device：电荷耦合器件)图像传感器或CMOS(Complementary Metal-OxideSemiconductor：互补金属氧化物半导体)图像传感器等。拍摄元件对在受光面上成像的被摄体像进行拍摄而生成拍摄图像。
图像处理装置10构成为包括存储部13、控制器14和输出部15。
存储部13例如包括RAM(Random Access Memory：随机存取存储器)以及ROM(ReadOnly Memory：只读存储器)等任意的存储设备。存储部13存储使控制器14发挥功能的各种程序、以及控制器14所使用的各种信息。
存储部13例如按每个对象物存储后述的控制器14检测的对象物的状态的历史。需要说明的是，对象物的状态的历史例如是将不同的检测时期中的同一对象物的状态按时间序列排列的信息。
控制器14包括一个以上的处理器和存储器。处理器可以包括读入特定的程序来执行特定的功能的通用的处理器、以及专用于特定的处理的专用的处理器。专用的处理器可以包括面向特定用途的IC(ASIC；Application Specific Integrated Circuit：专用集成电路)。处理器可以包括可编程逻辑设备(PLD；Programmable Logic Device：可编程逻辑器件)。PLD可以包括FPGA(Field-Programmable Gate Array：现场可编程门阵列)。控制器14可以是由一个或多个处理器协作的SoC(System-on-a-Chip：片上系统)和SiP(System In-Package：系统级封装)中的任一个。
控制器14从拍摄部12取得拍摄图像。控制器14从拍摄图像中检测对象物的像。需要说明的是，控制器14可以通过图案匹配等以往公知的方法来检测对象物的像。控制器14在从拍摄图像检测到对象物的像时，检测该对象物的状态。需要说明的是，控制器14通过图案匹配等以往公知的方法来检测对象物的状态。
控制器14若检测到对象物的状态，则将该状态存储于存储部13。控制器14在从任意的时期所拍摄的拍摄图像中检测出的对象物是新检测出的对象物时，作为对于该对象物的状态的历史中的最初的状态存储于存储部13。控制器14在检测在以前的拍摄图像中检测出的对象物的状态时，将新检测到的该对象物的状态存储于存储部13，以使其包含于针对该对象物的状态的历史中。
向状态的历史内的存储可以根据多种条件进行。例如，控制器14可以按每1秒等每个一定时间，将新检测到的对象物的状态存储于存储部13，以使其包含于状态的历史中。另外，例如，控制器14可以判别对象物的状态是否存在变化，在存在变化时，将新检测到的对象物的状态存储于存储部13，以使其包含于状态的历史中。
控制器14在向状态的历史进行存储的同时，可以与该历史相关联地，检测自身的移动体1(以下的说明中称为“自身”。)的行动并存储在存储部13，以使其作为移动体1的行动的历史而包含。需要说明的是，控制器14访问移动体1的各种控制系统，检测移动体1的行动。作为移动体1的行动，控制器14检测例如前进、后退、停止、减速、变道、照明点亮、超车、指示灯闪烁、鸣笛、外部显示以及现状维持等。
控制器14基于存储于存储部13的状态的历史来决定使移动体1执行的行动。控制器14可以通过多种方法，基于状态的历史来决定行动。
例如，控制器14通过对图2所示那样的表和状态的历史进行比较，来决定移动体1的行动。表显示按照预先设想的多种对象物的状态的各种历史的每一个，预先将移动体1应该采取的行动对应起来的对应关系。需要说明的是，表的“状态的历史”中的t(0)表示当前的状态。另外，t(-1)是与t(0)相比过去的状态，相对于t(0)可以不确定特定的时间间隔。另外，t(-2)是与t(-1)相比过去的状态，相对于t(-1)可以不确定特定的时间间隔。
控制器14例如在自身是车辆且处于行驶中的情况下，若检测到前方的多名儿童，则将该儿童作为对象物，为了制作历史而累积状态。即使在最新的状态下多名儿童分布在道路的两侧的情况下，控制器14也根据儿童的状态的历史来决定不同的行动。例如，在原本位于道路的一侧的多名儿童(参照符号“t(-2)”)的一部分移动(参照符号“t(-1)”)而分布在道路的两侧(参照符号“t(0)”)这样的状态的历史的情况下，控制器14假设为其他儿童也横穿道路的可能性较高，将减速决定为行动。另外，例如，在原本儿童分布在道路的两侧且持续不变(参照符号“t(-2)”、“t(-1)”、“t(0)”)的情况下，控制器14假设为原本就是属于各组的儿童，将行驶的维持决定为行动。
另外，控制器14例如在自身是车辆且正在停车场内搜索停车地点的情况下，将周围的车辆以及人作为对象物，为了制作历史而累积状态。即使在最新的状态下周围的人处于乘车状态，控制器14也根据周围的人以及车辆的状态的历史来决定不同的行动。例如，在正在步行的周围的人(参照符号“t(-2)”)上车(参照符号“t(-1)”)并转移到乘车状态(参照符号“t(0)”)这样的历史的情况下，控制器14假设为该人离开停车位的可能性高，将等待决定为行动。另外，例如，在行驶中的周围的车辆(参照符号“t(-2)”)在停车地点停车(参照符号“t(-1)”)并在车内人转移到乘车状态(参照符号“t(0)”)这样的历史的情况下，控制器14假设为刚停车，将通过该地点决定为行动。
另外，控制器14例如在自身是车辆且处于从泊车状态等待离开停车位的情况下，将周围的车辆作为对象物，为了制作历史而累积状态。即使在最新的状态下周围的车辆在附近处于暂时停止状态，控制器14也根据周围的车辆的状态的历史来决定不同的行动。例如，当正在离开停车位的周围的车辆(参照符号“t(-2)”)开始行驶(参照符号“t(-1)”)并在自身的附近转移到暂时停止状态(参照符号“t(0)”)这样的历史的情况下，控制器14假设为该车辆是行驶车辆，将等待决定为行动。另外，例如，在行驶中的周围的车辆(参照符号“t(-2)”)接近自身的附近(参照符号“t(-1)”)并在附近转移到暂时停止状态(参照符号“t(0)”)这样的历史的情况下，控制器14假设为该车辆期望向自身的当前的停车地点停车，将离开停车位决定为行动。
另外，控制器14例如在自身是出租车且在空车状态下行驶中的情况下，将前方的人作为对象物，为了制作历史而累积状态。即使在最新的状态下前方的人正在接近自身，控制器14也根据前方的人的状态的历史来决定不同的行动。例如，即使在最新的状态下前方的人正在接近自身，也根据前方的人的状态的历史来决定不同的行动。例如，在举手或朝向自身方向的前方的人(参照符号“t(-2)”)持续接近自身(参照符号“t(-1)”、“t(0)”)这样的历史的情况下，控制器14假设为希望乘车，将前进到该人的跟前决定为行动。另外，例如，在未举手且未朝向自身方向的前方的人(参照符号“t(-2)”)持续接近自身(参照符号“t(-1)”、“t(0)”)这样的历史的情况下，控制器14假设为进行了与自身无关的行为，将通过决定为行动。
另外，控制器14例如在自身是出租车且在空车状态下行驶中的情况下，将前方的人作为对象物，为了制作历史而累积状态。即使在最新的状态下前方的人未接近自身的情况下，控制器14也根据前方的人的状态的历史来决定不同的行动。例如，在举手或朝向自身方向的前方的人(参照符号“t(-2)”)不接近自身(参照符号“t(-1)”、“t(0)”)这样的历史的情况下，控制器14假设为希望乘车，将前进至该人的跟前决定为行动。另外，例如，在未举手且未朝向自身方向的前方的人(参照符号“t(-2)”)未接近自身(参照符号“t(-1)”、“t(0)”)这样的历史的情况下，控制器14假设为进行了与自身无关的行为，将通过决定为行动。
另外，控制器14例如在自身是公共汽车且在公交车站处于停车中的情况下，将周围的人作为对象物，为了制作历史而累积状态。即使在最新的状态下周围的人正在奔跑，控制器14也根据周围的人的状态的历史来决定不同的行动。例如，在远离自身的人(参照符号“t(-2)”)注视着自身(参照符号“t(-1)”)而奔跑(参照符号“t(0)”)这样的历史的情况下，控制器14假设为期望乘坐自身，将开车门决定为行动。另外，例如，在远离自身的人(参照符号“t(-2)”)未注视自身(参照符号“t(-1)”)而奔跑(参照符号“t(0)”)这样的历史的情况下，控制器14假设为在自身的周围慢跑中，将出发决定为行动。
另外，控制器14例如在自身是公共汽车且在公交车站处于停车中的情况下，以车内的人为对象物，为了制作历史而累积状态。即使在最新的状态下车内的人处于稍微远离下车口的位置，控制器14也根据车内的人的状态的历史来决定不同的行动。例如，在从座位站起的车内的人(参照符号“t(-2)”)正在接近下车口(参照符号“t(-1)”)，但仍位于远离下车口的位置(参照符号“t(0)”)这样的历史的情况下，控制器14假设为有下车的意思，将开门等待决定为行动。另外，例如，在车内的人持续位于稍微远离下车口的位置(参照符号“t(-2)”、“t(-1)”、“t(0)”)的历史的情况下，控制器14假设为没有下车的意思，将出发决定为行动。
控制器14可以在存储于存储部13的状态的历史的基础上还基于移动体1的行动的历史来决定使移动体1执行的行动。控制器14可以通过多种方法，基于状态以及行动的历史来决定接下来应该执行的行动。例如，控制器14通过对图3所示那样的表与状态以及行动的历史进行比较，来决定移动体1的行动。
控制器14例如在自身是车辆且处于行驶中的情况下，若检测到前方的人行横道旁边的人，则将该人作为对象物，为了制作历史而累积状态及过去的自身的行动。即使在最新的状态下人行横道旁边的人处于停止横穿中，控制器14也根据该人的状态的历史及自身的行动的历史来决定不同的行动。例如，在人行横道旁边的人从以前就停止了横穿(参照符号“t(-2)”、“t(-1)”、“t(0)”)且在以前的自身的行动中已执行了作为对前方的步行者的呼叫的行动而预先确定的全部行动的情况下，控制器14判别为对象物的意图不明，将解除自动驾驶决定为行动。需要说明的是，作为呼叫的行动而预先确定的行动例如是通行(Passing)、喇叭以及警告等。另外，例如，在人行横道旁边的人从以前就停止了横穿(参照符号“t(-2)”、“t(-1)”、“t(0)”)且在以前的自身的行动中未执行作为对前方的行人的呼叫行动而预先确定的全部行动的情况下，控制器14将未执行的呼叫决定为行动。另外，例如，在人行横道旁边的人在停止横穿后暂时横穿，然后再次停止横穿(参照符号“t(-2)”、“t(-1)”、“t(0)”)且已执行了作为对前方的行人的呼叫的行动而预先确定的全部行动的情况下，控制器14假设为对象物稍有横穿的意图，将已执行完的呼叫中的某一个决定为行动。另外，例如，人行横道旁边的人在停止横穿后暂时横穿，然后再次停止横穿(参照符号“t(-2)”、“t(-1)”、“t(0)”)且在以前的自身的行动中未执行作为对前方的行人的呼叫的行动而预先确定的全部行动的情况下，控制器14将未执行的呼叫决定为行动。
控制器14可以在输出了用于指示所决定的自身的行动的信息之后，在新取得的拍摄图像中，基于对象物的新的状态来更新表。控制器14可以在针对对象物的新的状态自身应采取的最佳行动与存储于表格的执行的行动不同的情况下，将执行的行动更新为该最佳的行动。
输出部15将控制器14所决定的、指示自身的行动的信息输出到移动体1。需要说明的是，该信息由执行移动体1的各行动的各控制系统取得，执行该信息所表示的行动。
接着，使用图4的流程图对本实施方式中控制器14执行的基于状态的历史的行动决定处理进行说明。行动决定处理周期性地开始。
在步骤S100中，控制器14判别在从拍摄部12取得的最新的拍摄图像中，针对当前的自身状况是否存在应检测的对象物。在不存在应检测的对象物的情况下，行动决定处理结束。在存在应检测的对象物的情况下，处理进入步骤S101。
在步骤S101中，控制器14检测在步骤S100中判别为存在的对象物的状态。若检测到状态，则处理进入步骤S102。
在步骤S102中，控制器14将在步骤S101中检测出的状态存储在存储部13中，并累积在状态的历史中。若使状态累积，则处理进行到步骤S103。
在步骤S103中，控制器14从存储部13读出状态的历史和行动的历史。若读出历史，则处理进入步骤S104。
在步骤S104中，控制器14对在步骤S103中读出的状态的历史以及行动的历史与存储在存储部13中的表进行比较。若开始表的比较，则处理进入步骤S105。
在步骤S105中，控制器14判别在表中是否存在与在步骤S103中读出的状态的历史以及行动的历史相同的历史。在表中没有相同的历史的情况下，行动决定处理结束。在表中存在相同的历史的情况下，处理进入步骤S106。
在步骤S106中，控制器14将与在步骤S105中判别的同一历史相对应的行动决定为应该执行的行动。另外，控制器14将所决定的行动经由输出部15输出到移动体1。在向移动体1输出后，处理进入步骤S107。
在步骤S107中，控制器14使存储部13存储在步骤S106中决定的行动，并累积于行动的历史。若使行动累积，则行动决定处理结束。
接着，使用图5的流程图对本实施方式中控制器14执行的行动更新处理进行说明。在行动决定处理中决定了行动的下一个行动决定处理的执行时，开始行动更新处理，以使其与该行动决定处理并行。
在步骤S200中，控制器14在从拍摄部12取得的最新的拍摄图像中，检测在最新的行动决定处理的步骤S100中检测出的对象物的状态。若检测到状态，则处理进入步骤S201。
在步骤S201中，控制器14将假设为在最新的行动决定处理的步骤S106中用于决定行动的历史在接下来会发生的状态与在步骤S200中检测出的状态进行比较。若开始比较，则处理进入步骤S202。
在步骤S202中，控制器14在步骤S201的比较中判别假设的状态和新检测出的状态是否不一致。在不是不一致、即一致的情况下，行动更新处理结束。在不一致的情况下，处理进入步骤S203。
在步骤S203中，控制器14通过将在表内与历史相对应的执行的行动改写为针对假设为在最新的行动决定处理的步骤S106中用于决定行动的历史在接下来会发生的状态应当采取的行动来更新行动。若更新行动，则行动更新处理结束。
在以上那样的结构的本实施方式的图像处理装置10中，使移动体1的行动的决定基于对象物的历史。通过这样的结构，图像处理装置10能够提高凭借任意的一个时间点的对象物的状态而无法唯一地确定的对象物的未来的状态的估计精度。因此，图像处理装置10使用更适当的判断力来决定移动体1的行动，因此能够更适当地进行全自动驾驶，提高交通的便利性。
另外，本实施方式的图像处理装置10按每个一定时间将新检测到的对象物的状态包含在状态的历史中。因此，图像处理装置10不对拍摄得到的全部拍摄图像进行对象物的状态的存储，因此允许应用低容量的存储部13。
另外，本实施方式的图像处理装置10在对象物的状态存在变化时，将新检测到的对象物的状态包含在状态的历史中。因此，图像处理装置10不对拍摄得到的全部拍摄图像进行对象物的状态的存储，且也不一定是按每个一定时间进行存储，因此允许应用进一步低容量的存储部13。
另外，本实施方式的图像处理装置10使移动体1的行动的决定也基于行动的历史。通过这样的结构，图像处理装置10能够进一步提高对象物未来的状态的估计精度。因此，图像处理装置10使用更适当的判断力来决定移动体1的行动，因此能够更适当地进行全自动驾驶，提高交通的便利性。
另外，在本实施方式的图像处理装置10中，在输出了用于指示移动体1的行动的信息之后，能够基于新检测到的该对象物的状态来更新所述表。在存储于存储部13的表中，基于状态的历史假设今后的对象物的状态为特定的状态，并与适合该特定的状态的行动预先建立对应。但是，今后的对象物的状态也可能因行驶地区中的本地规则等而产生与假设的状态不同的情况。针对这样的现象，上述结构的图像处理装置10能够更新表，因此能够实现应该与历史建立对应的行动的最佳化。
基于各附图和实施例对本发明进行了说明，但应该注意的是，本领域技术人员能够容易地基于本公开进行各种变形和修正。因此，需要注意这些变形、修正包含在本发明的范围内。
需要说明的是，在此，公开了作为具有执行特定的功能的各种模块和/或单元的装置的装置，这些模块和单元是为了简要说明其功能性而示意性地示出的，应留意其不一定表示特定的硬件和/或软件。在该意义上，这些模块、单元、其他构成要素只要是以实质上执行在此说明的特定的功能的方式安装的硬件和/或软件即可。不同的构成要素的各种功能可以是硬件和/或软件的任意组合或分离后的功能，可以分别单独使用或者通过任意组合来使用。这样，本公开内容的各种侧面能够以多种不同的方式实施，这些方式全部包含在本公开内容的范围内。
标号说明
1 移动体
10 图像处理装置
11 拍摄装置
12 拍摄部
13 存储部
14 控制器
15 输出部

Claims (8)

1.一种图像处理装置，其中，具备：
存储部；
控制器，从拍摄了移动体的周边以及内部中的至少一方的拍摄图像中检测对象物的像，存储新检测出的该对象物的状态以使该状态包含于所述存储部所存储的该对象物的状态的历史中，并基于所述存储部所存储的该状态的历史来决定所述移动体的行动；以及
输出部，将指示所决定的所述移动体的行动的信息输出到所述移动体，
所述控制器利用按照预先设想的多种所述对象物的状态的多种历史的每一个而预先确定的所述移动体应采取的行动的对应关系，决定所述移动体的行动，
所述控制器在假设为用于决定所述移动体的行动的状态的历史在接下来会发生的状态和新检测出的状态不一致的情况下，将与所述历史相对应的执行的行动更新为针对所述假设的状态应当采取的行动。
2.根据权利要求1所述的图像处理装置，其中，
所述控制器按每个一定时间将新检测出的所述对象物的状态存储到所述存储部以使该状态包含于所述状态的历史。
3.根据权利要求1或2所述的图像处理装置，其中，
在所述对象物的状态发生了变化时，所述控制器将新检测出的所述对象物的状态存储到所述存储部以使该状态包含于所述状态的历史中。
4.根据权利要求1或2所述的图像处理装置，其中，
所述控制器与所述状态的历史相关联地存储所述移动体的行动以使所述移动体的行动包含于所述存储部所存储的该移动体的行动的历史中，并基于所述存储部所存储的该行动的历史来决定所述移动体的行动。
5.根据权利要求1或2所述的图像处理装置，其中，
所述控制器通过将表示所述对应关系的表、与所述存储部所存储的所述状态的历史进行比较，从而决定所述移动体的行动。
6.根据权利要求5所述的图像处理装置，其中，
所述控制器在输出了指示所述移动体的行动的信息之后，能够基于新检测出的该对象物的状态来更新所述表。
7.一种拍摄装置，其中，具备权利要求1至6中任一项所述的图像处理装置。
8.一种移动体，其中，具备权利要求7所述的拍摄装置。
CN201980020192.3A 2018-03-28 2019-02-01 图像处理装置、拍摄装置以及移动体 Active CN111886638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211613485.2A CN115973188A (zh) 2018-03-28 2019-02-01 控制器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-062569 2018-03-28
JP2018062569A JP6971187B2 (ja) 2018-03-28 2018-03-28 画像処理装置、撮像装置、および移動体
PCT/JP2019/003719 WO2019187626A1 (ja) 2018-03-28 2019-02-01 画像処理装置、撮像装置、および移動体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211613485.2A Division CN115973188A (zh) 2018-03-28 2019-02-01 控制器

Publications (2)

Publication Number Publication Date
CN111886638A CN111886638A (zh) 2020-11-03
CN111886638B true CN111886638B (zh) 2023-01-03

Family

ID=68061361

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211613485.2A Pending CN115973188A (zh) 2018-03-28 2019-02-01 控制器
CN201980020192.3A Active CN111886638B (zh) 2018-03-28 2019-02-01 图像处理装置、拍摄装置以及移动体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211613485.2A Pending CN115973188A (zh) 2018-03-28 2019-02-01 控制器

Country Status (5)

Country Link
US (1) US20210114532A1 (zh)
EP (1) EP3779920A4 (zh)
JP (1) JP6971187B2 (zh)
CN (2) CN115973188A (zh)
WO (1) WO2019187626A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112572326A (zh) * 2020-12-22 2021-03-30 清华大学 嵌入式自动驾驶车辆智慧顶盖系统和具有其的车辆
JP2022181736A (ja) * 2021-05-27 2022-12-08 キヤノン株式会社 情報処理装置、移動装置及びコンピュータプログラム

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001229260A (ja) * 2000-02-17 2001-08-24 Nippon Telegr & Teleph Corp <Ntt> サービス提供方法及びサービス提供プログラムを格納した記憶媒体
CN101276221A (zh) * 2007-03-29 2008-10-01 松下电器产业株式会社 识别装置、识别方法、识别程序以及记录了识别程序的记录介质
CN102171084A (zh) * 2008-09-30 2011-08-31 日产自动车株式会社 配置有用于辅助系统操作员的辅助控制器的系统、控制操作辅助装置、控制操作辅助方法、驾驶操作辅助装置和驾驶操作辅助方法
CN102378703A (zh) * 2009-03-31 2012-03-14 爱考斯研究株式会社 车辆
CN102428505A (zh) * 2009-05-18 2012-04-25 丰田自动车株式会社 车辆环境估计装置
JP2013196042A (ja) * 2012-03-15 2013-09-30 Nissan Motor Co Ltd 車両用運転状態監視装置及び車両用運転状態監視システム
CN104574980A (zh) * 2014-12-01 2015-04-29 北京尚易德科技有限公司 记录路口转弯机动车不停车避让行人违法行为系统和方法
CN104670227A (zh) * 2013-11-29 2015-06-03 丰田自动车株式会社 车辆行为控制装置和车辆行为控制系统
CN105109483A (zh) * 2015-08-24 2015-12-02 奇瑞汽车股份有限公司 驾驶方法及系统
DE102014216662A1 (de) * 2014-08-21 2016-02-25 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einer Vorrichtung zum Regeln einer Kriechgeschwindigkeit
CN105459824A (zh) * 2014-09-25 2016-04-06 丰田自动车株式会社 车辆控制装置
DE102016002946A1 (de) * 2016-03-11 2016-09-08 Daimler Ag Kraftfahrzeug mit einer Umgebungsüberwachung
CN106428000A (zh) * 2016-09-07 2017-02-22 清华大学 一种车辆速度控制装置和方法
CN106463053A (zh) * 2014-06-12 2017-02-22 株式会社电装 驾驶辅助装置以及驾驶辅助系统
CN106874886A (zh) * 2017-03-10 2017-06-20 南京沃杨机械科技有限公司 用于农机无人驾驶的多传感器融合的农田环境感知方法
EP3217333A1 (en) * 2016-03-11 2017-09-13 Toyota Jidosha Kabushiki Kaisha Information providing device and non-transitory computer readable medium storing information providing program
CN107248166A (zh) * 2017-06-29 2017-10-13 武汉工程大学 动态环境下的目标状态预估方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10254402B4 (de) * 2002-11-21 2011-02-17 Lucas Automotive Gmbh System zur Beeinflussung der Geschwindigkeit eines Kraftfahrzeuges
JP2007188417A (ja) * 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
US20080065328A1 (en) * 2006-09-08 2008-03-13 Andreas Eidehall Method and system for collision avoidance
US8725309B2 (en) * 2007-04-02 2014-05-13 Panasonic Corporation Safety driving support apparatus
JP2010066810A (ja) 2008-09-08 2010-03-25 Mazda Motor Corp 車両用歩行者検出装置
JP2010072969A (ja) * 2008-09-18 2010-04-02 Fujitsu Ten Ltd 周辺車両監視装置及び周辺車両監視方法
CN102096803B (zh) * 2010-11-29 2013-11-13 吉林大学 基于机器视觉的行人安全状态识别系统
US9581997B1 (en) * 2011-04-22 2017-02-28 Angel A. Penilla Method and system for cloud-based communication for automatic driverless movement
CN103959356B (zh) * 2011-11-29 2016-06-22 三菱电机株式会社 车载通信装置以及具备该车载通信装置的导航装置、行人用通信装置以及具备该行人用通信装置的导航装置、人车通信系统
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
JP2014006700A (ja) * 2012-06-25 2014-01-16 Mitsubishi Motors Corp 歩行者検出装置
KR101637670B1 (ko) * 2014-08-25 2016-07-07 현대자동차주식회사 차량 탑승자 및 탑승 위치 인식 시스템
WO2016170786A1 (ja) * 2015-04-21 2016-10-27 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP6551790B2 (ja) * 2015-04-21 2019-07-31 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
JP6791616B2 (ja) * 2015-04-27 2020-11-25 トヨタ自動車株式会社 自動運転車両システム
JP6430907B2 (ja) * 2015-07-17 2018-11-28 株式会社Ｓｏｋｅｎ 運転支援システム
US9983591B2 (en) * 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
CN105629785A (zh) * 2015-12-30 2016-06-01 小米科技有限责任公司 智能汽车行驶控制方法及装置
JP6500820B2 (ja) * 2016-03-18 2019-04-17 株式会社デンソー 車載装置
WO2018037954A1 (ja) * 2016-08-26 2018-03-01 ソニー株式会社 移動体制御装置、移動体制御方法、及び、移動体
US10395127B2 (en) * 2016-09-13 2019-08-27 Hitachi Information & Telecommunication Engineering, Ltd. State prediction device and state prediction method
DE102016217770A1 (de) * 2016-09-16 2018-03-22 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001229260A (ja) * 2000-02-17 2001-08-24 Nippon Telegr & Teleph Corp <Ntt> サービス提供方法及びサービス提供プログラムを格納した記憶媒体
CN101276221A (zh) * 2007-03-29 2008-10-01 松下电器产业株式会社 识别装置、识别方法、识别程序以及记录了识别程序的记录介质
CN102171084A (zh) * 2008-09-30 2011-08-31 日产自动车株式会社 配置有用于辅助系统操作员的辅助控制器的系统、控制操作辅助装置、控制操作辅助方法、驾驶操作辅助装置和驾驶操作辅助方法
CN102378703A (zh) * 2009-03-31 2012-03-14 爱考斯研究株式会社 车辆
CN102428505A (zh) * 2009-05-18 2012-04-25 丰田自动车株式会社 车辆环境估计装置
JP2013196042A (ja) * 2012-03-15 2013-09-30 Nissan Motor Co Ltd 車両用運転状態監視装置及び車両用運転状態監視システム
CN104670227A (zh) * 2013-11-29 2015-06-03 丰田自动车株式会社 车辆行为控制装置和车辆行为控制系统
CN106463053A (zh) * 2014-06-12 2017-02-22 株式会社电装 驾驶辅助装置以及驾驶辅助系统
DE102014216662A1 (de) * 2014-08-21 2016-02-25 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einer Vorrichtung zum Regeln einer Kriechgeschwindigkeit
CN105459824A (zh) * 2014-09-25 2016-04-06 丰田自动车株式会社 车辆控制装置
CN104574980A (zh) * 2014-12-01 2015-04-29 北京尚易德科技有限公司 记录路口转弯机动车不停车避让行人违法行为系统和方法
CN105109483A (zh) * 2015-08-24 2015-12-02 奇瑞汽车股份有限公司 驾驶方法及系统
DE102016002946A1 (de) * 2016-03-11 2016-09-08 Daimler Ag Kraftfahrzeug mit einer Umgebungsüberwachung
EP3217333A1 (en) * 2016-03-11 2017-09-13 Toyota Jidosha Kabushiki Kaisha Information providing device and non-transitory computer readable medium storing information providing program
CN106428000A (zh) * 2016-09-07 2017-02-22 清华大学 一种车辆速度控制装置和方法
CN106874886A (zh) * 2017-03-10 2017-06-20 南京沃杨机械科技有限公司 用于农机无人驾驶的多传感器融合的农田环境感知方法
CN107248166A (zh) * 2017-06-29 2017-10-13 武汉工程大学 动态环境下的目标状态预估方法

Also Published As

Publication number Publication date
CN111886638A (zh) 2020-11-03
EP3779920A1 (en) 2021-02-17
WO2019187626A1 (ja) 2019-10-03
CN115973188A (zh) 2023-04-18
US20210114532A1 (en) 2021-04-22
EP3779920A4 (en) 2021-12-08
JP6971187B2 (ja) 2021-11-24
JP2019175127A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
CN110281930B (zh) 车辆控制装置、车辆、车辆控制方法以及存储介质
CN110001643B (zh) 车辆控制装置、车辆控制方法、存储介质、以及信息获取装置
US10606264B2 (en) Control method and control device of automatic driving vehicle
US20200283021A1 (en) Vehicle control apparatus, vehicle, and control method
CN106335509A (zh) 车辆的驾驶辅助装置
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
EP3036131B1 (en) Imaging system and method with ego motion detection
US20230415735A1 (en) Driving support apparatus, control method of vehicle, and non-transitory computer-readable storage medium
US20190362159A1 (en) Crowd sourced construction zone detection for autonomous vehicle map maintenance
JP2022064929A (ja) 画像処理装置および移動体
CN111886638B (zh) 图像处理装置、拍摄装置以及移动体
KR20180094992A (ko) 표시 장치의 제어 방법 및 표시 장치
CN114194190A (zh) 车道机动意图检测系统和方法
CN111731318B (zh) 车辆控制装置、车辆控制方法、车辆以及存储介质
CN112714718B (zh) 车辆控制方法及车辆控制装置
JP2016037098A (ja) 車両用撮像装置
JP7125893B2 (ja) 走行制御装置、制御方法およびプログラム
CN113853639A (zh) 外部环境识别装置
JP6860425B2 (ja) 処理装置、車両、処理方法およびプログラム
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
CN115179863A (zh) 移动体的控制装置及控制方法、存储介质以及车辆
CN111661064A (zh) 车辆控制装置、车辆控制方法、车辆以及存储介质
JP7326041B2 (ja) 画像処理装置、撮像装置、移動体、および画像処理方法
JP7181956B2 (ja) 移動体の制御装置及び制御方法並びに車両
US20210094585A1 (en) Automated driving enabled vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant