CN111183430B - 识别处理装置、识别处理方法以及记录介质 - Google Patents
识别处理装置、识别处理方法以及记录介质 Download PDFInfo
- Publication number
- CN111183430B CN111183430B CN201980004902.3A CN201980004902A CN111183430B CN 111183430 B CN111183430 B CN 111183430B CN 201980004902 A CN201980004902 A CN 201980004902A CN 111183430 B CN111183430 B CN 111183430B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- person
- detected
- photographing
- identification processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 20
- 238000001514 detection method Methods 0.000 claims abstract description 85
- 230000005855 radiation Effects 0.000 claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 230000017525 heat dissipation Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 3
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
识别处理装置(10)包括:影像获取部(11),获取由远红外相机(20)拍摄自己车辆的周围而得的第一拍摄数据;其他车辆检测部(12),检测停在自己车辆的周围的其他车辆;热检测部(13),根据第一拍摄数据的与其他车辆对应的区域的热分布来检测其他车辆的基于动作的散热;以及人检测部(14),当检测到散热时,对其他车辆附近优先执行人识别来检测人,能够辨别从所检测到的其他车辆有人下车的可能性而迅速检测到该人。
Description
技术领域
本发明涉及识别处理装置、识别处理方法以及记录介质。
背景技术
已知有以下的技术:从拍摄了自己车辆的周围的影像中检测其他车辆、人等,并通知给驾驶员。例如,在专利文献1中公开了迅速检测有可能从停车车辆的背后等跑出的行人的技术。
在先技术文献
【专利文献】
专利文献1:日本专利文献特开2017-167608号公报。
发明内容
在自己车辆的行驶方向上停车的(尤其是,在路上停车的)其他车辆大多数是临时停车,有可能从停车的其他车辆中有人下车。然而,在专利文献1记载的技术中,难以辨别从所检测到的其他车辆有人下车的可能性而迅速检测到该人。
本发明是为了解决这样的问题而完成的,其目的在于,提供一种能够辨别从所检测到的其他车辆有人下车的可能性而迅速检测到该人的识别处理装置、识别处理方法以及记录介质。
本发明提供一种识别处理装置,包括:影像获取部,获取第一拍摄数据,所述第一拍摄数据是由远红外相机拍摄自己车辆的周围而得的;其他车辆检测部,检测停在自己车辆的周围的其他车辆;热检测部,根据所述第一拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热;以及人检测部,当检测到所述散热时,对所述其他车辆附近优先执行人识别来检测人。
另外,本发明提供一种识别处理方法,包括以下步骤:获取第一拍摄数据,所述第一拍摄数据是由远红外相机拍摄自己车辆的周围而得的;检测停在自己车辆的周围的其他车辆;根据所述第一拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热;以及当检测到所述散热时,对所述其他车辆附近优先执行人识别来检测人。
另外,本发明提供一种记录介质,记录有识别处理程序,用于使计算机执行以下步骤:获取第一拍摄数据,所述第一拍摄数据是由远红外相机拍摄自己车辆的周围而得的;检测停在自己车辆的周围的其他车辆;根据所述第一拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热;以及当检测到所述散热时,对所述其他车辆附近优先执行人识别来检测人。
根据本发明,能够提供辨别从所检测到的其他车辆有人下车的可能性而迅速检测到该人的识别处理装置、识别处理方法以及记录介质。
附图说明
图1是示出实施方式所涉及的识别系统1的简要构成的框图;
图2是示出实施方式所涉及的识别处理方法的处理步骤的流程图;
图3是用于说明实施方式所涉及的远红外图像的热分布的图;
图4是用于说明实施方式所涉及的远红外图像的热分布的图。
具体实施方式
以下,参照附图说明本实施方式所涉及的识别处理装置以及识别处理方法。首先,说明具有本实施方式所涉及的识别处理装置的识别系统的构成。
图1是示出本实施方式所涉及的识别系统1的简要构成的框图。识别系统1是用于车辆中的系统,包括识别处理装置10、远红外相机20、可见光相机30、词典数据存储装置40、以及显示装置50等。
识别处理装置(控制装置)10从远红外相机20或者可见光相机30所拍摄的影像中检测其他车辆,该其他车辆停在搭载有识别系统1的自己车辆的周边,检测该其他车辆的基于动作的散热(发热)。需要说明的是,车辆的基于动作的散热是指:例如来自车辆前部的机盖或前格栅的散热、来自车辆后部的排气筒(排气口)的散热、来自轮胎及其周边的散热等。另外,如果在夜间,还包含来自前车灯、尾灯的散热。
另外,识别处理装置10在进行基于动作的散热的其他车辆的附近检测人,根据需要将影像或者声音通知给自己车辆的驾驶员。另外,识别处理装置10进行识别系统1整体的动作控制。
远红外相机20、可见光相机30例如设置在自己车辆的前格栅或者其周边部分,拍摄自己车辆的周围、尤其是自己车辆的行驶方向的远红外影像(第一拍摄数据)、可见光影像(第二拍摄数据)输出给识别处理装置10。
另外,在本实施方式所涉及的识别系统1中,当使用远红外影像、可见光影像两者来检测其他车辆以及人时,优选的是,预先通过标定等明确这些影像中的被拍摄体位置的对应关系。
另外,在本实施方式所涉及的识别系统1中,代替使用远红外相机20、可见光相机30这两台相机,可以使用兼具远红外相机以及可见光相机的功能的1台相机来分别拍摄红外线影像以及可见光影像,也可以使用能够拍摄包含可见区域以及远红外区域的影像的1台相机进行拍摄之后从该影像中分离可见光影像和远红外影像。
词典数据存储装置40存储车辆检测词典(车辆识别词典)、人检测词典(人识别词典)、上下车者检测词典(上下车者识别词典)等各种检测词典。这些词典是将拍摄有车辆、行人等人、车辆的上下车者的影像(图像)等通过机器学习而制作成的,识别处理装置10用于从远红外影像或者可见光影像检测其他车辆、行人、其他车辆的上下车者时。
例如,上下车者检测词典是从车辆的前方或后方拍摄当人下车时从坐在座位上的状态到站立在车辆外的状态为止的姿势变化的影像、以及当人上车时从站立在车辆外的状态到坐在座位上的状态为止的姿势变化的影像,并将这些影像通过机器学习来制作成的。
显示装置50按照识别处理装置10的控制显示影像以通知自己车辆的驾驶员。
另外,识别处理装置10为了进行上述动作而包括影像获取部11、其他车辆检测部12、热检测部13、人检测部14、通知控制部15、显示控制部16、以及母线17等。
影像获取部11被从远红外相机20、可见光相机30输入远红外影像、可见光影像,对这些影像施加各种的图像处理。
其他车辆检测部12利用从词典数据存储装置40读取的车辆检测词典从远红外影像或者可见光影像中检测自己车辆周边的其他车辆。
热检测部13根据停在自己车辆周边的其他车辆的远红外影像、即热图像中的热分布检测该其他车辆的基于动作的散热。
人检测部14当从停在自己车辆周边的其他车辆检测到基于动作的散热时,利用人检测词典或者上下车者检测词典从远红外影像或者可见光影像的该其他车辆附近区域中检测从该其他车辆下车的人、想要下车的人或者想要上到该其他车辆的人。其他车辆附近区域是指例如距该其他车辆的周围2~3m为止的范围对应的区域。该区域的大小当然可以改变。
另外,人检测部14当从停在自己车辆周边的其他车辆中没有检测到基于动作的散热时,利用人检测词典从远红外影像或者可见光影像的整个帧或者其一部分中检测行人等人。
通知控制部15进行用于将与所检测到的人相关的信息通过声音通知给自己车辆的驾驶员的控制。声音可以从识别处理装置1输出,也可以从显示装置50等识别系统1内外的装置输出。
显示控制部16进行用于将与所检测到的人相关的信息通过影像或者图像通知给自己车辆的驾驶员的控制。该影像等显示在显示装置50。
另外,关于识别处理装置10的一部分构成,也可以代用经由通信手段连接的识别系统1外的装置等(未图示)。例如,关于其他车辆检测部12、人检测部14可以代用经由通信手段连接的识别系统1外的识别服务器。
另外,识别处理装置10所实现的各构成要素例如可以通过作为计算机的识别处理装置10所具备的运算装置(未图示)的控制执行程序来实现。更加具体来说,将保存在存储部(未图示)中的程序加载到主存储装置(未图示),通过运算装置的控制执行程序来实现识别处理装置10。
另外,各构成要素不限于由程序通过软件来实现,而是可以通过硬件、固件以及软件中的任意的组合来实现。
可以使用各种类型的非临时性计算机可读介质(non-transitory computerreadable medium)来存储上述程序,并将其提供给识别处理装置10。非临时性计算机可读介质包括各种类型的具有实体的记录介质(tangible storage medium)。
非临时性计算机可读介质的示例包括磁记录介质(例如,软盘、磁带、硬盘驱动器)、磁光记录介质(例如,磁光盘)、CD-ROM(Read Only Memory只读存储器)、CD-R、CD-R/W、半导体存储器(例如,掩码ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(random access memory,随机存取存储器))。
此外,可以通过各种类型的临时性计算机可读介质(transitory computerreadable medium)将程序提供给识别处理装置10。临时性计算机可读介质的示例包括电信号、光信号和电磁波。临时性计算机可读介质可以经由诸如电线和光纤等的有线通信路径或无线通信路径将程序提供给识别处理装置10。
接下来,说明本实施方式所涉及的识别系统1的动作、即识别处理方法。
图2是示出本实施方式所涉及的识别处理方法的处理步骤的流程图。
一旦识别系统1开始动作,则远红外相机20、可见光相机30拍摄自己车辆的行驶方向、例如自己车辆的前方的远红外影像、可见光影像,影像获取部11获取这些影像(步骤S10)。另外,远红外影像、可见光影像的拍摄在自己车辆行驶时、停车时均可以进行。
接下来,其他车辆检测部12利用车辆检测词典从远红外影像或者可见光影像中检测其他车辆(步骤S20)。在其他车辆的检测中使用通常的图像识别处理即可。
然后,判断是否检测到其他车辆(步骤S30),当检测到其他车辆时(步骤S30的“是”),判断该其他车辆是否停车(步骤S40)。
当判断其他车辆是否停车时,具体来说,将该其他车辆是否停止、另外该其他车辆的位置、状态如何作为判断基准。
例如,当所检测到的其他车辆与其周围的物体(路面、建筑物等)之间的位置关系恒定时,判断为该其他车辆停止。
另外,当停止的其他车辆位于自己车辆的行驶车道的左侧时、横跨着车道外侧线时(道路或车道的路端附近画的区划线)、点亮了双闪灯时、点亮了刹车灯时,将该其他车辆判断为是停着车的。
另外,在所检测到的其他车辆为对面来车时,尤其是,对于在没有车道中央线的道路环境中的对面来车,也可以同样地进行判断。
当检测到的其他车辆被判断为停着车时(步骤S40的“是”),热检测部13基于远红外图像的该其他车辆的区域的热分布检测来自该其他车辆的散热(步骤S50)。
图3、4是用于说明本实施方式所涉及的远红外图像的热分布的图。在图3、4中,为了使得附图容易理解,在亮度高的区域、即温度高的区域画上了阴影线。
图3是其他车辆200与自己车辆朝向相同方向时的图,排气筒(排气口)、轮胎等的部分通过该其他车辆的基于动作的散热而温度变高。图4是其他车辆300与自己车辆朝向相反方向时的图。机盖、前格栅、轮胎等的部分同样地温度变高。另外,如果在夜间,有时尾灯、前车灯等部分的温度也变高。
接下来,判断该其他车辆是否进行基于动作的散热(步骤S60)。在这里,在图3、4中画上了阴影线的部分的温度比其周边部分、路面的温度等高预定值以上,例如,如果温度高5℃以上,则判断为进行基于动作的散热。换言之,在其他车辆中,在由于进行动作而发热的位置比其他的部分温度相对高的情况下,判断为进行了基于动作的散热。
然后,当判断为该其他车辆进行了基于动作的散热时(步骤S60的“是”),人检测部14优先将远红外影像或者可见光影像的该其他车辆的附近区域作为检测对象区域,利用从词典数据存储装置40读取的人检测词典或者上下车者检测词典检测该其他车辆的上下车者(步骤S70)。在上下车者的检测中使用通常的图像识别处理即可。若使用上下车者检测词典,则能够更加高精度地检测上下车者。
另外,由于上下车者与行人相比姿势上的变化大,因此人检测部14可以基于多个帧中的人的姿势变化来检测上下车者。人检测部14也可以基于所检测到的人的图像中的高度来辨别该人是上下车者还是行人。
另外,人检测部14可以优先将该其他车辆的附近区域作为检测对象区域,在检测到该其他车辆的上下车者之后(或者,未检测到之后),将远红外影像或者可见光影像的整个帧或者其一部分作为检测对象区域检测行人等。
另外,当判断为该其他车辆未进行基于动作的散热时(步骤S60的“否”),人检测部14将远红外影像或者可见光影像的整个帧或者其一部分作为检测对象区域,利用从词典数据存储装置40读取的人检测词典检测行人等(步骤S80)。在行人的检测中也可以使用通常的图像识别处理即可。在步骤S80中,在影像(图像)中,也可以通过边缘检测处理等来确定有可能存在人的范围。
接下来,在步骤S70或步骤S80中,判断是否检测到其他车辆的上下车者、行人等(步骤S90)。
当判断为检测到了上下车者、行人等时(步骤S90的“是”),通知控制部15通过声音等向自己车辆的驾驶员通知检测到上下车者等或者显示控制部16在显示装置50上显示检测到了上下车者等(步骤S100)。
然后,判断是否结束识别处理方法(步骤S110),当判断为结束时(步骤S110的“是”),结束处理,当判断为不结束时(步骤S110的“否”)例如获取下一个影像(步骤S10)。
另外,当其他车辆检测部12没有检测到其他车辆时(步骤S30的“否”),当判断所检测到的其他车辆没有停车时(步骤S40的“否”),人检测部14将远红外影像或者可见光影像的各帧的全部或一部分作为检测对象区域来检测行人等(步骤S80)。
另外,当判断为没有检测到上下车者、行人等时(步骤S90的“否”),判断是否结束识别处理方法(步骤S110)。
如上所述,本实施方式所涉及的识别系统1或者识别处理方法基于有无来自从影像检测到的其他车辆的散热辨别从该其他车辆有人下车的可能性,能够迅速地检测到该人。
另外,在本实施方式所涉及的识别系统1或者识别方法中可以进行各种追加、修正或者变更。
如上所述,其他车辆检测部12以及人检测部14能够分别使用远红外影像以及可见光影像来检测其他车辆以及人(上下车者、行人等),但也可以仅利用远红外影像或者可见光影像中的一者来检测其他车辆以及人。例如,也可以利用远红外影像来检测其他车辆,利用可见光影像来检测人。
另外,其他车辆检测部12以及人检测部14也可以仅利用远红外影像来检测其他车辆以及人。此时,不需要可见光影像,进而,也不需要可见光相机30。即,识别系统1可以是不具有可见光相机30的构成。
另外,也可以在判断所检测到的其他车辆是否进行基于动作的散热时(步骤S60),根据其他车辆的哪个部分散热,选择其后的人检测部14的处理(步骤S70、步骤S80)。
例如,也可以在排气筒附近散热时,认为发动机正在动作中或者发动机停止后没有经过时间,优先进行上下车者的检测(步骤70),当排气筒附近没有散热时,认为从发动机停止经过了时间,进行行人的检测(步骤S80)。
另外,也可以在排气筒附近、轮胎附近同时散热时,认为发动机正在动作中、或者从发动机停止没有经过时间、进而从行驶停止没有经过时间,优先进行上下车者的检测(步骤70),当排气筒附近散热但轮胎附近未散热时,认为发动机正在动作中、或者从发动机停止没有经过时间、但是从行驶停止经过了时间,进行行人的检测(步骤S80)。
另外,也可以在轮胎附近散热时,认为从行驶停止没有经过时间,优先进行上下车者的检测(步骤70),当在轮胎附近未散热时,认为从行驶停止经过了时间,进行行人的检测(步骤S80)。
另外,当判断所检测到的其他车辆是否进行基于动作的散热时(步骤S60),代替基于排气筒、轮胎等部分与周边部分、路面的温度等的比较来进行判断,也可以基于排气筒、轮胎等部分的检测温度来进行判断。例如,可以当排气筒的检测温度为预定值(例如,40℃)以上时,判断为所检测到的其他车辆进行了基于动作的散热。
另外,也可以当判断所检测到的其他车辆是否进行基于动作的散热时(步骤S60),基于该其他车辆的温度高的部分的范围来进行判断。
另外,识别系统1的构成不限于上述,可以是将多个装置、例如识别处理装置10以及词典数据存储装置40一体化,而作为具有词典数据存储部的识别处理装置。另外,可以将识别系统1整体结构一体化,而作为具有远红外相机、可见光相机、词典数据存储部、显示部的识别处理装置。
另外,关于自己车辆中的利用,除了将一部分或全部搭载在自己车辆上的方式之外,还可以是能够搬运或能够后来安装的方式搭载到自己车辆上的方式。
另外,其他车辆检测部12、人检测部14代替利用机器学习车辆、人等的图像来制作的词典的图像识别,或者,除了利用机器学习来制作的词典的图像识别之外,例如,可以执行使用例如其他车辆或人等的模板的图案匹配等的其他的图像识别。
以上,如说明的那样,本实施方式所涉及的识别处理装置10包括:影像获取部11,获取由远红外相机20拍摄自己车辆的周围而得的第一拍摄数据;其他车辆检测部12,检测停在自己车辆的周围的其他车辆;热检测部13,根据第一拍摄数据的与该其他车辆对应的区域的热分布来检测其他车辆的基于动作的散热;以及人检测部14,当检测到该散热时,对其他车辆附近优先执行人识别来检测人。
另外,本实施方式所涉及的识别处理装置10也可以是其他车辆检测部12从第一拍摄数据检测其他车辆,人检测部14从第一拍摄数据检测人。
另外,本实施方式所涉及的识别处理装置10也可以是影像获取部11还获取由可见光相机30拍摄自己车辆的周围而得的第二拍摄数据,其他车辆检测部12从第一拍摄数据检测其他车辆,人检测部14从第二拍摄数据检测人。
另外,本实施方式所涉及的识别处理装置10也可以是影像获取部11还获取由可见光相机30拍摄自己车辆的周围而得的第二拍摄数据,其他车辆检测部12从第二拍摄数据检测其他车辆,人检测部14从第一拍摄数据检测人。
另外,本实施方式所涉及的识别处理装置10也可以是影像获取部11还获取由可见光相机30拍摄自己车辆的周围而得的第二拍摄数据,其他车辆检测部12从第二拍摄数据检测其他车辆,人检测部14从第二拍摄数据检测人。
另外,本实施方式所涉及的识别处理装置10也可以是在热检测部13检测到该散热时,人检测部14对其他车辆附近的范围优先执行利用了上下车者识别词典的人识别来检测人。
另外,本实施方式所涉及的识别处理装置10也可以是热检测部13根据第一拍摄数据的与其他车辆对应的区域的热分布的范围检测该其他车辆的基于动作的散热。
另外,本实施方式所涉及的识别处理装置10也可以还具有通知控制部15,当人检测部14检测到人时,通知控制部15将检测到人的情况通知给自己车辆的驾驶员。
另外,本实施方式所涉及的识别处理方法包括:步骤S10,获取由远红外相机20拍摄自己车辆的周围而得的第一拍摄数据;步骤S20,检测停在自己车辆的周围的其他车辆;步骤S50,根据第一拍摄数据的与该其他车辆对应的区域的热分布来检测其他车辆的基于动作的散热;以及步骤S70,当检测到散热时,对其他车辆附近优先执行人识别来检测人。
另外,该申请要求以2018年8月10日申请的日本申请特愿2018-150967为基础的优先权,并将其全部公开内容纳入此处。
实施方式涉及的识别处理装置、识别处理方法或记录介质例如在车辆等中使用,能够辨别人从检测到的其他车辆下车的可能性,能够迅速地检测到该人,具有产业上的可利用性。
【符号说明】
1 识别系统
10 识别处理装置(控制装置)
11 影像获取部
12 其他车辆检测部
13 热检测部
14 人检测部
15 通知控制部
16 显示控制部
20 远红外相机
30 可见光相机
40 词典数据存储装置
50 显示装置
200、300 其他车辆
Claims (9)
1.一种识别处理装置,包括:
影像获取部,获取拍摄数据,所述拍摄数据是拍摄自己车辆的周围而得的;
其他车辆检测部,检测停在自己车辆的周围的其他车辆;
热检测部,根据所述拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热;以及
人检测部,当没有检测到所述其他车辆的基于动作的散热时,对所述拍摄数据整体进行利用人识别词典的人识别,当检测到所述其他车辆的基于动作的散热时,优先将所述其他车辆附近区域作为检测对象区域执行利用上下车者识别词典的人识别来检测所述其他车辆的上下车者,在检测到或未检测到所述其他车辆的上下车者之后,将所述拍摄数据整体作为检测对象区域进行利用人识别词典的人识别,以检测行人,
所述上下车者识别词典是将当人下车时从坐在座位上的状态到站立在车辆外的状态为止的姿势变化的影像、以及当人上车时从站立在车辆外的状态到坐在座位上的状态为止的姿势变化的影像通过机器学习来制作成的。
2.如权利要求1所述的识别处理装置,其中,
所述拍摄数据是由远红外相机拍摄自己车辆的周围而得的第一拍摄数据,
所述其他车辆检测部从所述第一拍摄数据中检测所述其他车辆,
所述人检测部从所述第一拍摄数据中检测所述人。
3.如权利要求1所述的识别处理装置,其中,
所述拍摄数据包括由远红外相机拍摄自己车辆的周围而得的第一拍摄数据和由可见光相机拍摄自己车辆的周围而得的第二拍摄数据,
所述其他车辆检测部从所述第一拍摄数据中检测所述其他车辆,
所述人检测部从所述第二拍摄数据中检测所述人。
4.如权利要求1所述的识别处理装置,其中,
所述拍摄数据包括由远红外相机拍摄自己车辆的周围而得的第一拍摄数据和由可见光相机拍摄自己车辆的周围而得的第二拍摄数据,
所述其他车辆检测部从所述第二拍摄数据中检测所述其他车辆,
所述人检测部从所述第一拍摄数据中检测所述人。
5.如权利要求1所述的识别处理装置,其中,
所述拍摄数据是由可见光相机拍摄自己车辆的周围而得的第二拍摄数据,
所述其他车辆检测部从所述第二拍摄数据中检测所述其他车辆,
所述人检测部从所述第二拍摄数据中检测所述人。
6.如权利要求1至5中的任一项所述的识别处理装置,其中,
所述热检测部根据所述拍摄数据的因所述其他车辆的动作而发热的区域的热分布来检测所述其他车辆的基于动作的散热。
7.如权利要求1至5中的任一项所述的识别处理装置,其中,
还具有通知控制部,当所述人检测部检测到所述人时,所述通知控制部向自己车辆的驾驶员通知检测到所述人。
8.一种识别处理方法,由识别处理装置执行,所述识别处理方法包括以下步骤:
获取拍摄数据,所述拍摄数据是拍摄自己车辆的周围而得的;
检测停在自己车辆的周围的其他车辆;
根据所述拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热;以及
当没有检测到所述其他车辆的基于动作的散热时,对所述拍摄数据整体进行利用人识别词典的人识别,当检测到所述其他车辆的基于动作的散热时,优先将所述其他车辆附近区域作为检测对象区域执行利用上下车者识别词典的人识别来检测所述其他车辆的上下车者,在检测到或未检测到所述其他车辆的上下车者之后,将所述拍摄数据整体作为检测对象区域进行利用人识别词典的人识别,以检测行人,
所述上下车者识别词典是将当人下车时从坐在座位上的状态到站立在车辆外的状态为止的姿势变化的影像、以及当人上车时从站立在车辆外的状态到坐在座位上的状态为止的姿势变化的影像通过机器学习来制作成的。
9.一种记录介质,记录有识别处理程序,用于使计算机执行以下步骤:
获取拍摄数据,所述拍摄数据是拍摄自己车辆的周围而得的;
检测停在自己车辆的周围的其他车辆;
根据所述拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热;以及
当没有检测到所述其他车辆的基于动作的散热时,对所述拍摄数据整体进行利用人识别词典的人识别,当检测到所述其他车辆的基于动作的散热时,优先将所述其他车辆附近区域作为检测对象区域执行利用上下车者识别词典的人识别来检测所述其他车辆的上下车者,在检测到或未检测到所述其他车辆的上下车者之后,将所述拍摄数据整体作为检测对象区域进行利用人识别词典的人识别,以检测行人,
所述上下车者识别词典是将当人下车时从坐在座位上的状态到站立在车辆外的状态为止的姿势变化的影像、以及当人上车时从站立在车辆外的状态到坐在座位上的状态为止的姿势变化的影像通过机器学习来制作成的。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-150967 | 2018-08-10 | ||
JP2018150967A JP7056458B2 (ja) | 2018-08-10 | 2018-08-10 | 認識処理装置、認識処理方法及び認識処理プログラム |
PCT/JP2019/009896 WO2020031413A1 (ja) | 2018-08-10 | 2019-03-12 | 認識処理装置、認識処理方法及び認識処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111183430A CN111183430A (zh) | 2020-05-19 |
CN111183430B true CN111183430B (zh) | 2023-10-27 |
Family
ID=69414656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980004902.3A Active CN111183430B (zh) | 2018-08-10 | 2019-03-12 | 识别处理装置、识别处理方法以及记录介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11465629B2 (zh) |
EP (1) | EP3836074A4 (zh) |
JP (1) | JP7056458B2 (zh) |
CN (1) | CN111183430B (zh) |
WO (1) | WO2020031413A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200342623A1 (en) * | 2019-04-23 | 2020-10-29 | Apple Inc. | Systems and methods for resolving hidden features in a field of view |
JP2021135793A (ja) * | 2020-02-27 | 2021-09-13 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7280852B2 (ja) * | 2020-04-03 | 2023-05-24 | 戸田建設株式会社 | 人物検知システム、人物検知プログラム、学習済みモデル生成プログラム及び学習済みモデル |
JP2022144606A (ja) | 2021-03-19 | 2022-10-03 | 株式会社Jvcケンウッド | 警告装置及び警告方法 |
JP2023077489A (ja) * | 2021-11-25 | 2023-06-06 | 株式会社Jvcケンウッド | 運転支援装置、運転支援方法 |
KR102363348B1 (ko) * | 2021-12-07 | 2022-02-15 | 주식회사 두루스코이브이 | 스토퍼형 충전장치 및 그 장치의 구동방법 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006350699A (ja) * | 2005-06-16 | 2006-12-28 | Nissan Motor Co Ltd | 画像処理装置及び方法 |
JP2007241898A (ja) * | 2006-03-10 | 2007-09-20 | Honda Motor Co Ltd | 停止車両分別検出装置および車両の周辺監視装置 |
JP2009033718A (ja) * | 2007-06-28 | 2009-02-12 | Olympus Imaging Corp | 電子カメラ |
EP2588847A1 (en) * | 2010-06-29 | 2013-05-08 | Hager Environmental and Atmospheric Technologies, LLC | Device and method for quantification of gases in plumes by remote sensing |
CN105551178A (zh) * | 2015-12-14 | 2016-05-04 | 国网山东省电力公司青岛供电公司 | 一种电网智能监控告警方法及装置 |
CN105862556A (zh) * | 2016-05-30 | 2016-08-17 | 江苏智途科技股份有限公司 | 智能车载道路信息采集装置以及采集道路信息的方法 |
CN107924465A (zh) * | 2016-03-18 | 2018-04-17 | Jvc 建伍株式会社 | 物体识别装置、物体识别方法以及物体识别程序 |
CN107953828A (zh) * | 2016-10-14 | 2018-04-24 | 株式会社万都 | 车辆的行人识别方法及车辆的行人识别系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4793638B2 (ja) * | 2006-03-27 | 2011-10-12 | マツダ株式会社 | 車両用歩行者検出装置 |
US8478480B2 (en) * | 2006-10-27 | 2013-07-02 | International Electronic Machines Corp. | Vehicle evaluation using infrared data |
US8509982B2 (en) * | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
JP5529910B2 (ja) * | 2012-03-12 | 2014-06-25 | 本田技研工業株式会社 | 車両周辺監視装置 |
US9604639B2 (en) * | 2015-08-28 | 2017-03-28 | Delphi Technologies, Inc. | Pedestrian-intent-detection for automated vehicles |
US10152649B2 (en) * | 2015-12-01 | 2018-12-11 | Mobileye Vision Technologies Ltd. | Detecting visual information corresponding to an animal |
JP2017167608A (ja) | 2016-03-14 | 2017-09-21 | 株式会社Jvcケンウッド | 物体認識装置、物体認識方法及び物体認識プログラム |
KR101996419B1 (ko) * | 2016-12-30 | 2019-07-04 | 현대자동차주식회사 | 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법 |
JP2018150967A (ja) | 2017-03-10 | 2018-09-27 | 倉敷紡績株式会社 | 管継手 |
-
2018
- 2018-08-10 JP JP2018150967A patent/JP7056458B2/ja active Active
-
2019
- 2019-03-12 CN CN201980004902.3A patent/CN111183430B/zh active Active
- 2019-03-12 WO PCT/JP2019/009896 patent/WO2020031413A1/ja unknown
- 2019-03-12 EP EP19846815.9A patent/EP3836074A4/en active Pending
-
2020
- 2020-05-28 US US16/886,603 patent/US11465629B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006350699A (ja) * | 2005-06-16 | 2006-12-28 | Nissan Motor Co Ltd | 画像処理装置及び方法 |
JP2007241898A (ja) * | 2006-03-10 | 2007-09-20 | Honda Motor Co Ltd | 停止車両分別検出装置および車両の周辺監視装置 |
JP2009033718A (ja) * | 2007-06-28 | 2009-02-12 | Olympus Imaging Corp | 電子カメラ |
EP2588847A1 (en) * | 2010-06-29 | 2013-05-08 | Hager Environmental and Atmospheric Technologies, LLC | Device and method for quantification of gases in plumes by remote sensing |
CN105551178A (zh) * | 2015-12-14 | 2016-05-04 | 国网山东省电力公司青岛供电公司 | 一种电网智能监控告警方法及装置 |
CN107924465A (zh) * | 2016-03-18 | 2018-04-17 | Jvc 建伍株式会社 | 物体识别装置、物体识别方法以及物体识别程序 |
CN105862556A (zh) * | 2016-05-30 | 2016-08-17 | 江苏智途科技股份有限公司 | 智能车载道路信息采集装置以及采集道路信息的方法 |
CN107953828A (zh) * | 2016-10-14 | 2018-04-24 | 株式会社万都 | 车辆的行人识别方法及车辆的行人识别系统 |
Non-Patent Citations (2)
Title |
---|
《A survey of energy-efficient context recognition systems using wearable sensors for healthcare applications》;Tifenn Rault;《Pervasive and Mobile Computing》;第23页-第44页 * |
《一种高分辨率可见光遥感影像中车辆目标检测方法》;谷正气;《测绘通报》(第第1期期);第121页-第123页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020031413A1 (ja) | 2020-02-13 |
JP7056458B2 (ja) | 2022-04-19 |
EP3836074A1 (en) | 2021-06-16 |
EP3836074A4 (en) | 2021-09-15 |
US20200290623A1 (en) | 2020-09-17 |
US11465629B2 (en) | 2022-10-11 |
JP2020027380A (ja) | 2020-02-20 |
CN111183430A (zh) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111183430B (zh) | 识别处理装置、识别处理方法以及记录介质 | |
US7418112B2 (en) | Pedestrian detection apparatus | |
US10635896B2 (en) | Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle | |
JP2018097766A (ja) | 画像処理装置、外界認識装置 | |
WO2019085930A1 (zh) | 车辆中双摄像装置的控制方法和装置 | |
JP2012131491A (ja) | 物体検知システム | |
KR101729486B1 (ko) | Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템 | |
JP2019020956A (ja) | 車両周囲認識装置 | |
JP2018106239A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
KR20120032223A (ko) | 차량 내 운전자 인증 장치 및 그 방법 | |
KR102084329B1 (ko) | 차량 내 유아 모니터링 방법 및 시스템 | |
JP2020137053A (ja) | 制御装置及び撮影システム | |
JP2013114536A (ja) | 安全支援装置、及び、安全支援方法 | |
KR101299104B1 (ko) | 보행자 검출 장치 및 그 방법 | |
JP2004257924A (ja) | 対象物検出装置 | |
JP2010020557A (ja) | 画像処理装置及び画像処理方法 | |
JP7201706B2 (ja) | 画像処理装置 | |
JP5617678B2 (ja) | 車両用表示装置 | |
JP2005176031A (ja) | 車載用障害物検出装置 | |
WO2023095397A1 (ja) | 運転支援装置、運転支援方法 | |
JP2019074965A (ja) | 運転不能状態検出装置及び運転不能状態検出システム | |
WO2022195970A1 (ja) | 警告装置及び警告方法 | |
WO2024195126A1 (ja) | 画像処理装置、画像処理方法及び非一時的なコンピュータ可読媒体 | |
JP2023059552A (ja) | 運転支援装置および運転支援方法 | |
JP6930243B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |