CN111183454B - 识别装置、识别方法及识别程序 - Google Patents
识别装置、识别方法及识别程序 Download PDFInfo
- Publication number
- CN111183454B CN111183454B CN201980004834.0A CN201980004834A CN111183454B CN 111183454 B CN111183454 B CN 111183454B CN 201980004834 A CN201980004834 A CN 201980004834A CN 111183454 B CN111183454 B CN 111183454B
- Authority
- CN
- China
- Prior art keywords
- animal
- human
- target region
- image
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
识别装置(20)包括:图像获取部(21),获取远红外线相机(10)拍摄到的图像;以及识别处理部(22),在该图像中设定对象区域,基于对象区域中的温度偏差来判定对象区域的被拍摄体是人还是动物。由此,提供一种识别装置、识别方法及识别程序,即使在人或动物以其正面或背面映现在拍摄图像中时,也能够根据该图像正确地判定是人还是动物。
Description
技术领域
本发明涉及识别装置、识别方法及识别程序。
背景技术
使用搭载在车辆上的相机的图像来识别车辆周边的状况并对驾驶员进行警告的安全辅助装置正在普及。这样的安全辅助装置针对相机拍摄的图像使用识别辞典等识别自身车辆周边的对象物。
例如,在专利文献1中记载了:在车辆周边监视装置中,从拍摄图像中提取对象物的图像区域,当在该区域中包含不同方向的宽度的比率成为规定范围的第一对象物区域和在第一对象物区域的下方并且面积小于第一对象物区域的多个第二对象物区域时,将该对象物的类别判定为是人以外的动物。
现有技术文献
专利文献
专利文献1:日本特开2007-310705号公报。
发明内容
在专利文献1记载的发明中,当对象物为人以外的动物时,使用该动物为横向时的特征(躯体及前后脚的大小、纵横的比率、位置关系等)判定为对象物是动物。通常,当动物以横向映现在图像中时,即在动物以其侧面而映现在图像中时,由于人和动物的特征完全不同,因此很少在人和动物之间发生误检测。
然而,当人或动物以它们的正面或背面映现在图像中时,人和动物的特征有许多相似之处,有时会在人与动物之间产生误检测。
本发明是为了解决这样的问题而完成的,其目的在于提供一种识别装置、识别方法及识别程序,即使在人或动物以其正面或背面而映现在图像中时,也能够根据该图像正确地判定是人还是动物。
因此,本实施方式提供一种识别装置,包括:图像获取部,获取远红外线相机拍摄到的图像;以及识别处理部,在该图像中设定对象区域,基于对象区域中的温度偏差来判定对象区域的被拍摄体是人还是动物。
另外,本实施方式提供一种识别方法,包括以下步骤:获取远红外线相机拍摄到的图像;以及在该图像中设定对象区域,基于对象区域中的温度偏差来判定对象区域的被拍摄体是人还是动物。
根据本实施方式,能够提供识别装置、识别方法及识别程序,即使在人或动物以其正面或背面映现在图像中时,也能够根据该图像正确地判定是人还是动物。
附图说明
图1是示出实施方式1涉及的识别系统1的概略结构的框图;
图2是实施方式1涉及的人和动物的全身图像的例子;
图3是示出实施方式1涉及的识别方法的处理顺序的流程图;
图4是用于说明实施方式1涉及的上部区域及下部区域的提取方法的图。
图5是示出实施方式2涉及的识别方法的处理顺序的流程图。
具体实施方式
以下,参照附图对各实施方式涉及的识别系统及识别方法进行说明。
此外,本说明书中的“图像”包括静止图像和运动图像。
另外,本说明书中的“动物”是指人以外的动物。
(实施方式1)
本实施方式1涉及的识别系统及识别方法对于用远红外线相机拍摄了自身车辆的行进方向等的图像使用识别辞典检测人或动物,在无法明确判断被拍摄体是人还是动物时,基于检测到人或动物时检测范围内部的温度偏差来判定是人还是动物。
首先,对本实施方式1涉及的识别系统的结构进行说明。
图1是示出本实施方式1涉及的识别系统1的概略结构的框图。
识别系统1例如是搭载在车辆上使用的系统,包括前方相机10、识别装置20、辞典数据存储装置30以及显示装置40等。
此外,识别系统1除了搭载在车辆上使用的系统以外,还可以在具有使用便携终端、无人机、机器人等远红外线相机来识别对象物的目的的各种各样系统中使用。在以下的实施方式中,以搭载在车辆上使用的系统为例进行说明。
前方相机10拍摄自身车辆的行进方向的图像,并将该图像输入到识别装置20。前方相机10是远红外线相机,但也可以是使用其他波长区域的相机,例如组合了可见光相机和远红外线相机的相机。
识别装置20使用前方相机10拍摄的图像来检测人和动物,并根据需要向显示装置40等输出警告信号。识别装置20例如对前方相机10拍摄到的图像的每帧或每几帧检测人和动物。因此,识别装置20具有图像获取部21、识别处理部22以及显示控制部23等。
图像获取部21输入前方相机10拍摄的图像,对该图像实施各种图像处理,并输出到识别处理部22。
识别处理部22针对输入的图像使用存储在辞典数据存储装置30中的人识别辞典、动物识别辞典来检测人或动物。另外,识别处理部22在输入的图像中设定的对象区域中基于该区域内部的温度偏差来判定被拍摄体是人还是动物。另外,识别处理部22在判定为是人或者是动物时,向显示控制部23输出信号,以便根据需要对驾驶员进行警告。
显示控制部23进行用于在显示装置40上显示警告图像或输出警告声音的控制。
辞典数据存储装置30存储人识别辞典、动物识别辞典等各种识别辞典。
人识别辞典包括人全身识别辞典、人脸识别辞典、人头部识别辞典等。另外,动物识别辞典也包括动物全身识别辞典、动物脸部识别辞典、动物头部识别辞典等。
人全身识别辞典或动物全身识别辞典是对行人或动物以其正面或背面映现的全身图像、以及行人或动物以其侧面映现的全身图像即行人或动物横向映现的全身图像进行机器学习而制作成的辞典。
另外,人脸识别辞典、人头部识别辞典、动物脸部识别辞典、动物头部识别辞典是对映现了人、动物脸部、头部的图像或从人、动物的全身图像中切出脸、头的部分的图像进行机器学习而制作成的辞典。
在从图像中检测人或动物的情况下,使用边缘检测处理等确定包围检测对象的检测范围或包含检测对象的矩形的检测范围,并对该检测范围进行识别处理。
图2是本实施方式1涉及的人和动物的全身图像的例子。从左起依次是人、动物分别以其正面映现的图像。这些图像是使用远红外线相机在夜间拍摄的、用亮度的不同表示红外线的辐射量(强度)的单色的浓淡图像(灰度图像)。
在人的图像中,皮肤露出而热辐射比环境(背景)大的脸及手的部分以高亮度成为白色,热辐射与环境变化不大的衣服部分以中亮度或低亮度成为灰色或黑色。即,在人的图像中,头部、手臂、脚等露出的部分的亮度比未露出的部分的亮度高。
与此相对,在动物图像中,虽然存在眼睛、鼻子等那样局部亮度高的部分,但由于全身的大部分被体毛覆盖,因此整体上成为中亮度或低亮度。
将人的图像与动物的图像进行比较可知,对于热辐射大的白色区域,人的图像比动物的图像多或面积大。
显示装置40通过图像、声音等向驾驶员通知表示在自身车辆的行进方向上存在人、动物等的警告。
另外,识别装置20的结构的一部分也可以由经由未图示的通信单元连接的其他装置替换。例如,识别处理部22、辞典数据存储装置30也可以由经由通信单元连接的识别服务器等其他装置替换。
另外,识别装置20实现的各构成要素例如通过作为计算机的识别装置20所具有的运算装置(未图示)的控制执行程序来实现。更具体而言,识别装置20将存储在存储部(未图示)中的程序加载到主存储装置(未图示)中,通过运算装置的控制执行程序来实现。
另外,各构成要素不限于通过基于程序的软件来实现,也可以通过硬件、固件和软件中的任意的组合等来实现。
在上述程序中,能够使用各种类型的非临时性计算机可读介质(non-transitorycomputer readable medium)进行存储,并提供给识别装置20。非临时计算机可读介质包含具有各种类型实体的记录介质(tangible storage medium)。
非临时性计算机可读介质的示例包括磁记录介质(例如软盘、磁带、硬盘驱动器)、光磁记录介质(例如,光磁盘)、CD-ROM(Read Only Memory,只读存储器)、CD-R、CD-R/W、半导体存储器(例如,掩模ROM、PROM(Programmable ROM,可编程ROM)、EPROM(Erasable PROM,可擦PROM)、闪存ROM、以及RAM(random access memory,随机存取存储器)。
此外,程序也可以通过各种类型的临时性计算机可读介质(transitory computerreadable medium)提供给识别装置20。临时性计算机可读介质的示例包括电信号、光信号和电磁波。临时性计算机可读介质可以经由例如电线和光纤等有线通信路径或无线通信路径将程序提供给识别装置20。
接着,对本实施方式1涉及的识别系统1的动作、即识别方法进行说明。
图3是表示本实施方式1涉及的识别方法的处理顺序的流程图。
当识别系统1开始动作时,前方相机10拍摄自身车辆的行进方向的图像,图像获取部21获取该拍摄图像作为识别对象图像(步骤S10)。图像获取部21获取例如图2所示的包含人或动物映现的图像区域的摄影图像。
接着,识别处理部22将拍摄图像整体或拍摄图像的一部分作为识别对象区域,使用存储在辞典数据存储装置30中的人全身识别辞典和动物全身识别辞典来检测人和动物(步骤S20)。在步骤S20中,例如通过边缘检测处理等确定拍摄图像中的可能是人或动物的对象物的范围。
接着,识别处理部22针对步骤S20的检测结果判定检测出的对象物是人或动物中的哪一个是否明确(步骤S30)。
在该步骤S30的处理中,如步骤S20的检测结果例如根据人全身识别辞典认为是人的概率为40%、根据动物全身识别辞典认为是动物的概率为60%的情况那样,判定是人还是动物不明确的情况。
具体以何种程度的概率为基准来判定是否明确可以任意设定,例如,在是人或动物中的任一者的概率为80%以上、与是另外一者的概率之差为50%以上的情况下,也可以判定为是概率高的一者是明确的。
识别处理部22在明确地检测出人或动物中的某一个时(步骤S30的是),转移到步骤S50。然后,显示控制部23向驾驶者警告在步骤S20中明确检测出的人或动物的存在。
另外,识别处理部22在不明确是人或动物中的某一个时(步骤S30的否),将该对象物的范围设定为对象区域,基于该区域内的温度偏差重新判定对象物是人还是动物(步骤S40)。
例如,识别处理部22求出构成识别为人或动物的范围的像素所表示的明亮度的分布作为对象区域内的温度偏差。
然后,识别处理部22基于检测出的温度偏差来判断对象物是人还是动物。识别处理部22当温度偏差大于规定值时判定为对象物是人,当温度偏差小于规定值时判定为对象物是动物。
这是因为,参照图2如上所述,当被拍摄体是人时,由于皮肤部分和衣服部分之间的温度差大,因此对象区域框内的温度偏差、例如温度的标准偏差变大,另外,当被拍摄体是动物时,由于全身被体毛覆盖,整体上温度差小,因此对象区域内的温度偏差变小。
具体而言,在用远红外线相机拍摄的图像中,对于构成识别为人或动物的范围的像素所表示的明亮度的分布,在表示中亮度的灰色的范围大、表示高亮度的白色的范围小的情况下,由于温度偏差小,因此判定为被拍摄体是动物。与此相对,在表示中亮度的灰色的范围大、表示高亮度的白色的范围也大的情况下,由于温度偏差大,因此判定为被拍摄体是人。
当然,也有时由于昼夜、季节、室内外等环境、拍摄条件等,当被拍摄体是人时对象区域内的温度偏差变小,当被拍摄体是动物时对象区域内的温度偏差变大,对象区域内的温度偏差的大小与人、动物的判定结果的对应关系能够根据环境、拍摄条件等确定。
并且,识别处理部22在步骤S20中检测出人的概率比检测出动物的概率高、但是不能明确地判定为是人时,在步骤S40中检测出动物的情况下,将在步骤S20中检测出的判定为是动物。
另外,识别处理部22在步骤S20中检测出人的概率比检测出动物的概率高、但是不能明确地判定为是人时,在步骤S40中还是检测出人的情况下,将在步骤S20中检测到的判定为是人。
另外,在步骤S20中检测出动物的概率比检测出人的概率高、但是不能明确地判定为是动物时,也可以与上述同样地进行判定。
并且,识别处理部22在检测到人或动物时,显示控制部23经由显示装置40向驾驶者通知检测到行人或动物。
接着,识别装置20判定是否结束识别处理(步骤S50),在判定为结束时(步骤S50的是)结束处理,在判定为未结束时(步骤S50的否),例如返回到步骤S10。
这样,本实施方式1涉及的识别系统1或识别方法对于由远红外线相机拍摄的图像使用识别辞典检测人或动物,在无法明确地判断被拍摄体是人还是动物时,基于检测到人或动物时的检测范围内部的温度偏差来判定是人或动物中的哪一个,从而能够高精度地检测及判别人和动物。
另外,在本实施方式1涉及的识别系统1或识别方法中,能够进行各种追加、修正或变更。
例如,识别处理部22在基于对象区域内的温度偏差判定是人或动物时(步骤S40),除了如上所述计算对象区域内整体的温度偏差之外或者代替计算对象区域内的整体的温度偏差,也可以在对象区域中提取上部区域和下部区域,计算该上部区域和下部区域的温度偏差、例如上部区域和下部区域的平均温度的差等。
图4是用于说明本实施方式1涉及的上部区域和下部区域的提取方法的图。提取的上部区域和下部区域由拍摄图像内的两个虚线框表示。当然,上部区域和下部区域的提取方法不限于图示的方法,也可以是上部区域与下部区域分离,上部区域或下部区域从拍摄图像端部分离。
另外,在图4中,将上部区域和下部区域设为矩形框,但也可以将由检测到动物或人的范围与背景的边界线包围的范围设为对象区域,将该对象区域的上部和下部作为上部区域和下部区域。
在人的图像中,在脸映现的上部区域白色较多,在衣服映现的下部区域灰色或黑色较多。另外,在动物的图像中,在上部区域和下部区域中看不到大的颜色差异。
因此,如果上部区域和下部区域的温度差大于规定值,则识别处理部22检测到人,如果上部区域和下部区域的温度差小于规定值,则识别处理部22检测到动物。
另外,识别处理部22代替从对象区域提取上部区域和下部区域,也可以从对象区域提取上部区域、中央区域以及下部区域,计算上部区域与中央区域的温度偏差。上部区域、中央区域以及下部区域的提取方法能够任意设定,包括将对象区域三等分的方法。
另外,作为基于温度偏差的其他判定方法,识别处理部22也可以使用基于以显示高亮度的白色像素为中心构成的部分的面积的大小来判定是人或动物的方法。例如,在图2所示的图像中,显示高亮度的白色像素集中的范围在动物的图像中是眼睛、鼻子等部分,在人的图像中是脸、手臂、手等部分。
因此,白色像素集中的范围的面积在识别为人或动物的对象区域中如果是动物的图像则小,如果是人的图像则大。因此,能够判断白色像素集中的范围的面积的大小相对于识别为人或动物的对象区域的比例是规定的阈值以上还是小于规定的阈值,由此来判定是人或动物。
另外,识别处理部22也可以在基于对象区域内的温度偏差判定是人或动物时(步骤S40),对对象区域内的图像使用人脸部识别辞典、人头部识别辞典、动物脸部识别辞典或动物头部识别辞典来检测人或动物的脸部、头部,计算脸部、头部区域与脸部、头部以外的区域的温度偏差。
在该情况下,在步骤S40中,如果脸部、头部区域和除此以外的区域的温度差大于规定值,则识别处理部22检测到人,如果脸部、头部区域与除此以外的区域的温度差小于规定值,则识别处理部22检测到动物。
另外,识别处理部22也可以省略判定在步骤S20中检测出的对象物是人或动物的哪一个是否明确来决定下一步骤的处理(步骤S30),在对拍摄图像使用识别辞典检测人和动物的处理(步骤S20)之后,必须进行基于对象区域内的温度偏差检测人或动物的处理(步骤S40)。
然后,也可以在步骤S40中判定对象物是人还是动物时,对步骤S20检测结果赋予某些权重来进行判定。
另外,识别处理部22也可以在检测到人或动物时(步骤S20、步骤S40),基于对象区域或包围对象区域的检测框的图像上的位置或大小计算从自身车辆到人或动物的距离、人或动物的大小,并通知驾驶员。
在基于对象区域或包围对象区域的检测框的大小计算到人或动物的距离时,例如由于假定人的身高为1.7m,动物的体长为1.0m来进行计算,因此在同一检测框中检测出的物体为人时和为动物时,计算出的距离也变化1.7倍。因此,通过利用本实施方式1涉及的识别系统1准确地判别人和动物,能够更高精度地计算出到检测出的人、动物等的距离。
另外,显示控制部23也可以在检测到行人等人时和检测到动物时,改变对驾驶员的通知方法。例如,由于动物有时会成群结队或做出跑到道路上等不可预测的行动,因此在检测到动物时,也可以提前通知驾驶员。
另外,识别系统1的结构不限于上述结构,也可以是将多个装置、例如识别装置20和辞典数据存储装置30一体化,设为具有辞典数据存储部的识别装置。另外,也可以是将识别系统1的全部结构一体化,设为具有前方相机、辞典数据存储部、显示部的识别装置。当然,也可以构成为人识别系统、动物识别系统、人动物辨别系统等。
另外,在车辆中的利用也可以是除了一部分或全部搭载在车辆上的方式以外,还可以是可搬运或可后安装地搭载在车辆上的方式。
另外,识别系统1除了设置在车辆内以外,例如也可以设置在建筑物内,在自动门前等设置相机,用于自动门的开闭的判断。在该情况下,能够进行如下判断:仅在判断为对象物是人时打开自动门,或者在判断为对象物是动物时关闭自动门。
另外,识别处理部22代替使用对人、动物等图像进行机器学习而生成的辞典的图像识别或者除了使用通过机器学习而生成的辞典的图像识别之外,例如,也可以进行使用了人、动物等模板的模式匹配等其他的图像识别。
如以上说明的那样,本实施方式1涉及的识别装置20包括:图像获取部21,获取远红外线相机10拍摄到的图像;以及识别处理部22,在该图像中设定对象区域,基于对象区域中的温度偏差来判定对象区域的被拍摄体是人还是动物。
另外,在本实施方式1涉及的识别装置20中,识别处理部22也可以对该图像使用人全身识别辞典和动物全身识别辞典来检测人或动物,在无法判定是人还是动物时,将检测到人或动物时的检测范围设定为对象区域,基于对象区域中的温度偏差来判定对象区域的被拍摄体是人还是动物。
另外,在本实施方式1涉及的识别装置20中,识别处理部22也能够使用对象区域的上部与中央部的温度差作为对象区域中的温度偏差。
另外,在本实施方式1涉及的识别装置20中,识别处理部22也可以对对象区域使用脸部识别辞典或头部识别辞典来检测脸部或头部,使用对象区域中的脸部或头部的区域与脸部或头部以外的区域的温度差作为对象区域中的温度偏差。
另外,在本实施方式1涉及的识别装置20中,识别处理部22也可以使用对象区域中的温度高的区域的面积的大小作为对象区域中的温度偏差。
另外,本实施方式1涉及的识别方法包括:获取远红外线相机拍摄的图像的步骤S10;以及在图像中设定对象区域,基于对象区域中的温度偏差来判定对象区域的被拍摄体是人还是动物的步骤S40。
(实施方式2)
实施方式1涉及的识别系统1或识别方法对于由远红外线相机10拍摄的图像使用识别辞典检测人或动物,当不能明确地判断是人还是动物时,基于对象区域内部的温度偏差来判定是人还是动物。
与此相对,本实施方式2涉及的识别系统和识别方法在由远红外线相机拍摄的图像中设定对象区域,基于该对象区域内部的温度偏差来判定是人还是动物,基于其结果对该对象区域的图像使用识别辞典重新检测人或动物。
本实施方式2涉及的识别系统的概略结构与实施方式1涉及的识别系统1的概略结构相同,在此省略图示及详细说明。另外,以下,为了容易理解说明,作为对本实施方式2涉及的识别系统的各结构附加的符号,直接使用实施方式1涉及的识别系统1的对应结构的符号。
对本实施方式2涉及的识别系统1的动作、即识别方法进行说明。
图5是示出本实施方式2涉及的识别方法的处理顺序的流程图。
当识别系统1开始动作时,前方相机10拍摄自身车辆的行进方向的图像,图像获取部21获取该拍摄图像作为识别对象图像(步骤S110)。
接着,识别处理部22将拍摄图像中的包含温度高的部分的区域设定为对象区域,基于对象区域中的温度偏差来判定对象区域的被拍摄体是人还是动物(步骤S120)。
识别处理部22例如能够将以拍摄图像中的温度高的部分为中心的规定大小的区域设定为对象区域,或者在拍摄图像中扫描规定大小的区域并将该区域内的平均温度高的部位设定为对象区域。这样,对象区域的设定方法可以是任意的方法,另外,对象区域也可以设定多个。
另外,识别处理部22基于对象区域内的温度偏差来判定是人还是动物时的判定方法也可以与实施方式1涉及的判定方法相同。
步骤S120中的判定由于是在使用识别辞典进行检测之前的判定,因此有时无法确定是人还是动物。因此,识别处理部22在步骤S120中判定是人还是动物后,转移到步骤S130。
然后,识别处理部22对于对象区域使用存储在辞典数据存储装置30中的人全身识别辞典和动物全身识别辞典来重新检测人和动物(步骤S130)。此时的检测方法也可以与实施方式1涉及的检测方法相同。
这样,识别处理部22基于步骤S120和步骤S130的检测结果明确判定在步骤S120中检测出的是人还是动物。
然后,识别处理部22在检测到人或动物时,显示控制部23经由显示装置40向驾驶者通知检测到行人或动物。
接着,识别装置20判定识别方法是否结束(步骤S140),在判定为结束时(步骤S140的是),结束处理,在判定为未结束时(步骤S140的否),例如返回到步骤S110。
这样,本实施方式2涉及的识别系统1或识别方法在由远红外线相机拍摄的图像中设定对象区域,基于该对象区域内部的温度偏差来检测人或动物,进而使用识别辞典对该对象区域的图像重新检测人或动物,因此能够高精度地检测及辨别人和动物。
另外,在本实施方式2涉及的识别系统1或识别方法中,也能够进行各种追加、修正或变更。
例如,识别处理部22也可以当在步骤S120中判定为是人时,在步骤S130中仅使用人全身识别辞典来检测人,当在步骤S120中判定为是动物时,在步骤S130中仅使用动物全身识别辞典来检测动物。
这样,如果仅使用最佳的识别辞典,则与使用多个识别辞典相比,能够抑制处理负荷,另外,还可以减少人与动物之间的误检测。
另外,识别处理部22也可以在步骤S120中判定出是人或动物中的某一个时,追加判定基于温度偏差的判定结果是否明确的处理。例如,也可以当基于对象区域内的温度偏差判定是人还是动物的处理(步骤S120)的判定结果是人还是动物明确时,转移到步骤S140,当不明确时,对对象区域进行使用识别辞典检测人和动物的处理(步骤S130)。
如以上说明的那样,在本实施方式2涉及的识别装置20中,识别处理部22也可以将拍摄图像中温度高的区域设定为对象区域,基于温度偏差来判定是人还是动物,当不能明确判定是人还是动物时,对对象区域使用人全身识别字典和动物全身识别字典来检测人或动物。
本申请要求以2018年4月20日申请的日本申请特愿2018-081071为基础的优先权,并将其全部公开内容纳入本文。
产业上的可利用性
本发明可在识别移动的物体的周围环境时使用。
符号说明
1 识别系统
10 前方相机
20 识别装置
21 图像获取部
22 识别处理部
23 显示控制部
30 辞典数据存储装置
40 显示装置
Claims (12)
1.一种识别装置,包括:
图像获取部,获取远红外线相机拍摄到的图像;以及
识别处理部,对所述图像使用人全身识别辞典和动物全身识别辞典来检测人或动物,当无法判定是人还是动物时,将检测到所述人或所述动物时的检测范围设定为对象区域,基于所述对象区域中的温度偏差来判定所述对象区域的被拍摄体是人还是动物。
2.如权利要求1所述的识别装置,其中,
所述识别处理部使用所述对象区域的上部与中央部的温度差作为所述对象区域中的温度偏差。
3.如权利要求1所述的识别装置,其中,
所述识别处理部对所述对象区域使用脸部识别辞典或头部识别辞典来检测脸部或头部,
并使用所述对象区域中的脸部或头部的区域与脸部或头部以外的区域的温度差作为所述对象区域中的温度偏差。
4.如权利要求1所述的识别装置,其中,
所述识别处理部使用所述对象区域中的温度高的区域的面积的大小作为所述对象区域中的温度偏差。
5.一种识别装置,包括:
图像获取部,获取远红外线相机拍摄到的图像;以及
识别处理部,将所述图像中满足预定的条件的区域设定为对象区域,基于所述对象区域中的温度偏差来判定是人还是动物,基于是人还是动物的判定结果,对所述对象区域使用人全身识别辞典和动物全身识别辞典来检测人或动物。
6.如权利要求5所述的识别装置,其中,
所述识别处理部使用所述对象区域的上部与中央部的温度差作为所述对象区域中的温度偏差。
7.如权利要求5所述的识别装置,其中,
所述识别处理部对所述对象区域使用脸部识别辞典或头部识别辞典来检测脸部或头部,
并使用所述对象区域中的脸部或头部的区域与脸部或头部以外的区域的温度差作为所述对象区域中的温度偏差。
8.如权利要求5所述的识别装置,其中,
所述识别处理部使用所述对象区域中的温度高的区域的面积的大小作为所述对象区域中的温度偏差。
9.一种识别方法,由识别装置执行,所述识别方法包括以下步骤:
获取远红外线相机拍摄到的图像;
对所述图像使用人全身识别辞典和动物全身识别辞典来检测人或动物;以及
当无法判定是人还是动物时,将检测到所述人或所述动物时的检测范围设定为对象区域,基于所述对象区域中的温度偏差来判定所述对象区域的被拍摄体是人还是动物。
10.一种识别方法,由识别装置执行,所述识别方法包括以下步骤:
获取远红外线相机拍摄到的图像;
将所述图像中满足预定的条件的区域设定为对象区域;以及
基于所述对象区域中的温度偏差来判定是人还是动物,基于是人还是动物的判定结果,对所述对象区域使用人全身识别辞典和动物全身识别辞典来检测人或动物。
11.一种记录介质,记录有用于使计算机执行以下步骤的识别程序:
获取远红外线相机拍摄到的图像;
对所述图像使用人全身识别辞典和动物全身识别辞典来检测人或动物;以及
当无法判定是人还是动物时,将检测到所述人或所述动物时的检测范围设定为对象区域,基于所述对象区域中的温度偏差来判定所述对象区域的被拍摄体是人还是动物。
12.一种记录介质,记录有用于使计算机执行以下步骤的程序:
获取远红外线相机拍摄到的图像;
将所述图像中满足预定的条件的区域设定为对象区域;以及
基于所述对象区域中的温度偏差来判定是人还是动物,基于是人还是动物的判定结果,对所述对象区域使用人全身识别辞典和动物全身识别辞典来检测人或动物。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018081071A JP7063076B2 (ja) | 2018-04-20 | 2018-04-20 | 認識装置、認識方法及び認識プログラム |
JP2018-081071 | 2018-04-20 | ||
PCT/JP2019/014632 WO2019202969A1 (ja) | 2018-04-20 | 2019-04-02 | 認識装置、認識方法及び認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111183454A CN111183454A (zh) | 2020-05-19 |
CN111183454B true CN111183454B (zh) | 2023-04-18 |
Family
ID=68240260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980004834.0A Active CN111183454B (zh) | 2018-04-20 | 2019-04-02 | 识别装置、识别方法及识别程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11227152B2 (zh) |
EP (1) | EP3783563B1 (zh) |
JP (1) | JP7063076B2 (zh) |
CN (1) | CN111183454B (zh) |
WO (1) | WO2019202969A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7143790B2 (ja) * | 2019-03-12 | 2022-09-29 | トヨタ自動車株式会社 | 運転制御システム |
JP2021110973A (ja) * | 2020-01-06 | 2021-08-02 | オムロン株式会社 | 人体検出装置および人体検出方法 |
US11984222B2 (en) | 2021-09-02 | 2024-05-14 | Safety Shield Products, LLC | System and method for sharing health data |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006319534A (ja) * | 2005-05-11 | 2006-11-24 | Fuji Photo Film Co Ltd | 撮影装置および方法並びにプログラム |
JP2007112213A (ja) * | 2005-10-18 | 2007-05-10 | Toyota Motor Corp | 歩行者判定装置 |
CN104573622A (zh) * | 2013-10-09 | 2015-04-29 | 爱信精机株式会社 | 人脸检测装置、方法 |
CN104605813A (zh) * | 2013-11-05 | 2015-05-13 | 南京理工高新技术发展有限公司 | 医用3d红外层析成像系统和方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3924171B2 (ja) | 2002-01-21 | 2007-06-06 | 株式会社トーエネック | 監視対象物を識別する監視装置 |
JP4173901B2 (ja) | 2006-05-19 | 2008-10-29 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4173902B2 (ja) * | 2006-05-19 | 2008-10-29 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4995778B2 (ja) | 2008-07-08 | 2012-08-08 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4644273B2 (ja) * | 2008-07-15 | 2011-03-02 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP5502149B2 (ja) * | 2012-06-29 | 2014-05-28 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP2018081071A (ja) | 2016-11-07 | 2018-05-24 | 株式会社アミック | 金属部材の非破壊検査方法 |
US10893243B1 (en) * | 2018-03-07 | 2021-01-12 | Alarm.Com Incorporated | Lawn violation detection |
-
2018
- 2018-04-20 JP JP2018081071A patent/JP7063076B2/ja active Active
-
2019
- 2019-04-02 WO PCT/JP2019/014632 patent/WO2019202969A1/ja active Application Filing
- 2019-04-02 EP EP19788817.5A patent/EP3783563B1/en active Active
- 2019-04-02 CN CN201980004834.0A patent/CN111183454B/zh active Active
-
2020
- 2020-05-28 US US16/886,637 patent/US11227152B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006319534A (ja) * | 2005-05-11 | 2006-11-24 | Fuji Photo Film Co Ltd | 撮影装置および方法並びにプログラム |
JP2007112213A (ja) * | 2005-10-18 | 2007-05-10 | Toyota Motor Corp | 歩行者判定装置 |
CN104573622A (zh) * | 2013-10-09 | 2015-04-29 | 爱信精机株式会社 | 人脸检测装置、方法 |
CN104605813A (zh) * | 2013-11-05 | 2015-05-13 | 南京理工高新技术发展有限公司 | 医用3d红外层析成像系统和方法 |
Non-Patent Citations (2)
Title |
---|
Kevin Mullane.《Enhancing reproducibility: Failures from Reproducibility Initiatives underline core challenges》.《Biochemical Pharmacology》.2017,第7页-第18页. * |
江国泰.《红外面部表情热像图的特征分析》.《生命科学仪器》.2007,(第undefined期),第33页-第36页. * |
Also Published As
Publication number | Publication date |
---|---|
EP3783563A4 (en) | 2021-06-23 |
JP2019191720A (ja) | 2019-10-31 |
CN111183454A (zh) | 2020-05-19 |
EP3783563B1 (en) | 2023-08-23 |
EP3783563A1 (en) | 2021-02-24 |
US20200293768A1 (en) | 2020-09-17 |
WO2019202969A1 (ja) | 2019-10-24 |
US11227152B2 (en) | 2022-01-18 |
JP7063076B2 (ja) | 2022-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102441085B1 (ko) | 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법 | |
CN111183454B (zh) | 识别装置、识别方法及识别程序 | |
US10540777B2 (en) | Object recognition device and object recognition system | |
JP4173902B2 (ja) | 車両周辺監視装置 | |
JP2008123113A (ja) | 歩行者検知装置 | |
JP2007293627A (ja) | 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム | |
WO2019097595A1 (ja) | 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム | |
CN106415662B (zh) | 车辆周围监视装置 | |
US10521679B2 (en) | Human detection device, human detection system, human detection method, and human detection program | |
JP6772059B2 (ja) | 電子制御装置、電子制御システムおよび電子制御方法 | |
JP6077785B2 (ja) | 対象物検出装置及びプログラム | |
JP4765113B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
US11205067B2 (en) | Recognition apparatus, recognition method, and non-transitory computer readable medium | |
US9030560B2 (en) | Apparatus for monitoring surroundings of a vehicle | |
KR102141781B1 (ko) | 지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법 | |
JP2015204021A (ja) | 視線検出装置、視線検出方法 | |
KR102304593B1 (ko) | 시각장애인의 횡단보도 보행을 위한 가이드 장치 및 방법 | |
JP2008040724A (ja) | 画像処理装置、及び画像処理方法 | |
KR20190088154A (ko) | 진입 금지 차선 주행 경보 방법 및 그 장치 | |
JP5907849B2 (ja) | 車両周辺監視装置 | |
CN117984894A (zh) | 驾驶预警方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |