CN114556423A - 物体检测装置、物体检测方法以及物体检测程序 - Google Patents

物体检测装置、物体检测方法以及物体检测程序 Download PDF

Info

Publication number
CN114556423A
CN114556423A CN202080071726.8A CN202080071726A CN114556423A CN 114556423 A CN114556423 A CN 114556423A CN 202080071726 A CN202080071726 A CN 202080071726A CN 114556423 A CN114556423 A CN 114556423A
Authority
CN
China
Prior art keywords
image
object detection
processing mode
fast processing
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080071726.8A
Other languages
English (en)
Inventor
杨尹诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN114556423A publication Critical patent/CN114556423A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

第一物体检测部(30)在非快速处理模式中，从拍摄图像中检测物体，并输出物体位置信息。切换部(20)在由第一物体检测部(30)输出了物体位置信息的情况下，切换为快速处理模式。图像裁剪部(40)在快速处理模式中，基于从第一物体检测部(30)输出的物体位置信息，从拍摄图像中提取裁剪图像。第二物体检测部(60)从裁剪图像中检测物体，并输出物体位置信息。伸出判定部(70)判定由第二物体检测部(60)检测出的物体是否从裁剪图像伸出。切换部(20)在判定为由第二物体检测部(60)检测出的物体从裁剪图像伸出的情况下，切换为非快速处理模式。

Description

物体检测装置、物体检测方法以及物体检测程序
技术领域
本发明涉及从图像中检测物体的技术。
背景技术
通过由搭载于汽车的行车记录仪等相机拍摄汽车周围的影像、并实时地检测其他车辆、行人、障碍物等物体并输出警告，能够有助于避免碰撞事故、人身事故。
在专利文献1中公开了一种被摄体追踪装置，其检测连续获取的图像中包含的被摄体，显示表示追踪被摄体的追踪框，使拍摄者适当地识别被摄体的追踪状态。
在先技术文献
专利文献
专利文献1：日本特开2015-69064号公报。
发明内容
为了避免碰撞事故、人身事故，需要从拍摄图像中实时地准确地检测物体。如果在一般道路上不能至少以15fps(frames per second，每秒传输帧数)的帧率、在快速公路上不能至少以30fps的帧率进行物体检测，则不利于防止事故。在使用深度学习等学习算法进行物体检测处理的情况下，存在在卷积运算上花费非常多的时间、无法进行快速处理的问题。
本发明是鉴于这样的状况而完成的，其目的在于提供一种从图像中快速地检测物体的技术。
为了解决上述问题，本发明的一个方式的物体检测装置包括：第一物体检测部(30)，在非快速处理模式中，从拍摄图像中检测物体，并输出物体位置信息；切换部(20)，在由所述第一物体检测部输出了物体位置信息的情况下，切换为快速处理模式；图像裁剪部(40)在快速处理模式中，基于从第一物体检测部输出的物体位置信息，从所述拍摄图像中提取裁剪图像；第二物体检测部(60)，从所述裁剪图像中检测物体，并输出物体位置信息；以及伸出判定部(70)，判定由所述第二物体检测部检测出的物体是否从所述裁剪图像伸出。在判定为由所述第二物体检测部检测出的物体从所述裁剪图像伸出的情况下，所述切换部(20)切换为非快速处理模式。
本发明的另一方式是物体检测方法。该方法包括：第一物体检测步骤，在非快速处理模式中，从拍摄图像中检测物体，并输出物体位置信息；切换步骤，在由所述第一物体检测步骤输出了物体位置信息的情况下，切换为快速处理模式；图像裁剪步骤，在所述快速处理模式中，基于从第一物体检测步骤输出的物体位置信息，从所述拍摄图像中提取裁剪图像；第二物体检测步骤，从所述裁剪图像中检测物体，并输出物体位置信息；以及伸出判定步骤，判定由所述第二物体检测步骤检测出的物体是否从所述裁剪图像伸出。在判定为由所述第二物体检测步骤检测出的物体从所述裁剪图像伸出的情况下，在所述切换步骤中切换为所述非快速处理模式。
此外，将以上的构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间变换后的方案也作为本发明的方式是有效的。
根据本发明，能够从图像中快速地检测物体。
附图说明
图1是本发明的实施方式涉及的物体检测系统的结构图。
图2是说明由图1的物体检测装置进行的物体检测方法的图。
图3的(a)和图3的(b)是说明与物体的朝向对应的裁剪图像的示例的图。
图4的(a)和图4的(b)是说明物体在移动方向上移动的情况下的裁剪图像的示例的图。
图5的(a)和图5的(b)是说明与物体的相对移动速度对应的裁剪图像的示例的图。
图6是说明裁剪图像的其他示例的图。
图7是说明由实施方式涉及的物体检测装置进行的物体检测方法的流程图。
具体实施方式
图1是本发明的实施方式涉及的物体检测系统的结构图。物体检测系统包括拍摄装置110、物体检测装置100以及显示装置120。拍摄装置110的一个示例是搭载于车辆的行车记录仪等车载相机。显示装置120的一个示例是搭载于车辆的汽车导航系统、平视显示器等车载显示器。物体检测装置100既可以安装为行车记录仪的功能的一部分，也可以安装为汽车导航系统、平视显示器的功能的一部分。另外，也可以将拍摄装置110、物体检测装置100以及显示装置120的全部功能作为一个装置而一体地安装。
物体检测装置100包括图像获取部10、切换部20、第一物体检测部30、图像裁剪部40、分辨率变更部50、第二物体检测部60、伸出判定部70以及物体检测模型存储部80。
拍摄装置110将连续拍摄的图像提供给物体检测装置100的图像获取部10。
切换部20根据快速处理切换标志的值来切换非快速处理模式和快速处理模式。在快速处理切换标志为0的情况下，为非快速处理模式，在快速处理切换标志为1的情况下，为快速处理模式。快速处理切换标志的初始值为0。
在快速处理切换标志为0、即非快速处理模式的情况下，图像获取部10所获取的拍摄图像被提供给第一物体检测部30。在快速处理切换标志为1、即快速处理模式的情况下，图像获取部10所获取的拍摄图像跳过第一物体检测部30而提供给图像裁剪部40。
在非快速处理模式中，第一物体检测部30进行动作，显示装置120基于第一物体检测部30输出的物体位置信息，在拍摄图像上重叠显示物体检测框。
在快速处理模式中，第一物体检测部30不进行动作，使用第一物体检测部30针对过去的图像帧输出的物体位置信息，裁剪部40、分辨率变更部50以及第二物体检测部60针对当前的图像帧图像进行动作，并且显示装置120基于从第二物体检测部60输出的物体位置信息，在拍摄图像上重叠显示物体检测框。
第一物体检测部30以及第二物体检测部60使用学习完毕的物体检测模型，通过深度学习等学习算法从图像中检测物体。第一物体检测部30以及第二物体检测部60也可以通过专用于AI(Artificial Intelligence，人工智能)加速器等神经网络的卷积运算的ASIC(Application Specific Integrated Circuit，专用集成电路)来实现该处理的一部分或者全部。
第一物体检测部30为了从拍摄图像整体中检测物体，使用高分辨率用的物体检测模型，输入高分辨率的拍摄图像来进行卷积运算。作为一个示例，输入到深度学习的卷积运算中的拍摄图像的分辨率是纵向448像素、横向448像素的高分辨率。此外，在拍摄图像的分辨率大于纵向448像素、横向448像素的情况下，第一物体检测部30将拍摄图像的分辨率降低为纵向448像素、横向448像素。由于使用高分辨率的输入数据，因此检测精度非常高，但运算量大，计算花费时间。
第二物体检测部60为了从裁剪于拍摄图像的图像中检测物体，使用中分辨率或低分辨率用的物体检测模型，输入中分辨率或低分辨率的裁剪图像来进行卷积运算。作为一个示例，输入到深度学习的卷积运算中的裁剪图像的分辨率是纵向224像素、横向224像素的中分辨率或纵向112像素、横向112像素的低分辨率。中分辨率用的物体检测模型能够以高分辨率用的物体检测模型的1/4的计算时间进行运算。低分辨率用的物体检测模型能够以高分辨率用的物体检测模型的1/16的计算时间进行运算。因此，由于使用中分辨率或低分辨率的输入数据，所以检测精度稍低，但运算量大幅减少，能够缩短计算时间。
通过组合第一物体检测部30的非快速处理模式和第二物体检测部60的快速处理模式，并根据条件进行切换，能够在保持检测精度的同时，减少运算量而提高计算速度。
在非快速处理模式中，第一物体检测部30使用存储于物体检测模型存储部80的高分辨率用的物体检测模型，从拍摄图像整体中检测物体。第一物体检测部30将从拍摄图像整体中检测出的物体位置信息提供给图像裁剪部40和显示装置120。物体位置信息由包围检测出的物体的框(称为“物体检测框”)的坐标值等来给出。
在第一物体检测部30输出了物体位置信息的情况下，切换部20将快速处理切换标志从0更新为1，切换为快速处理模式。
在快速处理模式中，图像裁剪部40根据从第一物体检测部30给出的物体位置信息，从获取于图像获取部10的拍摄图像中裁剪图像来提取。比包围检测出的物体的物体检测框大地提取裁剪图像。
图像裁剪部40将提取出的裁剪图像提供给分辨率变更部50。分辨率变更部50变更裁剪图像的分辨率。例如，根据裁剪图像的尺寸，降低到纵向224像素、横向224像素的中分辨率、或纵向112像素、横向112像素的低分辨率。在裁剪图像的纵横比为1∶1以外的情况下，分辨率变更部50将裁剪图像的纵横比变更为1∶1。例如，在提取出的裁剪图像为纵向336像素×横向392像素的情况下，将裁剪图像的纵向像素降低2/3而设为224像素，将横向像素减少4/7而设为224像素。在此，作为降低分辨率的方法，使用公知的图像压缩处理技术、像素间拔处理技术即可。
物体检测装置100也可以不一定具备分辨率变更部50。在不具备分辨率变更部50的情况下，第二物体检测部60也可以变更裁剪图像的分辨率。另外，根据物体检测模型的对应的分辨率以及纵横比，也可以不变更裁剪图像的分辨率。例如，在提取出的裁剪图像为纵向224像素×横向224像素的情况下，第二物体检测部60不变更裁剪图像的分辨率而输入到中分辨率用的物体检测模型。
第二物体检测部60使用物体检测模型存储部80中的与裁剪图像的分辨率相应的物体检测模型，从裁剪图像中检测物体。如果裁剪图像为中分辨率，则使用中分辨率用的物体检测模型，如果裁剪图像为低分辨率，则使用低分辨率用的物体检测模型。
第二物体检测部60将从裁剪图像检测出的物体的位置信息提供给显示装置120。物体位置信息由物体检测框的坐标值等来给出。
在非快速处理模式的情况下，显示装置120基于从第一物体检测部30提供的物体位置信息，在拍摄图像上重叠显示物体检测框。在快速处理模式的情况下，显示装置120基于从第二物体检测部60提供的物体位置信息，在拍摄图像上重叠显示物体检测框。
在非快速处理模式的情况下，第一物体检测部30从获取于图像获取部10的高分辨率的拍摄图像整体中检测物体，跳过图像裁剪部40、分辨率变更部50以及第二物体检测部60的处理，第一物体检测部30将物体位置信息提供给显示装置120，在拍摄图像上显示物体检测框。
在快速处理模式的情况下，由于第一物体检测部30不动作，所以使用第一物体检测部30针对过去的图像帧输出的物体位置信息，图像裁剪部40裁剪当前的图像帧，分辨率变更部50降低裁剪图像的分辨率。第二物体检测部60从分辨率降低后的裁剪图像中检测物体并将物体位置信息提供给显示装置120，在拍摄图像上显示物体检测框。
由于使用第一物体检测部30针对过去的图像帧检测出的物体位置信息来裁剪当前的图像帧，所以有时因本车或检测出的物体或其双方移动，检测出的物体从裁剪图像中伸出。
伸出判定部70判定第二物体检测部60从裁剪图像中检测出的物体是否从裁剪图像伸出。例如，第二物体检测部60所生成的物体位置信息表示的物体检测框由于在未伸出的情况下连续拍摄的图像中具有大致固定的纵横比，因此伸出判定部70将物体检测框的纵横比与过去的帧进行比较，通过监视有无变化来判定是否伸出。在物体从裁剪图像伸出的情况下，切换部20将快速处理切换标志从1变更为0。当将快速处理切换标志更新为0时，切换部20切换为非快速处理模式，在下一帧中，第一物体检测部30进行动作而再次从拍摄图像整体检测出物体。
在物体未从裁剪图像伸出的情况下，快速处理切换标志保持1不变，第一物体检测部30继续被跳过，当前的图像帧基于在过去的图像帧中由第一物体检测部30输出的物体位置信息而被裁剪，从降低了分辨率的裁剪图像中由第二物体检测部60检测出物体，并输出物体位置信息。
物体检测模型存储部80存储高分辨率用、中分辨率用、低分辨率用的这三种物体检测模型。此外，物体检测模型存储部80也可以存储被输入四种以上不同分辨率的物体检测模型。输入到物体检测模型的图像的分辨率不限于上述示例。另外，输入到物体检测模型的图像的纵横比不限于如上述示例那样为1∶1。例如，高分辨率用的物体检测模型也可以与纵向2160像素×横向4096像素等具有4K分辨率的图像的输入对应。
图2是说明由图1的物体检测装置100进行的物体检测方法的图。
拍摄图像200是由搭载于本车的行车记录仪等的拍摄装置110拍摄到的前方的图像。在道路上拍摄有两辆对面车辆。
在非快速处理模式中，第一物体检测部30使用高分辨率的物体检测模型210从拍摄图像200整体中检测物体，并生成物体位置信息220。在此，在道路上检测出两辆对面车辆。显示装置120基于由第一物体检测部30检测出的物体位置信息220，在拍摄图像200上重叠显示两辆对面车辆的物体检测框。
在非快速处理模式中，在第一物体检测部30生成了物体位置信息220之后，在下一帧切换为快速处理模式。
在快速处理模式中，图像裁剪部40使用由第一物体检测部30生成的物体位置信息220，从下一帧的拍摄图像230中提取裁剪图像232、234。在此，比物体位置信息220所示的物体检测框大地提取裁剪图像232、234。具体而言，提取将物体位置信息220所示的物体检测框分别向上下左右扩展了几个像素至几十像素的大小的裁剪图像232、234。分辨率变更部50变更裁剪图像232、234的分辨率。远离本车的比较小的物体检测框、即对面车辆的裁剪图像232变更为低分辨率，接近本车的比较大的物体检测框、即对面车辆的裁剪图像234变更为中分辨率。
第二物体检测部60从低分辨率的裁剪图像232、中分辨率的裁剪图像234中，使用与各自的分辨率对应的物体检测模型240来检测物体，并生成物体位置信息250。
由于对面车辆相对于本车的相对位置发生变化，所以两辆对面车辆的位置在各个裁剪图像232、234内变动。由第二物体检测部60提取出的物体位置信息250与由第一物体检测部30提取出的物体位置信息220不同。
显示装置120基于由第二物体检测部60检测出的物体位置信息250，在拍摄图像200上重叠显示两辆对面车辆的物体检测框。
只要两辆对面车辆不从各个裁剪图像232、234伸出，则反复进行快速处理模式，第二物体检测部60从裁剪图像232、234中，使用中分辨率或低分辨率的物体检测模型240来检测物体，并生成物体位置信息250。
若判定为两辆对面车辆的任一个从裁剪图像232、234伸出，则切换为非快速处理模式，第一物体检测部30从拍摄图像200整体中，使用高分辨率的物体检测模型210来检测物体，并生成物体位置信息220。在此，裁剪图像不限于裁剪图像232、234这两个。裁剪图像可以是1个，也可以是3个以上。在任一个裁剪图像数量的情况下，如果判定为裁剪图像伸出了至少一个，则切换为非快速处理模式。
图3的(a)和图3的(b)是说明与物体的朝向对应的裁剪图像的示例的图。虚线表示物体检测框，实线表示裁剪图像。
图3的(a)是拍摄图像中检测到的车辆朝向前方的情况，图3的(b)是检测到的车辆朝向左方的情况。在车辆朝向前方或后方的情况下，车辆在画面上向上方或下方移动的可能性高，但在车辆朝向左方或右方的情况下，车辆在画面上向左或右移动的可能性高。
这样，在拍摄图像中检测到车辆的情况下，根据检测到的车辆的朝向，在画面上车辆移动的方向不同。在图像裁剪部40裁剪拍摄图像时，通过在车辆移动的方向上较大地裁剪，即使车辆移动也能够在裁剪图像内检测，能够长时间持续快速处理模式。
在图3的(a)的情况下，由于车辆朝向前方，因此与物体检测框280相比，裁剪图像282的纵向尺寸被较大地提取。例如，图像裁剪部40提取纵向比横向大几十像素至几百个像素的裁剪图像282。在图3的(b)的情况下，由于车辆朝向侧方，因此与物体检测框284相比，裁剪图像286的横向尺寸被较大地提取。例如，图像裁剪部40提取横向比纵向大几十像素至几百像素的裁剪图像286。
第一物体检测部30根据检测出的物体的位置信息可知物体检测框的形状，因此能够判定检测到的车辆朝向前方或后方还是朝向侧方。例如，如果物体检测框是纵向长的形状，则判定为检测到的车辆朝向前方或后方，如果物体检测框是横向长的形状，则判定为检测到的车辆朝向侧方。第一物体检测部30除了检测出的物体的位置信息之外，也可以将检测出的物体的朝向的信息提供给图像裁剪部40。
图像裁剪部40也可以根据拍摄图像上显示的车体是正面或背面还是侧面来预测车辆的移动方向，并决定裁剪图像的纵横尺寸。或者，图像裁剪部40也可以根据图像帧间的车体的运动来预测车辆的移动方向，并决定裁剪图像的纵横的尺寸。
图4的(a)和图4的(b)是说明物体在移动方向上移动的情况下的裁剪图像的示例的图。
图4的(a)表示在图3的(a)的裁剪图像282内车辆向前方移动的情况。在实线的裁剪图像282内，虚线的物体检测框280向下方向移动。由于将裁剪图像282的纵向尺寸被较大地提取，所以即使车辆向前方移动，物体检测框280也不会从裁剪图像伸出，能够继续快速处理模式。
图4的(b)表示在图3的(b)的裁剪图像286内车辆向左方移动的情况。在实线的裁剪图像286内，虚线的物体检测框284向左方向移动。由于将裁剪图像286的横向尺寸被较大地提取，所以即使车辆向左方移动，物体检测框284也不会从裁剪图像伸出，能够继续快速处理模式。
图5的(a)和图5的(b)是说明与物体的相对移动速度对应的裁剪图像的示例的图。在物体相对于本车的相对移动速度大的情况下，物体在从本车拍摄到的图像内大幅移动。第一物体检测部30所检测的物体的对象不仅可以包括车辆，还可以包括人物等。另外，第一物体检测部30除了检测出的物体的位置信息之外，也可以将检测出的物体是车辆还是人物的信息、道路上的停止板、标识的信息等提供给图像裁剪部40。图像裁剪部40也可以从未图示的速度计等获取本车的速度。
图5的(a)表示检测到在道路上放置停止板而暂时停止的车辆的情况。在前方的其他车辆向与本车相同的方向移动的情况下，其他车辆相对于本车的相对速度变小。但是，在本车接近停止的其他车辆的情况下，其他车相对于本车的相对移动速度变大。因此，图像裁剪部40在判断为本车正在行驶中且检测到的车辆暂时停止的情况下，针对虚线的物体检测框260，将实线的裁剪图像262提取为比图2所示的裁剪图像232、234大，由此在后续的图像帧中检测到的其他车辆不会从裁剪图像262伸出。例如，图像裁剪部40提取将虚线的物体检测框260分别向上下左右扩展了几十像素至几百像素的大小的裁剪图像262。由此，能够继续快速处理而可靠地避免碰撞事故。
图5的(b)表示检测到突然进入道路上的人物的情况。人物的移动速度较小，但在本车速度较大时，人物相对于本车的相对移动速度变大。因此，图像裁剪部40在判断为本车速度较大且检测到人物的情况下，针对虚线的物体检测框270，将实线的裁剪图像272提取为比图2所示的裁剪图像232、234大，由此在后续的图像帧中检测出的儿童不会从裁剪图像272伸出。例如，图像裁剪部40提取将虚线的物体检测框270分别向上下左右扩展了几十像素至几百像素的大小的裁剪图像272。由此，能够继续快速处理而可靠地避免人身事故。
图6是说明裁剪图像的其他示例的图。除了针对在拍摄图像230中检测出的两辆车辆的裁剪图像232、234之外，在拍摄图像230的左右端部设有端部裁剪图像236、238。这是为了从道路的左右突然进入人、车等的情况而具备的。例如，端部裁剪图像236设为在横向上从拍摄图像230的左端起几百像素的范围内。例如，端部裁剪图像238设为在横向上从拍摄图像230的右端起几百像素的范围内。端部裁剪图像236、238的纵向可以设为从拍摄图像230的上端到下端为止的范围，也可以是不包含上端附近或下端附近的范围。
在非快速处理模式中，基于第一物体检测部30检测出的两辆车辆的物体位置信息设定裁剪图像232、234后，在快速处理模式下，从后续的图像帧中切出相同的裁剪图像232、234，在裁剪图像232、234内进行两辆车辆的追踪。但是，在快速处理模式中，由于不会在拍摄图像230整体中检测物体，所以即使在物体突然从左右侵入的情况下也不会检测到物体。因此，图像裁剪部40默认在拍摄图像230的左右端部设置端部裁剪图像236、238，第二物体检测部60在快速处理模式中，在左右端部的端部裁剪图像236、238中也进行物体的检测，伸出判定部70判定是否伸出，由此即使万一在快速处理模式中物体从左右侵入的情况下，也能够防止漏看。
图7是说明由实施方式的物体检测装置100进行的物体检测步骤的流程图。
在初始设定中，快速处理切换标志被初始化为0。
图像获取部10从拍摄装置110获取拍摄图像(S10)。
切换部20基于快速处理切换标志来判定是否为快速处理模式(S20)。
在快速处理切换标志为0的非快速处理模式的情况下(S20的“否”)，第一物体检测部30从拍摄图像整体中检测物体，将物体位置信息提供给显示装置120(S30)，切换部20将快速处理切换标志变更为1(S40)，进入步骤S100。
在快速处理切换标志为1的快速处理模式的情况下(S20的“是”)，执行步骤S50、S60、S70、S80以及S90。
图像裁剪部40基于过去的帧中的第一物体检测部30输出的物体位置信息，从当前的图像帧中提取裁剪图像(S50)。分辨率变更部50根据裁剪图像的尺寸来降低裁剪图像的分辨率(S60)。第二物体检测部60从降低了分辨率的裁剪图像中检测物体，并将物体位置信息提供给显示装置120(S70)。此外，步骤S60也可以不一定执行。在不执行步骤S60而进入步骤S70的情况下，第二物体检测部60从步骤S50中提取到的裁剪图像中检测物体。
伸出判定部70判定由第二物体检测部60检测出的物体是否从裁剪图像伸出(S80)。在检测出的物体从裁剪图像伸出的情况下(S80的“是”)，切换部20将快速处理切换标志变更为0(S90)，进入到步骤S100。在检测出的物体未从裁剪图像伸出的情况下(S80的“否”)，不更新快速处理切换标志，进入到步骤S100。
显示装置120在非快速处理模式的情况下，基于由第一物体检测部30检测到的物体位置信息，在拍摄图像上重叠显示物体检测框，在快速处理模式的情况下，基于由第二物体检测部60检测到的物体位置信息，在拍摄图像上重叠显示物体检测框(S100)。
作为变形例，切换部20也可以在快速处理模式持续了规定的时间的情况下，自动地将快速处理切换标志变更为0，强制地转移到非快速处理模式。在快速处理模式持续了超过规定的时间的情况下，在快速处理模式中，由于不会从拍摄图像整体中检测物体，所以可能漏看物体的突然侵入。每当经过规定的时间时重置快速处理切换标志，转移到非快速处理模式并从拍摄图像整体中检测物体，由此能够避免漏看物体的突然侵入。规定的时间例如可以设为1秒。另外，也可以将规定的时间设为根据快速道路行驶时和一般道路行驶时等行驶条件而可变。
以上说明的物体检测装置100的各种处理当然能够作为使用了CPU(CentralProcessing Unit，中央处理器)、存储器等硬件的装置来实现，也能够通过存储于ROM(ReadOnly Memory，只读储存器)、闪存等的固件、计算机等的软件来实现。将该固件程序、软件程序记录在能够由计算机等读取的记录介质中来提供，也能够通过有线或无线的网络与服务器进行收发，也能够作为地面波或卫星数字广播的数据广播来进行收发。
如上所述，根据本发明的实施方式，代替始终从分辨率较高的拍摄图像中检测物体，而从基于拍摄图像整体中检测出的物体的位置信息来切出的分辨率较低的裁剪图像中检测物体，在物体从裁剪图像伸出的情况下，从分辨率较高的拍摄图像整体中重新检测物体，因此能够在保持检测精度的同时，大幅减少运算量而快速地检测物体。
以上，基于实施方式对本发明进行了说明。本领域技术人员应当理解的是，这些实施方式是示例性的，可以对这些各构成要素、各处理步骤的组合存在各种变形例，并且这些变形例也在本发明的范围内。
产业上的可用性
本发明能够用于从图像中检测物体的技术。
符号说明
10……图像获取部、20……切换部、30……第一物体检测部、40……图像裁剪部、50……分辨率变更部、60……第二物体检测部、70……伸出判定部、80……物体检测模型存储部、100……物体检测装置、110……拍摄装置、120……显示装置。

Claims (7)

1.一种物体检测装置，其特征在于，包括：
第一物体检测部，在非快速处理模式中，从拍摄图像中检测物体，并输出物体位置信息；
切换部，在由所述第一物体检测部输出了物体位置信息的情况下，切换为快速处理模式；
图像裁剪部，在所述快速处理模式中，基于从第一物体检测部输出的物体位置信息，从所述拍摄图像中提取裁剪图像；
第二物体检测部，从所述裁剪图像中检测物体，并输出物体位置信息；以及
伸出判定部，判定由所述第二物体检测部检测出的物体是否从所述裁剪图像伸出，
其中，在判定为由所述第二物体检测部检测出的物体从所述裁剪图像伸出的情况下，所述切换部切换为所述非快速处理模式。
2.根据权利要求1所述的物体检测装置，其特征在于，
所述图像裁剪部默认在所述拍摄图像的左右端部设置端部裁剪图像。
3.根据权利要求1或2所述的物体检测装置，其特征在于，
在所述快速处理模式中经过了规定时间的情况下，所述切换部强制切换为非快速处理模式。
4.根据权利要求1至3中任一项所述的物体检测装置，其特征在于，
所述图像裁剪部根据由所述第一物体检测部检测出的物体的移动方向来决定所述裁剪图像的纵向或横向的尺寸。
5.根据权利要求1至4中任一项所述的物体检测装置，其特征在于，
所述拍摄图像是通过搭载在车辆上的拍摄装置拍摄的图像，
所述图像裁剪部根据由所述第一物体检测部检测出的物体相对于所述车辆的相对移动速度来决定所述裁剪图像的尺寸。
6.一种物体检测方法，其特征在于，包括：
第一物体检测步骤，在非快速处理模式中，从拍摄图像中检测物体，并输出物体位置信息；
切换步骤，在由所述第一物体检测步骤输出了物体位置信息的情况下，切换为快速处理模式；
图像裁剪步骤，在所述快速处理模式中，基于从第一物体检测步骤输出的物体位置信息，从所述拍摄图像中提取裁剪图像；
第二物体检测步骤，从所述裁剪图像中检测物体，并输出物体位置信息；以及
伸出判定步骤，判定由所述第二物体检测步骤检测出的物体是否从所述裁剪图像伸出，
其中，在判定为由所述第二物体检测步骤检测出的物体从所述裁剪图像伸出的情况下，在所述切换步骤中切换为所述非快速处理模式。
7.一种物体检测程序，其特征在于，使计算机执行：
第一物体检测步骤，在非快速处理模式中，从拍摄图像中检测物体，并输出物体位置信息；
切换步骤，在由所述第一物体检测步骤输出了物体位置信息的情况下，切换为快速处理模式；
图像裁剪步骤，在所述快速处理模式中，基于从第一物体检测步骤输出的物体位置信息，从所述拍摄图像中提取裁剪图像；
第二物体检测步骤，从所述裁剪图像中检测物体，并输出物体位置信息；以及
伸出判定步骤，判定由所述第二物体检测步骤检测出的物体是否从所述裁剪图像伸出，
其中，在判定为由所述第二物体检测步骤检测出的物体从所述裁剪图像伸出的情况下，在所述切换步骤中切换为所述非快速处理模式。
CN202080071726.8A 2019-11-01 2020-07-22 物体检测装置、物体检测方法以及物体检测程序 Pending CN114556423A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019199782A JP7354773B2 (ja) 2019-11-01 2019-11-01 物体検出装置、物体検出方法、及び物体検出プログラム
JP2019-199782 2019-11-01
PCT/JP2020/028495 WO2021084818A1 (ja) 2019-11-01 2020-07-22 物体検出装置、物体検出方法、及び物体検出プログラム

Publications (1)

Publication Number Publication Date
CN114556423A true CN114556423A (zh) 2022-05-27

Family

ID=75713473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080071726.8A Pending CN114556423A (zh) 2019-11-01 2020-07-22 物体检测装置、物体检测方法以及物体检测程序

Country Status (5)

Country Link
US (1) US20220254167A1 (zh)
EP (1) EP4054183A4 (zh)
JP (1) JP7354773B2 (zh)
CN (1) CN114556423A (zh)
WO (1) WO2021084818A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115812309A (zh) * 2020-06-12 2023-03-17 佳能株式会社 图像处理设备及其控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
JP2007025739A (ja) * 2005-07-12 2007-02-01 Alpine Electronics Inc 車両用画像表示装置
JP5643552B2 (ja) * 2010-06-28 2014-12-17 キヤノン株式会社 撮像装置
JP6330283B2 (ja) 2013-09-30 2018-05-30 株式会社ニコン 被写体追尾装置、撮像装置及び被写体追尾プログラム
JP6027560B2 (ja) * 2014-02-18 2016-11-16 富士フイルム株式会社 自動追尾撮像装置
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
US20190145765A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Three Dimensional Object Detection
US10575699B2 (en) * 2018-01-05 2020-03-03 Irobot Corporation System for spot cleaning by a mobile robot
CN108520247B (zh) * 2018-04-16 2020-04-28 腾讯科技（深圳）有限公司 对图像中的对象节点的识别方法、装置、终端及可读介质

Also Published As

Publication number Publication date
EP4054183A1 (en) 2022-09-07
JP2021072592A (ja) 2021-05-06
US20220254167A1 (en) 2022-08-11
JP7354773B2 (ja) 2023-10-03
EP4054183A4 (en) 2022-12-28
WO2021084818A1 (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
US9773176B2 (en) Image processing apparatus and image processing method
EP1722332B1 (en) Apparatus and method for image processing
JP6081570B2 (ja) 運転支援装置、および画像処理プログラム
US8050459B2 (en) System and method for detecting pedestrians
CN111699680B (zh) 行车记录仪、显示控制方法以及存储介质
WO2010058821A1 (ja) 接近物体検知システム
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
EP2487907A1 (en) Vehicle peripheral monitoring device
US20210331680A1 (en) Vehicle driving assistance apparatus
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
JP5915923B2 (ja) 画像処理装置及び運転支援システム
JP6152261B2 (ja) 車載用駐車枠認識装置
JP2010081245A (ja) 車両用表示装置および表示方法
KR101428094B1 (ko) 차선이 표시된 측방/후방 영상 제공 시스템
EP3635684B1 (en) Pyramidal optical flow tracker improvement
CN114556423A (zh) 物体检测装置、物体检测方法以及物体检测程序
US20220408062A1 (en) Display control apparatus, display control method, and program
CN113614810A (zh) 图像处理装置、车辆控制装置、方法和程序
US20190068898A1 (en) Display control device which controls video extraction range
JP2015011665A (ja) 走行路面標示検知装置および走行路面標示検知方法
JP6187322B2 (ja) 画像表示装置、画像表示システム
JP2022142515A (ja) 移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム
JP2011095846A (ja) 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム
CN113994663A (zh) 立体图像处理装置及立体图像处理方法
JP2024007203A (ja) カメラシステムおよびその制御方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination