CN112183461A - 一种车辆内部监控方法、装置、设备及存储介质 - Google Patents

一种车辆内部监控方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112183461A
CN112183461A CN202011134273.7A CN202011134273A CN112183461A CN 112183461 A CN112183461 A CN 112183461A CN 202011134273 A CN202011134273 A CN 202011134273A CN 112183461 A CN112183461 A CN 112183461A
Authority
CN
China
Prior art keywords
vehicle
candidate
feature map
target object
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011134273.7A
Other languages
English (en)
Inventor
胡文祥
宋鑫
李郁
刘麒
庞洲兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jinghua Precision Optics Co ltd
Original Assignee
Guangzhou Jinghua Precision Optics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jinghua Precision Optics Co ltd filed Critical Guangzhou Jinghua Precision Optics Co ltd
Priority to CN202011134273.7A priority Critical patent/CN112183461A/zh
Publication of CN112183461A publication Critical patent/CN112183461A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆内部监控方法、装置、设备及存储介质。方法包括：获取红外摄像头在夜间采集的车内图像，从所述车内图像中提取出特征图，从所述特征图中确定包括检测对象的候选区域，确定所述候选区域中的目标对象，所述检测对象包括所述目标对象，将所述目标对象的信息发送给车主的移动终端。通过红外摄像头可以在车内光线较暗的情况下，拍摄清晰的车内图像。对车内图像进行检测和识别，当确定存在目标对象时，将目标对象的信息发送给车主的移动终端，避免不必要的损失，以及避免被困人员长期被困造成伤害。

Description

一种车辆内部监控方法、装置、设备及存储介质
技术领域
本发明实施例涉及智能汽车技术领域，尤其涉及一种车辆内部监控方法、装置、设备及存储介质。
背景技术
随着智能汽车技术不断发展，用户对汽车安全的意识越来越重视，以及对智能汽车便捷性有很大的需求，因此通过摄像头，人脸识别等创新技术实现方便、安全的功能是必然趋势。
传统车内监控只是记录车内状况，而且要求车内光线充足的情况下才可以清晰记录。当车内光线较暗，例如夜晚时，不能清晰地记录车内的情况。此外，当车辆内出现人员(特别是小孩)被困或物品遗失时，车主不能及时发现，给车主造成损失，或危及被困人员的生命安全。
发明内容
本发明提供一种车辆内部监控方法、装置、设备及存储介质，及时通知车主车内的遗失物品和被困人员，降低车主的损失，以及避免车内被困人员受到伤害。
第一方面，本发明实施例提供了一种车辆内部监控方法，包括：
获取红外摄像头在夜间采集的车内图像；
从所述车内图像中提取出特征图；
从所述特征图中确定包括检测对象的候选区域；
确定所述候选区域中的目标对象，所述检测对象包括所述目标对象；
将所述目标对象的信息发送给车主的移动终端。
可选的，从所述车内图像中提取出特征图，包括：
将所述车内图像输入预置的卷积神经网络中进行处理，得到所述车内图像的特征图。
可选的，从所述特征图中确定包括检测对象的候选区域，包括：
将所述特征图输入预置的区域候选网络中进行处理，确定所述特征图中的候选区域。
可选的，将所述特征图输入预置的区域候选网络中进行处理，包括：
针对所述特征图中的每一元素，生成以所述元素为中心点的多个不同尺度的锚框；
从多个不同尺度的锚框中确定包括检测对象的目标锚框；
对所述目标锚框进行平移和缩放处理，得到候选区域，所述检测对象完全位于所述候选区域内。
可选的，从多个不同尺度的锚框中确定包括检测对象的目标锚框，包括：
将所述锚框中的特征输入预置的第一分类器中，得到所述锚框包括检测对象的第一概率值；
将所述第一概率值与第一预设值进行比较；
当所述第一概率值大于或等于第一预设值时，确定所述锚框为包括检测对象的目标锚框。
可选的，确定所述候选区域中的目标对象，包括：
从所述候选区域中提取出候选特征图；
将所述候选特征图输入预置的全连接网络中进行处理，得到全连接特征；
将所述全连接特征输入预置的第二分类器中，得到所述候选区域包括目标对象的第二概率值；
将所述第二概率值与第二预设值进行比较；
当所述第二概率值大于或等于第二预设值时，确定所述候选区域中的目标对象。
可选的，从所述候选区域中提取出候选特征图，包括：
将所述候选区域映射到所述特征图中相应的位置，得到映射区域；
将所述映射区域划分为a×b个子区域；
对所述子区域做最大池化操作，得到候选特征图。
第二方面，本发明实施例还提供了一种车辆内部监控装置，该装置包括：
图像获取模块，用于获取红外摄像头在夜间采集的车内图像；
特征图提取模块，用于从所述车内图像中提取出特征图；
候选区域确定模块，用于从所述特征图中确定包括检测对象的候选区域；
目标对象确定模块，用于确定所述候选区域中的目标对象，所述检测对象包括所述目标对象；
信息发送模块，用于将所述目标对象的信息发送给车主的移动终端。
可选的，特征图提取模块包括：
特征图提取单元，用于将所述车内图像输入预置的卷积神经网络中进行处理，得到所述车内图像的特征图。
可选的，候选区域确定模块包括：
候选区域确定子模块，用于将所述特征图输入预置的区域候选网络中进行处理，确定所述特征图中的候选区域。
可选的，候选区域确定子模块包括：
锚框生成单元，用于针对所述特征图中的每一元素，生成以所述元素为中心点的多个不同尺度的锚框；
目标锚框确定单元，用于从多个不同尺度的锚框中确定包括检测对象的目标锚框；
平移缩放单元，用于对所述目标锚框进行平移和缩放处理，得到候选区域，所述检测对象完全位于所述候选区域内。
可选的，目标锚框确定单元包括：
概率值获取子单元，用于将所述锚框中的特征输入预置的第一分类器中，得到所述锚框包括检测对象的第一概率值；
比较子单元，用于将所述第一概率值与第一预设值进行比较；
目标锚框确定子单元，用于当所述第一概率值大于或等于第一预设值时，确定所述锚框为包括检测对象的目标锚框。
可选的，目标对象确定模块包括：
候选特征图提取子模块，用于从所述候选区域中提取出候选特征图；
全连接特征提取子模块，用于将所述候选特征图输入预置的全连接网络中进行处理，得到全连接特征；
概率值获取子模块，用于将所述全连接特征输入预置的第二分类器中，得到所述候选区域包括目标对象的第二概率值；
比较子模块，用于将所述第二概率值与第二预设值进行比较；
目标对象确定子模块，用于当所述第二概率值大于或等于第二预设值时，确定所述候选区域中的目标对象。
可选的，候选特征图提取子模块包括：
映射单元，用于将所述候选区域映射到所述特征图中相应的位置，得到映射区域；
区域划分单元，用于将所述映射区域划分为a×b个子区域；
池化操作单元，用于对所述子区域做最大池化操作，得到候选特征图。
第三方面，本发明实施例还提供了一种计算机设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面提供的车辆内部监控方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面提供的车辆内部监控方法。
本发明实施例提供的车辆内部监控方法，包括：获取红外摄像头在夜间采集的车内图像，从车内图像中提取出特征图，从特征图中确定包括检测对象的候选区域，确定候选区域中的目标对象，检测对象包括目标对象，将目标对象的信息发送给车主的移动终端。通过红外摄像头可以在车内光线较暗的情况下，拍摄清晰的车内图像。对车内图像进行检测和识别，当确定存在目标对象时，将目标对象的信息发送给车主的移动终端，避免不必要的损失，以及避免被困人员长期被困造成伤害。
附图说明
图1为本发明实施例一提供的一种车辆内部监控方法的流程图；
图2A是本发明实施例二提供的一种车辆内部监控方法的流程图；
图2B为本发明实施例提供的一种卷积神经网络的结构示意图；
图2C为本发明实施例提供的一种区域候选网络的结构示意图；
图2D为本发明实施例提供的一种分类网络的结构示意图；
图3为本发明实施例提供的一种车辆内部监控装置的结构示意图；
图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种车辆内部监控方法的流程图，本实施例可适用于在车内光线较暗时对车内进行监控的情况，该方法可以由本发明实施例提供的车辆内部监控装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于计算机设备中，该计算机设备可以是远程服务器，如图1所示，该方法具体包括如下步骤：
S101、获取红外摄像头在夜间采集的车内图像。
具体的，红外摄像头可以设置在汽车内部，可以是一个或多个，尽可能地将车内的全部区域都纳入红外摄像头的拍摄范围内。红外摄像头可以在车内光线较暗的情况下，拍摄清晰的车内图像。
在本发明的一些实施例中，红外摄像头可以通过红外线滤光片实现日夜转换，即在白天时打开滤光片，以阻挡红外线进入光感应器，让光感应器只能感应到可见光，夜晚或光照条件不好的状态下，滤光片停止工作，不再阻挡红外线进入光感应器，红外线经物体反射后进入镜头进行成像。如此，在白天和夜晚均能实现对车内进行监控。
S102、从车内图像中提取出特征图。
具体的，对车内图像进行图像处理，例如卷积、池化等操作，从车内图像中提取出用于表征该车内图像的特征的特征图。
S103、从特征图中确定包括检测对象的候选区域。
具体的，在本发明的一些实施例中，通过在特征图上生成检测框，并对检测框内的内容进行检测，确定检测框内是否包括检测对象。检测对象图像检测领域中常见的对象，例如，COCO数据集中常见的80类物体。当检测框内包括检测对象时(只知道有检测对象，但不知道具体的类别)，该检测框选中的区域即为候选区域。
S104、确定候选区域中的目标对象，检测对象包括目标对象。
具体的，目标对象为车主设定的需要关注的对象，例如，钥匙、衣服、电脑、钱包、人和宠物等。对候选区域内的内容进行识别，确定检测对象的种类，并识别出目标对象。
S105、将目标对象的信息发送给车主的移动终端。
具体的，在确定目标对象后，将目标对象的信息发送给车主的移动终端。该移动终端可以是智能手机、平板电脑等可以联网的便携式电子设备。例如，当检测到目标对象为钱包时，向车主的移动终端发送“钱包遗忘在车内”的信息，以提醒车主及时取回钱包，避免不必要的损失。当检测到目标对象为小孩时，向车主的移动终端发送“小孩被困在车内”的信息，以提醒车主及时解救被困的小孩，避免对小孩造成伤害。
本发明实施例提供的车辆内部监控方法，包括：获取红外摄像头在夜间采集的车内图像，从车内图像中提取出特征图，从特征图中确定包括检测对象的候选区域，确定候选区域中的目标对象，检测对象包括目标对象，将目标对象的信息发送给车主的移动终端。通过红外摄像头可以在车内光线较暗的情况下，拍摄清晰的车内图像。对车内图像进行检测和识别，当确定存在目标对象时，将目标对象的信息发送给车主的移动终端，避免不必要的损失，以及避免被困人员长期被困造成伤害。
实施例二
图2A是本发明实施例二提供的一种车辆内部监控方法的流程图，本实施例在上述实施例一的基础上进行细化，详细描述了候选区域的确定过程和目标对象的确定过程，如图2A所示，该方法包括：
S201、获取红外摄像头在夜间采集的车内图像。
具体的，红外摄像头可以设置在汽车内部，可以是一个或多个，尽可能地将车内的全部区域都纳入红外摄像头的拍摄范围内。红外摄像头可以在车内光线较暗的情况下，拍摄清晰的车内图像。
在本发明的一些实施例中，红外摄像头可以通过红外线滤光片实现日夜转换，即在白天时打开滤光片，以阻挡红外线进入光感应器，让光感应器只能感应到可见光，夜晚或光照条件不好的状态下，滤光片停止工作，不再阻挡红外线进入光感应器，红外线经物体反射后进入镜头进行成像。如此，在白天和夜晚均能实现对车内进行监控。
在本发明的一些实施例中，在采集到车内图像后，可以对车内图像进行预处理，例如，修改图像尺寸，使其符合卷积神经网络的输入尺寸要求。
S202、将车内图像输入预置的卷积神经网络中进行处理，得到车内图像的特征图。
具体的，卷积神经网络可以包括多个卷积层、多个激活函数层、多个池化操作层。图2B为本发明实施例提供的一种卷积神经网络的结构示意图，示例性的，如图2B所示，在本发明其中一实施例中，卷积神经网络包括13个卷积层、13个激活函数层和4个池化操作层。
各卷积层的卷积核大小为3，步长为1。池化操作层的池化窗口为2，步长为2。池化操作可以是最大池化操作，最大池化操作即在池化窗口内选取的局部区域内的最大的一个数来代表该片区域，保留最大特征。池化是为了减少训练参数的数量，降低卷积层输出的特征的维度，减小过拟合现象，只保留最有用的特征信息，减少噪声的传递。在本发明其他实施例中，各池化操作层也可以进行平均池化操作，本发明实施例在此不做限定。
各激活函数层的激活函数为ReLu函数，ReLU函数的表达式为：
f(x)＝max(0,x)
当输入为负数时，则完全不激活，ReLU函数死掉。ReLU函数输出要么是0，要么是正数。ReLU可以克服梯度消失的问题，加快训练速度。需要说明的是，在本发明的其他实施例中，图卷积层中的激活函数也可以是其他激活函数，例如，Sigmoid函数或Tanh函数，本发明实施例在此不做限定。
在整个卷积神经网络中，卷积层和激活函数层不改变输入输出大小，只有池化操作层使输出长宽都变为输入的1/2。那么，一个M×N大小的矩阵经过卷积神经网络后，输出尺寸大小为(M/16)×(N/16)的特征图(Feature Map)。
需要说明的是，在本发明其他实施例中，卷积神经网络也可以残差网络(ResNet)或VGG网络等，本发明实施例在此不做限定。
S203、将特征图输入预置的区域候选网络中进行处理，确定特征图中的候选区域。
具体的，将特征图输入预置的区域候选网络(Region Proposal Networks)中进行处理，得到特征图中包括检测对象的候选区域(Region of Interest，RoI)。
具体的，上述步骤S203可以包括如下子步骤：
S2031、针对特征图中的每一元素，生成以元素为中心点的多个不同尺度的锚框。
具体的，针对特征图中的每一元素，生成以该元素为中心点的9个不同尺度的锚框(anchors)，锚框的矩阵表达为[x，y，w，h]，其中，x，y为锚框中心点的位置坐标，w，h为锚框的宽和高。
图2C为本发明实施例提供的一种区域候选网络的结构示意图，如图2C所示，对尺寸大小为(M/16)×(N/16)的特征图进行1×1的卷积操作，输出图像尺寸为(M/16)×(N/16)×18，这也就刚好对应了特征图中每一个元素都有9个锚框。
S2032、从多个不同尺度的锚框中确定包括检测对象的目标锚框。
对上述步骤中得到的每一个锚框进行目标检测，确定锚框中是否包含有检测对象。当锚框内包括检测对象时(只知道有检测对象，但不知道具体的类别)，该锚框即为包括检测对象的目标锚框。
具体的，确定包括检测对象的目标锚框的过程如下：
1、将锚框中的特征输入预置的第一分类器中，得到锚框包括检测对象的第一概率值。
如图2C所示，将锚框中的特征输入预置的第一分类器中，即将特征图经1×1卷积后的输出图像输入第一分类器中。第一分类器可以是Softmax分类器，Softmax分类器的分类函数是Softmax函数。在机器学习尤其是深度学习中，Softmax函数是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。在本发明实施例中，Softmax函数把输入的特征映射为第一概率值为0-1之间的实数并输出。
2、将第一概率值与第一预设值进行比较。
具体的，将得到的第一概率值与第一预设值(例如0.5)进行比较。
3、当第一概率值大于或等于第一预设值时，确定锚框为包括检测对象的目标锚框。
具体的，当第一概率值大于或等于第一预设值时，确定锚框中包括检测对象，该锚框为包括检测对象的目标锚框。当第一概率值小于第一预设值时，确定锚框中不包括检测对象，该锚框为非目标锚框。
S2033、对目标锚框进行平移和缩放处理，得到候选区域，检测对象完全位于候选区域内。
具体的，如图2C所示，对尺寸大小为(M/16)×(N/16)的特征图进行1×1的卷积操作，输出图像尺寸为(M/16)×(N/16)×36，存储为[1,4x9,H,W]，相当于特征图的每个元素都有9个锚框，每个锚框又都有4个用于回归的变换量[dx,dy,dh,dw]。变换量dx,dy为对目标锚框的中心点进行平移的偏移量，变换量dh,dw为对目标锚框的宽和高进行缩放的缩放量。Proposal层用于综合所有变换量和目标锚框，并对目标锚框进行平移和缩放，得到精准的候选区域，使得检测对象尽可能完全位于候选区域内。
S204、确定候选区域中的目标对象。
具体的，对上述步骤中得到的每一个锚框进行目标识别，确定锚框中是否包含有目标对象，例如，钥匙、衣服、电脑、钱包、人和宠物。
具体的，确定候选区域中的目标对象的过程如下：
1、从候选区域中提取出候选特征图。
具体的，从候选区域中提取出具有固定尺寸的候选特征图，使其符合全连接网络的输入尺寸要求。
图2D为本发明实施例提供的一种分类网络的结构示意图，如图2D所示，RoIPooling层用于接收区域候选网络输出的候选区域，并将候选区域映射到特征图中相应的位置，得到映射区域，接着将映射区域划分为a×b个子区域，然后对子区域做最大池化操作，得到尺寸为a×b的候选特征图。
2、将候选特征图输入预置的全连接网络中进行处理，得到全连接特征。
具体的，如图2D所示，将RoI Pooling层输出的候选特征图输入全连接网络中进行处理，得到全连接特征。具体的，在本发明实施例中，全连接网络包括两个间隔的全连接层和两个间隔的激活函数层。
3、将全连接特征输入预置的第二分类器中，得到候选区域包括目标对象的第二概率值。
具体的，将全连接网络输出的全连接特征输入第二分类器，第二分类器可以是Softmax分类器，Softmax分类器的分类函数是Softmax函数。在本发明实施例中，Softmax函数把输入的特征映射为多个第二概率值，形成一个概率向量。概率向量中的数值代表目标对象为某一种类的概率。
4、将第二概率值与第二预设值进行比较。
具体的，将得到的概率向量中的每一个第二概率值均与第二预设值(例如0.8)进行比较。
5、当第二概率值大于或等于第二预设值时，确定所述候选区域中的目标对象。
具体的，当某一第二概率值大于或等于第二预设值时，确定候选区域中的目标对象为该第二概率值对应的目标对象的种类。例如，概率向量为[0.1，0.2，0.1，0.3，0.4，0.2，0.9，0.1，0.3]，则确定候选区域中的目标对象为概率向量中所在0.9所在位置对应的种类，例如，钱包。
S205、将目标对象的信息发送给车主的移动终端。
具体的，在确定目标对象后，将目标对象的信息发送给车主的移动终端。该移动终端可以是智能手机、平板电脑等可以联网的便携式电子设备。例如，当检测到目标对象为钱包时，向车主的移动终端发送“钱包遗忘在车内”的信息，以提醒车主及时取回钱包，避免不必要的损失。当检测到目标对象为小孩时，向车主的移动终端发送“小孩被困在车内”的信息，以提醒车主及时解救被困的小孩，避免对小孩造成伤害。
本发明实施例提供的车辆内部监控方法，通过红外摄像头可以在车内光线较暗的情况下，拍摄清晰的车内图像。对车内图像进行检测和识别，当确定存在目标对象时，将目标对象的信息发送给车主的移动终端，避免不必要的损失，以及避免被困人员长期被困造成伤害。此外，通过卷积神经网络与区域候选网络结合的方式，提高了目标对象的检测和识别效率以及准确度。
实施例三
图3为本发明实施例提供的一种车辆内部监控装置的结构示意图，如图3所示，该装置包括：
图像获取模块301，用于获取红外摄像头在夜间采集的车内图像；
特征图提取模块302，用于从所述车内图像中提取出特征图；
候选区域确定模块303，用于从所述特征图中确定包括检测对象的候选区域；
目标对象确定模块304，用于确定所述候选区域中的目标对象，所述检测对象包括所述目标对象；
信息发送模块305，用于将所述目标对象的信息发送给车主的移动终端。
在本发明的一些实施例中，特征图提取模块302包括：
特征图提取单元，用于将所述车内图像输入预置的卷积神经网络中进行处理，得到所述车内图像的特征图。
可选的，候选区域确定模块303包括：
候选区域确定子模块，用于将所述特征图输入预置的区域候选网络中进行处理，确定所述特征图中的候选区域。
可选的，候选区域确定子模块包括：
锚框生成单元，用于针对所述特征图中的每一元素，生成以所述元素为中心点的多个不同尺度的锚框；
目标锚框确定单元，用于从多个不同尺度的锚框中确定包括检测对象的目标锚框；
平移缩放单元，用于对所述目标锚框进行平移和缩放处理，得到候选区域，所述检测对象完全位于所述候选区域内。
可选的，目标锚框确定单元包括：
概率值获取子单元，用于将所述锚框中的特征输入预置的第一分类器中，得到所述锚框包括检测对象的第一概率值；
比较子单元，用于将所述第一概率值与第一预设值进行比较；
目标锚框确定子单元，用于当所述第一概率值大于或等于第一预设值时，确定所述锚框为包括检测对象的目标锚框。
可选的，目标对象确定模块304包括：
候选特征图提取子模块，用于从所述候选区域中提取出候选特征图；
全连接特征提取子模块，用于将所述候选特征图输入预置的全连接网络中进行处理，得到全连接特征；
概率值获取子模块，用于将所述全连接特征输入预置的第二分类器中，得到所述候选区域包括目标对象的第二概率值；
比较子模块，用于将所述第二概率值与第二预设值进行比较；
目标对象确定子模块，用于当所述第二概率值大于或等于第二预设值时，确定所述候选区域中的目标对象。
可选的，候选特征图提取子模块包括：
映射单元，用于将所述候选区域映射到所述特征图中相应的位置，得到映射区域；
区域划分单元，用于将所述映射区域划分为a×b个子区域；
池化操作单元，用于对所述子区域做最大池化操作，得到候选特征图。
上述车辆内部监控装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例四
本发明实施例四提供了一种计算机设备，该计算机设备可以搭载在车辆上，或者作为服务器设置于远程端，图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括：
处理器401、存储器402、通信模块403、输入装置404和输出装置405；计算机设备中处理器401的数量可以是一个或多个，图4中以一个处理器401为例；计算机设备中的处理器401、存储器402、通信模块403、输入装置404和输出装置405可以通过总线或其他方式连接，图4中以通过总线连接为例。上述处理器401、存储器402、通信模块403、输入装置404和输出装置405可以集成在计算机设备上。
存储器402作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如上述实施例中的智能汽车开门方法对应的模块。处理器401通过运行存储在存储器402中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的车辆内部监控方法。
存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据微型计算机的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器402可进一步包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块403，用于与外界设备(例如智能终端)建立连接，并实现与外界设备的数据交互。输入装置404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键信号输入。
本实施例提供的计算机设备，可执行本发明实施例一、二提供的车辆内部监控方法，具有相应的功能和有益效果。
实施例五
本发明实施例五提供了一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明上述任意实施例提供的车辆内部监控方法。
该方法包括：
获取红外摄像头在夜间采集的车内图像；
从所述车内图像中提取出特征图；
从所述特征图中确定包括检测对象的候选区域；
确定所述候选区域中的目标对象，所述检测对象包括所述目标对象；
将所述目标对象的信息发送给车主的移动终端。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明实施例所提供的车辆内部监控方法中的相关操作。
需要说明的是，对于装置、智能汽车和存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得智能汽车执行本发明任意实施例所述的车辆内部监控方法。
值得注意的是，上述装置中，所包括的各个模块和单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种车辆内部监控方法，其特征在于，包括：
获取红外摄像头在夜间采集的车内图像；
从所述车内图像中提取出特征图；
从所述特征图中确定包括检测对象的候选区域；
确定所述候选区域中的目标对象，所述检测对象包括所述目标对象；
将所述目标对象的信息发送给车主的移动终端。
2.根据权利要求1所述的车辆内部监控方法，其特征在于，从所述车内图像中提取出特征图，包括：
将所述车内图像输入预置的卷积神经网络中进行处理，得到所述车内图像的特征图。
3.根据权利要求1所述的车辆内部监控方法，其特征在于，从所述特征图中确定包括检测对象的候选区域，包括：
将所述特征图输入预置的区域候选网络中进行处理，确定所述特征图中的候选区域。
4.根据权利要求3所述的车辆内部监控方法，其特征在于，将所述特征图输入预置的区域候选网络中进行处理，包括：
针对所述特征图中的每一元素，生成以所述元素为中心点的多个不同尺度的锚框；
从多个不同尺度的锚框中确定包括检测对象的目标锚框；
对所述目标锚框进行平移和缩放处理，得到候选区域，所述检测对象完全位于所述候选区域内。
5.根据权利要求4所述的车辆内部监控方法，其特征在于，从多个不同尺度的锚框中确定包括检测对象的目标锚框，包括：
将所述锚框中的特征输入预置的第一分类器中，得到所述锚框包括检测对象的第一概率值；
将所述第一概率值与第一预设值进行比较；
当所述第一概率值大于或等于第一预设值时，确定所述锚框为包括检测对象的目标锚框。
6.根据权利要求1-5任一所述的车辆内部监控方法，其特征在于，确定所述候选区域中的目标对象，包括：
从所述候选区域中提取出候选特征图；
将所述候选特征图输入预置的全连接网络中进行处理，得到全连接特征；
将所述全连接特征输入预置的第二分类器中，得到所述候选区域包括目标对象的第二概率值；
将所述第二概率值与第二预设值进行比较；
当所述第二概率值大于或等于第二预设值时，确定所述候选区域中的目标对象。
7.根据权利要求6所述的车辆内部监控方法，其特征在于，从所述候选区域中提取出候选特征图，包括：
将所述候选区域映射到所述特征图中相应的位置，得到映射区域；
将所述映射区域划分为a×b个子区域；
对所述子区域做最大池化操作，得到候选特征图。
8.一种车辆内部监控装置，其特征在于，包括：
图像获取模块，用于获取红外摄像头在夜间采集的车内图像；
特征图提取模块，用于从所述车内图像中提取出特征图；
候选区域确定模块，用于从所述特征图中确定包括检测对象的候选区域；
目标对象确定模块，用于确定所述候选区域中的目标对象，所述检测对象包括所述目标对象；
信息发送模块，用于将所述目标对象的信息发送给车主的移动终端。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的车辆内部监控方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的车辆内部监控方法。
CN202011134273.7A 2020-10-21 2020-10-21 一种车辆内部监控方法、装置、设备及存储介质 Pending CN112183461A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011134273.7A CN112183461A (zh) 2020-10-21 2020-10-21 一种车辆内部监控方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011134273.7A CN112183461A (zh) 2020-10-21 2020-10-21 一种车辆内部监控方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112183461A true CN112183461A (zh) 2021-01-05

Family

ID=73922114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011134273.7A Pending CN112183461A (zh) 2020-10-21 2020-10-21 一种车辆内部监控方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112183461A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165645A (zh) * 2018-08-01 2019-01-08 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及相关设备
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测系统
CN109766804A (zh) * 2018-12-28 2019-05-17 百度在线网络技术（北京）有限公司 基于车载场景的物品识别方法、装置、设备和存储介质
CN110084175A (zh) * 2019-04-23 2019-08-02 普联技术有限公司 一种目标检测方法、目标检测装置及电子设备
CN110188689A (zh) * 2019-05-30 2019-08-30 重庆大学 基于真实场景建模的虚拟驾驶目标碰撞检测方法
CN110674696A (zh) * 2019-08-28 2020-01-10 珠海格力电器股份有限公司 一种监控方法、装置、系统、监控设备及可读存储介质
CN111428604A (zh) * 2020-03-19 2020-07-17 上海东普信息科技有限公司 面部佩戴口罩识别方法、装置、设备及存储介质
CN111540203A (zh) * 2020-04-30 2020-08-14 东华大学 基于Faster-RCNN调节绿灯通行时间的方法
CN111652140A (zh) * 2020-06-03 2020-09-11 广东小天才科技有限公司 基于深度学习的题目精准分割方法、装置、设备和介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测系统
CN109165645A (zh) * 2018-08-01 2019-01-08 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及相关设备
CN109766804A (zh) * 2018-12-28 2019-05-17 百度在线网络技术（北京）有限公司 基于车载场景的物品识别方法、装置、设备和存储介质
CN110084175A (zh) * 2019-04-23 2019-08-02 普联技术有限公司 一种目标检测方法、目标检测装置及电子设备
CN110188689A (zh) * 2019-05-30 2019-08-30 重庆大学 基于真实场景建模的虚拟驾驶目标碰撞检测方法
CN110674696A (zh) * 2019-08-28 2020-01-10 珠海格力电器股份有限公司 一种监控方法、装置、系统、监控设备及可读存储介质
CN111428604A (zh) * 2020-03-19 2020-07-17 上海东普信息科技有限公司 面部佩戴口罩识别方法、装置、设备及存储介质
CN111540203A (zh) * 2020-04-30 2020-08-14 东华大学 基于Faster-RCNN调节绿灯通行时间的方法
CN111652140A (zh) * 2020-06-03 2020-09-11 广东小天才科技有限公司 基于深度学习的题目精准分割方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN111160379B (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
CN107358242B (zh) 目标区域颜色识别方法、装置及监控终端
Bui et al. Using grayscale images for object recognition with convolutional-recursive neural network
CN109714526B (zh) 智能摄像头及控制系统
CN107944450B (zh) 一种车牌识别方法及装置
CN109472209B (zh) 一种图像识别方法、装置和存储介质
CN109800682B (zh) 驾驶员属性识别方法及相关产品
Wang et al. Semantic segmentation of remote sensing ship image via a convolutional neural networks model
CN110543838A (zh) 车辆信息检测的方法及装置
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN107704797B (zh) 基于安防视频中行人和车辆的实时检测方法和系统及设备
CN113869282B (zh) 人脸识别方法、超分模型训练方法及相关设备
Hussein et al. A comprehensive evaluation framework and a comparative study for human detectors
CN112541394A (zh) 黑眼圈及鼻炎识别方法、系统及计算机介质
Linda et al. Color-mapped contour gait image for cross-view gait recognition using deep convolutional neural network
CN111382638B (zh) 一种图像检测方法、装置、设备和存储介质
CN113837257A (zh) 一种目标检测方法及装置
CN113449548A (zh) 更新物体识别模型的方法和装置
Lakshmi et al. Pedestrian detection in thermal images: An automated scale based region extraction with curvelet space validation
Ibrahim et al. [Retracted] An Effective Approach for Human Activity Classification Using Feature Fusion and Machine Learning Methods
CN112183461A (zh) 一种车辆内部监控方法、装置、设备及存储介质
Rahman et al. A real-time end-to-end Bangladeshi license plate detection and recognition system for all situations including challenging environmental scenarios
Gunawan et al. Semantic segmentation of aerial imagery for road and building extraction with deep learning
Youssef et al. Real-time egyptian license plate detection and recognition using yolo
Soundrapandiyan et al. Robust pedestrian detection in infrared images using rotation and scale invariant-based structure element descriptor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination