CN112926414A - 图像处理的方法、装置和电子设备 - Google Patents
图像处理的方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112926414A CN112926414A CN202110164449.1A CN202110164449A CN112926414A CN 112926414 A CN112926414 A CN 112926414A CN 202110164449 A CN202110164449 A CN 202110164449A CN 112926414 A CN112926414 A CN 112926414A
- Authority
- CN
- China
- Prior art keywords
- target area
- target
- vehicle
- processed
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims description 29
- 238000013145 classification model Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000013508 migration Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例公开了一种图像处理的方法、装置、可读存储介质和电子设备。本公开实施例通过获取至少一帧车内图像；对各车内图像执行目标检测，在所述车内图像中确定至少一个初始目标区域；在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，所述待处理目标区域中包括至少部分车内场景；根据所述待处理目标区域确定待处理目标区域；根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息。通过上述方法，将初始目标区域扩大为包括至少部分车内场景的待处理目标区域，由于车内场景的位置是固定的，因此，可以在复杂场景下，准确的识别出车内人员的位置。
Description
技术领域
本公开涉及一种图像处理的方法、装置和电子设备。
背景技术
随着科技的发展和社会的进步，人们的生活也随之改变，例如，网上打车/代驾服务，使人们的日常生活越来越便捷；人们在移动终端上安装网上打车/代驾的应用程序，就进行打车或者找到代驾员，但是在打车或代驾的环节中，会存在一定的风险，因此，需要对车内情况进行监控，识别车内人员，并判断车内人员的座次位置。
在复杂场景下，准确的识别出车内人员的座次位置是目前需要解决的问题。
发明内容
有鉴于此，本公开实施例提供了一种图像处理的方法、装置、可读存储介质和电子设备，可以在复杂场景下，准确的识别出车内人员的座次位置。
第一方面，本公开实施例提供了一种图像处理的方法，该方法包括：获取车内图像；对所述车内图像执行目标检测，在所述车内图像中确定至少一个初始目标区域，所述初始目标区域为包含目标的区域；在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，所述待处理目标区域中包括至少部分车内场景；根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息，其中，所述目标位置信息用于表征待处理目标区域中的所述目标在车内的位置。
例如，所述目标为人体。
例如，所述目标为人脸。
例如，所述获取至少一帧车内图像，具体包括：获取车内视频流，根据所述车内视频流确定所述车内图像。
例如，所述根据至少一个所述车内图像对应的所述待处理目标区域和预先训练的座次识别模型确定目标位置信息包括：根据设定像素值将所述待处理目标区域调整为模型输入目标区域；将所述模型输入目标区域输入所述座次识别模型以确定所述目标位置信息。
例如，训练所述座次识别模型，所述训练所述座次识别模型包括：根据第一样本数据集合训练第一分类模型，所述第一样本数据集合根据公开资料获得；根据第二样本数据集合对所述第一分类模型进行迁移训练，获取所述座次识别模型，其中，所述第二样本数据集合包括历史车内图像以及历史车内图像中历史目标区域的位置信息。
例如，所述在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，具体包括：获取目标区域尺寸；按照设定参数计算所述扩展尺寸；以所述目标区域为中心，根据所述扩展尺寸扩展确定待处理目标区域。
例如，所述目标位置信息包括：前排驾驶位、前排副驾驶、后排、后排左侧、后排中间、后排右侧。
第二方面，本公开实施例提供了一种图像处理的装置，该装置包括：获取单元，用于获取车内图像；检测单元，用于对所述车内图像目标检测，在所述车内图像中确定至少一个初始目标区域，所述初始目标区域为包含目标的区域；扩展单元，用于在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，所述待处理目标区域中包括至少部分车内场景；识别单元，用于根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息，其中，所述目标位置信息用于表征待处理目标区域中的所述目标在车内的位置。
例如，所述目标为人体。
例如，所述目标为人脸。
例如，所述获取单元具体用于：获取车内视频流，根据所述车内视频流确定所述车内图像。
例如，所述识别单元具体用于：根据设定像素值将所述待处理目标区域调整为模型输入目标区域；将所述模型输入目标区域输入所述座次识别模型以确定所述目标位置信息。
例如，所述座次识别模型包括第一训练单元和第二训练单元，其中，所述第一训练单元，用于根据第一样本数据集合训练第一分类模型，所述第一样本数据集合根据公开资料获得；所述第二训练单元，用于根据第二样本数据集合对所述第一分类模型进行迁移训练，获取所述座次识别模型，其中，所述第二样本数据集合包括历史车内图像以及历史车内图像中历史目标区域的位置信息。
例如，所述扩展单元具体用于获取目标区域尺寸；按照设定参数计算所述扩展尺寸；以所述目标区域为中心，根据所述扩展尺寸扩展确定待处理目标区域。
例如，所述目标位置信息包括：前排驾驶位、前排副驾驶、后排、后排左侧、后排中间、后排右侧。
第三方面，本公开实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面或第一方面任一种可能中任一项所述的方法。
第四方面，本公开实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面或第一方面任一种可能中任一项所述的方法。
第五方面，本公开实施例提供了计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面或第一方面任一种可能中任一项所述的方法。
本公开实施例通过获取车内图像；对所述车内图像执行目标检测，在所述车内图像中确定至少一个初始目标区域，所述初始目标区域为包含目标的区域；在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，所述待处理目标区域中包括至少部分车内场景；根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息，其中，所述目标位置信息用于表征待处理目标区域中的所述目标在车内的位置。通过上述方法，将初始目标区域向外扩展为包括至少部分车内场景的待处理目标区域，由于车内场景的位置是固定的，因此，可以在复杂场景下，准确的识别出车内人员的位置。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是现有技术中车内图像示意图；
图2是本公开实施例的一种图像处理的方法流程图；
图3是本公开实施例的一种图像示意图；
图4是本公开实施例的一种图像示意图；
图5是本公开实施例的一种图像示意图；
图6是本公开实施例的一种座次识别模型的训练方法流程图；
图7是本公开实施例的一种图像处理的方法流程图；
图8是本公开实施例的一种图像示意图；
图9是本公开实施例的一种图像示意图；
图10是本公开实施例的一种图像处理的装置示意图；
图11是本公开实施例的一种电子设备的示意图。
具体实施方式
以下基于实施例对本公开公开进行描述，但是本公开公开并不仅仅限于这些实施例。在下文对本公开公开的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本公开公开。为了避免混淆本公开公开的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个申请文件中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本公开公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在一些实施例中，在识别车内人员的座次位置时，主要是通过人脸检测，并通过人脸检测后的人脸的相对位置和人脸的大小等相关因素，按照预先设定的规则进行区分。但是上述方案只适用于固定摄像头设备的情况下，当代驾使用手持记录仪时，每次记录仪的摆放位置均不一致，场景较为复杂，无法根据预先设定规则进行区别，进而识别车内人员的座次位置的准确性较差。具体的，在识别车内人员的座次位置时，主要是通过人脸检测，并通过人脸检测后的人脸的相对位置和人脸的大小等相关因素，按照预先设定的规则进行区分。例如，如图1所示，假设识别出3张人脸，分布为人脸1、人脸2和人脸3，其中人脸1与人脸2之间的距离为第一距离，人脸2与人脸3之间的距离等于人脸1与人脸3之间的距离，为第二距离，其中，人脸1与人脸2的面积大于人脸3的面积，根据预此先设定的规则，可以判断所述人脸1与人脸2在车内的前排座位，所述人脸3在车内的后排座位，但是上述方案只适用于固定摄像头设备的情况下，当代驾使用手持记录仪时，每次记录仪的摆放位置均不一致，场景较为复杂，则无法根据预先设定规则进行区别，进而识别车内人员的座次位置的准确性较差；因此，在复杂场景下，准确的识别出车内人员的座次位置是目前需要解决的问题。
本公开实施例中，将初始目标区域向外扩展为包括至少部分车内场景的待处理目标区域，由于车内场景的位置是固定的，例如，车内前排的场景与后排的场景不同，驾驶位与副驾驶位的场景也不同，因此，可以在复杂场景下，准确的识别出车内人员的位置。
图2是本公开实施例的一种图像处理的方法流程图。如图2所示，具体包括如下步骤：
步骤S200、获取车内图像。
在一种可能的实现方式中，所述获取车内图像，具体包括：获取车内视频流，根据所述车内视频流确定所述车内图像，若所述车内视频流中包括多帧车内图像，每帧图像的处理过程都相同。
举例说明，假设通过摄像设备获取到10秒的车内视频流，每秒包括25帧车内图像，则10秒内可以获取到250帧车内图像，所述摄像设备可以为手机、摄像机等具有摄像功能的设备。
在一种可能的实现方式中，通过每一帧车内图像可以通过下列步骤识别出车内人员的位置，由于车内视频流中包括多帧车内图像，可以每隔设定帧对车内图像进行分析，进一步的，可以确定出车内人员的移动轨迹、位置变换情况。
步骤S201、对各车内图像进行目标检测，在所述车内图像中确定至少一个初始目标区域，所述初始目标区域为包含目标的区域。
在一种可能的实现方式中，所述目标为人脸或人体。
在一种可能的实现方式中，根据目标检测模型对车内图像进行目标检测，其中，所述目标检测模型可以为深度学习模型，所述目标检测模型根据公开资料和真实的车内场景数据进行训练；假设在所述车内图像中确定的初始目标区域为人脸图像的区域，则所述目标检测模型为人脸目标检测模型，通过所述人脸目标检测模型对车内图像进行人脸检测，所述人脸检测是一种在任意数字图像中找到人脸的位置和大小的技术，人脸检测可以检测出面部特征，并忽略建筑物、树木和身体等其他任何事物，具体如图3所示，为人脸检测的示意图；在一种可能的实现方式中，具体的，人脸检测方法还可以采用单个卷积神经网络(Convolutional Neural Network，CNN)人脸检测方法、级联卷积神经网络CNN人脸检测方法、OpenCV人脸检测方法、Dlib人脸检测方法、libfacedetect人脸检测方法以及Seetaface人脸检测方法等。
在一种可能的实现方式中，假设在所述车内图像中确定的初始目标区域为人体图像的区域，则所述目标检测模型为人体目标检测模型，通过所述人体目标检测模型对车内图像进行人体检测，所述人体检测是一种在任意数字图像中找到人体的位置和大小的技术，人体检测可以检测出面部特征，并忽略建筑物、树木和身体等其他任何事物，具体如图4所示，为人体检测的示意图；所述人脸目标检测模型或人体目标检测模型可以为SSD系列，YOLO系列，快速基于区域的卷积神经网络(Fast R-CNN)、MT-CNN以及Retina Face等。
步骤S202、在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，所述待处理目标区域中包括至少部分车内场景。
具体的，所述部分车内场景为人脸或人体之外的部分，例如，车窗、前排座椅、后排座椅等，由于车内不同位置的场景是不同的，因此，将初始目标区域向外扩展得到的待处理目标区域由于包括了不同的车内场景。
在一种可能的实现方式中，在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，具体包括：获取目标区域尺寸；按照设定参数计算所述扩展尺寸；以所述目标区域为中心，根据所述扩展尺寸扩展确定待处理目标区域。
举例说明，假设目标尺寸为400像素值*400像素值，假设设定参数为目标尺寸的长和宽分别扩展50％，则扩展后的扩展尺寸为600像素值*600像素值，所述待处理目标区域以所述目标区域为中心；具体如图5所示，目标区域为A，扩展后的待处理目标区域为B，其中，在目标区域为A的四边分别延长200像素值之后，得到待处理目标区域B的边。
在一种可能的实现方式中，所述设定参数根据实际情况确定，本公开实施例对其不做限定。
在一种可能的实现方式中，若所述车内图像中包括一个待处理目标区域，则在所述车内图像中截取一个所述待处理目标区域；若所述车内图像中包括多个待处理目标区域，则在所述车内图像中截取多个所述待处理目标区域。
步骤S203、根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息，其中，所述目标位置信息用于表征待处理目标区域对应的人物在车内的位置。
具体的，所述目标位置信息包括前排驾驶位、前排副驾驶、后排、后排左侧、后排中间、后排右侧；其中，所述后排可以详细划分为后排左侧、后排中间、后排右侧，也可以不见详细划分，本公开实施例对其不做限定。
在一种可能的实现方式中，所述目标位置信息还可以称为座次位置信息，所述位置还可以称为座次位置等，具体说法不进行限定。
在一种可能的实现方式中，所述根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息包括：根据设定像素值将所述待处理目标区域调整为模型输入目标区域；将所述模型输入目标区域输入所述座次识别模型以确定所述目标位置信息。
本公开实施中，由于座次识别模型智能处理设定像素值的图像，因此，确定出待处理目标区域后，需要将其调整为设定像素值的模型输入目标区域，具体的，将待处理目标区域进行插值的操作，使所述待处理目标区域调整为128*128像素值的模型输入目标区域，其中，还可以为其他像素值，本公开实施例在此不做限定。
在一种可能的实现方式中，所述座次识别模型每次只可以处理一张模型输入目标区域，所述车内图像生成几张模型输入目标区域，就需要通过所述座次识别模型识别几次，完成每张模型输入目标区域的识别，得到每张模型输入目标区域对应的目标位置信息；所述座次识别模型每次可以处理多张模型输入目标区域，所述车内图像生成的多张模型输入目标区域同时输入到所述座次识别模型中间识别，识别得到每张模型输入目标区域对应的目标位置信息。
在一种可能的实现方式中，所述座次识别模型的训练过程如图6所示，具体包括：
步骤S600、根据第一样本数据集合训练第一分类模型，所述第一样本数据集合根据公开资料获得。
在一种可能的实现方式中，所述第一样本数据集合还可以为ImageNet等开源的数据库，通过所述开源的数据库训练所述第一分类模型，用于对物体进行分类，例如，通过第一分类模型可以对人、猫、狗、植物等等进行分类，所述第一分类模型还可以称为mobileNetV2模型；确定出所述第一分类模型之后，可以将所述第一分类模型的参数作为座次识别模型的初始参数。
步骤S601、根据第二样本数据集合对所述第一分类模型进行迁移训练，获取所述座次识别模型，其中，所述第二样本数据集合包括历史车内图像以及历史车内图像中历史目标区域的位置信息。
具体的，基于所述第一分类模型的初始参数以及第二样本数据集合对所述第一分类模型进行迁移训练，所述第二样本数据集合包括历史车内图像以及历史车内图像中已经标注的历史目标区域的位置信息，通过所述第二样本数据集合对初始参数进行训练，获取到适用于本公开实施例中座次识别模型的参数，进而确定出了准确性较高的座次识别模型。
本公开实施例中，通过公开资料训练第一分类模型，可以减少资料搜时的精力、时间、以及人力的浪费，确定出第一分类模型后，通过历史数据进行迁移训练，可以提高座次识别模型的准确性。
下面通过一个具体实施例对本公开的一种图像处理的方法流程如图7所示，具体包括：
步骤S700、获取车内图像。
步骤S701、对所述车内图像进行目标检测，在所述车内图像中确定4个初始目标区域。
具体的，如图8所示，在所述一帧车内图像中进行目标检测，确定出初始目标区域a、初始目标区域b、初始目标区域c和初始目标区域d。
步骤S702、将所述4个初始目标区域分别按照设定扩展尺寸向外扩展确定4个待处理目标区域。
具体的，如图9所述，初始目标区域a扩展后生成待处理目标区域a’、初始目标区域b扩展后生成待处理目标区域b’、初始目标区域c扩展后生成待处理目标区域c’和初始目标区域d扩展后生成待处理目标区域d’，其中，扩展后的待处理目标区域a’、待处理目标区域b’、待处理目标区域c’和待处理目标区域d’分别包括不同部分的车内场景。
举例说明，扩展后的待处理目标区域a’包括的车内场景为车后窗和左后车窗、待处理目标区域b’包括的车内场景为车后窗和右后车窗’、待处理目标区域c’包括的车内场景为左前车窗和待处理目标区域d包括的车内场景为右前车窗。
步骤S703、根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息。
具体的，将所述4个待处理目标区域共同输入座次识别模型或者将所述4个待处理目标区域分别输入座次识别模型，确定初始目标区域a、初始目标区域b、初始目标区域c和初始目标区域d中包含的车内人物在车内的位置，例如，初始目标区域a中的人物在车内的后排左侧、初始目标区域b中的人物在车内的后排右侧、初始目标区域c中的人物在车内的驾驶位、初始目标区域d中包含的车内人物在车内的副驾驶位。
图10是本公开实施例的一种图像处理的装置示意图。如图10所示，本实施例的装置包括获取单元1001、检测单元1002、扩展单元1003、和识别单元1004。
其中，获取单元1001，用于获取车内图像；检测单元1002，用于对所述车内图像目标检测，在所述车内图像中确定至少一个初始目标区域，所述初始目标区域为包含目标的区域；扩展单元1003，用于在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，所述待处理目标区域中包括至少部分车内场景；识别单元1004，用于根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息，其中，所述目标位置信息用于表征待处理目标区域中的所述目标在车内的位置。
本公开实施例中，将初始目标区域向外扩展为包括至少部分车内场景的待处理目标区域，由于车内场景的位置是固定的(例如，前排场景和后排的背景是不同的，驾驶位和副驾驶位的背景也是不同的)因此，待处理目标区域包含的车内场景是不同的，但由于车内场景的位置是固定的，进而可以在复杂场景下，准确的识别出车内人员的位置，不被摄像机的位置影响识别的准确性。
进一步地，所述目标为人体。
进一步地，所述目标为人脸。
进一步地，所述获取单元具体用于：获取车内视频流，根据所述车内视频流确定所述车内图像。
本公开实施例中，通过车内视频流可以获取到多帧车内图像，根据对多帧车内图像的分析，不仅可以针对每帧车内图像确定车内人员的位置，还可以根据多帧车内图像连续确定的位置对车内人员的轨迹进行分析。
进一步地，所述识别单元具体用于：根据设定像素值将所述待处理目标区域调整为模型输入目标区域；将所述模型输入目标区域输入所述座次识别模型以确定所述目标位置信息。
本公开实施例中，将所述待处理目标区域调整为设定像素值的模型输入目标区域，可以便于所述座次识别模型对所述模型输入目标区域进行识别。
进一步地，所述座次识别模型包括第一训练单元和第二训练单元，其中，所述第一训练单元，用于根据第一样本数据集合训练第一分类模型，所述第一样本数据集合根据公开资料获得；所述第二训练单元，用于根据第二样本数据集合对所述第一分类模型进行迁移训练，获取所述座次识别模型，其中，所述第二样本数据集合包括历史车内图像以及历史车内图像中历史目标区域的位置信息。
本公开实施例中，通过第一样本数据集合训练生成的第一分类模型的参数作为座次识别模型的初始参数，由于第一样本数据集合是公开资料获得，可以减少资料获取的实际，在此基础上，通过第二样本数据集合对第一分类模型进行迁移训练，可以获得准确性较高的座次识别模型。
进一步地，所述扩展单元具体用于获取目标区域尺寸；按照设定参数计算所述扩展尺寸；以所述目标区域为中心，根据所述扩展尺寸扩展确定待处理目标区域。
本公开实施例中，通过上述方法，可以获取扩展后的待处理目标区域，由于扩展后的待处理目标区域中包括车内场景，因此，通过扩展后的待处理目标区域可以准确的确定出车内人员的位置信息。
进一步地，所述目标位置信息包括：前排驾驶位、前排副驾驶、后排、后排左侧、后排中间、后排右侧。
本公开实施例中，可以将所述目标位置信息精确划分为前排驾驶位、前排副驾驶、后排，进一步的，后排也可以精细划分为后排左侧、后排中间、后排右侧。
图11是本公开实施例的电子设备的示意图。如图11所示，图11所示的电子设备为调整深度图像预测模型的装置，其包括通用的计算机硬件结构，其至少包括处理器1101和存储器1102。处理器1101和存储器1102通过总线1103连接。存储器1102适于存储处理器1101可执行的指令或程序。处理器1101可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器1101通过执行存储器1102所存储的指令，从而执行如上所述的本公开实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线1103将上述多个组件连接在一起，同时将上述组件连接到显示控制器1104和显示装置以及输入/输出(I/O)装置1105。输入/输出(I/O)装置1105可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置1105通过输入/输出(I/O)控制器1106与系统相连。
其中，存储器1102存储的指令被至少一个处理器1101执行以实现：获取车内图像；对所述车内图像执行目标检测，在所述车内图像中确定至少一个初始目标区域，所述初始目标区域为包含目标的区域；在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，所述待处理目标区域中包括至少部分车内场景；根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息，其中，所述目标位置信息用于表征待处理目标区域中的所述目标在车内的位置。
具体地，该电子设备包括：一个或多个处理器1101以及存储器1102，图11以一个处理器1101为例。处理器1101、存储器1102可以通过总线或者其他方式连接，图11中以通过总线连接为例。存储器1102作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器1101通过运行存储在存储器1102中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述数据处理方法。
存储器1102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器1102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器1102可选包括相对于处理器1101远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器1102中，当被一个或者多个处理器1101执行时，执行上述任意方法实施例中的数据处理方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本公开的实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计机可读程序用于供计算机执行上述部分或全部的方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施例是实现本公开的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本公开的精神和范围。
本公开实施例公开了A1、一种图像处理的方法，该方法包括：
获取车内图像；
对所述车内图像执行目标检测，在所述车内图像中确定至少一个初始目标区域，所述初始目标区域为包含目标的区域；
在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，所述待处理目标区域中包括至少部分车内场景；
根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息，其中，所述目标位置信息用于表征待处理目标区域中的所述目标在车内的位置。
A2、如A1所述的方法，所述目标为人体。
A3、如A1所述的方法，所述目标为人脸。
A4、如A1所述的方法，所述获取车内图像，具体包括：
获取车内视频流，根据所述车内视频流确定所述车内图像。
A5、如A1所述的方法，所述根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息包括：
根据设定像素值将所述待处理目标区域调整为模型输入目标区域；
将所述模型输入目标区域输入所述座次识别模型以确定所述目标位置信息。
A6、如A1所述的方法，所述方法还包括：训练所述座次识别模型，所述训练所述座次识别模型包括：
根据第一样本数据集合训练第一分类模型，所述第一样本数据集合根据公开资料获得；
根据第二样本数据集合对所述第一分类模型进行迁移训练，获取所述座次识别模型，其中，所述第二样本数据集合包括历史车内图像以及历史车内图像中历史目标区域的位置信息。
A7、如A1所述的方法，所述在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，具体包括：
获取目标区域尺寸；
按照设定参数计算所述扩展尺寸；
以所述目标区域为中心，根据所述扩展尺寸扩展确定待处理目标区域。
A8、如A1所述的方法，所述目标位置信息包括：前排驾驶位、前排副驾驶、后排、后排左侧、后排中间、后排右侧。
本公开实施例公开了B1、一种图像处理的装置，该装置包括：
获取单元，用于获取车内图像；
检测单元，用于对所述车内图像目标检测，在所述车内图像中确定至少一个初始目标区域，所述初始目标区域为包含目标的区域；
扩展单元，用于在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，所述待处理目标区域中包括至少部分车内场景；
识别单元，用于根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息，其中，所述目标位置信息用于表征待处理目标区域中的所述目标在车内的位置。
本公开实施例公开了C1、一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如A1-A8中任一项所述的方法。
本公开实施例公开了D1、一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如A1-A8中任一项所述的方法。
本公开实施例公开了E1、一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如A1-A8中任一项所述的方法。
Claims (10)
1.一种图像处理的方法，其特征在于，该方法包括：
获取车内图像；
对所述车内图像执行目标检测，在所述车内图像中确定至少一个初始目标区域，所述初始目标区域为包含目标的区域；
在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，所述待处理目标区域中包括至少部分车内场景；
根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息，其中，所述目标位置信息用于表征待处理目标区域中的所述目标在车内的位置。
2.如权利要求1所述的方法，其特征在于，所述目标为人体。
3.如权利要求1所述的方法，其特征在于，所述目标为人脸。
4.如权利要求1所述的方法，其特征在于，所述获取车内图像，具体包括：
获取车内视频流，根据所述车内视频流确定所述车内图像。
5.如权利要求1所述的方法，其特征在于，所述根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息包括：
根据设定像素值将所述待处理目标区域调整为模型输入目标区域；
将所述模型输入目标区域输入所述座次识别模型以确定所述目标位置信息。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：训练所述座次识别模型，所述训练所述座次识别模型包括：
根据第一样本数据集合训练第一分类模型，所述第一样本数据集合根据公开资料获得；
根据第二样本数据集合对所述第一分类模型进行迁移训练，获取所述座次识别模型，其中，所述第二样本数据集合包括历史车内图像以及历史车内图像中历史目标区域的位置信息。
7.一种图像处理的装置，其特征在于，该装置包括：
获取单元，用于获取车内图像；
检测单元，用于对所述车内图像目标检测，在所述车内图像中确定至少一个初始目标区域，所述初始目标区域为包含目标的区域；
扩展单元，用于在所述车内图像中扩大所述初始目标区域，确定每个所述初始目标区域扩大后的待处理目标区域，所述待处理目标区域中包括至少部分车内场景；
识别单元，用于根据所述待处理目标区域和预先训练的座次识别模型确定目标位置信息，其中，所述目标位置信息用于表征待处理目标区域中的所述目标在车内的位置。
8.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-6中任一项所述的方法。
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-6中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110164449.1A CN112926414B (zh) | 2021-02-05 | 2021-02-05 | 图像处理的方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110164449.1A CN112926414B (zh) | 2021-02-05 | 2021-02-05 | 图像处理的方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112926414A true CN112926414A (zh) | 2021-06-08 |
| CN112926414B CN112926414B (zh) | 2024-05-14 |
Family
ID=76170886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110164449.1A Active CN112926414B (zh) | 2021-02-05 | 2021-02-05 | 图像处理的方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926414B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019223582A1 (en) * | 2018-05-24 | 2019-11-28 | Beijing Didi Infinity Technology And Development Co., Ltd. | Target detection method and system |
| CN111310650A (zh) * | 2020-02-13 | 2020-06-19 | 上海眼控科技股份有限公司 | 车辆乘坐对象的分类方法、装置、计算机设备和存储介质 |
| CN111460938A (zh) * | 2020-03-20 | 2020-07-28 | 南京领行科技股份有限公司 | 一种车辆行驶行为实时监测方法及装置 |
| CN111598091A (zh) * | 2020-05-20 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 图像识别方法、装置、电子设备及计算可读存储介质 |
-
2021
- 2021-02-05 CN CN202110164449.1A patent/CN112926414B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019223582A1 (en) * | 2018-05-24 | 2019-11-28 | Beijing Didi Infinity Technology And Development Co., Ltd. | Target detection method and system |
| CN111310650A (zh) * | 2020-02-13 | 2020-06-19 | 上海眼控科技股份有限公司 | 车辆乘坐对象的分类方法、装置、计算机设备和存储介质 |
| CN111460938A (zh) * | 2020-03-20 | 2020-07-28 | 南京领行科技股份有限公司 | 一种车辆行驶行为实时监测方法及装置 |
| CN111598091A (zh) * | 2020-05-20 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 图像识别方法、装置、电子设备及计算可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 曹诗雨;刘跃虎;李辛昭;: "基于Fast R-CNN的车辆目标检测", 中国图象图形学报, no. 05 * |
| 赵猛;张贺;曹茂永;白培瑞;王洋;裴明涛;: "基于可变形部件模型的驾驶员人脸检测", 北京理工大学学报, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112926414B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11144786B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
| KR102189262B1 (ko) | 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법 | |
| US10037471B2 (en) | System and method for image analysis | |
| CN111105011B (zh) | 用于对有用学习数据进行取舍筛选的基于cnn的方法及装置 | |
| CN109087510B (zh) | 交通监测方法及装置 | |
| EP3410351B1 (en) | Learning program, learning method, and object detection device | |
| CN108648211B (zh) | 一种基于深度学习的小目标检测方法、装置、设备和介质 | |
| CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
| CN109190488B (zh) | 基于深度学习YOLOv3算法的前车车门打开检测方法及装置 | |
| CN109664820A (zh) | 基于行车记录仪的驾驶提示方法、装置、设备和存储介质 | |
| CN110889421A (zh) | 目标物检测方法及装置 | |
| CN111291799A (zh) | 房间窗户分类模型构建方法、房间窗户分类方法及系统 | |
| CN112101114B (zh) | 一种视频目标检测方法、装置、设备以及存储介质 | |
| CN111598065A (zh) | 深度图像获取方法及活体识别方法、设备、电路和介质 | |
| CN110781730B (zh) | 智能驾驶感知方法及感知装置 | |
| JP7383435B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN111435457A (zh) | 对传感器获取的采集进行分类的方法 | |
| CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
| CN112926414A (zh) | 图像处理的方法、装置和电子设备 | |
| CN113361299A (zh) | 一种异常停车的检测方法、装置、存储介质及电子设备 | |
| JPWO2020003764A1 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
| CN110751163A (zh) | 目标定位方法及其装置、计算机可读存储介质和电子设备 | |
| CN116324904A (zh) | 用于注释传感器数据的方法和系统 | |
| CN110852394B (zh) | 数据处理方法及装置、计算机系统以及可读存储介质 | |
| CN113869100A (zh) | 在相对于对象大小的等变性或不变性下在图像中识别对象 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |