CN112836549A - 用户信息的检测方法及系统、电子设备 - Google Patents

用户信息的检测方法及系统、电子设备 Download PDF

Info

Publication number
CN112836549A
CN112836549A CN201911158474.8A CN201911158474A CN112836549A CN 112836549 A CN112836549 A CN 112836549A CN 201911158474 A CN201911158474 A CN 201911158474A CN 112836549 A CN112836549 A CN 112836549A
Authority
CN
China
Prior art keywords
image
detection
user
detection object
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911158474.8A
Other languages
English (en)
Other versions
CN112836549B (zh
Inventor
方三勇
甄海洋
王进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN201911158474.8A priority Critical patent/CN112836549B/zh
Priority to PCT/CN2020/130631 priority patent/WO2021098855A1/zh
Priority to EP20888865.1A priority patent/EP4064113A4/en
Publication of CN112836549A publication Critical patent/CN112836549A/zh
Application granted granted Critical
Publication of CN112836549B publication Critical patent/CN112836549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用户信息的检测方法及系统、电子设备。其中，该方法包括：获取第一图像；将第一图像输入至第一检测模型，以确定在目标区域内活动用户的用户信息，其中，用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息；基于用户信息输出检测结果。本发明解决了相关技术中通过红外传感器检测车辆内部区域的孩子状态，容易受到环境影响，造成设备失灵的技术问题。

Description

用户信息的检测方法及系统、电子设备
技术领域
本发明涉及信息处理技术领域，具体而言，涉及一种用户信息的检测方法及系统、电子设备。
背景技术
相关技术中，随着社会的进步，人们的生活水平得到极大的提高，私家车已经成为普通家庭出行最便捷的交通工具之一，比如工作日的上下班、接送孩子上下学、周末家庭出游等。然而，小孩被遗忘在车中这类的新闻屡见不鲜，如果不能及时的发现，小孩在车中可能会因缺氧而造成晕厥，甚至会危及生命，如果是在炎热的夏季，车内温度很高，很容易产生窒息的危险，这些都会对家庭造成无法挽回的伤害。
当前的检测车内小孩的方式，大多是通过红外传感器，然后将信号通过数模转换传送给单片机的控制器来进行预警操作。然而传感器本身容易受各种热源，光源的干扰，同时传统能力差，人体的红外辐射容易被遮挡，不易被探头接收，当夏天的时候环境温度和人体温度接近时，探测和灵敏度明显下降，有时会造成失灵，这样就无法在小孩发生危险时进行及时救治，导致严重的后果；同时这种通过红外传感器检测的方式，对传感器的安装位置、灵敏度等也有较高的要求，需要花费很大的代价才能完成安装，而且预警效果较差。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种用户信息的检测方法及系统、电子设备，以至少解决相关技术中通过红外传感器检测车辆内部区域的孩子状态，容易受到环境影响，造成设备失灵的技术问题。
根据本发明实施例的一个方面，提供了一种用户信息的检测方法，包括：获取第一图像；将所述第一图像输入至第一检测模型，以确定在所述目标区域内活动用户的用户信息，其中，所述用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息；基于所述用户信息输出检测结果。
可选地，在获取第一图像之后，所述检测方法还包括：提取所述第一图像中的图像信息，判断所述第一图像中是否存在第一检测对象，其中，第一检测对象包括下述至少之一：人脸、人头、躯干、四肢、人体；若所述第一图像中不存在所述第一检测对象，删除所述第一图像；或者，若所述第一图像中存在所述第一检测对象，截取所述第一图像中第一检测对象所在的感兴趣区域；对所述第一图像中的感兴趣区域进行图像处理，得到包含合格的第一检测对象的第一检测图像。
可选地，对所述第一图像中的感兴趣区域进行图像处理，得到包含合格的第一检测对象的第一检测图像包括：对所述感兴趣区域进行初始质量评估，得到图像质量评估结果，其中，所述初始质量评估的评估内容包括下述至少之一：图像模糊评估、角度评估、位置评估、光照强度评估；若所述图像质量评估结果指示所述第一检测对象质量不合格，则停止检测所述第一图像；若所述图像质量评估结果指示所述第一检测对象质量合格，将所述感兴趣区域中第一检测对象所在的子区域作为所述第一检测图像。
可选地，在将所述感兴趣区域中第一检测对象所在的子区域作为所述第一检测图像之后，所述检测方法还包括：提取所述第一检测图像中多个特征点坐标；确定所述特征点坐标中指示第一检测对象的中心点坐标；基于所述第一检测对象的中心点坐标，将所述第一检测图像中的第一检测对象中心点映射至预设的第一标准图像中指示所述第一检测对象的中心点，以对齐所述第一检测图像和所述第一标准图像。
可选地，将所述第一检测图像中的第一检测对象中心点映射至预设的第一标准图像中指示所述第一检测对象的中心点包括：以所述第一标准图像的第一检测对象的中心点为基准，将所述第一检测图像移动至所述第一标准图像上方；以所述第一检测对象的中心点为基准，按照所述第一标准图像的比例，缩小或扩大所述第一检测图像，以使所述第一检测图像与所述第一标准图像的大小一致；若所述第一检测图像的检测对象与所述第一标准图像的检测对象朝向不一致，则旋转所述第一检测图像，使所述第一检测图像的检测对象和第一标准图像检测对象朝向一致；在所述第一检测图像的检测对象和第一标准图像检测对象朝向一致后，确定将所述第一检测图像中的中心点映射至所述第一标准图像中指示所述第一检测对象的中心点。
可选地，在获取第一图像之前，所述检测方法还包括：采集包含不同图像因素的多张用户图像，其中，所述图像因素包括下述至少之一：图像场景、光照度、分辨率、用户装饰；过滤所述多张用户图像，得到对应不同用户类别的多份图像样本集，其中，每份所述图像样本集中的每张用户图像对应有第一检测对象的属性标签和用户所属类别的类别标识；对所述多份图像样本集中的每张图像进行裁剪，得到多张第一标准图像；将所述多份图像样本集的第一标准图像、每张所述第一标准图像上的第一检测对象的属性标签和类别标识输入至初始网络模型，以对所述初始网络模型进行训练，得到所述第一检测模型。
可选地，所述初始网络模型至少包括：数据层、卷积层、池化层、激活层、全连接层和输出层。
可选地，对所述初始网络模型进行训练，得到所述第一检测模型的步骤，包括：将所述多份图像样本集的第一标准图像、每张所述第一标准图像上的第一检测对象的属性标签和类别标识通过所述初始网络模型的数据层输入至所述初始网络模型的训练网络中；训练所述初始网络模型的卷积层，通过预先设置的卷积参数提取所述多份图像样本集的第一标准图像的数据特征，得到第一数据网络特征图，其中，所述卷积参数至少包括：第一提取步长、卷积核尺寸和卷积核个数；训练所述初始网络模型的池化层，通过预先设置的池化参数对所述第一数据网络特征图进行下采样处理，得到第二数据网络特征图，其中，所述池化参数至少包括：第二提取步长、池化尺寸；训练所述初始网络模型的激活层，对所述第二数据网络特征图进行非线性变化处理，其中，所述非线性变化处理的方式包括使用下述至少之一的激活函数：relu激活函数、prelu激活函数、relu6激活函数；训练所述初始网络模型的全连接层，连接所述第一数据网络特征图和所述第二数据网络特征图，并通过预设的特征权重将特征图中的特征空间通过线性变换映射至标识空间，其中，所述标识空间用于记录第一检测对象的属性标签和类别标识；训练所述初始网络模型的输出层，输出与每张第一标准图像对应的分类结果，其中，所述分类结果用于指示与所述第一标准图像中的检测对象对应的类别。
可选地，将所述第一图像输入至第一检测模型，以确定在所述目标区域内活动用户的用户信息的步骤，包括：通过所述第一检测模型的数据层将所述第一图像输入至所述第一检测模型的数据网络；利用所述第一检测模型的卷积层、池化层和激活层对所述第一图像进行图像特征抽取，得到多维图像输出向量；将所述多维图像输出向量输入至不同的全连接层，得到用户信息评估结果，并将所述用户信息评估结果输入输出层；利用所述第一检测模型的输出层输出用户信息。
可选地，所述检测方法还包括：将所述第一图像输入至第二检测模型，以确定在所述第一图像内第二检测对象的检测信息，其中，所述第二检测对象为所述第一检测对象的参照物。
可选地，基于所述第二检测对象的检测信息和所述用户信息获取输出检测结果。
可选地，所述用户信息还包括：用户性别、用户活动姿态、表情、检测对象疲惫程度。
可选地，所述检测方法的应用场景包括下述至少之一：车辆内部人员监测、电梯人员监测。
可选地，根据检测结果确定是否发出报警提示。
根据本发明实施例的另一方面，还提供了一种用户信息的检测系统，包括：图像捕获装置，用于获取第一图像；分析装置，用于将所述第一图像输入至第一检测模型，以确定在所述目标区域内活动用户的用户信息，其中，所述用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息；结果输出装置，用于基于所述用户信息输出检测结果。
可选地，所述图像捕获装置为独立的摄像装置或与结果输出装置集成在一个设备中的摄像装置。
可选地，所述检测系统还包括：部位判断装置，用于在获取第一图像之后，提取所述第一图像中的图像信息，使用检测对象检测器判断所述第一图像中是否存在第一检测对象，其中，第一检测对象包括下述至少之一：人脸、人头、躯干、四肢、人体；删除单元，用于在所述第一图像中不存在所述第一检测对象时，删除所述第一图像；或者，截取单元，用于在所述第一图像中存在所述第一检测对象时，截取所述第一图像中第一检测对象所在的感兴趣区域；图像处理装置，用于对所述第一图像中的感兴趣区域进行图像处理，得到包含合格的第一检测对象的第一检测图像。
可选地，所述图像处理装置包括：质量评估单元，用于对所述感兴趣区域进行初始质量评估，得到图像质量评估结果，其中，所述初始质量评估的评估内容包括下述至少之一：图像模糊评估、角度评估、位置评估、光照强度评估；停止单元，用于在所述图像质量评估结果指示所述第一检测对象质量不合格时，停止检测所述第一图像；第一确定单元，用于在所述图像质量评估结果指示所述第一检测对象质量合格时，将所述感兴趣区域中第一检测对象所在的子区域作为所述第一检测图像。
可选地，所述检测系统还包括：坐标提取装置，用于在将所述感兴趣区域中第一检测对象所在的子区域作为所述第一检测图像之后，提取所述第一检测图像中多个特征点坐标；第二确定单元，用于确定所述特征点坐标中指示第一检测对象的中心点坐标；第一映射单元，用于基于所述第一检测对象的中心点坐标，将所述第一检测图像中的第一检测对象中心点映射至预设的第一标准图像中指示所述第一检测对象的中心点，以对齐所述第一检测图像和所述第一标准图像。
可选地，所述第一映射单元包括：第一移动模块，用于以所述第一标准图像的第一检测对象的中心点为基准，将所述第一检测图像移动至所述第一标准图像上方；对齐模块，用于以所述第一检测对象的中心点为基准，按照所述第一标准图像的比例，缩小或扩大所述第一检测图像，以使所述第一检测图像与所述第一标准图像的大小一致；旋转模块，用于在所述第一检测图像的检测对象与所述第一标准图像的检测对象朝向不一致时，旋转所述第一检测图像，使所述第一检测图像的检测对象和第一标准图像检测对象朝向一致；第一确定模块，用于在所述第一检测图像的检测对象和第一标准图像检测对象朝向一致后，确定将所述第一检测图像中的中心点映射至所述第一标准图像中指示所述第一检测对象的中心点。
可选地，所述检测系统还包括：图像采集装置，用于在获取第一图像之前，采集包含不同图像因素的多张用户图像，其中，所述图像因素包括下述至少之一：图像场景、光照度、分辨率、用户装饰；图像过滤装置，用于过滤所述多张用户图像，得到对应不同用户类别的多份图像样本集，其中，每份所述图像样本集中的每张用户图像对应有第一检测对象的属性标签和用户所属类别的类别标识；裁剪单元，用于对所述多份图像样本集中的每张图像进行裁剪，得到多张第一标准图像；训练装置，用于将所述多份图像样本集的第一标准图像、每张所述第一标准图像上的第一检测对象的属性标签和类别标识输入至初始网络模型，以对所述初始网络模型进行训练，得到所述第一检测模型。
可选地，所述初始网络模型至少包括：数据层、卷积层、池化层、激活层、全连接层和输出层。
可选地，所述训练装置包括：第一输入单元，用于将所述多份图像样本集的第一标准图像、每张所述第一标准图像上的第一检测对象的属性标签和类别标识通过所述初始网络模型的数据层输入至所述初始网络模型的训练网络中；第一训练单元，用于训练所述初始网络模型的卷积层，通过预先设置的卷积参数提取所述多份图像样本集的第一标准图像的数据特征，得到第一数据网络特征图，其中，所述卷积参数至少包括：第一提取步长、卷积核尺寸和卷积核个数；第二训练单元，用于训练所述初始网络模型的池化层，通过预先设置的池化参数对所述第一数据网络特征图进行下采样处理，得到第二数据网络特征图，其中，所述池化参数至少包括：第二提取步长、池化尺寸；第三训练单元，用于训练所述初始网络模型的激活层，对所述第二数据网络特征图进行非线性变化处理，其中，所述非线性变化处理的方式包括使用下述至少之一的激活函数：relu激活函数、prelu激活函数、relu6激活函数；第四训练单元，用于训练所述初始网络模型的全连接层，连接所述第一数据网络特征图和所述第二数据网络特征图，并通过预设的特征权重将特征图中的特征空间通过线性变换映射至标识空间，其中，所述标识空间用于记录第一检测对象的属性标签和类别标识；第五训练单元，用于训练所述初始网络模型的输出层，输出与每张第一标准图像对应的分类结果，其中，所述分类结果用于指示与所述第一标准图像中的检测对象对应的类别。
可选地，所述分析装置包括：图像处理模块，用于通过所述第一检测模型的数据层将所述第一图像输入至所述第一检测模型的数据网络；特征抽取单元，用于利用所述第一检测模型的卷积层、池化层和激活层对所述第一图像进行图像特征抽取，得到多维图像输出向量；第三输入单元，用于将所述多维图像输出向量输入至不同的全连接层，得到用户信息评估结果，并将所述用户信息评估结果输入输出层；用户信息输出单元，用于利用所述第一检测模型的输出层输出用户信息。
可选地，所述检测系统还包括：图像输入单元，用于将所述第一图像输入至第二检测模型，以确定在所述第一图像内第二检测对象的检测信息，其中，所述第二检测对象为所述第一检测对象的参照物。
可选地，基于所述第二检测对象的检测信息和所述用户信息获取输出检测结果。
可选地，所述用户信息还包括：用户性别、用户活动姿态、表情、检测对象疲惫程度。
可选地，所述检测系统的应用场景包括下述至少之一：车辆内部人员监测、电梯人员监测。
可选地，根据检测结果确定是否发出报警提示。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的用户信息的检测方法。
根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述中任意一项所述的用户信息的检测方法。
在本发明实施例中，采用先获取第一图像，然后将第一图像输入至第一检测模型，以确定在目标区域内活动用户的用户信息，其中，用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息，最后基于用户信息输出检测结果。在该实施例中，若是检测方法应用于车辆内部区域监测，可以利用车辆内部第一图像分析车内人员的用户信息，对车内的人员的年龄、性别、行为、表情、体型、服饰等信息进行分析，分析出有关车内人员的检测结果，例如在车内有小孩被遗留的情况下，可以及时通过检测结果发出报警提示，从而达到预防小孩在车主下车后仍然被遗忘在车上的情况，减少车内人员发生危险的概率，这种分析图像内容得到用户信息的方案不会受到环境影响，仅需要保证图像拍摄装置能够正常工作即可，设备发生故障的概率明显降低，检测结果的稳定性较高，从而解决相关技术中通过红外传感器检测车辆内部区域的孩子状态，容易受到环境影响，造成设备失灵的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的用户信息的检测方法的流程图；
图2是根据本发明实施例的一种可选的用户信息的检测系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种用户信息的检测方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例通过图像拍摄装置获取到待检测区域(例如，车辆内部、商场电梯、会议室等)的第一图像，并对第一图像进行处理，识别出检测对象信息，分析得到用户的年龄等用户信息，对用户年龄做出判断，从而在区域内人员出现危险状态时，及时发出报警提示。
图1是根据本发明实施例的一种可选的用户信息的检测方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取第一图像；
步骤S104，将第一图像输入至第一检测模型，以确定在目标区域内活动用户的用户信息，其中，用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息。
本发明实施例使用的第一检测模型和下述的第二检测模型的种类包括但不限于：卷积神经网络CNN(Convolutional Neural Networks，简称CNN)，通过CNN识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
步骤S106，基于用户信息输出检测结果。
通过上述步骤，可以采用先获取第一图像，然后将第一图像输入至第一检测模型，以确定在目标区域内活动用户的用户信息，最后基于用户信息输出检测结果。在该实施例中，若是检测方法应用于车辆内部区域监测，可以利用车辆内部第一图像分析车内人员的用户信息，对车内的人员的年龄、性别、行为、表情、体型、服饰等信息进行分析，分析出有关车内人员的检测结果，例如在车内有小孩被遗留的情况下，可以及时通过检测结果发出报警提示，从而达到预防小孩在车主下车后仍然被遗忘在车上的情况，减少车内人员发生危险的概率，这种分析图像内容得到用户信息的方案不会受到环境影响，仅需要保证图像拍摄装置能够正常工作即可，设备发生故障的概率明显降低，检测结果的稳定性较高，从而解决相关技术中通过红外传感器检测车辆内部区域的孩子状态，容易受到环境影响，造成设备失灵的技术问题。
下面结合各步骤对本发明实施例进行详细说明。对于本发明实施例中涉及的第一检测模型和第二检测模型，可以优先使用第一检测模型对用户进行检测，同时可以使用第二检测模型对用户进行辅助检测。
首先，对第一检测模型进行说明。
本发明实施例中会预先训练出第一检测模型，通过第一检测模型对拍摄到第一图像进行分析，得到包含用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息等的用户信息。
作为本发明可选的实施例，在获取第一图像之前，需要对第一检测模型进行训练，包括：采集包含不同图像因素的多张用户图像，其中，图像因素包括下述至少之一：图像场景、光照度、分辨率、用户装饰；过滤多张用户图像，得到对应不同用户类别的多份图像样本集，其中，每份图像样本集中的每张用户图像对应有第一检测对象的属性标签和用户所属类别的类别标识；对多份图像样本集中的每张图像进行裁剪，得到多张第一标准图像；将多份图像样本集的第一标准图像、每张第一标准图像上的第一检测对象的属性标签和类别标识输入至初始网络模型，以对初始网络模型进行训练，得到第一检测模型。
本发明实施例中采集的用户图像可以为二维图像或者三维图像，图像可以是从多个角度拍摄的，图像拍摄装置(例如，摄像头)可以安装在目标区域的任意一个位置。而在训练网络模型时，使用的图像可以是包含多个图像因素的图像。
本发明实施例以分析用户类别为用户信息的示意说明，对于检测对象年龄的分析，假设以检测对象的表观属性作为分析结果。由于相近年龄的检测对象之间的差异性较小，区分能力较差，因此将年龄按照类别的方式进行划分，为了能够得到准确的类别区分结果以满足本发明的应用。因此按照表观年龄可以将年龄划分为多个不同类别，例如，将人员划分为3个不同的类别(婴幼儿0-5岁，儿童6-15岁,其他16岁+)。
在确定类别的划分方式后，需要建立大规模的图像训练样本库，采集不同图像因素的多张用户图像，训练多标签网络模型(例如卷积神经网络分类模型)。通过各种渠道收集到的图像素材，包括了不同场景，不同光照，不同分辨率，不同装饰等。在训练之前，可以通过终端或者用户手动过滤掉大角度，模糊，光照条件较差及分辨率较低的样本。训练样本集中包含上述3个类别，且保证3个类别的素材都要涵盖且分布均衡，保证每个单独类都有较多的待训练用户图像。对每一张待训练的用户图像样本进行标记，类别标签为(0-5岁：0；6-15岁：1；16岁+：2)。以人脸检测为例(还可以通过座位、人体四肢、躯干等定位)，可以通过眼睛点定位，平移，旋转，缩放等一系列的变换操作，将第一检测对象的图像裁剪为标准的多通道图像(例如，裁剪为60×60大小的RGB三个通道的彩色图像)。为了扩充训练样本，增强训练模型的鲁棒性，对待训练的用户图像样本进行了一系列的操作，如水平方向或垂直方向的平移，不同尺度的拉伸等。
将处理后的训练样本集输入到初始网络模型中进行多任务分类模型训练。初始网络模型各层包括数据层、卷积层、池化层、激活层、全连接层和输出层，除了数据层和输出层，中间各层输入均为前一层的输出，输出为下一层的输入。
可选的，本发明实施例中的训练方式为梯度下降法和反向传播算法。
作为本发明可选的实施例，对初始网络模型进行训练，得到第一检测模型的步骤，包括：将多份图像样本集的第一标准图像、每张第一标准图像上的第一检测对象的属性标签和类别标识通过初始网络模型的数据层输入至初始网络模型的训练网络中；训练初始网络模型的卷积层，通过预先设置的卷积参数提取多份图像样本集的第一标准图像的数据特征，得到第一数据网络特征图，其中，卷积参数至少包括：第一提取步长、卷积核尺寸和卷积核个数；训练初始网络模型的池化层，通过预先设置的池化参数对第一数据网络特征图进行下采样处理，得到第二数据网络特征图，其中，池化参数至少包括：第二提取步长、池化尺寸；训练初始网络模型的激活层，对第二数据网络特征图进行非线性变化处理，其中，非线性变化处理的方式包括使用下述至少之一的激活函数：relu激活函数、prelu激活函数、relu6激活函数；训练初始网络模型的全连接层，连接第一数据网络特征图和第二数据网络特征图，并通过预设的特征权重将特征图中的特征空间通过线性变换映射至标识空间，其中，标识空间用于记录第一检测对象的属性标签和类别标识；训练初始网络模型的输出层，输出与每张第一标准图像对应的分类结果，其中，分类结果用于指示与第一标准图像中的检测对象对应的类别。
即在训练初始网络模型时，可以先将处理好的第一标准图像(如尺寸为60×60的检测对象样本图像)和第一检测对象的属性标签通过数据层输入到训练网络中；然后利用卷积层通过设置好的步长、卷积核尺寸、卷积核个数来提取数据特征，池化层通过设置好的步长、池化尺寸对前一层特征图(feature map)进行下采样，激活层对前一层特征图进行非线性变化，本方案中可以采用relu激活函数等激活函数；之后全连接层连接所有的特征图，通过权重将特征空间通过线性变换映射到标识空间，全连接后接relu激活函数；最后输出层是对特征图进行分类和回归，可选的，本发明实施例采用softmax函数作为类别分类。
通过已经分类好的用户图像以及第一检测对象的属性标签不断训练初始网络模型，不断提高网络模型的分析准确度，扩展网络模型面对的图像类型和各种图像内容，为后续拍摄第一图像，分析第一图像做准备。
在训练网络模型阶段，所有训练样本的都将输入至初始网络模型(如卷积神经网络)，并且通过损失函数计算输出结果与实际标签的差距。这个过程被称为“正向传递”Forward。然后，根据输出结果与实际标签的差异，确定初始网络模型参数的误差度，对模型参数进行更新，从而进行神经网络学习，这个过程被称为“反向传递”Backward。通过调整初始网络模型中每层的权重值，使得模型的输出值与实际样本标签值之间的差距越来越小，直到网络模型的输出值与实际标签值一致或保持最小差距不再变化，则最终得到所需要的第一检测模型。
可选的，本发明实施例对于用户信息中用户年龄计算时，年龄误差的代价函数为Loss＝L_Age,通过该Loss进行反向传播，对网络模型的参数进行调整直至收敛。
对于每种应用场景，例如，车辆内部区域，采用车内场景的素材对上述收敛的网络进行微调训练，素材的标记和裁剪同上操作；采用实际应用场景的素材对上述通用的网络模型进行微调，网络保持前面共用的特征提取层(指全连接层前面的网络层)的参数不变，全连接层的学习率不为0，就可以继续学习得到微调训练后的全连接层新的参数，从而经过迭代训练得到更高的精度，其中，保持参数不变的方法是将对应层的学习率设置为0。
通过微调训练，可以在素材量较少的情况下，利用其它场景的素材作为预训练用于训练特征提取器，然后利用少量的素材微调达到更快的收敛速度和较高的精度。
通过上述实施方式，训练好第一检测模型，可以在各种实际运行环境中应用该第一检测模型。
其次，对于第二检测模型
该第二检测模型可以理解为第一检测对象的参照物所训练得到的模型，通过第二检测模型可以辅助确定检测对象的信息，例如，对车辆座位、椅背、车辆内放置衣物等进行检测，从而辅助确定用户信息。
本发明实施例中，可以利用深度学习对人体和座椅检测判断是否为儿童或成人的方案。在判断时，可以包括：将第一图像输入至第二检测网络(例如，座椅检测网络、椅背检测网络、衣物检测网络)，输出座椅和/或椅背的位置检测结果；将图像输入第一检测网络(人体检测网络)，判断图像中是否包含人体并输出人体检测结果；根据人体检测结果，结合座椅和/或椅背的位置检测结果，判断是否为儿童或成人。
对座椅和/或椅背的检测，可以用于辅助判断人体的体型、人头所在的特定区域等，排除随意放置的衣物的干扰，提高检测的准确度。
在得到第一检测模型和第二检测模型后，可以将最新采集的图像输入至模型中进行实时检测、分析判断，得到检测结果。
步骤S102，获取第一图像。
作为本发明可选的实施例，在获取第一图像之后，检测方法还包括：提取第一图像中的图像信息，使用检测对象检测器判断第一图像中是否存在第一检测对象，其中，第一检测对象包括下述至少之一：人脸、人头、躯干、四肢、人体；若第一图像中不存在第一检测对象，则删除第一图像；或者，若第一图像中存在第一检测对象，截取第一图像中第一检测对象所在的感兴趣区域；对第一图像中的感兴趣区域进行图像处理，得到包含合格的第一检测对象的第一检测图像。
上述感兴趣区域可以是指过滤掉不含掉人物之外的图像后的区域，主要针对图像中人物所在的区域进行检测。
本发明实施例中，可以通过RGB摄像头、拍摄模块或者红外摄像头等拍摄图像，得到第一图像，提取的图像信息中可以包含但不限于：RGB颜色信息、深度信息。对检测对象图像彩色通道颜色信息进行识别能够有效提升识别率，即提高检测对象属性分析的准确度。
本申请在检测时，无论是对于成人、小孩、老人都可以进行检测，检测方式多样化，包括对人体体型进行初步检测，以判断是否为小孩、成人等；或者通过年龄段或者身高检测，可以判断是否为小孩；还可以通过四肢等行为信息，通过动作频率等辅助判断是否小孩。另外，还可以通过服饰大小、颜色等判断性别，并判断是否为小孩。通过各种信息综合判别人物的类型。
可选的，使用检测对象检测器或者检测对象判断模型检测第一图像中感兴趣区域中第一检测对象所在的区域，排除没有检测对象的第一图像，可以得到包含检测对象的矩形或者其它规则的检测对象图像。
在本发明实施例中，对第一图像中的感兴趣区域进行图像处理，得到包含合格的第一检测对象的第一检测图像包括：对感兴趣区域进行初始质量评估，得到图像质量评估结果，其中，初始质量评估的评估内容包括下述至少之一：图像模糊评估、角度评估、位置评估、光照强度评估；若图像质量评估结果指示第一检测对象质量不合格，则停止检测第一图像；若图像质量评估结果指示第一检测对象质量合格，将感兴趣区域中第一检测对象所在的子区域作为第一检测图像。
上述实施例，对检测对象检测得到的矩形区域，做检测对象质量评估，将模糊、大角度、小尺寸、检测对象框严重偏离、光照不足的检测对象判定为质量不合格。对评估结果为不合格的第一检测对象返回不合格状态，并停止检测。对评估结果为合格的第一检测对象，执行下一步计算。
作为本发明可选的实施例，在将感兴趣区域中第一检测对象所在的子区域作为第一检测图像之后，检测方法还包括：提取第一检测图像中多个特征点坐标；确定特征点坐标中指示第一检测对象的中心点坐标，例如，第一检测对象可以包括：眼睛、嘴巴、躯干、四肢；基于第一检测对象的中心点坐标，将第一检测图像中的第一检测对象中心点映射至预设的第一标准图像中指示第一检测对象的中心点，以对齐第一检测图像和第一标准图像。
即可以通过特征点定位得到第一检测对象的轮廓和关键点坐标，第一检测对象的中心点可以包括但不限于：眼睛中心点、嘴角点、眼角点、鼻尖中心点、躯干中心部位、四肢中心部位。使用的特征点定位方案可以是基于landmark库得到的。
本申请中，为了提高各个中心点坐标(如眼睛中心点、嘴角点、眼角点、鼻尖中心点、躯干中心部位、四肢中心部位)的计算精度，可以针对中心点周围信息进行辅助定位，例如，为了提高眼睛中心点坐标的计算精度，可以采用眼周的上下左右和眼睛中心点加权得到眼睛中心点坐标。当然，也可以单独采用定位出来的眼睛中心点。
通过上述实施例，对筛选后的检测对象图像，做特征点定位，得到第一检测对象中心点坐标，然后可以利用仿射变换对齐和调整(主要是通过移动，缩放，翻转，旋转等一系列的变换)将待检测对象图像与标准检测对象图中的第一检测对象中心点调整到与标准检测对象图相对应的位置，经仿射变换得到与训练样本相同尺寸的三通道彩色图。
在本发明实施例中，将第一检测图像中的第一检测对象中心点映射至预设的第一标准图像中指示第一检测对象的中心点包括：以第一标准图像的第一检测对象的中心点为基准，将第一检测图像移动至第一标准图像上方；以第一检测对象的中心点为基准，按照第一标准图像的比例，缩小或扩大第一检测图像，以使第一检测图像与第一标准图像的大小一致；若第一检测图像的检测对象与第一标准图像的检测对象朝向不一致，则旋转第一检测图像，使第一检测图像的检测对象和第一标准图像检测对象朝向一致；在第一检测图像的检测对象和第一标准图像检测对象朝向一致后，确定将第一检测图像中的中心点映射至预设的第一标准图像中指示第一检测对象的中心点。
步骤S104，将第一图像输入至第一检测模型，以确定在目标区域内活动用户的用户信息，其中，用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息。
可选的，将第一图像输入至第一检测模型，以确定在目标区域内活动用户的用户信息的步骤，包括：通过第一检测模型的数据层将第一图像输入至第一检测模型的数据网络；利用第一检测模型的卷积层、池化层和激活层对第一图像进行图像特征抽取，得到多维图像输出向量；将多维图像输出向量输入至不同的全连接层，得到用户信息评估结果，并将用户信息评估结果输入输出层；利用第一检测模型的输出层输出用户信息，其中，用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息。
在本发明实施例，得到的多通道的彩色第一图像输入到预先训练得到的第一检测模型中进行计算，网络结构顺序可以为数据层->N个小组层->K个全连接层+输出层，其中N大于等于1。小组层包括卷积层、池化层、激活层。将所述多个通道的彩色图像输入到第一检测模型的特征抽取层，得到多维输出向量，将所述多维输出向量，输入到所述神经网络的不同全连接层，得到类别的输出结果。
本发明实施例除了可以识别出区域内用户的类别，还可以对用户的性别、行为、表情等进行识别，例如，分析用户在开车时是否有困意，若是在高速上能够及时发出危险提示，可以避免用户长时间开车出现疲劳造成的危险。
步骤S106，基于用户信息输出检测结果。
可选的，本发明实施例中用户信息的检测方法的应用场景包括下述至少之一：车辆内部人员监测、电梯人员监测。
以车辆内部人员监测为例，可以通过拍摄装置(如安装在车内的高清摄像头)获取进入车内的乘客检测对象图像数据，将检测对象图像数据输入到预先训练的第一检测模型中，输出检测对象类别信息，根据分析结果反馈给车载系统，这样车载系统就能智能的调整系统参数，并且驾驶员在行车和停车时根据系统提示做出合理的决策。
在本发明实施例，检测方法还包括：将第一图像输入至第二检测模型，以确定在第一图像内第二检测对象的检测信息，其中，第二检测对象为第一检测对象的参照物。
可选的，基于第二检测对象的检测信息和用户信息输出检测结果。
可选的，在得到检测结果后，可以根据检测结果确定是否发出报警提示。
以电梯小孩监测为例，安装在电梯内的终端拍摄装置可以获取进入电梯的检测对象图像，通过检测对象图像分析其年龄，将得到的年龄信息反馈给电梯控制系统，如果电梯内只有孩子没有大人的情况，通过报警装置发出报警信息，这样能有效避免孩子独自搭乘电梯造成的危险。
本发明实施例可以应用的场景不仅包括上述的车辆内部人员监测和电梯人员监测，还可以应用于其他场景中，例如，小学生校车、会议室。
本发明实施例中，可以通过深度学习的网络模型，检测出车上是否有小孩，并且在车门打开的时候根据检测结果确定孩子是否有危险，能够有效的避免小孩被遗忘在车中的情况，从而避免这类无意之中造成的悲剧。同时在检测到车上有小孩的时候，可以主动发出信号，让车载系统播放适合小孩的音乐，并且给出安全限速提示或者车窗状态提示，帮助司机做出合理的决策。
图2是根据本发明实施例的一种可选的用户信息的检测系统的示意图，如图2所示，该检测系统可以包括：图像捕获装置21，分析装置23，结果输出装置25，其中，
图像捕获装置21，用于获取第一图像；
分析装置23，用于将第一图像输入至第一检测模型，以确定在目标区域内活动用户的用户信息，其中，用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息；
结果输出装置25，用于基于用户信息输出检测结果。
上述用户信息的检测系统，可以通过图像捕获装置21获取第一图像，然后通过分析装置23将第一图像输入至第一检测模型，以确定在目标区域内活动用户的用户信息，其中，用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息，最后通过结果输出装置25基于用户信息输出检测结果。在该实施例中，若是检测方法应用于车辆内部区域监测，可以利用车辆内部第一图像分析车内人员的用户信息，对车内的人员的年龄、性别、行为、表情、体型、服饰等信息进行分析，分析出有关车内人员的检测结果，例如在车内有小孩被遗留的情况下，可以及时通过检测结果发出报警提示，从而达到预防小孩在车主下车后仍然被遗忘在车上的情况，减少车内人员发生危险的概率，这种分析图像内容得到用户信息的方案不会受到环境影响，仅需要保证图像拍摄装置能够正常工作即可，设备发生故障的概率明显降低，检测结果的稳定性较高，从而解决相关技术中通过红外传感器检测车辆内部区域的孩子状态，容易受到环境影响，造成设备失灵的技术问题。
可选的，图像捕获装置为独立的摄像装置或与结果输出装置集成在一个设备中的摄像装置。
另一种可选的，检测系统还包括：部位判断装置，用于在获取第一图像之后，提取第一图像中的图像信息，使用检测对象检测器判断第一图像中是否存在第一检测对象，其中，第一检测对象包括下述至少之一：人脸、人头、躯干、四肢、人体；删除单元，用于在第一图像中不存在第一检测对象时，删除第一图像；或者，截取单元，用于在第一图像中存在第一检测对象时，截取第一图像中第一检测对象所在的感兴趣区域；图像处理装置，用于对第一图像中的感兴趣区域进行图像处理，得到包含合格的第一检测对象的第一检测图像。
作为本发明可选的实施例，图像处理装置包括：质量评估单元，用于对感兴趣区域进行初始质量评估，得到图像质量评估结果，其中，初始质量评估的评估内容包括下述至少之一：图像模糊评估、角度评估、位置评估、光照强度评估；停止单元，用于在图像质量评估结果指示第一检测对象质量不合格时，停止检测第一图像；第一确定单元，用于在图像质量评估结果指示第一检测对象质量合格时，将感兴趣区域中第一检测对象所在的子区域作为第一检测图像。
可选的，检测系统还包括：坐标提取装置，用于在将感兴趣区域中第一检测对象所在的子区域作为第一检测图像之后，提取第一检测图像中多个特征点坐标；第二确定单元，用于确定特征点坐标中指示第一检测对象的中心点坐标，例如，第一检测对象可以包括：眼睛、嘴巴、躯干、四肢；第一映射单元，用于基于第一检测对象的中心点坐标，将第一检测图像中的第一检测对象中心点映射至预设的第一标准图像中指示第一检测对象的中心点，以对齐第一检测图像和第一标准图像。
在本发明实施例中，第一映射单元包括：第一移动模块，用于以第一标准图像的第一检测对象的中心点为基准，将第一检测图像移动至第一标准图像上方；对齐模块，用于以第一检测对象的中心点为基准，按照第一标准图像的比例，缩小或扩大第一检测图像，以使第一检测图像与第一标准图像的大小一致；旋转模块，用于在第一检测图像的检测对象与第一标准图像的检测对象朝向不一致时，旋转第一检测图像，使第一检测图像的检测对象和第一标准图像检测对象朝向一致；第一确定模块，用于在第一检测图像的检测对象和第一标准图像检测对象朝向一致后，确定将第一检测图像中的中心点映射至预设的第一标准图像中指示第一检测对象的中心点。
可选的，检测系统还包括：图像采集装置，用于在获取第一图像之前，采集包含不同图像因素的多张用户图像，其中，图像因素包括下述至少之一：图像场景、光照度、分辨率、用户装饰；图像过滤装置，用于过滤多张用户图像，得到对应不同用户类别的多份图像样本集，其中，每份图像样本集中的每张用户图像对应有第一检测对象的属性标签和用户所属类别的类别标识；裁剪单元，用于对多份图像样本集中的每张图像进行裁剪，得到多张第一标准图像；训练装置，用于将多份图像样本集的第一标准图像、每张第一标准图像上的第一检测对象的属性标签和类别标识输入至初始网络模型，以对初始网络模型进行训练，得到第一检测模型。
可选的，初始网络模型至少包括：数据层、卷积层、池化层、激活层、全连接层和输出层。
另一种可选的，训练装置包括：第一输入单元，用于将多份图像样本集的第一标准图像、每张第一标准图像上的第一检测对象的属性标签和类别标识通过初始网络模型的数据层输入至初始网络模型的训练网络中；第一训练单元，用于训练初始网络模型的卷积层，通过预先设置的卷积参数提取多份图像样本集的第一标准图像的数据特征，得到第一数据网络特征图，其中，卷积参数至少包括：第一提取步长、卷积核尺寸和卷积核个数；第二训练单元，用于训练初始网络模型的池化层，通过预先设置的池化参数对第一数据网络特征图进行下采样处理，得到第二数据网络特征图，其中，池化参数至少包括：第二提取步长、池化尺寸；第三训练单元，用于训练初始网络模型的激活层，对第二数据网络特征图进行非线性变化处理，其中，非线性变化处理的方式包括使用下述至少之一的激活函数：relu激活函数、prelu激活函数、relu6激活函数；第四训练单元，用于训练初始网络模型的全连接层，连接第一数据网络特征图和第二数据网络特征图，并通过预设的特征权重将特征图中的特征空间通过线性变换映射至标识空间，其中，标识空间用于记录第一检测对象的属性标签和类别标识；第五训练单元，用于训练初始网络模型的输出层，输出与每张第一标准图像对应的分类结果，其中，分类结果用于指示与第一标准图像中的检测对象对应的类别。
可选的，分析装置包括：图像处理模块，通过第一检测模型的数据层将第一图像输入至第一检测模型的数据网络；特征抽取单元，用于利用第一检测模型的卷积层、池化层和激活层对第一图像进行图像特征抽取，得到多维图像输出向量；第三输入单元，用于将多维图像输出向量输入至不同的全连接层，得到用户信息评估结果，并将用户信息评估结果输入输出层；输出单元，用于利用第一检测模型的输出层输出用户信息，其中，用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息。
可选的，检测系统还包括：图像输入单元，用于将第一图像输入至第二检测模型，以确定在第一图像内第二检测对象的检测信息，其中，第二检测对象为第一检测对象的参照物。
可选地，基于第二检测对象的检测信息和用户信息获取输出检测结果。
可选的，用户信息还包括：用户性别、用户活动姿态、表情、检测对象疲惫程度。
可选的，检测系统的应用场景包括下述至少之一：车辆内部人员监测、电梯人员监测。
可选的，根据检测结果确定是否发出报警提示。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的用户信息的检测方法。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述中任意一项的用户信息的检测方法。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取第一图像；将第一图像输入至第一检测模型，以确定在目标区域内活动用户的用户信息，其中，用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息；基于用户信息输出检测结果。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (20)

1.一种用户信息的检测方法，其特征在于，包括：
获取第一图像；
将所述第一图像输入至第一检测模型，以确定在目标区域内活动用户的用户信息，其中，所述用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息；
基于所述用户信息输出检测结果。
2.根据权利要求1所述的检测方法，其特征在于，在获取第一图像之后，所述检测方法还包括：
提取所述第一图像中的图像信息，判断所述第一图像中是否存在第一检测对象，其中，第一检测对象包括下述至少之一：人脸、人头、躯干、四肢、人体；
若所述第一图像中不存在所述第一检测对象，删除所述第一图像；或者，
若所述第一图像中存在所述第一检测对象，截取所述第一图像中第一检测对象所在的感兴趣区域；
对所述第一图像中的感兴趣区域进行图像处理，得到包含合格的第一检测对象的第一检测图像。
3.根据权利要求2所述的检测方法，其特征在于，对所述第一图像中的感兴趣区域进行图像处理，得到包含合格的第一检测对象的第一检测图像包括：
对所述感兴趣区域进行初始质量评估，得到图像质量评估结果，其中，所述初始质量评估的评估内容包括下述至少之一：图像模糊评估、角度评估、位置评估、光照强度评估；
若所述图像质量评估结果指示所述第一检测对象的质量不合格，则停止检测所述第一图像；
若所述图像质量评估结果指示所述第一检测对象的质量合格，将所述感兴趣区域中所述第一检测对象所在的子区域作为所述第一检测图像。
4.根据权利要求3所述的检测方法，其特征在于，在将所述第一检测对象所在的子区域作为所述第一检测图像之后，所述检测方法还包括：
提取所述第一检测图像中多个特征点坐标；
确定所述特征点坐标中指示第一检测对象的中心点坐标；
基于所述第一检测对象的中心点坐标，将所述第一检测图像中的第一检测对象中心点映射至预设的第一标准图像中指示所述第一检测对象的中心点，以对齐所述第一检测图像和所述第一标准图像。
5.根据权利要求4所述的检测方法，其特征在于，将所述第一检测图像中的第一检测对象中心点映射至预设的第一标准图像中指示所述第一检测对象的中心点包括：
以所述第一标准图像的第一检测对象的中心点为基准，将所述第一检测图像移动至所述第一标准图像上方；
以所述第一检测对象的中心点为基准，按照所述第一标准图像的比例，缩小或扩大所述第一检测图像，以使所述第一检测图像与所述第一标准图像的大小一致；
若所述第一检测图像的检测对象与所述第一标准图像的检测对象朝向不一致，则旋转所述第一检测图像，使所述第一检测图像的检测对象和第一标准图像检测对象朝向一致；
在所述第一检测图像的检测对象和第一标准图像检测对象朝向一致后，确定将所述第一检测图像中的中心点映射至所述第一标准图像中指示所述第一检测对象的中心点。
6.根据权利要求1所述的检测方法，其特征在于，在获取第一图像之前，所述检测方法还包括：
采集包含不同图像因素的多张用户图像，其中，所述图像因素包括下述至少之一：图像场景、光照度、分辨率、用户装饰；
过滤所述多张用户图像，得到对应不同用户类别的多份图像样本集，其中，每份所述图像样本集中的每张用户图像对应有第一检测对象的属性标签和用户所属类别的类别标识；
对所述多份图像样本集中的每张图像进行裁剪，得到多张第一标准图像；
将所述多份图像样本集的第一标准图像、每张所述第一标准图像上的第一检测对象的属性标签和类别标识输入至初始网络模型，以对所述初始网络模型进行训练，得到所述第一检测模型。
7.根据权利要求6所述的检测方法，其特征在于，所述初始网络模型至少包括：数据层、卷积层、池化层、激活层、全连接层和输出层。
8.根据权利要求7所述的检测方法，其特征在于，对所述初始网络模型进行训练，得到所述第一检测模型的步骤，包括：
将所述多份图像样本集的第一标准图像、每张所述第一标准图像上的第一检测对象的属性标签和类别标识通过所述初始网络模型的数据层输入至所述初始网络模型的训练网络中；
训练所述初始网络模型的卷积层，通过预先设置的卷积参数提取所述多份图像样本集的第一标准图像的数据特征，得到第一数据网络特征图，其中，所述卷积参数至少包括：第一提取步长、卷积核尺寸和卷积核个数；
训练所述初始网络模型的池化层，通过预先设置的池化参数对所述第一数据网络特征图进行下采样处理，得到第二数据网络特征图，其中，所述池化参数至少包括：第二提取步长、池化尺寸；
训练所述初始网络模型的激活层，对所述第二数据网络特征图进行非线性变化处理，其中，所述非线性变化处理的方式包括使用下述至少之一的激活函数：relu激活函数、prelu激活函数、relu6激活函数；
训练所述初始网络模型的全连接层，连接所述第一数据网络特征图和所述第二数据网络特征图，并通过预设的特征权重将特征图中的特征空间通过线性变换映射至标识空间，其中，所述标识空间用于记录第一检测对象的属性标签和类别标识；
训练所述初始网络模型的输出层，输出与每张第一标准图像对应的分类结果，其中，所述分类结果用于指示与所述第一标准图像中的检测对象对应的类别。
9.根据权利要求8所述的检测方法，其特征在于，将所述第一图像输入至第一检测模型，以确定在所述目标区域内活动用户的用户信息的步骤，包括：
通过所述第一检测模型的数据层将所述第一图像输入至所述第一检测模型的数据网络；
利用所述第一检测模型的卷积层、池化层和激活层对所述第一图像进行图像特征抽取，得到多维图像输出向量；
将所述多维图像输出向量输入至不同的全连接层，得到用户信息评估结果，并将所述用户信息评估结果输入至输出层；
利用所述第一检测模型的输出层输出用户信息。
10.根据权利要求1所述的检测方法，其特征在于，所述检测方法还包括：将所述第一图像输入至第二检测模型，以确定在所述第一图像内第二检测对象的检测信息，其中，所述第二检测对象为所述第一检测对象的参照物。
11.根据权利要求10所述的检测方法，其特征在于，基于所述第二检测对象的检测信息和所述用户信息输出检测结果。
12.根据权利要求1至11中任意一项所述的检测方法，其特征在于，所述检测方法的应用场景包括下述至少之一：车辆内部人员监测、电梯人员监测。
13.根据权利要求1至11中任意一项所述的检测方法，其特征在于，根据检测结果确定是否发出报警提示。
14.一种用户信息的检测系统，其特征在于，包括：
图像捕获装置，用于获取第一图像；
分析装置，用于将所述第一图像输入至第一检测模型，以确定在目标区域内活动用户的用户信息，其中，所述用户信息包括下述至少之一：用户年龄信息、用户性别信息、用户行为信息、用户表情信息、用户体型信息、用户服饰信息；
结果输出装置，用于基于所述用户信息输出检测结果。
15.根据权利要求14所述的检测系统，其特征在于，所述检测系统包括：
部位判断装置，用于在获取所述第一图像之后，提取所述第一图像中的图像信息，使用检测对象检测器判断所述第一图像中是否存在第一检测对象，其中，所述第一检测对象包括下述至少之一：人脸、人头、躯干、四肢、人体；
删除单元，用于在所述第一图像中不存在所述第一检测对象时，删除所述第一图像；或者，
截取单元，用于在所述第一图像中存在所述第一检测对象时，截取所述第一图像中第一检测对象所在的感兴趣区域；
图像处理装置，用于对所述第一图像中的感兴趣区域进行图像处理，得到包含合格的所述第一检测对象的第一检测图像。
16.根据权利要求15所述的检测系统，其特征在于，所述图像处理装置包括：
质量评估单元，用于对所述感兴趣区域进行初始质量评估，得到图像质量评估结果，其中，初始质量评估的评估内容包括下述至少之一：图像模糊评估、角度评估、位置评估、光照强度评估；
停止单元，用于在所述图像质量评估结果指示所述第一检测对象质量不合格时，停止检测所述第一图像；
第一确定单元，用于在所述图像质量评估结果指示所述第一检测对象质量合格时，将所述感兴趣区域中所述第一检测对象所在的子区域作为第一检测图像。
17.根据权利要求14所述的检测系统，其特征在于，所述检测系统还包括：图像输入单元，用于将所述第一图像输入至第二检测模型，以确定在所述第一图像内第二检测对象的检测信息，其中，第二检测对象为所述第一检测对象的参照物。
18.根据权利要求17所述的检测系统，其特征在于，基于所述第二检测对象的检测信息和所述用户信息输出所述检测结果。
19.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至13中任意一项所述的用户信息的检测方法。
20.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至13中任意一项所述的用户信息的检测方法。
CN201911158474.8A 2019-11-22 2019-11-22 用户信息的检测方法及系统、电子设备 Active CN112836549B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911158474.8A CN112836549B (zh) 2019-11-22 2019-11-22 用户信息的检测方法及系统、电子设备
PCT/CN2020/130631 WO2021098855A1 (zh) 2019-11-22 2020-11-20 用户信息的检测方法及系统、电子设备
EP20888865.1A EP4064113A4 (en) 2019-11-22 2020-11-20 USER INFORMATION DETECTION METHOD AND SYSTEM, AND ELECTRONIC DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911158474.8A CN112836549B (zh) 2019-11-22 2019-11-22 用户信息的检测方法及系统、电子设备

Publications (2)

Publication Number Publication Date
CN112836549A true CN112836549A (zh) 2021-05-25
CN112836549B CN112836549B (zh) 2024-07-26

Family

ID=75922153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911158474.8A Active CN112836549B (zh) 2019-11-22 2019-11-22 用户信息的检测方法及系统、电子设备

Country Status (3)

Country Link
EP (1) EP4064113A4 (zh)
CN (1) CN112836549B (zh)
WO (1) WO2021098855A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117942067A (zh) * 2022-10-20 2024-04-30 华为技术有限公司 体型测量方法及电子设备
CN116135614A (zh) * 2023-03-28 2023-05-19 重庆长安汽车股份有限公司 车内滞留人员保护方法、装置及车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105938551A (zh) * 2016-06-28 2016-09-14 深圳市唯特视科技有限公司 一种基于视频数据的人脸特定区域提取方法
EP3144851A1 (en) * 2015-09-18 2017-03-22 Panasonic Intellectual Property Corporation of America Image recognition method
CN108229267A (zh) * 2016-12-29 2018-06-29 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN109522790A (zh) * 2018-10-08 2019-03-26 百度在线网络技术（北京）有限公司 人体属性识别方法、装置、存储介质及电子设备
CN110472611A (zh) * 2019-08-21 2019-11-19 图谱未来(南京)人工智能研究院有限公司 人物属性识别的方法、装置、电子设备及可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426850B (zh) * 2015-11-23 2021-08-31 深圳市商汤科技有限公司 一种基于人脸识别的关联信息推送设备及方法
CN106295579B (zh) * 2016-08-12 2019-10-15 北京小米移动软件有限公司 人脸对齐方法及装置
US10192125B2 (en) * 2016-10-20 2019-01-29 Ford Global Technologies, Llc Vehicle-window-transmittance-control apparatus and method
CN106503669B (zh) * 2016-11-02 2019-12-10 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及系统
CN107169454B (zh) * 2017-05-16 2021-01-01 中国科学院深圳先进技术研究院 一种人脸图像年龄估算方法、装置及其终端设备
CN108985133B (zh) * 2017-06-01 2022-04-12 北京中科奥森数据科技有限公司 一种人脸图像的年龄预测方法及装置
US10838425B2 (en) * 2018-02-21 2020-11-17 Waymo Llc Determining and responding to an internal status of a vehicle
CN108549720A (zh) * 2018-04-24 2018-09-18 京东方科技集团股份有限公司 一种基于情绪识别的安抚方法、装置及设备、存储介质
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN110119714B (zh) * 2019-05-14 2022-02-25 山东浪潮科学研究院有限公司 一种基于卷积神经网络的驾驶员疲劳检测方法及装置
CN110210382A (zh) * 2019-05-30 2019-09-06 上海工程技术大学 一种基于时空特征识别的人脸疲劳驾驶检测方法及装置
CN110287942B (zh) * 2019-07-03 2021-09-17 成都旷视金智科技有限公司 年龄估计模型的训练方法、年龄估计方法以及对应的装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3144851A1 (en) * 2015-09-18 2017-03-22 Panasonic Intellectual Property Corporation of America Image recognition method
CN105938551A (zh) * 2016-06-28 2016-09-14 深圳市唯特视科技有限公司 一种基于视频数据的人脸特定区域提取方法
CN108229267A (zh) * 2016-12-29 2018-06-29 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN109522790A (zh) * 2018-10-08 2019-03-26 百度在线网络技术（北京）有限公司 人体属性识别方法、装置、存储介质及电子设备
CN110472611A (zh) * 2019-08-21 2019-11-19 图谱未来(南京)人工智能研究院有限公司 人物属性识别的方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
EP4064113A1 (en) 2022-09-28
CN112836549B (zh) 2024-07-26
WO2021098855A1 (zh) 2021-05-27
EP4064113A4 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
EP3732617B1 (en) Activity recognition method using videotubes
Fridman et al. Cognitive load estimation in the wild
Hoang Ngan Le et al. Robust hand detection and classification in vehicles and in the wild
CN110503630B (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
CN111027481B (zh) 基于人体关键点检测的行为分析方法及装置
García et al. Driver monitoring based on low-cost 3-D sensors
CN110795982A (zh) 一种基于人体姿态分析的表观视线估计方法
CN106372629A (zh) 一种活体检测方法和装置
AU2013254437A1 (en) Abnormal object track determination using a Gaussian Processes based Variational Bayes Expectation Maximisation
Paone et al. Baseline face detection, head pose estimation, and coarse direction detection for facial data in the SHRP2 naturalistic driving study
Jamshidi et al. Hierarchical deep neural networks to detect driver drowsiness
CN112818883B (zh) 基于眼动信号的感兴趣目标深度学习检测与定位方法
CN106570490A (zh) 一种基于快速聚类的行人实时跟踪方法
WO2021098855A1 (zh) 用户信息的检测方法及系统、电子设备
CN111985333A (zh) 一种基于图结构信息交互增强的行为检测方法及电子装置
Lim et al. A four dukkha state-space model for hand tracking
Biju et al. Drowsy driver detection using two stage convolutional neural networks
JP6773825B2 (ja) 学習装置、学習方法、学習プログラム、及び対象物認識装置
Anderson et al. Segmentation and linguistic summarization of voxel environments using stereo vision and genetic algorithms
CN116310675A (zh) 一种低照度下红外-可见光图像的特征互补图像处理方法
CN116012822A (zh) 一种疲劳驾驶的识别方法、装置及电子设备
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法
CN112733671A (zh) 行人检测方法、装置及可读存储介质
Craye et al. Biovision: a biomimetics platform for intrinsically motivated visual saliency learning
CN112084814A (zh) 一种学习辅助方法和智能装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: 19th Floor, Hongruan Building, No. 392 Binxing Road, Changhe Street, Binjiang District, Hangzhou City, Zhejiang Province 310000

Applicant after: Rainbow Software Co.,Ltd.

Address before: 310012 22nd and 23rd Floors of Building A, Paradise Software Park, No. 3 Xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: Rainbow Software Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant