CN116091921A - 图像处理方法、装置、设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116091921A
CN116091921A CN202211709203.9A CN202211709203A CN116091921A CN 116091921 A CN116091921 A CN 116091921A CN 202211709203 A CN202211709203 A CN 202211709203A CN 116091921 A CN116091921 A CN 116091921A
Authority
CN
China
Prior art keywords
target object
image
color
information
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211709203.9A
Other languages
English (en)
Inventor
黄焯真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lifei Software Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Hangzhou Lifei Software Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lifei Software Technology Co ltd, Shenzhen Intellifusion Technologies Co Ltd filed Critical Hangzhou Lifei Software Technology Co ltd
Priority to CN202211709203.9A priority Critical patent/CN116091921A/zh
Publication of CN116091921A publication Critical patent/CN116091921A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、设备及计算机可读存储介质，其中，该方法可以包括如下步骤：获取包括目标物体的至少一张图像；其中，每张图像携带有环境信息，环境信息包括目标物体的类别信息、目标物体的置信度、目标物体的颜色类别以及颜色占比；置信度用于表征目标物体所处周围环境的环境信息的可信程度；颜色占比用于表征目标物体的颜色类别在整张图片中的面积占比；基于目标物体的类别信息、目标物体的置信度、目标物体的颜色类别以及颜色占比确定至少一张图像中目标物体所处的一个或多个环境类型。实施本申请，可以准确地识别出物体所处的环境类型，为城市的色彩分析和环境诊断提供基础。

Description

图像处理方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。
背景技术
图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用，一般可以包括四个步骤，图像采集、图像预处理、特征提取、图像识别。现阶段图像识别技术一般分为人脸识别与商品识别，人脸识别主要运用在安全检查、身份核验与移动支付中；商品识别主要运用在商品流通过程中，特别是无人货架、智能零售柜等无人零售领域。申请人在研究中发现，目前并没有提出相关图像识别技术来实现对城市的色彩分析和环境诊断。
发明内容
本申请实施例提供一种图像处理方法、装置、设备及计算机可读存储介质，可以准确地识别出物体所处的环境类型，为城市的色彩分析和环境诊断提供基础。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取包括目标物体的至少一张图像；其中，每张图像携带有环境信息，所述环境信息包括所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比；所述置信度用于表征所述目标物体所处周围环境的环境信息的可信程度；所述颜色占比用于表征所述目标物体的颜色类别在整张图片中的面积占比；
基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型。
实施本申请实施例，基于物体的类别信息、物体的置信度、物体的颜色类别以及颜色占比识别图像中所包含的物体所处的环境类型，以这种方式，可以准确地识别出物体所处的环境类型，为城市的色彩分析和环境诊断提供基础。
在一种可能的实现方式中，所述基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型，包括：
通过训练好的机器学习模型对所述目标物体的至少一张图像进行处理，确定所述至少一张图像中所述目标物体所处的一个或多个环境类型，其中，所述训练好的机器学习模型为基于至少一个样本图像训练得到的模型，每个样本图像关联有标注数据，所述标注数据包括物体的类别信息、物体的置信度、物体的颜色类别以及颜色占比。
在一种可能的实现方式中，所述基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型，包括：
针对所述至少一张图像中的每张图像分别进行处理，基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述目标物体在所述每张图像中所处环境类型的概率分布；
对所述每张图像分别对应的概率分布进行整合，得到所述至少一张图像中所述目标物体所处的一个或多个环境类型。
在一种可能的实现方式中，所述目标物体的至少一张图像各自对应的成像质量大于预设阈值。
在一种可能的实现方式中，所述目标物体的颜色占比为主颜色占比。示例性地，目标物体的颜色一般可以包括多种颜色类别，基于主颜色占比识别物体所处的环境类型时，可以保证识别精度。
在一种可能的实现方式中，所述多个环境类型之间的相似度大于第二预设阈值。
在一种可能的实现方式中，所述至少一张图像包括第一图像和第二图像，所述第一图像携带有第一时间信息，所述第二图像携带有第二时间信息，所述第二时间信息为所述第一时间信息之后的时间点；所述方法还包括：
分别获取所述第一图像和所述第二图像中每种颜色的颜色比例；
在所述第一图像和所述第二图像各自对应的每种颜色的颜色比例不一致的情况下，确定所述目标物体在所述第二时间信息时所处的周围环境发生了变化。
第二方面，本申请实施例提供了一种图像处理装置，包括：
图像获取单元，用于获取包括目标物体的至少一张图像；其中，每张图像携带有环境信息，所述环境信息包括所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比；所述置信度用于表征所述目标物体所处周围环境的环境信息的可信程度；所述颜色占比用于表征所述目标物体的颜色类别在整张图片中的面积占比；
处理单元，用于基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储支持电子设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
第五方面，本申请实施例还提供了一种计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
本公开实施例提供的图像处理方法、装置、设备及计算机可读存储介质，通过采集包括目标物体的多张图像，每张图像携带有环境信息，环境信息包括目标物体的类别信息、目标物体的置信度、目标物体的颜色类别以及颜色占比；置信度用于表征目标物体所处周围环境的环境信息的可信程度；颜色占比用于表征目标物体的颜色类别在整张图片中的面积占比；并基于目标物体的类别信息、目标物体的置信度、目标物体的颜色类别以及颜色占比确定至少一张图像中目标物体所处的一个或多个环境类型。以这种方式，可以提高对目标物体所处环境类型的识别精度。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2是本申请实施例提供的一种机器学习模型训练方法流程图；
图3是本申请实施例提供的一种图像处理方法的流程示意图；
图4本申请实施例提供的另一种图像处理方法的流程示意图；
图5是本申请实施例提供的一种图像处理装置的结构示意图；
图6是本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
首先，参照图1来描述用于实现根据本申请实施例的机器学习模型训练方法和装置或者图像处理方法和装置的示例电子设备100。如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108。电子设备100还可以包括数据获取装置110和/或图像采集装置112，这些组件通过总线系统114和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM、硬盘、闪存)等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本申请实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。
在电子设备100用于实现根据本申请实施例的机器学习模型训练方法和装置以及图像处理方法和装置的情况下，电子设备100可以包括数据获取装置110。所述数据获取装置110可以获取样本图像(包括视频帧)和对应的标注数据，并且将所采集的样本图像和标注数据存储在所述存储装置104中以供其它组件使用。例如，数据获取装置110可以包括有线或无线网络接口、通用串行接口总线(USB)接口、光盘驱动器等中的一个或多个。
在电子设备100用于实现根据本申请实施例的图像处理方法和装置的情况下,电子设备100可以包括图像采集装置112。所述图像采集装置112可以采集图像(包括视频帧)，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置112可以是摄像头，应当理解，图像采集装置112仅是示例，电子设备100可以不包括图像采集装置112。在这种情况下，可以利用其他具有图像采集能力的器件采集待处理图像，并将采集的图像发送给电子设备100。
示例性地，用于实现根据本申请实施例的机器学习模型训练方法和装置以及图像处理方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面结合图2具体介绍本申请提出的机器学习模型训练方法，如图2所示，该方法可以包括但不限于如下步骤：
在步骤S201、获取样本图像和对应的标注数据，其中，标注数据包括物体的类别信息、物体的置信度、物体的颜色类别以及颜色占比。
物体可以是任何物体，例如人、汽车、建筑等等。在下文的描述中，将以目标物体为例描述本申请，然而这并非对本申请的限制，本申请可以适用于其他物体的抠像应用。
样本图像可以是电子设备100获取的原始图像，也可以是对原始图像进行预处理之后获得的图像。标注数据(ground truth)可以是人工标注好的。例如，标注数据可以指示样本图像中各像素的类别，属于不同对象的像素可以用不同颜色表示以进行区分。
样本图像和标注数据可以由远程设备(诸如存储有训练数据集的服务器)发送到电子设备100以由电子设备100的处理器102进行机器学习模型训练，也可以由电子设备100包括的数据获取装置110获取并传送到处理器102进行机器学习模型训练。
在步骤S202、利用损失函数、样本图像和对应的标注数据对机器学习模型进行训练，得到训练好的机器学习模型。
在基于损失函数对机器学习模型进行训练的过程中，可以采用反向传播算法调整机器学习模型中采用的参数(或说权值)，直到训练收敛，以获得训练好的机器学习模型。示例性地，根据本申请实施例的机器学习模型训练方法可以在具有存储器和处理器的设备、装置或者系统中实现。根据本申请实施例的机器学习模型训练方法可以独立部署在客户端或服务器处。替代地，根据本申请实施例的机器学习模型训练方法还可以分布地部署在服务器端(或云端)和客户端处。例如，可以在客户端获取样本图像和标注数据，客户端将获取的图像传送给服务器端(或云端)，由服务器端(或云端)进行机器学习模型训练。
根据本申请实施例，机器学习模型可以采用神经网络实现。当然，本申请不局限于神经网络，任何基于参数学习的模型都可以应用于本申请。神经网络是一种能够自主学习的网络，其具有强大的图像处理能力，是非常好的模型选择。另外，本申请实施例还可以通过多种方式对样本图像进行增强，从而增强该机器学习模型的鲁棒性。
本申请实施例提供的机器学习模型训练方法主要在训练过程中生效，并不影响机器学习模型的部署使用。
根据本申请另一方面，提供一种图像处理方法。图3示出根据本申请一个实施例的图像处理方法的示意性流程图，该方法可以包括但不限于如下步骤：
步骤S301、获取包括目标物体的至少一张图像；其中，每张图像携带有环境信息，环境信息包括目标物体的类别信息、目标物体的置信度、目标物体的颜色类别以及颜色占比；置信度用于表征目标物体所处周围环境的环境信息的可信程度；颜色占比用于表征目标物体的颜色类别在整张图片中的面积占比。
包括目标物体的图像可以是图像采集装置采集到的图像，也可以是进行预处理之后获得的图像。包括目标物体的图像可以是静态图像，也可以是视频流中的视频图片帧。
包括目标物体的图像可以由客户端设备(诸如包括摄像头的移动终端)发送到电子设备100以由电子设备100的处理器102进行图像处理，也可以由电子设备100包括的图像采集装置110采集并传送到处理器102进行图像处理。
目标物体的颜色类别可以包括白、黑、红、黄、绿、蓝、橙、褐、紫中的至少一种。
需要说明的是，不同环境场景下，比如，不同的天气状况(阴、晴、雪、雨)下，目标物体的周围环境信息不同，此时，不同环境场景中，置信度可能不同。其中，对于不同环境信息，得到环境信息的可信程度的方式可能不同。示例性地，可以用物体判定为某一类物体的概率作为置信度。
目标物体的颜色占比是指，目标物体的颜色类别在整张图片中的面积占比。一般情况下，对目标物体来说，其可以包括多种颜色类别。为了提高识别目标物体所处环境类型的识别精度，该颜色占比可以是主颜色占比。
例如，包括目标物体的图像可以是公园场景中的绿叶，绿叶的颜色类别为绿色，颜色占比为80％。又例如，包括目标物体的图像可以是十字路上上的斑马线，其中，斑马线的颜色类别为白色，颜色占比为80％。又例如，包括目标物体的图像为道路旁边的广告牌，其中，广告牌的颜色类别为蓝色，颜色占比为60％。
例如，在本申请实施例中，假设图像采集装置在拍摄包括目标物体的图像的过程中，存在抖动，进而出现了镜头模糊现象。在这种情况下，容易出现误判现象。当目标物体的至少一张图像各自对应的成像质量大于第一预设阈值时，以这种方式，可以提高识别目标物体所处环境类型的精度。
步骤S302、基于目标物体的类别信息、目标物体的置信度、目标物体的颜色类别以及颜色占比确定至少一张图像中目标物体所处的一个或多个环境类型。
可以理解的是，环境类型可以包括天气环境、场地环境、光照环境等，其中，天气环境可以包括晴天、雨天、雪天、阴天等。场地环境可以包括公园、十字路口、门店、平坦地地面、坑地、洼地等。光照环境可以是白天、晚上、强光等。另外，该环境类型还可以成为场景类型。
例如，可以通过训练好的机器学习模型对目标物体的至少一张图像进行处理，从而确定出至少一张图像中目标物体所处的一个或多个环境类型。例如，针对10张图像中的每张图像，可以将该图像输入到训练好的机器学习模型中，从而识别出目标物体所处的一个或多个环境类型。
又例如，可以针对至少一张图像中的每张图像分别进行处理，基于目标物体的类别信息、目标物体的置信度、目标物体的颜色类别以及颜色占比确定目标物体在每张图像中所处环境类型的概率分布；对每张图像分别对应的概率分布进行整合，得到至少一张图像中目标物体所处的一个或多个环境类型。例如，针对10张图像中每张图像对应的预测结果是一个多维数组，该多维数据可以是一个概率分布。之后，通过整合模型对概率值进行整合，例如，该整合模型的输出可以是3个概率值，这3个概率值表示晴天、雨天、阴天的概率。例如，A>B>C，此时，将概率值A对应的环境类型确定为目标物体所处的环境类型。又例如，A>B>C，其中，A与B之间的差值非常小，此时，可以将A和B分别对应的环境类型确定为目标物体所处的环境类型。进一步地，多个环境类型之间的相似度大于第二预设阈值。以这种方式，可以提高识别目标物体所处环境类型的精度。
示例性地，整合模型的算法可以选用机器学习回归算法。另外，整合模型可以选用的模型包括但不限于逻辑回归、随机森林﹑梯度提升决策树(Gradient BoostingDecisionTree,GBDT)，极致梯度提升(eXtreme Gradient Boosting,xgboot)、轻梯度提升机制(Light Gradient Boosting Machine，LightGBM)等模型，或者也可以选用深度神经网络回归模型，对模型进行分类训练。这种情况下获得的整合了多层、多摄像头拍摄的图像，对于环境类型或场景类型的判断更加的准确。
总的来说，本公开实施例提供的图像处理方法，通过采集包括目标物体的多张图像，每张图像携带有环境信息，环境信息包括目标物体的类别信息、目标物体的置信度、目标物体的颜色类别以及颜色占比；置信度用于表征目标物体所处周围环境的环境信息的可信程度；颜色占比用于表征目标物体的颜色类别在整张图片中的面积占比；并基于目标物体的类别信息、目标物体的置信度、目标物体的颜色类别以及颜色占比确定至少一张图像中目标物体所处的一个或多个环境类型。以这种方式，可以提高对目标物体所处环境类型的识别精度
如图4所示，为本申请实施例提供的另一种图像处理方法，该方法旨在说明，可以基于包括目标物体的不同图像所关联的时间信息来确定目标物体所处的周围环境是否随着时间发生变化，可以包括但不限于如下步骤：
步骤S401、分别获取第一图像和第二图像中每种颜色的颜色比例。
步骤S402、判断第一图像和第二图像各自对应的每种颜色的颜色比例是否一致，若一致，执行步骤S403，若不一致，执行步骤S404。
步骤S403、确定目标物体在第二时间信息时所处的周围环境发生了变化。
步骤S404、确定目标物体在第二时间信息时所处的周围环境未发生变化。
以这种方式，可以更好的对城市色彩进行具体分析。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本披露并不受所描述的动作顺序的限制，因为依据本披露，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本披露所必须的。
进一步需要说明的是，虽然图3、图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3、图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
上文结合图1-图4对本申请实施例的图像处理方法进行了详细描述，为了便于更好地实施本申请实施例的上述方案，相应地，下面还提供用于配合实施上述方案的相关装置和设备。
参见图5，是本申请实施例提供的一种图像处理装置50的结构示意图，可以包括：
图像获取单元500，用于获取包括目标物体的至少一张图像；其中，每张图像携带有环境信息，所述环境信息包括所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比；所述置信度用于表征所述目标物体所处周围环境的环境信息的可信程度；所述颜色占比用于表征所述目标物体的颜色类别在整张图片中的面积占比；
处理单元502，用于基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型。
在一种可能的实现方式中，所处处理单元502，具体用于：
通过训练好的机器学习模型对所述目标物体的至少一张图像进行处理，确定所述至少一张图像中所述目标物体所处的一个或多个环境类型，其中，所述训练好的机器学习模型为基于至少一个样本图像训练得到的模型，每个样本图像关联有标注数据，所述标注数据包括物体的类别信息、物体的置信度、物体的颜色类别以及颜色占比。
在一种可能的实现方式中，所处处理单元502，具体用于：
针对所述至少一张图像中的每张图像分别进行处理，基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述目标物体在所述每张图像中所处环境类型的概率分布；
对所述每张图像分别对应的概率分布进行整合，得到所述至少一张图像中所述目标物体所处的一个或多个环境类型。
在一种可能的实现方式中，所述目标物体的至少一张图像各自对应的成像质量大于第一预设阈值。
在一种可能的实现方式中，所述目标物体的颜色占比为主颜色占比。
在一种可能的实现方式中，所述多个环境类型之间的相似度大于第二预设阈值。
在一种可能的实现方式中，所述至少一张图像包括第一图像和第二图像，所述第一图像携带有第一时间信息，所述第二图像携带有第二时间信息，所述第二时间信息为所述第一时间信息之后的时间点；所述装置50还包括：
环境变化确定单元504，用于分别获取所述第一图像和所述第二图像中每种颜色的颜色比例；
在所述第一图像和所述第二图像各自对应的每种颜色的颜色比例不一致的情况下，确定所述目标物体在所述第二时间信息时所处的周围环境发生了变化。
需要说明的是，上述系统中的各个装置还可以包括其他单元，各个设备、单元的具体实现可以参见上述方法实施例中相关描述，此处，不再赘述。
为了便于更好地实施本申请实施例的上述方案，本申请还对应提供了一种电子设备60，下面结合附图来进行详细说明：
如图6示出的本申请实施例提供的电子设备的结构示意图，电子设备600可以包括处理器601、存储器604和通信模块605，处理器601、存储器604和通信模块605可以通过总线606相互连接。存储器604可以是高速随机存储记忆体(Random Access Memory，RAM)存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器604可选的还可以是至少一个位于远离前述处理器601的存储系统。存储器604用于存储应用程序代码，可以包括操作系统、网络通信模块、用户接口模块以及数据处理程序，通信模块605用于与外部设备进行信息交互；处理器601被配置用于调用该程序代码，执行以下步骤：
获取包括目标物体的至少一张图像；其中，每张图像携带有环境信息，所述环境信息包括所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比；所述置信度用于表征所述目标物体所处周围环境的环境信息的可信程度；所述颜色占比用于表征所述目标物体的颜色类别在整张图片中的面积占比；
基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型。
其中，处理器601基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型，包括：
通过训练好的机器学习模型对所述目标物体的至少一张图像进行处理，确定所述至少一张图像中所述目标物体所处的一个或多个环境类型，其中，所述训练好的机器学习模型为基于至少一个样本图像训练得到的模型，每个样本图像关联有标注数据，所述标注数据包括物体的类别信息、物体的置信度、物体的颜色类别以及颜色占比。
其中，处理器601基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型，包括：
针对所述至少一张图像中的每张图像分别进行处理，基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述目标物体在所述每张图像中所处环境类型的概率分布；
对所述每张图像分别对应的概率分布进行整合，得到所述至少一张图像中所述目标物体所处的一个或多个环境类型。
其中，所述目标物体的至少一张图像各自对应的成像质量大于第一预设阈值。
其中，所述目标物体的颜色占比为主颜色占比。
其中，所述多个环境类型之间的相似度大于第二预设阈值。
其中，所述至少一张图像包括第一图像和第二图像，所述第一图像携带有第一时间信息，所述第二图像携带有第二时间信息，所述第二时间信息为所述第一时间信息之后的时间点；处理器601还用于：
分别获取所述第一图像和所述第二图像中每种颜色的颜色比例；
在所述第一图像和所述第二图像各自对应的每种颜色的颜色比例不一致的情况下，确定所述目标物体在所述第二时间信息时所处的周围环境发生了变化。
本申请实施例还提供了一种计算机存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个实施例所述方法中的一个或多个步骤。上述装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中，基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机产品存储在计算机可读存储介质中。
上述计算机可读存储介质可以是前述实施例所述的设备的内部存储单元，例如硬盘或内存。上述计算机可读存储介质也可以是上述设备的外部存储设备，例如配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，上述计算机可读存储介质还可以既包括上述设备的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可通过计算机程序来指令相关的硬件来完成，该计算机的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
可以理解，本领域普通技术人员可以意识到，结合本申请各个实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本领域技术人员能够领会，结合本申请各个实施例中公开描述的各种说明性逻辑框、模块和算法步骤所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么各种说明性逻辑框、模块、和步骤描述的功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本申请中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取包括目标物体的至少一张图像；其中，每张图像携带有环境信息，所述环境信息包括所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比；所述置信度用于表征所述目标物体所处周围环境的环境信息的可信程度；所述颜色占比用于表征所述目标物体的颜色类别在整张图片中的面积占比；
基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型。
2.如权利要求1所述的方法，其特征在于，所述基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型，包括：
通过训练好的机器学习模型对所述目标物体的至少一张图像进行处理，确定所述至少一张图像中所述目标物体所处的一个或多个环境类型，其中，所述训练好的机器学习模型为基于至少一个样本图像训练得到的模型，每个样本图像关联有标注数据，所述标注数据包括物体的类别信息、物体的置信度、物体的颜色类别以及颜色占比。
3.如权利要求1所述的方法，其特征在于，所述基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型，包括：
针对所述至少一张图像中的每张图像分别进行处理，基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述目标物体在所述每张图像中所处环境类型的概率分布；
对所述每张图像分别对应的概率分布进行整合，得到所述至少一张图像中所述目标物体所处的一个或多个环境类型。
4.如权利要求1-3任一项所述的方法，其特征在于，所述目标物体的至少一张图像各自对应的成像质量大于第一预设阈值。
5.如权利要求1-3任一项所述的方法，其特征在于，所述目标物体的颜色占比为主颜色占比。
6.如权利要求1-3任一项所述的方法，其特征在于，所述多个环境类型之间的相似度大于第二预设阈值。
7.如权利要求1所述的方法，其特征在于，所述至少一张图像包括第一图像和第二图像，所述第一图像携带有第一时间信息，所述第二图像携带有第二时间信息，所述第二时间信息为所述第一时间信息之后的时间点；所述方法还包括：
分别获取所述第一图像和所述第二图像中每种颜色的颜色比例；
在所述第一图像和所述第二图像各自对应的每种颜色的颜色比例不一致的情况下，确定所述目标物体在所述第二时间信息时所处的周围环境发生了变化。
8.一种图像处理装置，其特征在于，包括：
图像获取单元，用于获取包括目标物体的至少一张图像；其中，每张图像携带有环境信息，所述环境信息包括所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比；所述置信度用于表征所述目标物体所处周围环境的环境信息的可信程度；所述颜色占比用于表征所述目标物体的颜色类别在整张图片中的面积占比；
处理单元，用于基于所述目标物体的类别信息、所述目标物体的置信度、所述目标物体的颜色类别以及颜色占比确定所述至少一张图像中所述目标物体所处的一个或多个环境类型。
9.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
CN202211709203.9A 2022-12-29 2022-12-29 图像处理方法、装置、设备及计算机可读存储介质 Pending CN116091921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211709203.9A CN116091921A (zh) 2022-12-29 2022-12-29 图像处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211709203.9A CN116091921A (zh) 2022-12-29 2022-12-29 图像处理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116091921A true CN116091921A (zh) 2023-05-09

Family

ID=86211424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211709203.9A Pending CN116091921A (zh) 2022-12-29 2022-12-29 图像处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116091921A (zh)

Similar Documents

Publication Publication Date Title
CN109461168B (zh) 目标对象的识别方法和装置、存储介质、电子装置
US10896323B2 (en) Method and device for image processing, computer readable storage medium, and electronic device
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
US10496880B2 (en) Method and apparatus for comparing objects in images
CN111797653B (zh) 基于高维图像的图像标注方法和装置
EP3579148A1 (en) Method and apparatus for training, classification model, mobile terminal, and readable storage medium
US8345921B1 (en) Object detection with false positive filtering
CN108269254B (zh) 图像质量评估方法和装置
TW202026948A (zh) 活體檢測方法、裝置以及儲存介質
CN110163188B (zh) 视频处理以及在视频中嵌入目标对象的方法、装置和设备
CN108369651B (zh) 一种提取天空区域的方法、系统及非暂时性计算机可读存储介质
CN109116129B (zh) 终端检测方法、检测设备、系统及存储介质
CN108764371A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
WO2020259416A1 (zh) 图像采集控制方法、装置、电子设备及存储介质
CN113011403A (zh) 手势识别方法、系统、介质及设备
CN114387548A (zh) 视频及活体检测方法、系统、设备、存储介质及程序产品
CN115147936A (zh) 一种活体检测方法、电子设备、存储介质及程序产品
CN116363538B (zh) 一种基于无人机的桥梁检测方法及系统
CN116664694A (zh) 图像亮度获取模型的训练方法、图像获取方法及移动终端
Kročka et al. Extending parking occupancy detection model for night lighting and snowy weather conditions
CN116091921A (zh) 图像处理方法、装置、设备及计算机可读存储介质
WO2022044297A1 (ja) 情報処理方法、情報処理装置及び情報処理プログラム
CN115393901A (zh) 一种跨模态行人重识别方法及计算机可读存储介质
CN114565544A (zh) 一种图像融合方法、设备、产品及介质
Kaur et al. Deep learning: survey of environmental and camera impacts on internet of things images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination