CN113506283A - 图像处理方法及装置、存储介质、电子装置 - Google Patents
图像处理方法及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN113506283A CN113506283A CN202110846828.9A CN202110846828A CN113506283A CN 113506283 A CN113506283 A CN 113506283A CN 202110846828 A CN202110846828 A CN 202110846828A CN 113506283 A CN113506283 A CN 113506283A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- preset
- sequence
- article
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 231100001261 hazardous Toxicity 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 239000013056 hazardous product Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30112—Baggage; Luggage; Suitcase
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像处理方法及装置、存储介质、电子装置，该方法包括：在目标图像序列中插入预设物品图像；其中，目标图像序列中包含目标物品，目标图像序列中包括N帧X光图像，N是大于1的自然数；融合所述预设物品图像和所述N帧X光图像；利用预设参数调整融合后的图像，以在调整后的图像中显示目标物品。通过本发明，解决了相关技术中对图像的融合失真的问题，达到提高融合图像的清晰度以及逼真性的效果。
Description
技术领域
本发明实施例涉及图像处理领域，具体而言，涉及一种图像处理方法及装置、存储介质、电子装置。
背景技术
在X光安检机的图像处理领域中，危险品图像融合技术是一项重要的图像处理技术。在日常的安检环节中，遇到真正携带危险品的包裹图像极少。一方面，安检员识别安检图像中危险品的能力需要大量含有危险品的图像进行教学、训练；另一方面，当前的X光机智能判图的模型也依赖大量含有违禁品图像进行训练和优化。因此，通过危险品图像融合技术来合成大量含有危险品的图像，具有重要的意义和价值。
安检机的图像有着较强的特殊性，一方面其成像颜色需要满足国标要求，对不同的物质、不同厚度需要有特定的色调、饱和度去反应，另一方面，安检机图像相对于自然光图像，有着透视的特性。目前使用较为广泛的X光安检机图像合成方式，主要分为基于安检机自身原始能量数据、基于已渲染的RGB图像的融合方式两种。
基于能量图的融合方式，需要安检机的原始能量数据，但该数据往往由安检机生产厂家掌握，外部难以获取；基于RGB的安检机图像融合，通常借鉴了传统图像的融合方式，直接使用像素替换等方式融合的图像，不符合安检机成像的透视特性。使用Mixup等图像融合方式，主观视觉上与安检机的成像颜色差异较大，不符合融合要求。
针对上述技术问题，相关技术中尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像处理方法及装置、存储介质、电子装置，以至少解决相关技术中对图像的融合造成图像失真的问题。
根据本发明的一个实施例，提供了一种图像处理方法，包括：在目标图像序列中插入预设物品图像；其中，目标图像序列中包含目标物品，目标图像序列中包括N帧X光图像，N是大于1的自然数；融合上述预设物品图像和上述N帧X光图像；利用预设参数调整融合后的图像，以在调整后的图像中显示目标物品。
根据本发明的另一个实施例，提供了一种图像处理装置，包括：第一插入模块，用于在目标图像序列中插入预设物品图像；其中，目标图像序列中包含目标物品，目标图像序列中包括N帧X光图像，N是大于1的自然数；第一融合模块，用于融合上述预设物品图像和上述N帧X光图像；第一调整模块，用于利用预设参数调整融合后的图像，以在调整后的图像中显示目标物品。
在一个示例性实施例中，上述装置还包括：第一获取模块，用于在目标设备输出的目标图像序列中包括目标物品的情况下，在上述目标图像序列中插入预设物品图像之前，获取预设物品的M帧X光图像，其中，上述M帧X光图像包括经过渲染后的RGB图像，上述M是大于或等于1的自然数，上述M帧X光图像中包括上述预设物品图像；第一裁剪模块，用于裁剪所述M帧X光图像，并确定裁剪后的M帧X光图像的宽度信息和高度信息；第一保存模块，用于将裁剪的上述M帧X光图像的图像矩阵、上述宽度信息、上述高度信息对应保存在预设物品图像集合中。
在一个示例性实施例中，上述装置还包括：第一获取单元，用于获取第一高度的上述目标图像序列；第一遍历单元，用于遍历上述目标图像序列中的每个像素点，确定上述目标图像序列中N帧图像的RGB数值中的最小值；第一构建单元，用于利用上述最小值构建序列向量；第二遍历单元，用于遍历上述序列向量，确定上述目标图像序列中包括的上述目标物品。
在一个示例性实施例中，第二遍历单元，包括：第一遍历子单元，用于按照第一方向和第二方向遍历上述序列向量，其中，上述第一方向和上述第二方向相反；第一标记子单元，用于将在上述第一方向遍历的第一个小于第一预设阈值的向量值标记为第一起始位置；第二标记子单元，用于将在上述第二方向遍历的第一个小于上述第一预设阈值的向量值标记为第二位置；第一确定子单元，用于在上述第一起始位置和上述第二位置不相同的情况下，确定上述目标图像序列中包括的上述目标物品。
在一个示例性实施例中，上述第一插入模块包括：第二确定单元，用于在上述目标图像序列中确定插入上述预设物品图像的第一起始位置，其中，上述第一起始位置包括上述目标图像序列中水平方向上的位置；第三确定单元，用于在上述目标图像序列中确定插入上述预设物品图像的第二起始位置，其中，上述第二起始位置包括上述目标图像序列中垂直方向上的位置；第一插入单元，用于按照上述第一起始位置和上述第二起始位置在上述目标图像序列中插入上述预设物品图像。
在一个示例性实施例中，第二确定单元包括：第二确定子单元，用于将上述目标图像序列中首次出现上述目标物品的图像帧所在的位置确定为上述第一起始位置。
在一个示例性实施例中，上述第三确定单元，包括：第三确定子单元，用于在上述第一起始位置和目标位置之间，随机选择一个位置确定为上述第二起始位置；其中，上述目标位置通过以下方式确定：计算上述第一起始位置的高度与上述目标物品的高度之间的和值；将上述和值与上述预设物品图像的高度之间的差值确定为上述目标位置。
在一个示例性实施例中，上述第一插入单元，包括：第一选择子单元，用于从预设物品图像集合中随机选择上述预设物品图像，其中，上述预设物品图像的高度小于上述目标物品的高度；第一插入子单元，用于将上述目标物品从上述第一起始位置和上述第二起始位置依次插入至上述目标图像序列中的每一列的图像中。
在一个示例性实施例中，上述第一融合模块，包括：第一转换单元，用于将上述预设物品图像和上述图像序列中的每帧目标物品图像从RGB颜色空间转换至HSV颜色空间中；第二获取单元，用于从上述HSV颜色空间中获取每帧上述预设物品图像的明度V分量和上述目标物品图像的明度V分量；第一计算单元，用于按照上述预设物品图像的明度V分量和每帧上述目标物品图像的明度V分量，计算融合系数；第二计算单元，用于基于上述融合系数计算上述预设物品图像和每帧上述目标物品图像在RGB颜色空间中的三原色值；第一融合单元，用于按照上述三原色值融合上述预设物品图像和每帧上述目标物品。
在一个示例性实施例中，上述第一调整模块，包括：第四确定单元，用于确定上述融合后的图像的三原色值；第一调整单元，用于按照上述预设参数和上述融合后的图像的三原色值调整融合后的图像，以在调整后的图像中显示目标物品。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，通过在目标图像序列中插入预设物品图像；其中，目标图像序列中包含目标物品，目标图像序列中包括N帧X光图像，N是大于1的自然数；融合预设物品图像和N帧X光图像；利用预设参数调整融合后的图像，以在调整后的图像中显示目标物品。使得图像的融合并不依赖于能量数据，融合的图像更加清晰、逼真。因此，可以解决相关技术中对图像的融合失真的问题，达到提高融合图像的清晰度以及逼真性的效果。
附图说明
图1是本发明实施例的一种图像处理方法的移动终端的硬件结构框图；
图2是根据本发明实施例的图像处理方法的流程图；
图3是根据本发明具体实施例的整体流程图；
图4是根据本发明实施例的效果示意图；
图5是根据相关技术形成的示意图；
图6是根据本发明实施例的图像处理装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像处理方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像处理方法，图2是根据本发明实施例的图像处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，在目标图像序列中插入预设物品图像；其中，目标图像序列中包含目标物品，目标图像序列中包括N帧X光图像，N是大于1的自然数；
步骤S204，融合预设物品图像和N帧X光图像；
步骤S206，利用预设参数调整融合后的图像，以在调整后的图像中显示目标物品。
本实施例包括但不限于应用于对安检图像进行融合的场景中。
在本实施例中，目标设备包括但不限于是安检机。安检机获取的图像相对于自然光图像，有着透视的特性。安检机在工作过程中，显示器上画面通常在水平方向逐行移动、输出图像。
在本实施例中，目标物品图像包括但不限于是拍摄的包裹图像等，预设物品图像包括但不限于是拍摄的违禁物品的图像，例如，手枪、毒品等。
其中，上述步骤的执行主体可以为终端等，但不限于此。
通过上述步骤，通过在目标图像序列中插入预设物品图像；其中，目标图像序列中包含目标物品，目标图像序列中包括N帧X光图像，N是大于1的自然数；融合预设物品图像和N帧X光图像；利用预设参数调整融合后的图像，以在调整后的图像中显示目标物品。使得图像的融合并不依赖于能量数据，融合的图像更加清晰、逼真。因此，可以解决相关技术中对图像的融合失真的问题，达到提高融合图像的清晰度以及逼真性的效果。
在一个示例性实施例中，在目标设备输出的目标图像序列中包括目标物品的情况下，在目标图像序列中插入预设物品图像之前，方法还包括：
S1，获取预设物品的M帧X光图像，其中，M帧X光图像包括经过渲染后的RGB图像，M是大于或等于1的自然数，M帧X光图像中包括预设物品图像；
S2，裁剪所述M帧X光图像，并确定裁剪后的M帧X光图像的宽度信息和高度信息；
S3，将裁剪的M帧X光图像的图像矩阵、宽度信息、高度信息对应保存在预设物品图像集合中。
在本实施例中，可以预先设置预设物品图像集合，例如，在预设物品是危险品，可以单独的获取危险品的X光机图像，得到M帧X光图像。M帧X光图像是经过渲染后的RGB图像。将上述X光图像裁剪为危险品的最小外接矩形，得到图像矩阵，并保存。在预设物品图像集合中记录每个危险品图像的对应宽度信息和高度信息。
在一个示例性实施例中，在目标图像序列中插入预设物品图像之前，还包括：
S1，获取第一高度的目标图像序列；
S2，遍历目标图像序列中的每个像素点，确定目标图像序列中N帧图像的RGB数值中的最小值；
S3，利用最小值构建序列向量；
S4，遍历序列向量，确定目标图像序列中包括的目标物品。
在本实施例中，例如，当前安检机输出的目标图像序列中包括第一高度的背景图像序列，从背景图像序列中从上到下依次遍历每一个像素点，获取到该背景图像序列的RGB值的最小值，得到序列向量。
在一个示例性实施例中，遍历序列向量，以从遍历结果中确定目标图像序列中包括的目标物品，包括：
S1，按照第一方向和第二方向遍历序列向量，其中，第一方向和第二方向相反；
S2，将在第一方向遍历的第一个小于第一预设阈值的向量值标记为第一起始位置；
S3，将在第二方向遍历的第一个小于第一预设阈值的向量值标记为第二位置；
S4，在第一起始位置和第二位置不相同的情况下，确定目标图像序列中包括的目标物品。
在一个示例性实施例中，例如，从序列向量的两端向中间遍历，将从上往下遍历的第一个小于预设阈值的向量标记为第一起始位置；将从下往上遍历的第一个小于预设阈值的向量，标记为第二位置。当第一起始位置和第二位置是两个不同点时，目标图像序列中存在目标物品，在第一起始位置和第二位置是相同的点的情况下，目标图像序列中不存在目标物品。
在一个示例性实施例中，在目标图像序列中插入预设物品图像，包括：
S1，在目标图像序列中确定插入预设物品图像的第一起始位置，其中，第一起始位置包括目标图像序列中水平方向上的位置；
S2，在目标图像序列中确定插入预设物品图像的第二起始位置，其中，第二起始位置包括目标图像序列中垂直方向上的位置；
S3，按照第一起始位置和第二起始位置在目标图像序列中插入预设物品图像。
在一个示例性实施例中，在目标图像序列中确定插入预设物品图像的第一起始位置，包括：
S1，将目标图像序列中首次出现目标物品的图像帧所在的位置确定为第一起始位置。
在本实施例中，例如，确定水平方向上的第一起始位置。在画面行进过程中，当状态由包括目标物品转变为不包括目标物品时，第一起始位置为一个可插入的水平方向起始位置，从预设物品集中随机获取一个满足目标高度的预设物品图像。
在一个示例性实施例中，在目标图像序列中确定插入预设物品图像的第二起始位置，包括：
S1，在第一起始位置和目标位置之间，随机选择一个位置确定为第二起始位置；
其中，目标位置通过以下方式确定：
S1，计算第一起始位置的高度与目标物品的高度之间的和值；
S2，将和值与预设物品图像的高度之间的差值确定为目标位置。
在本实施例中，例如，第一起始位置的高度是P1，目标物品的高度是
预设物品图像的高度是Heightfg，则
在一个示例性实施例中，按照第一起始位置和第二起始位置在目标图像序列中插入预设物品图像，包括：
S1，从预设物品图像集合中随机选择预设物品图像，其中，预设物品图像的高度小于目标物品的高度；
S2，将目标物品从第一起始位置和第二起始位置依次插入至目标图像序列中的每一列的图像中。
在一个示例性实施例中，融合预设物品图像和N帧X光图像，包括：
S1，将预设物品图像和图像序列中的每帧目标物品图像从RGB颜色空间转换至HSV颜色空间中；
S2，从HSV颜色空间中获取每帧预设物品图像的明度V分量和目标物品图像的明度V分量；
S3，按照预设物品图像的明度V分量和每帧目标物品图像的明度V分量，计算融合系数；
S4，基于融合系数计算预设物品图像和每帧目标物品图像在RGB颜色空间中的三原色值；
S5，按照三原色值融合预设物品图像和每帧目标物品。
在本实施例中，例如，RGBfg为预设物品图像，RGBbg为目标物品图像。将两个RGB颜色空间的图像转至HSV颜色空间。分别取V分量的图像，得到危险品图像的分量Vfg，背景区域图像的分量图Vbg。
计算图像融合的系数值Wfg，
将待插入的危险品RGBfg图像和被插入的背景区域图像RGBbg，在RGB颜色空间上，分别在三个通道上进行计算，得到融合后的图像：
Rnew＝Rfg×Wfg+Rbg×(1-Wfg)；
Gnew＝Gfg×Gfg+Gbg×(1-Wfg)；
Bnew＝Bfg×Bfg+Bbg×(1-Wfg)。
在一个示例性实施例中，利用预设参数调整融合后的图像，以在调整后的图像中显示目标物品，包括：
S1，确定融合后的图像的三原色值；
S2，按照预设参数和融合后的图像的三原色值调整融合后的图像，以在调整后的图像中显示目标物品。
在本实施例中，结合上述实施例，将融合后的图像按照以下公式进行调整，以使图像在视觉上呈现更贴合特定安检机型号的图像：
下面结合具体实施例对本发明进行说明：
本实施例以基于X光安检机获取的图像为例进行说明，在本实施例中，危险品图像对应于上述中的预设物品图像，包裹的图像对应于上述中的目标物品图像，背景图像列对应于上述中的图像序列。
如图3所示，是本实施例中的整体流程图，具体包括以下步骤：
S301，建立危险品图像样本，包括：
S1，获取单独的危险品X光机图像，该图像为经过渲染后的RGB图像；
S2，预处理。将上述危险品X光机图像裁剪为危险品的最小外接矩形(对应于上述中的图像矩阵)，并保存，记为RGBfg，记录每个危险品图像的对应宽、高，分别记为Heightfg、Widthfg；
S3，将该图像矩阵以及对应的宽高保存在键值对集合Setinj(对应于上述中的预设物品图像集合)中。
S302，安检机在运行过程中是逐列顺序出图，包裹图像水平运动，因此需要逐行进行确认，当前输出的列中是否存在包裹；
获取当前安检机输出的高为Heightbg的背景图像列，从该列图像从上到下依次遍历每一个像素点，取该列的RGB值的最小值，构成一列向量(对应于上述中的向量序列)Linei＝MIN(Ri，Gi，Bi)，(i∈Heightbg)，从Linei两端向中间遍历，从上往下遍历的第一个小于预设阈值时，记该处位置为P1(对应于上述中的第一起始位置)，从下往上遍历的第一个小于第一预设阈值时，记该处位置为P2(对应于上述中的第二位置)。当P1和P2为两个不同点时，当前列中存在包裹，记该状态为S1，该处存在的包裹高度为Heightbg_area；否则不存在包裹，记该状态为S2。本实施例的第一预设阈值为255；
确定水平方向起始位置(对应于上述中的第一起始位置)。在画面行进过程中，当状态由S2转变为S1时，此时的S1位置为一个可插入的水平方向起始位置，从危险品样本库Setinj中随机获取一个满足Heightfg＜Heightbg_area的危险品样本RGBfg；
确定垂直方向起始位置(对应于上述中的第二起始位置)。P1与P1+Heightbg_area-Heightfg之间，随机选择一个位置Pin，为插入的垂直方向起始位置；
开始插入第一列后，状态设置为S1，在随后安检机输出的连续的每一列的Pin处，插入对应的RGBfg的每一列，共计Widthfg列。
RGBfg最后一列标记完后，重置状态为S2。继续等待下一个包裹出现。
S303，图像融合；
RGBfg为待插入的危险品图像，RGBbg为被插入的背景区域图像。将两个RGB颜色空间的图像转至HSV颜色空间。分别取V分量的图像，得到危险品图像的分量Vfg，背景区域图像的分量图Vbg。
计算图像融合的系数值Wfg：
将待插入的危险品RGBfg图像和被插入的背景区域图像RGBbg，在RGB颜色空间上，分别在三个通道上进行计算，得到新的图像：
Rnew＝Rfg×Wfg+Rbg×(1-Wfg)；
Gnew＝Gfg×Gfg+Gbg×(1-Wfg)；
Bnew＝Bfg×Bfg+Bbg×(1-Wfg)；
S304，对于大部分情况，上述步骤已可以合成满足要求的图像。由于不同品牌的安检机图像略有差异，因此需要根据实际的成像情况，将图像按照以下公式进行调整，以使图像在视觉上呈现更贴合特定安检机型号的图像。
其中，RGBnew为上一步骤得到的合并后的图像，gamma为需要根据实际情况调整的超参数。
综上所述，不依赖于安检机能量数据，可以支持在安检机运行过程中实时动态融合，融合的图像(如图4所示)更符合安检机成像特性，相对于现有技术中图像(如图5所示)更加的逼真。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种图像处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的图像处理装置的结构框图，如图6所示，该装置包括：
第一插入模块62，用于在目标图像序列中插入预设物品图像；其中，目标图像序列中包含目标物品，目标图像序列中包括N帧X光图像，N是大于1的自然数；
第一融合模块64，用于融合预设物品图像和N帧X光图像；
第一调整模块66，用于利用预设参数调整融合后的图像，以在调整后的图像中显示目标物品。
在一个示例性实施例中，上述装置还包括：第一获取模块，用于在目标设备输出的目标图像序列中包括目标物品的情况下，在上述目标图像序列中插入预设物品图像之前，获取预设物品的M帧X光图像，其中，上述M帧X光图像包括经过渲染后的RGB图像，上述M是大于或等于1的自然数，上述M帧X光图像中包括上述预设物品图像；
第一裁剪模块，用于裁剪所述M帧X光图像，并确定裁剪后的M帧X光图像的宽度信息和高度信息；
第一保存模块，用于将裁剪的上述M帧X光图像的图像矩阵、上述宽度信息、上述高度信息对应保存在预设物品图像集合中。
在一个示例性实施例中，上述装置还包括：
第一获取单元，用于获取第一高度的上述目标图像序列；
第一遍历单元，用于遍历上述目标图像序列中的每个像素点，确定上述目标图像序列中N帧图像的RGB数值中的最小值；
第一构建单元，用于利用上述最小值构建序列向量；
第二遍历单元，用于遍历上述序列向量，确定上述目标图像序列中包括的上述目标物品。
在一个示例性实施例中，第二遍历单元，包括：
第一遍历子单元，用于按照第一方向和第二方向遍历上述序列向量，其中，上述第一方向和上述第二方向相反；
第一标记子单元，用于将在上述第一方向遍历的第一个小于第一预设阈值的向量值标记为第一起始位置；
第二标记子单元，用于将在上述第二方向遍历的第一个小于上述第一预设阈值的向量值标记为第二位置；
第一确定子单元，用于在上述第一起始位置和上述第二位置不相同的情况下，确定上述目标图像序列中包括的上述目标物品。
在一个示例性实施例中，上述第一插入模块包括：
第二确定单元，用于在上述目标图像序列中确定插入上述预设物品图像的第一起始位置，其中，上述第一起始位置包括上述目标图像序列中水平方向上的位置；
第三确定单元，用于在上述目标图像序列中确定插入上述预设物品图像的第二起始位置，其中，上述第二起始位置包括上述目标图像序列中垂直方向上的位置；
第一插入单元，用于按照上述第一起始位置和上述第二起始位置在上述目标图像序列中插入上述预设物品图像。
在一个示例性实施例中，第二确定单元包括：
第二确定子单元，用于将上述目标图像序列中首次出现上述目标物品的图像帧所在的位置确定为上述第一起始位置。
在一个示例性实施例中，上述第三确定单元，包括：
第三确定子单元，用于在上述第一起始位置和目标位置之间，随机选择一个位置确定为上述第二起始位置；
其中，上述目标位置通过以下方式确定：
计算上述第一起始位置的高度与上述目标物品的高度之间的和值；
将上述和值与上述预设物品图像的高度之间的差值确定为上述目标位置。
在一个示例性实施例中，上述第一插入单元，包括：
第一选择子单元，用于从预设物品图像集合中随机选择上述预设物品图像，其中，上述预设物品图像的高度小于上述目标物品的高度；
第一插入子单元，用于将上述目标物品从上述第一起始位置和上述第二起始位置依次插入至上述目标图像序列中的每一列的图像中。
在一个示例性实施例中，上述第一融合模块，包括：
第一转换单元，用于将上述预设物品图像和上述图像序列中的每帧目标物品图像从RGB颜色空间转换至HSV颜色空间中；
第二获取单元，用于从上述HSV颜色空间中获取每帧上述预设物品图像的明度V分量和上述目标物品图像的明度V分量；
第一计算单元，用于按照上述预设物品图像的明度V分量和每帧上述目标物品图像的明度V分量，计算融合系数；
第二计算单元，用于基于上述融合系数计算上述预设物品图像和每帧上述目标物品图像在RGB颜色空间中的三原色值；
第一融合单元，用于按照上述三原色值融合上述预设物品图像和每帧上述目标物品。
在一个示例性实施例中，上述第一调整模块，包括：
第四确定单元，用于确定上述融合后的图像的三原色值；
第一调整单元，用于按照上述预设参数和上述融合后的图像的三原色值调整融合后的图像，以在调整后的图像中显示目标物品。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以上各步骤的计算机程序。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以上各步骤。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (13)
1.一种图像处理方法，其特征在于，包括：
在目标图像序列中插入预设物品图像；其中，所述目标图像序列中包含目标物品，所述目标图像序列中包括N帧X光图像，所述N是大于1的自然数；
融合所述预设物品图像和所述N帧X光图像；
利用预设参数调整融合后的图像，以在调整后的图像中显示所述目标物品。
2.根据权利要求1所述的方法，其特征在于，所述在目标图像序列中插入预设物品图像之前，所述方法还包括：
获取预设物品的M帧X光图像，其中，所述M帧X光图像包括经过渲染后的RGB图像，所述M是大于或等于1的自然数，所述M帧X光图像中包括所述预设物品图像；
裁剪所述M帧X光图像，并确定裁剪后的M帧X光图像的宽度信息和高度信息；
将裁剪的所述M帧X光图像的图像矩阵、所述宽度信息、所述高度信息对应保存在预设物品图像集合中。
3.根据权利要求1所述的方法，其特征在于，所述在目标图像序列中插入预设物品图像之前，还包括：
获取第一高度的所述目标图像序列；
遍历所述目标图像序列中的每个像素点，确定所述目标图像序列中N帧图像的RGB数值中的最小值；
利用所述最小值构建序列向量；
遍历所述序列向量，确定所述目标图像序列中包括的所述目标物品。
4.根据权利要求3所述的方法，其特征在于，所述遍历所述序列向量，确定所述目标图像序列中包括的所述目标物品，包括：
按照第一方向和第二方向遍历所述序列向量，其中，所述第一方向和所述第二方向相反；
将在所述第一方向遍历的第一个小于第一预设阈值的向量值标记为第一起始位置；
将在所述第二方向遍历的第一个小于所述第一预设阈值的向量值标记为第二位置；
在所述第一起始位置和所述第二位置不相同的情况下，确定所述目标图像序列中包括的所述目标物品。
5.根据权利要求1所述的方法，其特征在于，所述在目标图像序列中插入预设物品图像，包括：
在所述目标图像序列中确定插入所述预设物品图像的第一起始位置，其中，所述第一起始位置包括所述目标图像序列中水平方向上的位置；
在所述目标图像序列中确定插入所述预设物品图像的第二起始位置，其中，所述第二起始位置包括所述目标图像序列中垂直方向上的位置；
按照所述第一起始位置和所述第二起始位置在所述目标图像序列中插入所述预设物品图像。
6.根据权利要求5所述的方法，其特征在于，所述在所述目标图像序列中确定插入所述预设物品图像的第一起始位置，包括：
将所述目标图像序列中首次出现所述目标物品的图像帧所在的位置确定为所述第一起始位置。
7.根据权利要求5所述的方法，其特征在于，所述在所述目标图像序列中确定插入所述预设物品图像的第二起始位置，包括：
在所述第一起始位置和目标位置之间，随机选择一个位置确定为所述第二起始位置；
其中，所述目标位置通过以下方式确定：
计算所述第一起始位置的高度与所述目标物品的高度之间的和值；
将所述和值与所述预设物品图像的高度之间的差值确定为所述目标位置。
8.根据权利要求5所述的方法，其特征在于，所述按照所述第一起始位置和所述第二起始位置在所述目标图像序列中插入所述预设物品图像，包括：
从预设物品图像集合中随机选择所述预设物品图像，其中，所述预设物品图像的高度小于所述目标物品的高度；
将所述目标物品从所述第一起始位置和所述第二起始位置依次插入至所述目标图像序列中的每一列的图像中。
9.根据权利要求1所述的方法，其特征在于，所述融合所述预设物品图像和所述N帧X光图像，包括：
将所述预设物品图像和所述图像序列中的每帧目标物品图像从RGB颜色空间转换至HSV颜色空间中；
从所述HSV颜色空间中获取每帧所述预设物品图像的明度V分量和所述目标物品图像的明度V分量；
按照所述预设物品图像的明度V分量和每帧所述目标物品图像的明度V分量，计算融合系数；
基于所述融合系数计算所述预设物品图像和每帧所述目标物品图像在RGB颜色空间中的三原色值；
按照所述三原色值融合所述预设物品图像和每帧所述目标物品。
10.根据权利要求1所述的方法，其特征在于，所述利用预设参数调整融合后的图像，以在调整后的图像中显示目标物品，包括：
确定所述融合后的图像的三原色值；
按照所述预设参数和所述融合后的图像的三原色值调整融合后的图像，以在调整后的图像中显示目标物品。
11.一种图像处理装置，其特征在于，包括：
第一插入模块，用于在目标图像序列中插入预设物品图像；其中，所述目标图像序列中包含目标物品，所述目标图像序列中包括N帧X光图像，所述N是大于1的自然数；
第一融合模块，用于融合所述预设物品图像和所述N帧X光图像；
第一调整模块，用于利用预设参数调整融合后的图像，以在调整后的图像中显示所述目标物品。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至10任一项中所述的方法。
13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至10任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110846828.9A CN113506283A (zh) | 2021-07-26 | 2021-07-26 | 图像处理方法及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110846828.9A CN113506283A (zh) | 2021-07-26 | 2021-07-26 | 图像处理方法及装置、存储介质、电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113506283A true CN113506283A (zh) | 2021-10-15 |
Family
ID=78014014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110846828.9A Pending CN113506283A (zh) | 2021-07-26 | 2021-07-26 | 图像处理方法及装置、存储介质、电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113506283A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093181A (zh) * | 2011-11-01 | 2013-05-08 | 青岛海信网络科技股份有限公司 | 一种车牌图像定位的方法和装置 |
| CN110210368A (zh) * | 2019-05-28 | 2019-09-06 | 东北大学 | 一种基于安检图像的危险品图像注入方法 |
| CN110261923A (zh) * | 2018-08-02 | 2019-09-20 | 浙江大华技术股份有限公司 | 一种违禁品检测方法及装置 |
| CN110533582A (zh) * | 2019-08-15 | 2019-12-03 | 中国民航大学 | 一种基于生成式对抗网络的安检x光违禁品图像合成方法 |
| CN110579496A (zh) * | 2019-08-15 | 2019-12-17 | 公安部第一研究所 | 一种安检ct系统的危险品图像快速插入方法及系统 |
| CN112001846A (zh) * | 2020-08-21 | 2020-11-27 | 深圳职业技术学院 | 具有较高分辨率的多目标x光安检图像合成方法 |
| WO2021073370A1 (zh) * | 2019-10-16 | 2021-04-22 | 北京海益同展信息科技有限公司 | 物品检测方法、装置、系统和计算机可读存储介质 |
| CN113132639A (zh) * | 2021-04-22 | 2021-07-16 | 亮风台（上海）信息科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113160341A (zh) * | 2021-04-27 | 2021-07-23 | 中国科学院自动化研究所 | 一种含有目标物品的x光图像生成方法、系统及设备 |
-
2021
- 2021-07-26 CN CN202110846828.9A patent/CN113506283A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093181A (zh) * | 2011-11-01 | 2013-05-08 | 青岛海信网络科技股份有限公司 | 一种车牌图像定位的方法和装置 |
| CN110261923A (zh) * | 2018-08-02 | 2019-09-20 | 浙江大华技术股份有限公司 | 一种违禁品检测方法及装置 |
| CN110210368A (zh) * | 2019-05-28 | 2019-09-06 | 东北大学 | 一种基于安检图像的危险品图像注入方法 |
| CN110533582A (zh) * | 2019-08-15 | 2019-12-03 | 中国民航大学 | 一种基于生成式对抗网络的安检x光违禁品图像合成方法 |
| CN110579496A (zh) * | 2019-08-15 | 2019-12-17 | 公安部第一研究所 | 一种安检ct系统的危险品图像快速插入方法及系统 |
| WO2021073370A1 (zh) * | 2019-10-16 | 2021-04-22 | 北京海益同展信息科技有限公司 | 物品检测方法、装置、系统和计算机可读存储介质 |
| CN112001846A (zh) * | 2020-08-21 | 2020-11-27 | 深圳职业技术学院 | 具有较高分辨率的多目标x光安检图像合成方法 |
| CN113132639A (zh) * | 2021-04-22 | 2021-07-16 | 亮风台（上海）信息科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113160341A (zh) * | 2021-04-27 | 2021-07-23 | 中国科学院自动化研究所 | 一种含有目标物品的x光图像生成方法、系统及设备 |
Non-Patent Citations (2)
| Title |
|---|
| DOMINGO MERY ET AL: "X-Ray Baggage Inspection With Computer Vision A Survey", 《IEEE ACCESS》, 7 August 2020 (2020-08-07), pages 145620 - 145633, XP011804792, DOI: 10.1109/ACCESS.2020.3015014 * |
| 卢官有: "基于深度学习的X光图像中危险品检测算法的研究与应用", 《中国优秀硕士学位论文全文数据库 基础科学辑》, 15 April 2021 (2021-04-15), pages 005 - 45 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10198629B2 (en) | System and method for detecting objects in an image | |
| CN106210501B (zh) | 图像合成方法与图像处理装置 | |
| US20090161982A1 (en) | Restoring images | |
| CN104394392B (zh) | 一种白平衡调节方法、装置以及终端 | |
| US20170103510A1 (en) | Three-dimensional object model tagging | |
| EP3499410A1 (en) | Image processing method and apparatus, and electronic device | |
| CN104683634A (zh) | 判定装置和便携式终端装置 | |
| US20160323505A1 (en) | Photographing processing method, device and computer storage medium | |
| CN103828345A (zh) | 用于图像处理的设备、方法和程序、存储介质以及图像拾取设备 | |
| CN109215069A (zh) | 目标物信息获取方法及装置 | |
| CN107197137A (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| US11205281B2 (en) | Method and device for image rectification | |
| US20200112685A1 (en) | Focus Region Display Method and Apparatus, and Storage Medium | |
| CN112562017A (zh) | 一种rgb图像的色彩还原方法及计算机可读存储介质 | |
| US9330447B2 (en) | Image evaluation device, image selection device, image evaluation method, recording medium, and program | |
| US11240477B2 (en) | Method and device for image rectification | |
| CN113298707B (zh) | 图像帧拼接方法、视频巡检方法、装置、设备及存储介质 | |
| TWI603290B (zh) | 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統 | |
| CN110136245B (zh) | 一种3d模型处理系统 | |
| CN113506283A (zh) | 图像处理方法及装置、存储介质、电子装置 | |
| CN112165631B (zh) | 媒体资源处理方法和装置、存储介质及电子设备 | |
| Nozick | Camera array image rectification and calibration for stereoscopic and autostereoscopic displays | |
| CN114627000A (zh) | 图像处理方法、装置和电子设备 | |
| CN112215966A (zh) | 一种虚拟图像与现实的用户照片合影方法 | |
| EP2884733A1 (en) | Display device and method of controlling the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |