CN112085015A - 图像处理方法和图像处理装置以及检测设备 - Google Patents
图像处理方法和图像处理装置以及检测设备 Download PDFInfo
- Publication number
- CN112085015A CN112085015A CN201910510743.6A CN201910510743A CN112085015A CN 112085015 A CN112085015 A CN 112085015A CN 201910510743 A CN201910510743 A CN 201910510743A CN 112085015 A CN112085015 A CN 112085015A
- Authority
- CN
- China
- Prior art keywords
- region
- roi
- ros
- image
- calibration information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 145
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 18
- 239000003642 reactive oxygen metabolite Substances 0.000 claims description 147
- 230000003993 interaction Effects 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 10
- 230000008685 targeting Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 29
- 230000007246 mechanism Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241000554155 Andes Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种图像处理方法、一种图像处理装置以及一种检测设备。基于本发明，可以利用由ROI和ROS的区域标定信息确定的检测区域创建检测掩膜图像，由于检测区域被界定在ROI与ROS的非重叠区域，因而利用检测区域创建的检测掩膜图像可以具有利用ROS对ROI局部屏蔽的效果，从而，利用有效区域被约束在检测区域的检测掩膜图像对目标图像进行区域有效性过滤，可以只保留目标图像中被圈定在ROI中未被ROS屏蔽的局部区域内的图像原值，进而可以排除ROS中的内部干扰和冗余的图像处理，有助于提高对目标图像的图像处理辨识精度和图像处理效率。而且，ROI和ROS的区域标定信息可以参照基准特征进行位姿补偿，因而可以更准确地实现局部屏蔽效果在目标图像中的靶向定位。
Description
技术领域
本发明涉及机器视觉领域，特别涉及利用ROI(Region of interest，感兴趣区域)和ROS(Region of shield，屏蔽区域)界定图像检测区域的一种图像处理方法、一种图像处理装置、以及一种检测设备。
背景技术
图像检测中往往会着重关注于图像中的某个局部。如何为图像局部检测提供有效支持成为现有技术中有待解决的技术问题。
发明内容
有鉴于此，本发明的各实施例分别提供了一种图像处理方法、一种图像处理装置、以及一种检测设备。
在一个实施例中，提供了一种图像处理方法，包括：
获取感兴趣区域ROI的区域标定信息、以及位于ROI中的屏蔽区域ROS的区域标定信息；
根据区域标定信息确定检测区域，其中，检测区域为ROI中与ROS的重叠区域被去除后的保留区域；
创建有效区域被约束在检测区域的检测掩膜图像；
利用检测掩膜图像对目标图像进行区域有效性过滤。
可选地，获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息之前，进一步包括：检测以人机交互方式在样本图像中标定的ROI和ROS的边界位置条件，其中，样本图像与目标图像呈现同类特征对象、并且样本图像与目标图像具有相同的尺寸；利用检测到的边界位置条件创建ROI和ROS的区域标定信息。
可选地，获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息之前，进一步包括：检测以人机交互方式输入的样本分类指令，并且将类别标识与创建的ROI和ROS的区域标定信息关联，其中，样本分类指令中包含样本图像中呈现的特征对象的类别标识；获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息包括：检测以人机交互方式输入的区域选择指令，调用与区域选择指令中的类别标识关联的ROI和ROS的区域标定信息，其中，区域选择指令中包含待处理的目标图像中呈现的特征对象的类别标识。
可选地，根据区域标定信息确定检测区域包括：通过将ROI的区域标定信息表示的ROI位置集合与ROS的区域标定信息表示的ROS位置集合进行差集运算，得到检测区域位置集合；创建有效区域被约束在检测区域的检测掩膜图像包括：加载与目标图像具有相同尺寸的掩膜底板图像，并通过将掩膜底板图像中与检测区域位置集合重叠的区域设定为有效值而得到与目标图像具有相同尺寸的检测掩膜图像；利用检测掩膜图像对目标图像进行区域有效性过滤包括：通过将检测掩膜图像与目标图像进行对位像素的逻辑与运算得到合成图像，其中，合成图像在检测区域内保留有目标图像的原始像素阵列、并且在检测区域外被置为无效像素阵列。
可选地，当ROI的区域标定信息表示多个ROI位置集合时，根据区域标定信息确定检测区域在将ROI位置集合与ROS位置集合进行差集运算之前进一步包括：将多个ROI位置集合进行并集运算；当ROS的区域标定信息表示多个ROS位置集合时，根据区域标定信息确定检测区域在将ROI位置集合与ROS位置集合进行差集运算之前进一步包括：将多个ROS位置集合进行并集运算。
可选地，根据区域标定信息确定检测区域之前，进一步包括：检测以人机交互方式在样本图像中标定的基准特征，其中，基准特征位于ROI的范围之外、并与ROI具有固定位置关系；检测基准特征在样本图像中的标定位姿；检测基准特征在目标图像中的当前位姿相对于在样本图像中的标定位姿的位姿偏差。
可选地，利用位姿偏差对ROI和ROS的区域标定信息进行位姿矫正包括：利用位姿偏差中的坐标偏差对ROI和ROS的区域标定信息进行坐标平移；和/或，以基准特征在目标图像中的位置坐标为中心，利用位姿偏差中的角度偏差对ROI和ROS的区域标定信息进行偏转折算补偿。
在另一个实施例中，提供了一种图像处理装置，包括：
标定加载模块，用于获取感兴趣区域ROI的区域标定信息、以及位于ROI中的屏蔽区域ROS的区域标定信息；
区域界定模块，用于根据区域标定信息确定检测区域，其中，检测区域为ROI中与ROS的重叠区域被去除后的保留区域；
掩膜创建模块，用于创建有效区域被约束在检测区域的检测掩膜图像；
图像过滤模块，用于利用检测掩膜图像对目标图像进行区域有效性过滤。
可选地，进一步包括：标定创建模块，用于检测以人机交互方式在样本图像中标定的ROI和ROS的边界位置条件，并且利用检测到的边界位置条件创建ROI和ROS的区域标定信息，其中，样本图像与目标图像呈现同类特征对象、并且样本图像与目标图像具有相同的尺寸。
可选地，标定创建模块进一步用于检测以人机交互方式输入的样本分类指令，并且将类别标识与创建的ROI和ROS的区域标定信息关联，其中，样本分类指令中包含样本图像中呈现的特征对象的类别标识；标定加载模块进一步用于检测以人机交互方式输入的区域选择指令，并且调用与区域选择指令中的类别标识关联的ROI和ROS的区域标定信息，其中，区域选择指令中包含待处理的目标图像中呈现的特征对象的类别标识。
可选地，进一步包括：基准标定模块，用于检测以人机交互方式在样本图像中标定的基准特征，并且检测基准特征在样本图像中的标定位姿；位姿补偿模块，用于检测基准特征在目标图像中的当前位姿相对于在样本图像中的标定位姿的位姿偏差，并且，利用位姿偏差对ROI和ROS的区域标定信息进行位姿矫正。
在另一个实施例中，提供了一种检测设备，包括处理器，所述处理器用于执行如上所述的图像处理方法中的步骤。
在另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上所述的图像处理方法中的步骤。
基于上述实施例，可以利用由ROI和ROS的区域标定信息确定的检测区域创建检测掩膜图像，由于检测区域被界定在ROI与ROS的非重叠区域，因而利用检测区域创建的检测掩膜图像可以具有利用ROS对ROI局部屏蔽的效果，从而，利用有效区域被约束在检测区域的检测掩膜图像对目标图像进行区域有效性过滤，可以只保留目标图像中被圈定在ROI中未被ROS屏蔽的局部区域内的图像原值，进而可以排除ROS中的内部干扰和冗余的图像处理，有助于提高对目标图像的图像处理辨识精度和图像处理效率。
而且，作为进一步的优化，若参照基准特征对ROI和ROS的区域标定信息进行位姿补偿，则可以更准确地实现ROS对ROI的局部屏蔽效果在目标图像中的靶向定位。
另外，作为进一步的优化，若ROI和ROS可以支持人机交互方式的自定义设置，则可以使检测区域的形状具有通用性性并且更贴合实际需求。
附图说明
以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围：
图1为一个实施例中的一种图像处理方法的示例性流程示意图；
图2为如图1所示的图像处理方法中使用的ROI和ROS的实例示意图；
图3为如图1所示的图像处理方法基于人机交互标定方式的扩展流程示意图；
图4为如图1所示的图像处理方法基于位置集合运算的扩展流程示意图；
图5为如图1所示的图像处理方法基于区域数量识别的扩展流程示意图；
图6为如图1所示的图像处理方法基于区域位姿矫正的扩展流程示意图；
图7为如图6所示扩展流程中的位姿矫正所基于的标定样本的实例示意图；
图8为针对如图7所示标定样本的基准设定的实例示意图；
图9为对应于如图7所示标定样本的偏移目标样本的实例示意图；
图10为针对如图9所示偏移目标样本的位姿矫正的实例示意图；
图11a至图11c为基于如图6所示扩展流程的图像处理实例的示意图；
图12为另一个实施例中的图像处理装置的示例性结构示意图；
图13为如图11所示图像处理装置的一扩展结构示意图；
图14为如图11所示图像处理装置的另一扩展结构示意图；
图15为另一个实施例中的一种检测设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步详细说明。
图1为一个实施例中的一种图像处理方法的示例性流程示意图。请参见图1，在一个实施例中，一种图像处理方法可以包括：
S110：获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息。
本步骤中获取的ROI的区域标定信息和ROS的区域标定信息，可以表征ROI和ROS在图像坐标系中覆盖了哪些坐标位置，这些坐标位置的集合可以体现ROI和ROS的形状、面积以及位姿。即，可以认为，ROI的区域标定信息可以表示ROI位置集合，ROS的区域标定信息可以表示ROS位置集合。
S120：根据区域标定信息确定检测区域，其中，检测区域为ROI中与ROS的重叠区域被去除后的保留区域。
本步骤中确定的检测区域也可以认为是在图像坐标系中的坐标位置的集合。
S130：创建有效区域被约束在检测区域的检测掩膜图像。
本步骤中的检测掩膜图像可以认为是像素择一地被置为有效值或无效值的属性值图像。其中，有效值可以设置为255，其二进制值11111111中的每一位与其他数值的对应位进行逻辑与运算，都可以使其他值的对应位保持原值；无效值可以设置为0，其二进制值00000000中的每一位与其他数值的对应位进行逻辑与运算，都可以使其他值的对应位置为表示无效的0。相应地，检测掩膜图像的有效区域被约束在检测区域，可以理解为检测掩膜图像对应于检测区域内的像素为有效值、其它区域的像素为无效值。
S140：利用检测掩膜图像对目标图像进行区域有效性过滤。
本步骤中对目标图像实现的区域有效性过滤，可以认为是利用检测掩膜图像的像素属性值对目标图像的图像原值进行区域化选择，即，检测掩膜图像中的有效值点位可以使目标图像中的对位像素保留原值、检测掩膜图像中的无效值点位可以将目标图像中的对位像素赋值为可在图像检测时被忽略的替代值，其中，将目标图像中的对位像素赋值为被忽略的替代值可以认为是对目标图像的局部去值化处理。
图2为如图1所示的图像处理方法中使用的ROI和ROS的实例示意图。请参见图2，基于如图1所示的流程，可以利用由ROI 210和ROS 220的区域标定信息确定的检测区域200创建检测掩膜图像，由于检测区域200被界定在ROI 210与ROS 220的非重叠区域，因而利用检测区域200创建的检测掩膜图像可以具有利用ROS 220对ROI 210局部屏蔽的效果。
从而，利用有效区域被约束在检测区域的检测掩膜图像对目标图像进行区域有效性过滤，可以只保留目标图像中被圈定在ROI中未被ROS屏蔽的局部区域内的图像原值，进而可以排除ROS中的内部干扰和冗余的图像处理，有助于提高对目标图像的图像处理辨识精度和图像处理效率。
在具体实现上述流程时，ROI和ROS可以采用人工标定的方式，即，在样本图像中通过虚拟画笔工具进行标定。
图3为如图1所示的图像处理方法基于人机交互标定方式的扩展流程示意图。请参见图3，如图1所示的图像处理方法可以进一步扩展为包括如下的步骤：
S310：检测以人机交互方式在样本图像中标定的ROI和ROS的边界位置条件，其中，样本图像与目标图像呈现同类特征对象、并且样本图像与目标图像具有相同的尺寸。
本步骤中检测到的边界位置条件可以是例如边缘点等离散边界特征。
S320：利用检测到的边界位置条件创建ROI和ROS的区域标定信息。
对于S310检测到例如边缘点等离散边界特征的情况，本步骤中可以将离散边界特征拟合为以边界点为顶点的封闭多边形，并利用拟合的封闭多边形创建区域标定信息。
S330：获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息。
S340：根据区域标定信息确定检测区域，其中，检测区域为ROI中与ROS的重叠区域被去除后的保留区域。
S350：创建有效区域被约束在检测区域的检测掩膜图像。
S360：利用检测掩膜图像对目标图像进行区域有效性过滤。
上述流程中的S330～S360可以认为是与如图1中示出的S110～S140的原理基本相同。
实际应用中，可以针对不同的样本图像多次执行上述流程，这里所述的样本图像具体可以理解为呈现的特征对象的类别不同(例如车牌字符、产品型号标识符、面板开关按键等)的样本图像。由此，通过多次执行上述流程，可以得到适用于不同类别的特征对象的ROI和ROS的区域标定信息。
为了区分和管理适用于不同类别的特征对象的ROI和ROS的区域标定信息，每次执行上述流程之后，可以进一步检测以人机交互方式输入的样本分类指令，并且将类别标识与创建的ROI和ROS的区域标定信息关联，其中，样本分类指令中包含样本图像中呈现的特征对象的类别标识。具体实现时，以人机交互方式输入的样本分类指令，可以是通过在用于标定ROI和ROS的人机交互界面的类别录入菜单中的对应选项被选中而产生的，表示一个类别的选项被选中时产生的样本分类指令中可以自动携带该类别的类别标识。
相应地，若引入类别标识的管理机制，则在每次执行如图1所示流程时，也可以引入类别标识的选择机制，即，S110可以检测以人机交互方式输入的区域选择指令，并且调用与区域选择指令中的类别标识关联的ROI和ROS的区域标定信息，其中，区域选择指令中包含待处理的目标图像中呈现的特征对象的类别标识。具体实现时，以人机交互方式输入的区域选择指令，可以是通过在用于检测配置的人机交互界面的类别录入菜单中的对应选项被选中而产生的，表示一个类别的选项被选中时产生的区域选择指令中可以自动携带该类别的类别标识。
图4为如图1所示的图像处理方法基于位置集合运算的扩展流程示意图。请参见图4，如图1所示的流程可以进一步扩展为包括如下步骤：
S410：获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息。
本步骤可以认为是如图1中示出的S110原理基本相同，并且，本步骤中获取的区域标定信息可以是通过如图3中的S310～S320标定的。
S420：通过将ROI的区域标定信息表示的ROI位置集合与ROS的区域标定信息表示的ROS位置集合进行差集运算，得到检测区域位置集合。
本步骤可以认为是如图1中示出的S120的一种具体扩展。
S430：加载与目标图像具有相同尺寸的掩膜底板图像，并通过将掩膜底板图像中与检测区域位置集合重叠的区域设定为有效值而得到与目标图像具有相同尺寸的检测掩膜图像。
本步骤可以认为是如图1中示出的S130的一种具体扩展。
S440：通过将检测掩膜图像与目标图像进行对位像素的逻辑与运算得到合成图像，其中，合成图像在检测区域内保留有目标图像的原始像素阵列、并且在检测区域外被置为无效像素阵列。
本步骤可以认为是如图1中示出的S140的一种具体扩展，并且，本步骤中的交集运算可以是将检测掩膜图像与目标图像进行对位像素的逻辑与运算。即，检测掩膜图像中对应于检测区域内的有效值像素，使交集运算得到的合成图像中的同位像素保留为目标图像中的同位像素的原值；检测掩膜图像中对应于检测区域外的无效值像素，使交集运算得到的合成图像中的同位像素置为无效值。
另外，前述的类别标识的管理机制和类别标识的选择机制也同样适用于如图4所示的流程。
图5为如图1所示的图像处理方法基于区域数量识别的扩展流程示意图。请参见图4，如图1所示的流程可以进一步扩展为包括如下步骤：
S510：获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息。
本步骤可以认为是如图1中示出的S110原理基本相同，并且，本步骤中获取的区域标定信息可以是通过如图3中的S310～S320标定的。
S520：检测ROI的区域标定信息表示的ROI位置集合的数量、以及ROS的区域标定信息表示的ROS位置集合的数量。
当ROI的区域标定信息表示多个ROI位置集合、和/或ROS的区域标定信息表示多个ROS位置集合时，执行S530；
若ROI的区域标定信息表示单个ROI位置集合、并且ROS的区域标定信息表示单个ROS位置集合时，跳过S530执行S540。
S530：将多个ROI位置集合进行并集运算、和/或将多个ROS位置集合进行并集运算。
S540：通过将ROI位置集合与ROS位置集合进行差集运算得到检测区域位置集合。其中，在S540进行差集运算的ROI位置集合可能是ROI的区域标定信息表示的单个ROI位置集合，也可能是ROI的区域标定信息表示的多个ROI位置集合经S530的并集运算结果；同理，在S540进行差集运算的ROS位置集合可能是ROS的区域标定信息表示的单个ROS位置集合，也可能是ROS的区域标定信息表示的多个ROS位置集合经S530的并集运算结果。
上述步骤S520～S540可以认为是如图1中示出的S120的一种具体扩展，并且，S540中的差集运算可以与如图4所示的S420的原理基本相同。
S550：加载与目标图像具有相同尺寸的掩膜底板图像，并通过将掩膜底板图像中与检测区域位置集合重叠的区域设定为有效值而得到与目标图像具有相同尺寸的检测掩膜图像。
本步骤可以认为是如图1中示出的S130的一种具体扩展。
S560：通过将检测掩膜图像与目标图像进行对位像素的逻辑与运算得到合成图像，其中，合成图像在检测区域内保留有目标图像的原始像素阵列、并且在检测区域外被置为无效像素阵列。
本步骤可以认为是如图1中示出的S140的一种具体扩展，并且，本步骤中的交集运算可以与如图4所示的S440的原理基本相同。
另外，前述的类别标识的管理机制和类别标识的选择机制也同样适用于如图5所示的流程。
在具体实现上述实施例的方案时，有可能拍摄得到的目标图像相比于设定ROI和ROS的区域标定信息所使用的样本图像会存在位姿偏差，此时，需要引入位姿补偿来修正ROI和ROS，以避免检测区域无法命中或完全命中目标图像中的兴趣区域。
图6为如图1所示的图像处理方法基于区域位姿矫正的扩展流程示意图。请参见图6，为了实现对ROI和ROS的位姿补偿，如图1所示的流程可以进一步扩展为包括如下步骤：
S610：检测以人机交互方式在样本图像中标定的ROI和ROS的边界位置条件、并利用检测到的边界位置条件创建ROI和ROS的区域标定信息，其中，样本图像与目标图像呈现同类特征对象。
本步骤可以认为与如图3所示的S310～S320的原理基本相同。
S620：检测以人机交互方式在样本图像中标定的基准特征、并检测基准特征在样本图像中的标定位姿，其中，基准特征位于ROI的范围之外、并与ROI具有固定位置关系。
S630：获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息，并且获取基准特征及其标定位姿。
S640：检测基准特征在目标图像中的当前位姿相对于在样本图像中的标定位姿信息的位姿偏差。
本步骤可以通过特征检测的手段来实现。
S650：利用位姿偏差对ROI和ROS的区域标定信息进行位姿矫正。
本步骤对区域标定信息的位姿矫正可以认为是对ROI位置集合和ROS位置集合的位姿矫正。
S660：根据位姿矫正后的ROI和ROS的区域标定信息确定检测区域，其中，检测区域为ROI位置集合中与ROS位置集合的重叠区域被去除后的保留区域。
本步骤可以认为与如图1所示的S120的原理基本相同，也可以进一步扩展为如图4中所示的S420或者如图5中示出的S520～S540。
S670：创建有效区域被约束在检测区域的检测掩膜图像。
本步骤可以认为与如图1所示的S130的原理基本相同，也可以进一步扩展为如图4中所示的S430或者如图5中示出的S550。
S680：利用检测掩膜图像对目标图像进行区域有效性过滤。
本步骤可以认为与如图1所示的S140的原理基本相同，也可以进一步扩展为如图4中所示的S440或者如图5中示出的S560。
另外，前述的类别标识的管理机制和类别标识的选择机制也同样适用于如图6所示的流程，例如，S610之后可以进一步检测以人机交互方式输入的样本分类指令，并且将类别标识与创建的ROI和ROS的区域标定信息关联，其中，样本分类指令中包含样本图像中呈现的特征对象的类别标识；S620之后进一步将样本分类指令中的类别标识与检测到的基准特征关联；S630可以检测以人机交互方式输入的区域选择指令，并且调用与区域选择指令中的类别标识关联的ROI和ROS的区域标定信息以及基准特征，其中，区域选择指令中包含待处理的目标图像中呈现的特征对象的类别标识。
图7为如图6所示扩展流程中的位姿矫正所基于的标定样本的实例示意图。图8为针对如图7所示标定样本的基准设定的实例示意图。
请先参见图7，样本图像700中包括感兴趣对象710、以及位于感兴趣对象710的范围内的干扰对象720，并且，样本图像700中在感兴趣对象710的范围外还具有与该感兴趣对象710具有固定位置关系的附加对象730。
相应地，请再参见图8，除了通过S610设定包围感兴趣对象710的ROI 210、以及在ROI 210内包围干扰对象720的ROS 220之外，还可以进一步通过S620在ROI 210之外设定与附加对象730对准的基准特征800。
图9为对应于如图7所示标定样本的偏移目标样本的实例示意图。图10为针对如图9所示偏移目标样本的位姿矫正的实例示意图。
请先参见图9，目标图像900中包括感兴趣对象910、位于感兴趣对象910的范围内的干扰对象920、以及在感兴趣对象910的范围外与其具有固定位置关系的附加对象930，并且，相比于如图7所示的样本图像700，如图9所示的样本图像900具有整体的位姿偏移，使得样本图像900中的感兴趣对象910、干扰对象920以及附加对象930分别相比于样本图像700中的感兴趣对象710、干扰对象720以及附加对象730均具有位姿偏差。
请再参见图10，通过检测目标图像900中的附加对象930，图6中的S640可以确定基准特征800在目标图像900中的当前位姿相比于在样本图像700中的参考位姿的位姿偏差，包括坐标偏差DeltaX和DeltaY、以及角度偏差DeltaA，并且，图6中的S650可以利用位姿偏差中的坐标偏差DeltaX和DeltaX对ROI 210和ROS220的区域标定信息进行坐标平移，然后再以基准特征800在目标图像900中的位置坐标为中心，利用位姿偏差中的角度偏差DeltaA对坐标平移后的ROI 210和ROS220的区域标定信息进行偏转折算补偿DeltaX’和DeltaY’。其中，DeltaX’和DeltaY’的补偿量可以根据角度偏差DeltaA、以及基准特征800与ROI 210和ROS 220的几何位置关系来确定。
可以理解的是，以基准特征在目标图像中的位置坐标为中心、并利用位姿偏差中的角度偏差的偏转折算补偿，也可以先于利用位姿偏差中的坐标偏差的坐标平移。或者，以基准特征在目标图像中的位置坐标为中心、并利用位姿偏差中的角度偏差的偏转折算补偿、以及利用位姿偏差中的坐标偏差的坐标平移，可以根据实际的位姿偏差情况择一地执行。即，图6中示出的S640可以包括：利用位姿偏差中的坐标偏差对ROI和ROS的区域标定信息进行坐标平移，和/或，以基准特征在目标图像中的位置坐标为中心，利用位姿偏差中的角度偏差对ROI和ROS的区域标定信息进行偏转折算补偿。
从而，参照基准特征800对ROI 210和ROS 220的区域标定信息进行位姿补偿，可以更准确地实现ROS 220对ROI 210的局部屏蔽效果在目标图像900中的靶向定位。
图11a至图11c为基于如图6所示扩展流程的图像处理实例的示意图。
请先参见图11a，样本图像100a是摄像机镜头的样本图像、并且在摄像机镜头的前端面具有产品型号标识符，其中，产品型号标识符中的数字部分为感兴趣对象、并且数字部分中掺杂有非数字干扰字符，相应地，ROI 1010包围数字部分，ROS 1020包围数字部分中掺杂的非数字干扰字符，另外，摄像机镜头的前端面还具有徽标部分，该徽标中的字符I被设定为基准特征1030。
请再参见图11b，目标图像100b相比于样本图像100a具有位姿偏差，利用基准特征1030在目标图像100b中的当前位姿相比于在样本图像100a中的参考位姿的位姿偏差，可以对ROI 1010和ROS 1020的位姿矫正，使ROI 1010能够包围目标图像100b中的数字部分，ROS1020能够包围目标图像100b中的数字部分中掺杂的非数字干扰字符。
请再参见图11c，通过ROI 1010和ROS 1020确定检测区域，利用检测区域创建的检测掩膜图像，然后再利用检测掩膜图像对目标图像100b进行区域有效性过滤，可以得到合成图像100c，该合成图像100c仅保留有目标图像100b位于ROI1010中未被ROS 1020遮挡的无掺杂数字部分。
图12为另一个实施例中的图像处理装置的示例性结构示意图。在另一个实施例中，一种图像处理装置包括：
标定加载模块1210，用于获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息。例如，标定加载模块1210获取的区域标定信息可以分别表示ROI位置集合和ROS位置集合，并且，区域标定信息可以包括多个ROI位置集合和多个ROS位置集合。
区域界定模块1220，用于根据区域标定信息确定检测区域，其中，检测区域为ROI中与ROS的重叠区域被去除后的保留区域。例如，区域界定模块1220可以通过ROI的区域标定信息表示的ROI位置集合与ROS的区域标定信息表示的ROS位置集合，得到检测区域位置集合。再例如，当ROI的区域标定信息表示的ROI位置集合多于一个时，区域界定模块1220可以进一步用于将ROI的区域标定信息表示的多个ROI位置集合进行并集运算、和/或将ROS的区域标定信息表示的多个ROS位置集合进行并集运算，然后再通过将ROI位置集合与ROS位置集合进行差集运算得到检测区域位置集合。
掩膜创建模块1230，用于创建有效区域被约束在检测区域的检测掩膜图像。例如，掩膜创建模块1230可以加载与目标图像具有相同尺寸的掩膜底板图像，并通过将掩膜底板图像中与检测区域位置集合重叠的区域设定为有效值而得到与目标图像具有相同尺寸的检测掩膜图像。
图像过滤模块1240，用于利用检测掩膜图像对目标图像进行区域有效性过滤。例如，图像过滤模块1240可以通过将检测掩膜图像与目标图像进行对位像素的逻辑与运算得到合成图像，其中，合成图像在检测区域内保留有目标图像的原始像素阵列、并且在检测区域外被置为无效像素阵列。
基于如图12所示的图像处理装置，可以利用由ROI和ROS的区域标定信息确定的检测区域创建检测掩膜图像，由于检测区域被界定在ROI与ROS的非重叠区域，因而利用检测区域创建的检测掩膜图像可以具有利用ROS对ROI局部屏蔽的效果。从而，利用有效区域被约束在检测区域的检测掩膜图像对目标图像进行区域有效性过滤，可以只保留目标图像中被圈定在ROI中未被ROS屏蔽的局部区域内的图像原值，进而可以排除ROS中的内部干扰和冗余的图像处理，有助于提高对目标图像的图像处理辨识精度和图像处理效率。
图13为如图11所示图像处理装置的一扩展结构示意图。请参见图13，为了支持ROI和ROS的人工设定，如图12所示的图像处理装置可以进一步包括标定创建模块1200，用于检测以人机交互方式在样本图像中标定的ROI和ROS的边界位置条件，并且利用检测到的边界位置条件创建ROI和ROS的区域标定信息，其中，样本图像与目标图像呈现同类特征对象、并且样本图像与目标图像具有相同的尺寸。例如，标定创建模块1200检测到的边界位置条件可以包括边缘点等离散边界特征。并且标定创建模块1200可以将离散边界特征拟合为以边界点为顶点的封闭多边形，并利用拟合的封闭多边形创建表示位置集合的区域标定信息。
若引入前述的类别标识的管理机制和类别标识的选择机制，则，标定创建模块1200可以进一步用于检测以人机交互方式输入的样本分类指令，并且将类别标识与创建的ROI和ROS的区域标定信息关联，其中，样本分类指令中包含样本图像中呈现的特征对象的类别标识；相应地，标定加载模块1210可以进一步用于检测以人机交互方式输入的区域选择指令，并且调用与区域选择指令中的类别标识关联的ROI和ROS的区域标定信息，其中，区域选择指令中包含待处理的目标图像中呈现的特征对象的类别标识。
图14为如图11所示图像处理装置的另一扩展结构示意图。请参见图14，为了支持ROI和ROS的位姿矫正，如图12所示的图像处理装置可以进一步包括位姿补偿模块1250，用于获取基准特征及其标定位姿，检测基准特征在目标图像中的当前位姿相对于在样本图像中的标定位姿的位姿偏差，并且，利用位姿偏差对ROI和ROS的区域标定信息进行位姿矫正。例如，位姿补偿模块1250可以利用位姿偏差中的坐标偏差对ROI和ROS的区域标定信息进行坐标平移，和/或，以基准特征在目标图像中的位置坐标为中心，利用位姿偏差中的角度偏差对坐标平移后的ROI和ROS的区域标定信息进行偏转折算补偿。
仍参见图14，基准特征的设定也可以支持人工方式，如图12所示的图像处理装置还可以进一步包括基准标定模块1260，用于检测以人机交互方式在样本图像中标定的基准特征，并且检测基准特征在样本图像中的标定位姿。
可以理解的是，如图14所示的结构也可以进一步包含在图13中示出的标定创建模块1200。
若引入前述的类别标识的管理机制和类别标识的选择机制，则，标定创建模块1200可以进一步用于将样本分类指令中的类别标识与标定的基准特征关联；相应地，位姿补偿模块1250可以进一步用于检测以人机交互方式输入的区域选择指令，并且调用与区域选择指令中的类别标识关联的基准特征。
图15为另一个实施例中的一种检测设备的结构示意图。请参见图15，该实施例中的检测设备可以包括处理器1510、存储器1520、以及非瞬时计算机可读存储介质1530，其中，处理器1510用于执行如图3至图6中任一项所示的图像处理方法中的步骤；存储器1520为可选的部件，其可以存储预先标定的ROI和ROS的标定区域信息、以及基准特征及其在样本图像中的参考位姿；非瞬时计算机可读存储介质1530可以存储指令，这些指令在由处理器1510执行时可以使得处理器1510执行如图3至图6中任一项所示的图像处理方法中的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (13)
1.一种图像处理方法，其特征在于，包括：
获取感兴趣区域ROI的区域标定信息、以及位于ROI中的屏蔽区域ROS的区域标定信息；
根据区域标定信息确定检测区域，其中，检测区域为ROI中与ROS的重叠区域被去除后的保留区域；
创建有效区域被约束在检测区域的检测掩膜图像；
利用检测掩膜图像对目标图像进行区域有效性过滤。
2.根据权利要求1所述的图像处理方法，其特征在于，获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息之前，进一步包括：
检测以人机交互方式在样本图像中标定的ROI和ROS的边界位置条件，其中，样本图像与目标图像呈现同类特征对象、并且样本图像与目标图像具有相同的尺寸；
利用检测到的边界位置条件创建ROI和ROS的区域标定信息。
3.根据权利要求2所述的图像处理方法，其特征在于，
获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息之前，进一步包括：检测以人机交互方式输入的样本分类指令，并且将类别标识与创建的ROI和ROS的区域标定信息关联，其中，样本分类指令中包含样本图像中呈现的特征对象的类别标识；
获取ROI的区域标定信息、以及位于ROI中的ROS的区域标定信息包括：检测以人机交互方式输入的区域选择指令，并且调用与区域选择指令中的类别标识关联的ROI和ROS的区域标定信息，其中，区域选择指令中包含待处理的目标图像中呈现的特征对象的类别标识。
4.根据权利要求1所述的图像处理方法，其特征在于，
根据区域标定信息确定检测区域包括：通过将ROI的区域标定信息表示的ROI位置集合与ROS的区域标定信息表示的ROS位置集合进行差集运算，得到检测区域位置集合；
创建有效区域被约束在检测区域的检测掩膜图像包括：加载与目标图像具有相同尺寸的掩膜底板图像，并通过将掩膜底板图像中与检测区域位置集合重叠的区域设定为有效值而得到与目标图像具有相同尺寸的检测掩膜图像；
利用检测掩膜图像对目标图像进行区域有效性过滤包括：通过将检测掩膜图像与目标图像进行对位像素的逻辑与运算得到合成图像，其中，合成图像在检测区域内保留有目标图像的原始像素阵列、并且在检测区域外被置为无效像素阵列。
5.根据权利要求4所述的图像处理方法，其特征在于，
当ROI的区域标定信息表示多个ROI位置集合时，根据区域标定信息确定检测区域在将ROI位置集合与ROS位置集合进行差集运算之前进一步包括：将多个ROI位置集合进行并集运算；
当ROS的区域标定信息表示多个ROS位置集合时，根据区域标定信息确定检测区域在将ROI位置集合与ROS位置集合进行差集运算之前进一步包括：将多个ROS位置集合进行并集运算。
6.根据权利要求1所述的图像处理方法，其特征在于，根据区域标定信息确定检测区域之前，进一步包括：
检测以人机交互方式在样本图像中标定的基准特征，其中，基准特征位于ROI的范围之外、并与ROI具有固定位置关系；
检测基准特征在样本图像中的标定位姿；
检测基准特征在目标图像中的当前位姿相对于在样本图像中的标定位姿的位姿偏差；
利用位姿偏差对ROI和ROS的区域标定信息进行位姿矫正。
7.根据权利要求6所述的图像处理方法，其特征在于，利用位姿偏差对ROI和ROS的区域标定信息进行位姿矫正包括：
利用位姿偏差中的坐标偏差对ROI和ROS的区域标定信息进行坐标平移；和/或
以基准特征在目标图像中的位置坐标为中心，利用位姿偏差中的角度偏差对ROI和ROS的区域标定信息进行偏转折算补偿。
8.一种图像处理装置，其特征在于，包括：
标定加载模块，用于获取感兴趣区域ROI的区域标定信息、以及位于ROI中的屏蔽区域ROS的区域标定信息；
区域界定模块，用于根据区域标定信息确定检测区域，其中，检测区域为ROI中与ROS的重叠区域被去除后的保留区域；
掩膜创建模块，用于创建有效区域被约束在检测区域的检测掩膜图像；
图像过滤模块，用于利用检测掩膜图像对目标图像进行区域有效性过滤。
9.根据权利要求8所述的图像处理装置，其特征在于，进一步包括：
标定创建模块，用于检测以人机交互方式在样本图像中标定的ROI和ROS的边界位置条件，并且利用检测到的边界位置条件创建ROI和ROS的区域标定信息，其中，样本图像与目标图像呈现同类特征对象、并且样本图像与目标图像具有相同的尺寸。
10.根据权利要求9所述的图像处理装置，其特征在于，
标定创建模块进一步用于检测以人机交互方式输入的样本分类指令，并且将类别标识与创建的ROI和ROS的区域标定信息关联，其中，样本分类指令中包含样本图像中呈现的特征对象的类别标识；
标定加载模块进一步用于检测以人机交互方式输入的区域选择指令，并且调用与区域选择指令中的类别标识关联的ROI和ROS的区域标定信息，其中，区域选择指令中包含待处理的目标图像中呈现的特征对象的类别标识。
11.根据权利要求8所述的图像处理装置，其特征在于，进一步包括：
基准标定模块，用于检测以人机交互方式在样本图像中标定的基准特征，并且检测基准特征在样本图像中的标定位姿；
位姿补偿模块，用于检测基准特征在目标图像中的当前位姿相对于在样本图像中的标定位姿的位姿偏差，并且，利用位姿偏差对ROI和ROS的区域标定信息进行位姿矫正。
12.一种检测设备，其特征在于，包括处理器，所述处理器用于执行如权利要求1至7中任一项所述的图像处理方法中的步骤。
13.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910510743.6A CN112085015A (zh) | 2019-06-13 | 2019-06-13 | 图像处理方法和图像处理装置以及检测设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910510743.6A CN112085015A (zh) | 2019-06-13 | 2019-06-13 | 图像处理方法和图像处理装置以及检测设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112085015A true CN112085015A (zh) | 2020-12-15 |
Family
ID=73734544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910510743.6A Pending CN112085015A (zh) | 2019-06-13 | 2019-06-13 | 图像处理方法和图像处理装置以及检测设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085015A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040080670A1 (en) * | 2001-07-31 | 2004-04-29 | Cheatle Stephen Philip | Automatic frame selection and layout of one or more images and generation of images bounded by a frame |
| US20120092472A1 (en) * | 2010-10-15 | 2012-04-19 | Olympus Corporation | Image processing device, method of controlling image processing device, and endoscope apparatus |
| CN107111874A (zh) * | 2014-12-30 | 2017-08-29 | 文塔纳医疗系统公司 | 用于免疫分数计算中的共表达分析的系统和方法 |
| CN108073930A (zh) * | 2017-11-17 | 2018-05-25 | 维库（厦门）信息技术有限公司 | 一种基于多个不规则roi的目标检测和跟踪方法 |
| US20180349724A1 (en) * | 2017-05-31 | 2018-12-06 | Shanghai United Imaging Healthcare Co., Ltd. | Method and system for image processing |
-
2019
- 2019-06-13 CN CN201910510743.6A patent/CN112085015A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040080670A1 (en) * | 2001-07-31 | 2004-04-29 | Cheatle Stephen Philip | Automatic frame selection and layout of one or more images and generation of images bounded by a frame |
| US20120092472A1 (en) * | 2010-10-15 | 2012-04-19 | Olympus Corporation | Image processing device, method of controlling image processing device, and endoscope apparatus |
| CN107111874A (zh) * | 2014-12-30 | 2017-08-29 | 文塔纳医疗系统公司 | 用于免疫分数计算中的共表达分析的系统和方法 |
| US20180349724A1 (en) * | 2017-05-31 | 2018-12-06 | Shanghai United Imaging Healthcare Co., Ltd. | Method and system for image processing |
| CN108073930A (zh) * | 2017-11-17 | 2018-05-25 | 维库（厦门）信息技术有限公司 | 一种基于多个不规则roi的目标检测和跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5387193B2 (ja) | 画像処理システム、画像処理装置およびプログラム | |
| US20040207600A1 (en) | System and method for transforming an ordinary computer monitor into a touch screen | |
| CN110223226B (zh) | 全景图像拼接方法及系统 | |
| JP4001162B2 (ja) | 画像処理方法、画像処理用のプログラムならびにその記憶媒体、および画像処理装置 | |
| JP7001494B2 (ja) | ウェハ観察装置 | |
| CN113146073B (zh) | 基于视觉的激光切割方法及装置、电子设备、存储介质 | |
| JP2012103789A (ja) | オブジェクト表示装置及びオブジェクト表示方法 | |
| JP5468332B2 (ja) | 画像特徴点抽出方法 | |
| CN108074237B (zh) | 图像清晰度检测方法、装置、存储介质及电子设备 | |
| CN110443245A (zh) | 一种非限制场景下的车牌区域的定位方法、装置及设备 | |
| JP7218614B2 (ja) | 画像診断システム、画像診断装置、および画像診断方法 | |
| JP2672509B2 (ja) | カメラモデルの自動キャリブレーション方法およびその装置 | |
| JP2017123015A (ja) | 情報処理装置、画像処理方法およびプログラム | |
| CN112085015A (zh) | 图像处理方法和图像处理装置以及检测设备 | |
| JP5762315B2 (ja) | 画像処理方法 | |
| JP5853466B2 (ja) | 画像処理システム、画像処理プログラム | |
| CN116452676A (zh) | 一种摄像头标定方法、装置、设备及可读存储介质 | |
| CN115984185A (zh) | 纸巾包装缺陷检测方法、装置、系统和存储介质 | |
| JP5339959B2 (ja) | 画像処理装置および矩形枠の四つ角検出方法 | |
| CN112700415B (zh) | 一种笔电外壳缺陷快速检测算法 | |
| CN111428707B (zh) | 图形识别码的识别方法、装置、存储介质及电子设备 | |
| CN111458739B (zh) | 成像方法、装置及系统 | |
| JP6156212B2 (ja) | 物体検出装置 | |
| JP5157963B2 (ja) | 対象物検出装置 | |
| JP6459528B2 (ja) | 画像補正装置、画像補正システム、画像補正方法、及び画像補正プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Hikvision Robot Co.,Ltd. Address before: 310052 5 / F, building 1, building 2, no.700 Dongliu Road, Binjiang District, Hangzhou City, Zhejiang Province Applicant before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd. |