CN110738077A - 一种异物检测方法及装置 - Google Patents
一种异物检测方法及装置 Download PDFInfo
- Publication number
- CN110738077A CN110738077A CN201810795735.6A CN201810795735A CN110738077A CN 110738077 A CN110738077 A CN 110738077A CN 201810795735 A CN201810795735 A CN 201810795735A CN 110738077 A CN110738077 A CN 110738077A
- Authority
- CN
- China
- Prior art keywords
- event
- target
- post
- image
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种异物检测方法及装置，所述方法包括：获取针对预设区域的事件前图像和事件后图像；其中，所述事件前图像为预设事件发生前的图像，所述事件后图像为所述预设事件发生后的图像；在事件前图像中识别与已知目标匹配的目标，作为事件前目标；在事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物；其中，所述目标图像包括所述事件前图像和/或所述事件后图像。本发明实施例能够检测待检测场景中出现的异物。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种异物检测方法及装置。
背景技术
随着图像采集设备的不断发展，图像采集设备的应用越来越广泛，如可以应用于智能交通、安防监控等领域。
在安防监控领域，通常情况下，可以通过图像采集设备采集的图像来分析监控场景中是否有可疑人员入侵等。而在一些特殊的场景中，如手术室、实验室等，某些物品的丢失(如手术器械、实验工具等)或新增(如手术或实验过程中产生的垃圾)等，都可能造成比较严重的后果。其中，上述场景中丢失或新增的物品可以称为异物。
因此，如何检测待检测场景中出现的异物，成为一个亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种异物检测方法及装置，以实现检测待检测场景中出现的异物。具体技术方案如下：
第一方面，本发明实施例提供了一种异物检测方法，所述方法包括：
获取针对预设区域的事件前图像和事件后图像；其中，所述事件前图像为预设事件发生前的图像，所述事件后图像为所述预设事件发生后的图像；
在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；
分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；
将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物；其中，所述目标图像包括所述事件前图像和/或所述事件后图像。
可选的，当所述目标图像包括所述事件前图像和所述事件后图像时，所述将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物的步骤，包括：
计算各所述事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度；
当任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该事件前目标确定为异物；
当任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该事件后目标确定为异物。
可选的，当所述目标图像包括所述事件前图像和所述事件后图像时，所述将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物的步骤，包括：
计算各所述事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度；
针对每个所述事件前目标，判断该事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度是否均小于预设阈值，如果是，确定该事件前目标为异物；
针对每个所述事件后目标，判断该事件后目标的特征信息与各所述事件前目标的特征信息之间的相似度是否均小于所述预设阈值，如果是，确定该事件后目标为异物。
可选的，所述当任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该事件前目标确定为异物；当任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该事件后目标确定为异物之前，所述方法还包括：
计算各事件前目标的特征信息之间的相似度，以及各事件后目标的特征信息之间的相似度，并识别是否存在大于预设阈值的目标相似度；
当不存在所述目标相似度时，执行所述当任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该事件前目标确定为异物；当任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该事件后目标确定为异物的步骤。
可选的，所述识别是否存在大于预设阈值的目标相似度之后，所述方法还包括：
当存在所述目标相似度时，根据所述目标相似度，在所述事件前目标中确定包含同一事件前目标的事件前目标组合和剩余事件前目标，在所述事件后目标中确定包含同一事件后目标的事件后目标组合和剩余事件后目标；
当任一事件前目标组合中的任一事件前目标不满足第一预设判定条件时，将该事件前目标确定为异物；当任一事件后目标组合中的任一事件后目标不满足第二预设判定条件时，将该事件后目标确定为异物；所述第一预设判定条件包括：任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度中，大于所述预设阈值的相似度的数量等于该事件前目标所在事件前目标组合中包括的事件前目标的数量；所述第二预设判定条件包括：任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度中，大于所述预设阈值的相似度的数量等于该事件后目标所在事件后目标组合中包括的事件后目标的数量；
当任一剩余事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该剩余事件前目标确定为异物；当任一剩余事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该剩余事件后目标确定为异物。
可选的，所述分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息的步骤，包括：
通过预先训练的特征提取神经网络模型，分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；其中，所述特征提取神经网络模型是根据包含所述已知目标的目标样本图像，以及各所述已知目标的类别信息训练得到的。
可选的，所述特征提取神经网络模型的训练过程包括：
获取所述目标样本图像，其中，所述目标样本图像中包括所述已知目标；
确定各所述已知目标的类别信息；
将所述目标样本图像，以及各所述已知目标的类别信息输入预设的神经网络模型中，当所述神经网络模型识别出的各所述已知目标的类别信息，与输入的各所述已知目标的类别信息匹配时，得到所述特征提取神经网络模型。
可选的，所述在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标的步骤，包括：
通过预先训练的目标检测神经网络模型，在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；其中，所述目标检测神经网络模型是根据包含标记区域的标记样本图像训练得到的。
可选的，所述目标检测神经网络模型的训练过程包括：
获取标记样本图像，其中，所述标记样本图像包括标记区域；
利用所述标记样本图像对预设的神经网络模型进行训练，得到满足预设条件的所述目标检测神经网络模型。
可选的，所述将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物之后，所述方法还包括：
当检测出所述目标图像中存在异物时，输出提示信息。
可选的，所述提示信息包括声音信息和/或图像信息；
所述图像信息包括存在异物的所述目标图像；或者存在异物且已突出显示所述异物的所述目标图像。
可选的，所述事件前图像和所述事件后图像为在同一手术室场景中采集的图像。
第二方面，本发明实施例提供了一种异物检测装置，所述装置包括：
图像获取模块，用于获取针对预设区域的事件前图像和事件后图像；其中，所述事件前图像为预设事件发生前的图像，所述事件后图像为所述预设事件发生后的图像；
目标识别模块，用于在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；
特征提取模块，用于分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；
异物检测模块，用于将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物；其中，所述目标图像包括所述事件前图像和/或所述事件后图像。
可选的，当所述目标图像包括所述事件前图像和所述事件后图像时，所述异物检测模块，包括：
第一相似度计算子模块，用于计算各所述事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度；
第一异物确定子模块，用于当任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该事件前目标确定为异物；当任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该事件后目标确定为异物。
可选的，当所述目标图像包括所述事件前图像和所述事件后图像时，所述异物检测模块，包括：
第二相似度计算子模块，用于计算各所述事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度；
事件前异物确定子模块，用于针对每个所述事件前目标，判断该事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度是否均小于预设阈值，如果是，确定该事件前目标为异物；
事件后异物确定子模块，用于针对每个所述事件后目标，判断该事件后目标的特征信息与各所述事件前目标的特征信息之间的相似度是否均小于所述预设阈值，如果是，确定该事件后目标为异物。
可选的，所述异物检测模块还包括：
相似度识别子模块，用于计算各事件前目标的特征信息之间的相似度，以及各事件后目标的特征信息之间的相似度，并识别是否存在大于预设阈值的目标相似度；当不存在所述目标相似度时，触发所述第一异物确定子模块。
可选的，所述异物检测模块还包括：
目标识别子模块，用于当存在所述目标相似度时，根据所述目标相似度，在所述事件前目标中确定包含同一事件前目标的事件前目标组合和剩余事件前目标，在所述事件后目标中确定包含同一事件后目标的事件后目标组合和剩余事件后目标；
第二异物确定子模块，用于当任一事件前目标组合中的任一事件前目标不满足第一预设判定条件时，将该事件前目标确定为异物；当任一事件后目标组合中的任一事件后目标不满足第二预设判定条件时，将该事件后目标确定为异物；所述第一预设判定条件包括：任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度中，大于所述预设阈值的相似度的数量等于该事件前目标所在事件前目标组合中包括的事件前目标的数量；所述第二预设判定条件包括：任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度中，大于所述预设阈值的相似度的数量等于该事件后目标所在事件后目标组合中包括的事件后目标的数量；
第三异物确定子模块，用于当任一剩余事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该剩余事件前目标确定为异物；当任一剩余事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该剩余事件后目标确定为异物。
可选的，所述特征提取模块，具体用于通过预先训练的特征提取神经网络模型，分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；其中，所述特征提取神经网络模型是根据包含所述已知目标的目标样本图像，以及各所述已知目标的类别信息训练得到的。
可选的，所述装置还包括：
目标样本图像获取模块，用于获取所述目标样本图像，其中，所述目标样本图像中包括所述已知目标；
类别信息确定模块，用于确定各所述已知目标的类别信息；
特征提取模型训练模块，用于将所述目标样本图像，以及各所述已知目标的类别信息输入预设的神经网络模型中，当所述神经网络模型识别出的各所述已知目标的类别信息，与输入的各所述已知目标的类别信息匹配时，得到所述特征提取神经网络模型。
可选的，所述目标识别模块，具体用于通过预先训练的目标检测神经网络模型，在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；其中，所述目标检测神经网络模型是根据包含标记区域的标记样本图像训练得到的。
可选的，所述装置还包括：
标记样本图像获取模块，用于获取标记样本图像，其中，所述标记样本图像包括标记区域；
目标检测模型训练模块，用于利用所述标记样本图像对预设的神经网络模型进行训练，得到满足预设条件的所述目标检测神经网络模型。
可选的，所述装置还包括：
信息输出模块，用于当检测出所述目标图像中存在异物时，输出提示信息。
可选的，所述提示信息包括声音信息和/或图像信息；
所述图像信息包括存在异物的所述目标图像；或者存在异物且已突出显示所述异物的所述目标图像。
可选的，所述事件前图像和所述事件后图像为在同一手术室场景中采集的图像。
第三方面，本发明实施例提供了一种电子设备，包括：处理器和存储器；
所述存储器存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如上述第一方面所述的一种异物检测方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的一种异物检测方法。
本发明实施例提供了一种异物检测方法及装置，所述方法包括：获取针对预设区域的事件前图像和事件后图像；其中，所述事件前图像为预设事件发生前的图像，所述事件后图像为所述预设事件发生后的图像；在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物；其中，所述目标图像包括所述事件前图像和/或所述事件后图像。
本发明实施例中，可以通过识别事件前图像中的事件前目标，以及事件后图像中的事件后目标，提取各事件前目标和各事件后目标的特征信息，并通过两两比对各事件前目标的特征信息与各事件后目标的特征信息，来确定各事件前目标和各事件后目标是否为相同目标，进而确定事件前图像中丢失和/或事件后图像中新增的异物，实现异物检测的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种异物检测方法的流程图；
图2为本发明实施例的一种异物检测方法的另一流程图；
图3为本发明实施例的一种异物检测方法的另一流程图；
图4为本发明实施例的一种异物检测方法的另一流程图；
图5为本发明实施例的一种异物检测装置的结构示意图；
图6为本发明实施例的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下通过具体实施例，对本发明进行详细说明。
在本发明实施例中，为了对一些要求比较严密的特殊场景进行异物检测，可以在这些特殊场景中安装图像采集设备，以通过图像采集设备采集的图像进行异物检测。上述特征场景例如可以为手术室、实验室等，本发明实施例对此不作限定。上述特殊场景可以称为待检测场景。上述图像采集设备可以为球机、摄像机、抓拍机等，待检测场景中可以安装一台或多台图像采集设备，本发明实施例对此不进行限定。
待检测场景中安装的图像采集设备可以采集其监控区域的图像。如，图像采集设备可以按照预设的周期(如1分钟、5分钟、10分钟等)持续采集图像；或者，为了降低图像采集设备的存储量，图像采集设备可以仅在预设时间段内采集图像，如可以预先在图像采集设备中设定开始采集条件和结束采集条件，当图像采集设备检测到满足开始采集条件时，开始采集图像，直至检测到满足结束采集条件为止。
其中，上述开始采集条件可以包括：有人员进入待检测场景、某设备被开启等；相应的，结束采集条件可以包括：有人员离开待检测场景、某设备被关闭等，本发明实施例对此不作限定。
本发明实施例提供的异物检测方法可以应用于任意具有图像处理功能的设备。如，可以为安装于待检测场景中的图像采集设备；或者，可以为图像采集设备之外的电子设备，如台式计算机、便携式计算机、智能移动终端、服务器等。为了便于描述，以应用于图像采集设备之外的电子设备为例，来说明本发明实施例提供的异物检测方法。
在本发明实施例中，可以在图像采集设备与电子设备之间建立有线或无线连接，从而图像采集设备可以将其采集的图像发送给电子设备。例如，可以通过任一种有线连接方式在图像采集设备与电子设备之间建立有线连接；或者，可以通过任一种远距离无线连接方式或NFC(Near Field Communication，近距离无线通讯技术)、蓝牙等近距离无线连接方式在图像采集设备与电子设备之间建立无线连接，本发明实施例对此不作限定。
请参考图1，其示出了本发明实施例的一种异物检测方法流程，该方法可以包括以下步骤：
S101，获取针对预设区域的事件前图像和事件后图像；其中，事件前图像为预设事件发生前的图像，事件后图像为预设事件发生后的图像。
在本发明实施例中，电子设备可以获取针对预设区域的事件前图像和事件后图像，以通过对事件前图像和事件后图像进行对比，确定是否存在异物。
上述预设区域可以为待检测区域本身，或者也可以为待检测区域中部分区域，本发明实施例对此不作限定。获取针对预设区域的事件前图像和事件后图像时，电子设备可以通过比较采集各图像的图像采集设备的标识是否相同，或者采集各图像的图像采集设备的监控区域是否相同，来识别属于同一预设区域的事件前图像和事件后图像。
在本发明实施例中，待检测场景中发生预设事件时，电子设备可以记录预设事件的开始时间和结束事件。如，电子设备可以在检测到预设事件发生时，自动记录开始时间和结束时间；或者，电子设备可以接收用户输入的开始时间和结束时间并保存，这都是合理的。
在获取事件前图像和事件后图像时，电子设备可以获取预设事件的开始时间和结束时间，并且在图像采集设备所采集的图像中，将采集时间与开始时间最接近的图像确定为事件前图像，将采集时间与结束时间最接近的图像确定为事件后图像。
其中，上述预设事件可以为可能造成待检测场景中物品有所变化的事件，具体可以针对不同的待检测场景而设定。如，针对手术室场景，上述预设事件可以为做手术；针对实验室场景，上述预设事件可以为做实验等，本发明实施例对此不作限定。
S102，在事件前图像中识别与已知目标匹配的目标，作为事件前目标；在事件后图像中识别与已知目标匹配的目标，作为事件后目标。
获取到事件前图像和事件后图像后，电子设备可以在事件前图像中识别与已知目标匹配的目标，作为事件前目标；在事件后图像中识别与已知目标匹配的目标，作为事件后目标。
例如，电子设备可以预先设定已知目标的预设类别，针对事件前图像，采用任一种图像识别方法，如DPM(deformable parts model，可形变部件模型)等目标检测类算法，来识别其中是否包含预设类别的目标，如果检测到，则将所检测到的目标确定为事件前目标；针对事件后图像，采用任一种图像识别方法，识别其中是否包含预设类别的目标，如果检测到，则将所检测到的目标确定为事件后目标。
其中，电子设备识别事件前目标和事件后目标的过程，可以采用相同或不同的方法，这都是合理的。
S103，分别提取各事件前目标的特征信息，以及各事件后目标的特征信息。
在本发明实施例中，得到事件前图像中的事件前目标和事件后图像中的事件后目标后，电子设备可以分别提取各事件前目标的特征信息，以及各事件后目标的特征信息。
例如，电子设备可以采用任一种特征提取算法，如斑点检测算法、FAST特征点检测算法等，提取各事件前目标的特征信息，以及各事件后目标的特征信息，本发明实施例对此不作限定。
其中，电子设备提取各事件前目标的特征信息和各事件后目标的特征信息的过程，可以采用相同或不同的方法，这都是合理的。
S104，将各事件前目标的特征信息与各事件后目标的特征信息进行比对，检测目标图像中的异物；其中，目标图像包括事件前图像和/或事件后图像。
提取到各事件前目标的特征信息和各事件后目标的特征信息后，电子设备可以将各事件前目标的特征信息与各事件后目标的特征信息进行比对，检测事件前图像和/或事件后图像中的异物。也就是说，可以仅确定事件前图像中的异物，或仅确定事件后图像中的异物，或者，也可以同时确定事件前图像和事件后图像中的异物，本发明实施例对此不作限定。
例如，电子设备可以根据各事件前目标的特征信息和各事件后目标的特征信息的差异度，识别出属于同一目标的特征信息，从而确定仅存在于事件前图像中的目标和/或仅存在于事件后图像中的目标，将该目标确定为异物。
本发明实施例中，可以通过识别事件前图像中的事件前目标，以及事件后图像中的事件后目标，提取各事件前目标和各事件后目标的特征信息，并通过两两比对各事件前目标的特征信息与各事件后目标的特征信息，来确定各事件前目标和各事件后目标是否为相同目标，进而确定事件前图像中丢失和/或事件后图像中新增的异物，实现异物检测的目的。
可以理解，如果能够得到事件前图像和事件后图像中存在的异物，即能获知在预设事件发生过程中丢失的和新增的所有异物，提高异物检测的准确性。如，在手术室场景中，手术器械的丢失或新增，以及医疗垃圾的新增，都可能造成比较严重的后果，因此，可以对手术前后丢失和新增的异物均进行检测，提升手术的安全性。
具体的，可以在手术室中安装图像采集设备，该图像采集设备的监控范围至少包含手术台。当手术准备就绪时，可以通过图像采集设备采集当前时刻的图像，也即手术前图像，作为本发明实施例中的事件前图像，当手术结束后，可以再次通过图像采集设备采集当前时刻的图像，也即手术后图像，作为本发明实施例中的事件后图像。上述手术前图像中即包含了手术前的手术室中所放置的物品，手术后图像中即包含了手术过后的手术室中所放置的物品。通过对手术前图像和手术后图像中出现的物品进行比对，即可确定手术过程中丢失或新增的异物。例如，如果在手术过程中不慎将手术器械丢失，那丢失的手术器械很可能遗留在病人体内或其他可能对病人造成危险的地方，因此，可以对手术前后进行异物检测。
作为本发明实施例的一种实施方式，如图2所示，检测事件前图像和事件后图像中的异物的步骤，可以包括：
S201，计算各事件前目标的特征信息与各事件后目标的特征信息之间的相似度。
在本发明实施例中，事件前目标的特征信息和事件后目标的特征信息可以均以向量的形式表示。具体的维数可以根据特征提取神经网络而定，本发明实施例对此不作限定。例如，在检测手术前后丢失和新增的异物时，上述事件前目标可以为手术器械，如剪刀、镊子等；上述事件后目标可以为手术器械和医疗垃圾等。可选的，本发明实施例中的事件具体为手术，即计算各手术前目标的特征信息与各手术后目标的特征信息之间的相似度。
确定事件前图像和事件后图像中存在的异物时，电子设备可以计算各事件前目标的特征信息与各事件后目标的特征信息之间的相似度。例如，电子设备可以计算任一事件前目标的特征信息和任一事件后目标的特征信息之间的余弦距离，作为该事件前目标的特征信息和该事件后目标的特征信息之间的相似度。或者，可以采用任一种相似度计算方法，计算各事件前目标的特征信息和各事件后目标的特征信息之间的相似度，本发明实施例对此不作限定。
S202，当任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该事件前目标确定为异物；当任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足预设条件时，将该事件后目标确定为异物。
确定各事件前目标的特征信息和各事件后目标的特征信息之间的相似度后，电子设备可以根据各相似度，确定事件前图像和事件后图像中的异物。可选的，本发明实施例中的事件具体为手术，针对任一手术前目标，在该手术前目标的特征信息与各手术后目标的特征信息之间的相似度均满足预设条件时，将该手术前目标确定为异物；针对任一手术后目标，在该手术后目标的特征信息与各手术前目标的特征信息之间的相似度均满足预设条件时，将该手术后目标确定为异物。
例如，电子设备可以首先检测每个事件前目标是否为异物。当已对每个事件前目标都进行检测后，针对非异物的事件前目标，电子设备可以识别出与这些事件前目标匹配的事件后目标。可以理解，识别出的事件后目标为与事件前目标匹配的目标，也就不是异物。因此，电子设备可以仅针对未识别出的事件后目标再次进行检测，判断其是否为异物，从而可以减少对事件后目标检测的数据量，提高异物检测效率。
或者，可以依次对每个事件前目标和每个事件后目标都进行检测。确定事件前图像中的异物时，电子设备可以针对每个事件前目标，根据该事件前目标的特征信息与各事件后目标的特征信息之间的相似度，确定该事件前目标是否为异物，也即确定该事件前目标是否在事件后图像中丢失。
例如，针对每个事件前目标，电子设备可以判断该事件前目标的特征信息与各事件后目标的特征信息之间的相似度是否均小于预设阈值，如80％、85％、90％等，如果是，则表明该事件前目标未出现在事件后图像中，从而可以确定该事件前目标为丢失的异物。
确定事件后图像中的异物时，电子设备可以针对每个事件后目标，根据该事件后目标的特征信息与各事件前目标的特征信息之间的相似度，确定该事件后目标是否为异物，也即确定该事件后目标是否为新增的异物。
例如，针对每个事件后目标，电子设备可以判断该事件后目标的特征信息与各事件前目标的特征信息之间的相似度是否均小于预设阈值，如80％、85％、90％等，如果是，则表明该事件后目标未出现在事件前图像中，从而可以确定该事件后目标为新增的异物。
在一种实现方式中，电子设备计算得到各事件前目标的特征信息和各事件后目标的特征信息的相似度后，可以将计算得到的相似度组合为一个矩阵，矩阵中每个元素都代表一个相似度，从而可以快速的通过该矩阵确定事件前图像和事件后图像中存在的异物。
如，当事件前图像中识别出m个事件前目标，事件后图像中识别出n个事件后目标时，计算出各事件前目标和各事件后目标之间的相似度后，电子设备可以组合得到如下所示的矩阵：
其中，X11表示第一个事件前目标的特征信息和第一个事件后目标的特征信息之间的相似度，X12表示第一个事件前目标的特征信息和第二个事件后目标的特征信息之间的相似度，依次类推，Xmn表示第m个事件前目标的特征信息和第n个事件后目标的特征信息之间的相似度。
如此使得，通过比较任一行的所有元素大小，即可获知该行所在行数的事件前目标的特征信息和所有事件后目标的特征信息之间的相似度，确定该事件前目标是否存在于事件后图像中。
通过比较任一列的所有元素大小，即可获知该列所在列数的事件后目标的特征信息和所有事件前目标的特征信息之间的相似度，确定该事件后目标是否存在于事件前图像中。
本实施例中，可以通过各事件前目标的特征信息和各事件后目标的特征信息之间的相似度，准确的确定事件前图像和事件后图像中的异物，提高异物检测的准确性。
可以理解，有些情况下，事件前图像或事件后图像中可能出现多个完全相同的目标。如，在手术室中，由于可能出现多名医生协同进行手术的情况，因此可能出现多个完全相同的手术器械。作为本发明实施例的一种实施方式，如图3所示，本发明实施例中，电子设备确定事件前图像和事件后图像中存在的异物的步骤，可以包括：
S301，计算各事件前目标的特征信息与各事件后目标的特征信息之间的相似度。
本步骤与图2所示实施例中步骤S201基本相同，在此不再赘述。
S302，计算各事件前目标的特征信息之间的相似度，以及各事件后目标的特征信息之间的相似度，并识别是否存在大于预设阈值的目标相似度；如果否，执行步骤S303，如果是，执行步骤S304。
本实施例中，为了提高异物识别的准确性，在检测事件前图像和事件后图像中存在的异物之前，可以首先识别事件前目标和事件后目标中的相同目标。
具体的，电子设备可以计算各事件前目标的特征信息之间的相似度，以及各事件后目标的特征信息之间的相似度，并识别是否存在大于预设阈值的目标相似度。例如，电子设备可以计算任两个事件前目标的特征信息之间的余弦距离，作为该两个事件前目标的特征信息之间的相似度；计算任两个事件后目标的特征信息之间的余弦距离，作为该两个事件后目标的特征信息之间的相似度。或者，可以采用任一种相似度计算方法，计算各事件前目标的特征信息之间的相似度，以及各事件后目标的特征信息之间的相似度，本发明实施例对此不作限定。
计算出各事件前目标的特征信息之间的相似度，以及各事件后目标的特征信息之间的相似度后，电子设备可以识别是否存在大于预设阈值的目标相似度。
当不存在目标相似度时，表明事件前图像和事件后图像中不存在相同目标，则可以执行步骤S303，仅根据每个事件前目标的特征信息和每个事件后目标的特征信息之间的相似度来检测异物；当存在目标相似度时，表明事件前图像和/或事件后图像中存在相同目标，这种情况下，仅根据每个事件前目标的特征信息和每个事件后目标的特征信息之间的相似度，不能准确的检测出异物，则可以执行步骤S304-S306，针对相同目标和不同目标，采用不同的方法进行异物检测。
S303，当任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该事件前目标确定为异物；当任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足预设条件时，将该事件后目标确定为异物。
本步骤与图2所示实施例中步骤S202基本相同，在此不再赘述。
S304，根据目标相似度，在事件前目标中确定包含同一事件前目标的事件前目标组合和剩余事件前目标，在事件后目标中确定包含同一事件后目标的事件后目标组合和剩余事件后目标。
具体的，可以首先确定各目标相似度对应的事件前目标对，进而将包含有相同目标的事件前目标对合并，得到最终的事件前目标组合，未包含相同目标的事件前目标对即为一个事件前目标组合。将所有的事件前目标中，未包含在事件前目标组合中的事件前目标作为剩余事件前目标。
例如，当计算得到的目标相似度对应的事件前目标对分别为：事件前目标1-事件前目标2、事件前目标1-事件前目标3、事件前目标2-事件前目标3、事件前目标4-事件前目标5时，可以得到最终的事件前目标组合分别为：包含事件前目标1、事件前目标2和事件前目标3的一个事件前目标组合，以及包含事件前目标4和事件前目标5的另一个事件前目标组合。
针对事件后目标，可以采用类似的方法确定事件后目标组合和剩余事件后目标，本发明实施例对此不进行赘述。
S305，当任一事件前目标组合中的任一事件前目标不满足第一预设判定条件时，将该事件前目标确定为异物；当任一事件后目标组合中的任一事件后目标不满足第二预设判定条件时，将该事件后目标确定为异物。
上述第一预设判定条件包括：任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度中，大于预设阈值的相似度的数量等于该事件前目标所在事件前目标组合中包括的事件前目标的数量；第二预设判定条件包括：任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度中，大于预设阈值的相似度的数量等于该事件后目标所在事件后目标组合中包括的事件后目标的数量。
也就是说，针对事件前目标组合中的事件前目标，只有在事件后目标中识别出的相同目标与该事件前组合中包括的事件前目标数量相同时，才确认该事件前目标不为异物，否则，确认该事件前目标为异物。
针对事件后目标组合中的事件后目标，只有在事件前目标中识别出相同数量的相同目标时，才确认该事件后目标不为异物，否则，确认该事件后目标为异物。
S306，当任一剩余事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该剩余事件前目标确定为异物；当任一剩余事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足预设条件时，将该剩余事件后目标确定为异物。
针对剩余事件前目标和剩余事件后目标，异物检测的过程与图2所示实施例中步骤S202基本相同，在此不再赘述。
可选的，本发明实施例中的事件具体为手术：
计算各手术前目标的特征信息与各手术后目标的特征信息之间的相似度；计算各手术前目标的特征信息之间的相似度，计算各手术后目标的特征信息之间的相似度，识别是否存在大于预设阈值的目标相似度。
如果不存在大于预设阈值的目标相似度，针对任一手术前目标，在该手术前目标的特征信息与各手术后目标的特征信息之间的相似度均满足预设条件时，将该手术前目标确定为异物；针对任一手术后目标，在该手术后目标的特征信息与各手术前目标的特征信息之间的相似度均满足预设条件时，将该手术后目标确定为异物。
如果存在大于预设阈值的目标相似度，根据目标相似度，在手术前目标中确定包含同一手术前目标的手术前目标组合和剩余手术前目标，在手术后目标中确定包含同一手术后目标的手术后目标组合和剩余手术后目标。当任一手术前目标组合中的任一手术前目标不满足第一预设判定条件时，将该手术前目标确定为异物；当任一手术后目标组合中的任一手术后目标不满足第二预设判定条件时，将该手术后目标确定为异物。当任一剩余手术前目标的特征信息与每个手术后目标的特征信息之间的相似度均满足预设条件时，将该剩余手术前目标确定为异物；当任一剩余手术后目标的特征信息与每个手术前目标的特征信息之间的相似度均满足预设条件时，将该剩余手术后目标确定为异物。
本实施例中，可以针对图像中包括的相同目标和不同目标，采用不同的方法进行异物检测，从而能够提高异物检测的准确性。
作为本发明实施例的一种实施方式，电子设备在识别事件前图像中包括的事件前目标和事件后图像中包括的事件后目标时，可以通过预先训练的目标检测神经网络模型，来识别事件前图像中包括的事件前目标和事件后图像中包括的事件后目标。
具体的，电子设备可以预先训练得到目标检测神经网络模型，进而可以通过目标检测神经网络模型来识别事件前图像中包括的事件前目标和事件后图像中包括的事件后目标。
其中，上述目标检测神经网络模型可以为卷积神经网络模型，卷积神经网络是一种前馈神经网络，卷积神经网络中的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络一般由卷积层、池化层、非线性层和全连接层等网络层组成。当然，本实施例中的目标检测神经网络模型还可以为全卷积神经网络模型，即不包含全连接层的卷积神经网络，本发明实施例不对目标检测神经网络模型的类型和/或结构作限定。
具体的，电子设备训练目标检测神经网络模型的过程可以包括以下步骤：
步骤一，获取标记样本图像，其中，标记样本图像包括标记区域。
在本发明实施例中，电子设备可以获取标记样本图像，其中，标记样本图像中包括标记区域，该标记区域例如可以为包括已知目标所在的区域，标记区域可以为一个或多个，标记区域的形状例如可以为长方形、圆形等，本发明实施例对此不作限定。
如，标记样本图像为手术室图像。可以将在手术室中采集的包含手术器械的图像作为标记样本图像，其中，手术器械即为上述已知目标。
步骤二，利用标记样本图像对预设的神经网络模型进行训练，得到满足预设条件的目标检测神经网络模型。
获取到标记样本图像后，电子设备可以利用标记样本图像对预设的神经网络模型进行训练，如可以采用已知的任一种方法对预设的神经网络模型进行训练，本发明实施例对此不做限定。
具体的目标检测神经网络模型的训练过程，可以在已有的深度学习网络平台上进行，也可以通过搭建的程序框架实现，这里不做限定。
上述预设条件例如可以包括：将标记样本图像输入训练得到的神经网络模型后，该神经网络模型识别出的区域，和对应标记样本图像中标注的标记区域之间的相似度大于预设阈值，如80％、85％、90％等。
或者，上述预设条件还可以包括：将标记样本图像输入训练得到的神经网络模型后，该神经网络模型识别出的区域，和对应标记样本图像中标注的标记区域，之间的交集区域面积大小与并集区域面积大小的商大于预设阈值，如90％、95％、98％等。
本实施例中，可以通过标记样本图像来训练得到目标检测神经网络模型，从而可以通过该目标检测神经网络模型来识别事件前图像中包括的事件前目标和事件后图像中包括的事件后目标，由于神经网络模型具有计算速度快等优势，因此能够提高目标识别的效率，从而提高异物检测效率。
作为本发明实施例的一种实施方式，为了提高特征信息提取的效率，进而提高异物检测效率，电子设备可以通过预先训练的特征提取神经网络模型，分别提取各事件前目标的特征信息，以及各事件后目标的特征信息。
具体的，电子设备可以获取包括已知目标的目标样本图像，并标注目标样本图像中各已知目标的类别信息，如当对手术室场景中的异物进行检测时，上述已知目标的类别可以为剪刀、镊子、钳子等，之后可以利用目标样本图像训练得到特征提取神经网络模型。
其中，上述特征提取神经网络模型可以为卷积神经网络模型，卷积神经网络是一种前馈神经网络，卷积神经网络中的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络一般由卷积层、池化层、非线性层和全连接层等网络层组成。当然，本实施例中的特征提取神经网络模型还可以为全卷积神经网络模型，即不包含全连接层的卷积神经网络，本发明实施例不对特征提取神经网络模型的类型和/或结构作限定。
在进行异物检测时，得到事件前图像中的事件前目标和事件后图像中的事件后目标后，电子设备可以在事件前图像中，获取包含各事件前目标的子图像，并将各子图像输入特征提取神经网络模型中，特征提取神经网络模型的输出即为对应各事件前目标的特征信息。还可以在事件后图像中，获取包含各事件后目标的子图像，并将各子图像输入特征提取神经网络模型中，特征提取神经网络模型的输出即为对应各事件后目标的特征信息。
如图4所示，电子设备训练特征提取神经网络模型的过程可以包括以下步骤：
S401，获取目标样本图像，其中，所述目标样本图像中包括已知目标。
在本发明实施例中，电子设备可以获取目标样本图像，其中，目标样本图像中包括已知目标。具体的，电子设备可以从预设存储位置获取包括已知目标的目标样本图像。可选的，目标样本图像为手术室样本图像，已知目标可以为手术相关物品等。
上述已知目标的类别可以依据待检测场景而定，如针对手术室场景，上述目标可以为任意手术器械，如镊子、剪刀等，本发明实施例对此不作限定。
S402，确定各已知目标的类别信息。
获取到目标样本图像后，电子设备还可以确定目标样本图像中包括的各已知目标的类别信息，如待识别目标的类别信息可以为镊子、剪刀等。
S403，将目标样本图像，以及各已知目标的类别信息输入预设的神经网络模型中，当神经网络模型识别出的各已知目标的类别信息，与输入的各已知目标的类别信息匹配时，得到特征提取神经网络模型。
获取到目标样本图像后，电子设备可以利用目标样本图像，以及目标样本图像中包括的各已知目标的类别信息，对预设的神经网络模型进行训练。如可以采用已知的任一种方法对预设的神经网络模型进行训练，本发明实施例对此不做限定。
具体的特征提取神经网络模型的训练过程，可以在已有的深度学习网络平台上进行，也可以通过搭建的程序框架实现，这里不做限定。
上述预设条件例如可以包括：将目标样本图像输入训练得到的神经网络模型后，该神经网络模型识别出的各已知目标的类别，和对应目标样本图像中包括的已知目标的类别信息均相同。
本实施例中，可以通过目标样本图像来训练得到特征提取神经网络模型，从而可以通过该特征提取神经网络模型来提取事件前目标和事件后目标的特征信息，由于神经网络模型具有计算速度快等优势，因此能够提高特征提取的速度，从而提高异物检测效率。
作为本发明实施例的一种实施方式，当电子设备检测出目标图像中存在异物时，其还可以输出提示信息。
例如，电子设备可以输出声音信息和/或图像信息。如，在检测到手术室场景存在异物时，其可以发出报警声音，和/或在预设显示屏(如医院的监控设备的显示屏)上显示存在异物的目标图像。
显示目标图像时，电子设备可以在预设显示屏上显示存在异物的目标图像；或者，为了提高异物的醒目程度，使相关人员尽快注意到并处理，电子设备可以将目标图像中的异物突出显示，如可以圈出该异物，或将异物的颜色调整为红色等鲜亮的颜色，之后展示将异物突出显示后的目标图像。
本实施例中，当检测出目标图像中存在异物时，可以输出提示信息，从而可以提示相关人员及时进行处理，有效的减小异物造成的影响。
在医疗领域，尤其是手术室中，异物的出现可能会造成比较严重的后果。因此，作为本发明实施例的一种实施方式，上述事件前图像和事件后图像可以为在同一手术室场景中采集的图像。从而，可以对事件前图像和事件后图像进行分析，检测出手术室中出现的异物，降低异物的影响。
相应的，本发明实施例还提供了一种异物检测装置，如图5所示，所述装置包括：
图像获取模块510，用于获取针对预设区域的事件前图像和事件后图像；其中，所述事件前图像为预设事件发生前的图像，所述事件后图像为所述预设事件发生后的图像；
目标识别模块520，用于在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；
特征提取模块530，用于分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；
异物检测模块540，用于将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物；其中，所述目标图像包括所述事件前图像和/或所述事件后图像。
本发明实施例中，可以通过识别事件前图像中的事件前目标，以及事件后图像中的事件后目标，提取各事件前目标和各事件后目标的特征信息，并通过两两比对各事件前目标的特征信息与各事件后目标的特征信息，来确定各事件前目标和各事件后目标是否为相同目标，进而确定事件前图像中丢失和/或事件后图像中新增的异物，实现异物检测的目的。
作为本发明实施例的一种实施方式，当所述目标图像包括所述事件前图像和所述事件后图像时，所述异物检测模块540，包括：
第一相似度计算子模块，用于计算各所述事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度；
第一异物确定子模块，用于当任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该事件前目标确定为异物；当任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该事件后目标确定为异物。
作为本发明实施例的一种实施方式，当所述目标图像包括所述事件前图像和所述事件后图像时，所述异物检测模块540，包括：
第二相似度计算子模块，用于计算各所述事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度；
事件前异物确定子模块，用于针对每个所述事件前目标，判断该事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度是否均小于预设阈值，如果是，确定该事件前目标为异物；
事件后异物确定子模块，用于针对每个所述事件后目标，判断该事件后目标的特征信息与各所述事件前目标的特征信息之间的相似度是否均小于所述预设阈值，如果是，确定该事件后目标为异物。
作为本发明实施例的一种实施方式，所述异物检测模块540还包括：
相似度识别子模块，用于计算各事件前目标的特征信息之间的相似度，以及各事件后目标的特征信息之间的相似度，并识别是否存在大于预设阈值的目标相似度；当不存在所述目标相似度时，触发所述第一异物确定子模块。
作为本发明实施例的一种实施方式，所述异物检测模块540还包括：
目标识别子模块，用于当存在所述目标相似度时，根据所述目标相似度，在所述事件前目标中确定包含同一事件前目标的事件前目标组合和剩余事件前目标，在所述事件后目标中确定包含同一事件后目标的事件后目标组合和剩余事件后目标；
第二异物确定子模块，用于当任一事件前目标组合中的任一事件前目标不满足第一预设判定条件时，将该事件前目标确定为异物；当任一事件后目标组合中的任一事件后目标不满足第二预设判定条件时，将该事件后目标确定为异物；所述第一预设判定条件包括：任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度中，大于所述预设阈值的相似度的数量等于该事件前目标所在事件前目标组合中包括的事件前目标的数量；所述第二预设判定条件包括：任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度中，大于所述预设阈值的相似度的数量等于该事件后目标所在事件后目标组合中包括的事件后目标的数量；
第三异物确定子模块，用于当任一剩余事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该剩余事件前目标确定为异物；当任一剩余事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该剩余事件后目标确定为异物。
作为本发明实施例的一种实施方式，所述特征提取模块530，具体用于通过预先训练的特征提取神经网络模型，分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；其中，所述特征提取神经网络模型是根据包含所述已知目标的目标样本图像，以及各所述已知目标的类别信息训练得到的。
作为本发明实施例的一种实施方式，所述装置还包括：
目标样本图像获取模块，用于获取所述目标样本图像，其中，所述目标样本图像中包括所述已知目标；
类别信息确定模块，用于确定各所述已知目标的类别信息；
特征提取模型训练模块，用于将所述目标样本图像，以及各所述已知目标的类别信息输入预设的神经网络模型中，当所述神经网络模型识别出的各所述已知目标的类别信息，与输入的各所述已知目标的类别信息匹配时，得到所述特征提取神经网络模型。
作为本发明实施例的一种实施方式，所述目标识别模块520，具体用于通过预先训练的目标检测神经网络模型，在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；其中，所述目标检测神经网络模型是根据包含标记区域的标记样本图像训练得到的。
作为本发明实施例的一种实施方式，所述装置还包括：
标记样本图像获取模块，用于获取标记样本图像，其中，所述标记样本图像包括标记区域；
目标检测模型训练模块，用于利用所述标记样本图像对预设的神经网络模型进行训练，得到满足预设条件的所述目标检测神经网络模型。
作为本发明实施例的一种实施方式，所述装置还包括：
信息输出模块，用于当检测出所述目标图像中存在异物时，输出提示信息。
作为本发明实施例的一种实施方式，所述提示信息包括声音信息和/或图像信息；
所述图像信息包括存在异物的所述目标图像；或者存在异物且已突出显示所述异物的所述目标图像。
作为本发明实施例的一种实施方式，所述事件前图像和所述事件后图像为在同一手术室场景中采集的图像。
相应的，本发明实施例还提供了一种电子设备，如图6所示，包括：处理器610和存储器620；
所述存储器620存储可执行程序代码；
所述处理器610通过读取所述存储器620中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行本发明实施例的一种异物检测方法，其中，所述异物检测方法包括：
获取针对预设区域的事件前图像和事件后图像；其中，所述事件前图像为预设事件发生前的图像，所述事件后图像为所述预设事件发生后的图像；
在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；
分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；
将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物；其中，所述目标图像包括所述事件前图像和/或所述事件后图像。
上述存储器620可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(non-volatile memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器610可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Ne twork Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Applica tion Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述电子设备包括但不限于智能手机、计算机、个人数字助理等。
本发明实施例中，可以通过识别事件前图像中的事件前目标，以及事件后图像中的事件后目标，提取各事件前目标和各事件后目标的特征信息，并通过两两比对各事件前目标的特征信息与各事件后目标的特征信息，来确定各事件前目标和各事件后目标是否为相同目标，进而确定事件前图像中丢失和/或事件后图像中新增的异物，实现异物检测的目的。
相应的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例的一种异物检测方法，其中，所述异物检测方法包括：
获取针对预设区域的事件前图像和事件后图像；其中，所述事件前图像为预设事件发生前的图像，所述事件后图像为所述预设事件发生后的图像；
在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；
分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；
将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物；其中，所述目标图像包括所述事件前图像和/或所述事件后图像。
本发明实施例中，可以通过识别事件前图像中的事件前目标，以及事件后图像中的事件后目标，提取各事件前目标和各事件后目标的特征信息，并通过两两比对各事件前目标的特征信息与各事件后目标的特征信息，来确定各事件前目标和各事件后目标是否为相同目标，进而确定事件前图像中丢失和/或事件后图像中新增的异物，实现异物检测的目的。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (24)
1.一种异物检测方法，其特征在于，所述方法包括：
获取针对预设区域的事件前图像和事件后图像；其中，所述事件前图像为预设事件发生前的图像，所述事件后图像为所述预设事件发生后的图像；
在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；
分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；
将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物；其中，所述目标图像包括所述事件前图像和/或所述事件后图像。
2.根据权利要求1所述的方法，其特征在于，当所述目标图像包括所述事件前图像和所述事件后图像时，所述将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物的步骤，包括：
计算各所述事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度；
当任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该事件前目标确定为异物；
当任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该事件后目标确定为异物。
3.根据权利要求1所述的方法，其特征在于，当所述目标图像包括所述事件前图像和所述事件后图像时，所述将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物的步骤，包括：
计算各所述事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度；
针对每个所述事件前目标，判断该事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度是否均小于预设阈值，如果是，确定该事件前目标为异物；
针对每个所述事件后目标，判断该事件后目标的特征信息与各所述事件前目标的特征信息之间的相似度是否均小于所述预设阈值，如果是，确定该事件后目标为异物。
4.根据权利要求2所述的方法，其特征在于，所述当任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该事件前目标确定为异物；当任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该事件后目标确定为异物之前，所述方法还包括：
计算各事件前目标的特征信息之间的相似度，以及各事件后目标的特征信息之间的相似度，并识别是否存在大于预设阈值的目标相似度；
当不存在所述目标相似度时，执行所述当任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该事件前目标确定为异物；当任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该事件后目标确定为异物的步骤。
5.根据权利要求4所述的方法，其特征在于，所述识别是否存在大于预设阈值的目标相似度之后，所述方法还包括：
当存在所述目标相似度时，根据所述目标相似度，在所述事件前目标中确定包含同一事件前目标的事件前目标组合和剩余事件前目标，在所述事件后目标中确定包含同一事件后目标的事件后目标组合和剩余事件后目标；
当任一事件前目标组合中的任一事件前目标不满足第一预设判定条件时，将该事件前目标确定为异物；当任一事件后目标组合中的任一事件后目标不满足第二预设判定条件时，将该事件后目标确定为异物；所述第一预设判定条件包括：任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度中，大于所述预设阈值的相似度的数量等于该事件前目标所在事件前目标组合中包括的事件前目标的数量；所述第二预设判定条件包括：任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度中，大于所述预设阈值的相似度的数量等于该事件后目标所在事件后目标组合中包括的事件后目标的数量；
当任一剩余事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该剩余事件前目标确定为异物；当任一剩余事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该剩余事件后目标确定为异物。
6.根据权利要求1所述的方法，其特征在于，所述分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息的步骤，包括：
通过预先训练的特征提取神经网络模型，分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；其中，所述特征提取神经网络模型是根据包含所述已知目标的目标样本图像，以及各所述已知目标的类别信息训练得到的。
7.根据权利要求6所述的方法，其特征在于，所述特征提取神经网络模型的训练过程包括：
获取所述目标样本图像，其中，所述目标样本图像中包括所述已知目标；
确定各所述已知目标的类别信息；
将所述目标样本图像，以及各所述已知目标的类别信息输入预设的神经网络模型中，当所述神经网络模型识别出的各所述已知目标的类别信息，与输入的各所述已知目标的类别信息匹配时，得到所述特征提取神经网络模型。
8.根据权利要求1所述的方法，其特征在于，所述在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标的步骤，包括：
通过预先训练的目标检测神经网络模型，在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；其中，所述目标检测神经网络模型是根据包含标记区域的标记样本图像训练得到的。
9.根据权利要求8所述的方法，其特征在于，所述目标检测神经网络模型的训练过程包括：
获取标记样本图像，其中，所述标记样本图像包括标记区域；
利用所述标记样本图像对预设的神经网络模型进行训练，得到满足预设条件的所述目标检测神经网络模型。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物之后，所述方法还包括：
当检测出所述目标图像中存在异物时，输出提示信息。
11.根据权利要求10所述的方法，其特征在于，所述提示信息包括声音信息和/或图像信息；
所述图像信息包括存在异物的所述目标图像；或者存在异物且已突出显示所述异物的所述目标图像。
12.根据权利要求1-9任一项所述的方法，其特征在于，所述事件前图像和所述事件后图像为在同一手术室场景中采集的图像。
13.一种异物检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取针对预设区域的事件前图像和事件后图像；其中，所述事件前图像为预设事件发生前的图像，所述事件后图像为所述预设事件发生后的图像；
目标识别模块，用于在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；
特征提取模块，用于分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；
异物检测模块，用于将各所述事件前目标的特征信息与各所述事件后目标的特征信息进行比对，检测目标图像中的异物；其中，所述目标图像包括所述事件前图像和/或所述事件后图像。
14.根据权利要求13所述的装置，其特征在于，当所述目标图像包括所述事件前图像和所述事件后图像时，所述异物检测模块，包括：
第一相似度计算子模块，用于计算各所述事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度；
第一异物确定子模块，用于当任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该事件前目标确定为异物；当任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该事件后目标确定为异物。
15.根据权利要求13所述的装置，其特征在于，当所述目标图像包括所述事件前图像和所述事件后图像时，所述异物检测模块，包括：
第二相似度计算子模块，用于计算各所述事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度；
事件前异物确定子模块，用于针对每个所述事件前目标，判断该事件前目标的特征信息与各所述事件后目标的特征信息之间的相似度是否均小于预设阈值，如果是，确定该事件前目标为异物；
事件后异物确定子模块，用于针对每个所述事件后目标，判断该事件后目标的特征信息与各所述事件前目标的特征信息之间的相似度是否均小于所述预设阈值，如果是，确定该事件后目标为异物。
16.根据权利要求14所述的装置，其特征在于，所述异物检测模块还包括：
相似度识别子模块，用于计算各事件前目标的特征信息之间的相似度，以及各事件后目标的特征信息之间的相似度，并识别是否存在大于预设阈值的目标相似度；当不存在所述目标相似度时，触发所述第一异物确定子模块。
17.根据权利要求16所述的装置，其特征在于，所述异物检测模块还包括：
目标识别子模块，用于当存在所述目标相似度时，根据所述目标相似度，在所述事件前目标中确定包含同一事件前目标的事件前目标组合和剩余事件前目标，在所述事件后目标中确定包含同一事件后目标的事件后目标组合和剩余事件后目标；
第二异物确定子模块，用于当任一事件前目标组合中的任一事件前目标不满足第一预设判定条件时，将该事件前目标确定为异物；当任一事件后目标组合中的任一事件后目标不满足第二预设判定条件时，将该事件后目标确定为异物；所述第一预设判定条件包括：任一事件前目标的特征信息与每个事件后目标的特征信息之间的相似度中，大于所述预设阈值的相似度的数量等于该事件前目标所在事件前目标组合中包括的事件前目标的数量；所述第二预设判定条件包括：任一事件后目标的特征信息与每个事件前目标的特征信息之间的相似度中，大于所述预设阈值的相似度的数量等于该事件后目标所在事件后目标组合中包括的事件后目标的数量；
第三异物确定子模块，用于当任一剩余事件前目标的特征信息与每个事件后目标的特征信息之间的相似度均满足预设条件时，将该剩余事件前目标确定为异物；当任一剩余事件后目标的特征信息与每个事件前目标的特征信息之间的相似度均满足所述预设条件时，将该剩余事件后目标确定为异物。
18.根据权利要求13所述的装置，其特征在于，所述特征提取模块，具体用于通过预先训练的特征提取神经网络模型，分别提取各所述事件前目标的特征信息，以及各所述事件后目标的特征信息；其中，所述特征提取神经网络模型是根据包含所述已知目标的目标样本图像，以及各所述已知目标的类别信息训练得到的。
19.根据权利要求18所述的装置，其特征在于，所述装置还包括：
目标样本图像获取模块，用于获取所述目标样本图像，其中，所述目标样本图像中包括所述已知目标；
类别信息确定模块，用于确定各所述已知目标的类别信息；
特征提取模型训练模块，用于将所述目标样本图像，以及各所述已知目标的类别信息输入预设的神经网络模型中，当所述神经网络模型识别出的各所述已知目标的类别信息，与输入的各所述已知目标的类别信息匹配时，得到所述特征提取神经网络模型。
20.根据权利要求13所述的装置，其特征在于，所述目标识别模块，具体用于通过预先训练的目标检测神经网络模型，在所述事件前图像中识别与已知目标匹配的目标，作为事件前目标；在所述事件后图像中识别与所述已知目标匹配的目标，作为事件后目标；其中，所述目标检测神经网络模型是根据包含标记区域的标记样本图像训练得到的。
21.根据权利要求20所述的装置，其特征在于，所述装置还包括：
标记样本图像获取模块，用于获取标记样本图像，其中，所述标记样本图像包括标记区域；
目标检测模型训练模块，用于利用所述标记样本图像对预设的神经网络模型进行训练，得到满足预设条件的所述目标检测神经网络模型。
22.根据权利要求13-21任一项所述的装置，其特征在于，所述装置还包括：
信息输出模块，用于当检测出所述目标图像中存在异物时，输出提示信息。
23.根据权利要求22所述的装置，其特征在于，所述提示信息包括声音信息和/或图像信息；
所述图像信息包括存在异物的所述目标图像；或者存在异物且已突出显示所述异物的所述目标图像。
24.根据权利要求13-21任一项所述的装置，其特征在于，所述事件前图像和所述事件后图像为在同一手术室场景中采集的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810795735.6A CN110738077B (zh) | 2018-07-19 | 2018-07-19 | 一种异物检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810795735.6A CN110738077B (zh) | 2018-07-19 | 2018-07-19 | 一种异物检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110738077A true CN110738077A (zh) | 2020-01-31 |
| CN110738077B CN110738077B (zh) | 2023-08-08 |
Family
ID=69235158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810795735.6A Active CN110738077B (zh) | 2018-07-19 | 2018-07-19 | 一种异物检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738077B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112150774A (zh) * | 2020-09-18 | 2020-12-29 | 海尔优家智能科技（北京）有限公司 | 一种洗衣机异常检测处理方法及装置 |
| CN113470013A (zh) * | 2021-07-28 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种搬移物品的检测方法及装置 |
| CN117152798A (zh) * | 2023-10-30 | 2023-12-01 | 成都大熊猫繁育研究基地 | 一种大熊猫圈舍异物识别系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101520938A (zh) * | 2008-12-31 | 2009-09-02 | 上海序参量科技发展有限公司 | 基于物品识别的忘物提醒装置及其实现方法 |
| CN102881100A (zh) * | 2012-08-24 | 2013-01-16 | 济南纳维信息技术有限公司 | 基于视频分析的实体店面防盗监控方法 |
| CN103268478A (zh) * | 2013-05-23 | 2013-08-28 | 西安科技大学 | 一种基于历史像素集匹配度的遗留物快速检测方法 |
| CN106052294A (zh) * | 2016-05-26 | 2016-10-26 | 合肥华凌股份有限公司 | 冰箱及其储物区物品变化的判断方法 |
| CN107169885A (zh) * | 2016-03-08 | 2017-09-15 | 湖南餐启科技有限公司 | 一种顾客物品遗留检测方法与系统 |
| CN107527009A (zh) * | 2017-07-11 | 2017-12-29 | 浙江汉凡软件科技有限公司 | 一种基于yolo目标检测的遗留物检测方法 |
| CN107944399A (zh) * | 2017-11-28 | 2018-04-20 | 广州大学 | 一种基于卷积神经网络目标中心模型的行人重识别方法 |
-
2018
- 2018-07-19 CN CN201810795735.6A patent/CN110738077B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101520938A (zh) * | 2008-12-31 | 2009-09-02 | 上海序参量科技发展有限公司 | 基于物品识别的忘物提醒装置及其实现方法 |
| CN102881100A (zh) * | 2012-08-24 | 2013-01-16 | 济南纳维信息技术有限公司 | 基于视频分析的实体店面防盗监控方法 |
| CN103268478A (zh) * | 2013-05-23 | 2013-08-28 | 西安科技大学 | 一种基于历史像素集匹配度的遗留物快速检测方法 |
| CN107169885A (zh) * | 2016-03-08 | 2017-09-15 | 湖南餐启科技有限公司 | 一种顾客物品遗留检测方法与系统 |
| CN106052294A (zh) * | 2016-05-26 | 2016-10-26 | 合肥华凌股份有限公司 | 冰箱及其储物区物品变化的判断方法 |
| CN107527009A (zh) * | 2017-07-11 | 2017-12-29 | 浙江汉凡软件科技有限公司 | 一种基于yolo目标检测的遗留物检测方法 |
| CN107944399A (zh) * | 2017-11-28 | 2018-04-20 | 广州大学 | 一种基于卷积神经网络目标中心模型的行人重识别方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112150774A (zh) * | 2020-09-18 | 2020-12-29 | 海尔优家智能科技（北京）有限公司 | 一种洗衣机异常检测处理方法及装置 |
| CN113470013A (zh) * | 2021-07-28 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种搬移物品的检测方法及装置 |
| CN117152798A (zh) * | 2023-10-30 | 2023-12-01 | 成都大熊猫繁育研究基地 | 一种大熊猫圈舍异物识别系统及方法 |
| CN117152798B (zh) * | 2023-10-30 | 2024-01-26 | 成都大熊猫繁育研究基地 | 一种大熊猫圈舍异物识别系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110738077B (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103714631B (zh) | 基于人脸识别的atm取款机智能监控系统 | |
| US20130170711A1 (en) | Edge detection image capture and recognition system | |
| KR101322168B1 (ko) | 실시간 얼굴 인식 장치 | |
| WO2019033572A1 (zh) | 人脸遮挡检测方法、装置及存储介质 | |
| WO2015165365A1 (zh) | 一种人脸识别方法及系统 | |
| CN109426785B (zh) | 一种人体目标身份识别方法及装置 | |
| US20130163823A1 (en) | Image Capture and Recognition System Having Real-Time Secure Communication | |
| CN110738077A (zh) | 一种异物检测方法及装置 | |
| CN108563651B (zh) | 一种多视频的目标搜索方法、装置及设备 | |
| CN109274931B (zh) | 基于图像的工地安全监控方法、装置及设备 | |
| CN109766755A (zh) | 人脸识别方法及相关产品 | |
| CN116129350B (zh) | 数据中心安全作业的智能监控方法、装置、设备及介质 | |
| CN111814725A (zh) | 一种基于cnn+lstm+mlp组合神经网络判断监控视频着火的预警方法 | |
| US10659680B2 (en) | Method of processing object in image and apparatus for same | |
| CN112465517A (zh) | 防伪验证方法、装置及计算机可读存储介质 | |
| US20230410221A1 (en) | Information processing apparatus, control method, and program | |
| CN112307994A (zh) | 基于扫地机的障碍物识别方法、电子装置及存储介质 | |
| CN115862113A (zh) | 陌生人异常识别方法、装置、设备及存储介质 | |
| CN109448193A (zh) | 身份信息识别方法及装置 | |
| CN111783714B (zh) | 一种胁迫人脸识别方法、装置、设备和存储介质 | |
| CN114463779A (zh) | 吸烟识别方法、装置、设备及存储介质 | |
| WO2021135933A1 (zh) | 一种目标的识别方法及装置、存储介质及电子装置 | |
| CN112633244B (zh) | 一种社交关系的识别方法、装置、电子设备及存储介质 | |
| CN113591620A (zh) | 一种基于一体式移动采集设备的预警方法、装置及系统 | |
| CN111831841B (zh) | 一种信息检索方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |