CN112686183A - 遗留物检测装置、系统、方法和电子设备 - Google Patents
遗留物检测装置、系统、方法和电子设备 Download PDFInfo
- Publication number
- CN112686183A CN112686183A CN202110005763.5A CN202110005763A CN112686183A CN 112686183 A CN112686183 A CN 112686183A CN 202110005763 A CN202110005763 A CN 202110005763A CN 112686183 A CN112686183 A CN 112686183A
- Authority
- CN
- China
- Prior art keywords
- detection
- category attribute
- unit
- image information
- feedback information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims description 18
- 238000004891 communication Methods 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提供一种遗留物检测装置、系统、方法和电子设备，用以改善检测准确性。根据本发明的遗留物检测装置包括：根据检测目标的图像信息判断该检测目标的类别属性的识别单元、向外部显示所述类别属性的显示单元、接收外部针对所述类别属性的反馈信息的标记单元。
Description
技术领域
本申请涉及智能监控技术领域，具体而言，涉及一种遗留物检测装置、系统、方法和电子设备。
背景技术
随着网络监控摄像头的普及和广泛使用，遗留物监测技术成了安全防范领域的一个重要内容。比如，当出租车乘客离开出租车后，车内摄像头自动拍摄乘客座位并将所拍摄的照片发送至乘客手机。手机中相应的应用程序接收到照片后，进行图形识别，判断其中是否存在遗留物并确定遗留物的具体类别。所述判断过程依赖于应用程序中预置的图片数据和预设的遗留物类别等。为提高检测准确性，遗留物检测程序供应商需要持续地寻找数据源并训练计算模型、增加遗留物品类别，以相应地更新应用程序。但是，由于遗留物的种类繁多，各种遗留物的图像的采集较为困难，当前的遗留物检测技术并不令人满意。
发明内容
本申请实施例的目的在于提供一种遗留物检测装置、系统、方法和电子设备，用以改善现有技术中遗留物检测的准确性。
第一方面，本申请提供了一种遗留物检测装置，包括：
识别单元，其根据检测目标的图像信息判断该检测目标的类别属性；显示单元，其向外部显示所述类别属性；和
标记单元，其接收外部针对所述类别属性的反馈信息。
优选的是，所述反馈信息包括：
确认检测结果正确；
确认检测结果错误，并且从候选项中选择正确的类别属性；或者
确认检测结果错误，并且输入在候选项中不存在的类别属性。
优选的是，该遗留物检测装置还包括：
通讯单元，其中所述图像信息和反馈信息经由该通讯单元被发送至服务器并被处理，以获得用于所述识别单元的更新数据。
优选的是，所述更新数据包括：
新增的类别属性；和/或
关于现存类别属性的更新参数。
优选的是，所述识别单元经由所述通讯单元从所述服务器获取所述更新数据并更新。
第二方面，本发明提供一种监控系统，包括：
摄像机，其获取关于检测目标的图像信息；
遗留物检测装置，包括：
识别单元，其接收关于检测目标的图像信息并根据该图像信息判断所述检测目标的类别属性；
显示单元，其向外部显示所述类别属性；
标记单元，其接收外部针对所述类别属性的反馈信息；
服务器，其接收并处理所述图像信息和反馈信息，以获得用于所述识别单元的更新数据。
第三方面，本发明提供一种遗留物检测方法，包括：
根据检测目标的图像信息判断该检测目标的类别属性；
向外部显示所述类别属性；和
接收外部针对所述类别属性的反馈信息。
优选的是，所述反馈信息包括：
确认检测结果正确；
确认检测结果错误，并且从候选项中选择正确的类别属性；或者
确认检测结果错误，并且输入在候选项中不存在的类别属性。
优选的是，所述图像信息和反馈信息被发送至服务器并被处理，以获得用于所述识别单元的更新数据，所述更新数据包括：新增的类别属性；和/或关于现存类别属性的更新参数。
第四方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有计算机可读取指令，当所述计算机可读指令由所述处理器执行时，运行如上文所述的方法。
第五方面，本发明一种遗留物检测装置，包括：
识别单元，其根据检测目标的图像信息判断该检测目标的类别属性；
通讯单元，其将所述类别属性发送至智能终端，并接收外部输入至智能终端的针对该类别属性的反馈信息；以及
计算单元，其以所述图像信息、类别属性和反馈信息为基础通过模型训练而获得所述识别单元的更新数据。
附图说明
以下将参照附图进一步详细描述本发明的其他细节和优点，其中：
图1为本申请实施例提供的一种监控系统的结构示意图；
图2为图1中监控系统中的遗留物检测装置的结构框图；
图3为本申请实施例提供的一种遗留物检测方法的流程图；
图4为本申请实施例提供的另一种遗留物检测装置的结构框图。
具体实施方式
图1所示的监控系统用于监控出租车内是否有乘客遗留的物品,其组成主要包括安装于出租车101内的摄像机102和智能车载设备106、安装至乘客103的电子设备104(智能终端)中的遗留物检测程序、位于远程的服务器105。
摄像机102用于获取关于检测目标或者检测区域的图像信息，其可为相机或者摄像头等图片或者视频拍摄设备。比如，摄像机102可用于对出租车102内的目标区域，比如乘客座位区域，进行视频监控。除了乘客座位区域，目标区域还可为需要进行遗留物监测或者检测的任一区域，对这些区域进行遗留物检测时，均可以按照本申请实施例提供的装置和方法予以实施。
摄像机102可以例如实时采集目标监控区域的视频或者图像，并实时将视频或者图像发送至电子设备104，比如乘客手机。电子设备104可以与摄像机102通过网络进行通信。或者，摄像机102也可以按照一定周期向电子设备104发送视频，或者电子设备104在接收到用户触发的遗留物检测指令后，向摄像机102发送视频获取指令，摄像机102在接收到获取指令后将视频发送给电子设备104。电子设备104在获得视频后，可以从视频中提取每帧图像，以获得多张视频帧图像。
所述智能车载设备106比如为布置于出租车上的信息娱乐系统、高性能计算装置等，其中通常包括存储器和计算单元，用于存储计算机可读程序、数据运算和信息处理等。车载设备106中设置有通讯单元，用于通过远程信息控制单元(Telematics Control Unit，TCU)等与外部比如乘客智能终端、后台服务器等进行数据交换等。
在实际应用过程中，如果摄像机102的监控区域很大，为了减少遗留物的监控范围，也可以划定相应的遗留物监控区域作为目标监控区域。例如，可以预先生成一矩形框，基于矩形框对视频图像进行相应处理，例如基于矩形框对视频图像中的每帧图像进行截取，以获得多张视频帧图像，这样可以截掉一些造成干扰的背景图像特征，并且由于图像变小，在后续进行特征之间的相似程度计算时，可以减少特征计算量。
所述电子设备104也称为智能终端，比如为手机、平板电脑等各类能够运行代码程序的设备。例如，所述电子设备可以包括：至少一个处理器，例如CPU；至少一个通信接口；至少一个存储器；和至少一个通信总线。通信总线用于实现这些组件之间的连接通信。通信接口用于与其他节点设备进行信令或数据的通信。存储器可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)。存储器还可是远离前述处理器的存储装置。存储器中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，电子设备执行根据本发明的遗留物检测方法的全部或者部分步骤。
服务器105也称为后台服务器、组件服务器等，其可以是提供各种服务的服务器，例如对智能终端中安装的遗留物检测装置应用提供支持的后台服务器。后台服务器可以对接收到的数据进行分析等处理，并最终形成被应用于遗留物检测的数据。所述后台服务器例如可以包括数据处理模块(信息预处理)、信息存储模块、模型训练模块、与安装于用户智能终端的可执行文件进行通讯的模块等。
图2为根据本申请的一种例示性遗留物检测装置200的结构框图，该装置可以是电子设备上的模块、程序段或代码等。所述装置包括：
识别单元201，其根据摄像机102所获得的关于检测目标的图像信息，判断该检测目标的类别属性。作为举例，所述识别单元比如可以包括：图像获取模块，用于获取目标监控区域的多张视频帧图像；图像检测模块，用于从所述多张视频帧图像中确定未出现乘客的目标视频帧图像；特征提取模块，用于提取所述目标视频帧图像的目标图像特征；计算模块，用于获取所述目标图像特征与针对所述目标监控区域预先确定的背景图像特征的相似程度，并对所述背景图像的图像特征进行聚类获得的聚类特征；比较模块，用于基于所述相似程度检测所述目标视频帧图像中是否出现遗留物。再如，识别单元不比对多帧图像，而是对单个图像直接进行识别。
显示单元202，其用于在智能终端104上向乘客显示所述识别单元所检测的检测结果，该检测结果比如包括是否存在遗留物、遗留物的类别等。
标记单元203，其接收外部针对所述检测结果的反馈信息。例如，乘客针对显示单元上的遗留物检测信息，在标记单元以选择或者文字输入等形式输入如下反馈信息：确认检测结果正确；确认检测结果错误，并且从候选项中选择正确的类别属性；或者确认检测结果错误，并且输入在候选项中不存在的类别属性。
优选的是，所述识别单元201可以布置于乘客所携带的智能终端104比如手机上，也可以布置于比如安装于出租车上的智能车载设备等，比如信息娱乐系统、高性能计算单元等。
优选的是，所述遗留物检测装置还包括：通讯单元，其中所述图像信息和反馈信息经由该通讯单元被发送至服务器并被处理，以获得用于所述识别单元的更新数据。
优选的是，所述更新数据包括：新增的类别属性；和/或关于现存类别属性的更新参数。优选的是，所述识别单元经由所述通讯单元从所述服务器获取所述更新数据并更新。
图3为本申请实施例提供的一种遗留物检测方法的优选流程图，该方法包括如下步骤：
步骤301：启动遗留物检测装置；该启动可以由乘客手动启动，或者被设置为因特定事件的发生而自动启动，比如乘客的打车应用程序显示到达目的地或者支付车费等。
步骤302：调用识别单元检测遗留物，确定是否存在遗留物以及遗留物的具体类别属性。
步骤303：判断是否同意显示检测结果；根据乘客的隐私偏好设置，此步骤也可以省略而自动向乘客智能终端发送关于遗留物检测结果的通知；如果乘客不同意显示，关闭遗留物检测装置(步骤305)。
步骤304：如果同意显示，由显示单元显示检测结果。
步骤306：乘客标记检测结果，比如以选项确认或者文字输入等形式输入其对检测结果的反馈信息。
步骤307：根据乘客对检测结果的反馈信息，判断检测结果是否正确的。如果乘客确认检测结果正确，则将遗留物的正确类别和图片上传到服务器(步骤308)，并关闭遗留物检测装置(步骤305)。
步骤309：如果乘客反馈检测结果错误，则进一步判断遗留物品是否在已有类别中。如果无法识别遗留物类别，则由乘客增加遗留物类别，并对该遗留物进行定义(步骤310)，并将遗留物的正确类别和图片上传到服务器(步骤308)，并关闭遗留物检测装置(步骤305)。
步骤311：如果检测结果给出错误的类别属性，比如将“水杯”识别为“雨伞”，则由乘客修改遗留物的正确类别，并将遗留物的正确类别和图片上传到服务器(步骤308)。
步骤312：后台服务器对来自智能终端的信息进行后台处理，比如图片过滤、检测是否清晰等。
步骤313：根据客户是否增加新的类别属性。如果没有新类别增加，则将客服反馈的信息作为新增数据。
步骤314：如果有新类别增加，则修改配置数据，并将该新的类别作为新增数据。
步骤315：判断新增数据的数量；如果新增数据没有达到预定量，则停止数据处理(步骤316)。
步骤317：当新增数据达到预定量，则以上一次的模型为基础，对新增数据进行训练；比如，当单类新增物品图片数量达到500张时，触发模型重训练，得到一组新的物体识别模型和参数文件。
步骤318：更新模型，并据此向智能终端发送遗留物检测装置更新数据，以确保其算法更新到最新的版本。
图4为根据本发明的另一种遗留物检测装置的结构框图，其与上述图1和图2的监控系统和遗留物检测装置的主要区别在于，遗留物检测装置200被安装至出租车内的智能车载设备106，比如信息娱乐系统、高性能计算单元等。遗留物检测装置200包括识别单元201和计算单元204。识别单元201接收摄像头102获取的图像信息并判断该检测目标的类别属性。之后所述图像信息和/或类别属性比如通过比如通讯模块发送至智能终端104中的显示单元202，乘客在标记单元203输入针对所述类别属性的反馈信息。然后所述图像信息、类别属性和反馈信息可被发送至车载设备106，由其中的计算单元204通过模型训练而获得所述识别单元的更新数据。
综上所述，本申请提供一种遗留物检测方法、装置、电子设备等，所述方法和装置可以实现物品类别的自定义，即当有一个物品不在目前可识别类别中，可以通过用户反馈将该物品类别增加到可识别物品类别中。为此，本发明可以从用户的反馈处免费得到大量的标注图片，既节约数据采集和标注成本，又可获得不同光线、不同车型下的数据，丰富数据集。此外，本发明的方法和装置可以进行自我学习，通过用户的反馈，一方面可以增加可识别物体的类别，另一方面还丰富了已存在类别的物体的数据集，从而实现了模型的快速迭代，提高了模型的精度。
以上所描述的实施例仅仅是示意性的，本申请所提供的实施例中的装置和方法还可以通过其它的方式来实现。例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。又如，多个单元或组件可以结合或者可以集成到另一个系统，或部分特征可以忽略或不执行。
以上所述实例仅为了举例说明本发明的原理和优点。对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (11)
1.一种遗留物检测装置，其特征在于，该遗留物检测装置包括：
识别单元，其根据检测目标的图像信息判断该检测目标的类别属性；
显示单元，其向外部显示所述类别属性；和
标记单元，其接收外部针对所述类别属性的反馈信息。
2.根据权利要求1所述的遗留物检测装置，其特征在，所述反馈信息包括：
确认检测结果正确；
确认检测结果错误，并且从候选项中选择正确的类别属性；或者
确认检测结果错误，并且输入在候选项中不存在的类别属性。
3.根据权利要求1或2所述的遗留物检测装置，其特征在于，该遗留物检测装置还包括：
通讯单元，其中所述图像信息和反馈信息经由该通讯单元被发送至服务器并被处理，以获得用于所述识别单元的更新数据。
4.根据权利要求3所述的遗留物检测装置，其特征在于，所述更新数据包括：
新增的类别属性；和/或
关于现存类别属性的更新参数。
5.根据权利要求4所述的遗留物检测装置，其特征在于，所述识别单元经由所述通讯单元从所述服务器获取所述更新数据并更新。
6.一种监控系统，包括：
摄像机，其获取关于检测目标的图像信息；
遗留物检测装置，包括：
识别单元，其接收关于检测目标的图像信息并根据该图像信息判断所述检测目标的类别属性；
显示单元，其向外部显示所述类别属性；
标记单元，其接收外部针对所述类别属性的反馈信息；
服务器，其接收并处理所述图像信息和反馈信息，以获得用于所述识别单元的更新数据。
7.一种遗留物检测装置，其特征在于，该遗留物检测装置包括：
识别单元，其根据检测目标的图像信息判断该检测目标的类别属性；
通讯单元，其将所述类别属性发送至智能终端，并接收外部输入至智能终端的针对该类别属性的反馈信息；以及
计算单元，其以所述图像信息、类别属性和反馈信息为基础通过模型训练而获得所述识别单元的更新数据。
8.一种遗留物检测方法，其特征在于，所述方法包括：
根据检测目标的图像信息判断该检测目标的类别属性；
向外部显示所述类别属性；和
接收外部针对所述类别属性的反馈信息。
9.根据权利要求8所述的遗留物检测方法，其特征在，所述反馈信息包括：
确认检测结果正确；
确认检测结果错误，并且从候选项中选择正确的类别属性；或者
确认检测结果错误，并且输入在候选项中不存在的类别属性。
10.根据权利要求8所述的遗留物检测方法，其特征在于，所述图像信息和反馈信息被发送至计算单元或服务器并被处理，以获得用于所述识别单元的更新数据，所述更新数据包括：新增的类别属性；和/或关于现存类别属性的更新参数。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机可读取指令，当所述计算机可读指令由所述处理器执行时，运行如权利要求8-10任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110005763.5A CN112686183A (zh) | 2021-01-04 | 2021-01-04 | 遗留物检测装置、系统、方法和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110005763.5A CN112686183A (zh) | 2021-01-04 | 2021-01-04 | 遗留物检测装置、系统、方法和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112686183A true CN112686183A (zh) | 2021-04-20 |
Family
ID=75457154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110005763.5A Pending CN112686183A (zh) | 2021-01-04 | 2021-01-04 | 遗留物检测装置、系统、方法和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686183A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115633058A (zh) * | 2022-09-30 | 2023-01-20 | 中国第一汽车股份有限公司 | 车载设备的处理方法及处理装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203490A (zh) * | 2016-06-30 | 2016-12-07 | 江苏大学 | 一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法 |
| CN108764278A (zh) * | 2018-04-16 | 2018-11-06 | 苏州富鑫林光电科技有限公司 | 一种基于视觉的自学习工业智能检测系统及方法 |
| CN109784202A (zh) * | 2018-12-24 | 2019-05-21 | 珠海格力电器股份有限公司 | 待洗物品中遗留物件的识别方法、装置及洗衣机和计算机可读存储介质 |
| CN110659555A (zh) * | 2018-06-29 | 2020-01-07 | 株式会社东芝 | 遗留物检测系统 |
| CN111723773A (zh) * | 2020-06-30 | 2020-09-29 | 创新奇智(合肥)科技有限公司 | 遗留物检测方法、装置、电子设备及可读存储介质 |
-
2021
- 2021-01-04 CN CN202110005763.5A patent/CN112686183A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203490A (zh) * | 2016-06-30 | 2016-12-07 | 江苏大学 | 一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法 |
| CN108764278A (zh) * | 2018-04-16 | 2018-11-06 | 苏州富鑫林光电科技有限公司 | 一种基于视觉的自学习工业智能检测系统及方法 |
| CN110659555A (zh) * | 2018-06-29 | 2020-01-07 | 株式会社东芝 | 遗留物检测系统 |
| CN109784202A (zh) * | 2018-12-24 | 2019-05-21 | 珠海格力电器股份有限公司 | 待洗物品中遗留物件的识别方法、装置及洗衣机和计算机可读存储介质 |
| CN111723773A (zh) * | 2020-06-30 | 2020-09-29 | 创新奇智(合肥)科技有限公司 | 遗留物检测方法、装置、电子设备及可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115633058A (zh) * | 2022-09-30 | 2023-01-20 | 中国第一汽车股份有限公司 | 车载设备的处理方法及处理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10235602B1 (en) | Machine learning artificial intelligence system for identifying vehicles | |
| EP3171308A1 (en) | Information processing method, information processing apparatus, terminal, and server | |
| US11790632B2 (en) | Method and apparatus for sample labeling, and method and apparatus for identifying damage classification | |
| US11562179B2 (en) | Artificial intelligence system for inspecting image reliability | |
| CN112100431B (zh) | Ocr系统的评估方法、装置、设备及可读存储介质 | |
| CN109636582B (zh) | 信贷信息管理方法、装置、设备和存储介质 | |
| US11157723B1 (en) | Facial recognition for drivers | |
| CN110781381A (zh) | 基于神经网络的数据验证方法、装置、设备及存储介质 | |
| WO2014126735A1 (en) | Real time object scanning using a mobile phone and cloud-based visual search engine | |
| CN109389029A (zh) | 基于行车记录仪的寻人方法、装置、系统和存储介质 | |
| CN111931859A (zh) | 一种多标签图像识别方法和装置 | |
| CN109408671A (zh) | 特定目标的搜索方法及其系统 | |
| CN111881740A (zh) | 人脸识别方法、装置、电子设备及介质 | |
| CN112686183A (zh) | 遗留物检测装置、系统、方法和电子设备 | |
| CN116246287B (zh) | 目标对象识别方法、训练方法、装置以及存储介质 | |
| US11379547B2 (en) | Information processing system, server, non-transitory computer-readable storage medium, and method for processing information | |
| CN110660000A (zh) | 数据预测方法、装置、设备及计算机可读存储介质 | |
| KR20160041146A (ko) | 컨텍스트 기반의 사용자 분석을 통해 광고를 제공하는 광고 제공 시스템 및 그 방법, 그리고 이에 적용되는 광고 수신 단말 및 서버 | |
| CN111428806B (zh) | 图像标签确定方法、装置、电子设备及存储介质 | |
| CN115269494A (zh) | 数据归档方法及装置 | |
| CN113822295A (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
| US10796725B2 (en) | Device, system and method for determining incident objects in secondary video | |
| CN113469138A (zh) | 对象检测方法和装置、存储介质及电子设备 | |
| CN112364219A (zh) | 内容发布方法、装置、电子设备及存储介质 | |
| US20200160410A1 (en) | Information processing system, program, and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210420 |