CN115600034A - 一种目标图像检测方法及系统 - Google Patents

一种目标图像检测方法及系统 Download PDF

Info

Publication number
CN115600034A
CN115600034A CN202211588155.2A CN202211588155A CN115600034A CN 115600034 A CN115600034 A CN 115600034A CN 202211588155 A CN202211588155 A CN 202211588155A CN 115600034 A CN115600034 A CN 115600034A
Authority
CN
China
Prior art keywords
target
area
monitoring area
monitoring
web browser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211588155.2A
Other languages
English (en)
Other versions
CN115600034B (zh
Inventor
商翔
袁刚
刘碧波
景杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kuyuan Digital Technology Co ltd
Original Assignee
Shenzhen Kuyuan Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kuyuan Digital Technology Co ltd filed Critical Shenzhen Kuyuan Digital Technology Co ltd
Priority to CN202211588155.2A priority Critical patent/CN115600034B/zh
Publication of CN115600034A publication Critical patent/CN115600034A/zh
Application granted granted Critical
Publication of CN115600034B publication Critical patent/CN115600034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577Optimising the visualization of content, e.g. distillation of HTML documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的目标图像检测方法及系统,涉及计算机视觉识别领域;其方法包括:接收Web浏览器发送的目标监测区域的区域坐标;转发区域坐标至终端应用程序,以便终端应用程序加载区域坐标后保存目标监测区域为场景模板;根据设定检查周期,检查场景模板相对目标监测区域的当前监控场景是否产生位移偏差,并在产生位移偏差时更新目标监测区域的区域坐标和场景模板;采用神经网络目标检测算法获得目标识别结果,并在Web浏览器中将识别目标在目标监测区域内或整体监控画面内展示。本发明使得用户在终端设备Web视频监控平台高效地与神经网络目标检测推理算法的展示结果进行交互,解决无法做到对用户设置区域进行自动修复的问题。

Description

一种目标图像检测方法及系统
技术领域
本发明涉及计算机视觉识别技术领域,具体涉及一种目标图像检测方法及系统。
背景技术
神经网络目标检测算法在实时视频流大规模终端设备Web监控平台中应用,在大部分应用场景中均有效提升监控效率,但也存在一些应用场景,当前应用还不能充分满足用户需求。
例如,目前采用神经网络目标检测算法的Web监控平台多为固定监测区域,通常为整个拍摄画面,但当监测目的明确时用户无需监控整个画面,只需要对目标监测区域进行重点监控;在这种情况下,用户希望能够在Web监控平台自行设置相应的监控区域,进而当神经网络目标检测算法的推理结果落于设置的监控区域中时,再由Web监控平台进行相应的报警处理。又例如,在一些特定的应用场景中,图像采集设备的空间位置相对于采样画面,在时间上并不能完全保证一致性,如在矿下、井下作业时,环境的剧烈震动会导致采样设备位置、角度产生一定的偏移,该偏移只能通过人工手动或机械修复的方式修复,不能自动修复。
现有技术中能够在大规模终端设备Web视频监控平台应用上做到动态、高效地按照用户预期操控神经网络输出结果并展示在Web平台上的方案少之又少,能够不在用户干预下自动对用户设置进行修复的方案更是乏善可陈。现有方案下,用户无法在大规模终端设备Web视频监控平台做到高效地与神经网络目标检测推理算法的展示结果进行交互,更无法做到对用户设置区域进行自动修复,以使结果满足用户预期。
发明内容
本发明目的在于提供一种目标图像检测方法及系统,其方法为用户交互并自动修复式的目标检测方法,能够让用户在自定义设置目标监测区域后,再通过神经网络目标检测算法在Web浏览器上展示的推理判断结果,最终能够按照用户的预期输出监控结果;同时,方法实现在图像采集终端的空间位置改变后,能够自动对设置的目标监测区域进行修复。
为达成上述目的,本发明提出如下技术方案:一种目标图像检测方法,包括:
接收Web浏览器发送的目标监测区域的区域坐标,其中,目标监测区域由用户在Web浏览器显示的整体监控画面缩略图上绘制而得;
转发目标监测区域的区域坐标至终端应用程序,以便终端应用程序加载目标监测区域的区域坐标后保存目标监测区域为场景模板;其中,终端应用程序为神经网络目标检测进程;
根据设定检查周期,检查场景模板相对目标监测区域的当前监控场景是否产生位移偏差;
当场景模板相对当前监控场景产生位移偏差时,更新目标监测区域的区域坐标并在终端应用程序中更新场景模板;
采用神经网络目标检测算法获得目标识别结果,并在Web浏览器中将识别目标在目标监测区域内或整体监控画面内展示。
进一步的,在目标监测区域内采用神经网络目标检测算法获得目标识别结果并展示的具体过程为:
对目标识别结果采用多边形碰撞检测算法,根据场景模板推理判断识别目标在整体监控画面中位置,获得推理判断结果;其中,推理判断结果包括识别目标位于场景模板对应的目标监测区域内、识别目标位于整体监控画面中的非目标监测区域内;
接收终端应用程序发送的推理判断结果并转发至Web浏览器,以便Web浏览器展示包含识别目标的监测区域;其中,当识别目标位于场景模板对应的目标监测区域内,Web浏览器展示目标监测区域及识别目标;当识别目标位于整体监控画面中的非目标监测区域内,Web浏览器展示整体监控画面及识别目标。
进一步的,在终端应用程序中更新场景模板的具体过程为:
采用图像像素偏移算法,计算目标监测区域的当前监控场景与保存的场景模板存在的相对位置偏差;
当计算的相对位置偏差大于预设偏移阈值,计算获得偏移向量;
根据偏移向量更新目标监测区域的区域坐标并转发至终端应用程序,以便终端应用程序加载更新的区域坐标后保存更新的监控场景为新的场景模板。
进一步的,在Web浏览器显示的整体监控画面缩略图上绘制目标监测区域的具体过程为:
在Web浏览器的展示画面上建立相对整体监控画面的坐标系,并提供一坐标输入窗口;其中,坐标输入窗口提供若干标准形状目标监测区域的输入界面;
接收坐标输入窗口输入的任一标准形状目标监测区域的坐标,并在Web浏览器显示的整体监控画面缩略图上框选显示;
接收坐标输入窗口输入的坐标调整数据,直至Web浏览器上框选显示区域与目标监测区域的偏差不超过预设偏差阈值。
进一步的,还包括:
当神经网络目标检测算法获得的识别目标包括多个,且推理判断结果表明整体监控画面的目标监测区域内和非目标监测区域内均识别有目标,则在Web浏览器中同步展示包含识别目标的目标监测区域和整体监控画面。
本发明另一技术方案在于公开一种目标图像检测系统,该系统包括:
接收模块,用于接收Web浏览器发送的目标监测区域的区域坐标,其中,目标监测区域由用户在Web浏览器显示的整体监控画面缩略图上绘制而得;
转发模块,用于转发目标监测区域的区域坐标至终端应用程序,以便终端应用程序加载目标监测区域的区域坐标后保存目标监测区域为场景模板;其中,终端应用程序为神经网络目标检测进程;
检查模块,用于根据设定检查周期,检查场景模板相对目标监测区域的当前监控场景是否产生位移偏差;
更新模块,用于当场景模板相对当前监控场景产生位移偏差时,更新目标监测区域的区域坐标并在终端应用程序中更新场景模板;
识别展示模块,用于采用神经网络目标检测算法获得目标识别结果,并在Web浏览器中将识别目标在目标监测区域内或整体监控画面内展示。
进一步的,所述识别展示模块在目标监测区域内采用神经网络目标检测算法获得目标识别结果并展示的执行单元,包括:
推理判断单元,用于对目标识别结果采用多边形碰撞检测算法,根据场景模板推理判断识别目标在整体监控画面中位置,获得推理判断结果;其中,推理判断结果包括识别目标位于场景模板对应的目标监测区域内、识别目标位于整体监控画面中的非目标监测区域内;
第一接收单元,用于接收终端应用程序发送的推理判断结果并转发至Web浏览器,以便Web浏览器展示包含识别目标的监测区域;其中,当识别目标位于场景模板对应的目标监测区域内,Web浏览器展示目标监测区域及识别目标;当识别目标位于整体监控画面中的非目标监测区域内,Web浏览器展示整体监控画面及识别目标。
进一步的,所述更新模块在终端应用程序中更新场景模板的执行单元,包括:
第一计算单元,用于采用图像像素偏移算法,计算目标监测区域的当前监控场景与保存的场景模板存在的相对位置偏差;
第二计算单元,用于当计算的相对位置偏差大于预设偏移阈值,计算获得偏移向量;
更新单元,用于根据偏移向量更新目标监测区域的区域坐标并转发至终端应用程序,以便终端应用程序加载更新的区域坐标后保存更新的监控场景为新的场景模板。
进一步的,在Web浏览器显示的整体监控画面缩略图上绘制目标监测区域的执行单元,包括:
建立单元,用于在Web浏览器的展示画面上建立相对整体监控画面的坐标系,并提供一坐标输入窗口;其中,坐标输入窗口提供若干标准形状目标监测区域的输入界面;
第二接收单元,用于接收坐标输入窗口输入的任一标准形状目标监测区域的坐标,并在Web浏览器显示的整体监控画面缩略图上框选显示;
第三接收单元,用于接收坐标输入窗口输入的坐标调整数据,直至Web浏览器上框选显示区域与目标监测区域的偏差不超过预设偏差阈值。
进一步的,还包括:
当神经网络目标检测算法获得的识别目标包括多个,且推理判断单元获得的推理判断结果表明整体监控画面的目标监测区域内和非目标监测区域内均识别有目标,则在Web浏览器中同步展示包含识别目标的目标监测区域和整体监控画面。
由以上技术方案可知,本发明的技术方案获得了如下有益效果:
本发明公开一种目标图像检测方法及系统,其方法包括:接收Web浏览器发送的目标监测区域的区域坐标;转发目标监测区域的区域坐标至终端应用程序,以便终端应用程序加载目标监测区域的区域坐标后保存目标监测区域为场景模板;根据设定检查周期,检查场景模板相对目标监测区域的当前监控场景是否产生位移偏差,并在产生位移偏差时更新目标监测区域的区域坐标和场景模板;采用神经网络目标检测算法获得目标识别结果,并在Web浏览器中将识别目标在目标监测区域内或整体监控画面内展示。本发明公开的方法及系统,一方面解决用户无法在大规模终端设备Web视频监控平台做到高效地与神经网络目标检测推理算法的展示结果进行交互的问题,另一方面解决在终端设备的空间位置改变后无法做到对用户设置区域进行自动修复的问题。
本发明实现的用户交互并自动修复式的目标图像检测过程,在用户设置目标监测区域后、获得场景模板后,神经网络目标检测进程对神经网络目标检测算法的目标识别结果采用多边形碰撞检测算法进行推理判断,并在Web上展示的推理结果,实现能够按照用户的预期输出,如,当目标识别结果位于目标监测区域时展示用户关注的目标监测区域;同时在图像采集设备的空间位置改变后,能够根据场景模板,利用图像像素偏移算法自动对设置的目标监测区域进行修复,始终保持用户期望的监测区域。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不表示按照真实参照物比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1为本发明目标图像检测方法流程图;
图2为本发明在目标监测区域内获得目标识别结果并展示的流程图;
图3为本发明在终端应用程序中更新场景模板的流程图;
图4为本发明终端设备Web视频监控平台硬件示意图;
图5为本发明终端设备Web视频监控平台逻辑架构图;
图6为本发明实施例公开的目标图像检测方法场景模板获取示意图;
图7为本发明实施例公开的目标图像检测方法场景模板更新示意图;
图8为本发明目标图像检测系统组成框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另作定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,除非上下文清楚地指明其它情况,否则单数形式的“一个”“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的特征、整体、步骤、操作、元素和/或组件,并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。“上”“下”“左”“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
基于现有的大规模终端设备Web视频监控平台一方面不能实现用户与神经网络目标检测推理算法展示结果的高效互动,另一方面也不能不在用户干预下自动对用户设置进行修复,导致现有目标识别展示结果不能按照用户预期输出。因此,本发明旨在于公开一种目标图像检测方法及系统,通过设置场景模板并结合神经网络目标检测推理算法,不仅能高效实现用户与神经网络目标检测推理算法展示结果的高效互动,且能自动修复目标监测区域,充分贴合用户预期。
下面结合附图所示的具体实施例,对本发明公开的目标图像检测方法及系统作进一步具体介绍。
结合图1所示,本实施例公开的目标图像检测方法,包括如下步骤:
步骤S102,接收Web浏览器发送的目标监测区域的区域坐标,其中,目标监测区域由用户在Web浏览器显示的整体监控画面缩略图上绘制而得;
本发明应用于图4所示的终端设备Web视频监控平台中,包括若干Web浏览器、一Web服务器、设置在Web服务器的终端应用程序和若干终端设备,可选的,终端设备设置为摄像头,终端应用程序也能直接设置在摄像头中;该终端设备Web视频监控平台的逻辑架构如图5所示。实施时,用户在Web浏览器显示的整体监控画面缩略图上绘制目标监测区域后直接发送到Web服务器,Web服务器进一步对该输入进行后处理。
作为一可选的实施方式,用户通过采用Web浏览器上设置的虚拟框图工具在Web浏览器显示的整体监控画面缩略图上绘制任意形状的目标监测区域,然后根据目标监测区域在整体监控画面缩略图上的相对位置关系和虚拟框图工具的工作参数确定区域坐标。
作为另一可选的实施方式,目标监测区域的区域坐标也可以采用直接输入的方式实现,包括:在Web浏览器的展示画面上建立相对整体监控画面的坐标系,并提供一坐标输入窗口;其中,坐标输入窗口提供若干标准形状目标监测区域的输入界面;接收坐标输入窗口输入的任一标准形状目标监测区域的坐标,并在Web浏览器显示的整体监控画面缩略图上框选显示;接收坐标输入窗口输入的坐标调整数据,直至Web浏览器上框选显示区域与目标监测区域的偏差不超过预设偏差阈值。例如,输入的标准形状为圆形时,直接在坐标输入窗口输入圆心坐标和半径并在Web浏览器上获得框选显示的圆形区域;当框选显示的区域不满足用户需求时,持续调整圆形半径或调整圆心位置,直至满足用户期望。
上述的预设偏差阈值主要为接收用户调整框选区域时,不能完全贴合用户预期,出现的用户框选区域范围大于用户预期区域或小于用户预期区域的现象,例如设置偏差阈值为±3%,在面积偏差范围内均满足目标监测区域的选择要求。
步骤S104,转发目标监测区域的区域坐标至终端应用程序,以便终端应用程序加载目标监测区域的区域坐标后保存目标监测区域为场景模板;其中,终端应用程序为神经网络目标检测进程;
Web服务器转发接收的区域坐标转发至神经网络目标检测进程,神经网络目标检测进程加载该区域坐标后保存对应的监测场景为场景模板,场景模板的作用在于提供后续监控场景自动修复的参照图。
步骤S106,根据设定检查周期,检查场景模板相对目标监测区域的当前监控场景是否产生位移偏差;
步骤S108,当场景模板相对当前监控场景产生位移偏差时,更新目标监测区域的区域坐标并在终端应用程序中更新场景模板;
通常在方法初始状态下,保存了初始的场景模板后直接进入步骤S110,进行目标识别和展示,即如图6所示的步骤流程;用户在Web浏览器绘制目标监测区域后请求Web服务器,Web服务器转发该区域至终端应用程序,终端应用程序加载该区域并保存对应的场景模板。当本方法使用一定时间后,执行步骤S106和步骤S108,即利用神经网络目标检测进程每隔设定检查周期检查当前监控场景,判断此刻场景是否与保存的场景模板存在位移偏差,并在有位移偏差时进行调整和更新场景模板,即如图7所示的步骤流程。
步骤S110,采用神经网络目标检测算法获得目标识别结果,并在Web浏览器中将识别目标在目标监测区域内或整体监控画面内展示。
识别目标在Web浏览器中展示,展示效果包括:当识别目标位于场景模板对应的目标监测区域内时,Web浏览器展示目标监测区域及识别目标;当识别目标位于终端设备的整体监控画面中的非目标监测区域内时,Web浏览器展示整体监控画面及识别目标;当神经网络目标检测算法未识别到目标时,Web浏览器直接展示终端设备获得的整体监控画面,直至再识别到监测目标。
上述的步骤S110在目标监测区域内采用神经网络目标检测算法获得目标识别结果并展示的具体过程,可以为通过识别目标的区域坐标与用户绘制目标监测区域的区域坐标进行比对判断识别目标的位置,再根据判断结果进行展示。本实施例通过图2所示的流程,采用多边形碰撞检测算法进行目标识别结果的展示,具体包括:
步骤S202,对目标识别结果采用多边形碰撞检测算法,根据场景模板推理判断识别目标在整体监控画面中位置,获得推理判断结果;其中,推理判断结果包括识别目标位于场景模板对应的目标监测区域内、识别目标位于整体监控画面中的非目标监测区域内;
例如,神经网络目标检测算法识别目标时通常设置有方形识别框,根据识别到的目标的方形识别框与设置的目标监测区域应用多边形碰撞检测算法检测碰撞;当存在区域重合,则表示识别目标在目标监测区域内;当不存在区域重合,则表示识别目标在整体监控画面中的非目标监测区域内。
步骤S204,接收终端应用程序发送的推理判断结果并转发至Web浏览器,以便Web浏览器展示包含识别目标的监测区域;其中,当识别目标位于场景模板对应的目标监测区域内,Web浏览器展示目标监测区域及识别目标,实现用户关注的突出显示;当识别目标位于整体监控画面中的非目标监测区域内,Web浏览器展示整体监控画面及识别目标。
如图5所示,在图示的终端设备Web视频监控平台中,神经网络目标检测进程将推理判断结果通过socket连接发送给Web服务器,Web服务器再将结果转发给Web浏览器进行展示。
可选的,在步骤S108中,判断当场景模板相对当前监控场景是否产生位移偏差的方式可以为直接观测当前目标监测区域图像是否偏离用户初始设置,也可以通过在目标监测区域设置观测参考点的方式,例如,通过判断观测参考点在当前整体监控画面的区域坐标与预设区域坐标的偏差进行报警设置,根据报警提示获得判断结果。
另外,本实施例通过图3所示的流程,采用场景模板结合图像像素偏移算法在终端应用程序中更新场景模板,该更新的具体过程包括:
步骤S302,采用图像像素偏移算法,计算目标监测区域的当前监控场景与保存的场景模板存在的相对位置偏差;
步骤S304,当计算的相对位置偏差大于预设偏移阈值,计算获得偏移向量;
例如,设置检查周期0.5s、预设偏移阈值为5个像素,更新前每隔该周期进行一次场景模板位移偏差的确定,当发生位移偏差且计算得到的相对位置偏差超过5个像素,则准备进行更新调整,计算偏移向量。
步骤S306,根据偏移向量更新目标监测区域的区域坐标并转发至终端应用程序,以便终端应用程序加载更新的区域坐标后保存更新的监控场景为新的场景模板。
当本终端设备Web视频监控平台应用在矿下、井下作业时,环境的轻微震动引起的终端设备的偏移不妨碍用户设置的目标监测区域观测时,不进行场景模板的更新,直至偏移超限,以提高平台的工作效率。
作为一可选的实施方式,当神经网络目标检测算法获得的识别目标包括多个,且推理判断结果表明整体监控画面的目标监测区域内和非目标监测区域内均识别有目标时,则在Web浏览器中同步展示包含识别目标的目标监测区域和整体监控画面;例如分屏展示目标监测区域和整体监控画面,或重叠在同一画面展示,画面中对目标监测区域做放大展示。
本发明上述实施例公开的目标图像检测方法,实现用户与神经网络目标检测算法识别结果的交互,并能够自动修复用户设置的目标监测区域的效果;进而,本视频监控平台在用户设置目标检测区域后,神经网络目标检测进程在Web浏览器上展示推理结果,按照用户的预期输出,同时在终端设备的空间位置改变后,自动对设置的区域进行修复,在识别目标位于目标监测区域时始终展示用户预期目标。
在本实施例中,还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器运行该计算机程序时,实现上述的目标图像检测方法。
上述程序可以运行在处理器中,或者也可以存储在存储器中(或称为计算机可读存储介质),计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤,对应与不同的步骤可以通过不同的模块来实现。
本申请的实施例中就提供了这样的一种设备或系统,该系统被称为目标图像检测系统,其组成如图8所示,包括:接收模块,用于接收Web浏览器发送的目标监测区域的区域坐标,其中,目标监测区域由用户在Web浏览器显示的整体监控画面缩略图上绘制而得;转发模块,用于转发目标监测区域的区域坐标至终端应用程序,以便终端应用程序加载目标监测区域的区域坐标后保存目标监测区域为场景模板;其中,终端应用程序为神经网络目标检测进程;检查模块,用于根据设定检查周期,检查场景模板相对目标监测区域的当前监控场景是否产生位移偏差;更新模块,用于当场景模板相对当前监控场景产生位移偏差时,更新目标监测区域的区域坐标并在终端应用程序中更新场景模板;识别展示模块,用于采用神经网络目标检测算法获得目标识别结果,并在Web浏览器中将识别目标在目标监测区域内或整体监控画面内展示。
该系统用于实现上述的实施例中的方法的功能,该系统中的每个模块与方法中的每个步骤相对应,已经在方法中进行过说明的,在此不再赘述。
例如,识别展示模块在目标监测区域内采用神经网络目标检测算法获得目标识别结果并展示的执行单元,包括:推理判断单元,用于对目标识别结果采用多边形碰撞检测算法,根据场景模板推理判断识别目标在整体监控画面中位置,获得推理判断结果;其中,推理判断结果包括识别目标位于场景模板对应的目标监测区域内、识别目标位于整体监控画面中的非目标监测区域内;第一接收单元,用于接收终端应用程序发送的推理判断结果并转发至Web浏览器,以便Web浏览器展示包含识别目标的监测区域;其中,当识别目标位于场景模板对应的目标监测区域内,Web浏览器展示目标监测区域及识别目标;当识别目标位于整体监控画面中的非目标监测区域内,Web浏览器展示整体监控画面及识别目标。
又例如,更新模块在终端应用程序中更新场景模板的执行单元,包括:第一计算单元,用于采用图像像素偏移算法,计算目标监测区域的当前监控场景与保存的场景模板存在的相对位置偏差;第二计算单元,用于当计算的相对位置偏差大于预设偏移阈值,计算获得偏移向量;更新单元,用于根据偏移向量更新目标监测区域的区域坐标并转发至终端应用程序,以便终端应用程序加载更新的区域坐标后保存更新的监控场景为新的场景模板。
又例如,在Web浏览器显示的整体监控画面缩略图上绘制目标监测区域的执行单元,包括:建立单元,用于在Web浏览器的展示画面上建立相对整体监控画面的坐标系,并提供一坐标输入窗口;其中,坐标输入窗口提供若干标准形状目标监测区域的输入界面;第二接收单元,用于接收坐标输入窗口输入的任一标准形状目标监测区域的坐标,并在Web浏览器显示的整体监控画面缩略图上框选显示;第三接收单元,用于接收坐标输入窗口输入的坐标调整数据,直至Web浏览器上框选显示区域与目标监测区域的偏差不超过预设偏差阈值。
以及,该系统的识别展示模块在展示目标识别结果时,还包括:当神经网络目标检测算法获得的识别目标包括多个,且推理判断单元获得的推理判断结果表明整体监控画面的目标监测区域内和非目标监测区域内均识别有目标,则在Web浏览器中同步展示包含识别目标的目标监测区域和整体监控画面。
本发明整体的目标图像检测流程具体包括:用户先在Web浏览器上绘制闭合区域,然后Web浏览器请求Web服务器,发送区域坐标,Web服务器再将区域坐标转发给终端应用程序;
神经网络目标检测进程通过加载区域坐标确认闭合区域作为场景模板保存,然后当其识别到目标时使用多边形碰撞检测算法,将推理判断结果进行过滤,将过滤后的结果通过socket连接发送给Web服务器,Web服务器再将结果转发给Web浏览器进行展示;与此同时神经网络目标检测进程每隔一定时间检查终端设备的当前监控场景,并使用图像像素偏移算法判断此刻监控场景是否与保存的场景模板存在相对位置偏差,如果存在并大于设置的预设偏移阈值,则根据计算的偏移向量自动更新用户设置的区域坐标,同时神经网络目标检测算法重新加载区域坐标后,保存更新后的当前监控场景为新的场景模板。综上所述,本发明能充分实现用户与终端设备Web视频监控平台的神经网络目标检测进程高效交互,且能够根据终端设备的实时监控场景自动对用户初始设置目标监测区域进行自动修复,在满足用户预期的同时,避免人工参与调节,提升目标图像检测的效率。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种目标图像检测方法,其特征在于,包括:
接收Web浏览器发送的目标监测区域的区域坐标,其中,目标监测区域由用户在Web浏览器显示的整体监控画面缩略图上绘制而得;
转发目标监测区域的区域坐标至终端应用程序,以便终端应用程序加载目标监测区域的区域坐标后保存目标监测区域为场景模板;其中,终端应用程序为神经网络目标检测进程;
根据设定检查周期,检查场景模板相对目标监测区域的当前监控场景是否产生位移偏差;
当场景模板相对当前监控场景产生位移偏差时,更新目标监测区域的区域坐标并在终端应用程序中更新场景模板;
采用神经网络目标检测算法获得目标识别结果,并在Web浏览器中将识别目标在目标监测区域内或整体监控画面内展示。
2.根据权利要求1所述的目标图像检测方法,其特征在于,在目标监测区域内采用神经网络目标检测算法获得目标识别结果并展示的具体过程为:
对目标识别结果采用多边形碰撞检测算法,根据场景模板推理判断识别目标在整体监控画面中位置,获得推理判断结果;其中,推理判断结果包括识别目标位于场景模板对应的目标监测区域内、识别目标位于整体监控画面中的非目标监测区域内;
接收终端应用程序发送的推理判断结果并转发至Web浏览器,以便Web浏览器展示包含识别目标的监测区域;其中,当识别目标位于场景模板对应的目标监测区域内,Web浏览器展示目标监测区域及识别目标;当识别目标位于整体监控画面中的非目标监测区域内,Web浏览器展示整体监控画面及识别目标。
3.根据权利要求1所述的目标图像检测方法,其特征在于,在终端应用程序中更新场景模板的具体过程为:
采用图像像素偏移算法,计算目标监测区域的当前监控场景与保存的场景模板存在的相对位置偏差;
当计算的相对位置偏差大于预设偏移阈值,计算获得偏移向量;
根据偏移向量更新目标监测区域的区域坐标并转发至终端应用程序,以便终端应用程序加载更新的区域坐标后保存更新的监控场景为新的场景模板。
4.根据权利要求1所述的目标图像检测方法,其特征在于,在Web浏览器显示的整体监控画面缩略图上绘制目标监测区域的具体过程为:
在Web浏览器的展示画面上建立相对整体监控画面的坐标系,并提供一坐标输入窗口;其中,坐标输入窗口提供若干标准形状目标监测区域的输入界面;
接收坐标输入窗口输入的任一标准形状目标监测区域的坐标,并在Web浏览器显示的整体监控画面缩略图上框选显示;
接收坐标输入窗口输入的坐标调整数据,直至Web浏览器上框选显示区域与目标监测区域的偏差不超过预设偏差阈值。
5.根据权利要求2所述的目标图像检测方法,其特征在于,还包括:
当神经网络目标检测算法获得的识别目标包括多个,且推理判断结果表明整体监控画面的目标监测区域内和非目标监测区域内均识别有目标,则在Web浏览器中同步展示包含识别目标的目标监测区域和整体监控画面。
6.一种目标图像检测系统,其特征在于,包括:
接收模块,用于接收Web浏览器发送的目标监测区域的区域坐标,其中,目标监测区域由用户在Web浏览器显示的整体监控画面缩略图上绘制而得;
转发模块,用于转发目标监测区域的区域坐标至终端应用程序,以便终端应用程序加载目标监测区域的区域坐标后保存目标监测区域为场景模板;其中,终端应用程序为神经网络目标检测进程;
检查模块,用于根据设定检查周期,检查场景模板相对目标监测区域的当前监控场景是否产生位移偏差;
更新模块,用于当场景模板相对当前监控场景产生位移偏差时,更新目标监测区域的区域坐标并在终端应用程序中更新场景模板;
识别展示模块,用于采用神经网络目标检测算法获得目标识别结果,并在Web浏览器中将识别目标在目标监测区域内或整体监控画面内展示。
7.根据权利要求6所述的目标图像检测系统,其特征在于,所述识别展示模块在目标监测区域内采用神经网络目标检测算法获得目标识别结果并展示的执行单元,包括:
推理判断单元,用于对目标识别结果采用多边形碰撞检测算法,根据场景模板推理判断识别目标在整体监控画面中位置,获得推理判断结果;其中,推理判断结果包括识别目标位于场景模板对应的目标监测区域内、识别目标位于整体监控画面中的非目标监测区域内;
第一接收单元,用于接收终端应用程序发送的推理判断结果并转发至Web浏览器,以便Web浏览器展示包含识别目标的监测区域;其中,当识别目标位于场景模板对应的目标监测区域内,Web浏览器展示目标监测区域及识别目标;当识别目标位于整体监控画面中的非目标监测区域内,Web浏览器展示整体监控画面及识别目标。
8.根据权利要求6所述的目标图像检测系统,其特征在于,所述更新模块在终端应用程序中更新场景模板的执行单元,包括:
第一计算单元,用于采用图像像素偏移算法,计算目标监测区域的当前监控场景与保存的场景模板存在的相对位置偏差;
第二计算单元,用于当计算的相对位置偏差大于预设偏移阈值,计算获得偏移向量;
更新单元,用于根据偏移向量更新目标监测区域的区域坐标并转发至终端应用程序,以便终端应用程序加载更新的区域坐标后保存更新的监控场景为新的场景模板。
9.根据权利要求6所述的目标图像检测系统,其特征在于,在Web浏览器显示的整体监控画面缩略图上绘制目标监测区域的执行单元,包括:
建立单元,用于在Web浏览器的展示画面上建立相对整体监控画面的坐标系,并提供一坐标输入窗口;其中,坐标输入窗口提供若干标准形状目标监测区域的输入界面;
第二接收单元,用于接收坐标输入窗口输入的任一标准形状目标监测区域的坐标,并在Web浏览器显示的整体监控画面缩略图上框选显示;
第三接收单元,用于接收坐标输入窗口输入的坐标调整数据,直至Web浏览器上框选显示区域与目标监测区域的偏差不超过预设偏差阈值。
10.根据权利要求7所述的目标图像检测系统,其特征在于,还包括:
当神经网络目标检测算法获得的识别目标包括多个,且推理判断单元获得的推理判断结果表明整体监控画面的目标监测区域内和非目标监测区域内均识别有目标,则在Web浏览器中同步展示包含识别目标的目标监测区域和整体监控画面。
CN202211588155.2A 2022-12-12 2022-12-12 一种目标图像检测方法及系统 Active CN115600034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211588155.2A CN115600034B (zh) 2022-12-12 2022-12-12 一种目标图像检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211588155.2A CN115600034B (zh) 2022-12-12 2022-12-12 一种目标图像检测方法及系统

Publications (2)

Publication Number Publication Date
CN115600034A true CN115600034A (zh) 2023-01-13
CN115600034B CN115600034B (zh) 2023-03-10

Family

ID=84852245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211588155.2A Active CN115600034B (zh) 2022-12-12 2022-12-12 一种目标图像检测方法及系统

Country Status (1)

Country Link
CN (1) CN115600034B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027830A (ja) * 2010-07-27 2012-02-09 Secom Co Ltd 監視用センサ
CN108986110A (zh) * 2018-07-02 2018-12-11 Oppo(重庆)智能科技有限公司 图像处理方法、装置、移动终端及存储介质
US20200132846A1 (en) * 2018-10-31 2020-04-30 Fanuc Corporation Object monitoring system including distance measuring device
CN111861982A (zh) * 2020-06-07 2020-10-30 中国葛洲坝集团第一工程有限公司 可视化图像监测识别系统
CN113382171A (zh) * 2021-06-21 2021-09-10 车路通科技(成都)有限公司 一种交通摄像头自动校正方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027830A (ja) * 2010-07-27 2012-02-09 Secom Co Ltd 監視用センサ
CN108986110A (zh) * 2018-07-02 2018-12-11 Oppo(重庆)智能科技有限公司 图像处理方法、装置、移动终端及存储介质
US20200132846A1 (en) * 2018-10-31 2020-04-30 Fanuc Corporation Object monitoring system including distance measuring device
CN111861982A (zh) * 2020-06-07 2020-10-30 中国葛洲坝集团第一工程有限公司 可视化图像监测识别系统
CN113382171A (zh) * 2021-06-21 2021-09-10 车路通科技(成都)有限公司 一种交通摄像头自动校正方法、装置、设备及介质

Also Published As

Publication number Publication date
CN115600034B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
US10085055B2 (en) Application sharing by dynamic partitioning
US8238640B2 (en) Display testing apparatus and method
JP2004157979A (ja) 画像の動き検出装置及びコンピュータプログラム
CN103914876A (zh) 用于在3d地图上显示视频的方法和设备
EP4220547A1 (en) Method and apparatus for determining heat data of global region, and storage medium
CN113298707B (zh) 图像帧拼接方法、视频巡检方法、装置、设备及存储介质
CN115600034B (zh) 一种目标图像检测方法及系统
US20120308158A1 (en) System and method for measuring a border of an image of an object
CN113808200A (zh) 一种检测目标对象移动速度的方法、装置及电子设备
CN116953968A (zh) 一种lcd显示屏的残影检测方法、装置、设备和介质
US20090180033A1 (en) Frame rate up conversion method and apparatus
JP5710230B2 (ja) 監視システムおよび監視方法
CN116760937A (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
CN108427935B (zh) 街景比对图像的生成方法和装置
US20240169511A1 (en) Method and apparatus for acquiring images, and storage medium thereof
US20120185621A1 (en) Detection and Processing of Preselected Image Blocks in a KVM System
EP3413175A1 (en) Image generation method, terminal, and graphical user interface
CN113628192A (zh) 图像模糊检测方法、装置、设备、存储介质及程序产品
WO2014028440A2 (en) Fast image processing for recognition objectives system
CN115146686B (zh) 一种确定目标对象安装位置的方法、装置、设备及介质
CN117524073B (zh) 一种超高清图像显示抖动补偿方法、系统及存储介质
CN115526809B (zh) 一种图像处理方法、装置及电子设备和存储介质
CN112634460B (zh) 基于Haar-like特征的户外全景图生成方法及装置
CN110932941B (zh) 一种云屏连接状态的检测方法、服务器及存储介质
CN110264400B (zh) 粗分辨率地图的生成方法、系统、电子装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant