CN112199987A - 单一区域内多算法组合配置策略方法、图像处理装置及电子设备 - Google Patents
单一区域内多算法组合配置策略方法、图像处理装置及电子设备 Download PDFInfo
- Publication number
- CN112199987A CN112199987A CN202010869024.6A CN202010869024A CN112199987A CN 112199987 A CN112199987 A CN 112199987A CN 202010869024 A CN202010869024 A CN 202010869024A CN 112199987 A CN112199987 A CN 112199987A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- video image
- target object
- image
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013519 translation Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 abstract description 29
- 230000008569 process Effects 0.000 abstract description 21
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种单一区域内多算法组合配置策略方法、图像处理装置及电子设备。该方法包括:采用第一算法对目标区域的至少一帧第一视频图像进行处理,其中,所述第一算法用于识别所述目标区域中是否存在满足第一预设条件的第一目标物;当所述目标区域中存在所述第一目标物时,采用第二算法对所述第一视频图像或与所述第一视频图像相关的至少一帧第二视频图像进行处理,其中,所述第二算法用于识别所述目标区域中是否存在满足第二预设条件的第二目标物。本申请实施例能够对单一区域的图像进行多种算法的连续处理,从而实现复杂条件的目标物的判断,大大改进了图像采集分析的处理效果。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种单一区域内多算法组合配置策略方法、图像处理装置及电子设备。
背景技术
在基于视频的图像处理场景中,在现有技术中,通常用户在需要实施图像采集的区域中设置视频采集装置来采集视频并处理为图像,并且对图像进行处理,例如识别采集到的图像中的人或物的对象。随着图像处理技术的发展,用户对于图像采集处理的需求也日益复杂化。特别是,随着人工智能技术的发展,用户对于单个画面的场景的需求也向着更贴近人眼和人脑的综合视觉识别能力的方向发展,特别是对画面中的多个对象或一个对象的多个不同甚至不同部分进行多个关联处理以实现复杂的综合判断。
因此,需要一种能够实现这样的较为复杂的综合性识别处理的单一区域内多算法组合配置策略方案。
发明内容
本申请实施例提供一种单一区域内多算法组合配置策略方法、图像处理装置及电子设备,以解决现有技术中对于单一区域不能够进行复杂处理和判断的缺陷。
为达到上述目的,本申请实施例提供了一种单一区域内多算法组合配置策略方法,包括:
采用第一算法对目标区域的至少一帧第一视频图像进行处理,其中,所述第一算法用于识别所述目标区域中是否存在满足第一预设条件的第一目标物;
当所述目标区域中存在所述第一目标物时,采用第二算法对所述第一视频图像或与所述第一视频图像相关的至少一帧第二视频图像进行处理,其中,所述第二算法用于识别所述目标区域中是否存在满足第二预设条件的第二目标物。
本申请实施例还提供了一种图像处理装置,包括:
第一算法处理单元,用于采用第一算法对目标区域的至少一帧第一视频图像进行处理,其中,所述第一算法用于识别所述目标区域中是否存在满足第一预设条件的第一目标物;
第二算法处理单元,用于当所述目标区域中存在所述第一目标物时,采用第二算法对所述第一视频图像或与所述第一视频图像相关的至少一帧第二视频图像进行处理,其中,所述第二算法用于识别所述目标区域中是否存在满足第二预设条件的第二目标物。
本申请实施例还提供了一种电子设备,包括:
存储器,用于存储程序;
处理器,用于运行所述存储器中存储的所述程序,所述程序运行时执行本申请实施例提供的单一区域内多算法组合配置策略方法。
本申请实施例提供的单一区域内多算法组合配置策略方法、图像处理装置及电子设备,能够根据本申请实施例的单一区域内多算法组合配置策略方法,通过采用至少第一算法和第二算法的多种算法来对目标区域的至少一帧图像或该帧图像与其关联的图像分别进行处理来识别出不同的目标物,从而能够对单一区域的图像进行多种算法的连续处理,从而实现复杂条件的目标物的判断,大大改进了图像采集分析的处理效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请实施例提供的单一区域内多算法组合配置策略方法的应用场景示意图;
图2为本申请提供的单一区域内多算法组合配置策略方法一个实施例的流程图;
图3为本申请提供的单一区域内多算法组合配置策略方法另一个实施例的流程图;
图4为本申请提供的图像处理装置实施例的结构示意图;
图5为本申请提供的电子设备实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
本申请实施例提供的方案可应用于任何具有单一区域内多算法组合配置策略能力的图像处理系统,例如安装有图像处理模块的视频采集设备等等。图1为本申请实施例提供的单一区域内多算法组合配置策略方法的应用场景示意图,图1所示的场景仅仅是本申请的技术方案可以应用的场景的示例之一。
在人们的生活中,人们所处于的环境或者当用户持续用眼睛观察某个区域时,由于环境或区域通常会包含各种各样的对象,并且这些对象之间或对象的不同部分之间可能具有各种各样的关联性。因此,人脑会对人眼采集的画面中的多个部分或甚至同一个部分进行多个处理。例如,在观察到门口区域中出现了车辆时,会先识别车的类型,并且当识别出是轿车时会进一步尝试识别车内的驾驶员,当识别出驾驶员是特定人员时,可以进而识别副驾驶是否有人,或者后排是否有人,并且当识别到人时可以进一步识别人员信息等等。这样的一系列的观察和识别过程,使得人能够实现复杂的场景中的对象判断或形势判断。然而,在利用计算机进行环境的图像采集和分析的现有技术中,通常仅对于单个区域进行单一目的的图像采集和分析处理。例如,在对道路区域进行图像和/或视频采集和处理的情况下,通常仅能够对于车辆的标识进行识别,或者对于道路上的行人进行人脸识别等等。
但是,如上所述,随着AI技术对于信息处理的推动,用户对于区域的图像和/或视频采集和处理的需求也变得复杂化,希望能够对单个区域进行多种算法或目的的综合分析处理,以更接近人自身的视觉观察和识别能力,从而使得图像采集分析的结果更贴近实际的场景需求。
例如,在如图1中所示的道路区域的图像采集和分析场景中,交通监管部门可能需要对在某一区域中的道路的图像进行采集并分析以确定在道路上行驶的车辆的驾驶员或者乘客是否有违章行为。例如,驾驶员是否边开车边打手机或者车内乘客人数较多从而导致超载等情况。在这样的情况下,如图1中所示,当图像采集设备或系统采集到了当前区域的多个图像或者通过对采集到的视频进行处理来获得多个图像帧时,可以先对这些图像帧施加车辆识别算法,以识别出车辆对象。在识别出路面上的车辆对象的情况下,可以进而对该区域中应用例如人脸识别算法来对车辆对象中的驾驶员或乘客这样的人员对象进行识别,从而判断车内是否存在对应的人员,并且进而可以施加例如行为或姿态识别算法来识别是否存在违章行为。因此,在该过程中,通过对于图1中的目标区域来施加了例如车辆识别算法的第一算法,从而从采集到的目标区域中的第一视频图像中识别出存在满足例如车辆移动的车辆对象1作为第一目标物,进而可以在识别出存在车辆对象1的情况下,采用例如人脸识别算法或姿态识别算法的第二算法来对第一视频图像进行处理,从而来识别出是否该图像中的车辆对象1的驾驶员或乘客是否存在违反交通管理规定的行为等。
此外,在图1中所示的道路场景中,在对于目标区域施加车辆识别算法来识别出车辆之间距离低于阈值或者车速低于阈值,例如静止的车辆,例如,这样的车辆可能是发生了交通事故或出现了故障。因此,在该情况下,例如,当根据第一算法的识别结果表示可能出现交通事故或故障的情况下,可以进一步对于目标区域的第一视频图像相关联的第二视频图像,例如在时间上位于该图像帧之前或之后的图像帧进行第二算法的计算,以识别事故发生的原因等等。
因此,根据本申请实施例的单一区域内多算法组合配置策略方法,通过采用至少第一算法和第二算法的多种算法来对目标区域的至少一帧图像或该帧图像与其关联的图像分别进行处理来识别出不同的目标物,从而能够对单一区域的图像进行多种算法的连续处理,从而实现复杂条件的目标物的判断,大大改进了图像采集分析的处理效果。
上述实施例是对本申请实施例的技术原理和示例性的应用框架的说明,下面通过多个实施例来进一步对本申请实施例具体技术方案进行详细描述。
实施例二
图2为本申请提供的单一区域内多算法组合配置策略方法一个实施例的流程图,该方法的执行主体可以为具有单一区域内多算法组合配置策略能力的各种图像处理终端或设备,也可以为集成在这些设备上的装置或芯片。如图2所示,该单一区域内多算法组合配置策略方法包括如下步骤:
S201,采用第一算法对目标区域的至少一帧第一视频图像进行处理。
在本申请实施例中,在针对某一个目标区域进行图像采集和分析时,可以通过各种图像采集设备,例如监控器等等对目标区域进行图像或视频采集,从而获得在时间上连续的多个图像帧。在获取了这些图像帧之后,可以在步骤S201中,利用第一算法来对该目标区域的至少一帧第一视频图像进行处理。例如,在本申请实施例中,第一算法用于识别所述目标区域中是否存在满足第一预设条件的第一目标物。在该情况下,第一算法例如可以是识别车辆对象的识别算法,并且在步骤S201中可以利用该第一算法来识别出目标区域中是否存在车辆。
S202,当目标区域中存在第一目标物时,采用第二算法对第一视频图像或与第一视频图像相关的至少一帧第二视频图像进行处理。
在步骤S201中利用第一算法对目标区域的第一视频图像帧进行了处理并确定第一目标区域中存在符合第一算法规定的第一预设条件的目标物之后,可以进一步采用第二算法来对该第一视频图像或者与该图像相关的至少一帧图像进行处理。在本申请实施例中,第二算法可以用于识别目标区域中是否存在满足第二预设条件的第二目标物并且可以包括:物体识别算法、人脸识别算法、手势识别算法中的至少一种。例如,在本申请实施例中,当对于道路的目标区域进行图像或视频采集时,在步骤S201中通过车辆识别算法作为第一算法来从对于道路这一目标区域采集到的多个图像帧中的至少一个图像帧进行处理,例如如图1中所示的场景中,可以识别出道路上存在车辆对象1,因此,可以在步骤S202中进一步向该图像帧应用用于识别是否存在满足另外的预设条件的算法的第二算法,例如车辆标识识别算法或人脸识别算法来进一步在该图像帧中识别该车辆的标识或该车辆中的驾驶员或乘坐的乘客。
因此,通过本申请实施例的方法,能够对于单一的目标区域的图像应用不同算法,并且通过具有不同预设条件的算法来实现对于该区域的图像的复杂的综合分析和判断,从而大大提升了图像采集分析的效果,并且能够为用户提供更准确和有效的分析结果。
实施例三
图3为本申请提供的单一区域内多算法组合配置策略方法另一个实施例的流程图,该方法的执行主体可以为具有单一区域内多算法组合配置策略能力的各种图像处理终端或设备,也可以为集成在这些设备上的装置或芯片。如图3所示,该单一区域内多算法组合配置策略方法包括如下步骤:
S301,采用第一算法对目标区域的至少一帧第一视频图像进行处理。
在本申请实施例中,在针对某一个目标区域进行图像采集和分析时,可以通过各种图像采集设备,例如监控器等等对目标区域进行图像或视频采集,从而获得在时间上连续的多个图像帧。在获取了这些图像帧之后,可以在步骤S301中,利用第一算法来对该目标区域的至少一帧第一视频图像进行处理。例如,在本申请实施例中,第一算法用于识别所述目标区域中是否存在满足第一预设条件的第一目标物,并且可以包括例如物体识别算法、人脸识别算法、手势识别算法中的至少一种,在该情况下,第一算法例如可以是识别车辆对象的识别算法,并且在步骤S301中可以利用该第一算法来识别出目标区域中是否存在车辆。
S302,获取第一目标物在目标区域中的位置信息。
在本申请实施例中,当在步骤S301中利用第一算法对目标区域的第一视频图像帧进行了处理并确定第一目标区域中存在符合第一算法规定的第一预设条件的目标物之后,可以进一步在步骤S302中获取步骤S301中利用第一算法识别出或确定的第一目标物在目标区域中的位置信息。例如,在如图1中所示的场景中,当在步骤S301中通过例如车辆识别算法的第一算法识别出目标车辆对象1时,可以在步骤S302中获取该目标车辆对象1在道路区域中的位置信息。在本申请实施例中,该位置信息可以是绝对位置信息,例如,经度和纬度信息,也可以是相对位置信息,例如相对于作为目标区域的道路的边界的位置。在本申请实施例中,在步骤S302中获取位置信息可以是通过GPS定位方式来获取位置信息,也可以采用各种其他能够获取到目标物在目标区域中的绝对位置或相对位置的各种方式来获取位置信息。
S303,根据第一目标物的位置信息,确定第二算法的识别范围。
在步骤S302获取到利用第一算法识别出的第一目标物的位置信息之后,可以在步骤S303中进一步确定用于应用第二算法的识别范围。即,在本申请实施例中,步骤S301中确定的第一目标物是要进行深入分析的主要对象,因此,可以基于在步骤S302中获取到的该第一目标物的位置信息来确定要接下来应用第二算法以进行进一步的分析的范围。例如,在图1中所示的场景中,当通过例如车辆识别算法的第一算法识别出车辆对象1时,可以在将第二算法应用到该图像进行例如车辆标识识别处理或者车辆内的人员识别处理之前,先根据步骤S302中确定的车辆对象1的位置信息来确定接下来应用第二算法的范围。由于应用第二算法的目的在于对于第一算法处理识别出的第一目标物进行进一步的处理,因此,实际上只有车辆对象1及其周围的预定距离内的范围内的图像是需要利用第二算法进行处理的范围,而离车辆对象1过远的位置很可能与车辆对象1的关联不大,因此,在步骤S303中通过基于作为第一算法的识别处理结果的车辆对象1的位置来进一步确定用于第二算法的识别范围,可以降低应用第二算法的计算量并且提高第二算法的处理速度和效率,而且也能够通过缩小第二算法的应用范围而直接将距离第一目标物较远的其他目标物预先排除,以免干扰第二算法的识别处理结果。
在本申请实施例中,在确定识别范围时,可以将基于第一目标物的位置的预定的位置范围的一部分作为第二算法的识别范围。例如,在图1中所示的场景中,当在步骤S301中识别出车辆对象1并且在步骤S302获取到车辆对象1的位置信息时,可以基于获取到的车辆对象1的位置信息而确定出包含有车辆对象1的位置范围,例如,沿着车辆对象1的轮廓的长方形形状可以作为该位置范围。因此,在步骤S303中确定第二算法的识别范围时,可以将该长方形状的位置范围的位于车辆的行进方向的一半作为识别范围,因为通常这个范围内可以包含有车辆的挡风玻璃从而便于应用第二算法来识别车辆中的驾驶员和/或乘客。
此外,在确定识别范围时,也可以对基于第一目标物的位置的预定的位置范围进行平移操作,并且将平移之后的位置范围作为第二算法的识别范围。例如,在图1中所示的场景中,当在步骤S301中识别出车辆对象1并且在步骤S302获取到车辆对象1的位置信息时,可以基于获取到的车辆对象1的位置信息而确定出包含有车辆对象1的位置范围,例如,沿着车辆对象1的轮廓的长方形形状可以作为该位置范围。因此,在步骤S303中确定第二算法的识别范围时,可以将该长方形状的位置范围的在车辆的宽度方向或行进方向上进行平移,以便于将旁边车道或者该车辆对象1的前后车辆的位置范围作为应用第二算法的识别范围。
S304,针对第一视频图像或与第一视频图像相关的至少一帧第二视频图像,获取识别范围内的图像数据。
S305,对识别范围内的图像数据采用第二算法进行处理,以识别第二目标物。
因此,在步骤S303中确定了用于应用第二算法的识别范围之后,在步骤S304和步骤S305中可以在该范围内应用第二算法来进行识别处理。特别地,在本申请实施例中,在步骤S303中确定的该识别范围可以是基于第一目标物的位置的相对范围。例如,通常对于目标区域的图像采集处理获取到的图像帧都具有同样大小的尺寸,因此,例如在步骤S301中识别出的第一目标物的位置位于第一图像帧的中心位置,则步骤S303中确定的识别范围可以为以中心位置为圆心并且以预定长度为半径的圆,并且这样确定的范围是作为识别范围而并非是某个图像帧中的部分图像,换言之,当该识别范围应用于当前的第一视频图像帧时,则在步骤S304中,可以获取该第一视频图像帧中落入该识别范围的图像数据并且在步骤S305中对其进行识别处理。或者当该识别范围应用于与当前的第一视频图像帧相关联的第二视频图像时,可以针对该第二视频图像中落入该识别范围的图像数据进行识别处理。
在本申请实施例中,当选择与当前的第一视频图像关联的第二视频图像时,可以选择与第一视频图像的时间差小于预设时间阈值的视频图像作为第二视频图像。换言之,在本申请实施例中,由于是需要基于第一目标物来应用第二算法进行进一步的分析和识别处理,因此,当需要对除了第一视频图像之外的关联图像进行识别处理时,可以选择在时间上与第一视频图像紧邻的视频图像来作为关联的图像。
此外,在步骤S305中应用第二算法时,除了确定是否存在满足第二预设条件的目标物之外,第二算法还可以用于获取所确定的满足第二预设条件的目标物的的状态信息。例如,如图1中所示,第二算法除了可以确定了车辆中的驾驶员或乘客之外,还可以在确定了驾驶员或乘客时同时进一步确定驾驶员或乘客的状态,例如第二目标物的个数、形状、属性、动作中的至少一种等等,从而可以通过第二算法对于该目标区域的第一图像或与其相关的第二图像的处理来获得与车内人员及其状态相关的分析结果。
S306,建立用于表征第一目标物与第二目标物的关联关系的关联标识。
在本申请实施例中,当通过应用第一算法和第二算法确定了第一目标物和第二目标物之后,可以进一步对于所确定的第一目标物和第二目标物建立表征其关联关系的关联标识。例如,在图1中所示的场景中,当在步骤S301中识别出车辆对象1并且在步骤S305中通过应用第二算法而识别出第二目标物,例如没有系安全带的驾驶员时,可以在服务器中对于该车辆对象1以及该驾驶员建立关联标识来表征该车辆对象1中的驾驶员违反了交通规定。在输出结果时,可以将具有这样的关联标识的第一目标物和第二目标物输出来使得用户了解车辆对象1与该人物之间的关系。
S307,针对第一视频图像或第一视频图像相关的至少一帧第二视频图像,存储识别范围内的图像数据。
在本申请实施例中,在通过第一算法和第二算法对目标区域进行了综合识别和判断之后,除了输出识别结果之外,还可以将该识别范围内的图像数据进行存储以便于供用户参考。
因此,通过本申请实施例的方法,能够对于单一的目标区域的图像应用不同算法,并且通过具有不同预设条件的算法来实现对于该区域的图像的复杂的综合分析和判断,从而大大提升了图像采集分析的效果,并且能够为用户提供更准确和有效的分析结果。
实施例四
图4为本申请提供的图像处理装置实施例的结构示意图,可用于执行如图2和图3所示的方法步骤。如图4所示,该图像处理装置可以包括:第一算法处理单元41和第二算法处理单元42。
第一算法处理单元41可以用于采用第一算法对目标区域的至少一帧第一视频图像进行处理。
在本申请实施例中,在利用本申请实施例的图像处理装置针对某一个目标区域进行图像采集和分析时,可以通过各种图像采集设备,例如监控器等等对目标区域进行图像或视频采集,从而获得在时间上连续的多个图像帧。在本申请实施例的图像处理装置获取了这些图像帧之后,可以通过第一算法处理单元41利用第一算法来对该目标区域的至少一帧第一视频图像进行处理。例如,在本申请实施例中,第一算法用于识别所述目标区域中是否存在满足第一预设条件的第一目标物,并且可以包括例如物体识别算法、人脸识别算法、手势识别算法中的至少一种,在该情况下,第一算法例如可以是识别车辆对象的识别算法,并且第一算法处理单元41可以利用该第一算法来识别出目标区域中是否存在车辆。
第二算法处理单元42可以用于当目标区域中存在第一目标物时,采用第二算法对第一视频图像或与第一视频图像相关的至少一帧第二视频图像进行处理。
在第一算法处理单元41利用第一算法对目标区域的第一视频图像帧进行了处理并确定第一目标区域中存在符合第一算法规定的第一预设条件的目标物之后,第二算法处理单元42可以进一步采用第二算法来对该第一视频图像或者与该图像相关的至少一帧图像进行处理。在本申请实施例中,第二算法可以用于识别目标区域中是否存在满足第二预设条件的第二目标物并且可以包括:物体识别算法、人脸识别算法、手势识别算法中的至少一种。
在本申请实施例中,第二算法处理单元42可以进一步包括:位置信息获取组件421、确定组件422、图像数据获取组件423和处理组件424。
位置信息获取组件421可以用于获取第一目标物在目标区域中的位置信息。
在本申请实施例中,当第一算法处理单元41利用第一算法对目标区域的第一视频图像帧进行了处理并确定第一目标区域中存在符合第一算法规定的第一预设条件的目标物之后,位置信息获取组件421可以进一步获取第一算法处理单元41利用第一算法识别出或确定的第一目标物在目标区域中的位置信息。例如,在如图1中所示的场景中,当第一算法处理单元41通过例如车辆识别算法的第一算法识别出目标车辆对象1时,位置信息获取组件421可以获取该目标车辆对象1在道路区域中的位置信息。在本申请实施例中,该位置信息可以是绝对位置信息,例如,经度和纬度信息,也可以是相对位置信息,例如相对于作为目标区域的道路的边界的位置。在本申请实施例中,位置信息获取组件421获取位置信息可以是通过GPS定位方式来获取位置信息,也可以采用各种其他能够获取到目标物在目标区域中的绝对位置或相对位置的各种方式来获取位置信息。
确定组件422可以用于根据第一目标物的位置信息,确定第二算法的识别范围。
在位置信息获取组件421获取到利用第一算法识别出的第一目标物的位置信息之后,确定组件422可以进一步确定用于应用第二算法的识别范围。即,在本申请实施例中,第一算法处理单元41确定的第一目标物是要进行深入分析的主要对象,因此,确定组件422可以基于位置信息获取组件421获取到的该第一目标物的位置信息来确定要接下来应用第二算法以进行进一步的分析的范围。例如,在图1中所示的场景中,当通过例如车辆识别算法的第一算法识别出车辆对象1时,可以在将第二算法应用到该图像进行例如车辆标识识别处理或者车辆内的人员识别处理之前,确定组件422先根据位置信息获取组件421确定的车辆对象1的位置信息来确定接下来应用第二算法的范围。由于应用第二算法的目的在于对于第一算法处理识别出的第一目标物进行进一步的处理,因此,实际上只有车辆对象1及其周围的预定距离内的范围内的图像是需要利用第二算法进行处理的范围,而离车辆对象1过远的位置很可能与车辆对象1的关联不大,因此,确定组件422通过基于作为第一算法的识别处理结果的车辆对象1的位置来进一步确定用于第二算法的识别范围,可以降低应用第二算法的计算量并且提高第二算法的处理速度和效率,而且也能够通过缩小第二算法的应用范围而直接将距离第一目标物较远的其他目标物预先排除,以免干扰第二算法的识别处理结果。
在本申请实施例中,在确定识别范围时,可以将基于第一目标物的位置的预定的位置范围的一部分作为第二算法的识别范围。例如,在图1中所示的场景中,当第一算法处理单元41识别出车辆对象1并且位置信息获取组件421获取到车辆对象1的位置信息时,确定组件422可以基于获取到的车辆对象1的位置信息而确定出包含有车辆对象1的位置范围,例如,沿着车辆对象1的轮廓的长方形形状可以作为该位置范围。因此,确定组件422确定第二算法的识别范围时,可以将该长方形状的位置范围的位于车辆的行进方向的一半作为识别范围,因为通常这个范围内可以包含有车辆的挡风玻璃从而便于应用第二算法来识别车辆中的驾驶员和/或乘客。
此外,在确定识别范围时,也可以对基于第一目标物的位置的预定的位置范围进行平移操作,并且将平移之后的位置范围作为第二算法的识别范围。例如,在图1中所示的场景中,当第一算法处理单元41识别出车辆对象1并且位置信息获取组件422获取到车辆对象1的位置信息时,确定组件422可以基于获取到的车辆对象1的位置信息而确定出包含有车辆对象1的位置范围,例如,沿着车辆对象1的轮廓的长方形形状可以作为该位置范围。因此,确定组件422确定第二算法的识别范围时,可以将该长方形状的位置范围的在车辆的宽度方向或行进方向上进行平移,以便于将旁边车道或者该车辆对象1的前后车辆的位置范围作为应用第二算法的识别范围。
图像数据获取组件423可以用于针对第一视频图像或与第一视频图像相关的至少一帧第二视频图像,获取识别范围内的图像数据。
处理组件424可以用于对所述识别范围内的图像数据进行处理,以识别所述第二目标物。
因此,在确定组件422确定了用于应用第二算法的识别范围之后,图像数据获取组件423和处理组件424可以在该范围内应用第二算法来进行识别处理。特别地,在本申请实施例中,确定组件422确定的该识别范围可以是基于第一目标物的位置的相对范围。例如,通常对于目标区域的图像采集处理获取到的图像帧都具有同样大小的尺寸,因此,例如第一算法处理单元41识别出的第一目标物的位置位于第一图像帧的中心位置,则确定组件422确定的识别范围可以为以中心位置为圆心并且以预定长度为半径的圆,并且这样确定的范围是作为识别范围而并非是某个图像帧中的部分图像,换言之,当该识别范围应用于当前的第一视频图像帧时,则图像数据获取组件423可以获取该第一视频图像帧中落入该识别范围的图像数据并且处理组件424可以对其进行识别处理。或者当该识别范围应用于与当前的第一视频图像帧相关联的第二视频图像时,可以针对该第二视频图像中落入该识别范围的图像数据进行识别处理。
在本申请实施例中,当图像数据获取组件423选择与当前的第一视频图像关联的第二视频图像时,可以选择与第一视频图像的时间差小于预设时间阈值的视频图像作为第二视频图像。换言之,在本申请实施例中,由于是需要基于第一目标物来应用第二算法进行进一步的分析和识别处理,因此,当需要对除了第一视频图像之外的关联图像进行识别处理时,可以选择在时间上与第一视频图像紧邻的视频图像来作为关联的图像。
此外,在处理组件424应用第二算法时,除了确定是否存在满足第二预设条件的目标物之外,第二算法还可以用于获取所确定的满足第二预设条件的目标物的的状态信息。例如,如图1中所示,第二算法除了可以确定了车辆中的驾驶员或乘客之外,还可以在确定了驾驶员或乘客时同时进一步确定驾驶员或乘客的状态,例如第二目标物的个数、形状、属性、动作中的至少一种等等,从而可以通过第二算法对于该目标区域的第一图像或与其相关的第二图像的处理来获得与车内人员及其状态相关的分析结果。
此外,在本申请实施例中,图像处理装置可以进一步包括关联标识建立单元43,其可以用于建立用于表征第一目标物与第二目标物的关联关系的关联标识。
在本申请实施例中,当通过应用第一算法和第二算法确定了第一目标物和第二目标物之后,关联标识建立单元43可以进一步对于所确定的第一目标物和第二目标物建立表征其关联关系的关联标识。例如,在图1中所示的场景中,当第一算法处理单元41识别出车辆对象1并且处理组件424中通过应用第二算法而识别出第二目标物,例如没有系安全带的驾驶员时,可以在服务器中对于该车辆对象1以及该驾驶员建立关联标识来表征该车辆对象1中的驾驶员违反了交通规定。在输出结果时,可以将具有这样的关联标识的第一目标物和第二目标物输出来使得用户了解车辆对象1与该人物之间的关系。
此外,在本申请实施例中,图像处理装置可以进一步包括存储单元44,其可以用于针对第一视频图像或第一视频图像相关的至少一帧第二视频图像,存储识别范围内的图像数据。
在本申请实施例中,在通过第一算法和第二算法对目标区域进行了综合识别和判断之后,除了输出识别结果之外,还可以将该识别范围内的图像数据进行存储以便于供用户参考。
因此,通过本申请实施例的装置,能够对于单一的目标区域的图像应用不同算法,并且通过具有不同预设条件的算法来实现对于该区域的图像的复杂的综合分析和判断,从而大大提升了图像采集分析的效果,并且能够为用户提供更准确和有效的分析结果。
实施例五
以上描述了图像处理装置的内部功能和结构,该装置可实现为一种电子设备。图5为本申请提供的电子设备实施例的结构示意图。如图5所示,该电子设备包括存储器51和处理器52。
存储器51,用于存储程序。除上述程序之外,存储器51还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器52,不仅仅局限于中央处理器(CPU),还可能为图形处理器(GPU)、现场可编辑门阵列(FPGA)、嵌入式神经网络处理器(NPU)或人工智能(AI)芯片等处理芯片。处理器52,与存储器51耦合,执行存储器51所存储的程序,该程序运行时执行上述实施例二和三的单一区域内多算法组合配置策略方法。
进一步,如图5所示,电子设备还可以包括:通信组件53、电源组件54、音频组件55、显示器56等其它组件。图5中仅示意性给出部分组件,并不意味着电子设备只包括图5所示组件。
通信组件53被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如WiFi,3G、4G或5G,或它们的组合。在一个示例性实施例中,通信组件53经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件53还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
电源组件54,为电子设备的各种组件提供电力。电源组件54可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件55被配置为输出和/或输入音频信号。例如,音频组件55包括一个麦克风(MIC),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器51或经由通信组件53发送。在一些实施例中,音频组件55还包括一个扬声器,用于输出音频信号。
显示器56包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (17)
1.一种单一区域内多算法组合配置策略方法,包括:
采用第一算法对目标区域的至少一帧第一视频图像进行处理,其中,所述第一算法用于识别所述目标区域中是否存在满足第一预设条件的第一目标物;
当所述目标区域中存在所述第一目标物时,采用第二算法对所述第一视频图像或与所述第一视频图像相关的至少一帧第二视频图像进行处理,其中,所述第二算法用于识别所述目标区域中是否存在满足第二预设条件的第二目标物。
2.根据权利要求1所述的单一区域内多算法组合配置策略方法,其中,所述第二算法还用于获取所述第二目标物的状态信息。
3.根据权利要求1所述的单一区域内多算法组合配置策略方法,其中,所述采用第二算法对所述第一视频图像或与所述第一视频图像相关的至少一帧第二视频图像进行处理,包括:
获取所述第一目标物在所述目标区域中的位置信息;
根据所述第一目标物的位置信息,确定所述第二算法的识别范围;
针对所述第一视频图像或与所述第一视频图像相关的至少一帧第二视频图像,获取所述识别范围内的图像数据,其中,所述第二视频图像与所述第一视频图像的时间差小于预设时间阈值;
对所述识别范围内的图像数据采用第二算法进行处理,以识别所述第二目标物。
4.根据权利要求3所述的单一区域内多算法组合配置策略方法,其中,所述第一目标物的位置信息为所述第一目标物在所述目标区域中的位置范围,所述根据所述第一目标物的位置信息,确定所述第二算法的识别范围,包括:
将所述第一目标物的位置范围的一部分,作为所述第二算法的识别范围;或者,
将所述第一目标物的位置范围进行平移后的范围,作为所述第二算法的识别范围。
5.根据权利要求1所述的单一区域内多算法组合配置策略方法,其中,所述方法还包括:
建立用于表征所述第一目标物与所述第二目标物的关联关系的关联标识。
6.根据权利要求3所述的单一区域内多算法组合配置策略方法,其中,所述方法还包括:
针对所述第一视频图像或与所述第一视频图像相关的至少一帧第二视频图像,存储所述识别范围内的图像数据。
7.根据权利要求1至6中任一权利要求所述的单一区域内多算法组合配置策略方法,其中,所述第一算法包括:物体识别算法、人脸识别算法、手势识别算法中的至少一种。
8.根据权利要求2所述的单一区域内多算法组合配置策略方法,其中,所述第二算法包括:物体识别算法、人脸识别算法、手势识别算法中的至少一种,所述第二目标物的状态信息包括:第二目标物的个数、形状、属性、动作中的至少一种。
9.一种图像处理装置,包括:
第一算法处理单元,用于采用第一算法对目标区域的至少一帧第一视频图像进行处理,其中,所述第一算法用于识别所述目标区域中是否存在满足第一预设条件的第一目标物;
第二算法处理单元,用于当所述目标区域中存在所述第一目标物时,采用第二算法对所述第一视频图像或与所述第一视频图像相关的至少一帧第二视频图像进行处理,其中,所述第二算法用于识别所述目标区域中是否存在满足第二预设条件的第二目标物。
10.根据权利要求9所述的图像处理装置,其中,所述第二算法处理单元进一步用于获取所述第二目标物的状态信息。
11.根据权利要求9所述的图像处理装置,其中,所述第二算法处理单元包括:
位置信息获取组件,用于获取所述第一目标物在所述目标区域中的位置信息;
确定组件,用于根据所述第一目标物的位置信息,确定所述第二算法的识别范围;
图像数据获取组件,用于针对所述第一视频图像或与所述第一视频图像相关的至少一帧第二视频图像,获取所述识别范围内的图像数据,其中,所述第二视频图像与所述第一视频图像的时间差小于预设时间阈值;
处理组件,用于对所述识别范围内的图像数据进行处理,以识别所述第二目标物。
12.根据权利要求11所述的图像处理装置,其中,所述第一目标物的位置信息为所述第一目标物在所述目标区域中的位置范围,所述确定组件进一步用于:
将所述第一目标物的位置范围的一部分,作为所述第二算法的识别范围;或者,
将所述第一目标物的位置范围进行平移后的范围,作为所述第二算法的识别范围。
13.根据权利要求9所述的图像处理装置,其中,所述装置还包括:
关联标识建立单元,用于建立用于表征所述第一目标物与所述第二目标物的关联关系的关联标识。
14.根据权利要求11所述的图像处理装置,其中,所述装置还包括:
存储单元,用于针对所述第一视频图像或与所述第一视频图像相关的至少一帧第二视频图像,存储所述识别范围内的图像数据。
15.根据权利要求9至14中任一权利要求所述的图像处理装置,其中,所述第一算法包括:物体识别算法、人脸识别算法、手势识别算法中的至少一种。
16.根据权利要求10所述的图像处理装置,其中,所述第二算法包括:物体识别算法、人脸识别算法、手势识别算法中的至少一种,所述第二目标物的状态信息包括:第二目标物的个数、形状、属性、动作中的至少一种。
17.一种电子设备,其中,包括:
存储器,用于存储程序;
处理器,用于运行所述存储器中存储的所述程序,所述程序运行时执行如权利要求1至8中任一所述的单一区域内多算法组合配置策略方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010869024.6A CN112199987A (zh) | 2020-08-26 | 2020-08-26 | 单一区域内多算法组合配置策略方法、图像处理装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010869024.6A CN112199987A (zh) | 2020-08-26 | 2020-08-26 | 单一区域内多算法组合配置策略方法、图像处理装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112199987A true CN112199987A (zh) | 2021-01-08 |
Family
ID=74006553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010869024.6A Pending CN112199987A (zh) | 2020-08-26 | 2020-08-26 | 单一区域内多算法组合配置策略方法、图像处理装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112199987A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988337A (zh) * | 2021-03-01 | 2021-06-18 | 创新奇智(上海)科技有限公司 | 任务处理系统、方法、装置、电子设备、存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017185808A1 (zh) * | 2016-04-27 | 2017-11-02 | 努比亚技术有限公司 | 一种数据处理方法及电子设备、存储介质 |
CN107480587A (zh) * | 2017-07-06 | 2017-12-15 | 阿里巴巴集团控股有限公司 | 一种模型配置以及图像识别的方法及装置 |
CN107886030A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
CN109886208A (zh) * | 2019-02-25 | 2019-06-14 | 北京达佳互联信息技术有限公司 | 物体检测的方法、装置、计算机设备及存储介质 |
CN110675637A (zh) * | 2019-10-15 | 2020-01-10 | 上海眼控科技股份有限公司 | 车辆违法视频的处理方法、装置、计算机设备及存储介质 |
CN111222406A (zh) * | 2019-11-18 | 2020-06-02 | 上海眼控科技股份有限公司 | 酒后驾驶检测方法、装置、计算机设备和存储介质 |
CN111476053A (zh) * | 2020-04-03 | 2020-07-31 | 支付宝(杭州)信息技术有限公司 | 识别方法及装置 |
CN111556294A (zh) * | 2020-05-11 | 2020-08-18 | 腾讯科技(深圳)有限公司 | 安全监测方法、装置、服务器、终端及可读存储介质 |
-
2020
- 2020-08-26 CN CN202010869024.6A patent/CN112199987A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017185808A1 (zh) * | 2016-04-27 | 2017-11-02 | 努比亚技术有限公司 | 一种数据处理方法及电子设备、存储介质 |
CN107886030A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
CN107480587A (zh) * | 2017-07-06 | 2017-12-15 | 阿里巴巴集团控股有限公司 | 一种模型配置以及图像识别的方法及装置 |
CN109886208A (zh) * | 2019-02-25 | 2019-06-14 | 北京达佳互联信息技术有限公司 | 物体检测的方法、装置、计算机设备及存储介质 |
CN110675637A (zh) * | 2019-10-15 | 2020-01-10 | 上海眼控科技股份有限公司 | 车辆违法视频的处理方法、装置、计算机设备及存储介质 |
CN111222406A (zh) * | 2019-11-18 | 2020-06-02 | 上海眼控科技股份有限公司 | 酒后驾驶检测方法、装置、计算机设备和存储介质 |
CN111476053A (zh) * | 2020-04-03 | 2020-07-31 | 支付宝(杭州)信息技术有限公司 | 识别方法及装置 |
CN111556294A (zh) * | 2020-05-11 | 2020-08-18 | 腾讯科技(深圳)有限公司 | 安全监测方法、装置、服务器、终端及可读存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988337A (zh) * | 2021-03-01 | 2021-06-18 | 创新奇智(上海)科技有限公司 | 任务处理系统、方法、装置、电子设备、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240109514A1 (en) | Recording video of an operator and a surrounding visual field | |
CN107798669B (zh) | 图像去雾方法、装置及计算机可读存储介质 | |
US20170068863A1 (en) | Occupancy detection using computer vision | |
US9932000B2 (en) | Information notification apparatus and information notification method | |
CN104918107B (zh) | 视频文件的标识处理方法及装置 | |
CN105426867A (zh) | 人脸识别验证方法及装置 | |
CN111291601B (zh) | 车道线识别方法和装置以及电子设备 | |
CN108171225B (zh) | 车道检测方法、装置、终端及存储介质 | |
CN112132070B (zh) | 驾驶行为分析方法、装置、设备及存储介质 | |
US20220189038A1 (en) | Object tracking apparatus, control method, and program | |
CN113409342A (zh) | 图像风格迁移模型的训练方法、装置及电子设备 | |
CN108171222B (zh) | 一种基于多流神经网络的实时视频分类方法及装置 | |
CN114841377A (zh) | 应用于图像目标识别的联邦学习模型训练方法、识别方法 | |
CN112199987A (zh) | 单一区域内多算法组合配置策略方法、图像处理装置及电子设备 | |
CN110933314B (zh) | 追焦拍摄方法及相关产品 | |
CN113505674B (zh) | 人脸图像处理方法及装置、电子设备和存储介质 | |
CN112766235B (zh) | 人脸识别方法、装置、设备、存储介质和计算机程序产品 | |
CN115965935A (zh) | 目标检测方法、装置、电子设备、存储介质和程序产品 | |
CN115953710A (zh) | 一种行为识别方法、装置、电子设备及存储介质 | |
CN114037763A (zh) | 目标对象缺失检测方法、装置、存储介质及电子设备 | |
CN112818838A (zh) | 表情识别方法、装置和电子设备 | |
JP7154071B2 (ja) | 運転状態監視支援システム、運転状態監視支援方法及びプログラム | |
CN112969053A (zh) | 车内信息传输方法、装置、车载设备及存储介质 | |
CN112887531A (zh) | 摄像机视频处理方法、装置、系统和计算机设备 | |
CN113450298B (zh) | 基于多传感器的视野图处理方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |