CN110855883B - 一种图像处理系统、方法、装置设备及存储介质 - Google Patents

一种图像处理系统、方法、装置设备及存储介质 Download PDF

Info

Publication number
CN110855883B
CN110855883B CN201911069307.6A CN201911069307A CN110855883B CN 110855883 B CN110855883 B CN 110855883B CN 201911069307 A CN201911069307 A CN 201911069307A CN 110855883 B CN110855883 B CN 110855883B
Authority
CN
China
Prior art keywords
image
updated
camera
determining
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911069307.6A
Other languages
English (en)
Other versions
CN110855883A (zh
Inventor
叶栋
湛慧
魏曦阳
丁乃英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201911069307.6A priority Critical patent/CN110855883B/zh
Publication of CN110855883A publication Critical patent/CN110855883A/zh
Priority to EP20886092.4A priority patent/EP4026310A4/en
Priority to PCT/CN2020/126226 priority patent/WO2021088821A1/en
Application granted granted Critical
Publication of CN110855883B publication Critical patent/CN110855883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像处理系统、方法、装置设备及存储介质，由于在本发明实施例中，广角摄像机焦距很短，视角较大，景深较深，因此广角摄像机采集的第一图像中所包含的场景内容较多，基本可实现监控区域全覆盖。长焦摄像机焦距长，视角小，在底片上成像大，较远处的画面清晰度会很高，车牌、车身和驾驶员行为等信息都十分清晰。图像处理设备根据预先确定的坐标对应关系，确定第一图像中与第二图像对应的待更新区域；采用第二图像中像素点的像素值，对待更新区域中像素点的像素值进行更新，得到融合后的图像，融合后的图像既包含监控区域的全景画面，又包含清晰的车牌、车身和驾驶员行为等信息，因此本案可实现监控区域抓拍全覆盖。

Description

一种图像处理系统、方法、装置设备及存储介质
技术领域
本发明涉及监控技术领域，尤其涉及一种图像处理系统、方法、装置设备及存储介质。
背景技术
在交通监控领域，交通安全是每个人都关心的问题，有些司机经常出现违章行为，给其他司机和乘客的安全带来隐患，为了能够得到出现违章行为的车辆的信息，给违章司机相应的处罚与警示，以减少此违章行为的发生。
目前交通局通过安装摄像机，对车辆的车牌信息、车身信息和驾驶员行为等信息进行抓拍。但是现有的方案中的抓拍距离普遍较近，当摄像机抓拍图像时，车辆距离摄像机已经较近了，现有的抓拍方案存在的问题是，当车辆违章时距离摄像机较远，便不能够准确获取到车辆违章的信息。但是，在严管区域道路，需要对车辆进行准确的监控，这就需要一种对监控区域实现抓拍全覆盖的方案。
发明内容
本发明实施例提供了一种图像处理系统、方法、装置设备及存储介质，用以对监控区域实现抓拍全覆盖。
本发明实施例提供了一种图像处理系统，所述系统包括：包含广角摄像机、长焦摄像机和图像处理设备；
所述广角摄像机和所述长焦摄像机分别和所述图像处理设备连接；
所述广角摄像机，用于采集第一图像并发送至所述图像处理设备；
所述长焦摄像机，用于采集第二图像并发送至所述图像处理设备；
所述图像处理设备，用于根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域；采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新。
进一步地，所述图像处理设备，还用于根据预先确定的缩放倍数，对所述第二图像进行缩小处理或对所述第一图像进行放大处理；
所述图像处理设备，具体用于根据预先确定的坐标对应关系，确定缩放处理后的第一图像中，与缩放处理后的第二图像对应的待更新区域。
进一步地，所述图像处理设备，还用于确定所述第二图像中距离最远的两条车道线之间的车道线区域；将所述车道线区域作为更新后的第二图像。
进一步地，所述长焦摄像机的视场角小于等于所述广角摄像机的视场角。
另一方面，本发明实施例提供了一种图像处理方法，所述方法包括：
接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像；
根据预先确定的坐标对应关系，确定所述第一图像中，与所述第二图像对应的待更新区域；
采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新。
进一步地，所述接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像之后，根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域之前，所述方法还包括：
根据预先确定的缩放倍数，对所述第二图像进行缩小处理或对所述第一图像进行放大处理；
所述根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域包括：
根据预先确定的坐标对应关系，确定缩放处理后的第一图像中，与缩放处理后的第二图像对应的待更新区域。
进一步地，所述接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像之后，根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域之前，所述方法还包括：
确定所述第二图像中距离最远的两条车道线之间的车道线区域；将所述车道线区域作为更新后的第二图像。
另一方面，本发明实施例提供了一种图像处理装置，所述装置包括：
接收模块，用于接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像；
确定模块，用于根据预先确定的坐标对应关系，确定所述第一图像中，与所述第二图像对应的待更新区域；
第一更新模块，用于采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新。
进一步地，所述装置还包括：
缩放处理模块，用于根据预先确定的缩放倍数，对所述第二图像进行缩小处理或对所述第一图像进行放大处理；
所述确定模块，具体用于根据预先确定的坐标对应关系，确定缩放处理后的第一图像中，与缩放处理后的第二图像对应的待更新区域。
进一步地，所述装置还包括：
第二更新模块，用于确定所述第二图像中距离最远的两条车道线之间的车道线区域；将所述车道线区域作为更新后的第二图像。
另一方面，本发明实施例提供了一种图像处理设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种图像处理系统、方法、装置设备及存储介质，所述系统包括：包含广角摄像机、长焦摄像机和图像处理设备；所述广角摄像机和所述长焦摄像机分别和所述图像处理设备连接；所述广角摄像机，用于采集第一图像并发送至所述图像处理设备；所述长焦摄像机，用于采集第二图像并发送至所述图像处理设备；所述图像处理设备，用于根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域；采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新。
由于在本发明实施例中，广角摄像机焦距很短，视角较大，景深较深，因此广角摄像机采集的第一图像中所包含的场景内容较多，基本可实现监控区域全覆盖。长焦摄像机焦距长，视角小，在底片上成像大，较远处的画面清晰度会很高，车牌、车身和驾驶员行为等信息都十分清晰。图像处理设备采用第二图像覆盖第一图像中对应的区域，得到融合后的图像，融合后的图像既包含监控区域的全景画面，又包含清晰的车牌、车身和驾驶员行为等信息，因此本案可实现监控区域抓拍全覆盖。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的图像处理系统结构示意图；
图2为本发明实施例1提供的广角摄像机和长焦摄像机的视场范围示意图；
图3为本发明实施例1提供的图像融合过程示意图；
图4为本发明实施例4提供的图像处理过程示意图；
图5为本发明实施例7提供了图像处理装置结构示意图；
图6为本发明实施例8提供了图像处理设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的图像处理系统结构示意图，系统包括：包含广角摄像机11、长焦摄像机12和图像处理设备13；
所述广角摄像机和所述长焦摄像机分别和所述图像处理设备连接；
所述广角摄像机，用于采集第一图像并发送至所述图像处理设备；
所述长焦摄像机，用于采集第二图像并发送至所述图像处理设备；
所述图像处理设备，用于根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域；采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新。
在本发明实施例中，广角摄像机和长焦摄像机可以是两个独立的摄像机，也可以是一个包含广角镜头和长焦镜头的双目摄像机。广角摄像机和长焦摄像机之间可固定连接，也可以增加调节支架调节广角摄像机和长焦摄像机的相对角度，是否需要角度调节与以及需要调节角度的大小根据广角摄像机和长焦摄像机的视场角以及需要抓拍距离的长短、车道宽度等因素决定。在本发明实施例中不对广角摄像机和长焦摄像机的摆放位置进行限定，可以是上下摆放，也可以是左右摆放，也可以是错位摆放等等。广角摄像机和长焦摄像机的光轴的夹角范围包括但不限于是0度至15度。在实际场景中，根据需要将广角摄像机和长焦摄像机安装完成后，广角摄像机和长焦摄像机的位置保持固定。
在本发明实施例中，将广角摄像机采集的图像称为第一图像，将长焦摄像机采集的图像称为第二图像，广角摄像机和长焦摄像机分别和图像处理设备连接，广角摄像机可以将第一图像发送至图像处理设备，长焦摄像机可以将第二图像发送至图像处理设备。
广角摄像机焦距很短，视角较大，景深较深，因此广角摄像机采集的第一图像中所包含的场景内容较多，基本可实现监控区域全覆盖。长焦摄像机焦距长，视角小，在底片上成像大，第二图像中较远处的画面清晰度会很高，车牌、车身和驾驶员行为等信息都十分清晰。第二图像中包含的内容仅为第一图像中的部分内容，如图2所示，广角摄像机采集的视场范围为A到D，长焦摄像机采集的视场范围为B2到C2。
由于在实际场景中，根据需要将广角摄像机和长焦摄像机安装完成后，广角摄像机和长焦摄像机的位置保持固定，因此可以预先确定出第一图像和第二图像的坐标对应关系。具体的，用户可以根据第二图像的边界内容，在第一图像中确定与第二图像的边界内容相同的内容，该相同的内容在第一图像中的像素点的坐标和第二图像边界像素点的坐标的对应关系即为第一图像和第二图像的坐标对应关系。根据预先确定出的坐标对应关系，可以确定出第一图像中与第二图像对应的待更新区域，如图2所示，可以确定出与第二图像中B2到C2范围对应的待更新区域为第一图像中的B1到C1范围。图像处理设备采用第二图像中像素点的像素值，对待更新区域中像素点的像素值进行更新，也就是将待更新区域中像素点的像素值更新为第二图像中像素点的像素值，得到融合后的图像。如图3所示，第一图像AB1C1D和第二图像B2C2融合，得到图像AB2C2D。
由于在本发明实施例中，广角摄像机焦距很短，视角较大，景深较深，因此广角摄像机采集的第一图像中所包含的场景内容较多，基本可实现监控区域全覆盖。长焦摄像机焦距长，视角小，在底片上成像大，较远处的画面清晰度会很高，车牌、车身和驾驶员行为等信息都十分清晰。图像处理设备根据预先确定的坐标对应关系，确定第一图像中与第二图像对应的待更新区域；采用第二图像中像素点的像素值，对待更新区域中像素点的像素值进行更新，得到融合后的图像，融合后的图像既包含监控区域的全景画面，又包含清晰的车牌、车身和驾驶员行为等信息，因此本案可实现监控区域抓拍全覆盖。
实施例2：
由于一般情况下广角摄像机采集的第一图像和长焦摄像机采集的第二图像的尺寸是相同的，而第二图像中包含的内容仅为第一图像中的部分内容，因此，为了实现采用第二图像中像素点的像素值，对待更新区域中像素点的像素值进行更新，在上述实施例的基础上，在本发明实施例中，所述图像处理设备，还用于根据预先确定的缩放倍数，对所述第二图像进行缩小处理或对所述第一图像进行放大处理；
所述图像处理设备，具体用于根据预先确定的坐标对应关系，确定缩放处理后的第一图像中，与缩放处理后的第二图像对应的待更新区域。
具体的，用户可以根据第二图像的边界内容，在第一图像中确定与第二图像的边界内容相同的内容，该相同的内容在第一图像中的尺寸和第二图像尺寸的倍数关系即为第一图像和第二图像的缩放倍数。图像采集设备可以根据该缩放倍数对第二图像进行缩小处理，或者根据该缩放倍数对第一图像进行放大处理。根据预先确定的坐标对应关系，确定缩放处理后的第一图像中，与缩放处理后的第二图像对应的待更新区域，缩放处理后的第一图像中的待更新区域和第二图像的坐标一一对应，采用第二图像中每个像素点的像素值，对待更新区域中对应像素点的像素值进行更新。
实施例3：
由于在交通监控领域中，长焦摄像机抓拍的是车辆的车牌信息、车身信息和驾驶员行为等信息，而第二图像中，除了包含上述信息外，还会包含马路两侧的树木、楼房等信息，树木、楼房等信息并不是用户关心的，因此，在对待更新区域中的像素点进行更新时，不一定是全部数据覆盖，可以只更新对于交通监控有意义的像素点的像素值即可，因此，在上述各实施例的基础上，在本发明实施例中，所述图像处理设备，还用于确定所述第二图像中距离最远的两条车道线之间的车道线区域；将所述车道线区域作为更新后的第二图像。
图像处理设备接收到第二图像之后，通过图像智能识别算法可以确定出第二图像中的每条车道线，然后确定第二图像中距离最远的两条车道线，该两条车道线之间的车道线区域为对于交通监控有意义的区域，该两条车道线之外的区域一般为楼房树木等，因此，在本发明实施例中，将车道线区域作为更新后的第二图像，根据预先确定的坐标对应关系，可以确定车道线区域也就是更新后的第二图像对应的第一图像中的待更新区域，然后采用车道线区域中像素点的像素值，对待更新区域中像素点的像素值进行更新。
采用本发明实施例的方案，即减小了像素值更新的工作量，同时能够对监控区域实现抓拍全覆盖。
在本发明实施例中，长焦摄像机的视场角和广角摄像机的视场角可以根据实际场景进行设置，只要保证长焦摄像机的视场角小于等于广角摄像机的视场角即可。
实施例4：
图4为本发明实施例提供的图像处理过程示意图，该过程包括以下步骤：
S101：接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像。
S102：根据预先确定的坐标对应关系，确定所述第一图像中，与所述第二图像对应的待更新区域。
S103：采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新。
本发明实施例提供的图像处理方法应用于图像处理设备，该图像处理设备可以是PC、平板电脑等设备。
在本发明实施例中，将广角摄像机采集的图像称为第一图像，将长焦摄像机采集的图像称为第二图像，广角摄像机和长焦摄像机分别和图像处理设备连接，广角摄像机可以将第一图像发送至图像处理设备，长焦摄像机可以将第二图像发送至图像处理设备。
广角摄像机焦距很短，视角较大，景深较深，因此广角摄像机采集的第一图像中所包含的场景内容较多，基本可实现监控区域全覆盖。长焦摄像机焦距长，视角小，在底片上成像大，第二图像中较远处的画面清晰度会很高，车牌、车身和驾驶员行为等信息都十分清晰。第二图像中包含的内容仅为第一图像中的部分内容，如图2所示，广角摄像机采集的视场范围为A到D，长焦摄像机采集的视场范围为B2到C2。
由于在实际场景中，根据需要将广角摄像机和长焦摄像机安装完成后，广角摄像机和长焦摄像机的位置保持固定，因此可以预先确定出第一图像和第二图像的坐标对应关系。具体的，用户可以根据第二图像的边界内容，在第一图像中确定与第二图像的边界内容相同的内容，该相同的内容在第一图像中的像素点的坐标和第二图像边界像素点的坐标的对应关系即为第一图像和第二图像的坐标对应关系。根据预先确定出的坐标对应关系，可以确定出第一图像中与第二图像对应的待更新区域，如图2所示，可以确定出与第二图像中B2到C2范围对应的待更新区域为第一图像中的B1到C1范围。图像处理设备采用第二图像中像素点的像素值，对待更新区域中像素点的像素值进行更新，也就是将待更新区域中像素点的像素值更新为第二图像中像素点的像素值，得到融合后的图像。如图3所示，第一图像AB1C1D和第二图像B2C2融合，得到图像AB2C2D。
由于在本发明实施例中，广角摄像机焦距很短，视角较大，景深较深，因此广角摄像机采集的第一图像中所包含的场景内容较多，基本可实现监控区域全覆盖。长焦摄像机焦距长，视角小，在底片上成像大，较远处的画面清晰度会很高，车牌、车身和驾驶员行为等信息都十分清晰。图像处理设备根据预先确定的坐标对应关系，确定第一图像中与第二图像对应的待更新区域；采用第二图像中像素点的像素值，对待更新区域中像素点的像素值进行更新，得到融合后的图像，融合后的图像既包含监控区域的全景画面，又包含清晰的车牌、车身和驾驶员行为等信息，因此本案可实现监控区域抓拍全覆盖。
实施例5：
由于一般情况下广角摄像机采集的第一图像和长焦摄像机采集的第二图像的尺寸是相同的，而第二图像中包含的内容仅为第一图像中的部分内容，因此，为了实现采用第二图像中像素点的像素值，对待更新区域中像素点的像素值进行更新，在上述实施例的基础上，在本发明实施例中，所述接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像之后，根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域之前，所述方法还包括：
根据预先确定的缩放倍数，对所述第二图像进行缩小处理或对所述第一图像进行放大处理；
所述根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域包括：
根据预先确定的坐标对应关系，确定缩放处理后的第一图像中，与缩放处理后的第二图像对应的待更新区域。
具体的，用户可以根据第二图像的边界内容，在第一图像中确定与第二图像的边界内容相同的内容，该相同的内容在第一图像中的尺寸和第二图像尺寸的倍数关系即为第一图像和第二图像的缩放倍数。图像采集设备可以根据该缩放倍数对第二图像进行缩小处理，或者根据该缩放倍数对第一图像进行放大处理。根据预先确定的坐标对应关系，确定缩放处理后的第一图像中，与缩放处理后的第二图像对应的待更新区域，缩放处理后的第一图像中的待更新区域和第二图像的坐标一一对应，采用第二图像中每个像素点的像素值，对待更新区域中对应像素点的像素值进行更新。
实施例6：
由于在交通监控领域中，长焦摄像机抓拍的是车辆的车牌信息、车身信息和驾驶员行为等信息，而第二图像中，除了包含上述信息外，还会包含马路两侧的树木、楼房等信息，树木、楼房等信息并不是用户关心的，因此，在对待更新区域中的像素点进行更新时，不一定是全部数据覆盖，可以只更新对于交通监控有意义的像素点的像素值即可，因此，在上述各实施例的基础上，在本发明实施例中，所述接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像之后，根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域之前，所述方法还包括：
确定所述第二图像中距离最远的两条车道线之间的车道线区域；将所述车道线区域作为更新后的第二图像。
图像处理设备接收到第二图像之后，通过图像智能识别算法可以确定出第二图像中的每条车道线，然后确定第二图像中距离最远的两条车道线，该两条车道线之间的车道线区域为对于交通监控有意义的区域，该两条车道线之外的区域一般为楼房树木等，因此，在本发明实施例中，将车道线区域作为更新后的第二图像，根据预先确定的坐标对应关系，可以确定车道线区域也就是更新后的第二图像对应的第一图像中的待更新区域，然后采用车道线区域中像素点的像素值，对待更新区域中像素点的像素值进行更新。
采用本发明实施例的方案，即减小了像素值更新的工作量，同时能够对监控区域实现抓拍全覆盖。
实施例7：
图5为本发明实施例提供了图像处理装置结构示意图，所述装置包括：
接收模块51，用于接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像；
确定模块52，用于根据预先确定的坐标对应关系，确定所述第一图像中，与所述第二图像对应的待更新区域；
第一更新模块53，用于采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新。
进一步地，所述装置还包括：
缩放处理模块54，用于根据预先确定的缩放倍数，对所述第二图像进行缩小处理或对所述第一图像进行放大处理；
所述确定模块52，具体用于根据预先确定的坐标对应关系，确定缩放处理后的第一图像中，与缩放处理后的第二图像对应的待更新区域。
进一步地，所述装置还包括：
第二更新模块55，用于确定所述第二图像中距离最远的两条车道线之间的车道线区域；将所述车道线区域作为更新后的第二图像。
实施例8：
在上述各实施例的基础上，本发明实施例中还提供了一种图像处理设备，如图6所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；
所述存储器303中存储有计算机程序，当所述程序被所述处理器301执行时，使得所述处理器301执行如下步骤：
接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像；
根据预先确定的坐标对应关系，确定所述第一图像中，与所述第二图像对应的待更新区域；
采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新。
基于同一发明构思，本发明实施例中还提供了一种图像处理设备，由于上述图像处理设备解决问题的原理与图像处理方法相似，因此上述图像处理设备的实施可以参见方法的实施，重复之处不再赘述。
本发明实施例提供的图像处理设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、网络侧设备等。
上述图像处理设备提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口302用于上述图像处理设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时，实现接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像；根据预先确定的坐标对应关系，确定所述第一图像中，与所述第二图像对应的待更新区域；采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新。由于在本发明实施例中，广角摄像机焦距很短，视角较大，景深较深，因此广角摄像机采集的第一图像中所包含的场景内容较多，基本可实现监控区域全覆盖。长焦摄像机焦距长，视角小，在底片上成像大，较远处的画面清晰度会很高，车牌、车身和驾驶员行为等信息都十分清晰。图像处理设备采用第二图像覆盖第一图像中对应的区域，得到融合后的图像，融合后的图像既包含监控区域的全景画面，又包含清晰的车牌、车身和驾驶员行为等信息，因此本案可实现监控区域抓拍全覆盖。
实施例9：
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像；
根据预先确定的坐标对应关系，确定所述第一图像中，与所述第二图像对应的待更新区域；
采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与图像处理方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序，计算机程序被处理器执行时实现接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像；根据预先确定的坐标对应关系，确定所述第一图像中，与所述第二图像对应的待更新区域；采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新。由于在本发明实施例中，广角摄像机焦距很短，视角较大，景深较深，因此广角摄像机采集的第一图像中所包含的场景内容较多，基本可实现监控区域全覆盖。长焦摄像机焦距长，视角小，在底片上成像大，较远处的画面清晰度会很高，车牌、车身和驾驶员行为等信息都十分清晰。图像处理设备采用第二图像覆盖第一图像中对应的区域，得到融合后的图像，融合后的图像既包含监控区域的全景画面，又包含清晰的车牌、车身和驾驶员行为等信息，因此本案可实现监控区域抓拍全覆盖。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种图像处理系统，其特征在于，所述系统包括：包含广角摄像机、长焦摄像机和图像处理设备；
所述广角摄像机和所述长焦摄像机分别和所述图像处理设备连接；
所述广角摄像机，用于采集第一图像并发送至所述图像处理设备；
所述长焦摄像机，用于采集第二图像并发送至所述图像处理设备；
所述图像处理设备，用于根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域；采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新；
所述图像处理设备，还用于确定所述第二图像中距离最远的两条车道线之间的车道线区域；将所述车道线区域作为更新后的第二图像；其中，接收到所述第二图像之后，通过图像智能识别算法确定出所述第二图像中的每条车道线，并确定第二图像中距离最远的两条车道线。
2.如权利要求1所述的系统，其特征在于，所述图像处理设备，还用于根据预先确定的缩放倍数，对所述第二图像进行缩小处理或对所述第一图像进行放大处理；
所述图像处理设备，具体用于根据预先确定的坐标对应关系，确定缩放处理后的第一图像中，与缩放处理后的第二图像对应的待更新区域。
3.如权利要求1或2所述的系统，其特征在于，所述长焦摄像机的视场角小于等于所述广角摄像机的视场角。
4.一种图像处理方法，其特征在于，所述方法包括：
接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像；
根据预先确定的坐标对应关系，确定所述第一图像中，与所述第二图像对应的待更新区域；
采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新；
所述接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像之后，根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域之前，所述方法还包括：
确定所述第二图像中距离最远的两条车道线之间的车道线区域；将所述车道线区域作为更新后的第二图像；其中，通过图像智能识别算法确定出所述第二图像中的每条车道线，并确定第二图像中距离最远的两条车道线。
5.如权利要求4所述的方法，其特征在于，所述接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像之后，根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域之前，所述方法还包括：
根据预先确定的缩放倍数，对所述第二图像进行缩小处理或对所述第一图像进行放大处理；
所述根据预先确定的坐标对应关系，确定所述第一图像中与所述第二图像对应的待更新区域包括：
根据预先确定的坐标对应关系，确定缩放处理后的第一图像中，与缩放处理后的第二图像对应的待更新区域。
6.一种图像处理装置，其特征在于，所述装置包括：
接收模块，用于接收广角摄像机发送的第一图像，及长焦摄像机发送的第二图像；
确定模块，用于根据预先确定的坐标对应关系，确定所述第一图像中，与所述第二图像对应的待更新区域；
第一更新模块，用于采用所述第二图像中像素点的像素值，对所述待更新区域中像素点的像素值进行更新；
第二更新模块，用于确定所述第二图像中距离最远的两条车道线之间的车道线区域；将所述车道线区域作为更新后的第二图像；其中，通过图像智能识别算法确定出所述第二图像中的每条车道线，并确定第二图像中距离最远的两条车道线。
7.一种图像处理设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求4-5任一项所述的方法步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求4-5任一项所述的方法步骤。
CN201911069307.6A 2019-11-05 2019-11-05 一种图像处理系统、方法、装置设备及存储介质 Active CN110855883B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911069307.6A CN110855883B (zh) 2019-11-05 2019-11-05 一种图像处理系统、方法、装置设备及存储介质
EP20886092.4A EP4026310A4 (en) 2019-11-05 2020-11-03 SYSTEMS AND METHODS FOR IMAGE PROCESSING
PCT/CN2020/126226 WO2021088821A1 (en) 2019-11-05 2020-11-03 Systems and methods for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911069307.6A CN110855883B (zh) 2019-11-05 2019-11-05 一种图像处理系统、方法、装置设备及存储介质

Publications (2)

Publication Number Publication Date
CN110855883A CN110855883A (zh) 2020-02-28
CN110855883B true CN110855883B (zh) 2021-07-20

Family

ID=69599352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911069307.6A Active CN110855883B (zh) 2019-11-05 2019-11-05 一种图像处理系统、方法、装置设备及存储介质

Country Status (3)

Country Link
EP (1) EP4026310A4 (zh)
CN (1) CN110855883B (zh)
WO (1) WO2021088821A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855883B (zh) * 2019-11-05 2021-07-20 浙江大华技术股份有限公司 一种图像处理系统、方法、装置设备及存储介质
CN111563552B (zh) * 2020-05-06 2023-09-05 浙江大华技术股份有限公司 图像融合方法以及相关设备、装置
CN111698421B (zh) * 2020-06-09 2021-12-17 展讯通信（上海）有限公司 一种图像处理方法、装置及计算机可读存储介质
CN111818304B (zh) * 2020-07-08 2023-04-07 杭州萤石软件有限公司 图像融合方法及装置
CN113348489A (zh) * 2020-09-03 2021-09-03 深圳市大疆创新科技有限公司 图像处理方法和装置
CN113065560A (zh) * 2020-12-03 2021-07-02 泰州可以信息科技有限公司 基于时长分析的可疑号码辨识系统
CN112818839A (zh) * 2021-01-29 2021-05-18 北京市商汤科技开发有限公司 驾驶员违章行为识别方法、装置、设备及介质
CN115499565B (zh) * 2022-08-23 2024-02-20 盯盯拍（深圳）技术股份有限公司 基于双镜头的图像采集方法、装置、介质及行车记录仪

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1937766A (zh) * 2005-09-20 2007-03-28 富士能株式会社 监视摄像机装置及监视摄像机系统
TWM348034U (en) * 2008-06-20 2009-01-01 Appro Technology Inc Automobile monitoring device with long and short lens
CN106385541A (zh) * 2016-09-30 2017-02-08 虹软(杭州)科技有限公司 利用广角摄像组件及长焦摄像组件实现变焦的方法
CN106454121A (zh) * 2016-11-11 2017-02-22 努比亚技术有限公司 双摄像头拍照方法及装置
CN208092975U (zh) * 2018-03-14 2018-11-13 智慧互通科技有限公司 基于长短焦距相机实现半封闭车场管理的系统
CN108900758A (zh) * 2018-09-07 2018-11-27 厦门博聪信息技术有限公司 一种枪球协作的智能人脸抓拍摄像机及其人脸抓拍方法
CN109274939A (zh) * 2018-09-29 2019-01-25 成都臻识科技发展有限公司 一种基于三摄像头模组的停车场出入口监控方法及系统
CN109410593A (zh) * 2018-12-03 2019-03-01 讯飞智元信息科技有限公司 一种鸣笛抓拍系统及方法
CN109615665A (zh) * 2018-12-27 2019-04-12 浙江大华技术股份有限公司 一种坐标校准系统、方法、装置及存储介质
CN109858307A (zh) * 2017-11-30 2019-06-07 高德软件有限公司 一种车道线识别方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916180B2 (en) * 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
US8497905B2 (en) * 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
CN102075679A (zh) * 2010-11-18 2011-05-25 无锡中星微电子有限公司 一种图像采集方法和装置
JP6045796B2 (ja) * 2012-02-27 2016-12-14 京セラ株式会社 映像処理装置、映像処理方法、および映像表示システム
EP2733677A1 (en) * 2012-11-19 2014-05-21 Kapsch TrafficCom AB Device for tolling or telematics systems
CN105556944B (zh) * 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
JP6165681B2 (ja) * 2014-06-27 2017-07-19 富士フイルム株式会社 画像表示装置及び画像表示方法
JP2016048839A (ja) * 2014-08-27 2016-04-07 株式会社小糸製作所 電子制御ユニットおよび車両用映像システム
CN107305627B (zh) * 2016-04-22 2020-03-27 杭州海康威视数字技术股份有限公司 一种车辆视频监控方法、服务器及系统
CN106571039A (zh) * 2016-08-22 2017-04-19 中海网络科技股份有限公司 一种高速公路违章行为自动抓拍系统
US10432869B2 (en) * 2016-09-07 2019-10-01 Multimedia Image Solution Limited Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism
US10297034B2 (en) * 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
CN106791377B (zh) * 2016-11-29 2019-09-27 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106791376B (zh) * 2016-11-29 2019-09-13 Oppo广东移动通信有限公司 成像装置、控制方法、控制装置及电子装置
CN106791419A (zh) * 2016-12-30 2017-05-31 大连海事大学 一种融合全景与细节的监控装置及方法
CN106952476A (zh) * 2017-02-22 2017-07-14 成都华安视讯科技有限公司 可用于车辆违停动态监测的摄像机系统
CN107087107B (zh) * 2017-05-05 2019-11-29 中国科学院计算技术研究所 基于双摄像头的图像处理装置及方法
JP6708790B2 (ja) * 2017-05-16 2020-06-10 富士フイルム株式会社 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
CN108810390A (zh) * 2018-09-07 2018-11-13 厦门博聪信息技术有限公司 一种枪球协同式的大场景车辆违法抓拍摄像机及其车辆违法抓拍方法
CN109639997B (zh) * 2018-12-20 2020-08-21 Oppo广东移动通信有限公司 图像处理方法、电子装置及介质
CN110855883B (zh) * 2019-11-05 2021-07-20 浙江大华技术股份有限公司 一种图像处理系统、方法、装置设备及存储介质
CN111563552B (zh) * 2020-05-06 2023-09-05 浙江大华技术股份有限公司 图像融合方法以及相关设备、装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1937766A (zh) * 2005-09-20 2007-03-28 富士能株式会社 监视摄像机装置及监视摄像机系统
TWM348034U (en) * 2008-06-20 2009-01-01 Appro Technology Inc Automobile monitoring device with long and short lens
CN106385541A (zh) * 2016-09-30 2017-02-08 虹软(杭州)科技有限公司 利用广角摄像组件及长焦摄像组件实现变焦的方法
CN106454121A (zh) * 2016-11-11 2017-02-22 努比亚技术有限公司 双摄像头拍照方法及装置
CN109858307A (zh) * 2017-11-30 2019-06-07 高德软件有限公司 一种车道线识别方法和装置
CN208092975U (zh) * 2018-03-14 2018-11-13 智慧互通科技有限公司 基于长短焦距相机实现半封闭车场管理的系统
CN108900758A (zh) * 2018-09-07 2018-11-27 厦门博聪信息技术有限公司 一种枪球协作的智能人脸抓拍摄像机及其人脸抓拍方法
CN109274939A (zh) * 2018-09-29 2019-01-25 成都臻识科技发展有限公司 一种基于三摄像头模组的停车场出入口监控方法及系统
CN109410593A (zh) * 2018-12-03 2019-03-01 讯飞智元信息科技有限公司 一种鸣笛抓拍系统及方法
CN109615665A (zh) * 2018-12-27 2019-04-12 浙江大华技术股份有限公司 一种坐标校准系统、方法、装置及存储介质

Also Published As

Publication number Publication date
EP4026310A1 (en) 2022-07-13
WO2021088821A1 (en) 2021-05-14
CN110855883A (zh) 2020-02-28
EP4026310A4 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
CN110855883B (zh) 一种图像处理系统、方法、装置设备及存储介质
CN110278382B (zh) 一种聚焦方法、装置、电子设备及存储介质
CN108877269B (zh) 一种交叉路口车辆状态检测及v2x广播方法
CN107613262B (zh) 一种视觉信息处理系统与方法
CN110942629A (zh) 道路交通事故管理方法、装置及终端设备
CN111222509B (zh) 目标检测方法、装置及电子设备
CN109581358B (zh) 障碍物的识别方法、装置及存储介质
CN111169381A (zh) 一种车辆影像显示方法、装置、车辆和存储介质
CN112565672B (zh) 一种景深拓展方法、装置、电子设备及存储介质
CN114255351B (zh) 一种图像处理方法、装置、介质、设备及驾驶系统
CN110493521B (zh) 自动驾驶摄像头控制方法、装置、电子设备、存储介质
CN111083444B (zh) 一种抓拍方法、装置、电子设备及存储介质
CN113066158B (zh) 一种车载环视方法及装置
CN112435475B (zh) 一种交通状态检测方法、装置、设备及存储介质
JP2012222664A (ja) 車載カメラシステム
CN114332928A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN110796084A (zh) 车道线识别方法、装置、设备和计算机可读存储介质
CN111741222A (zh) 图像生成方法、图像生成装置及终端设备
US20200273202A1 (en) Image processing apparatus and image processing method
CN110378168A (zh) 多类型障碍物融合的方法、装置及终端
KR20220072057A (ko) 통신 기능을 갖는 차량용 블랙박스 장치 및 그 제어 방법
KR102632655B1 (ko) 주정차 단속영상에서 대상차량의 주행여부를 판단하는영상분석방법, 그 영상분석을 수행하는 제어기 및 주정차단속시스템
CN112132070B (zh) 驾驶行为分析方法、装置、设备及存储介质
CN211603888U (zh) 一种车载综合控制系统
CN118042264A (zh) 电子后视镜的图像处理方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant