CN113066003A - 环视全景图像生成方法、装置、电子设备及存储介质 - Google Patents

环视全景图像生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113066003A
CN113066003A CN202110272148.0A CN202110272148A CN113066003A CN 113066003 A CN113066003 A CN 113066003A CN 202110272148 A CN202110272148 A CN 202110272148A CN 113066003 A CN113066003 A CN 113066003A
Authority
CN
China
Prior art keywords
image
panoramic
images
target object
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110272148.0A
Other languages
English (en)
Other versions
CN113066003B (zh
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN202110272148.0A priority Critical patent/CN113066003B/zh
Publication of CN113066003A publication Critical patent/CN113066003A/zh
Application granted granted Critical
Publication of CN113066003B publication Critical patent/CN113066003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种环视全景图像生成方法、装置、电子设备及存储介质，其中方法包括：获取多个拍摄装置采集到的多方向上的第一图像和目标物周围全景俯视图像，多个拍摄装置置于目标物上；根据多方向上的第一图像和目标物周围全景俯视图像，设计神经网络模型，多方向上的第一图像作为神经网络的输入，目标物周围全景俯视图像作为神经网络的输出；获取多个拍摄装置采集到的多方向上的第二图像，运用神经网络模型，输出环视全景图像。摄像机安装角度可以多样，避免了传统方式固定摄像头固定视角的缺陷，能够更好地还原目标物周围环境，增加俯视界面的可视视野，提高安全性，减少安全隐患，可普遍适用于车辆、船舶、飞行器等物体。

Description

环视全景图像生成方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，更具体地说，涉及一种环视全景图像生成方法、装置、电子设备及存储介质。
背景技术
随着我国经济的飞速发展，交通运输车辆不断增多，由此产生的交通问题越来越成为人们关注的问题。统计研究表明，90％以上的交通事故源于驾驶员错误判断和决策，作为人-车-路交通系统的重要组成部分，人类受身体状态、驾驶盲区、反应时间、驾驶经验等局限，已经成为此系统的一个薄弱环节。驾驶员不能及时准确地获得相对全面的当前车辆环境信息，从而出现疏忽和判断失误等危险情况。全国道路交通事故原因的统计资料表明：机动车驾驶员纵向间距保持不够、疏忽大意、判断失误和操作不当占事故原因的比重有逐年增加的趋势。据统计，在道路交通事故形态中，追尾碰撞、偏离车道引起的碰撞、侧翻以及超速而引起的交通事故，占全部事故的比重达到40％，事故后果也往往比较严重。
因此，现有技术亟待有很大的进步。
发明内容
本发明要解决的技术问题在于驾驶员不能及时准确地获得相对全面的当前车辆环境信息，从而出现疏忽和判断失误等危险情况，针对现有技术的上述的缺陷，一方面，本发明提供一种环视全景图像生成方法，包括：
获取多个拍摄装置采集到的目标物多方向上的第一图像和目标物周围环视全景俯视图像，所述多个拍摄装置置于所述目标物上；
根据所述第一图像和所述环视全景俯视图像，设计神经网络模型，所述第一图像作为所述神经网络的输入，所述环视全景俯视图像作为所述神经网络的输出；
获取所述多个拍摄装置采集到的目标物多方向上的第二图像，运用所述神经网络模型，输出目标物环视全景图像。
优选地，所述获取多个拍摄装置采集到的目标物多方向上的第一图像和目标物周围环视全景俯视图像，所述多个拍摄装置置于所述目标物上包括：
在所述目标物前后左右四个方向放置鱼眼相机，拍摄所述目标物周围图像；
使用标准镜头摄像头，在所述目标物中心上方拍摄俯瞰图像；
对所述第一图像和所述环视全景俯视图像进行预处理。
优选地，所述神经网络模型包括生成网络和辨别网络，所述生成网络用于将潜在空间中的随机点即随机向量作为输入，并将其解码为合成图像：所述辨别网络用于将图像作为输入，并预测图像是来自训练集真实图像还是由生成器网络创建。
优选地，所述对所述第一图像和所述环视全景俯视图像进行预处理包括：
对所述第一图像和所述环视全景俯视图像进行灰度化和二值化。
优选地，所述目标物为车辆、轮船、飞行器。
相应地，本发明还提供了一种环视全景图像生成装置，包括：
训练图像获取模块，用于获取多个拍摄装置采集到的目标物多方向上的第一图像和目标物周围环视全景俯视图像，所述多个拍摄装置置于目标物上；
神经网络模型建立模块，用于根据所述多方向上的图像和所述目标物周围全景俯视图像，设计神经网络模型，所述第一图像作为所述神经网络的输入，所述环视全景俯视图像作为所述神经网络的输出；
环视全景图像预测模块，用于获取所述多个拍摄装置采集到的目标物多方向上的第二图像，运用所述神经网络模型，输出环视全景图像。
优选地，所述训练图像获取模块进一步包括：
鱼眼相机，置于所述目标物前后左右其中四个方向，所述鱼眼相机用于拍摄所述目标物周围图像；
标准镜头摄像头，用于在所述目标物中心上方拍摄俯瞰图像；
图像预处理模块，用于对所述第一图像和所述环视全景俯视图像进行预处理。
优选地，所述神经网络模型包括生成网络和辨别网络，所述生成网络用于将潜在空间中的随机点即随机向量作为输入，并将其解码为合成图像：所述辨别网络用于将图像作为输入，并预测图像是来自训练集真实图像还是由生成器网络创建。
另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述环视全景图像生成方法的步骤。
另一方面，本发明还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述环视全景图像生成方法的步骤。
实施本发明的环视全景图像生成方法，具有以下有益效果：摄像机安装角度可以多样，避免了传统方式固定摄像头固定视角的缺陷，能够更好地还原目标物周围环境，增加俯视界面的可视视野，提高安全性，减少安全隐患，可普遍适用于车辆、船舶、飞行器等物体。
附图说明
通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是车辆周围视野结构示意图；
图2是本发明一种环视全景图像生成方法流程图；
图3是本发明采用的四路摄像头安装位置图；
图4是本发明采用的四路摄像头拍摄的图像构成的区域图；
图5为融合生成对抗网络结构示意图；
图6是本发明采用的GAN网络结构示意图；
图7是本发明采用的GAN网络工作原理图；
图8是本发明一种环视全景图像生成装置结构示意图。
图9为根据本发明实施例提供的电子设备的实体结构示意图。
图中，1-驾驶员视野，2-驾驶员盲区，3-后视镜视野。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下，所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的环视全景图像生成方法可应用于各种服务器端、终端。该服务器端、终端设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(如手机、平板电脑、PDA等)、消费型电子设备、车载计算机、电视机，以及其他具有显示屏幕的终端设备等等。
实施例一
图1是车辆周围视野结构示意图。车辆周围视野包括驾驶员视野1，驾驶员盲区2和后视镜视野3。可见，驾驶员盲区2的区域占了不少的比例，需要将驾驶员盲区尽量减少才能增加安全性。
请参阅图2，为本发明环视全景图像生成方法流程图。如图2所示，在本发明第一实施例提供的环视全景图像生成方法中，至少包括步骤，
S1、获取多个拍摄装置采集到的多方向上的第一图像和目标物周围全景俯视图像，多个拍摄装置置于目标物上；
获取多个拍摄装置采集到的多方向上的第一图像和目标物周围全景俯视图像，多个拍摄装置置于目标物上包括：
在目标物前后左右四个方向放置鱼眼相机，拍摄目标物周围图像；
使用标准镜头摄像头，在目标物中心上方拍摄俯瞰图像；
对目标物周围图像和俯瞰图像进行预处理。
其中目标物可以为车辆、轮船、飞行器。图3是本发明采用的四路摄像头安装位置图。如图3所示，以目标物为车辆为例来进行说明。在车辆的前后左右均安装了鱼眼摄像头。需要说明的是，也可以在目标物前后左右其中任取三个方向放置鱼眼相机，拍摄目标物周围图像，这三个方向所拍摄的图像所构成的视野超过目标物周围全部区域为佳。图4是本发明采用的四路摄像头拍摄的图像构成的区域图，如图4所示，车辆的前后左右安装的鱼眼摄像头，所拍摄的图像将车辆周围分为前摄像头区域a、左摄像头区域b、后摄像头区域c和右摄像头区域d。
S2、根据多方向上的图像和目标物周围全景俯视图像，设计神经网络模型，多方向上的第一图像作为神经网络的输入，目标物周围全景俯视图像作为神经网络的输出；
神经网络模型包括生成网络和辨别网络，生成网络用于将潜在空间中的随机点即随机向量作为输入，并将随机向量解码为合成图像：辨别网络用于将图像作为输入，并预测图像是来自训练集真实图像还是由生成器网络创建。
对目标物周围图像和俯瞰图像进行预处理包括：对目标物周围图像和俯瞰图像进行灰度化和二值化。目标物周围图像和俯瞰图像的原图均为彩色RGB图像。鱼眼相机所拍摄的图像中间图像部分是一个圆形区域，圆形区域的上下两边是被裁剪掉一部分的，并不是一个完整的圆形，非图像部分为黑色部分。有效信息部分和非有效信息部分的边缘两侧有着明显的灰度差异，对载入图像按一定阈值进行二值化处理。二值化处理是为了初步将圆有效信息区域提取出来。由于周围场景中不可避免地也存在灰度值比较低的区域，为了尽量明显区分边界圆，减少干扰。在对图像二值化操作之后可以进行膨胀操作。膨胀计算是将区域A与区域B做卷积运算。膨胀后的图像边界有了很明显的区分，然后需要将图像的这些边缘坐标提取出来。利用膨胀后的图形圆内和圆外的像素规律进行筛选。可以看出边界圆内的像素的灰度都是1，边界圆外像素值为0，所以边界坐标以宽度方向为例，只要找到满足周围像素值为000111这样像素点就是边界的值，也就是边界区域的梯度是极大的。
生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。原始GAN理论中，并不要求G和D都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为G和D。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
GAN网络工作原理是：GAN网络分为两部分，生成网络和辨别网络。生成器网络经过训练，能够欺骗鉴别器网络，因此随着训练的进行，它逐渐产生越来越真实的图像，合成图像看起来与真实图像无法区分，且鉴别器网络不能鉴别区分两张图片。同时，鉴别器不断适应发生器逐渐改进的能力，为生成的图像设置了高度的真实感。一旦训练结束，生成器就能够将其输入空间中的任何点转换为可信的图像。在训练过程中双方都不断优化自己，直到达到平衡——双方都无法变得更好，也就是假样本与真样本完全不可区分。
实现过程是：GAN中的生成模型，不需要像传统图模型一样，需要一个严格的生成数据的表达式。这就避免了当数据非常复杂的时候，复杂度过度增长导致的不可计算。同时，它也不需要inference模型中的一些庞大计算量的求和计算。它唯一的需要的就是，一个噪音输入，一堆无标准的真实数据，两个可以逼近函数的网络。
图5为融合生成对抗网络结构示意图。如图5所示，融合生成对抗网络(FusionGan)生成具有输入图像x的身份和输入图像y的形状的融合图像。
以车辆为例，车辆上下左右各放置一个鱼眼相机拍摄图片为例。采用Gan网络，可以以无人监督的方式同时训练四个以上的图像数据集。定义一个投影变换损失函数LI来定义鱼眼图像做投影变换后与真实鸟瞰平面图像的差异。此外，提出一种名为Min-Patch训练的新型训练方法，将发生器集中在图像的关键部分，而不是整个部分。工作目标是学习一种映射函数，该函数根据多个未标记集合提供的两个输入图像生成融合图像。通过从第一输入图像x获得左上角局部鸟瞰图像，从第二输入图像y获得右上角局部鸟瞰图像，从第三输入图像y获得左下角局部鸟瞰图像，最后，从第四输入图像y获得右下角局部鸟瞰图像。我们可以生成组合输出图像。用四个方位来表示图像IMG，如IMG＝(x,0,0,0)。当网络有四个输入图像IMG1＝(x1,0,0,0)，IMG2＝(0,x2,0,0)，IMG3＝(0,0,x3,0)，IMG4＝(0,0,0,x4)时，目标是生成以下新的融合图像：
G(I1,I2,I3,I4)＝G(I1＝IMG1,I2＝IMG2,I3＝IMG3,I4＝IMG4)＝(x1,x2,x3,x4)因此，输出是融合图像，其具有IMG1的左上角鸟瞰图像，IMG2的右上角鸟瞰图像，IMG3的左下角鸟瞰图像，IMG4的右下角鸟瞰图像。当给出4个输入时，生成器G可以自动生成一个与辨别器D的真实图像高度相似的全景鸟瞰视图。当然网络不仅限于4个图像集之间的过渡，而是可以用于多个待融合的图像集。
为了获得俯视视角图像，需要输入训练的鱼眼图像做投影变换。投影变换设置变换矩阵M，需要使输出图像的分布类似于真实的鸟瞰图像y所属的图像集的分布。为此，使用一对鉴别器D来区分输入对是真对还是伪对。
G(x)＝Mx；
LI(G,D)＝Ex,x^～Pdata(x)[logD(x,x^)]+Ex～Pdata(x)，y～Pdata(y)[log(1-D(x,G(x,y)))]；其中x和y是两个网络输入，x^是与x具有相同标识的另一个图像。x～Pdata(x)和y～Pdata(y)表示数据分布。这种投影变换损失包括G和D，应用对抗训练来实现目标。G试图生成期望的图像G(x，y)～Pdata(x)，而D旨在区分真实对(x,x^)和假对(x，G(x，y))。也就是说，D试图最大化LI和G的目的是最小化它。在对抗训练之后，生成输出G(x，y)以具有x和y两张图像的俯视拼接效果。网络的整个架构如图6所示。图6是本发明采用的GAN网络结构示意图。生成的输出作为输入x的一对输入到鉴别器。
还是以车辆为例，采用四个USB环视鱼眼摄像头，在车辆上下左右四个方向拍出环境图片。传统方式做法是通过拼接的方式来还原车辆周围的视野环境。如USB鱼眼相机，可支持的分辨率为640x480、800x600、1920x1080三种，本实施例分辨率设置为640x480。再增加一台AGX Xavier。或者采用四个csi(Camera Serial Interface，相机串行接口)摄像头，设置的分辨率是960x640。再加一台AGX Xavier，加一个工控机接收csi摄像头画面。软件配置如下：操作系统Ubuntu 16.04/18.04；Python版本3以上，OpenCV版本3以上，PyQt5。其中PyQt5主要用来实现多线程，方便将来移植到Qt环境。
四个环视相机分别用front、back、left、right来指代，并假定其对应的设备号是整数，例如0,1,2,3。在传统获取环视全景图像生成方法中，一般需要获取USB鱼眼相机的内参和畸变函数，进行矫正，校正后再进行拼接。例如需要USB鱼眼相机的内参矩阵，如USB鱼眼相机的内参矩阵记作camera_matrix，这是一个3x3的矩阵。畸变系数记作dist_coeffs，这是一个1x4的向量。USB鱼眼相机的投影矩阵记作project_matrix，这是一个3x3的射影矩阵。获取每个鱼眼相机的内参矩阵与畸变系数。假设四个相机分别拍摄的原始画面，其顺序依次为前、后、左、右，并命名为front.png、back.png、left.png、right.png保存在项目的images/目录下。四个相机的内参文件分别为front.yaml、back.yaml、left.yaml、right.yaml，这些图像和内参文件都存放在项目的yaml子目录下。车辆图中地面上铺了一张标定布，这个布的尺寸可以是6mx10m，每个黑白方格的尺寸可以为40cmx40cm，每个圆形图案所在的方格是可以80cmx80cm。将利用这个标定物来手动选择对应点获得投影矩阵。设置投影范围和参数：接下来需要获取每个相机到地面的投影矩阵，这个投影矩阵会把相机校正后的画面转换为对地面上某个矩形区域的鸟瞰图。这四个相机的投影矩阵不是独立的，它们必须保证投影后的区域能够正好拼起来。这一步是通过联合标定实现的。即在车的四周地面上摆放标定物，拍摄图像，手动选取对应点，然后获取投影矩阵。可见，与传统做法相比，省略了获取USB鱼眼相机的内参和畸变函数并且对获取的原始图像进行矫正的过程，而这个过程是需要GPU和CPU进行复杂的运算的，具有开发成本和运算成本。而本实施方式中，则只需要采用四个USB环视鱼眼摄像头，在车辆上下左右四个方向拍出环境图片作为输入，再在目标物中心上方拍摄标准的环视全景图作为输出，设计神经网络模型，让神经模型得以训练，再对其他实景采采用四个USB环视鱼眼摄像头，在目标物上下左右四个方向拍出环境图片作为预测源数据，预测该目标物环视全景图像。
S3、获取多个拍摄装置采集到的多方向上的第二图像，运用神经网络模型，输出环视全景图像。
图7是本发明采用的GAN网络工作原理图。如图7所示，神经网络由基本的神经元组成。假设(x1,x2,x3)是外界输入信号，一般是一个训练数据样本的多个属性，比如，以本实施例而言，车辆上下左右四个方向的图片作为输入，每个方向的图片所涉及的角度不同，代表的视野也不同。(W1,W2,W3)是每个输入信号的权重值，以上面的(x1,x2,x3)的例子来说，x1的权重可能是0.5，x2的权重可能是0.2，x3的权重可能是0.3。当然权重值相加之后可以不是1。在脑神经细胞中，输入信号的电平/电流大于某个临界值时，神经元细胞才会处于兴奋状态，采用b代表那个临界值。亦即当：w1*x1+w2*x2+w3*x3>＝t时，该神经元细胞才会兴奋。我们把t挪到等式左侧来，变成(-t)，然后把它写成b，变成了：w1*x1+w2*x2+w3*x3+b>＝0，临界值b产生了。神经细胞处于兴奋状态后，已经决定要向下一个神经元传递信号了，但是要传递多强烈的信号，要由激活函数来确定：A＝σ(Z)。Z表示输入，A表示输出。一般激活函数都是有一个渐变的过程，也就是说是个曲线。先给一个初始值，然后依赖正确值进行修复模型(训练模型)，直到模型和真实值的误差可接受为止。GAN网络训练好了之后，则获取多个拍摄装置采集到的多方向上的第二图像，这些多个拍摄装置采集到的多方向上的第二图像则为预测环视全景图像的数据源。这些预测环视全景图像的数据源作为输入，经过训练好了的GAN网络，则输出该目标物的环视全景图像。
实施例二
图8是本发明一种环视全景图像生成装置结构示意图。如图8所示，本发明还提供了一种环视全景图像生成装置，包括：
训练图像获取模块10，用于获取多个拍摄装置采集到的多方向上的第一图像和目标物周围全景俯视图像，多个拍摄装置置于目标物上；
训练图像获取模块进一步包括：
鱼眼相机，置于目标物前后左右四个方向，鱼眼相机用于拍摄目标物周围图像；
标准镜头摄像头，用于在目标物中心上方拍摄俯瞰图像；
图像预处理模块，用于对目标物周围图像和俯瞰图像进行预处理。
神经网络模型包括生成网络和辨别网络，生成网络用于将潜在空间中的随机点即随机向量作为输入，并将其解码为合成图像：辨别网络用于将图像作为输入，并预测图像是来自训练集真实图像还是由生成器网络创建。
其中目标物可以为车辆、轮船、飞行器。图3是本发明采用的四路摄像头安装位置图。如图3所示，以目标物为车辆为例来进行说明。在车辆的前后左右均安装了鱼眼摄像头。需要说明的是，也可以在目标物前后左右其中任取三个方向放置鱼眼相机，拍摄目标物周围图像，这三个方向所拍摄的图像所构成的视野超过目标物周围全部区域为佳。图4是本发明采用的四路摄像头拍摄的图像构成的区域图，如图4所示，车辆的前后左右安装的鱼眼摄像头，所拍摄的图像将车辆周围分为前摄像头区域a、左摄像头区域b、后摄像头区域c和右摄像头区域d。
神经网络模型建立模块20，用于根据多方向上的图像和目标物周围全景俯视图像，设计神经网络模型，多方向上的第一图像作为神经网络的输入，目标物周围全景俯视图像作为神经网络的输出；
神经网络模型包括生成网络和辨别网络，生成网络用于将潜在空间中的随机点即随机向量作为输入，并将随机向量解码为合成图像：辨别网络用于将图像作为输入，并预测图像是来自训练集真实图像还是由生成器网络创建。
对目标物周围图像和俯瞰图像进行预处理包括：对目标物周围图像和俯瞰图像进行灰度化和二值化。目标物周围图像和俯瞰图像的原图均为彩色RGB图像。鱼眼相机所拍摄的图像中间图像部分是一个圆形区域，圆形区域的上下两边是被裁剪掉一部分的，并不是一个完整的圆形，非图像部分为黑色部分。有效信息部分和非有效信息部分的边缘两侧有着明显的灰度差异，对载入图像按一定阈值进行二值化处理。二值化处理是为了初步将圆有效信息区域提取出来。由于周围场景中不可避免地也存在灰度值比较低的区域，为了尽量明显区分边界圆，减少干扰。在对图像二值化操作之后可以进行膨胀操作。膨胀计算是将区域A与区域B做卷积运算。膨胀后的图像边界有了很明显的区分，然后需要将图像的这些边缘坐标提取出来。利用膨胀后的图形圆内和圆外的像素规律进行筛选。可以看出边界圆内的像素的灰度都是1，边界圆外像素值为0，所以边界坐标以宽度方向为例，只要找到满足周围像素值为000111这样像素点就是边界的值，也就是边界区域的梯度是极大的。
生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。原始GAN理论中，并不要求G和D都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为G和D。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
GAN网络工作原理是：GAN网络分为两部分，生成网络和辨别网络。生成器网络经过训练，能够欺骗鉴别器网络，因此随着训练的进行，它逐渐产生越来越真实的图像，合成图像看起来与真实图像无法区分，且鉴别器网络不能鉴别区分两张图片。同时，鉴别器不断适应发生器逐渐改进的能力，为生成的图像设置了高度的真实感。一旦训练结束，生成器就能够将其输入空间中的任何点转换为可信的图像。在训练过程中双方都不断优化自己，直到达到平衡——双方都无法变得更好，也就是假样本与真样本完全不可区分。
实现过程是：GAN中的生成模型，不需要像传统图模型一样，需要一个严格的生成数据的表达式。这就避免了当数据非常复杂的时候，复杂度过度增长导致的不可计算。同时，它也不需要inference模型中的一些庞大计算量的求和计算。它唯一的需要的就是，一个噪音输入，一堆无标准的真实数据，两个可以逼近函数的网络。
图5为融合生成对抗网络结构示意图。如图5所示，融合生成对抗网络(FusionGan)生成具有输入图像x的身份和输入图像y的形状的融合图像。
以车辆为例，车辆上下左右各放置一个鱼眼相机拍摄图片为例。采用Gan网络，可以以无人监督的方式同时训练四个以上的图像数据集。定义一个投影变换损失函数LI来定义鱼眼图像做投影变换后与真实鸟瞰平面图像的差异。此外，提出一种名为Min-Patch训练的新型训练方法，将发生器集中在图像的关键部分，而不是整个部分。工作目标是学习一种映射函数，该函数根据多个未标记集合提供的两个输入图像生成融合图像。通过从第一输入图像x获得左上角局部鸟瞰图像，从第二输入图像y获得右上角局部鸟瞰图像，从第三输入图像y获得左下角局部鸟瞰图像，最后，从第四输入图像y获得右下角局部鸟瞰图像。我们可以生成组合输出图像。用四个方位来表示图像IMG，如IMG＝(x,0,0,0)。当网络有四个输入图像IMG1＝(x1,0,0,0)，IMG2＝(0,x2,0,0)，IMG3＝(0,0,x3,0)，IMG4＝(0,0,0,x4)时，目标是生成以下新的融合图像：
G(I1,I2,I3,I4)＝G(I1＝IMG1,I2＝IMG2,I3＝IMG3,I4＝IMG4)＝(x1,x2,x3,x4)因此，输出是融合图像，其具有IMG1的左上角鸟瞰图像，IMG2的右上角鸟瞰图像，IMG3的左下角鸟瞰图像，IMG4的右下角鸟瞰图像。当给出4个输入时，生成器G可以自动生成一个与辨别器D的真实图像高度相似的全景鸟瞰视图。当然网络不仅限于4个图像集之间的过渡，而是可以用于多个待融合的图像集。
为了获得俯视视角图像，需要输入训练的鱼眼图像做投影变换。投影变换设置变换矩阵M，需要使输出图像的分布类似于真实的鸟瞰图像y所属的图像集的分布。为此，使用一对鉴别器D来区分输入对是真对还是伪对。
G(x)＝Mx；
LI(G,D)＝Ex,x^～Pdata(x)[logD(x,x^)]+Ex～Pdata(x)，y～Pdata(y)[log(1-D(x,G(x,y)))]；
其中x和y是两个网络输入，x^是与x具有相同标识的另一个图像。x～Pdata(x)和y～Pdata(y)表示数据分布。这种投影变换损失包括G和D，应用对抗训练来实现目标。G试图生成期望的图像G(x，y)～Pdata(x)，而D旨在区分真实对(x,x^)和假对(x，G(x，y))。也就是说，D试图最大化LI和G的目的是最小化它。在对抗训练之后，生成输出G(x，y)以具有x和y两张图像的俯视拼接效果。网络的整个架构如图6所示。图6是本发明采用的GAN网络结构示意图。生成的输出作为输入x的一对输入到鉴别器。
还是以车辆为例，采用四个USB环视鱼眼摄像头，在车辆上下左右四个方向拍出环境图片。传统方式做法是通过拼接的方式来还原车辆周围的视野环境。如USB鱼眼相机，可支持的分辨率为640x480、800x600、1920x1080三种，本实施例分辨率设置为640x480。再增加一台AGX Xavier。或者采用四个csi摄像头，设置的分辨率是960x640。再加一台AGXXavier，加一个工控机接收csi摄像头画面。软件配置如下：操作系统Ubuntu 16.04/18.04；Python版本3以上，OpenCV版本3以上，PyQt5。其中PyQt5主要用来实现多线程，方便将来移植到Qt环境。四个环视相机分别用front、back、left、right来指代，并假定其对应的设备号是整数，例如0,1,2,3。在传统获取环视全景图像生成方法中，一般需要获取USB鱼眼相机的内参和畸变函数，内参和畸变函数由鱼眼相机自身特点决定的，进行矫正，校正后再进行拼接。例如需要USB鱼眼相机的内参矩阵，如USB鱼眼相机的内参矩阵记作camera_matrix，这是一个3x3的矩阵。畸变系数记作dist_coeffs，这是一个1x4的向量。USB鱼眼相机的投影矩阵记作project_matrix，这是一个3x3的射影矩阵。获取每个鱼眼相机的内参矩阵与畸变系数。假设四个相机分别拍摄的原始画面，其顺序依次为前、后、左、右，并命名为front.png、back.png、left.png、right.png可以保存在项目的images/目录下。四个相机的内参文件分别为front.yaml、back.yaml、left.yaml、right.yaml，这些图像和内参文件都存放在项目的yaml子目录下。车辆图中地面上铺了一张标定布，这个布的尺寸是6mx10m，每个黑白方格的尺寸为40cmx40cm，每个圆形图案所在的方格可以是80cmx80cm。我们将利用这个标定物来手动选择对应点获得投影矩阵。设置投影范围和参数：接下来我们需要获取每个相机到地面的投影矩阵，这个投影矩阵会把相机校正后的画面转换为对地面上某个矩形区域的鸟瞰图。这四个相机的投影矩阵不是独立的，它们必须保证投影后的区域能够正好拼起来。这一步是通过联合标定实现的。即在车的四周地面上摆放标定物，拍摄图像，手动选取对应点，然后获取投影矩阵。可见，与传统做法相比，省略了获取USB鱼眼相机的内参和畸变函数并且对获取的原始图像进行矫正的过程，而这个过程是需要GPU和CPU进行复杂的运算的，具有开发成本和运算成本。而本实施方式中，则只需要采用四个USB环视鱼眼摄像头，在车辆上下左右四个方向拍出环境图片作为输入，再在目标物中心上方拍摄标准的环视全景图作为输出，设计神经网络模型，让神经模型得以训练，再对其他实景采用四个USB环视鱼眼摄像头，在目标物上下左右四个方向拍出环境图片作为预测源数据，预测该目标物环视全景图像。
环视全景图像预测模块30，用于获取多个拍摄装置采集到的多方向上的第二图像，运用神经网络模型，输出环视全景图像。
图7是本发明采用的GAN网络工作原理图。如图7所示，神经网络由基本的神经元组成。假设(x1,x2,x3)是外界输入信号，一般是一个训练数据样本的多个属性，比如，以本实施例而言，车辆上下左右四个方向的图片作为输入，每个方向的图片所涉及的角度不同，代表的视野也不同。(W1,W2,W3)是每个输入信号的权重值，以上面的(x1,x2,x3)的例子来说，x1的权重可能是0.5，x2的权重可能是0.2，x3的权重可能是0.3。当然权重值相加之后可以不是1。在脑神经细胞中，输入信号的电平/电流大于某个临界值时，神经元细胞才会处于兴奋状态，采用b代表那个临界值。亦即当：w1*x1+w2*x2+w3*x3>＝t时，该神经元细胞才会兴奋。我们把t挪到等式左侧来，变成(-t)，然后把它写成b，变成了：w1*x1+w2*x2+w3*x3+b>＝0，临界值b产生了。神经细胞处于兴奋状态后，已经决定要向下一个神经元传递信号了，但是要传递多强烈的信号，要由激活函数来确定：A＝σ(Z)。Z表示输入，A表示输出。一般激活函数都是有一个渐变的过程，也就是说是个曲线。先给一个初始值，然后依赖正确值进行修复模型(训练模型)，直到模型和真实值的误差可接受为止。GAN网络训练好了之后，则获取多个拍摄装置采集到的多方向上的第二图像，这些多个拍摄装置采集到的多方向上的第二图像则为预测环视全景图像的数据源。这些预测环视全景图像的数据源作为输入，经过训练好了的GAN网络，则输出该目标物的环视全景图像。
采用本实施例，摄像机安装角度可以多样，避免了传统方式固定摄像头固定视角的缺陷，能够更好地还原目标物周围环境，增加俯视界面的可视视野，提高安全性，减少安全隐患，可普遍适用于车辆、船舶、飞行器等物体。
实施例三
图9为根据本发明实施例提供的电子设备的实体结构示意图。基于上述实施例的内容，如图9所示，该电子设备可以包括：处理器(processor)301、存储器(memory)302和总线303；其中，处理器301和存储器302通过总线303完成相互间的通信；处理器301用于调用存储在存储器302中并可在处理器301上运行的计算机程序指令，以执行上述各方法实施例所提供的环视全景图像生成方法，例如包括：
S1、获取多个拍摄装置采集到的目标物多方向上的第一图像和目标物周围环视全景俯视图像，所述多个拍摄装置置于所述目标物上；
S2、根据所述第一图像和所述环视全景俯视图像，设计神经网络模型，所述第一图像作为所述神经网络的输入，所述环视全景俯视图像作为所述神经网络的输出；
S3、获取所述多个拍摄装置采集到的目标物多方向上的第二图像，运用所述神经网络模型，输出目标物环视全景图像。
此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案实质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例环视全景图像生成的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘，只读存储器(ROM，Read-Only Memory)、随机存储存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种存储程序代码的介质。
采用本实施例，摄像机安装角度可以多样，避免了传统方式固定摄像头固定视角的缺陷，能够更好地还原目标物周围环境，增加俯视界面的可视视野，提高安全性，减少安全隐患，可普遍适用于车辆、船舶、飞行器等物体。
实施例四
本发明另一实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各实施例所提供的环视全景图像生成方法，例如包括步骤：
S1、获取多个拍摄装置采集到的目标物多方向上的第一图像和目标物周围环视全景俯视图像，所述多个拍摄装置置于所述目标物上；
S2、根据所述第一图像和所述环视全景俯视图像，设计神经网络模型，所述第一图像作为所述神经网络的输入，所述环视全景俯视图像作为所述神经网络的输出；
S3、获取所述多个拍摄装置采集到的目标物多方向上的第二图像，运用所述神经网络模型，输出目标物环视全景图像。
采用本实施例，摄像机安装角度可以多样，避免了传统方式固定摄像头固定视角的缺陷，能够更好地还原目标物周围环境，增加俯视界面的可视视野，提高安全性，减少安全隐患，可普遍适用于车辆、船舶、飞行器等物体。
实施例五
本发明另一实施例提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例所提供的环视全景图像生成方法，例如包括步骤：
S1、获取多个拍摄装置采集到的目标物多方向上的第一图像和目标物周围环视全景俯视图像，所述多个拍摄装置置于所述目标物上；
S2、根据所述第一图像和所述环视全景俯视图像，设计神经网络模型，所述第一图像作为所述神经网络的输入，所述环视全景俯视图像作为所述神经网络的输出；
S3、获取所述多个拍摄装置采集到的目标物多方向上的第二图像，运用所述神经网络模型，输出目标物环视全景图像。
采用本实施例，摄像机安装角度可以多样，避免了传统方式固定摄像头固定视角的缺陷，能够更好地还原目标物周围环境，增加俯视界面的可视视野，提高安全性，减少安全隐患，可普遍适用于车辆、船舶、飞行器等物体。本发明是根据特定实施例进行描述的，但本领域的技术人员应明白在不脱离本发明范围时，可进行各种变化和等同替换。此外，为适应本发明技术的特定场合，可对本发明进行诸多修改而不脱离其保护范围。因此，本发明并不限于在此公开的特定实施例，而包括所有落入到权利要求保护范围的实施例。

Claims (10)

1.一种环视全景图像生成方法，其特征在于，包括：
S1、获取多个拍摄装置采集到的目标物多方向上的第一图像和目标物周围环视全景俯视图像，所述多个拍摄装置置于所述目标物上；
S2、根据所述第一图像和所述环视全景俯视图像，设计神经网络模型，所述第一图像作为所述神经网络的输入，所述环视全景俯视图像作为所述神经网络的输出；
S3、获取所述多个拍摄装置采集到的目标物多方向上的第二图像，运用所述神经网络模型，输出目标物环视全景图像。
2.根据权利要求1所述的环视全景图像生成方法，其特征在于，所述获取多个拍摄装置采集到的目标物多方向上的第一图像和目标物周围环视全景俯视图像，所述多个拍摄装置置于所述目标物上包括：
在所述目标物前后左右四个方向放置鱼眼相机，拍摄所述目标物周围图像；
使用标准镜头摄像头，在所述目标物中心上方拍摄俯瞰图像；
对所述第一图像和所述环视全景俯视图像进行预处理。
3.根据权利要求1所述的环视全景图像生成方法，其特征在于，所述神经网络模型包括生成网络和辨别网络，所述生成网络用于将潜在空间中的随机点即随机向量作为输入，并将所述随机向量解码为合成图像：所述辨别网络用于将图像作为输入，并预测图像是来自训练集真实图像还是由生成器网络创建。
4.根据权利要求2所述的环视全景图像生成方法，其特征在于，所述对所述第一图像和所述环视全景俯视图像进行预处理包括：
对所述第一图像和所述环视全景俯视图像进行灰度化和二值化。
5.根据权利要求1至4任意一项所述的环视全景图像生成方法，其特征在于，所述目标物为车辆、轮船、飞行器。
6.一种环视全景图像生成装置，其特征在于，包括：
训练图像获取模块，用于获取多个拍摄装置采集到的目标物多方向上的第一图像和目标物周围环视全景俯视图像，所述多个拍摄装置置于目标物上；
神经网络模型建立模块，用于根据所述第一图像和所述环视全景俯视图像，设计神经网络模型，所述第一图像作为所述神经网络的输入，所述环视全景俯视图像作为所述神经网络的输出；
环视全景图像预测模块，用于获取所述多个拍摄装置采集到的目标物多方向上的第二图像，运用所述神经网络模型，输出环视全景图像。
7.根据权利要求6所述的环视全景图像生成装置，其特征在于，所述训练图像获取模块进一步包括：
鱼眼相机，置于所述目标物前后左右四个方向，所述鱼眼相机用于拍摄所述目标物周围图像；
标准镜头摄像头，用于在所述目标物中心上方拍摄俯瞰图像；
图像预处理模块，用于对所述第一图像和所述环视全景俯视图像进行预处理。
8.根据权利要求6或7任意一项所述的环视全景图像生成装置，其特征在于，所述神经网络模型包括生成网络和辨别网络，所述生成网络用于将潜在空间中的随机点即随机向量作为输入，并将其解码为合成图像：所述辨别网络用于将图像作为输入，并预测图像是来自训练集真实图像还是由生成器网络创建。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1至5任一项所述环视全景图像生成方法的步骤。
10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述环视全景图像生成方法的步骤。
CN202110272148.0A 2021-03-12 2021-03-12 环视全景图像生成方法、装置、电子设备及存储介质 Active CN113066003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110272148.0A CN113066003B (zh) 2021-03-12 2021-03-12 环视全景图像生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110272148.0A CN113066003B (zh) 2021-03-12 2021-03-12 环视全景图像生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113066003A true CN113066003A (zh) 2021-07-02
CN113066003B CN113066003B (zh) 2024-03-29

Family

ID=76560214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110272148.0A Active CN113066003B (zh) 2021-03-12 2021-03-12 环视全景图像生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113066003B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808022A (zh) * 2021-09-22 2021-12-17 南京信息工程大学 一种基于端侧深度学习的手机全景拍摄与合成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102729902A (zh) * 2012-07-19 2012-10-17 西北工业大学 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法
CN107392848A (zh) * 2017-06-14 2017-11-24 江西科技师范大学 全景图像显示方法和装置
CN109509148A (zh) * 2018-10-12 2019-03-22 广州小鹏汽车科技有限公司 一种全景环视图像拼接融合方法和装置
DE102018127634A1 (de) * 2018-11-06 2020-05-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen eines Panoramabilds mit mehreren Kameras eines Fahrzeugs, computerlesbares Medium, System, und Fahrzeug
CN111292234A (zh) * 2018-12-07 2020-06-16 大唐移动通信设备有限公司 一种全景图像生成方法及装置
CN111447431A (zh) * 2020-04-02 2020-07-24 深圳普捷利科技有限公司 一种应用于车载环视摄像的裸眼3d显示方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102729902A (zh) * 2012-07-19 2012-10-17 西北工业大学 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法
CN107392848A (zh) * 2017-06-14 2017-11-24 江西科技师范大学 全景图像显示方法和装置
CN109509148A (zh) * 2018-10-12 2019-03-22 广州小鹏汽车科技有限公司 一种全景环视图像拼接融合方法和装置
DE102018127634A1 (de) * 2018-11-06 2020-05-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen eines Panoramabilds mit mehreren Kameras eines Fahrzeugs, computerlesbares Medium, System, und Fahrzeug
CN111292234A (zh) * 2018-12-07 2020-06-16 大唐移动通信设备有限公司 一种全景图像生成方法及装置
CN111447431A (zh) * 2020-04-02 2020-07-24 深圳普捷利科技有限公司 一种应用于车载环视摄像的裸眼3d显示方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808022A (zh) * 2021-09-22 2021-12-17 南京信息工程大学 一种基于端侧深度学习的手机全景拍摄与合成方法
CN113808022B (zh) * 2021-09-22 2023-05-30 南京信息工程大学 一种基于端侧深度学习的手机全景拍摄与合成方法

Also Published As

Publication number Publication date
CN113066003B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
WO2022165809A1 (zh) 一种训练深度学习模型的方法和装置
JP6829575B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
CN110378837B (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及系统
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
CN111652937A (zh) 车载相机标定方法和装置
Zhou et al. Adapting semantic segmentation models for changes in illumination and camera perspective
CN111738071A (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN114418839A (zh) 图像拼接方法、电子设备以及计算机可读存储介质
Zhu et al. Super-resolving commercial satellite imagery using realistic training data
CN115965531A (zh) 模型训练方法及图像生成方法、装置、设备和存储介质
CN113066003B (zh) 环视全景图像生成方法、装置、电子设备及存储介质
CN109711420B (zh) 基于人类视觉注意机制的多仿射目标的检测与识别方法
CN116757935A (zh) 一种鱼眼相机的图像融合拼接方法、系统及电子设备
CN115713678A (zh) 一种箭头图片数据增广方法、系统、电子设备及存储介质
CN115830567A (zh) 一种弱光条件下道路目标融合感知方法及系统
CN115690934A (zh) 基于批量人脸识别的师生考勤打卡方法及装置
CN113658272A (zh) 车载摄像头标定方法、装置、设备及存储介质
CN114549825A (zh) 目标检测方法、装置、电子设备与存储介质
CN114550124A (zh) 车位内障碍物的检测方法及存储介质
CN111461128A (zh) 一种车牌的识别方法及装置
Jeong et al. Wide rear vehicle recognition using a fisheye lens camera image
CN110858281B (zh) 图像处理方法、装置、电子眼及存储介质
CN112419186B (zh) 一种车牌图像的批量生成方法、装置及计算机设备
RU2538319C1 (ru) Устройство поиска дубликатов изображений

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant