CN112200064A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

一种图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112200064A
CN112200064A CN202011069556.8A CN202011069556A CN112200064A CN 112200064 A CN112200064 A CN 112200064A CN 202011069556 A CN202011069556 A CN 202011069556A CN 112200064 A CN112200064 A CN 112200064A
Authority
CN
China
Prior art keywords
image
fisheye image
information
target
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011069556.8A
Other languages
English (en)
Other versions
CN112200064B (zh
Inventor
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011069556.8A priority Critical patent/CN112200064B/zh
Publication of CN112200064A publication Critical patent/CN112200064A/zh
Application granted granted Critical
Publication of CN112200064B publication Critical patent/CN112200064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像处理方法、装置、电子设备以及存储介质，方法包括：获取原始图像以及与所述原始图像相对应的真值标注信息；将所述原始图像转换为对应的鱼眼图像；将所述原始图像相对应的真值标注信息转换为与所述鱼眼图像对应的初始真值标注信息；对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息，由此，可以自动化的生成与所述原始图像处于不同视场角的作为鱼眼图像鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息，节省了图像标注成本，减少了图像采集的时间，提升图像的获取效率，有利于自动驾驶技术的推广。

Description

一种图像处理方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术，尤其涉及图像处理方法、装置、电子设备及存储介质。
背景技术
车辆的自动驾驶是通过车载传感系统感知车辆周围环境，并根据感知所获得的道路信息、其它车辆位置信息以及障碍物信息等，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶，这一过程中，在对图像进行采集时，通常需要使用专业的鱼眼镜头采集鱼眼图像，或是根据普通图像获得相同位置的鱼眼图像，之后才能实现神经网络模型的训练，这一图像采集过程时间长，成本大，不利于自动驾驶技术的推广与应用。
发明内容
有鉴于此，本发明实施例提供一种图像处理方法、装置及存储介质，能够通过普通镜头所采集的原始图像自动化的生成与所述原始图像处于不同视场角的作为鱼眼图像鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息，节省了图像标注成本，减少了图像采集的时间，提升图像的获取效率，有利于自动驾驶技术的推广。
本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种图像处理方法，包括：
获取原始图像以及与所述原始图像相对应的真值标注信息；
将所述原始图像转换为对应的鱼眼图像，其中，所述鱼眼图像为与所述原始图像处于不同视场角；
确定所述原始图像的真值标注信息对应的第一真值标注点坐标；
通过对所述第一真值标注点坐标进行投影坐标变换，确定所述鱼眼图像对应的第二真值标注点坐标；
基于所述第二真值标注点坐标，确定所述鱼眼图像对应的初始真值标注信息；
对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。
本发明实施例还提供了一种图像处理装置，包括：
信息传输模块，用于获取原始图像以及与所述原始图像相对应的真值标注信息；
信息处理模块，用于将所述原始图像转换为对应的鱼眼图像，其中，所述鱼眼图像为与所述原始图像处于不同视场角；
所述信息处理模块，用于确定所述原始图像的真值标注信息对应的第一真值标注点坐标；
所述信息处理模块，用于通过对所述第一真值标注点坐标进行投影坐标变换，确定所述鱼眼图像对应的第二真值标注点坐标；
所述信息处理模块，用于基于所述第二真值标注点坐标，确定所述鱼眼图像对应的初始真值标注信息；
所述信息处理模块，用于对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。
上述方案中，
所述信息传输模块，用于对目标视频进行解析，获取所述目标视频的时序信息；
所述信息传输模块，用于根据所述目标视频的时序信息，确定与所述目标视频对应的画面区域参数；
所述信息传输模块，用于基于所述目标视频对应的画面区域参数，对所述目标视频进行图像帧抽取以获取所述目标视频对应的原始图像；
所述信息传输模块，用于确定所述原始图像中检测框的位置，并获取与所述检测框对应的真值标注信息。
上述方案中，
所述信息处理模块，用于当所述目标视频为车辆行驶视频时，确定所述车辆中视频采集设备的视频录制角度；
所述信息处理模块，用于基于所述视频录制角度，对所述目标视频的不同视频帧中的目标对象进行检测，确定每一个视频帧中车辆检测框的位置；
所述信息处理模块，用于根据每一个视频帧中车辆检测框的位置，获得所述目标对象的车辆检测框位置集合；
所述信息处理模块，用于通过所述目标对象的车辆检测框位置集合确定所述原始图像中不同目标对象的真值标注信息集合。
上述方案中，
所述信息处理模块，用于确定所述原始图像中任一像素点的第一横坐标参数、第一纵坐标参数和第一焦距信息；
所述信息处理模块，用于确定所述鱼眼图像的尺寸信息和第二焦距信息；
所述信息处理模块，用于基于所述鱼眼图像的尺寸信息和第二焦距信息，确定所述鱼眼图像中任一像素点的第二横坐标参数和第二纵坐标参数；
所述信息处理模块，用于通过所述第二横坐标参数和第二纵坐标参数以及所述第二焦距信息，确定所述原始图像转换为对应的鱼眼图像。
上述方案中，
所述信息处理模块，用于确定所述鱼眼图像中目标对象相对应的关键点；
所述信息处理模块，用于基于所述鱼眼图像中目标对象相对应的关键点的坐标，确定所述鱼眼图像中目标对象的关键点包裹检测框；
所述信息处理模块，用于获取所述鱼眼图像中目标对象相对应的目标对象的第一检测框；
所述信息处理模块，用于基于所述鱼眼图像中目标对象的关键点包裹检测框和所述目标对象的第一检测框，确定所述目标对象的第二检测框；
所述信息处理模块，用于通过所述第二检测框，对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。
上述方案中，
所述信息处理模块，用于确定所述第二检测框的中心点、所述鱼眼图像的中心点以及微调偏置参数；
所述信息处理模块，用于基于所述目标对象的第一检测框的长度参数和宽度参数，确定所述第一检测框的面积参数；
所述信息处理模块，用于根据所述第一检测框的面积参数，所述第二检测框的中心点与所述鱼眼图像的中心点的位置关系，以及所述微调偏置参数，确定相应的自适应调整参数，通过所述自适应调整参数对所述初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。
上述方案中，
所述信息处理模块，用于通过所述自适应调整参数和所述关键点包裹检测框，对所述鱼眼图像中的关键点包裹检测框进行调整，以实现通过所述鱼眼图像中的关键点包裹检测框对所述鱼眼图像中的不同目标对象进行完全包裹。
上述方案中，
所述信息处理模块，用于通过所述鱼眼图像和所述鱼眼图像对应的目标真值标注信息，对车载环境中的障碍识别神经网络模型进行训练，以实现通过所述障碍识别神经网络模型确定车载环境中的不同障碍物。
本发明实施例还提供了一种电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现前述的图像处理方法。
本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前述的图像处理方法。
本发明实施例具有以下有益效果：
本发明通过获取原始图像以及与所述原始图像相对应的真值标注信息；将所述原始图像转换为对应的鱼眼图像，其中，所述鱼眼图像为与所述原始图像处于不同视场角；响应于所转换的鱼眼图像，将所述原始图像相对应的真值标注信息转换为与所述鱼眼图像对应的初始真值标注信息；对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息，由此，能够通过普通镜头所采集的原始图像自动化的生成与所述原始图像处于不同视场角的作为鱼眼图像鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息，节省了图像标注成本，减少了图像采集的时间，提升图像的获取效率，有利于自动驾驶技术的推广。
附图说明
图1是本发明实施例提供的一种图像处理方法的使用环境示意图；
图2为本发明实施例提供的电子设备的组成结构示意图；
图3为本发明实施例中所采集的60度视场角下的图像示意图；
图4为本发明实施例中所采集的182度视场角下的鱼眼图像示意图；
图5为本发明实施例提供的图像处理方法一个可选的流程示意图；
图6为本发明实施例中原始图像示意图；
图7为本发明实施例中通过本申请图像处理方法形成的鱼眼图像示意图
图8为本发明实施例中原始图像的真值标注信息示意图；
图9为本发明实施例中鱼眼图像的初始真值标注信息示意图；
图10为本发明实施例提供的图像处理方法一个可选的流程示意图；
图11为本发明实施例中鱼眼图像的目标真值标注信息示意图；
图12是本发明实施例提供的图像处理装置的架构示意图；
图13是本发明实施例提供的区块链网络中区块链的结构示意图；
图14是本发明实施例提供的区块链网络的功能架构示意图；
图15为本申请实施例提供的图像处理界面的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)响应于：用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
2)目标视频：互联网中可获取的各种形式的视频信息，如客户端或者智能设备中呈现的视频文件、多媒体信息等。
3)客户端：终端中实现特定功能的载体，例如移动客户端(APP)是移动终端中特定功能的载体，例如执行线上直播(视频推流)的功能或者是在线视频的播放功能。
4)鱼眼相机：指视场角超过180度的广角相机
5)视场角：以光学仪器的镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角；视场角不同，相机视野不同。
6)共识(Consensus)，是区块链网络中的一个过程，用于在涉及的多个节点之间对区块中的交易达成一致，达成一致的区块将被追加到区块链的尾部，实现共识的机制包括工作量证明(Po W，Proof of Work)、权益证明(PoS，Proof of Stake)、股份授权证明(D PoS，Delegated Proof-of-Stake)、消逝时间量证明(Po ET，Proof of Elapsed Time)等。
7)交易(Transaction)，等同于计算机术语“事务”，交易包括了需要提交到区块链网络执行的操作，并非单指商业语境中的交易，鉴于在区块链技术中约定俗成地使用了“交易”这一术语，本发明实施例遵循了这一习惯。
例如，部署(Deploy)交易用于向区块链网络中的节点安装指定的智能合约并准备好被调用；调用(Invoke)交易用于通过调用智能合约在区块链中追加交易的记录，并对区块链的状态数据库进行操作，包括更新操作(包括增加、删除和修改状态数据库中的键值对)和查询操作(即查询状态数据库中的键值对)。
8)区块链(Block chain)，是由区块(Block)形成的加密的、链式的交易的存储结构。
例如，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，从而基于哈希值实现区块中交易的防篡改和防伪造；新产生的交易被填充到区块并经过区块链网络中节点的共识后，会被追加到区块链的尾部从而形成链式的增长。
9)区块链网络(Block chain Network)，通过共识的方式将新区块纳入区块链的一系列的节点的集合。
10)账本(Ledger)，是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。
其中，区块链是以文件系统中的文件的形式来记录交易；状态数据库是以不同类型的键(Key)值(Value)对的形式来记录区块链中的交易，用于支持对区块链中交易的快速查询。
11)智能合约(Smart Contracts)，也称为链码(Chain code)或应用代码，部署在区块链网络的节点中的程序，节点执行接收的交易中所调用的智能合约，来对账本数据库的键值对数据进行更新或查询的操作。
图1为本发明实施例提供的图像处理方法的使用场景示意图，参见图1，终端(包括终端10-1和车载终端10-2)上设置有能够执行障碍物识别功能相应客户端其中，所属客户端为终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中获取相应的鱼眼图像对部署在终端中的神经网络模型进行训练，以实现对自动驾驶过程中障碍物的识别，当通过当终端运行即时通讯软件进程采集图像时，可以通过即时通讯软件中的图像转换小程序将普通摄像头所采集的原始图像转换为鱼眼图像，并保存在服务器或云服务器集群中，供车载终端10-2使用或者训练。终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端(包括终端10-1和车载终端10-2)通过网络300从相应的服务器200中所获取的信息不同，车载终端10-2还可以部署经过训练的神经网络模型实现对障碍物的识别。本申请的目标对象可以是各种物体，也可以是障碍物。比如，这里的障碍物可以是人、车、动物等等。
在本发明的一些实施例中，终端10-1中所保存的不同类型的小程序可以是在不同编程语言的软件代码环境中所编写的，代码对象可以是不同类型的代码实体。例如，在C语言的软件代码中，一个代码对象可以是一个函数。在JAVA语言的软件代码中，一个代码对象可以是一个类，IOS端OC语言中可以是一段目标代码。在C++语言的软件代码中，一个代码对象可以是一个类或一个函数以执行来自于不同终端的图像采集进程。其中，即时通讯软件进程中小程序可以触发图像采集进程，小程序(Mini Program)，是一种基于面向前端的语言(例如JavaScript)开发的、在超文本标记语言(HTML，Hyper Text Markup Language)页面中实现服务的程序，由客户端(例如浏览器或内嵌浏览器核心的任意客户端)经由网络(如互联网)下载、并在客户端的浏览器环境中解释和执行的软件，节省在客户端中安装的步骤。例如，通过语音指令唤醒终端中的小程序实现在社交网络客户端中可以下载、运行用于实现机票购买、任务处理与制作、数据展示等各种服务的小程序。
服务器200根据终端输入的原始图像通过网络300向终端(终端10-1和/或车载终端10-2)发送相应的鱼眼图像和目标真值标注信息，因此。作为一个事例，服务器200用于获取原始图像以及与所述原始图像相对应的真值标注信息；将所述原始图像转换为对应的鱼眼图像，其中，所述鱼眼图像为与所述原始图像处于不同视场角；响应于所转换的鱼眼图像，将所述原始图像相对应的真值标注信息转换为与所述鱼眼图像对应的初始真值标注信息；对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。需要说明的是，图像转换进程也可以有终端10-11执行，服务器200仅保存鱼眼图像和对应的目标真值标注信息。
下面对本发明实施例的服务器的结构做详细说明，服务器可以各种形式来实施，如带有图像处理功能的专用终端，也可以为带有图像处理功能的服务器，例如前述图1中的服务器400。图2为本发明实施例提供的服务器的组成结构示意图，可以理解，图2仅仅示出了服务器的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的服务器包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。服务器20中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的图像处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的图像处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
作为本发明实施例提供的图像处理装置采用软硬件结合实施的示例，本发明实施例所提供的图像处理装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的图像处理方法。
作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的图像处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的图像处理方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持服务器20的操作。这些数据的示例包括：用于在服务器20上操作的任何可执行指令，如可执行指令，实现本发明实施例的从图像处理方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的图像处理装置可以采用软件方式实现，图2示出了存储在存储器202中的图像处理装置2020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括图像处理装置2020，图像处理装置2020中包括以下的软件模块：信息传输模块2081，信息处理模块2082。当图像处理装置2020中的软件模块被处理器201读取到RAM中并执行时，将实现本发明实施例提供的图像处理方法，下面对图像处理装置2020中各个软件模块的功能进行介绍：
信息传输模块2081，获取原始图像以及与所述原始图像相对应的真值标注信息。
信息处理模块2082，用于将所述原始图像转换为对应的鱼眼图像。
所述信息处理模块2082，用于确定所述原始图像的真值标注信息对应的第一真值标注点坐标。
所述信息处理模块2082，用于通过对所述第一真值标注点坐标进行投影坐标变换，确定所述鱼眼图像对应的第二真值标注点坐标。
所述信息处理模块2082，用于基于所述第二真值标注点坐标，确定所述鱼眼图像对应的初始真值标注信息。
所述信息处理模块2082，用于对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。
根据图2所示的电子设备，在本申请的一个方面中，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理方法的各种可选实现方式中所提供的不同实施例及实施例的组合。
其中，通过鱼眼图像以及真值标注信息训练神经网络模型中可以使用人工智能技术，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请实施例中，主要涉及的人工智能软件技术包括上述语音处理技术和机器学习等方向。例如，可以涉及语音技术(Speech Technology)中的语音识别技术(AutomaticSpeech Recognition，ASR)，其中包括语音信号预处理(Speech signal preprocessing)、语音信号频域分析(Speech signal frequency analyzing)、语音信号特征提取(Speechsignal feature extraction)、语音信号特征匹配/识别(S peech signal featurematching/recognition)、语音的训练(Speech training)等。
例如可以涉及机器学习(Machine learning，ML)，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括深度学习(Deep Learning)等技术，深度学习包括人工神经网络(artificial neural network)，例如卷积神经网络(ConvolutionalNeural Network，CNN)、循环神经网络(Recurrent Neural Network，RNN)、深度神经网络(Deep neural n etwork，DNN)等。
继续结合图2示出的服务器20说明本发明实施例提供的图像处理方法，在介绍本申请提供的图像处理方法之前，首先对所采集的图像进行简要说明。在自动驾驶技术实现过程中，首先需要采集相应的鱼眼图像作为训练样本，参考图3，和图4，图3为本发明实施例中所采集的60度视场角下的图像示意图；图4为本发明实施例中所采集的182度视场角下的鱼眼图像示意图，其中，基于有监督深度学习的检测方法实现自动驾驶场景中的目标检测技术时需要依赖大量的有标签标注数据，才能够保证一定程度的检测效果。例如，一个能够覆盖环路场景下的车辆检测算法，一般需要至少10万数量级的标注数据来进行开发。
另一方面，基于深度学习的相机视野下的检测方法，往往不具备视野迁移特性，具体来说，在某个视场角下采集的数据和标注的真值所训练下的神经网络模型，在另一个视场角下的泛化性则很差。这种差异，随着两个相机之间的视场角差异的增大而增大，图3所示的视场角为60度所采集的图像数据及标注真值所训练出的模型，在图4所示的视场角为182度的鱼眼相机下的适配性则极差，会存在大量的漏检、误检。如果不同相机条件下的模型泛化不能实现，则会增加大量的新相机下的数据采集成本及数据标注成本，影响自动驾驶技术的推广。
为了克服上述缺陷，参见图5，图5为本发明实施例提供的图像处理方法一个可选的流程示意图，可以理解地，图5所示的步骤可以由运行图像处理装置的各种服务器执行，例如可以是如带有图像处理功能的专用终端、服务器或者服务器集群，也可以是能够进行图像采集的手机或行车记录仪。下面针对图5示出的步骤进行说明。
步骤501：图像处理装置获取原始图像以及与所述原始图像相对应的真值标注信息。
在本发明的一些实施例中，获取原始图像以及与所述原始图像相对应的真值标注信息，可以通过以下方式实现：
对目标视频进行解析，获取所述目标视频的时序信息；根据所述目标视频的时序信息，确定与所述目标视频对应的画面区域参数；基于所述目标视频对应的画面区域参数，对所述目标视频进行图像帧抽取以获取所述目标视频对应的原始图像；确定所述原始图像中检测框的位置，并获取与所述检测框对应的真值标注信息。具体来说，可以首先根据时序信息，确定当前图像采集的画面区域参数，并根据画面区域参数确定所要抽取的视频帧的帧号，并根据相应的帧号确定对应的存储位置编号进行抽取，例如目标视频有视频帧1、视频帧2、视频帧3、视频帧4、视频帧5、视频帧6、视频帧7、视频帧8、视频帧9以及视频帧10(共计10个视频帧)，抽取画面区域中的视频帧7、视频帧8、视频帧9分别作为原始图像。之后确定原始图像中检测框的位置，并获取与所检测框对应的真值标注信息。
以图3和图4所示的自动驾驶为例，当所述目标视频为车辆行驶视频时，确定所述车辆中视频采集设备的视频录制角度；基于所述视频录制角度，对所述目标视频的不同视频帧中的目标对象进行检测，确定每一个视频帧中车辆检测框的位置；根据每一个视频帧中车辆检测框的位置，获得所述目标对象的车辆检测框位置集合；通过所述目标对象的车辆检测框位置集合确定所述原始图像中不同目标对象的真值标注信息集合。其中，车辆检测框的位置指示了作为目标对象的车辆的位置。具体地，检测框的位置可以是(x，y，w，h)，其中的x和y分别为检测框的指定点的横坐标和纵坐标，这里的指定点可以是检测框的中心点或者左上角顶点等等。其中的w和h可以是检测框的宽和高。此外，检测框的位置还可以由检测框的四个角的顶点的坐标或者对角线的顶点的坐标来表示。
步骤502：图像处理装置将所述原始图像转换为对应的鱼眼图像。
其中，所述鱼眼图像为与所述原始图像处于不同视场角。
在本发明的一些实施例中，将所述原始图像转换为对应的鱼眼图像，可以通过以下方式实现：
确定所述原始图像中任一像素点的第一横坐标参数、第一纵坐标参数和第一焦距信息；确定所述鱼眼图像的尺寸信息和第二焦距信息；基于所述鱼眼图像的尺寸信息和第二焦距信息，确定所述鱼眼图像中任一像素点的第二横坐标参数和第二纵坐标参数；通过所述第二横坐标参数和第二纵坐标参数以及所述第二焦距信息，确定所述原始图像转换为对应的鱼眼图像。其中，图6为本发明实施例中原始图像示意图；图7为本发明实施例中通过本申请图像处理方法形成的鱼眼图像示意图；具体来说，原始视场角相机下的原始图像为I，其对应的标注真值为Y，焦距为F。记新鱼眼相机视场角下的鱼眼图像为D，其对应标注真值为Z，焦距记为f。原始图像和鱼眼图像的映射关系参考公式1：
Figure BDA0002713063300000141
其中，x，y为原视场相机下图像中某点的坐标，u，v为鱼眼相机下图像中某点的坐标。记待生成的鱼眼图像的宽度为W，高度为H。
对鱼眼图像中的每一个纵向坐标值y参考公式2：
ny＝2*(y–0)/(H–0)–1公式2
对鱼眼图像中每一个横向坐标值x，参考公式3:
nx＝2*(x–0)/(W–0)–1公式3
继续参考表1：
Figure BDA0002713063300000151
最终获得鱼眼图像中的D[x，y]＝I[x_new，y_new]，由此，可以确定鱼眼图像中每一个像素点的坐标，并基于所有像素点的坐标形成与原始图像相匹配的鱼眼图像。
步骤503：图像处理装置确定所述原始图像的真值标注信息对应的第一真值标注点坐标。
步骤504：图像处理装置通过对所述第一真值标注点坐标进行投影坐标变换，确定所述鱼眼图像对应的第二真值标注点坐标。
步骤505：图像处理装置基于所述第二真值标注点坐标，确定所述鱼眼图像对应的初始真值标注信息。
其中，图8为本发明实施例中原始图像的真值标注信息示意图；图9为本发明实施例中鱼眼图像的初始真值标注信息示意图；为原始图像I和其真值物体标注Y在I上的渲染。其中，标记框为物体的bounding box标注，点为物体的关键点标注。在从I生成D的过程中，同时记录I的物体真值标注的坐标点信息，并跟踪这些坐标点的投影坐标变换，从而获得了粗糙的图像D的真值，即图9中(1)至(5)所示的鱼眼图像对应的初始真值标注信息，但是这些鱼眼图像对应的初始真值标注信息形成的训练样本的准确性较差，还需要继续优化，形成准确地训练样本，因此需要继续执行步骤506。
步骤506：图像处理装置对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。
继续参考图10，图10为本发明实施例提供的图像处理方法一个可选的流程示意图，可以理解地，图10所示的步骤可以由运行图像处理装置的各种服务器执行，例如可以是如带有检索指令处理功能的专用终端、服务器或者服务器集群。下面针对图10示出的步骤进行说明。
步骤1001：确定所述鱼眼图像中目标对象相对应的关键点。
步骤1002：基于所述鱼眼图像中目标对象相对应的关键点的坐标，确定所述鱼眼图像中目标对象的关键点包裹检测框。
步骤1003：获取所述鱼眼图像中目标对象相对应的目标对象的第一检测框。
步骤1004：基于所述鱼眼图像中目标对象的关键点包裹检测框和所述目标对象的第一检测框，确定所述目标对象的第二检测框。
步骤1005：通过所述第二检测框，对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。
在本发明的一些实施例中，通过所述第二检测框，对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息，可以通过以下方式实现：
确定所述第二检测框的中心点、所述鱼眼图像的中心点以及微调偏置参数；基于所述目标对象的第一检测框的长度参数和宽度参数，确定所述第一检测框的面积参数；根据所述第一检测框的面积参数，所述第二检测框的中心点与所述鱼眼图像的中心点的位置关系，以及所述微调偏置参数，确定相应的自适应调整参数，通过所述自适应调整参数对所述初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。其中，图11为本发明实施例中鱼眼图像的目标真值标注信息示意图，如图11中(1)-(5)的箭头所指所示，该真值标注信息不准确的原因在于，图像逐像素坐标投影转换时，沿中心点向外辐射不同像素位置的投影系数不同，从而导致了目标对象本身的扭曲(鱼眼)效果。然而，对于车辆的bounding box真值，由于框体对车辆的包括，不能够做到逐像素的完全贴合(例如，bounding box的四个角落一般为背景像素，而非车辆物体像素)，故在逐像素坐标转换的直接映射后，会造成车辆和bounding box不贴合的情况，如图11中箭头所指。通过自适应调整则能够有效地解决该问题。自适应调整通过利用目标对象上的关键点像素信息，根据不同物体的大小情况，做出框体的自适应调整。对于目标对象，存在着多个关键点标注。在图11中以目标对象为车辆作为示例，这些关键的的体现形式为车辆的6个关键点：左尾灯关键点、右尾灯关键点和四个轮胎的接地点。自适应框体调整的过程中，通过获取这6个关键点的坐标信息中的最大x、最小x、最大y、最小y，从而得到一组关键点下的包裹框体。由于关键点一定在车辆上，则关键点的直接映射变换不存在扭曲和偏离的问题。进一步，通过比对直接映射后的第一检测框bounding box和关键点包裹框体，可以获得一个二者的并集的新的包裹bounding box即第二检测框，该第二检测框能够确保框体包括车辆的像素信息。同时，根据物体的中心点(bounding box中心点)与图像中心点(width/2，height/2)的位置关系，以及物体本身bounding box的宽度和高度，本发明提出自适应调整系数α＝BboxSize/(width+height)+Δ，其中，BboxSize为直接映射后的物体框体面积，width和height为新视场角下的图像宽度和高度，Δ为微调偏置，一般可取3-5个像素。
在本发明的一些实施例中，为例实现通过所述鱼眼图像中的关键点包裹检测框对所述鱼眼图像中的不同目标对象进行完全包裹，还可以通过所述自适应调整参数和所述关键点包裹检测框，对所述鱼眼图像中的关键点包裹检测框进行调整。由此，通过所述鱼眼图像和所述鱼眼图像对应的目标真值标注信息，对车载环境中的障碍识别神经网络模型进行训练，以实现通过所述障碍识别神经网络模型确定车载环境中的不同障碍物。
由于视频服务器的视频数量不断增加，因此，可以将视频的版权信息保存在区块链网络或者云服务器中，实现对视频相似性的判断。其中，本发明实施例可结合云技术或区块链网络技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。
需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。
在本发明的一些实施例中，还可以将鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息送至区块链网络，以使所述区块链网络的节点将所述鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息填充至新区块，且当对所述新区块共识一致时，将所述新区块追加至区块链的尾部。
上述方案中，所述方法还包括：
接收所述区块链网络中的其他节点的数据同步请求；响应于所述数据同步请求，对所述其他节点的权限进行验证；当所述其他节点的权限通过验证时，控制当前节点与所述其他节点之间进行数据同步，以实现所述其他节点获取鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息。
上述方案中，所述方法还包括：响应于查询请求，解析所述查询请求以获取对应的用户标识；根据所述用户标识，获取区块链网络中的目标区块内的权限信息；对所述权限信息与所述用户标识的匹配性进行校验；当所述权限信息与所述用户标识相匹配时，在所述区块链网络中获取相应的鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息；响应于所述查询请求，将所获取的相应的鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息向相应的客户端进行推送，以实现所述客户端获取所述区块链网络中所保存的相应的鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息。
继续参见图13，图13是本发明实施例提供的图像处理装置100的架构示意图，包括区块链网络200(示例性示出了共识节点210-1至共识节点210-3)、认证中心300、业务主体400和业务主体500，下面分别进行说明。
区块链网络200的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务主体的电子设备例如用户终端和服务器，都可以在不需要授权的情况下接入区块链网络200；以联盟链为例，业务主体在获得授权后其下辖的电子设备(例如终端/服务器)可以接入区块链网络200，此时，成为区块链网络200中的客户端节点。
在一些实施例中，客户端节点可以只作为区块链网络200的观察者，即提供支持业务主体发起交易(例如，用于上链存储数据或查询链上数据)功能，对于区块链网络200的共识节点210的功能，例如排序功能、共识服务和账本功能等，客户端节点可以缺省或者有选择性(例如，取决于业务主体的具体业务需求)地实施。从而，可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络200中，通过区块链网络200实现数据和业务处理过程的可信和可追溯。
区块链网络200中的共识节点接收来自不同业务主体(例如前序实施中示出的业务主体400和业务主体500)的客户端节点(例如，前序实施例中示出的归属于业务主体400的客户端节点410、以及归属于数据库运营商系统的客户端节点510)提交的交易，执行交易以更新账本或者查询账本，执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中显示。
例如，客户端节点410/510可以订阅区块链网络200中感兴趣的事件，例如区块链网络200中特定的组织/通道中发生的交易，由共识节点210推送相应的交易通知到客户端节点410/510，从而触发客户端节点410/510中相应的业务逻辑。
下面以多个业务主体接入区块链网络以实现对指令信息以及与所述指令信息相匹配的业务进程管理为例，说明区块链网络的示例性应用。
参见图13，管理环节涉及的多个业务主体，如业务主体400可以是图像处理装置，业务主体500可以是带有图像处理装功能的显示系统，从认证中心300进行登记注册获得各自的数字证书，数字证书中包括业务主体的公钥、以及认证中心300对业务主体的公钥和身份信息签署的数字签名，用来与业务主体针对交易的数字签名一起附加到交易中，并被发送到区块链网络，以供区块链网络从交易中取出数字证书和签名，验证消息的可靠性(即是否未经篡改)和发送消息的业务主体的身份信息，区块链网络会根据身份进行验证，例如是否具有发起交易的权限。业务主体下辖的电子设备(例如终端或者服务器)运行的客户端都可以向区块链网络200请求接入而成为客户端节点。
业务主体400的客户端节点410用于将鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息送至区块链网络，以使所述区块链网络的节点将所述鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息填充至新区块，且当对所述新区块共识一致时，将所述新区块追加至区块链的尾部。
其中，将相应的鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息发送至区块链网络200，可以预先在客户端节点410设置业务逻辑，当确定目标视频与源视频不相似时，客户端节点410将待处理的鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息自动发送至区块链网络200，也可以由业务主体400的业务人员在客户端节点410中登录，手动打包鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息以及相应的转换进程信息，并将其发送至区块链网络200。在发送时，客户端节点410根据鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息生成对应更新操作的交易，在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点410的数字证书、签署的数字签名(例如，使用客户端节点410的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络200中的共识节点210。
区块链网络200中的共识节点210中接收到交易时，对交易携带的数字证书和数字签名进行验证，验证成功后，根据交易中携带的业务主体400的身份，确认业务主体400是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署共识节点210自己的数字签名(例如，使用共识节点210-1的私钥对交易的摘要进行加密得到)，并继续在区块链网络200中广播。
区块链网络200中的共识节点210接收到验证成功的交易后，将交易填充到新的区块中，并进行广播。区块链网络200中的共识节点210广播的新区块时，会对新区块进行共识过程，如果共识成功，则将新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交更新待处理的鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息以及相应的进程触发信息的交易，在状态数据库中添加包括鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息以及相应的进程触发信息的键值对。
业务主体500的业务人员在客户端节点510中登录，输入鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息查询请求，客户端节点510根据鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息查询请求生成对应更新操作/查询操作的交易，在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点510的数字证书、签署的数字签名(例如，使用客户端节点510的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络200中的共识节点210。
区块链网络200中的共识节点210中接收到交易，对交易进行验证、区块填充及共识一致后，将填充的新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交的更新某一视频的版权信息数据信息对应的人工识别结果的交易，根据人工识别结果更新状态数据库中该视频的版权信息数据信息对应的键值对；对于提交的查询某个视频的版权信息数据信息的交易，从状态数据库中查询鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息对应的键值对，并返回交易结果。
值得说明的是，在图13中示例性地示出了将鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息以及相应的进程触发信息直接上链的过程，但在另一些实施例中，对于鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息数据量较大的情况，客户端节点410可鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息的哈希以及相应的鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息的哈希成对上链，将鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息以及相应的进程触发信息存储于分布式文件系统或数据库。客户端节点510从分布式文件系统或数据库获取到鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息以及相应的进程触发信息后，可结合区块链网络200中对应的哈希进行校验，从而减少上链操作的工作量。
作为区块链的示例，参见图13，图13是本发明实施例提供的区块链网络200中区块链的结构示意图，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，新产生的交易的记录被填充到区块并经过区块链网络中节点的共识后，会被追加到区块链的尾部从而形成链式的增长，区块之间基于哈希值的链式结构保证了区块中交易的防篡改和防伪造。
下面说明本发明实施例提供的区块链网络的示例性的功能架构，参见图14，图14是本发明实施例提供的区块链网络200的功能架构示意图，包括应用层201、共识层202、网络层203、数据层204和资源层205，下面分别进行说明。
资源层205封装了实现区块链网路200中的各个节点的计算资源、存储资源和通信资源。
数据层204封装了实现账本的各种数据结构，包括以文件系统中的文件实现的区块链，键值型的状态数据库和存在性证明(例如区块中交易的哈希树)。
网络层203封装了点对点(P2P，Point to Point)网络协议、数据传播机制和数据验证机制、接入认证机制和业务主体身份管理的功能。
其中，P2P网络协议实现区块链网络200中共识节点210之间的通信，数据传播机制保证了交易在区块链网络200中的传播，数据验证机制用于基于加密学方法(例如数字证书、数字签名、公/私钥对)实现共识节点210之间传输数据的可靠性；接入认证机制用于根据实际的业务场景对加入区块链网络200的业务主体的身份进行认证，并在认证通过时赋予业务主体接入区块链网络200的权限；业务主体身份管理用于存储允许接入区块链网络200的业务主体的身份、以及权限(例如能够发起的交易的类型)。
共识层202封装了区块链网络200中的共识节点210对区块达成一致性的机制(即共识机制)、交易管理和账本管理的功能。共识机制包括POS、POW和DPOS等共识算法，支持共识算法的可插拔。
交易管理用于验证共识节点210接收到的交易中携带的数字签名，验证业务主体的身份信息，并根据身份信息判断确认其是否具有权限进行交易(从业务主体身份管理读取相关信息)；对于获得接入区块链网络200的授权的业务主体而言，均拥有认证中心颁发的数字证书，业务主体利用自己的数字证书中的私钥对提交的交易进行签名，从而声明自己的合法身份。
账本管理用于维护区块链和状态数据库。对于取得共识的区块，追加到区块链的尾部；执行取得共识的区块中的交易，当交易包括更新操作时更新状态数据库中的键值对，当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询结果。支持对状态数据库的多种维度的查询操作，包括：根据区块向量号(例如交易的哈希值)查询区块；根据区块哈希值查询区块；根据交易向量号查询区块；根据交易向量号查询交易；根据业务主体的账号(向量号)查询业务主体的账号数据；根据通道名称查询通道中的区块链。
应用层201封装了区块链网络能够实现的各种业务，包括交易的溯源、存证和验证等。
由此，当不同的用户通过鱼眼图像和鱼眼图像对应的目标真值标注信息，对车载环境中的障碍识别神经网络模型进行训练时，可以从本申请实施例所提供的区块链网络中获取或者购买所存储的鱼眼图像和鱼眼图像对应的目标真值标注信息作为相应的训练样本，提升样本数据的全面性，也能够提升车载环境中的障碍识别神经网络模型的训练速度。
在本申请的一些实施例中，参考图15，图15为本申请实施例提供的图像处理界面的示意图，其中，用户可以通过终端运行的即时通讯软件中的小程序实现对目标视频的采集，具体来说，当通过所述车辆中视频采集设备采集目标视频时，解析小程序码，获取小程序界面与业务场景标识；基于所述小程序界面，响应于用于指示采集目标视频的拍摄操作，显示目标视频的采集界面；基于所述采集界面，采集目标视频；根据所述业务场景标识，通过所述小程序将所采集的目标视频传输至与所述业务场景标识相匹配的服务器中。需要说明的是，通过即时通讯软件小程序采集车辆行驶过程中采集目标视频的使用环境，在本申请的实施例中可以包括两种处理方式：1)即时通讯软件小程序的运行终端仅作为图像采集设备，图像处理由对应的服务器执行，由此可以扩大鱼眼图像的来源，同一车辆中的不同即时通讯软件小程序的运行终端可以在同一使用环境采集同一障碍物的不同视场角的鱼眼图像。2)通过即时通讯软件的小程序进行图像采集并在运行即时通讯软件的终端侧完成图像处理，通过小程序上传生成的鱼眼图像和目标真值标注信息，由此可以提升鱼眼图像和真值信息的生成速度。
本发明具有以下有益技术效果：
本发明通过获取原始图像以及与所述原始图像相对应的真值标注信息；将所述原始图像转换为对应的鱼眼图像，其中，所述鱼眼图像为与所述原始图像处于不同视场角；确定所述原始图像的真值标注信息对应的第一真值标注点坐标；通过对所述第一真值标注点坐标进行投影坐标变换，确定所述鱼眼图像对应的第二真值标注点坐标；基于所述第二真值标注点坐标，确定所述鱼眼图像对应的初始真值标注信息；对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息，由此，能够通过普通镜头所采集的原始图像自动化的生成与所述原始图像处于不同视场角的作为鱼眼图像鱼眼图像，以及与所述鱼眼图像对应的目标真值标注信息，节省了图像标注成本，减少了图像采集的时间，提升图像的获取效率，有利于自动驾驶技术的推广。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：
获取原始图像以及与所述原始图像相对应的真值标注信息；
将所述原始图像转换为对应的鱼眼图像，其中，所述鱼眼图像为与所述原始图像处于不同视场角；
确定所述原始图像的真值标注信息对应的第一真值标注点坐标；
通过对所述第一真值标注点坐标进行投影坐标变换，确定所述鱼眼图像对应的第二真值标注点坐标；
基于所述第二真值标注点坐标，确定所述鱼眼图像对应的初始真值标注信息；
对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。
2.根据权利要求1所述的方法，其特征在于，所述获取原始图像以及与所述原始图像相对应的真值标注信息，包括：
对目标视频进行解析，获取所述目标视频的时序信息；
根据所述目标视频的时序信息，确定与所述目标视频对应的画面区域参数；
基于所述目标视频对应的画面区域参数，对所述目标视频进行图像帧抽取以获取所述目标视频对应的原始图像；
确定所述原始图像中检测框的位置，并获取与所述检测框对应的真值标注信息。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当所述目标视频为车辆行驶视频时，确定所述车辆中视频采集设备的视频录制角度；
基于所述视频录制角度，对所述目标视频的不同视频帧中的目标对象进行检测，确定每一个视频帧中车辆检测框的位置；
根据每一个视频帧中车辆检测框的位置，获得所述目标对象的车辆检测框位置集合；
通过所述目标对象的车辆检测框位置集合确定所述原始图像中不同目标对象的真值标注信息集合。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当通过所述车辆中视频采集设备采集目标视频时，解析小程序码，获取小程序界面与业务场景标识；
基于所述小程序界面，响应于用于指示采集目标视频的拍摄操作，显示目标视频的采集界面；
基于所述采集界面，采集目标视频；
根据所述业务场景标识，通过所述小程序将所采集的目标视频传输至与所述业务场景标识相匹配的服务器中。
5.根据权利要求1所述的方法，其特征在于，所述将所述原始图像转换为对应的鱼眼图像，包括：
确定所述原始图像中任一像素点的第一横坐标参数、第一纵坐标参数和第一焦距信息；
确定所述鱼眼图像的尺寸信息和第二焦距信息；
基于所述鱼眼图像的尺寸信息和第二焦距信息，确定所述鱼眼图像中任一像素点的第二横坐标参数和第二纵坐标参数；
通过所述第二横坐标参数和第二纵坐标参数以及所述第二焦距信息，确定所述原始图像转换为对应的鱼眼图像。
6.根据权利要求1所述的方法，其特征在于，所述对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息，包括：
确定所述鱼眼图像中目标对象相对应的关键点；
基于所述鱼眼图像中目标对象相对应的关键点的坐标，确定所述鱼眼图像中目标对象的关键点包裹检测框；
获取所述鱼眼图像中目标对象相对应的目标对象的第一检测框；
基于所述鱼眼图像中目标对象的关键点包裹检测框和所述目标对象的第一检测框，确定所述目标对象的第二检测框；
通过所述第二检测框，对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。
7.根据权利要求6所述的方法，其特征在于，所述通过所述第二检测框，对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息，包括：
确定所述第二检测框的中心点、所述鱼眼图像的中心点以及微调偏置参数；
基于所述目标对象的第一检测框的长度参数和宽度参数，确定所述第一检测框的面积参数；
根据所述第一检测框的面积参数，所述第二检测框的中心点与所述鱼眼图像的中心点的位置关系，以及所述微调偏置参数，确定相应的自适应调整参数，通过所述自适应调整参数对所述初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
通过所述自适应调整参数和所述关键点包裹检测框，对所述鱼眼图像中的关键点包裹检测框进行调整，以实现通过所述鱼眼图像中的关键点包裹检测框对所述鱼眼图像中的不同目标对象进行完全包裹。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述鱼眼图像和所述鱼眼图像对应的目标真值标注信息，对车载环境中的障碍识别神经网络模型进行训练，以实现通过所述障碍识别神经网络模型确定车载环境中的不同障碍物。
10.一种图像处理装置，其特征在于，所述装置包括：
信息传输模块，用于获取原始图像以及与所述原始图像相对应的真值标注信息；
信息处理模块，用于将所述原始图像转换为对应的鱼眼图像，其中，所述鱼眼图像为与所述原始图像处于不同视场角；
所述信息处理模块，用于确定所述原始图像的真值标注信息对应的第一真值标注点坐标；
所述信息处理模块，用于通过对所述第一真值标注点坐标进行投影坐标变换，确定所述鱼眼图像对应的第二真值标注点坐标；
所述信息处理模块，用于基于所述第二真值标注点坐标，确定所述鱼眼图像对应的初始真值标注信息；
所述信息处理模块，用于对所述鱼眼图像对应的初始真值标注信息进行自适应性调整，形成与所述鱼眼图像对应的目标真值标注信息。
11.根据权利要求10所述的装置，其特征在于，
所述信息传输模块，用于对目标视频进行解析，获取所述目标视频的时序信息；
所述信息传输模块，用于根据所述目标视频的时序信息，确定与所述目标视频对应的画面区域参数；
所述信息传输模块，用于基于所述目标视频对应的画面区域参数，对所述目标视频进行图像帧抽取以获取所述目标视频对应的原始图像；
所述信息传输模块，用于确定所述原始图像中检测框的位置，并获取与所述检测框对应的真值标注信息。
12.根据权利要求10所述的装置，其特征在于，
所述信息处理模块，用于当所述目标视频为车辆行驶视频时，确定所述车辆中视频采集设备的视频录制角度；
所述信息处理模块，用于基于所述视频录制角度，对所述目标视频的不同视频帧中的目标对象进行检测，确定每一个视频帧中车辆检测框的位置；
所述信息处理模块，用于根据每一个视频帧中车辆检测框的位置，获得所述目标对象的车辆检测框位置集合；
所述信息处理模块，用于通过所述目标对象的车辆检测框位置集合确定所述原始图像中不同目标对象的真值标注信息集合。
13.根据权利要求10所述的装置，其特征在于，
所述信息处理模块，用于确定所述原始图像中任一像素点的第一横坐标参数、第一纵坐标参数和第一焦距信息；
所述信息处理模块，用于确定所述鱼眼图像的尺寸信息和第二焦距信息；
所述信息处理模块，用于基于所述鱼眼图像的尺寸信息和第二焦距信息，确定所述鱼眼图像中任一像素点的第二横坐标参数和第二纵坐标参数；
所述信息处理模块，用于通过所述第二横坐标参数和第二纵坐标参数以及所述第二焦距信息，确定所述原始图像转换为对应的鱼眼图像。
14.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至9任一项所述的图像处理方法。
15.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至9任一项所述的图像处理方法。
CN202011069556.8A 2020-09-30 2020-09-30 一种图像处理方法、装置、电子设备及存储介质 Active CN112200064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011069556.8A CN112200064B (zh) 2020-09-30 2020-09-30 一种图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011069556.8A CN112200064B (zh) 2020-09-30 2020-09-30 一种图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112200064A true CN112200064A (zh) 2021-01-08
CN112200064B CN112200064B (zh) 2021-07-30

Family

ID=74014385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011069556.8A Active CN112200064B (zh) 2020-09-30 2020-09-30 一种图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112200064B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797375A (zh) * 2023-02-06 2023-03-14 厦门农芯数字科技有限公司 基于鱼眼图像实现多组标签图像的生成方法、装置及设备
CN117011179A (zh) * 2023-08-09 2023-11-07 北京精英路通科技有限公司 一种图像转换方法、装置、电子设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257009A1 (en) * 2009-12-14 2012-10-11 Etu System, Ltd. Image Processing Device and Method for Matching Images Obtained from a Plurality of Wide-Angle Cameras
CN106534665A (zh) * 2015-09-15 2017-03-22 卡西欧计算机株式会社 图像显示装置和图像显示方法
CN106780374A (zh) * 2016-12-01 2017-05-31 哈尔滨工业大学 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法
CN107689027A (zh) * 2016-08-04 2018-02-13 松下电器（美国）知识产权公司 注释赋予方法、注释赋予系统以及存储有程序的记录介质
CN108638999A (zh) * 2018-05-16 2018-10-12 浙江零跑科技有限公司 一种基于360度环视输入的防碰撞预警系统及方法
CN109741241A (zh) * 2018-12-26 2019-05-10 斑马网络技术有限公司 鱼眼图像的处理方法、装置、设备和存储介质
CN110223235A (zh) * 2019-06-14 2019-09-10 南京天眼信息科技有限公司 一种基于多种特征点组合匹配的鱼眼监控图像拼接方法
CN110555402A (zh) * 2019-08-27 2019-12-10 北京纵目安驰智能科技有限公司 基于环视的拥堵跟车方法、系统、终端和存储介质
CN110728622A (zh) * 2019-10-22 2020-01-24 珠海研果科技有限公司 鱼眼图像处理方法、装置、电子设备及计算机可读介质
CN110796201A (zh) * 2019-10-31 2020-02-14 深圳前海达闼云端智能科技有限公司 一种标注框的修正方法、电子设备及存储介质
US20200134331A1 (en) * 2018-10-31 2020-04-30 Texas Instruments Incorporated Object detection for distorted images
CN111178236A (zh) * 2019-12-27 2020-05-19 清华大学苏州汽车研究院（吴江） 一种基于深度学习的车位检测方法
EP3690799A1 (en) * 2019-02-01 2020-08-05 Volvo Car Corporation Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
CN111507145A (zh) * 2019-01-31 2020-08-07 上海欧菲智能车联科技有限公司 嵌入式车载环视系统库位障碍物检测方法、系统及装置
CN111582080A (zh) * 2020-04-24 2020-08-25 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257009A1 (en) * 2009-12-14 2012-10-11 Etu System, Ltd. Image Processing Device and Method for Matching Images Obtained from a Plurality of Wide-Angle Cameras
CN106534665A (zh) * 2015-09-15 2017-03-22 卡西欧计算机株式会社 图像显示装置和图像显示方法
CN107689027A (zh) * 2016-08-04 2018-02-13 松下电器（美国）知识产权公司 注释赋予方法、注释赋予系统以及存储有程序的记录介质
CN106780374A (zh) * 2016-12-01 2017-05-31 哈尔滨工业大学 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法
CN108638999A (zh) * 2018-05-16 2018-10-12 浙江零跑科技有限公司 一种基于360度环视输入的防碰撞预警系统及方法
US20200134331A1 (en) * 2018-10-31 2020-04-30 Texas Instruments Incorporated Object detection for distorted images
CN109741241A (zh) * 2018-12-26 2019-05-10 斑马网络技术有限公司 鱼眼图像的处理方法、装置、设备和存储介质
CN111507145A (zh) * 2019-01-31 2020-08-07 上海欧菲智能车联科技有限公司 嵌入式车载环视系统库位障碍物检测方法、系统及装置
EP3690799A1 (en) * 2019-02-01 2020-08-05 Volvo Car Corporation Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
CN110223235A (zh) * 2019-06-14 2019-09-10 南京天眼信息科技有限公司 一种基于多种特征点组合匹配的鱼眼监控图像拼接方法
CN110555402A (zh) * 2019-08-27 2019-12-10 北京纵目安驰智能科技有限公司 基于环视的拥堵跟车方法、系统、终端和存储介质
CN110728622A (zh) * 2019-10-22 2020-01-24 珠海研果科技有限公司 鱼眼图像处理方法、装置、电子设备及计算机可读介质
CN110796201A (zh) * 2019-10-31 2020-02-14 深圳前海达闼云端智能科技有限公司 一种标注框的修正方法、电子设备及存储介质
CN111178236A (zh) * 2019-12-27 2020-05-19 清华大学苏州汽车研究院（吴江） 一种基于深度学习的车位检测方法
CN111582080A (zh) * 2020-04-24 2020-08-25 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797375A (zh) * 2023-02-06 2023-03-14 厦门农芯数字科技有限公司 基于鱼眼图像实现多组标签图像的生成方法、装置及设备
CN117011179A (zh) * 2023-08-09 2023-11-07 北京精英路通科技有限公司 一种图像转换方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112200064B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN111401558B (zh) 数据处理模型训练方法、数据处理方法、装置、电子设备
CN111816252B (zh) 一种药物筛选方法、装置及电子设备
CN111931678B (zh) 一种视频信息处理方法、装置、电子设备及存储介质
US11887619B2 (en) Method and apparatus for detecting similarity between multimedia information, electronic device, and storage medium
CN111681091B (zh) 基于时间域信息的金融风险预测方法、装置及存储介质
US11184174B2 (en) System and method for decentralized digital structured data storage, management, and authentication using blockchain
CN112200064B (zh) 一种图像处理方法、装置、电子设备及存储介质
US11341179B1 (en) Media authenticity analysis service
EP3851991B1 (en) System, device, and method of providing authenticity and rights verification mechanism for media content and for its derived versions
CN113255619B (zh) 车道线识别及定位方法、电子设备和计算机可读介质
CN111310770A (zh) 目标检测方法和装置
CN112037142A (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN112989186A (zh) 资讯信息推荐模型训练方法、装置、电子设备及存储介质
US20240061565A1 (en) Method and apparatus for generating image processing interface, device, and storage medium
CN110555482A (zh) 基于人工智能的低俗图片识别方法、装置及电子设备
CN109034214B (zh) 用于生成标记的方法和装置
CN110880157A (zh) 一种地图数据处理方法、装置、电子设备及存储介质
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
US20220300617A1 (en) Enhancement of trustworthiness of artificial intelligence systems through data quality assessment
CN115310977A (zh) 基于支付电子系统的支付方法、系统、设备和存储介质
US20230360006A1 (en) Digital and physical asset transfers based on authentication
CN115713560A (zh) 一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质
CN111324271B (zh) 一种多媒体信息处理方法、装置、电子设备及存储介质
Tang et al. C-14: assured timestamps for drone videos
CN113518061A (zh) 人脸识别中的数据传输方法、设备、装置、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40038187

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant