CN110910312A - 图像处理方法和装置、自动驾驶车辆、电子设备 - Google Patents
图像处理方法和装置、自动驾驶车辆、电子设备 Download PDFInfo
- Publication number
- CN110910312A CN110910312A CN201911146971.6A CN201911146971A CN110910312A CN 110910312 A CN110910312 A CN 110910312A CN 201911146971 A CN201911146971 A CN 201911146971A CN 110910312 A CN110910312 A CN 110910312A
- Authority
- CN
- China
- Prior art keywords
- images
- image
- pixel
- interpolated
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000013507 mapping Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000015654 memory Effects 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 19
- 238000007667 floating Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000009189 diving Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
Abstract
本申请公开了一种图像处理方法和装置、处理器、现场可编程门阵列、自动驾驶车辆、电子设备和计算机可读存储介质，涉及计算机领域。包括：接收图像采集装置发送的多个图像，根据预设的图像与待插值的像素点的映射关系，对多个图像进行查找处理，得到待插值的像素和与像素对应的权重，将得到的像素和权重发送给现场可编程门阵列，以使现场可编程门阵列对多个图像进行插值和拼接处理，得到多个图像的环视图像，通过基于映射关系从多个图像中查找到像素和权重，可以实现提高查找的效率，且，通过将像素和权重发送至现场可编程门阵列，由现场可编程门阵列执行后续插值等操作，可以实现节约资源，提高处理效率，以便实现缩短环视图像的生成时间。
Description
技术领域
本公开实施例涉及计算机技术领域，尤其涉及自动驾驶技术领域，具体涉及一种图像处理方法和装置、处理器、现场可编程门阵列、自动驾驶车辆、电子设备和计算机可读存储介质。
背景技术
随着人工智能(Artificial Intelligence，AI)的不断发展，自动驾驶技术作为AI的一大应用已经越来越受到广大开发人员的重视，而图像识别系统则为自动驾驶技术中非常重要的一环。如何做好图像的采集以及后续处理的工作，对自动驾驶车辆能否适应实时路况会产生巨大影响。
在现有技术中，由自动驾驶车辆的四个方向分别设置的相机对图像进行获取，由处理器基于图像和自动驾驶车辆的坐标以及相机的坐标进行计算，以便生成环视图。
发明内容
在本公开实施例中，提供了一种图像处理方法和装置、处理器、现场可编程门阵列、自动驾驶车辆、电子设备和计算机可读存储介质。
根据本公开实施例的一个方面，本公开实施例提供了一种图像处理方法，所述方法包括：
接收图像采集装置发送的多个图像，其中，所述多个图像包括所述图像采集装置采集到的对象的各个方位的图像；
根据预设的图像与待插值的像素点的映射关系，对所述多个图像进行查找处理，得到待插值的像素和与所述像素对应的权重；
将得到的所述像素和所述权重发送给现场可编程门阵列，以使所述现场可编程门阵列对所述多个图像进行插值和拼接处理，得到所述多个图像的环视图像。
在本公开实施例中，通过基于映射关系从多个图像中查找到像素和权重，可以实现提高查找的效率，且，通过将像素和权重发送至现场可编程门阵列，由现场可编程门阵列执行后续插值等操作，可以避免现有技术中查找和插值均由处理器操作时，处理器的占用率高的弊端，从而实现降低处理器的占用率，节约处理器的使用资源，提高处理器的处理效率，进而实现缩短环视图像的生成时间的技术效果。
在一些实施例中，所述根据预设的图像与待插值的像素点的映射关系，对所述多个图像进行查找处理，得到待插值的像素和与所述像素对应的权重包括：
根据所述映射关系确定所述多个图像的待插值像素点；
根据所述待插值像素点从所述多个图像中提取所述像素和与所述像素对应的权重。
在本公开实施例中，通过基于映射关系确定待插值像素点，以及基于确定出的待插值像素点从多个图像中提取相应的像素和权重，可以实现快速获取像素和权重的技术效果。
在一些实施例中，在所述根据预设的图像与待插值的像素点的映射关系之前，所述方法还包括：
对接收到的初始图像进行矫正处理，得到目标图像；
根据所述初始图像和所述目标图像确定矫正像素点；
将所述矫正像素点的坐标确定为待插值的像素点，并构建所述映射关系。
在本公开实施例中，通过预先对映射关系进行构建，可以确保当接收到多个图像时，快速的对多个图像的像素和权重进行获取，以便提高生成环视图的效率；且，通过对矫正处理的方式对待插值的像素点的确定，可以实现节约计算成本，并提高映射关系构建的可靠性的技术效果。
根据本公开实施例的另一个方面，本公开实施例还提供了一种图像处理方法，所述方法包括：
接收处理器发送的多个图像的待插值的像素，以及与所述像素对应的权重；
根据所述像素和所述权重对所述多个图像进行插值处理；
对插值处理后的多个图像进行拼接处理，得到所述多个图像的环视图像。
在本公开实施例中，对处理器发送的像素和权重进行接收，并基于像素和权重进行插值和拼接处理，以降低处理器的占用率，节约处理器的使用资源，以便提高对多个图像进行插值和拼接处理的效率，进而实现缩短环视图像的生成时间的技术效果。
在一些实施例中，所述根据所述像素和所述权重对所述多个图像进行插值处理包括：
确定所述权重的数据类型；
响应于所述数据类型为浮点型，将所述浮点型的权重转换为整型的权重；
根据所述像素和所述转换后的权重对所述多个图像进行插值处理。
在本公开实施例中，对权重的数据类型进行确定，并将浮点型的权重转换为整形的权重，以便通过优先进行量化的转换实现节约计算成本的技术效果。
根据本公开实施例的另一个方面，本公开实施例还提供了一种处理器，所述处理器包括：
第一接收模块，用于接收图像采集装置发送的多个图像，其中，所述多个图像包括所述图像采集装置采集到的对象的各个方位的图像；
查找模块，用于根据预设的图像与待插值的像素点的映射关系，对所述多个图像进行查找处理，得到待插值的像素和与所述像素对应的权重；
发送模块，用于将得到的所述像素和所述权重发送给现场可编程门阵列，以使所述现场可编程门阵列对所述多个图像进行插值和拼接处理，得到所述多个图像的环视图像。
在一些实施例中，所述查找模块用于，根据所述映射关系确定所述多个图像的待插值像素点，根据所述待插值像素点从所述多个图像中提取所述像素和与所述像素对应的权重。
在一些实施例中，所述处理器还包括：
构建模块，用于对接收到的初始图像进行矫正处理，得到目标图像，根据所述初始图像和所述目标图像确定矫正像素点，将所述矫正像素点的坐标确定为待插值的像素点，并构建所述映射关系。
根据本公开实施例的另一个方面，本公开实施例还提供了一种现场可编程门阵列，所述现场可编程门阵列包括：
第二接收模块，用于接收处理器发送的多个图像的待插值的像素，以及与所述像素对应的权重；
插值模块，用于根据所述像素和所述权重对所述多个图像进行插值处理；
拼接模块，用于对插值处理后的多个图像进行拼接处理，得到所述多个图像的环视图像。
在一些实施例中，所述插值模块用于，确定所述权重的数据类型，响应于所述数据类型为浮点型，将所述浮点型的权重转换为整型的权重，根据所述像素和所述转换后的权重对所述多个图像进行插值处理。
根据本公开实施例的另一个方面，本公开实施例还提供了一种图像处理装置，包括如上任一实施例所述的处理器，和如上任一实施例所述的现场可编程门阵列。
根据本公开实施例的另一个方面，本公开实施例还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一实施例。
根据本公开实施例的另一个方面，本公开实施例还提供了一种自动驾驶车辆，所述自动驾驶车辆包括：
车辆本体、图像采集装置和如上实施例所述的图像处理装置；或者，车辆本体、图像采集装置和如上实施例所述的电子设备。
根据本公开实施例的另一个方面，本公开实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上任一实施例所述的方法。
上述申请中的一个实施例具有如下优点或有益效果：因为采用预先对映射关系进行构建，可以确保当接收到多个图像时，快速的对多个图像的像素和权重进行获取，以便提高生成环视图的效率；且，因为采用对矫正处理的方式对待插值的像素点的确定，可以实现节约计算成本，并提高映射关系构建的可靠性的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本公开实施例的图像处理方法的场景示意图；
图2为本公开实施例的图像处理方法的流程示意图；
图3为本公开实施例的像素和权重的存储示意图；
图4为本公开实施例的根据预设的图像与待插值的像素点的映射关系，对多个图像进行查找处理，得到待插值的像素和与像素对应的权重的方法的流程示意图；
图5为本公开实施例的构建映射关系的流程示意图；
图6为本公开实施例的图像处理方法的流程示意图；
图7为本公开实施例的处理器的模块示意图；
图8为本公开另一实施例的处理器的模块示意图；
图9为本公开实施例的现场可编程门阵列的模块示意图；
图10为本公开实施例的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
请参阅图1，图1为本公开实施例的图像处理方法的场景示意图。
其中，图1为自动驾驶的应用场景。
在如图1所示的自动驾驶的应用场景中，自动驾驶车辆10上设置有四个图像采集装置(图中未示出)，且四个图像采集装置分别对自动驾驶车辆10的一个方位的图像进行采集。例如：
设置于自动驾驶车辆10前车身的图像采集装置采集自动驾驶车辆10的前方位的图像，设置于自动驾驶车辆10的后车身的图像采集装置采集自动驾驶车辆的后方位的图像，设置于自动驾驶车辆10的左车身的图像采集装置采集自动驾驶车辆的左方位的图像，设置于自动驾驶车辆10的右车身的图像采集装置采集自动驾驶车辆10的右方位的图像。
其中，采集的图像中包括地面定位元素，如车道线20和地面箭头30。当然，还可以包括车位角点、车位号和人行道等等(图中未示出)。
在一些实施例中，图像采集装置包括摄像机。
在一些实施例中，可以针对自动驾驶车辆10的同一方位设置多个图像采集装置，当然，也可以基于应用场景的需求在某一方位不设置图像采集装置。
当然，在一些实施例中，自动驾驶车辆10可以基于其所在的场地和即将执行的驾驶策略，选择开启设置于其上的至少部分图像采集装置。
当本公开实施例的图像处理方法应用于如图1所示的应用场景中时，由于通过本公开实施例的图像处理方法可以确保得到的环视图像的准确性和可靠性(具体可参见后续阐述)，因此，当自动驾驶车辆10基于环视图像执行相应的驾驶策略时，可以提高自动驾驶的安全性，其中，驾驶策略包括但不限于倒车、转弯、加速和减速等。
在另一些实施例中，本公开实施例的图像处理方法还可以应用于无人机飞行的应用场景。
其中，若本公开实施例的图像处理方法应用于无人机飞行的应用场景，则相对于上述自动驾驶的应用场景，无人机飞行的应用场景中图像采集装置的数量可增加两个，分别为设置于无人机上机身的图像采集装置，用于采集无人机上方位的图像，设置于无人机下机身的图像采集装置，用于采集无人机下方位的图像。
在另一些实施例中，本公开实施例的图像处理方法还可以应用于潜水设备潜水的应用场景和监控产品的视频监控等应用场景。
下面以具体地实施例对本公开的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。
一个方面，本公开实施例提供了一种适用于上述场景的图像处理方法。
请参阅图2，图2为本公开实施例的图像处理方法的流程示意图。
如图2所示，该方法包括：
S101：接收图像采集装置发送的多个图像，其中，多个图像包括图像采集装置采集到的对象的各个方位的图像。
其中，执行本公开实施例的图像处理方法的主体可以为图像处理装置，图像处理装置可以为处理器，且该处理器可以被配置在服务器中，也可以被配置在车载终端中，等等。
基于上述示例可知，若为自动驾驶的应用场景，则可以在自动驾驶车辆上设置四个图像采集装置，且四个图像采集装置分别对应不同的方位。若本公开实施例的执行主体为处理器，则处理器接收四个图像采集装置发送的四个图像。
当然，在另一些实施例中，也可将四个摄像机组成一个图像采集装置。当对图像采集装置进行启动时，组成图像采集装置的四个摄像机均进行启动，以便对相应方位的图像进行采集。
S102：根据预设的图像与待插值的像素点的映射关系，对多个图像进行查找处理，得到待插值的像素和与像素对应的权重。
在该步骤中，基于映射关系对每个图像进行查找处理，得到每个图像的待插值的像素和权重。即，基于映射关系从每个图像中查找相应的像素与权重。
S103：将得到的像素和权重发送给现场可编程门阵列，以使现场可编程门阵列对多个图像进行插值和拼接处理，得到多个图像的环视图像。
其中，现场可编程门阵列(Field－Programmable Gate Array，FPGA)与处理器进行通信连接，以便接收处理器发送的像素和权重。
在该步骤中，处理器将像素和权重发送至现场可编程门阵列，由现场可编程门阵列对多个图像进行插值和拼接处理，得到环视图像，可以降低处理器的占用率，提高计算效率。
本公开实施例提供了一种新的图像处理方法，该方法包括：接收图像采集装置发送的多个图像，其中，多个图像包括图像采集装置采集到的对象的各个方位的图像，根据预设的图像与待插值的像素点的映射关系，对多个图像进行查找处理，得到待插值的像素和与像素对应的权重，将得到的像素和权重发送给现场可编程门阵列，以使现场可编程门阵列对多个图像进行插值和拼接处理，得到多个图像的环视图像，通过基于映射关系从多个图像中查找到像素和权重，可以实现提高查找的效率，且，通过将像素和权重发送至现场可编程门阵列，由现场可编程门阵列执行后续插值等操作，可以避免现有技术中查找和插值均由处理器操作时，处理器的占用率高的弊端，从而实现降低处理器的占用率，节约处理器的使用资源，提高处理器的处理效率，进而实现缩短环视图像的生成时间的技术效果。
在一些实施例中，处理器将像素和权重存储至连续的地址空间(像素和权重的存储示意图可参见图3，其中，R1、G1和B1为待插值的像素点1的像素，W1为像素点1的像素对应权重，依此类推)，由现场可编程门阵列从连续的地址空间中提取像素和权重，并基于像素和权重进行插值处理。
结合图4可知，在一些实施例中，S102包括：
S1021：根据映射关系确定多个图像的待插值像素点。
在该步骤中，由于基于映射关系可以确定某图像与待插值的像素点的关系，因此，当接收到某个图像时，可以基于映射关系确定该图像对应的待插值的像素点。
S1022：根据待插值像素点从多个图像中提取像素和与像素对应的权重。
以左方位的图像为例对本公开实施例进行阐述如下：
从映射关系中查找与左方位的图像相同的图像，并从该映射关系中读取与该图像对应的待插值的像素点，并将该待插值的像素点确定为左方位的图像的待插值的像素点，从左方位的图像中查找到该像素点，该像素点即为需要进行插值处理的像素点，并从左方位图像中提取该待插值像素点的像素和权重。
其中，映射关系可以为映射表。
请参阅图5，图5为本公开实施例的构建映射关系的流程示意图。
如5所示，该方法包括：
S01：对接收到的初始图像进行矫正处理，得到目标图像。
其中，可通过现有技术中的矫正方式对初始图像进行矫正处理，如去畸变降采样。
S02：根据初始图像和目标图像确定矫正像素点。
在该步骤中，将初始图像和目标图像进行比对，得到对初始图像中矫正处理的矫正像素点。
S03：将矫正像素点的坐标确定为待插值的像素点，并构建映射关系。
在一些实施例中，初始图像可以为多个图像中的至少一个。
也就是说，在一些实施例中，可以根据数据库中存储的，或者之前处理过的图像构建映射关系。
在另一些实施例中，当接收到多个图像时，可以针对多个图像中的每个图像，分别进行矫正处理，以便确定每个图像对应的待插值像素点。
根据本公开实施例的另一个方面，本公开实施例提供了一种图像处理方法。
请参阅图6，图6为本公开实施例的图像处理方法的流程示意图。
如图6所示，该方法包括：
S201：接收处理器发送的多个图像的待插值的像素，以及与像素对应的权重。
基于上述示例可知，执行本公开实施例的图像处理方法的主体可以为现场可编程门阵列，且该现场可编程门阵列可与处理器一起被配置于服务器，或者车载终端，等等。
S202：根据像素和权重对多个图像进行插值处理。
在该步骤中，由场可编程门阵列对多个图像进行插值处理。例如：
场可编程门阵列分别对前方位、后方位、左方位和右方位的图像进行插值处理。
其中，插值处理是指在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点。以前方位的图像为例进行说明如下：
可编程门阵列接收处理器发送的与前方位的图像对应的像素和权重，基于像素和权重对前方位的图像的像素序列进行插值处理，即对左方位的图像的RGB值进行填充，以便确保插值处理后的左方位的图像的完整性和可靠性。
在一些实施例中，可通过双线性插值的方式进行插值处理。
基于上述示例可知，处理器可将像素和权重存储至连续的地址空间，可编程门阵列从连续的地址空间中读取像素和权重，并进行插值处理。
现以直接内存存取(Direct Memory Access，DMA)带宽256bit(32Byte)为例进行阐述如下：
可编程门阵列从直接内存存取(即连续的地址空间)中获取像素和权重，每个时钟周期可计算2个像素(1个像素对应32Byte)，每个像素由RGB3个通道组成，3个通道对应一个权重，即一个像素对应一个权重。也就是说，权重与像素点的像素有关，与通道无关。
其中，插值处理时的计算公式可参见式1，式1：
其中，插入的像素点为r，(Rr，Gr，Br)为r的像素，W为权重。
在一些实施例中，若插值结果表明插值后的像素点为两个图像的拼接区域的像素点，则对该像素点的像素进行加权求平均，以便得到拼接区域的插值的像素点的像素。例如：
左方位的图像和前方的位图像存在拼接区域，且对左方位图像进行插值处理得到像素点处于拼接区域，即该像素点既属于左方位图像，还属于前方位的图像，则确定该像素点在左方位的图像上对应的插值结果，与该像素点在前方位的图像上对应的插值结果进行加权求平均，并将计算结果确定为该像素点的像素。在一些实施例中，可对该拼接区域的像素点的像素和权重进行归一化处理，并将左方位的图像和前方位的图像的插值结果进行结合，如在左方位的图像的插值结果基础上结合前方位的图像的插值结果，得到最终的插值结果。
S203：对插值处理后的多个图像进行拼接处理，得到多个图像的环视图像。
其中，拼接处理可采用现有技术中的方式实现，此处不再赘述。
基于上述示例，在该步骤中，当对前方位的图像进行插值处理后，得到第一图像，对后方位的图像进行插值处理后，得到第二图像，对左方位的图像进行插值处理后，得到第三图像，对右方位的图像进行插值处理后，得到第四图像，将第一图像、第二图像、第三图像和第四图像进行拼接处理，得到环视图像。
在一些实施例中，在对插值处理后的多个图像进行拼接处理后，对拼接处理后的图像的拼接处进行边缘平滑处理，得到环视图像，以便进一步确保环视图像的准确性和可靠性。
在一些实施例中，S202包括：
S2021：确定权重的数据类型。
其中，数据类型包括浮点型和整形。
S2022：响应于数据类型为浮点型，将浮点型的权重转换为整型的权重。
该步骤可具体包括：对数据类型进行判断，若数据类型为浮点型，则执行S2022；若数据类型为整形，则执行根据像素和权重对多个图像进行插值处理的步骤。
在该步骤中，若数据类型为浮点型，则对浮点型的权重进行转换，转换为整形，以便提前进行量化处理，进而实现降低运算成本，提高效率的技术效果。
S2023：根据像素和转换后的权重对多个图像进行插值处理。
根据本公开实施例的另一个方面，本公开实施例还提供了一种处理器。
请参阅图7，图7为本公开实施例的处理器的模块示意图。
如图7所示，该处理器包括：
第一接收模块1，用于接收图像采集装置发送的多个图像，其中，所述多个图像包括所述图像采集装置采集到的对象的各个方位的图像；
查找模块2，用于根据预设的图像与待插值的像素点的映射关系，对所述多个图像进行查找处理，得到待插值的像素和与所述像素对应的权重；
发送模块3，用于将得到的所述像素和所述权重发送给现场可编程门阵列，以使所述现场可编程门阵列对所述多个图像进行插值和拼接处理，得到所述多个图像的环视图像。
在一些实施例中，所述查找模块2用于，根据所述映射关系确定所述多个图像的待插值像素点，根据所述待插值像素点从所述多个图像中提取所述像素和与所述像素对应的权重。
结合图8可知，在一些实施例中，该处理器还包括：
构建模块4，用于对接收到的初始图像进行矫正处理，得到目标图像，根据所述初始图像和所述目标图像确定矫正像素点，将所述矫正像素点的坐标确定为待插值的像素点，并构建所述映射关系。
根据本公开实施例的另一个方面，本公开实施例还公开了一种现场可编程门阵列。
请参阅图9，图9为本公开实施例的现场可编程门阵列的模块示意图。
如图9所示，该现场可编程门阵列包括：
第二接收模块11，用于接收处理器发送的多个图像的待插值的像素，以及与所述像素对应的权重；
插值模块12，用于根据所述像素和所述权重对所述多个图像进行插值处理；
拼接模块13，用于对插值处理后的多个图像进行拼接处理，得到所述多个图像的环视图像。
在一些实施例中，所述插值模块12用于，确定所述权重的数据类型，响应于所述数据类型为浮点型，将所述浮点型的权重转换为整型的权重，根据所述像素和所述转换后的权重对所述多个图像进行插值处理。
根据本公开实施例的另一个方面，本公开实施例还提供了一种图像处理装置，该装置包括如上任一实施例所述的处理器，和如上任一实施例所述的现场可编程门阵列。
根据本公开实施例的另一个方面，本公开还提供了一种电子设备和一种可读存储介质。
如图10所示，图10为本公开实施例的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示，该电子设备包括：一个或多个处理器101、存储器102，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器101为例。
存储器102即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像处理方法。
存储器102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像处理方法对应的程序指令/模块。处理器101通过运行存储在存储器102中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理方法。
存储器102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器102可选包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备还可以包括：输入装置103和输出装置104。处理器101、存储器102、输入装置103和输出装置104可以通过总线或者其他方式连接，图10中以通过总线连接为例。
输入装置103可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置104可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本公开实施例的另一个方面，本公开实施例还提供了一种自动驾驶车辆，所述自动驾驶车辆包括：
车辆本体、图像采集装置和如上任一实施例所述的图像处理装置；或者，
车辆本体、图像采集装置和如上任一实施例所述的电子设备。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种图像处理方法，其特征在于，所述方法包括：
接收图像采集装置发送的多个图像，其中，所述多个图像包括所述图像采集装置采集到的对象的各个方位的图像；
根据预设的图像与待插值的像素点的映射关系，对所述多个图像进行查找处理，得到待插值的像素和与所述像素对应的权重；
将得到的所述像素和所述权重发送给现场可编程门阵列，以使所述现场可编程门阵列对所述多个图像进行插值和拼接处理，得到所述多个图像的环视图像。
2.根据权利要求1所述的方法，其特征在于，所述根据预设的图像与待插值的像素点的映射关系，对所述多个图像进行查找处理，得到待插值的像素和与所述像素对应的权重包括：
根据所述映射关系确定所述多个图像的待插值像素点；
根据所述待插值像素点从所述多个图像中提取所述像素和与所述像素对应的权重。
3.根据权利要求1或2所述的方法，其特征在于，在所述根据预设的图像与待插值的像素点的映射关系之前，所述方法还包括：
对接收到的初始图像进行矫正处理，得到目标图像；
根据所述初始图像和所述目标图像确定矫正像素点；
将所述矫正像素点的坐标确定为待插值的像素点，并构建所述映射关系。
4.一种图像处理方法，其特征在于，所述方法包括：
接收处理器发送的多个图像的待插值的像素，以及与所述像素对应的权重；
根据所述像素和所述权重对所述多个图像进行插值处理；
对插值处理后的多个图像进行拼接处理，得到所述多个图像的环视图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述像素和所述权重对所述多个图像进行插值处理包括：
确定所述权重的数据类型；
响应于所述数据类型为浮点型，将所述浮点型的权重转换为整型的权重；
根据所述像素和所述转换后的权重对所述多个图像进行插值处理。
6.一种处理器，其特征在于，所述处理器包括：
第一接收模块，用于接收图像采集装置发送的多个图像，其中，所述多个图像包括所述图像采集装置采集到的对象的各个方位的图像；
查找模块，用于根据预设的图像与待插值的像素点的映射关系，对所述多个图像进行查找处理，得到待插值的像素和与所述像素对应的权重；
发送模块，用于将得到的所述像素和所述权重发送给现场可编程门阵列，以使所述现场可编程门阵列对所述多个图像进行插值和拼接处理，得到所述多个图像的环视图像。
7.根据权利要求6所述的处理器，其特征在于，所述查找模块用于，根据所述映射关系确定所述多个图像的待插值像素点，根据所述待插值像素点从所述多个图像中提取所述像素和与所述像素对应的权重。
8.根据权利要求6或7所述的处理器，其特征在于，所述处理器还包括：
构建模块，用于对接收到的初始图像进行矫正处理，得到目标图像，根据所述初始图像和所述目标图像确定矫正像素点，将所述矫正像素点的坐标确定为待插值的像素点，并构建所述映射关系。
9.一种现场可编程门阵列，其特征在于，所述现场可编程门阵列包括：
第二接收模块，用于接收处理器发送的多个图像的待插值的像素，以及与所述像素对应的权重；
插值模块，用于根据所述像素和所述权重对所述多个图像进行插值处理；
拼接模块，用于对插值处理后的多个图像进行拼接处理，得到所述多个图像的环视图像。
10.根据权利要求9所述的现场可编程门阵列，其特征在于，所述插值模块用于，确定所述权重的数据类型，响应于所述数据类型为浮点型，将所述浮点型的权重转换为整型的权重，根据所述像素和所述转换后的权重对所述多个图像进行插值处理。
11.一种图像处理装置，其特征在于，包括如权利要求6至8中任一项所述的处理器，和如权利要求9或10所述的现场可编程门阵列。
12.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－3中任一项所述的方法，或者，执行权利要求4或5中所述的方法。
13.一种自动驾驶车辆，其特征在于，所述自动驾驶车辆包括：
车辆本体、图像采集装置和如权利要求11所述的图像处理装置；或者，
车辆本体、图像采集装置和如权利要求12所述的电子设备。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1－6中任一项所述的方法或者，执行权利要求4或5中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911146971.6A CN110910312A (zh) | 2019-11-21 | 2019-11-21 | 图像处理方法和装置、自动驾驶车辆、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911146971.6A CN110910312A (zh) | 2019-11-21 | 2019-11-21 | 图像处理方法和装置、自动驾驶车辆、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110910312A true CN110910312A (zh) | 2020-03-24 |
Family
ID=69818476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911146971.6A Pending CN110910312A (zh) | 2019-11-21 | 2019-11-21 | 图像处理方法和装置、自动驾驶车辆、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110910312A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781302A (zh) * | 2021-08-25 | 2021-12-10 | 北京三快在线科技有限公司 | 多路图像拼接方法、系统、可读存储介质、及无人车 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101212680A (zh) * | 2006-12-30 | 2008-07-02 | 扬智科技股份有限公司 | 图像数据的存储器存取方法及系统 |
| CN101777193A (zh) * | 2010-02-03 | 2010-07-14 | 中国人民解放军国防科学技术大学 | 基于双向映射精确插值的折反射全向图柱面全景展开方法 |
| CN102663666A (zh) * | 2012-03-27 | 2012-09-12 | 中国人民解放军国防科学技术大学 | 基于fpga的二维图像重采样算法加速器 |
| WO2014054068A1 (ja) * | 2012-10-02 | 2014-04-10 | Hayashi Mitsuo | デジタル画像リサンプリング装置、方法、及びプログラム |
| CN106856000A (zh) * | 2015-12-09 | 2017-06-16 | 广州汽车集团股份有限公司 | 一种车载全景图像无缝拼接处理方法及系统 |
| CN107748915A (zh) * | 2017-11-02 | 2018-03-02 | 北京智能管家科技有限公司 | 深度神经网络dnn模型的压缩方法、装置、设备及介质 |
| CN107851327A (zh) * | 2015-11-06 | 2018-03-27 | 欧姆龙株式会社 | 粗细搜索方法及图像处理装置 |
| CN107948544A (zh) * | 2017-11-28 | 2018-04-20 | 长沙全度影像科技有限公司 | 一种基于fpga的多路视频拼接系统及方法 |
| CN108961147A (zh) * | 2018-06-11 | 2018-12-07 | 北京集创北方科技股份有限公司 | 一种数据处理方法和装置 |
| CN109493281A (zh) * | 2018-11-05 | 2019-03-19 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN208656938U (zh) * | 2018-04-27 | 2019-03-26 | 山东浪潮人工智能研究院有限公司 | 一种车载图像识别系统 |
| CN109690628A (zh) * | 2016-07-14 | 2019-04-26 | Lg伊诺特有限公司 | 图像产生方法和装置 |
-
2019
- 2019-11-21 CN CN201911146971.6A patent/CN110910312A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101212680A (zh) * | 2006-12-30 | 2008-07-02 | 扬智科技股份有限公司 | 图像数据的存储器存取方法及系统 |
| CN101777193A (zh) * | 2010-02-03 | 2010-07-14 | 中国人民解放军国防科学技术大学 | 基于双向映射精确插值的折反射全向图柱面全景展开方法 |
| CN102663666A (zh) * | 2012-03-27 | 2012-09-12 | 中国人民解放军国防科学技术大学 | 基于fpga的二维图像重采样算法加速器 |
| WO2014054068A1 (ja) * | 2012-10-02 | 2014-04-10 | Hayashi Mitsuo | デジタル画像リサンプリング装置、方法、及びプログラム |
| CN107851327A (zh) * | 2015-11-06 | 2018-03-27 | 欧姆龙株式会社 | 粗细搜索方法及图像处理装置 |
| CN106856000A (zh) * | 2015-12-09 | 2017-06-16 | 广州汽车集团股份有限公司 | 一种车载全景图像无缝拼接处理方法及系统 |
| CN109690628A (zh) * | 2016-07-14 | 2019-04-26 | Lg伊诺特有限公司 | 图像产生方法和装置 |
| CN107748915A (zh) * | 2017-11-02 | 2018-03-02 | 北京智能管家科技有限公司 | 深度神经网络dnn模型的压缩方法、装置、设备及介质 |
| CN107948544A (zh) * | 2017-11-28 | 2018-04-20 | 长沙全度影像科技有限公司 | 一种基于fpga的多路视频拼接系统及方法 |
| CN208656938U (zh) * | 2018-04-27 | 2019-03-26 | 山东浪潮人工智能研究院有限公司 | 一种车载图像识别系统 |
| CN108961147A (zh) * | 2018-06-11 | 2018-12-07 | 北京集创北方科技股份有限公司 | 一种数据处理方法和装置 |
| CN109493281A (zh) * | 2018-11-05 | 2019-03-19 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781302A (zh) * | 2021-08-25 | 2021-12-10 | 北京三快在线科技有限公司 | 多路图像拼接方法、系统、可读存储介质、及无人车 |
| CN113781302B (zh) * | 2021-08-25 | 2022-05-17 | 北京三快在线科技有限公司 | 多路图像拼接方法、系统、可读存储介质、及无人车 |
| WO2023024421A1 (zh) * | 2021-08-25 | 2023-03-02 | 北京三快在线科技有限公司 | 多路图像拼接方法、系统、可读存储介质、及无人车 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10110936B2 (en) | Web-based live broadcast | |
| CN111291650B (zh) | 自动泊车辅助的方法及装置 | |
| CN112541482B (zh) | 深度信息补全模型训练方法、装置、设备以及存储介质 | |
| CN111722245B (zh) | 定位方法、定位装置和电子设备 | |
| CN110675635B (zh) | 相机外参的获取方法、装置、电子设备及存储介质 | |
| EP3901914A1 (en) | Method, apparatus, system, and storage medium for calibrating exterior parameter of on-board camera | |
| CN112634343A (zh) | 图像深度估计模型的训练方法、图像深度信息的处理方法 | |
| JP7242738B2 (ja) | 点群を更新するための方法、点群を更新するための装置、電子機器、非一時的コンピュータ可読記憶媒体及びコンピュータプログラム | |
| CN111932464B (zh) | 超分辨率模型使用和训练方法、装置、设备及介质 | |
| EP3929813A2 (en) | Image processing method in remote control, device, apparatus and program product | |
| CN112767294B (zh) | 深度图像的增强方法、装置、电子设备以及存储介质 | |
| CN111191619B (zh) | 车道线虚线段的检测方法、装置、设备和可读存储介质 | |
| CN110910312A (zh) | 图像处理方法和装置、自动驾驶车辆、电子设备 | |
| CN111027195B (zh) | 仿真场景的生成方法、装置及设备 | |
| CN111833391A (zh) | 图像深度信息的估计方法及装置 | |
| CN113538252B (zh) | 图像矫正方法以及装置 | |
| CN112819874A (zh) | 深度信息处理方法、装置、设备、存储介质以及程序产品 | |
| CN114972415A (zh) | 机器人视觉跟踪方法、系统、电子设备及介质 | |
| CN112101284A (zh) | 图像识别方法、图像识别模型的训练方法、装置及系统 | |
| CN113160044B (zh) | 深度图像超分辨率方法、训练方法及装置、设备、介质 | |
| CN113255404A (zh) | 车道线识别方法、装置、电子设备和计算机可读存储介质 | |
| CN112419176B (zh) | 一种单回路输电通道导线正摄影像点云增强方法及装置 | |
| CN112214625B (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
| CN112214624B (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
| CN117557535A (zh) | 地图要素检测方法、装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200324 |