CN111192230B - 基于多相机的图像处理方法、装置、设备和可读存储介质 - Google Patents

基于多相机的图像处理方法、装置、设备和可读存储介质 Download PDF

Info

Publication number
CN111192230B
CN111192230B CN202010003247.4A CN202010003247A CN111192230B CN 111192230 B CN111192230 B CN 111192230B CN 202010003247 A CN202010003247 A CN 202010003247A CN 111192230 B CN111192230 B CN 111192230B
Authority
CN
China
Prior art keywords
camera
thread
image
cameras
running
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010003247.4A
Other languages
English (en)
Other versions
CN111192230A (zh
Inventor
谢术富
王军
王亮
万吉
马彧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010003247.4A priority Critical patent/CN111192230B/zh
Publication of CN111192230A publication Critical patent/CN111192230A/zh
Application granted granted Critical
Publication of CN111192230B publication Critical patent/CN111192230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于多相机的图像处理方法、装置、设备和可读存储介质，涉及感知和自动驾驶技术领域。具体实现方案为：至少一个图形处理器GPU通过运行至少两个线程并行对多个相机发送的图像进行预测；中央处理器CPU通过运行至少两个线程对图像的预测结果并行进行后处理；所述CPU对后处理结果进行融合。本实施例中的GPU和CPU并行对图像进行处理，在多相机的图像处理场景中，能够提高图像处理速度，避免数据丢失。

Description

基于多相机的图像处理方法、装置、设备和可读存储介质
技术领域
本申请涉及数据处理技术，尤其涉及感知和自动驾驶技术领域。
背景技术
无人车是一种通过电脑系统实现无人驾驶的智能汽车，其采用的自动驾驶技术包括以激光雷达为主的技术和以视觉为主的技术。
其中，以视觉为主的技术包括通过环视多相机对外界环境实时拍摄，针对各相机拍摄的图像依次进行处理并融合，实现视觉元素的检测。
目前，由于环视多相机的图像拍摄量巨大，图像处理较慢，极易造成数据丢失，进而无法实时、准确地感知周边环境，影响无人车的正常运行。
发明内容
本申请实施例提供了一种基于多相机的图像处理方法、装置、设备和可读存储介质，以在多相机的应用场景中，提高图像处理速度，避免数据丢失。
第一方面，本申请实施例提供了一种基于多相机的图像处理方法，包括：
至少一个图形处理器GPU通过运行至少两个线程并行对多个相机发送的图像进行预测；
中央处理器CPU通过运行至少两个线程对图像的预测结果并行进行后处理；
所述CPU对后处理结果进行融合。
本申请实施例中，GPU和CPU协同对图像进行预测、后处理和融合。在此过程中，GPU通过至少两个线程并行对图像进行预测，接着，CPU通过运行至少两个线程对GPU的预测结果并行进行后处理并对后处理结果进行融合，从而GPU和CPU均并行对图像进行预测。在多相机的图像处理场景中，能够提高图像处理速度，避免数据丢失。在应用于无人车中时，能够实时、准确地感知周边环境，保证无人车的正常运行。
可选的，至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测，包括：
至少一个GPU通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像进行预测。
上述申请中的一种可选实施方式提供了GPU对图像进行多线程并行预测的具体方式，至少一个GPU运行至少两个线程，每个线程对应至少一路相机，从而每个线程对对应相机发送的图像进行预测。本实施例通过为每个线程分配对应相机发送的图像，使得预测过程具有可维护性和可靠性。
可选的，CPU通过运行至少两个线程对图像的预测结果并行进行后处理，包括：
CPU通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像的预测结果进行后处理。
上述申请中的一种可选实施方式提供了CPU对图像进行多线程并行后处理的具体方式，CPU运行至少两个线程，每个线程对应至少一个相机，从而每个线性对对应相机发送的图像的预测结果进行后处理。进一步地，考虑到后处理步骤计算速度快，本实施例设置了与相机数据相等的线程数目，为每路相机设置一个线程来进行处理，使得后处理过程具有可维护性和可靠性。
可选的，所述CPU对后处理结果进行融合，包括：
所述CPU获取来源于主相机的目标后处理结果，以及所述目标后处理结果的目标时间戳；
所述CPU将与所述目标时间戳最近的其它相机的后处理结果以及所述目标后处理结果进行融合；
其中，所述其它相机是多相机中除主相机之外的相机。
上述申请中的一种可选实施方式采用基于主相机的后处理结果的触发机制，保证了主相机的后处理结果的优先处理，能够及时地将主相机的图像信息传递出去。
可选的，所述至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测，包括：
一个所述GPU通过运行第一线程对主相机发送的图像进行预测；
所述至少一个GPU通过运行其它线程对其它相机发送的图像进行预测；
其中，所述其它线程是至少两个线程中除第一线程之外的线程，所述其它相机是多相机中除主相机之外的相机。
上述申请中的一种可选实施方式，主相机的图像采用单个线程来处理，其它相机的图像采用剩余的线程处理，避免了主相机图像与其他相机图像在同一个线程上，会带来等待的情形，充分保证主相机的图像能够快速处理。
可选的，在所述至少一个GPU通过运行其它线程对其它相机发送的图像进行预测之前，还包括：
所述至少一个GPU根据线程分配指令，确定所述其它线程中各线程对应的相机信息；
所述至少一个GPU根据所述各线程对应的相机信息，为各线程分配对应相机发送的图像；
其中，所述各线程处理对应相机发送的图像时，总耗时之差在预设时长范围内。
上述申请中的一种可选实施方式，对于其它相机发送的图像来说，在其它线程中进行分配，使得各其它线程上预测图像的总耗时大致相等，有利于其它各线程的负载均衡。
可选的，在所述至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测之前，还包括：
所述至少一个GPU通过运行每个线程接收当前图像；
如果存在与所述当前图像的来源相机相同的历史图像，所述至少一个GPU通过运行所述来源相机对应的线程删除所述历史图像，存储所述当前图像。
上述申请中的一种可选实施方式，当当前图像到来时，GPU通过运行所述来源相机对应的线程删除历史图像，存储当前图像，保证图像预测的时效性。
可选的，如果存在与所述当前图像的来源相机相同的历史图像，所述至少一个GPU通过运行所述来源相机对应的线程删除所述历史图像，存储所述当前图像，包括：
所述至少一个GPU通过运行所述来源相机对应的线程查看与所述来源相机对应的消息队列中是否存在历史图像；
如果存在，所述至少一个GPU通过运行所述来源相机对应的线程在所述消息队列中删除所述历史图像并存储所述当前图像。
上述申请中的一种可选实施方式，通过为各相机设置消息队列，及时更新各相机的图像。
可选的，所述至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测，包括：
在所述至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测的过程中，如果存在对至少两个相机发送的图像进行预测的至少一个多任务线程，所述至少一个GPU通过运行所述至少一个多任务线程，对至少两个相机发送的图像按照轮询的方式进行预测。
上述申请中的一种可选实施方式，对所述多任务线程中，至少两路相机发送的图像按照轮询的方式进行预测，而不是按照各相机消息先入先出的顺序来预测，保证各相机图像处理的均匀性，避免由于图像到达的不均匀性导致图像处理存在偏差。
第二方面，本申请实施例还提供了一种基于多相机的图像处理装置，包括：
预测模块，用于通过运行至少两个线程并行对多个相机发送的图像进行预测；
后处理模块，用于通过运行至少两个线程对图像的预测结果并行进行后处理；
融合模块，用于对后处理结果进行融合。
第三方面，本申请实施例还提供了一种基于多相机的图像处理设备，包括：
与多个相机连接的至少一个GPU以及与所述至少一个GPU连接的CPU；
所述至少一个GPU，用于通过运行至少两个线程并行对多个相机发送的图像进行预测；
所述CPU，用于通过运行至少两个线程对图像的预测结果并行进行后处理，并对后处理结果进行融合。
第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使GPU和CPU执行如第一方面实施例所提供的一种基于多相机的图像处理方法。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1a是本申请实施例一中的一种基于多相机的图像处理方法的流程图；
图1b是本申请实施例一中的基于多相机的图像处理设备的结构图；
图2a是本申请实施例二中的一种基于多相机的图像处理方法的流程图；
图2b是本申请实施例二中的主相机和其它相机对应的后处理结果的队列的示意图；
图3是本申请实施例三中的一种基于多相机的图像处理方法的流程图；
图4是本申请实施例四中的一种基于多相机的图像处理方法的流程图；
图5是本申请实施例五中的一种基于多相机的图像处理装置的结构图；
图6是实现本申请实施例的基于多相机的图像处理方法的基于多相机的图像处理设备的结构图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
实施例一
图1a是本申请实施例一中的一种基于多相机的图像处理方法的流程图，本申请实施例适用于在多相机的应用场景中，对多个相机拍摄的图像进行处理的情况，该方法通过基于多相机的图像处理装置执行，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的基于多相机的图像处理设备中。
如图1a所示的一种基于多相机的图像处理方法，包括：
S101、至少一个图形处理器GPU通过运行至少两个线程并行对多个相机发送的图像进行预测。
可选地，基于多相机的图像处理设备中GPU的数量为至少一个。如果相机的数量比较少，如3个或4个，一个GPU就能高效地处理这些相机拍摄的图像，则在该设备中配置一个GPU即可。如果相机的数量比较多，如8个以上，需要多个GPU处理这些相机拍摄的图像，则在该设备中配置多个GPU。
每个图形处理器(Graphics Processing Unit，GPU)开启至少两个线程，以对多个相机发送的图像进行并行预测。
可选地，每个线程与相机具有对应关系，每个线程对应至少一个相机。GPU通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像进行预测。也就是，GPU中的线程可以预测一个相机发送的图像，也可以预测至少两个相机发送的图像，只要至少两个线程并行处理即可。本实施例通过为每个线程分配对应相机发送的图像，使得预测过程具有可维护性和可靠性。
在一应用场景中，10个相机以环视形式配置在无人车上，来拍摄无人车周围的图像。10个相机与基于多相机的图像处理设备通信连接，该设备中配置两个GPU。如图1b所示，每个GPU中开启两个线程，预测1线程和预测3线程对2个相机发送的图像进行预测，预测2线程和预测4线程对3个相机发送的图像进行预测。对于环视多相机的图像处理而言，预测操作主要为对每张图像进行障碍物或者视觉元素等的检测处理，例如输出障碍物的类型、尺寸和位置等。预测操作例如还可以输出一些障碍物的三维3D信息(如高度，离无人车自身的距离等)来帮助后续流程将二维信息还原回3D信息。预测处理也可以称为推断(Inference)处理，预测结果也可以称为推断结果。
S102、中央处理器CPU通过运行至少两个线程对图像的预测结果并行进行后处理。
中央处理器(central processing unit，CPU)开启至少两个线程，通过运行至少两个线程对图像的预测结果并行进行后处理。
可选地，CPU的每个线程与相机具有对应关系，每个线程对应至少一个相机。CPU通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像的预测结果进行后处理。本实施例通过为每个线程分配对应相机发送的图像的预测结果，后处理过程具有可维护性和可靠性。
可选地，尤其是多核CPU的处理速度已经能够满足现有环视多相机的图像后处理，基于多相机的图像处理设备中配置一个CPU即可。当然，随着相机数量的增加，可能也需要配置多个CPU来满足较高的图像处理速度。
接着上述应用场景，基于多相机的图像处理设备配置一个CPU，如图1b所示，CPU中开启10个线程，每个线程对对应相机发送的图像的预测结果进行后处理。对于环视多相机的图像处理而言，后处理操作主要为根据每张图像的预测结果和图像之间的连续帧信息，对预测结果进行例如平滑等处理，后处理操作还例如根据预测模块输出的3D信息基于一些几何推理来获取障碍物的3D位置及尺寸等三维信息。由此后处理操作可以得到障碍物或者视觉元素等的较为准确的检测结果。
S103、CPU对后处理结果进行融合。
CPU包括多相机融合模块，该模块用于对各相机对应的后处理结果进行融合。
可选地，CPU在接收到各相机对应的后处理结果后，进行缓存并处理，最后输出多相机的综合障碍物信息或者视觉元素信息。对于环视多相机的图像处理而言，CPU对各相机的障碍物或者视觉元素的检测结果进行融合，得到环视一周的障碍物信息或者视觉元素信息。
本实施例中，多个相机实时拍摄图像，并将图像依次发送至至少一个GPU和CPU中进行相应处理。CPU需要对多个相机拍摄的一组图像的后处理结果进行融合，再对多个相机拍摄的下一组图像的后处理结果进行融合，这是一个串行处理的过程，从而向用户展示多相机视角下的动态场景。
本申请实施例中，GPU和CPU协同对图像进行预测、后处理和融合。在此过程中，GPU通过至少两个线程并行对图像进行预测，接着，CPU通过运行至少两个线程对GPU的预测结果并行进行后处理并对后处理结果进行融合，从而GPU和CPU均并行对图像进行预测。在多相机的图像处理场景中，能够提高图像处理速度，避免数据丢失。在应用于无人车中时，能够实时、准确地感知周边环境，保证无人车的正常运行。
实施例二
图2a是本申请实施例二中的一种基于多相机的图像处理方法的流程图，本申请实施例在上述各实施例的技术方案的基础上进行了优化改进。
进一步的，将“CPU对后处理结果进行融合”细化为“CPU获取来源于主相机的目标后处理结果，以及目标后处理结果的目标时间戳；CPU将与目标时间戳最近的其它相机的后处理结果以及目标后处理结果进行融合；其中，其它相机是多相机中除主相机之外的相机”，通过采用基于主相机的后处理结果的触发机制，保证了主相机的后处理结果的优先处理，能够及时地将主相机的图像信息传递出去。
如图2a所示的一种基于多相机的图像处理方法，包括：
S201、至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测。
S202、CPU通过运行至少两个线程对图像的预测结果并行进行后处理。
S203、CPU获取来源于主相机的目标后处理结果，以及目标后处理结果的目标时间戳。
由于各相机的视角不同，障碍物或视觉元素的数目也有差异，这导致不同相机上的处理时延是不同的。因而在对后处理结果进行融合的阶段，各相机的后处理结果到达的顺序也不相同。基于此，从多个相机中指定一个优先处理的主相机，例如前向的相机。当来源于除主相机之外的其它相机的后处理结果时，缓存下来，暂不处理；而当来源于主相机的后处理结果(以下称目标后处理结果)到达时，获取目标后处理结果的时间戳(以下称目标时间戳)。
S204、CPU将与目标时间戳最近的其它相机的后处理结果以及目标后处理结果进行融合。其中，其它相机是多相机中除主相机之外的相机。
接着，CPU从缓存中提取与目标时间戳最近的其它相机的后处理结果，并与目标后处理结果进行融合。如图2b所示，4路相机中选定前向的相机为主相机，该相机的后处理结果的目标时间戳如图所示。其它相机的后处理结果的队列中，距离目标时间戳最近的后处理结果用虚线圈出。
本实施例采用基于主相机的后处理结果的触发机制，保证了主相机的后处理结果的优先处理，能够及时地将主相机的图像信息传递出去。
实施例三
图3是本申请实施例三中的一种基于多相机的图像处理方法的流程图，本申请实施例在上述各实施例的技术方案的基础上，进行了优化改进。
进一步的，将操作“至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测”细化为“一个GPU通过运行第一线程对主相机发送的图像进行预测；至少一个GPU通过运行其它线程对其它相机发送的图像进行预测；其中，其它线程是至少两个线程中除第一线程之外的线程，其它相机是多相机中除主相机之外的相机”；进一步地，在操作“至少一个GPU通过运行其它线程对其它相机发送的图像进行预测”之前，追加“至少一个GPU根据线程分配指令，确定其它线程中各线程对应的相机信息；至少一个GPU根据各线程对应的相机信息，为各线程分配对应相机发送的图像；其中，各线程处理对应相机发送的图像时，总耗时之差在预设时长范围内”，从而对主相机发送的图像进行单线程预测，对于其它相机发送的图像来说，在其它线程上进行分配，以保证总耗时均衡。
如图3所示的一种基于多相机的图像处理方法，包括：
S301、一个GPU通过运行第一线程对主相机发送的图像进行预测。
本实施例中，为了保证对主相机发送的图像进行优先处理，避免主相机图像与其他相机图像在同一个线程上，会带来等待的情形，选定任一个GPU采用第一线程单独对主相机发送的图像进行预测，充分保证主相机的图像能够快速处理。其中，第一线程是选定GPU中的任一线程。
S302、至少一个GPU根据线程分配指令，确定其它线程中各线程对应的相机信息；其它线程是至少两个线程中除第一线程之外的线程。
可选地，用户可以向基于多相机的图像处理设备发送线程分配指令，线程分配指令可以包括其它线程与其它相机信息的对应关系。相机信息包括相机编号、相机名称或者相机品牌等，用于唯一标识相机。可选地，线程分配指令还可以包括其它相机信息和其它线程的数量，由GPU根据其它相机信息和其它线程的数量自主确定其它各线程对应的相机信息。
可选地，其它线程与其它相机的对应关系可以是一对多或者一对一。
S303、至少一个GPU根据各线程对应的相机信息，为各线程分配对应相机发送的图像；其中，各线程处理对应相机发送的图像时，总耗时之差在预设时长范围内。
其中，预设时长范围可以根据实际情况灵活设置。
值得说明的是，当各相机发送的图像的处理时延发生变化时，例如原来处理慢的变快了，处理快的变慢了，可根据各线程处理时延大致相等的原则进行重新分配。具体地，根据各相机发送的图像的处理时延的变化情况重新生成线程分配指令，并将该线程分配指令发送给GPU。GPU从中确定其它线程中各线程对应的相机信息，并为各线程分配对应相机发送的图像，使得各线程处理对应相机发送的图像时，总耗时之差在预设时长范围内。
S304、至少一个GPU通过运行其它线程对其它相机发送的图像进行预测；其它相机是多相机中除主相机之外的相机。
S305、CPU通过运行至少两个线程对图像的预测结果并行进行后处理。
S306、CPU对后处理结果进行融合。
值得说明的是，S302-S303在S304之前执行即可，可以在S301之后、S304之前执行，也可以在S301之前执行。
本实施例中，其它相机发送的图像在其它线程中进行分配，使得各其它线程上预测图像的总耗时大致相等，有利于其它各线程的负载均衡，总体上达到了图像处理的高效性。
实施例四
图4是本申请实施例四中的一种基于多相机的图像处理方法的流程图，本申请实施例在上述各实施例的技术方案的基础上，进行了优化改进。
进一步的，在操作“至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测”之前追加“至少一个GPU通过运行每个线程接收当前图像；如果存在与当前图像的来源相机相同的历史图像，至少一个GPU通过运行所述来源相机对应的线程删除历史图像，存储当前图像”，以保证图像的时效性；进一步地，对操作“至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测”细化为“在至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测的过程中，如果存在对至少两个相机发送的图像进行预测的至少一个多任务线程，至少一个GPU通过运行至少一个多任务线程，对至少两个相机发送的图像按照轮询的方式进行预测”，通过轮询机制，保证各相机图像处理的均匀性。
如图4所示的一种基于多相机的图像处理方法，包括：
S401、至少一个GPU通过运行每个线程接收当前图像。
S402、判断是否存在与当前图像的来源相机相同的历史图像，如果存在，则跳转到S403，如果不存在，则跳转到S404。
S403、至少一个GPU通过运行来源相机对应的线程删除历史图像，存储当前图像。继续执行S405。
可选地，每个GPU中各线程为每个相机设置一个长度为1的消息队列，该消息队列包括了图像数据、产生时间戳等，这些内容可称为消息。GPU通过运行各线程接收到当前图像时，查看与来源相机对应的消息队列中是否存在历史图像。如果存在，GPU通过运行来源相机对应的线程在消息队列中删除历史图像并存储当前图像。如果不存在，直接将当前图像存储到消息队列中。这样，当有新的图像到来而历史图像未被处理完时，会将消息队列里历史图像丢弃而插入新的图像，可保证图像处理的时效性。
S404、至少一个GPU通过运行来源相机对应的线程存储当前图像。继续执行S405。
S405、在GPU通过运行至少两个线程并行对多个相机发送的图像进行预测的过程中，如果存在对至少两个相机发送的图像进行预测的至少一个多任务线程，至少一个GPU通过运行至少一个多任务线程，对至少两个相机发送的图像按照轮询的方式进行预测。
如果一线程对至少两路相机发送的图像进行预测，该线程称为多任务线程。如果一线程对一路相机(例如主相机)发送的图像进行预测，该线程称为单任务线程。GPU中启动的至少两个线程可以均是多任务线程，或者均是单任务线程，或者既包括单任务线程又包括多任务线程。
当GPU启动的线程包括多任务线程时，通过运行多任务线程，对至少两个相机发送的图像按照轮询的方式进行预测。在一示例中，多任务线程负责对相机1、2和3发送的图像进行预测，相机2和相机3对应的消息队列中存在图像，而相机1对应的消息队列中不存在图像，则不进行预测。待相机1对应的消息队列中存在图像时，对该图像进行预测，再对相机2对应的消息队列中的图像进行预测，然后对相机3对应的消息队列中的图像进行预测。这一轮结束后，再对相机1对应的消息队列中的图像进行预测，以此类推。
S406、CPU通过运行至少两个线程对图像的预测结果并行进行后处理。
S407、CPU对后处理结果进行融合。
本实施例中，对处于同一个线程的多路相机发送的图像而言，为保证各相机图像处理的均匀性，采用了轮询的方式，而不是按照各相机的图像先入先出建立的队列来处理。轮询方式能够保证相机的图像处理的均匀性，而先入先出方式会由于相机的图像到达的不均匀性会导致处理存在偏差。
实施例五
图5是本申请实施例五中的一种基于多相机的图像处理装置的结构图，本申请实施例适用于在多相机的应用场景中，对多个相机拍摄的图像进行处理的情况，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的基于多相机的图像处理设备中。
如图5所示的一种基于多相机的图像处理装置500，包括：预测模块501、后处理模块502和融合模块503；其中，
预测模块501，用于通过运行至少两个线程并行对多个相机发送的图像进行预测；
后处理模块502，用于通过运行至少两个线程对图像的预测结果并行进行后处理；
融合模块503，用于对后处理结果进行融合。
本申请实施例中，GPU和CPU协同对图像进行预测、后处理和融合。在此过程中，GPU通过至少两个线程并行对图像进行预测，接着，CPU通过运行至少两个线程对GPU的预测结果并行进行后处理并对后处理结果进行融合，从而GPU和CPU均并行对图像进行预测。在多相机的图像处理场景中，能够提高图像处理速度，避免数据丢失。在应用于无人车中时，能够实时、准确地感知周边环境，保证无人车的正常运行。
进一步地，预测模块501在通过运行至少两个线程并行对多个相机发送的图像进行预测时，具体用于：通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像进行预测。
进一步地，后处理模块502在通过运行至少两个线程对图像的预测结果并行进行后处理时，具体用于：通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像的预测结果进行后处理。
进一步地，融合模块503具体用于：获取来源于主相机的目标后处理结果，以及目标后处理结果的目标时间戳；将与目标时间戳最近的其它相机的后处理结果以及目标后处理结果进行融合；其中，其它相机是多相机中除主相机之外的相机。
进一步地，预测模块501在通过运行至少两个线程并行对多个相机发送的图像进行预测时，具体用于：通过运行第一线程对主相机发送的图像进行预测；通过运行其它线程对其它相机发送的图像进行预测；其中，其它线程是至少两个线程中除第一线程之外的线程，其它相机是多相机中除主相机之外的相机。
进一步地，该装置还包括分配模块，用于在通过运行其它线程对其它相机发送的图像进行预测之前，根据线程分配指令，确定其它线程中各线程对应的相机信息；根据各线程对应的相机信息，为各线程分配对应相机发送的图像；其中，各线程处理对应相机发送的图像时，总耗时之差在预设时长范围内。
进一步地，该装置还包括存储模块，用于在通过运行至少两个线程并行对多个相机发送的图像进行预测之前，用于通过运行每个线程接收当前图像；如果存在与所述当前图像的来源相机相同的历史图像，通过运行所述来源相机对应的线程删除所述历史图像，存储所述当前图像。可选的，如果存在与当前图像的来源相机相同的历史图像，通过运行所述来源相机对应的线程删除历史图像，存储当前图像，包括：通过运行所述来源相机对应的线程查看与来源相机对应的消息队列中是否存在历史图像；如果存在，通过运行所述来源相机对应的线程在消息队列中删除历史图像并存储当前图像。
进一步地，预测模块501在通过运行至少两个线程并行对多个相机发送的图像进行预测时，具体用于：在至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测的过程中，如果存在对至少两路相机发送的图像进行预测的至少一个多任务线程，至少一个GPU通过运行至少一个多任务线程，对至少两个相机发送的图像按照轮询的方式进行预测。
上述基于多相机的图像处理装置可执行本申请任意实施例所提供的基于多相机的图像处理方法，具备执行基于多相机的图像处理方法相应的功能模块和有益效果。
实施例六
根据本申请的实施例，本申请还提供了一种基于多相机的图像处理设备和一种可读存储介质。
如图6所示，是实现本申请实施例的基于多相机的图像处理方法的基于多相机的图像处理设备的框图。基于多相机的图像处理设备600包括：与多个相机700连接的至少一个GPU601以及与至少一个GPU601连接的CPU602。
在一应用场景中，多个相机以环视形式配置在无人车上，来拍摄无人车周围的图像。多个相机与该设备600通信连接。该设备600可以配置在无人车内或者无人车外。
可选地，该设备600中GPU601的数量为至少一个。图6所示的基于多相机的图像处理设备600包括2个GPU601。
其中，至少一个GPU601用于通过运行至少两个线程并行对多个相机700发送的图像进行预测，CPU602用于通过运行至少两个线程对图像的预测结果并行进行后处理，并对后处理结果进行融合。
根据本申请实施例的技术方案，通过GPU601和CPU602协同对图像进行预测、后处理和融合。在此过程中，至少一个GPU601通过至少两个线程并行对图像进行预测，接着，CPU602通过运行至少两个线程对GPU601的预测结果进行后处理并对后处理结果进行融合，从而GPU601和CPU602均并行对图像进行预测，在多相机的图像处理场景中，能够提高图像处理速度，避免数据丢失。在应用于无人车中时，能够实时、准确地感知周边环境，保证无人车的正常运行。
可选地，所述至少一个GPU601，具体用于通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像进行预测。
可选地，CPU602在通过运行至少两个线程对图像的预测结果并行进行后处理时，具体用于通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像的预测结果进行后处理。
可选地，CPU602在对后处理结果进行融合时，具体用于获取来源于主相机的目标后处理结果，以及所述目标后处理结果的目标时间戳，将与所述目标时间戳最近的其它相机的后处理结果以及所述目标后处理结果进行融合；其中，所述其它相机是多相机中除主相机之外的相机。
可选地，一个所述GPU601，具体用于通过运行第一线程对主相机发送的图像进行预测；至少一个GPU601，具体用于通过运行其它线程对其它相机发送的图像进行预测；其中，所述其它线程是至少两个线程中除第一线程之外的线程，所述其它相机是多相机中除主相机之外的相机。
可选地，至少一个GPU601在通过运行其它线程对其它相机发送的图像进行预测之前，还用于根据线程分配指令，确定所述其它线程中各线程对应的相机信息，根据所述各线程对应的相机信息，为各线程分配对应相机发送的图像；其中，所述各线程处理对应相机发送的图像时，总耗时之差在预设时长范围内。
可选地，至少一个GPU601在通过运行至少两个线程并行对多个相机发送的图像进行预测之前，还用于通过运行每个线程接收当前图像，如果存在与所述当前图像的来源相机相同的历史图像，通过运行所述来源相机对应的线程删除所述历史图像，存储所述当前图像。
可选地，至少一个GPU601在如果存在与所述当前图像的来源相机相同的历史图像，通过运行所述来源相机对应的线程删除所述历史图像，存储所述当前图像时，具体用于通过运行所述来源相机对应的线程查看与所述来源相机对应的消息队列中是否存在历史图像，如果存在，通过运行所述来源相机对应的线程在所述消息队列中删除所述历史图像并存储所述当前图像。
可选地，至少一个GPU，具体用于在通过运行至少两个线程并行对多个相机发送的图像进行预测的过程中，如果存在对至少两个相机发送的图像进行预测的至少一个多任务线程，通过运行所述至少一个多任务线程，对至少两个相机发送的图像按照轮询的方式进行预测。
基于多相机的图像处理设备可以执行本申请提供的上述各方法实施例，并具备各方法实施例的技术效果。
进一步地，该基于多相机的图像处理设备还包括：一个或多个存储器(未示出)。多个存储器可分别配置在GPU601和CPU602中，或者，存储器可通过高速接口或低速接口连接GPU601和CPU602。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。GPU601和CPU602可以对在该设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。
存储器即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使GPU601和CPU602执行本申请所提供的基于多相机的图像处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的基于多相机的图像处理方法。
存储器作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的基于多相机的图像处理的方法对应的程序指令/模块(例如，附图5所示的包括预测模块501、后处理模块502和融合模块503)。GPU601和CPU602通过运行存储在存储器中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的基于多相机的图像处理的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现基于多相机的图像处理方法的设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器可选包括相对于GPU601和CPU602远程设置的存储器，这些远程存储器可以通过网络连接至执行基于多相机的图像处理方法的设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
进一步地，执行基于多相机的图像处理方法的设备还可以包括：输入装置(未示出)和输出装置(未示出)。GPU601和CPU602、存储器、输入装置和输出装置可以通过总线或者其他方式连接。
输入装置可接收输入的数字或字符信息，以及产生与执行基于多相机的图像处理方法的设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种基于多相机的图像处理方法，其特征在于，包括：
至少一个图形处理器GPU通过运行至少两个线程并行对多个相机发送的图像进行预测；
中央处理器CPU通过运行至少两个线程对图像的预测结果并行进行后处理；
所述CPU获取来源于主相机的目标后处理结果，以及所述目标后处理结果的目标时间戳；
所述CPU将与所述目标时间戳最近的其它相机的后处理结果以及所述目标后处理结果进行融合；其中，所述其它相机是多相机中除主相机之外的相机。
2.根据权利要求1所述的方法，其特征在于，所述至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测，包括：
所述至少一个GPU通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像进行预测。
3.根据权利要求1或2所述的方法，其特征在于，所述CPU通过运行至少两个线程对图像的预测结果并行进行后处理，包括：
所述CPU通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像的预测结果进行后处理。
4.根据权利要求1或2所述的方法，其特征在于，所述至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测，包括：
一个所述GPU通过运行第一线程对主相机发送的图像进行预测；
所述至少一个GPU通过运行其它线程对其它相机发送的图像进行预测；
其中，所述其它线程是至少两个线程中除第一线程之外的线程，所述其它相机是多相机中除主相机之外的相机。
5.根据权利要求4所述的方法，其特征在于，在所述至少一个GPU通过运行其它线程对其它相机发送的图像进行预测之前，还包括：
所述至少一个GPU根据线程分配指令，确定所述其它线程中各线程对应的相机信息；
所述至少一个GPU根据所述各线程对应的相机信息，为各线程分配对应相机发送的图像；
其中，所述各线程处理对应相机发送的图像时，总耗时之差在预设时长范围内。
6.根据权利要求1或2所述的方法，其特征在于，在所述至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测之前，还包括：
所述至少一个GPU通过运行每个线程接收当前图像；
如果存在与所述当前图像的来源相机相同的历史图像，所述至少一个GPU通过运行所述来源相机对应的线程删除所述历史图像，存储所述当前图像。
7.根据权利要求6所述的方法，其特征在于，所述如果存在与所述当前图像的来源相机相同的历史图像，所述至少一个GPU通过运行所述来源相机对应的线程删除所述历史图像，存储所述当前图像，包括：
所述至少一个GPU通过运行所述来源相机对应的线程查看与所述来源相机对应的消息队列中是否存在历史图像；
如果存在，所述至少一个GPU通过运行所述来源相机对应的线程在所述消息队列中删除所述历史图像并存储所述当前图像。
8.根据权利要求1或2所述的方法，其特征在于，所述至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测，包括：
在所述至少一个GPU通过运行至少两个线程并行对多个相机发送的图像进行预测的过程中，如果存在对至少两个相机发送的图像进行预测的至少一个多任务线程，所述至少一个GPU通过运行所述至少一个多任务线程，对至少两个相机发送的图像按照轮询的方式进行预测。
9.一种基于多相机的图像处理装置，其特征在于，包括：
预测模块，用于通过运行至少两个线程并行对多个相机发送的图像进行预测；
后处理模块，用于通过运行至少两个线程对图像的预测结果并行进行后处理；
获取模块，用于CPU获取来源于主相机的目标后处理结果，以及所述目标后处理结果的目标时间戳；
融合模块，用于所述CPU将与所述目标时间戳最近的其它相机的后处理结果以及所述目标后处理结果进行融合；其中，所述其它相机是多相机中除主相机之外的相机。
10.一种基于多相机的图像处理设备，其特征在于，包括：
与多个相机连接的至少一个GPU以及与所述至少一个GPU连接的CPU；
所述至少一个GPU，用于通过运行至少两个线程并行对多个相机发送的图像进行预测；
所述CPU，用于获取来源于主相机的目标后处理结果，以及所述目标后处理结果的目标时间戳；
所述CPU，用于将与所述目标时间戳最近的其它相机的后处理结果以及所述目标后处理结果进行融合；其中，所述其它相机是多相机中除主相机之外的相机。
11.根据权利要求10所述的设备，其特征在于，
所述至少一个GPU，具体用于通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像进行预测。
12.根据权利要求10或11所述的设备，其特征在于，
所述CPU在通过运行至少两个线程对图像的预测结果并行进行后处理时，具体用于通过运行至少两个线程中的每个线程，对该每个线程对应的相机发送的图像的预测结果进行后处理。
13.根据权利要求10或11所述的设备，其特征在于，
一个所述GPU，具体用于通过运行第一线程对主相机发送的图像进行预测；
所述至少一个GPU，具体用于通过运行其它线程对其它相机发送的图像进行预测；
其中，所述其它线程是至少两个线程中除第一线程之外的线程，所述其它相机是多相机中除主相机之外的相机。
14.根据权利要求13所述的设备，其特征在于，
所述至少一个GPU，还用于根据线程分配指令，确定所述其它线程中各线程对应的相机信息，根据所述各线程对应的相机信息，为各线程分配对应相机发送的图像；
其中，所述各线程处理对应相机发送的图像时，总耗时之差在预设时长范围内。
15.根据权利要求10或11所述的设备，其特征在于，
所述至少一个GPU，还用于通过运行每个线程接收当前图像，如果存在与所述当前图像的来源相机相同的历史图像，通过运行所述来源相机对应的线程删除所述历史图像，存储所述当前图像。
16.根据权利要求15所述的设备，其特征在于，
所述至少一个GPU在如果存在与所述当前图像的来源相机相同的历史图像，通过运行所述来源相机对应的线程删除所述历史图像，存储所述当前图像时，具体用于通过运行所述来源相机对应的线程查看与所述来源相机对应的消息队列中是否存在历史图像，如果存在，通过运行所述来源相机对应的线程在所述消息队列中删除所述历史图像并存储所述当前图像。
17.根据权利要求10或11所述的设备，其特征在于，
所述至少一个GPU，具体用于在通过运行至少两个线程并行对多个相机发送的图像进行预测的过程中，如果存在对至少两个相机发送的图像进行预测的至少一个多任务线程，通过运行所述至少一个多任务线程，对至少两个相机发送的图像按照轮询的方式进行预测。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使GPU和CPU执行如权利要求1-8任一项所提供的一种基于多相机的图像处理方法。
CN202010003247.4A 2020-01-02 2020-01-02 基于多相机的图像处理方法、装置、设备和可读存储介质 Active CN111192230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010003247.4A CN111192230B (zh) 2020-01-02 2020-01-02 基于多相机的图像处理方法、装置、设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010003247.4A CN111192230B (zh) 2020-01-02 2020-01-02 基于多相机的图像处理方法、装置、设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111192230A CN111192230A (zh) 2020-05-22
CN111192230B true CN111192230B (zh) 2023-09-19

Family

ID=70710664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010003247.4A Active CN111192230B (zh) 2020-01-02 2020-01-02 基于多相机的图像处理方法、装置、设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111192230B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738469A (zh) * 2020-12-25 2021-04-30 浙江合众新能源汽车有限公司 图像处理方法、设备、系统和计算机可读介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169093A (zh) * 2010-12-20 2011-08-31 湖南大学 基于图形处理器的多工位机器视觉成像检测方法及系统
CN102981467A (zh) * 2012-11-13 2013-03-20 上海交通大学 一站式综合信息集成监控系统
CN103916632A (zh) * 2014-04-03 2014-07-09 北京工业大学 一种飞机跑道实时全景视频远程监控系统
CN104184961A (zh) * 2013-05-22 2014-12-03 辉达公司 用于生成全景视频的移动设备和系统
CN105592269A (zh) * 2016-03-03 2016-05-18 北京志光伯元科技有限公司 运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法
CN105827976A (zh) * 2016-04-26 2016-08-03 北京博瑞空间科技发展有限公司 基于gpu的视频采集与处理装置及系统
CN108734630A (zh) * 2017-04-17 2018-11-02 英特尔公司 线程串行化、分布式并行编程、和运行时间扩展
CN109074281A (zh) * 2016-04-28 2018-12-21 华为技术有限公司 图形处理器任务的分配方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940724B2 (en) * 2016-09-13 2018-04-10 Intelligent Fusion Technology, Inc. Method and system for detecting multiple moving objects from real-time aerial images
US10852419B2 (en) * 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169093A (zh) * 2010-12-20 2011-08-31 湖南大学 基于图形处理器的多工位机器视觉成像检测方法及系统
CN102981467A (zh) * 2012-11-13 2013-03-20 上海交通大学 一站式综合信息集成监控系统
CN104184961A (zh) * 2013-05-22 2014-12-03 辉达公司 用于生成全景视频的移动设备和系统
CN103916632A (zh) * 2014-04-03 2014-07-09 北京工业大学 一种飞机跑道实时全景视频远程监控系统
CN105592269A (zh) * 2016-03-03 2016-05-18 北京志光伯元科技有限公司 运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法
CN105827976A (zh) * 2016-04-26 2016-08-03 北京博瑞空间科技发展有限公司 基于gpu的视频采集与处理装置及系统
CN109074281A (zh) * 2016-04-28 2018-12-21 华为技术有限公司 图形处理器任务的分配方法和装置
CN108734630A (zh) * 2017-04-17 2018-11-02 英特尔公司 线程串行化、分布式并行编程、和运行时间扩展

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A hybrid CPU-GPU system for stitching large scale optical microscopy images;Blattner T等;《2014 43rd International Conference on Parallel Processing》;20141231;1-9 *
基于图像拼接的车载全景视频智能感知技术研究;李树光;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20191215(第12期);正文第5.1-5.2节 *
基于多传感器的隧道异常自动巡检系统的设计;江仲庆;《应用技术学报》;20191231;第19卷(第3期);260-266 *

Also Published As

Publication number Publication date
CN111192230A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN111432070B (zh) 应用投屏控制方法、装置、设备和介质
KR101666416B1 (ko) 우선순위 기반의 컨텍스트 선점
CN111694647A (zh) 用于自动驾驶车辆的任务调度方法、设备及存储介质
US9270783B2 (en) System and method for photorealistic imaging workload distribution
US20170047069A1 (en) Voice processing method and device
US9525892B2 (en) Video image distribution method
CN111459645B (zh) 一种任务调度方法、装置和电子设备
US20220239714A1 (en) Network resource oriented data communication
CN111192230B (zh) 基于多相机的图像处理方法、装置、设备和可读存储介质
CN111782365A (zh) 定时任务处理方法、装置、设备及存储介质
CN111142669A (zh) 二维界面到三维场景的交互方法、装置、设备及存储介质
CN101147126A (zh) 使用多线程架构的视觉和图形数据处理
CN114077508A (zh) 一种远程图像渲染方法、装置、电子设备以及介质
CN112055953B (zh) 在云环境中管理多播服务链
CN115080209A (zh) 系统资源调度方法、装置、电子设备及存储介质
CN105049240A (zh) 一种消息处理方法及服务器
JP6921277B2 (ja) 目標検出追跡方法、装置、電子デバイス、記憶媒体、及びプログラム
EP3752262B1 (en) Asynchronous camera frame allocation
CN111696134A (zh) 一种目标检测方法、装置以及电子设备
CN112735140B (zh) 数据处理方法、装置、电子设备和存储介质
CN111447561B (zh) 车辆的图像处理系统
KR101591061B1 (ko) 실시간 처리를 위한 전송 라이브러리 시스템 및 그 시스템에서의 송／수신 방법
CN115379193B (zh) 一种三维数据传输方法、系统及芯片
US9588924B2 (en) Hybrid request/response and polling messaging model
CN111831391B (zh) 自动驾驶仿真系统之中预置容器的管理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant