CN109345443A - 数据处理方法和装置、计算设备及存储介质 - Google Patents

数据处理方法和装置、计算设备及存储介质 Download PDF

Info

Publication number
CN109345443A
CN109345443A CN201811222629.5A CN201811222629A CN109345443A CN 109345443 A CN109345443 A CN 109345443A CN 201811222629 A CN201811222629 A CN 201811222629A CN 109345443 A CN109345443 A CN 109345443A
Authority
CN
China
Prior art keywords
thread
level
processing
tree
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811222629.5A
Other languages
English (en)
Inventor
李侃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Xishanju Shiyou Technology Co Ltd
Zhuhai Kingsoft Online Game Technology Co Ltd
Original Assignee
Chengdu Xishanju Shiyou Technology Co Ltd
Zhuhai Kingsoft Online Game Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xishanju Shiyou Technology Co Ltd, Zhuhai Kingsoft Online Game Technology Co Ltd filed Critical Chengdu Xishanju Shiyou Technology Co Ltd
Priority to CN201811222629.5A priority Critical patent/CN109345443A/zh
Publication of CN109345443A publication Critical patent/CN109345443A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书提供一种数据处理方法和装置、计算设备及存储介质，其中所述数据处理方法包括：通过主线程对树状存储结构的非叶子节点对应的数据进行业务处理；创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理；将所述多个二级线程的处理结果发送给所述主线程。

Description

数据处理方法和装置、计算设备及存储介质
技术领域
本说明书涉及计算机技术领域，特别涉及一种数据处理方法和装置、计算设备及存储介质。
背景技术
现有技术的视锥裁剪过程在计算时，是由CPU进行单线程计算的，而数据是以四叉树或者八叉树形式存储于节点中，并需要进行数据的读取与计算操作，涉及到大量数据寻址的开销，加上需要进行计算处理的数据量较大，总体上的计算效率较低，很大程度上影响了画质的高清度。
发明内容
有鉴于此，本说明书实施例提供了一种数据处理方法和装置、计算设备及存储介质，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：
通过主线程对树状存储结构的非叶子节点对应的数据进行业务处理；
创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理；
将所述多个二级线程的处理结果发送给所述主线程。
可选地，所述树状存储结构是二叉树存储结构或四叉树存储结构或八叉树存储结构。
可选地，所述业务处理是图像的视锥裁剪处理。
可选地，所述创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理包括：
创建与所述树状存储结构的叶子节点数量相同或与所述树状存储结构的叶子节点数量不同的二级线程；
根据预设的业务处理策略，确定每个所述二级线程对所述树状存储结构的一个或多个叶子节点的数据进行业务处理。
可选地，所述多个二级线程为并发同步的二级线程，所述多个二级线程在当前步骤中，同一时间开始进行业务处理，所述多个二级线程在当前步骤中的业务处理均完成后，所述多个二级线程在同一时间开启下一步骤。
可选地，所述将所述多个二级线程的处理结果发送给所述主线程包括：
判断每个所述二级线程是否完成对应的树状存储结构的叶子节点的数据的业务处理；
若判断结果为是则将所述多个二级线程的处理结果发送至所述主线程。
根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：
第一处理模块：被配置为通过主线程对树状存储结构的非叶子节点对应的数据进行业务处理；
第二处理模块：被配置为创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理；
发送模块：被配置为将所述多个二级线程的处理结果发送给所述主线程。
可选地，所述树状存储结构是二叉树存储结构或四叉树存储结构或八叉树存储结构。
可选地，所述业务处理是图像的视锥裁剪处理。
可选地，所述第二处理模块包括：
创建单元：被配置为创建与所述树状存储结构的叶子节点数量相同或与所述树状存储结构的叶子节点数量不同的二级线程；
处理单元：被配置为根据预设的业务处理策略，确定每个所述二级线程对所述树状存储结构的一个或多个叶子节点的数据进行业务处理。
可选地，所述多个二级线程为并发同步的二级线程，所述多个二级线程在当前步骤中，同一时间开始进行业务处理，所述多个二级线程在当前步骤中的业务处理均完成后，所述多个二级线程在同一时间开启下一步骤。
可选地，所述发送模块包括：
判断单元：被配置为判断每个所述二级线程是否完成对应的树状存储结构的叶子节点的数据的业务处理；
发送单元：被配置为若判断结果为是则将所述多个二级线程的处理结果发送至所述主线程。
根据本说明书实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述数据处理方法的步骤。
根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述数据处理方法的步骤。
本说明书实施例中，通过主线程对树状存储结构的非叶子节点对应的数据进行业务处理，创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理，将所述多个二级线程的处理结果发送给所述主线程，所述树状存储结构的叶子节点的数量要比非叶子节点的数量多，创建与所述树状存储结构的叶子节点数量相同的二级线程，对所述树状存储结构的叶子节点的数据进行并行同步处理，提高了业务处理效率。
附图说明
图1是本申请实施例提供的计算设备的结构图；
图2是本申请实施例提供的数据处理方法的流程图；
图3是本申请实施例提供的数据处理方法的示意图；
图4是本申请实施例提供的数据处理方法的示意图；
图5是本申请实施例提供的数据处理装置的模块图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请中，提供了一种数据处理方法和装置、计算设备及存储介质，在下面的实施例中逐一进行详细说明。
图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。
计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
其中，处理器120可以执行图2所示数据处理方法中的步骤。图2是示出了根据本说明书一实施例的数据处理方法的流程图，包括步骤202至步骤206。
步骤202：通过主线程对树状存储结构的非叶子节点对应的数据进行业务处理。
本说明书一实施例中，所述树状存储结构是二叉树存储结构或四叉树存储结构或八叉树存储结构。
本说明书一实施例中，所述业务处理是图像的视锥裁剪处理。
例如，本说明书一实施例中，对存储于四叉树节点中的数据进行业务处理，四叉树存储结构包括三层，第三层为叶子节点，第二层为叶子节点的父节点，第一层为第二层节点的父节点，主线程对四叉树存储结构的非叶子节点对应的数据进行视锥裁剪处理，所述非叶子节点对应的数据为存储于第一层与第二层的数据。
通过所述主线程对树状存储结构的非叶子节点对应的数据进行视锥裁剪处理，减少主线程数据量的处理。
步骤204：创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理。
本说明书一实施例中，所述创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理包括：
创建与所述树状存储结构的叶子节点数量相同或与所述树状存储结构的叶子节点数量不同的二级线程；
根据预设的业务处理策略，确定每个所述二级线程对所述树状存储结构的一个或多个叶子节点的数据进行业务处理。
本说明书一实施例中，所述创建与所述树状存储结构的叶子节点数量相同的二级线程，包括创建的每个二级线程对应一个叶子节点的数据进行业务处理，例如，二级线程1对应叶子节点1的数据进行业务处理。创建与所述树状存储结构的叶子节点数量不同的二级线程，包括创建的每个二级线程对应多个叶子节点的数据进行业务处理，例如，二级线程2对应叶子节点2、叶子节点3、叶子节点4的数据进行业务处理，创建的二级线程可以是树状存储结构的叶子节点数量相同，或者是树状存储结构的叶子节点的数量的二分之一、三分之一、四分之一等的二级线程。
本说明书一实施例中，所述多个二级线程为并发同步的二级线程，所述多个二级线程在当前步骤中，同一时间开始进行业务处理，所述多个二级线程在当前步骤中的业务处理均完成后，所述多个二级线程在同一时间开启下一步骤。
例如，本说明书一实施例中，对存储于四叉树节点中的数据进行业务处理，四叉树存储结构包括三层，第三层包括四个叶子节点，分别为叶子节点1、叶子节点2、叶子节点3与叶子节点4，第二层为叶子节点的父节点，第一层为第二层节点的父节点，根据所述第三层的四个叶子节点，创建与四个叶子节点数量相同的四个二级线程，分比为二级线程1、二级线程2、二级线程3与二级线程4，根据预设的业务处理策略，每个所述二级线程对四叉树存储结构的一个叶子节点的数据进行业务处理，二级线程1对叶子节点1的数据进行业务处理，二级线程2对叶子节点2的数据进行业务处理，二级线程3对叶子节点3的数据进行业务处理，二级线程4对叶子节点4的数据进行业务处理，并全部所述二级线程对全部所述叶子节点在业务处理时间上均同步进行。
由于所述树状存储结构的叶子节点的数量比非叶子节点的数量大的多，创建多个所述二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理，提高了业务处理效率。
步骤206：将所述多个二级线程的处理结果发送给所述主线程。
本说明书一实施例中，所述将所述多个二级线程的处理结果发送给所述主线程包括：
判断每个所述二级线程是否完成对应的树状存储结构的叶子节点的数据的业务处理；
若判断结果为是则将所述多个二级线程的处理结果发送至所述主线程。
通过全部所述二级线程完成全部对应的树状存储结构的叶子节点的数据的业务处理，将所述多个二级线程的处理结果发送至主线程。
通过主线程对树状存储结构的非叶子节点对应的数据进行业务处理，创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理，将所述多个二级线程的处理结果发送给所述主线程，所述树状存储结构的叶子节点的数量要比非叶子节点的数量多，创建与所述树状存储结构的叶子节点数量相同的二级线程，对所述树状存储结构的叶子节点的数据进行并行同步处理，很大程度上提高了数据处理速度，提高了视锥裁剪的处理效率，满足了高清画质的需求。
图3是示出了本说明书一实施例的数据处理方法，该数据处理方法以对四叉树存储结构为例进行描述，该数据处理方法包括：
步骤302：主线程对四叉树存储结构的非叶子节点对应的数据进行视锥裁剪处理。
例如，本说明书一实施例中，对存储于四叉树节点中的数据进行视锥裁剪处理，四叉树存储结构包括三层，第三层为叶子节点，第二层为叶子节点的父节点，第一层为第二层节点的父节点，主线程对四叉树存储结构的非叶子节点对应的数据进行视锥裁剪处理，所述非叶子节点对应的数据为存储于第一层与第二层的数据。
通过所述主线程对树状存储结构的非叶子节点对应的数据进行视锥裁剪处理，减少主线程处理的数据量。
步骤304：创建与所述主线程对应的二级线程，通过所述二级线程对所述四叉树存储结构的叶子节点对应的数据进行并行业务处理。
根据预设的业务处理策略，确定每个所述二级线程对所述四叉树存储结构的一个叶子节点的数据进行视锥裁剪处理。
例如，本说明书一实施例中，对存储于四叉树节点中的数据进行视锥裁剪处理，四叉树存储结构包括三层，第三层包括四个叶子节点，分别为叶子节点A、叶子节点B、叶子节点C与叶子节点D，第二层为叶子节点的父节点，分别为节点11、节点12、节点13与节点14，第一层为第二层节点的父节点为节点1，根据所述第三层的四个叶子节点，创建与四个叶子节点数量相同的四个二级线程，分比为二级线程1、二级线程2、二级线程3与二级线程4，根据预设的业务处理策略，每个所述二级线程对四叉树存储结构的一个叶子节点的数据进行视锥裁剪处理，二级线程1对叶子节点A的数据进行视锥裁剪处理，二级线程2对叶子节点B的数据进行视锥裁剪处理，二级线程3对叶子节点C的数据进行视锥裁剪处理，二级线程4对叶子节点D的数据进行视锥裁剪处理，并全部所述二级线程对全部所述叶子节点在视锥裁剪处理时间上均同步进行。
由于所述四叉树存储结构的叶子节点的数量比非叶子节点的数量大的多，创建四个所述二级线程，通过所述四个二级线程对所述四叉树存储结构的叶子节点对应的数据进行并行业务处理，提高了视锥裁剪处理效率。
步骤306：将所述四个二级线程的处理结果发送至主线程
通过全部所述二级线程完成全部对应的四叉树存储结构的叶子节点的数据的视锥裁剪处理，将所述四个二级线程的处理结果发送至主线程。
通过主线程对四叉树存储结构的非叶子节点对应的数据进行视锥裁剪处理，创建与所述主线程对应的四个二级线程，通过所述四个二级线程对所述四叉树存储结构的叶子节点对应的数据进行并行视锥裁剪处理，将所述四个二级线程的处理结果发送给所述主线程，所述四叉树存储结构的叶子节点的数量要比非叶子节点的数量多，创建与所述四叉树存储结构的叶子节点数量相同的二级线程，对所述树状存储结构的叶子节点的数据进行并行同步处理，很大程度上提高了数据处理速度，提高了视锥裁剪的处理效率，满足了高清画质的需求。
图4是示出了本说明书一实施例的数据处理方法，该数据处理方法以对四叉树存储结构为例进行描述，该数据处理方法包括：
本说明书一实施例中，对存储于四叉树节点中的数据进行业务处理，四叉树存储结构包括三层，第三层包括四个叶子节点，分别为叶子节点1、叶子节点2、叶子节点3与叶子节点4，第二层为叶子节点的父节点，第一层为第二层节点的父节点，通过主线程对四叉树存储结构的非叶子节点对应的数据进行业务处理，所述非叶子节点对应的数据为存储于第一层与第二层的数据。根据所述第三层的四个叶子节点，创建与四个叶子节点数量相同的四个二级线程，分比为二级线程1、二级线程2、二级线程3与二级线程4，根据预设的业务处理策略，每个所述二级线程对四叉树存储结构的一个叶子节点的数据进行业务处理，二级线程1对叶子节点1的数据进行业务处理，二级线程2对叶子节点2的数据进行业务处理，二级线程3对叶子节点3的数据进行业务处理，二级线程4对叶子节点4的数据进行业务处理，并全部所述二级线程对全部所述叶子节点在业务处理时间上均同步进行。
步骤402：在t0时刻，四个二级线程同时开始进行第一业务处理，每个二级线程进行第一业务处理时创建三个等待信息，完成第一业务处理时创建三个完成信息，并将三个完成信息发送至其它二级线程，根据每个二级线程接收到三个完成信息，将创建的三个等待信息进行消除，确定最后完成第一业务处理的是二级线程1，时间为t1时刻，将t1时刻确定为该步骤的四个二级线程第一业务处理的结束时间。
二级线程1对叶子节点1进行第一业务处理，二级线程2对叶子节点2进行第一业务处理，二级线程3对叶子节点3进行第一业务处理，二级线程4对叶子节点4进行第一业务处理，在t1时刻确定四个二级线程全部完成第一业务处理，所述t1时间根据四个二级线程中最后完成第一业务处理的二级线程1确定。
通过多个二级线程在同一时刻进行业务处理，每个二级线程进行业务处理时，创建多个等待信息，完成业务处理时创建多个完成信息，将多个完成信息发送至其它二级线程，每个完成信息与一个二级线程相对应，所述多个完成信息与多个等待信息数量相等，当每个二级线程接收到与等待信息数量相等的完成信息时，消除等待信息，确定该步骤中全部二级线程完成全部业务处理，并根据最后完成业务处理的二级线程时间，确定为该步骤的多个二级线程业务处理的结束时间，这种多线程之间相互通信的方法可以通过wait(等待)/notify(通知)或CountDownlatch(同步工具类)实现。
步骤404：在t2时刻，四个二级线程同时开始进行第二业务处理，每个二级线程进行第二业务处理时创建三个等待信息，完成第二业务处理时创建三个完成信息，并将三个完成信息发送至其它二级线程，根据每个二级线程接收到三个完成信息，将创建的三个等待信息进行消除，确定最后完成第二业务处理的是二级线程3，时间为t3时刻，将t3时刻确定为该步骤的四个二级线程第二业务处理的结束时间。
当四个二级线程在t1时刻完成第一业务处理，每个二级线程不需要准备工作时，此时t1时刻可以作为下一步骤的第二业务处理的开始时间，此时t1等于t2。
当四个二级线程在t1时刻完成第一业务处理，每个二级线程需要准备工作时，此时t1时刻不可以作为下一步骤的第二业务处理的开始时间，根据每个二级线程准备工作完成后，在t2时刻四个二级线程同时开始进行第二业务处理。
二级线程1对叶子节点1的数据进行第二业务处理，二级线程2对叶子节点2的数据进行第二业务处理，二级线程3对叶子节点3的数据进行第二业务处理，二级线程4对叶子节点4的数据进行第二业务处理，在t3时刻确定四个二级线程全部完成第二业务处理，所述t3时间根据四个二级线程中最后完成第二业务处理的二级线程确定。
步骤406：在t4时刻，四个二级线程同时开始进行第三业务处理，每个二级线程进行第三业务处理时创建三个等待信息，完成第三业务处理时创建三个完成信息，并将三个完成信息发送至其它二级线程，根据每个二级线程接收到三个完成信息，将创建的三个等待信息进行消除，确定最后完成第三业务处理的是二级线程4，时间为t5时刻，将t5时刻确定为该步骤的四个二级线程第三业务处理的结束时间。
当四个二级线程在t3时刻完成第二业务处理，每个二级线程不需要准备工作时，此时t3时刻可以作为下一步骤的第三业务处理的开始时间，此时t3等于t4。
当四个二级线程在t3时刻完成第二业务处理，每个二级线程需要准备工作时，此时t3时刻不可以作为下一步骤的第三业务处理的开始时间，根据每个二级线程准备工作完成后，在t4时刻四个二级线程同时开始进行第三业务处理。
二级线程1对叶子节点1进行第三业务处理，二级线程2对叶子节点2进行第三业务处理，二级线程3对叶子节点3进行第三业务处理，二级线程4对叶子节点4进行第三业务处理，在t5时刻确定四个二级线程全部完成第三业务处理，所述t5时间根据四个二级线程中最后完成第三业务处理的二级线程确定。
以此类推，直到确定四个二级线程完成业务处理的全部步骤。
通过全部所述二级线程完成全部对应的四叉树存储结构的叶子节点的数据的业务处理，将所述四个二级线程的处理结果发送至主线程。
通过主线程对四叉树存储结构的非叶子节点对应的数据进行业务处理，创建与所述主线程对应的四个二级线程，通过所述四个二级线程对所述四叉树存储结构的叶子节点对应的数据进行并行业务处理，将所述四个二级线程的处理结果发送给所述主线程，所述四叉树存储结构的叶子节点的数量要比非叶子节点的数量多，创建与所述四叉树存储结构的叶子节点数量相同的二级线程，对所述四叉树存储结构的叶子节点的数据进行并行业务处理，很大程度上提高了数据处理速度，提高了业务处理效率。
与上述方法实施例相对应，本说明书还提供了数据处理装置实施例，图5示出了本说明书一实施例的数据处理装置的模块图。如图5所示，该装置500包括：
第一处理模块502：被配置为通过主线程对树状存储结构的非叶子节点对应的数据进行业务处理；
第二处理模块504：被配置为创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理；
发送模块506：被配置为将所述多个二级线程的处理结果发送给所述主线程。
一个可选的实施例中，所述树状存储结构是二叉树存储结构或四叉树存储结构或八叉树存储结构。
一个可选的实施例中，所述业务处理是图像的视锥裁剪处理。
一个可选的实施例中，所述第二处理模块包括：
创建单元：被配置为创建与所述树状存储结构的叶子节点数量相同或与所述树状存储结构的叶子节点数量不同的二级线程；
处理单元：被配置为根据预设的业务处理策略，确定每个所述二级线程对所述树状存储结构的一个或多个叶子节点的数据进行业务处理。
一个可选的实施例中，所述多个二级线程为并发同步的二级线程，所述多个二级线程在当前步骤中，同一时间开始进行业务处理，所述多个二级线程在当前步骤中的业务处理均完成后，所述多个二级线程在同一时间开启下一步骤。
一个可选的实施例中，所述发送模块包括：
判断单元：被配置为判断每个所述二级线程是否完成对应的树状存储结构的叶子节点的数据的业务处理；
发送单元：被配置为若判断结果为是则将所述多个二级线程的处理结果发送至所述主线程。
本说明书一实施例中还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述数据处理方法的步骤。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种数据处理方法，其特征在于，包括：
通过主线程对树状存储结构的非叶子节点对应的数据进行业务处理；
创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理；
将所述多个二级线程的处理结果发送给所述主线程。
2.根据权利要求1所述的方法，其特征在于，所述树状存储结构是二叉树存储结构或四叉树存储结构或八叉树存储结构。
3.根据权利要求1所述的方法，其特征在于，所述业务处理是图像的视锥裁剪处理。
4.根据权利要求1所述的方法，其特征在于，所述创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理包括：
创建与所述树状存储结构的叶子节点数量相同或与所述树状存储结构的叶子节点数量不同的二级线程；
根据预设的业务处理策略，确定每个所述二级线程对所述树状存储结构的一个或多个叶子节点的数据进行业务处理。
5.根据权利要求4所述的方法，其特征在于，所述多个二级线程为并发同步的二级线程，所述多个二级线程在当前步骤中，同一时间开始进行业务处理，所述多个二级线程在当前步骤中的业务处理均完成后，所述多个二级线程在同一时间开启下一步骤。
6.根据权利要求1所述的方法，其特征在于，所述将所述多个二级线程的处理结果发送给所述主线程包括：
判断每个所述二级线程是否完成对应的树状存储结构的叶子节点的数据的业务处理；
若判断结果为是则将所述多个二级线程的处理结果发送至所述主线程。
7.一种数据处理装置，其特征在于，包括：
第一处理模块：被配置为通过主线程对树状存储结构的非叶子节点对应的数据进行业务处理；
第二处理模块：被配置为创建与所述主线程对应的多个二级线程，通过所述多个二级线程对所述树状存储结构的叶子节点对应的数据进行并行业务处理；
发送模块：被配置为将所述多个二级线程的处理结果发送给所述主线程。
8.根据权利要求7所述的装置，其特征在于，所述树状存储结构是二叉树存储结构或四叉树存储结构或八叉树存储结构。
9.根据权利要求7所述的装置，其特征在于，所述业务处理是图像的视锥裁剪处理。
10.根据权利要求7所述的装置，其特征在于，所述第二处理模块包括：
创建单元：被配置为创建与所述树状存储结构的叶子节点数量相同或与所述树状存储结构的叶子节点数量不同的二级线程；
处理单元：被配置为根据预设的业务处理策略，确定每个所述二级线程对所述树状存储结构的一个或多个叶子节点的数据进行业务处理。
11.根据权利要求10所述的装置，其特征在于，所述多个二级线程为并发同步的二级线程，所述多个二级线程在当前步骤中，同一时间开始进行业务处理，所述多个二级线程在当前步骤中的业务处理均完成后，所述多个二级线程在同一时间开启下一步骤。
12.根据权利要求7所述的装置，其特征在于，所述发送模块包括：
判断单元：被配置为判断每个所述二级线程是否完成对应的树状存储结构的叶子节点的数据的业务处理；
发送单元：被配置为若判断结果为是则将所述多个二级线程的处理结果发送至所述主线程。
13.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现该指令被处理器执行时实现权利要求1-6任意一项所述方法的步骤。
14.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-6任意一项所述方法的步骤。
CN201811222629.5A 2018-10-19 2018-10-19 数据处理方法和装置、计算设备及存储介质 Pending CN109345443A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811222629.5A CN109345443A (zh) 2018-10-19 2018-10-19 数据处理方法和装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811222629.5A CN109345443A (zh) 2018-10-19 2018-10-19 数据处理方法和装置、计算设备及存储介质

Publications (1)

Publication Number Publication Date
CN109345443A true CN109345443A (zh) 2019-02-15

Family

ID=65310549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811222629.5A Pending CN109345443A (zh) 2018-10-19 2018-10-19 数据处理方法和装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN109345443A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139003A (zh) * 2020-01-19 2021-07-20 上海静客网络科技有限公司 一种基于spark的大数据处理方法
CN113282444A (zh) * 2020-02-20 2021-08-20 北京京东振世信息技术有限公司 用于业务流程调试的可视化方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440238A (zh) * 2012-03-09 2013-12-11 辉达公司 图形处理单元中的3d加速结构的完全并行适当地构造
CN107391243A (zh) * 2017-06-30 2017-11-24 广东神马搜索科技有限公司 线程任务处理设备、装置及方法
CN108509284A (zh) * 2018-03-08 2018-09-07 华南理工大学 一种应用于函数式编程的树状模型任务管理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440238A (zh) * 2012-03-09 2013-12-11 辉达公司 图形处理单元中的3d加速结构的完全并行适当地构造
CN107391243A (zh) * 2017-06-30 2017-11-24 广东神马搜索科技有限公司 线程任务处理设备、装置及方法
CN108509284A (zh) * 2018-03-08 2018-09-07 华南理工大学 一种应用于函数式编程的树状模型任务管理系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139003A (zh) * 2020-01-19 2021-07-20 上海静客网络科技有限公司 一种基于spark的大数据处理方法
CN113282444A (zh) * 2020-02-20 2021-08-20 北京京东振世信息技术有限公司 用于业务流程调试的可视化方法和装置
CN113282444B (zh) * 2020-02-20 2023-09-22 北京京东振世信息技术有限公司 用于业务流程调试的可视化方法和装置

Similar Documents

Publication Publication Date Title
CN109635989B (zh) 一种基于多源异构数据融合的社交网络链路预测方法
CN110348571A (zh) 一种神经网络模型训练方法、装置、芯片和系统
CN109450936A (zh) 一种基于Kafka的异构通信协议的适配方法及装置
CN110995488B (zh) 一种基于分层参数服务器的多机构协同学习系统及方法
WO2020244233A1 (zh) 一种数据存储方法及装置
CN102521364B (zh) 一种图上两点间最短路径查询方法
CN109981751A (zh) 一种文件传输方法及系统、计算机设备及存储介质
CN107196848B (zh) 消息推送方法及装置
CN116450312A (zh) 面向流水线并行训练的调度策略确定方法及系统
CN109345443A (zh) 数据处理方法和装置、计算设备及存储介质
CN107395674A (zh) 一种应用系统访问异构区块链平台的方法及装置
CN106856438A (zh) 一种网络业务实例化的方法、装置及nfv系统
CN109831518A (zh) 一种地图数据下载方法及装置、计算设备和存储介质
CN109656898A (zh) 基于节点度的分布式大规模复杂社团探测方法及装置
JP6599065B1 (ja) 機械学習モデル共創システム、機械学習モデル共創方法、及びプログラム
CN117172633B (zh) 一种面向工业互联网平台的制造服务子图仿真方法及系统
CN111582663A (zh) Nqi质量服务的方法、平台、用户终端及可读存储介质
CN110515975A (zh) 风险检测系统、方法以及装置
CN114579311B (zh) 执行分布式计算任务的方法、装置、设备以及存储介质
CN110058945A (zh) 基于割点分割机制的大规模图并行计算最大流的加速算法
CN109254844A (zh) 一种大规模图的三角形计算方法
CN115237597A (zh) 一种数据处理方法、装置、系统、设备及存储介质
CN115100231A (zh) 一种区域边界的确定方法和装置
WO2014023228A1 (zh) 一种社交网络中联系人分组的方法及装置
CN109981361B (zh) 一种传播网络中感染源的确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215

RJ01 Rejection of invention patent application after publication