CN111951024A - 举报信息处理方法、设备及计算机可读介质 - Google Patents
举报信息处理方法、设备及计算机可读介质 Download PDFInfo
- Publication number
- CN111951024A CN111951024A CN202010725422.0A CN202010725422A CN111951024A CN 111951024 A CN111951024 A CN 111951024A CN 202010725422 A CN202010725422 A CN 202010725422A CN 111951024 A CN111951024 A CN 111951024A
- Authority
- CN
- China
- Prior art keywords
- information
- user
- decision
- users
- report
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000012545 processing Methods 0.000 claims abstract description 103
- 238000000034 method Methods 0.000 claims description 51
- 230000006399 behavior Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 11
- 238000012552 review Methods 0.000 description 9
- 238000012550 audit Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012797 qualification Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种举报信息处理方案，该方案中服务端设备在接收到举报信息之后，将所述举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记，而后所述服务端设备可以从所述决策用户的用户设备获取所述决策用户对所述举报信息的第一标记信息，并根据所述第一标记信息，确定所述举报信息的举报处理结果。由此，可以将平台方人工审核的人力人本转移至用户方，从用户中选取一部分决策用户，替代平台方对举报信息进行处理，利用用户自助审核的方式降低成本。
Description
技术领域
本申请涉及信息技术领域，尤其涉及一种举报信息处理方法、设备及计算机可读介质。
背景技术
随着互联网技术的不断发展，互联网公司提供各种各样的社交应用产品，用户通过所述社交应用产品可以与其它用户沟通，以实现各类社交需求。但是在各个社交平台中，也会存在一些恶意用户，此类用户会在社交过程中进行一些干扰其它用户正常使用的社交行为，例如语言骚扰、诈骗等行为。目前能准确、有效的打击此类恶意用户的方法主要是由其它用户的举报，通过对这些举报进行审核，在举报核实之后，对这些恶意用户采取相应的措施，例如禁言、封号等。对于社交平台而言，为了确保审核的准确性，审核过程中需要投入大量的人力来进行人工审核，因此会使得运营成本大大提升。
发明内容
本申请的一个目的是提供一种举报信息处理方法、设备及计算机可读介质。
为实现上述目的，本申请的一些实施例提供了一种举报信息处理方法，该方法包括：
服务端设备在接收到举报信息之后，将所述举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记；
所述服务端设备从所述决策用户的用户设备获取所述决策用户对所述举报信息的第一标记信息；
所述服务端设备根据所述第一标记信息，确定所述举报信息的举报处理结果。
本申请实施例提供了另一种举报信息处理方法，该方法包括：
用户设备获取服务端设备发送的举报信息；
所述用户设备根据用户的标记操作，对所述举报信息进行标记，生成第一标记信息；
所述用户设备将所述第一标记信息发送给所述服务端设备，以使所述服务端设备根据所述第一标记信息，确定所述举报信息的举报处理结果。
本申请实施例还提供了一种举报信息处理方法，该方法包括：
用户设备获取服务端设备发送的申诉信息，所述申诉信息由违规用户提交至所述服务端设备，所述违规用户为举报处理结果为违规的举报信息所对应的被举报用户；
所述用户设备根据用户的标记操作，对所述申诉信息进行标记，生成第二标记信息；
所述用户设备将所述第二标记信息发送给所述服务端设备，以使所述服务端设备根据所述第二标记信息，确定所述申诉信息的申诉处理结果。
此外，本申请实施例还提供了一种举报信息处理设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行所述举报信息处理方法。
本申请实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现所述举报信息处理方法。
本申请的一些实施例提供了一种举报信息处理方案，该方案中服务端设备在接收到举报信息之后，将所述举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记，而后所述服务端设备可以从所述决策用户的用户设备获取所述决策用户对所述举报信息的第一标记信息，并根据所述第一标记信息，确定所述举报信息的举报处理结果。由此，可以将平台方人工审核的人力人本转移至用户方，从用户中选取一部分决策用户，替代平台方对举报信息进行处理，利用用户自助审核的方式降低成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的一种举报信息处理方法的处理流程图；
图2为本申请实施例提供的另一种举报信息处理方法的处理流程图；
图3为本申请实施例中对举报处理结果进行申诉时的处理流程示意图
图4为本申请实施例的方案应用于社交应用场景时的处理逻辑示意图；
图5为本申请实施中实现举报信息处理的计算设备的结构示意图；
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请一个典型的配置中，终端、服务网络的设备均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请实施例提供了一种举报信息处理方法，该方法可以将平台方人工审核的人力人本转移至用户方，从用户中选取一部分决策用户，替代平台方对举报信息进行处理，利用用户自助审核的方式降低成本。
在实际场景中，该方法可以由服务端设备执行，所述服务端设备可以包括但不限于网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现，在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。在所述服务端设备中可以运行有可实现社交功能的服务端程序，以完成相应的处理以及其它设备之间的交互逻辑。
图1示出了本申请实施例提供的一种在服务端设备中实现的举报信息处理方法，该方法至少包括以下的处理步骤：
步骤S101，服务端设备在接收到举报信息之后，将所述举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记。
其中，举报信息可以来自于举报用户对应的用户设备，用以请求对被举报用户的行为是否违规进行判定，举报用户和被举报用户分别为不同的用户。例如，当用户A和用户B通过即时通信应用聊天时，用户B向用户A发送了一些违规言论，此时用户A可以通过相应的举报操作对用户B进行举报。还如，当用户C在UGC(User Generated Content，用户生成内容)类应用中发布一些违规内容之后，任意查看到这些违规内容的用户也可以通过相应的举报操作对该用户C进行举报。当检测到用户的举报操作之后，用户所使用的用户设备可以生成相应的举报信息，并发送给服务端设备。所述用户设备可以包括但不限于计算机、手机、平板电脑、智能手表等各类终端设备，这些终端设备上可运行有具有社交功能的客户端程序，以完成相应的处理以及与用户、其它设备之间的交互逻辑。
所述决策用户为服务端设备一部分替代平台方实现举报信息审核的用户，为了确保审核的公正性，减少决策用户对审核权利滥用的可能性，可以在将所述举报信息发送至预设数量的决策用户对应的用户设备之前，确定决策用户。在选取决策用户时，服务端设备可以尽可能选取一些不易滥用该审核权利的用户。例如，可以基于用户的相关属性进行筛选，以一个应用场景为例，若认为年龄在40-50岁的用户可能具有更加稳定的情绪以及更加客观的判断力，由此在选取决策用户时，可以将用户的年龄这一属性作为筛选的条件，选取出年龄在40-50岁的用户，作为决策用户。
在本申请的一些实施例中，可以在确定决策用户时，可以根据用户的历史行为信息，将符合决策条件的用户确定为决策用户。其中，所述历史行为信息用于表示用户在历史时间区间内所使用社交应用时的行为，基于历史行为信息可以确定用户在使用社交应用时的一些属性，如注册时长、活跃度、是否有违规记录等等。通过设定合理的条件作为决策条件，可以筛选获得决策用户。例如，在本申请实施例中，所述决策条件可以设定为注册时长超过1年、活跃度为平均每天在线超过2小时、半年之内没有违规记录，由此可以根据用户的历史行为信息，筛选出活跃度较高、且行为良好的老用户，并将其确定为决策用户。或者，也可以为每个用户设定一项信誉分值，根据用户的历史行为信息可以综合计算出对应的信誉分值，而后基于用户的信誉分值筛选出决策用户。
在实际场景中，对于每次对所述举报信息进行标记的决策用户的数量可以进行一定的限制，即无论有多少符合决策条件的决策用户，仅从其中选取预设数量的用户。由此，服务端设备可以预先根据用户的历史行为信息，结合预设的决策条件筛选出符合条件的决策用户，将其作为决策用户集合N。在每次需要处理举报信息时，可以直接从该决策用户集合N中选取预设数量的决策用户，向其发送举报信息即可。
此外，为了避免少数决策用户的主观行为对处理结果产生较大的影响，预设数量可以存在一个下限值，即每次进行处理的决策用户的预设数量需要大于等于X，由此避免个别决策用户作出不公正的决策之后，导致举报处理结果发生错误。
对于决策用户的用户设备，在获取服务端设备发送的举报信息之后，可以根据用户的标记操作，对所述举报信息进行标记，生成第一标记信息，然后将所述第一标记信息发送给所述服务端设备。
第一标记信息用于表示决策用户对举报信息的审核结果，例如，若决策用户查看举报信息之后，认为举报信息所对应的被举报用户确实存在违规行为，则可以输入表示违规的标记操作，由此用户设备生成的第一标记信息即表示违规。反之，若决策用户认为举报信息所对应的被举报用户不存在违规行为，则可以输入表示未违规的标记操作，由此用户设备生成的第一标记信息即表示未违规。
根据实际场景中人机交互方式的不同，所述标记操作可以是点击、滑动、悬空手势或者是带动用户设备的沿预设轨迹移动的操作等，在此处不作限制。以即时通信应用的场景为例，决策用户的用户设备在获取服务端设备发送的举报信息之后，可以在屏幕上显示举报信息的详细内容，如举报的具体行为描述，截图证据等，并且屏幕下方显示“违规”以及“未违规”的选择按钮。若决策用户认为确实存在违规行为，可以点击“违规”按钮，此时用户设备可以检测到决策用户对“违规”按钮的点击操作，由此生成相应的第一标记信息，然后将所述第一标记信息发送给所述服务端设备。
步骤S102，服务端设备从所述决策用户的用户设备获取所述决策用户对所述举报信息的第一标记信息。
步骤S103，服务端设备根据所述第一标记信息，确定所述举报信息的举报处理结果。
在本申请的一些实施例中，服务端设备确定所述举报信息的举报处理结果时，可以采用如下的判断方式：若表示违规的第一标记信息的比例达到第一预设值，则服务端设备确定所述举报信息的举报处理结果为违规；若表示违规的第一标记信息的比例未达到第一预设值，则服务端设备确定所述举报信息的举报处理结果为未违规。
例如，本实施中作为判定阈值的第一预设值可以设定为50％，若选取的决策用户的数量为9个，则服务端设备会向这9个用户的用户设备发送举报信息，分别由这9个用户对举报信息进行标记，从而完成审核。由此，服务端设备可以收到9个来自不同决策用户的第一标记信息，若其中有至少5个表示违规的第一标记信息，此时服务端设备可以确定表示违规的第一标记信息的比例已经超过50％，将确定所述举报信息的举报处理结果为违规。若其中只有4个或者少于4个表示违规的第一标记信息，此时服务端设备可以确定表示违规的第一标记信息的比例低于50％，将确定所述举报信息的举报处理结果为未违规。
由此，本申请实施例提供的举报信息处理方案可以将平台方人工审核的人力人本转移至用户方，从用户中选取一部分决策用户，替代平台方对举报信息进行处理，利用用户自助审核的方式降低成本。并且，在实际场景中，当用户规模较大时，会有大量的决策用户可供选择，服务端设备将举报信息分配给不同的决策用户进行处理之后，每个决策用户需要处理的举报信息较少，可以提高举报信息处理的效率。
在本申请的一些实施例中，服务端设备可以在将举报信息发送给用户之前，先对所述举报信息进行自动识别，然后仅将自动识别的结果为违规的举报信息发送给预设数量的决策用户对应的用户设备，进行进一步的审核，对于自动识别结果为未违规的举报信息，则不再进行人工任何，直接判定为未违规。图2示出了采用上述方式的举报信息处理方法的处理流程，至少包括以下处理步骤：
步骤S201，服务端设备在接收到举报信息之后，采用识别模型对所述举报信息进行自动识别，获取初步处理结果。其中，所述识别模型可以是任意基于机器学习的模型，基于标记过识别结果的训练集，完成有监督的训练之后，即可将待处理的举报信息输入该识别模型进行识别，确定识别结果，作为本方案中的初步处理结果。
步骤S202，服务端设备将初步处理结果为违规的举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记。例如，对于一个举报信息Q1，将其输入识别模型之后，获取初步处理结果为违规，此时可以将Q1继续发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记，从而采用前述的方式进行人工审核。而对于一个举报信息Q2，将其输入识别模型之后，获取初步处理结果为未违规，此时可以将Q2的举报处理结果确定为未违规。
步骤S203，服务端设备从所述决策用户的用户设备获取所述决策用户对所述举报信息的第一标记信息。
步骤S204，服务端设备根据所述第一标记信息，确定所述举报信息的举报处理结果。
由于本方案中在自动识别的基础上，结合了交由用户方处理的自助审核方式，可以兼顾效率和准确性。即使自动识别时将未违规的举报信息识别为了违规，也可以在后续人工审核时进行校正，确保举报处理结果的准确。由此，相较于仅通过自动识别的确定举报处理结果的方案，本实施例的方案可以将自动识别的识别策略设置的更为激进，可以容忍将一部分未违规的举报信息识别为违规。
而现有技术中仅通过自动识别的确定举报处理结果的方案，由于错误的举报处理结果会使得用户的使用体验显著降低，在没有后续人工识别来校正错误的识别结果的情况下，会设置一个较为保守的识别策略，以避免将分未违规的举报信息识别为违规，由此必然会导致将一部分违规的举报信息识别为未违规，导致举报处理结果不准确。此外，相较于现有技术中由平台方人工识别的方案，本申请实施例的方案又可以将人工审核的成本转移至用户方，有效降低审核成本。
对于一条举报信息而言，若其举报处理结果为违规，则表示该举报信息对应的被举报用户存在违规行为，此时，本申请实施例的方案中所述服务端设备还可以将举报处理结果为违规的举报信息所对应的被举报用户确定为违规用户。
在实际场景中，可以设定一黑名单，将每次确定的违规用户添加至该黑名单中，将该黑名单作为违规用户集合。对于黑名单中的违规用户，可以对其预设社交功能进行一定的限制。例如，对于即时通信应用而言，预设社交功能可以是发送即时通信消息的功能、添加好友的功能等。还如，对于UGC(User Generated Content，用户生成内容)平台类的应用而言，预设社交功能则可以是发布新内容的功能、对其它用户发布的内容进行评论的功能等。在此，本领域技术人员应当理解，前述预设社交功能的具体内容仅为举例，现有或今后出现的基于类似原理的其它形式如果能够适用于本申请，也应该包含在本申请的保护范围内，并以引用的形式包含于此。例如，可以对特定功能从时间、业务范围等维度上进行进一步的细分，以发送即时通信消息的功能为例，对用户的该社交功能进行限制可以理解为“禁言”，对其从时间上细分之后，可以是禁言1小时、禁言1天、永久禁言等；对其从业务范围上细分之后，可以是在对某一用户禁言、在某一频道禁言、全频道禁言等。
在本申请的一些实施例中，对于可能出现的、错误的违规举报处理结果，也提供了相应的救济方案。违规用户可以通过其所使用的用户设备发送申诉信息至服务端设备，请求撤销相应举报信息违规的认定。图3示出了所述服务端设备在对申诉信息进行处理时的处理过程，至少包括了以下的处理步骤：
步骤S301，所述服务端设备获取违规用户的申诉信息，将所述举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述申诉信息进行标记。
与进行举报信息处理时的决策用户类似，对申诉信息进行处理时，也可以选取出预设数量的决策用户，但是为了确保申诉信息在处理时能够更加公正，不受举报信息处理的影响，可以选取不同的决策用户分别进行申诉信息的处理和举报信息的处理。
例如，在进行举报信息处理时，服务端设备在接收到举报信息之后，将所述举报信息发送至预设数量的第一决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记。而在进行申诉信息处理时，所述服务端设备获取违规用户的申诉信息，将所述举报信息发送至预设数量的第二决策用户对应的用户设备，以使所述决策用户对所述申诉信息进行标记。其中，第一决策用户和第二决策用户为不同的决策用户。以前述预先确定的决策用户集合N为例，在进行举报信息处理时，可以从决策用户集合N选取出i个决策用户，向其发送举报信息进行处理，同时确定一个新的决策用户集合M，该集合M即为集合N排除前述k个决策用户之后的集合。由此，在进行申诉信息处理时，可以决策用户集合M中选取出j个决策用户，向其发送申诉信息进行处理。
由于申诉的处理结果有可能会改变举报的处理结果，因此在本申请的一些实施例中，申诉时选取的决策用户可以比举报时选取的决策用户具有更高的资质。其中，所述资质可以采用一些量化的评价标准，例如，可以为每个用户设定一项信誉分值，根据用户的历史行为信息或者其它属性信息可以综合计算出对应的信誉分值，通过该信誉分值来量化地表示用户的资质，即信誉分值高的用户具有更高的资质。由此，可以选取不同资质的决策用户，分别处理举报信息和申诉信息，使得申诉处理的结果更加权威。
对于处理申诉信息的决策用户，其所使用的用户设备可以获取服务端设备发送的申诉信息，所述申诉信息由违规用户提交至所述服务端设备，违规用户为举报处理结果为违规的举报信息所对应的被举报用户。而后，用户设备根据用户的标记操作，对所述申诉信息进行标记，生成第二标记信息，并将所述第二标记信息发送给所述服务端设备。
其中，申诉信息可以包括原始的举报信息以及对于举报信息的举报处理结果。所述第二标记信息与第一标记信息类似，是用户设备根据决策用户的标记操作所生成的、用于表示决策用户对申诉信息所对应的举报信息的审核结果的信息。例如，在申诉信息的处理过程中，用户D作为一个决策用户，认为申诉信息所申诉的举报信息并不违规，则可以输入不违规的标记操作，使得用户设备可以生成表示不违规的第二标记信息。
步骤S302，所述服务端设备从所述决策用户的用户设备获取所述决策用户对所述申诉信息的第二标记信息。
步骤S303，所述服务端设备根据所述第二标记信息，确定所述申诉信息的申诉处理结果。
在本申请的一些实施例中，服务端设备确定所述申诉信息的申诉处理结果时，可以采用如下的判断方式：若表示未违规的第二标记信息的比例达到第二预设值，所述服务端设备确定所述申诉信息的申诉处理结果为未违规。若表示未违规的第二标记信息的比例未达到第二预设值，所述服务端设备确定所述申诉信息的申诉处理结果为违规。
例如，本实施中作为判定阈值的第二预设值可以设定为75％，若选取的决策用户的数量为10个，则服务端设备会向这10个用户的用户设备发送申诉信息，分别由这10个用户对申诉信息进行标记，从而完成审核。由此，服务端设备可以收到10个来自不同决策用户的第10个第二标记信息，若其中有至少8个表示未违规的第二标记信息，此时服务端设备可以确定表示违规的第二标记信息的比例已经超过75％，将确定所述举报信息的申诉处理结果为未违规。若其中只有7个或者少于7个表示未违规的第二标记信息，此时服务端设备可以确定表示未违规的第二标记信息的比例低于75％，将确定所述申诉信息的申诉处理结果为违规。
在此，本领域技术人员应当理解，本申请实施例中所列举的确定申诉处理结果以及确定举报处理结果的具体方式均为举例，现有或今后出现的基于类似原理的其它形式如果能够适用于本申请，也应该包含在本申请的保护范围内，并以引用的形式包含于此。例如，可以根据实际场景的需求选择更为严格或者宽松的审核策略，例如在更为严格的审核策略下，可以降低第一预设值的具体数值，并提高第二预设值的具体数值，此时对于举报信息所对应的违规行为，在举报处理阶段，只需要更少的决策用户认为违规，即会将举报处理结果确定为违规；同时在申诉处理阶段，则需要更多的决策用户认为不违规，才会将申诉处理结果确定为不违规，此时对于违规行为的举报认定难度将降低，而申诉难度将提高，使得整体环境下违规行为的容忍度下降。反之，在更为宽松的审核策略下，对于违规行为的举报认定难度将提高，而申诉难度将下降，使得整体环境下违规行为的容忍度提升。还如，在确定申诉处理结果时，也可以采用与确定举报处理结果同样的方式。
步骤S304，所述服务端设备将申诉处理结果为未违规的申诉信息所对应的违规用户变更为未违规用户。由于在实际场景中，可能会对违规用户的预设社交功能进行一定的限制，若用户申诉成功(即申诉处理结果为未违规)之后，所述服务端设备需要将该用户从违规用户变更为未违规用户，以避免继续对其社交功能进行不必要的限制。
图4示出了本申请实施例的方案应用于社交应用场景时的处理逻辑，包括以下步骤：
步骤S401，任一用户可以通过用户设备对其它用户的发布内容或者其它行为进行举报，生成举报信息提交给服务端设备。例如，本实施例中，用户A发现用户B发布了违规的内容之后，对其发布的内容进行了举报，生成了相应的举报信息提交给服务端设备。
步骤S402，服务端设备对举报信息进行初步的自动审核，若审核通过，表示该举报信息的初步识别结果为未违规，直接放行，不进行处理；若审核不通过，表示该举报信息的初步识别结果为违规，执行步骤S403。
步骤S403，服务端设备将初步识别结果为违规的举报信息，分发给一定数量的决策用户，由决策用户对举报信息进行人工审核。
步骤S404，服务端设备获取决策用户的人工审核结果后，根据人工审核结果确定该举报信息的举报处理结果。其中，人工审核结果可以采用标记信息的形式来表示，例如前述实施例中第一标记信息等。在确定举报处理结果时，服务端设备可以判断表示违规的人工审核结果是否达到了预定的比例，若达到了该比例，则确定违规，将用户标记为违规用户；若未达到该比例，则确定不违规，直接放行，不进行处理。
步骤S405，在一个用户被标记为违规用户后，该用户可以对该举报处理结果发起申诉，将申诉信息发送至服务端设备。
步骤S406，服务端设备将申诉信息分发给一定数量的决策用户，由决策用户对举报信息再一次进行人工审核。
步骤S407，服务端设备获取决策用户的人工审核结果后，根据人工审核结果确定该申诉信息的申诉处理结果。其中，此处的人工审核结果也可以采用标记信息的形式来表示，例如前述实施例中第二标记信息等。在确定申诉处理结果时，可以根据实际场景采取与确定举报处理结果时类似的方式，即服务端设备可以判断表示违规的人工审核结果是否达到了预定的比例，若达到了该比例，则确定违规，申诉不成功；若未达到该比例，则确定不违规，申诉成功，撤销违规用户的标记。
本申请实施例提供了一种举报信息处理方法，该方法可以将平台方人工审核的人力人本转移至用户方，从用户中选取一部分决策用户，替代平台方对举报信息进行处理，利用用户自助审核的方式降低成本。并且，对于被举报的用户也提供了申诉的救济手段，在对申诉信息进行审核时，也交由另一部分分决策用户，替代平台方进行处理，同样可以降低成本。
基于同一发明构思，本申请实施例中还提供了举报信息处理设备，所述设备可以是前述实施例例中实现举报信息处理的用户设备或服务端设诶，这些设备对应的方法可以是前述实施例中在上述各个设备中的用户社交功能调整方法，并且其解决问题的原理与该方法相似。该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行前述的举报信息处理方法。
图5示出了适用于实现本申请实施例中的方法和/或技术方案的一种设备的结构，该设备500包括中央处理单元(CPU，Central Processing Unit)501，其可以根据存储在只读存储器(ROM，Read Only Memory)502中的程序或者从存储部分508加载到随机访问存储器(RAM，Random Access Memory)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O，Input/Output)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标、触摸屏、麦克风、红外传感器等的输入部分506；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，LiquidCrystal Display)、LED显示器、OLED显示器等以及扬声器等的输出部分507；包括硬盘、光盘、磁盘、半导体存储器等一个或多个计算机可读介质的存储部分508；以及包括诸如LAN(局域网，Local Area Network)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。
特别地，本申请实施例中的方法和/或实施例可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图或框图示出了按照本申请各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的针对硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个计算机可读指令，所述计算机可读指令可被处理器执行以实现前述本申请的多个实施例的方法和/或技术方案。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (12)
1.一种举报信息处理方法，其中，该方法包括：
服务端设备在接收到举报信息之后，将所述举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记；
所述服务端设备从所述决策用户的用户设备获取所述决策用户对所述举报信息的第一标记信息；
所述服务端设备根据所述第一标记信息，确定所述举报信息的举报处理结果。
2.根据权利要求1所述的方法，其中，服务端设备在接收到举报信息之后，将所述举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记，包括：
服务端设备在接收到举报信息之后，采用识别模型对所述举报信息进行自动识别，获取初步处理结果；
将初步处理结果为违规的举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记。
3.根据权利要求1所述的方法，其中，在将所述举报信息发送至预设数量的决策用户对应的用户设备之前，还包括：
根据用户的历史行为信息，将符合决策条件的用户确定为决策用户。
4.根据权利要求1所述的方法，其中，所述服务端设备根据所述第一标记信息，确定所述举报信息的举报处理结果，包括：
若表示违规的第一标记信息的比例达到第一预设值，所述服务端设备确定所述举报信息的举报处理结果为违规；
若表示违规的第一标记信息的比例未达到第一预设值，所述服务端设备确定所述举报信息的举报处理结果为未违规。
5.根据权利要求1所述的方法，其中，该方法还包括：
所述服务端设备将举报处理结果为违规的举报信息所对应的被举报用户确定为违规用户。
6.根据权利要求5所述的方法，其中，该方法还包括：
所述服务端设备获取违规用户的申诉信息，将所述举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述申诉信息进行标记；
所述服务端设备从所述决策用户的用户设备获取所述决策用户对所述申诉信息的第二标记信息；
所述服务端设备根据所述第二标记信息，确定所述申诉信息的申诉处理结果；
所述服务端设备将申诉处理结果为未违规的申诉信息所对应的违规用户变更为未违规用户。
7.根据权利要求6所述的方法，其中，服务端设备在接收到举报信息之后，将所述举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记，包括：
服务端设备在接收到举报信息之后，将所述举报信息发送至预设数量的第一决策用户对应的用户设备，以使所述决策用户对所述举报信息进行标记；
所述服务端设备获取违规用户的申诉信息，将所述举报信息发送至预设数量的决策用户对应的用户设备，以使所述决策用户对所述申诉信息进行标记，包括：
所述服务端设备获取违规用户的申诉信息，将所述举报信息发送至预设数量的第二决策用户对应的用户设备，以使所述决策用户对所述申诉信息进行标记；
所述第一决策用户与第二决策用户为不同的决策用户。
8.根据权利要求6所述的方法，其中，所述服务端设备根据所述第二标记信息，确定所述申诉信息的申诉处理结果，包括：
若表示未违规的第二标记信息的比例达到第二预设值，所述服务端设备确定所述申诉信息的申诉处理结果为未违规。
9.一种举报信息处理方法，其中，该方法包括：
用户设备获取服务端设备发送的举报信息；
所述用户设备根据用户的标记操作，对所述举报信息进行标记，生成第一标记信息；
所述用户设备将所述第一标记信息发送给所述服务端设备，以使所述服务端设备根据所述第一标记信息，确定所述举报信息的举报处理结果。
10.一种举报信息处理方法，其中，该方法包括：
用户设备获取服务端设备发送的申诉信息，所述申诉信息由违规用户提交至所述服务端设备，所述违规用户为举报处理结果为违规的举报信息所对应的被举报用户；
所述用户设备根据用户的标记操作，对所述申诉信息进行标记，生成第二标记信息；
所述用户设备将所述第二标记信息发送给所述服务端设备，以使所述服务端设备根据所述第二标记信息，确定所述申诉信息的申诉处理结果。
11.一种举报信息处理设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行权利要求1至10中任一项所述的方法。
12.一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现如权利要求1至10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010725422.0A CN111951024A (zh) | 2020-07-24 | 2020-07-24 | 举报信息处理方法、设备及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010725422.0A CN111951024A (zh) | 2020-07-24 | 2020-07-24 | 举报信息处理方法、设备及计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111951024A true CN111951024A (zh) | 2020-11-17 |
Family
ID=73338077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010725422.0A Pending CN111951024A (zh) | 2020-07-24 | 2020-07-24 | 举报信息处理方法、设备及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111951024A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699332A (zh) * | 2020-12-31 | 2021-04-23 | 五八有限公司 | 信息处理方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103634283A (zh) * | 2012-08-24 | 2014-03-12 | 腾讯科技（深圳）有限公司 | 一种审核结果的反馈方法及云端服务器 |
| CN104616110A (zh) * | 2015-02-10 | 2015-05-13 | 五八同城信息技术有限公司 | 一种信息的处理方法及装置 |
| CN108040295A (zh) * | 2017-11-17 | 2018-05-15 | 上海哔哩哔哩科技有限公司 | 众裁方法、服务器、用户端及众裁系统 |
| CN108449647A (zh) * | 2018-02-12 | 2018-08-24 | 广州虎牙信息科技有限公司 | 一种弹幕处理方法、装置及电子设备 |
| CN109816350A (zh) * | 2019-01-29 | 2019-05-28 | 广州虎牙信息科技有限公司 | 直播举报信息的处理方法、装置、设备和存储介质 |
-
2020
- 2020-07-24 CN CN202010725422.0A patent/CN111951024A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103634283A (zh) * | 2012-08-24 | 2014-03-12 | 腾讯科技（深圳）有限公司 | 一种审核结果的反馈方法及云端服务器 |
| CN104616110A (zh) * | 2015-02-10 | 2015-05-13 | 五八同城信息技术有限公司 | 一种信息的处理方法及装置 |
| CN108040295A (zh) * | 2017-11-17 | 2018-05-15 | 上海哔哩哔哩科技有限公司 | 众裁方法、服务器、用户端及众裁系统 |
| CN108449647A (zh) * | 2018-02-12 | 2018-08-24 | 广州虎牙信息科技有限公司 | 一种弹幕处理方法、装置及电子设备 |
| CN109816350A (zh) * | 2019-01-29 | 2019-05-28 | 广州虎牙信息科技有限公司 | 直播举报信息的处理方法、装置、设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699332A (zh) * | 2020-12-31 | 2021-04-23 | 五八有限公司 | 信息处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106202453B (zh) | 一种多媒体资源推荐方法和装置 | |
| US10762236B2 (en) | Data processing user interface monitoring systems and related methods | |
| US20220004663A1 (en) | Data processing consent management systems and related methods | |
| US20150229664A1 (en) | Assessing security risks of users in a computing network | |
| US10230816B2 (en) | Communication management in a social networking environment | |
| US8661412B2 (en) | Managing automated and manual application testing | |
| CN109359277B (zh) | 数据监控方法、设备及计算机存储介质 | |
| US20120072260A1 (en) | Predicting success of a proposed project | |
| JP2017514241A (ja) | 評価システム及び方法 | |
| US20220171825A1 (en) | Data processing user interface monitoring systems and related methods | |
| CN109901968A (zh) | 一种自动化页面数据校验方法和装置 | |
| US20200042577A1 (en) | Dynamic survey generation and verification | |
| US20190057254A1 (en) | Read confirmation of electronic messages | |
| CN109242292A (zh) | 一种资产评估方法、区块链节点设备及系统 | |
| CN110866698A (zh) | 用于评定服务提供方的服务分值的装置 | |
| US20140317237A1 (en) | Selective Content Delivery in a Real-Time Streaming Environment | |
| US20210297399A1 (en) | Data processing consent capture systems and related methods | |
| CN111951024A (zh) | 举报信息处理方法、设备及计算机可读介质 | |
| CN105138897A (zh) | 确定用户权限的方法及装置 | |
| CN111127223B (zh) | 保险产品测试方法、装置和存储介质 | |
| US10051069B2 (en) | Action based trust modeling | |
| CN109542743B (zh) | 日志校验方法、装置、电子设备及计算机可读存储介质 | |
| US8738416B2 (en) | Information processing apparatus and computer readable medium | |
| CN116955198A (zh) | 一种规则集合的确定方法及装置 | |
| CN116071152A (zh) | 一种数据处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |