JP2017536632A

JP2017536632A - Method and apparatus for determining quality information of evaluation items

Info

Publication number: JP2017536632A
Application number: JP2017529656A
Authority: JP
Inventors: ウェイウェイワン; グァンリー; ハイトンムー; シュペンリー; チェンピンチャン; グァンヨンシュウ; イイチャン
Original assignee: バイドゥオンラインネットワークテクノロジー（ベイジン）カンパニーリミテッド
Priority date: 2014-12-05
Filing date: 2015-10-14
Publication date: 2017-12-07
Also published as: WO2016086724A1; KR20170080645A; CN104536980A

Abstract

本発明は、評価項目の品質情報を決定する方法及び装置を提供することを目的とする。前記方法は、評価内容の品質及び／又は投稿者の信頼性に基づいて評価項目の各評価情報の品質情報を決定し（Ｓ１）、各評価情報の品質情報をまとめて、評価項目の品質情報を決定する（Ｓ２）。上記方法と装置は、評価項目に関する新たな評価指標、つまり、評価項目の品質情報を提案する。従来の評価項目の採点メカニズムと異なり、評価項目の品質情報はさらに正確になり、投稿者に悪用されにくい。また、評価項目の品質情報は投稿者が評価項目を客観的に評価するように導くことができるとともに、プロモーションや悪意のある攻撃などの挙動を徐々に防止でき、それにより、よりよい評価雰囲気を作る。【選択図】図１An object of this invention is to provide the method and apparatus which determine the quality information of an evaluation item. The method determines the quality information of each evaluation information of the evaluation item based on the quality of the evaluation content and / or the reliability of the poster (S1), collects the quality information of each evaluation information, and determines the quality information of the evaluation item. Is determined (S2). The method and apparatus propose a new evaluation index related to an evaluation item, that is, quality information of the evaluation item. Unlike the conventional scoring mechanism for evaluation items, the quality information of evaluation items is more accurate and less likely to be abused by contributors. In addition, quality information on evaluation items can guide posters to evaluate evaluation items objectively, and gradually prevent behavior such as promotions and malicious attacks, thereby creating a better evaluation atmosphere. create. [Selection] Figure 1

Description

Priority claim

本願は、２０１４年１２月５日に提出された、出願番号が２０１４１０７４３１４１．２で、発明の名称が「評価項目の品質情報を決定する方法及び装置」である中国特許出願を優先権出願とする。 The present application is a priority patent application filed on December 5, 2014, whose application number is 201410743141.2 and whose title is "Method and apparatus for determining quality information of evaluation items". .

本発明は、インターネットの技術分野に関し、特に評価項目の品質情報を決定する技術に関する。 The present invention relates to the technical field of the Internet, and more particularly to a technology for determining quality information of evaluation items.

現在、多くのレビューサイトが現れており、投稿者はこのようなウェブサイトにおいてレストラン、音楽、映画、書籍、サイト等の評価項目を採点し、採点方式は様々であり、例えば、ページにおいてユーザが明るくする可能な５つの星が並べられ、ユーザが明るくした星の数は評価項目に対する満足度を示し、また、ユーザは１００点満点で評価項目を採点し、点数が評価項目に対する満足度を示す。 Currently, many review sites have appeared, and posters score evaluation items such as restaurants, music, movies, books, sites, etc. on such websites, and there are various scoring methods. Five stars that can be brightened are arranged, the number of stars brightened by the user indicates satisfaction with the evaluation item, and the user scores the evaluation item with a maximum score of 100, and the score indicates satisfaction with the evaluation item .

しかしながら、この採点メカニズムは不正利用されやすい。例えば、評価項目のプロモーション側は大量の投稿者を雇って評価項目に対して高得点を出させることがある。また、投稿者は自分の不満を示すために、何回も評価項目に低得点を出すこともある。従って、評価項目の点数は評価項目の優劣を正確に表現することができない。 However, this scoring mechanism is prone to unauthorized use. For example, the promotion side of an evaluation item may hire a large number of contributors and give a high score to the evaluation item. In addition, the contributor may give a low score to the evaluation item many times to show his dissatisfaction. Therefore, the score of the evaluation item cannot accurately represent the superiority or inferiority of the evaluation item.

本発明は、評価項目の品質情報を決定する方法及び装置を提供することを目的とする。 An object of this invention is to provide the method and apparatus which determine the quality information of an evaluation item.

本発明の一態様によれば、評価項目の品質情報を決定する方法を提供し、各評価項目は１つ又は複数の評価情報を有し、この方法は、
各評価情報の品質情報を決定するステップと、
前記各評価情報の品質情報をまとめて、前記評価項目の品質情報を決定するステップと、を含む。 According to one aspect of the present invention, a method for determining quality information of an evaluation item is provided, each evaluation item having one or more evaluation information, the method comprising:
Determining quality information for each evaluation information;
Collecting quality information of each evaluation information and determining quality information of the evaluation item.

本発明の別の態様によれば、評価項目の品質情報を決定する装置をさらに提供し、各評価項目は１つ又は複数の評価情報を有し、当該装置は、
各評価情報の品質情報を決定する手段と、
前記各評価情報の品質情報をまとめて、前記評価項目の品質情報を決定する手段と、を備える。 According to another aspect of the present invention, there is further provided an apparatus for determining quality information of an evaluation item, each evaluation item having one or a plurality of evaluation information,
Means for determining quality information of each evaluation information;
Means for collecting quality information of the evaluation information and determining quality information of the evaluation items.

従来技術に比べて、本発明は、評価内容の品質及び／又は投稿者の信頼性に基づいて評価項目の各評価情報の品質情報を決定し、各評価情報の品質情報をまとめて評価項目の品質情報を決定する。本発明は、評価項目に関する新たな評価指標、つまり、評価項目の品質情報を提案する。従来の評価項目の採点メカニズムと異なり、評価項目の品質情報はさらに正確になり、投稿者に悪用されにくい。また、評価項目の品質情報は投稿者が評価項目を客観的に評価するように導くことができるとともに、プロモーションや悪意のある攻撃などの挙動を徐々に防止でき、それにより、よりよい評価雰囲気を作る。 Compared with the prior art, the present invention determines the quality information of each evaluation information of the evaluation items based on the quality of the evaluation contents and / or the reliability of the poster, and summarizes the quality information of each evaluation information. Determine quality information. The present invention proposes a new evaluation index regarding an evaluation item, that is, quality information of the evaluation item. Unlike the conventional scoring mechanism for evaluation items, the quality information of evaluation items is more accurate and less likely to be abused by contributors. In addition, quality information on evaluation items can guide posters to evaluate evaluation items objectively, and gradually prevent behavior such as promotions and malicious attacks, thereby creating a better evaluation atmosphere. create.

本発明の好ましい実施例によれば、評価項目の品質情報は複数の評価項目をソートすることに用いられ、投稿者の採点でソートすることに比べて、品質情報に応じた評価項目のソートはより正確、客観、真実になる。 According to a preferred embodiment of the present invention, quality information of evaluation items is used to sort a plurality of evaluation items, and sorting of evaluation items according to quality information is compared to sorting by a poster's score. Become more accurate, objective and truthful.

以下、図面を参照しながら非限定的な実施例を詳細に説明することにより、本発明の他の特徴、目的、および利点は、より明らかになる。 Other features, objects, and advantages of the present invention will become more apparent from the following detailed description of non-limiting embodiments with reference to the drawings.

本発明の一実施例に係る評価項目の品質情報を決定する方法のフローチャートである。5 is a flowchart of a method for determining quality information of evaluation items according to an embodiment of the present invention. 本発明の別の実施例に係る評価項目の品質情報を決定する装置の模式図である。It is a schematic diagram of the apparatus which determines the quality information of the evaluation item which concerns on another Example of this invention.

図面には、同じ又は類似の図面符号は同じ又は類似の部材を表す。 In the drawings, the same or similar reference numerals represent the same or similar members.

以下、図面を参照して本発明をさらに詳細に説明する。 Hereinafter, the present invention will be described in more detail with reference to the drawings.

本発明は、計算処理能力を有する任意の機器、例えばネットワーク機器、ユーザ機器等によって実現されることができる。本明細書では、ネットワーク機器を例とする場合が多い。具体的には、各評価項目は１つ又は複数の評価情報を有し、ネットワーク機器は、各評価情報の品質情報を決定し、次に、ネットワーク機器は各評価情報の品質情報をまとめて、評価項目の品質情報を決定する。 The present invention can be realized by any device having a calculation processing capability, for example, a network device, a user device, or the like. In this specification, network devices are often taken as examples. Specifically, each evaluation item has one or more evaluation information, the network device determines the quality information of each evaluation information, and then the network device collects the quality information of each evaluation information, Determine quality information for evaluation items.

ここで、ネットワーク機器はネットワークホスト、単一のネットワークサーバ、複数のネットワークサーバ集合又は複数のサーバから構成されるクラウドを含むが、それらに限定されない。ここで、クラウドは、クラウドコンピューティング（ＣｌｏｕｄＣｏｍｐｕｔｉｎｇ）に基づく多数のホスト又はネットワークサーバから構成され、クラウドコンピューティングは、分散コンピューティングの一種であり、疎結合されたコンピュータ集合から構成される仮想スーパーコンピュータである。 Here, the network device includes, but is not limited to, a network host, a single network server, a plurality of network server sets, or a cloud composed of a plurality of servers. Here, the cloud is composed of a large number of hosts or network servers based on cloud computing, and cloud computing is a kind of distributed computing, and is a virtual supermarket composed of a loosely coupled computer set. It is a computer.

さらに、本発明では、ネットワーク機器は、全体として評価項目の品質情報を決定してもよく、又は一部のネットワークホスト／サーバ、ひいては１つ又は複数のネットワークホスト／サーバに配置された特定装置、例えば決定装置によって、評価項目の品質情報を決定してもよい。 Furthermore, in the present invention, the network device may determine the quality information of the evaluation item as a whole, or a specific device arranged in some network hosts / servers, and thus one or more network hosts / servers, For example, the quality information of the evaluation item may be determined by a determination device.

ユーザ機器は、キーボード、仮想キーボード、タッチパネル、タッチスクリーン及び音声制御機器等の入力機器によってユーザと対話可能な電子製品、例えばＰＣ、ノートパソコン、携帯電話、スマートフォン、ＰＤＡ、タブレットパソコン等を含むが、それらに限定されない。 User equipment includes electronic products that can interact with the user through input devices such as keyboards, virtual keyboards, touch panels, touch screens, and voice control devices, such as PCs, notebook computers, mobile phones, smartphones, PDAs, tablet computers, etc. It is not limited to them.

図１は、本発明の一実施例に係る方法のフローチャートであり、評価項目の品質情報を決定するプロセスを示す。図１に示すように、ステップＳ１では、ネットワーク機器は評価項目の各評価情報の品質情報を決定する。ステップＳ２では、ネットワーク機器は各評価情報の品質情報をまとめて、評価項目の品質情報を決定する。 FIG. 1 is a flowchart of a method according to an embodiment of the present invention, and shows a process for determining quality information of an evaluation item. As shown in FIG. 1, in step S <b> 1, the network device determines quality information of each piece of evaluation information of evaluation items. In step S2, the network device collects the quality information of each evaluation information and determines the quality information of the evaluation item.

具体的には、ステップＳ１では、ネットワーク機器は評価項目の各評価情報の品質情報を決定する。 Specifically, in step S1, the network device determines quality information for each piece of evaluation information of the evaluation item.

ここで、各評価項目は１つ又は複数の評価情報を有する。 Here, each evaluation item has one or more pieces of evaluation information.

前記評価項目とは、品質を評価しようとする項目である。評価項目は、レストラン、音楽、映画、書籍、ウェブサイト等を含むが、それらに限定されない。 The evaluation item is an item for which quality is to be evaluated. Evaluation items include, but are not limited to, restaurants, music, movies, books, websites, and the like.

ここで、説明の便宜上、本発明はウェブサイトのみを評価項目として列挙する。当業者であれば、ほかの従来の又は将来の可能な評価項目は本発明に適用できれば、本発明の保護範囲に属すると理解でき、ここで、引用により本願に組み込む。 Here, for convenience of explanation, the present invention lists only websites as evaluation items. A person skilled in the art can understand that other conventional or future possible evaluation items are within the protection scope of the present invention if applicable to the present invention, and are incorporated herein by reference.

評価情報とは、投稿者が評価項目について投稿した情報である。評価情報の形式は文字、ピクチャ、ビデオ等を含むが、それらに限定されない。 The evaluation information is information posted by the poster regarding the evaluation item. The format of the evaluation information includes, but is not limited to, characters, pictures, videos, and the like.

本明細書では、ウェブサイトは、広義的な意味を持ち、すなわち上記トップレベルサイトだけでなく、トップレベルサイトの下位チャンネルを含む。具体的には、新浪ニュース、百度地図、捜狐体育等が挙げられる。 In this specification, a website has a broad meaning, that is, not only the above-mentioned top-level site but also a lower-level channel of the top-level site. Specifically, Sina news, Baidu map, Sohu physical education and the like.

ウェブサイトの評価情報は、投稿者が当該ウェブサイトのコメントエリアに投稿した任意の情報、通常、例えば投稿者がウェブサイトを閲覧する体験、ウェブサイトページ設計に対する投稿者の評価、ウェブサイト機能に対する投稿者の評価、ウェブサイトに関する投稿者の利用履歴等を含むが、それらに限定されない。 Website evaluation information can be any information posted by the poster in the comment area of the website, usually for example, the user's experience browsing the website, the poster's evaluation of the website page design, and the website function. Including, but not limited to, the contributor's evaluation and the use history of the contributor regarding the website.

評価情報の品質情報は、評価情報の優劣を評価するためのものである。当該品質情報はある数値で示すことができるため、品質スコアとみなすことがある。評価情報の品質情報は様々な方式又は要素、例えば評価内容、投稿者等の要素に基づいて評価されてもよい。 The quality information of the evaluation information is for evaluating the superiority or inferiority of the evaluation information. Since the quality information can be indicated by a certain numerical value, it may be regarded as a quality score. The quality information of the evaluation information may be evaluated based on various methods or elements, for example, elements such as evaluation contents and contributors.

好ましくは、評価情報の品質情報は以下の少なくともいずれか１項に基づいて決定される。 Preferably, the quality information of the evaluation information is determined based on at least one of the following items.

１）評価内容の品質
ここで、評価内容の品質は評価内容の品質の優劣を示すものである。当該品質はある数値で示すことができるため、品質値とみなすことがある。 1) Quality of evaluation content Here, the quality of the evaluation content indicates superiority or inferiority of the quality of the evaluation content. Since the quality can be indicated by a certain numerical value, it may be regarded as a quality value.

２）投稿者の信頼性
ここで、投稿者とは、評価情報を投稿するユーザである。 2) Reliability of contributor Here, the contributor is a user who posts evaluation information.

ここで、投稿者の信頼性は、投稿者の信頼可能な程度を示すものである。当該信頼性はある数値で示すことができるため、信用値とみなすことがある。 Here, the reliability of the contributor indicates the degree to which the contributor can be trusted. Since the reliability can be expressed by a certain numerical value, it may be regarded as a credit value.

評価情報の品質情報は、評価内容の品質のみに基づいて決定されてもよく、例えば、ネットワーク機器は評価内容の品質を評価情報の品質情報として直接決定してもよい。又は、評価情報の品質情報は投稿者の信頼性のみに基づいて決定されてもよく、例えば、ネットワーク機器は投稿者の信頼性を評価情報の品質情報として直接決定してもよい。又は、評価情報の品質情報は評価内容の品質と投稿者の信頼性の両方に基づいて決定されてもよく、例えば、ネットワーク機器は評価内容の品質と投稿者の信頼性の平均値又は両方の和を評価情報の品質情報として決定してもよい。 The quality information of the evaluation information may be determined based only on the quality of the evaluation content. For example, the network device may directly determine the quality of the evaluation content as the quality information of the evaluation information. Alternatively, the quality information of the evaluation information may be determined based only on the poster's reliability. For example, the network device may directly determine the poster's reliability as the quality information of the evaluation information. Alternatively, the quality information of the evaluation information may be determined based on both the quality of the evaluation content and the reliability of the poster. For example, the network device may determine the average value of the quality of the evaluation content and the reliability of the poster or both. The sum may be determined as the quality information of the evaluation information.

また、評価内容の品質、投稿者の信頼性はほかの方式に基づいて決定されてもよい。以下、評価内容の品質の決定方式、及び投稿者の信頼性の決定方式をそれぞれ説明する。 Further, the quality of the evaluation content and the reliability of the poster may be determined based on other methods. Hereinafter, a method for determining the quality of the evaluation contents and a method for determining the reliability of the poster will be described.

評価内容の品質
ここで、評価内容の品質は、以下のパラメータの少なくともいずれか１項に基づいて決定される。 Here, the quality of the evaluation content is determined based on at least one of the following parameters.

１）評価内容と評価項目との関連性。
ここで、評価内容と評価項目との関連性は両方の関連程度を示すものである。当該関連性はある数値で示すことができる。 1) Relevance between evaluation contents and evaluation items.
Here, the relevance between the evaluation contents and the evaluation items indicates the degree of relevance of both. The relationship can be indicated by a certain numerical value.

ここで、文字形式の評価内容と評価項目との関連性は、評価内容に意味分析を行うことにより決定されてもよい。例えば、評価内容において評価項目に対応するキーワードテーブルにマッチングしたキーワードが多いほど、評価内容と評価項目との関連性が高く、ここで、前記キーワードテーブルは評価項目に対応する１つ又は複数のキーワードを含む。例えば、京東に対応するキーワードは、例えば「商品種類」、「商品価格」、「コストパフォーマンス」、「ショッピング体験」等を含む。各評価項目のキーワードテーブルは予め設定されてもよく、評価項目のページ内容から抽出されてもよく、例えばページにおいて出現頻度が高い単語を評価項目のキーワードテーブルに追加する。 Here, the relationship between the evaluation contents in character format and the evaluation items may be determined by performing semantic analysis on the evaluation contents. For example, the more keywords matched with the keyword table corresponding to the evaluation item in the evaluation content, the higher the relevance between the evaluation content and the evaluation item. Here, the keyword table includes one or more keywords corresponding to the evaluation item. including. For example, keywords corresponding to Kyoto include, for example, “product type”, “product price”, “cost performance”, “shopping experience”, and the like. The keyword table for each evaluation item may be set in advance, or may be extracted from the page contents of the evaluation item. For example, words that appear frequently on the page are added to the keyword table for the evaluation item.

ピクチャ形式、ビデオ形式の評価内容について、ピクチャ又はビデオの各フレームの画像に対するＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ、光学文字認識）によって、対応する文字形式の評価内容を取得し、評価内容と評価項目との関連性を決定する。或いは、ピクチャ形式、ビデオ形式の評価内容と評価項目との関連性は手動で決定されてもよく、ネットワーク機器が判定不能なピクチャ又はビデオを人に審査させてもよい。また、通常、ピクチャ形式又はビデオ形式の評価内容は単独ではなく、文字形式の評価内容とともに出現するため、文字とともに出現する場合、文字評価内容と評価項目との関連性のみを決定してもよい。 Regarding the evaluation contents of picture format and video format, the evaluation contents of the corresponding character format are obtained by OCR (Optical Character Recognition) for the image of each frame of the picture or video, and the relationship between the evaluation contents and the evaluation items Determine sex. Alternatively, the relationship between the evaluation contents of the picture format and video format and the evaluation items may be determined manually, and a picture or video that cannot be determined by the network device may be judged by a person. In addition, since the evaluation contents in the picture format or the video format usually appear together with the evaluation contents in the character format, when they appear together with the characters, only the relevance between the character evaluation contents and the evaluation item may be determined. .

２）評価内容において広告の有無。
文字形式の評価内容において広告の有無は、評価内容が広告特徴の文字列を含むか否かを判定することにより決定されてもよい。広告特徴の文字列は、例えば所定の番号ルールを満たす文字列及びほかの広告キーワードを含む。所定の番号ルールを満たす文字列として、具体的には、先頭が「４００」、「８００」で始まる１０桁数字文字列、先頭が「１３」、「１５」で始まる１１桁数字文字列等のような電話番号ルールを満たす文字列、先頭が「ＱＱ：」で始まる文字列等のようなインスタントメッセージングソフトウェアアカウントルールを満たす文字列が挙げられる。ほかの広告キーワードは、広告キーワードテーブルを照会することで決定されることができる。 2) Presence / absence of advertisement in evaluation contents.
Whether or not there is an advertisement in the evaluation contents in the character format may be determined by determining whether or not the evaluation contents include a character string of advertisement characteristics. The character string of the advertisement feature includes, for example, a character string satisfying a predetermined number rule and other advertisement keywords. Specific examples of character strings satisfying a predetermined number rule include a 10-digit numeric character string beginning with “400” and “800”, an 11-digit numeric character string beginning with “13” and “15”, etc. A character string satisfying an instant messaging software account rule such as a character string satisfying such a telephone number rule, a character string beginning with “QQ:”, and the like. Other advertising keywords can be determined by querying the advertising keyword table.

ピクチャ形式、ビデオ形式の評価内容について、ＯＣＲによって対応する文字形式の評価内容を取得し、さらに上記文字内容に広告認識を行うことで、広告の有無を決定してもよい。或いは、広告ピクチャ、ビデオ等は通常重複性が高いため、広告ピクチャライブラリ及び／又は広告ビデオライブラリを照会することでピクチャ形式、ビデオ形式の評価内容に広告が含まれるか否かを決定してもよい。また、ピクチャ形式、ビデオ形式の評価内容において広告の有無は手動で決定されてもよく、ネットワーク機器が判定不能なピクチャ又はビデオを人に審査させてもよい。 With regard to the evaluation contents of the picture format and the video format, the presence / absence of an advertisement may be determined by acquiring the evaluation contents of the corresponding character format by OCR and further performing advertisement recognition on the character contents. Alternatively, since advertisement pictures, videos, etc. are usually highly redundant, it may be determined whether or not advertisements are included in the evaluation contents of picture format and video format by querying advertisement picture library and / or advertisement video library. Good. Also, in the evaluation contents of the picture format and video format, the presence / absence of an advertisement may be determined manually, and a picture or video that cannot be determined by the network device may be judged by a person.

評価内容は広告が含まれる場合、その品質をゼロとしてもよく、当該パラメータの値を低い値、例えばゼロ又は負数としてもよく、それにより、ほかのパラメータと組み合わせて評価内容の品質を決定する際に、広告による品質への影響を解消する。 If the content of the evaluation includes advertisements, the quality may be zero, and the value of the parameter may be a low value, for example, zero or negative, so that when determining the quality of the evaluation content in combination with other parameters In addition, the influence on the quality by the advertisement is eliminated.

３）評価内容のフィードバック情報の量。
ここで、フィードバック情報とは、評価内容に対する投稿者のフィードバックである。フィードバック情報は、具体的には、例えば「いいね！」、反対及び返信である。フィードバック情報の量は評価内容の品質を評価するための１つのパラメータとして、一定の変換方式によって当該パラメータのパラメータ値に変換されてもよく、例えば０〜１００、０〜１の数値に正規化される。 3) Amount of feedback information of evaluation contents.
Here, the feedback information is a contributor's feedback on the evaluation content. Specifically, the feedback information is, for example, “Like”, disagreement, and reply. The amount of feedback information may be converted into a parameter value of the parameter as a parameter for evaluating the quality of the evaluation content by a certain conversion method, and is normalized to a numerical value of 0 to 100 or 0 to 1, for example. The

フィードバック情報の量は単独で又はほかのパラメータと組み合わせて評価内容の品質を決定する時に、「いいね！」と返信の数が多いほど、評価内容の品質が高く、反対の数が多いほど、評価内容の品質が低い。 The amount of feedback information alone or in combination with other parameters determines the quality of the evaluation content. The more the number of “likes” responses, the higher the quality of the evaluation content, the higher the opposite number, The quality of evaluation contents is low.

４）評価内容において敏感な情報の有無。
文字形式の評価内容において敏感な情報の有無は、敏感語テーブルを照会することで決定されてもよい。ここで、敏感語は、ポルノ、反動、暴力等を表す文字列を含むが、それらに限定されない。 4) Presence or absence of sensitive information in evaluation contents.
The presence / absence of sensitive information in the evaluation contents in the character format may be determined by querying the sensitive word table. Here, the sensitive words include character strings representing pornography, reaction, violence, and the like, but are not limited thereto.

ピクチャ形式、ビデオ形式の評価内容について、ＯＣＲによって対応する文字形式の評価内容を取得し、さらに上記文字内容に敏感な情報認識を行うことで、評価内容に敏感な情報が含まれるか否かを決定する。或いは、敏感な情報が含まれるピクチャ、ビデオ等は通常重複性が高いため、敏感ピクチャライブラリ及び／又は敏感ビデオライブラリを照会することで、ピクチャ形式、ビデオ形式の評価内容に敏感な情報が含まれるか否かを決定する。また、ピクチャ形式、ビデオ形式の評価内容において敏感な情報の有無は手動で決定されてもよく、ネットワーク機器が判定不能なピクチャ又はビデオを人に審査させてもよい。 As for the evaluation contents in picture format and video format, the evaluation contents in the corresponding character format are acquired by OCR, and further information recognition sensitive to the character contents is performed to determine whether or not information sensitive to the evaluation contents is included. decide. Or, because pictures, videos, etc. that contain sensitive information usually have a high degree of duplication, information that is sensitive to the evaluation contents of the picture format and video format is included by querying the sensitive picture library and / or sensitive video library. Determine whether or not. In addition, the presence or absence of sensitive information in the evaluation contents of the picture format and video format may be determined manually, and a picture or video that cannot be determined by the network device may be judged by a person.

評価内容は敏感な情報が含まれる場合、その品質をゼロとしてよく、又は、当該パラメータの値を低い値、例えばゼロ又は負数としてもよく、それにより、ほかのパラメータと組み合わせて評価内容の品質を決定する際に、敏感な情報による品質への影響を解消する。 If the evaluation content contains sensitive information, its quality may be zero, or the value of the parameter may be a low value, for example, zero or negative, so that the quality of the evaluation content can be combined with other parameters. When making decisions, eliminate the impact on quality from sensitive information.

以上のように、評価内容の品質は、上記パラメータのいずれか１項に基づいて決定されてもよく、例えばいずれか１項のパラメータの値を評価内容の品質としてもよい。また、評価内容は以上の少なくとも２つのパラメータの組合せに基づいて決定されてもよく、例えば上記少なくとも２つのパラメータのパラメータ値に対する計算処理により、評価内容の品質を取得する。 As described above, the quality of the evaluation content may be determined based on any one of the above parameters. For example, the value of any one of the parameters may be used as the quality of the evaluation content. Further, the evaluation content may be determined based on a combination of at least two parameters as described above. For example, the quality of the evaluation content is acquired by a calculation process for the parameter values of the at least two parameters.

投稿者の信頼性
ここで、投稿者の信頼性は投稿者自身についての評価であり、以下のパラメータの少なくともいずれか１項に基づいて決定されてもよい。 Here reliability contributors, reliable contributors is an evaluation of the posts themselves, it may be determined based on at least any one of the following parameters.

１）投稿者の身元信頼性。
ここで、投稿者の身元信頼性は、身元から投稿者の信用度を評価するためのものである。当該身元信頼性はある数値で示すことができる。 1) The author's identity reliability.
Here, the identity reliability of the poster is for evaluating the poster's credit rating from the identity. The identity reliability can be expressed by a certain numerical value.

投稿者の身元信頼性は、投稿者が身分証明書認証、携帯電話認証、決済プラットフォームでの取引認証のような様々な身元認証に成功したか否かに基づいて決定され、投稿者の成功した種々の身元認証が多いほど、身元信頼性が高い。 The poster's identity reliability is determined based on whether the poster has succeeded in various identity verifications such as identification authentication, mobile phone authentication, and transaction authentication on the payment platform. The more various types of identity authentication, the higher the identity reliability.

２）投稿者の行為信頼性。
ここで、投稿者の行為信頼性は、行為から投稿者の信用度を評価するためのものである。当該行為信頼性はある数値で示すことができる。 2) The act reliability of the poster.
Here, the act reliability of the poster is for evaluating the poster's credit rating from the act. The action reliability can be expressed by a certain numerical value.

投稿者の行為信頼性は、投稿者の履歴行為によって決定される。例えば、投稿者の履歴評価内容と評価項目との関連性が高く、評価内容に広告が含まれず、評価内容が投稿者の個人経験を含む場合、投稿者の行為信頼性が高い。 The poster act reliability is determined by the poster act of history. For example, when the poster's history evaluation content is highly relevant to the evaluation item, the evaluation content does not include an advertisement, and the evaluation content includes the poster's personal experience, the poster's action reliability is high.

或いは、投稿者の行為信頼性は投稿者のレベルによって決定される。投稿者のレベルは様々な次元で区分され、例えばスキルレベルで区分する場合、具体的には専門家、普通等に分けられ、信頼レベルで区分する場合、具体的にはホワイトリスト、ブラックリスト等に分けられる。各レベルは異なる行為信頼性に対応する。 Alternatively, the act reliability of the poster is determined by the level of the poster. The level of contributors is classified in various dimensions. For example, when classifying by skill level, specifically, it is divided into experts, ordinary, etc. When classifying by trust level, specifically, white list, black list, etc. It is divided into. Each level corresponds to a different behavioral reliability.

以上のように、投稿者の信頼性は、上記パラメータのいずれか１項に基づいて決定されてもよく、例えばいずれかのパラメータの値を投稿者の信頼性としてもよい。また、投稿者の信頼性は上記両方の組合せに基づいて決定されてもよく、例えば上記二つのパラメータのパラメータ値に対する計算処理により、投稿者の信頼性を取得してもよい。 As described above, the poster's reliability may be determined based on any one of the above parameters. For example, the value of any parameter may be set as the poster's reliability. Further, the poster's reliability may be determined based on a combination of both of the above. For example, the poster's reliability may be acquired by a calculation process for the parameter values of the two parameters.

好ましくは、ネットワーク機器は、評価内容の品質と投稿者の信頼性、及びそれぞれに対応する重みに基づいて、評価情報の品質情報を加重して決定する。 Preferably, the network device weights and determines the quality information of the evaluation information based on the quality of the evaluation content, the reliability of the poster, and the corresponding weight.

具体的には、ネットワーク機器は以下の式１に基づいて評価情報の品質情報を決定する。 Specifically, the network device determines the quality information of the evaluation information based on Equation 1 below.

ステップＳ２では、ネットワーク機器は各評価情報の品質情報をまとめて、評価項目の品質情報を決定する。 In step S2, the network device collects the quality information of each evaluation information and determines the quality information of the evaluation item.

ここで、評価項目の品質情報は、評価項目の優劣を評価するためのものである。当該品質情報はある数値で示すことができるため、品質スコアとみなすことがある。 Here, the quality information of the evaluation item is for evaluating the superiority or inferiority of the evaluation item. Since the quality information can be indicated by a certain numerical value, it may be regarded as a quality score.

ネットワーク機器は様々なまとめ方によって評価項目の品質情報を決定することができる。例えば、ネットワーク機器はすべての評価情報の品質情報の和又は平均値を、評価項目の品質情報としてもよい。また、すべての評価情報の品質情報の最高値と最低値を除き、残りの評価情報の品質情報の平均値を評価項目の品質情報としてもよい。 The network device can determine the quality information of the evaluation item according to various ways of grouping. For example, the network device may use the sum or average value of the quality information of all the evaluation information as the quality information of the evaluation item. Moreover, the average value of the quality information of the remaining evaluation information may be used as the quality information of the evaluation item, except for the highest value and the lowest value of the quality information of all the evaluation information.

好ましくは、ネットワーク機器は各評価情報の品質情報、及び各評価情報に対応する評価指数情報の重みに基づいて、評価項目の品質情報を加重して決定する。 Preferably, the network device weights and determines the quality information of the evaluation item based on the quality information of each evaluation information and the weight of the evaluation index information corresponding to each evaluation information.

ここで、評価指数情報とは、投稿者が評価項目に対して出す指数的な評価である。評価指数情報は、評価項目に対する投稿者の好き嫌いレベルを示すことができる。評価指数情報は、一般的には投稿者が評価項目に対して採点した点数であると考えられ、具体的には、評価指数情報は投稿者明るくした星の数、１００点満点での得点等として示される。一般的には、評価ルールの設定によって、各評価情報は１つの評価指数情報に対応する。 Here, the evaluation index information is an exponential evaluation that a poster gives to an evaluation item. The evaluation index information can indicate the level of likes and dislikes of the poster for the evaluation item. The evaluation index information is generally considered to be the score that the poster scored for the evaluation item. Specifically, the evaluation index information is the number of stars that the poster has brightened, the score on a 100-point scale, etc. As shown. Generally, each piece of evaluation information corresponds to one piece of evaluation index information by setting an evaluation rule.

ここで、説明の便宜上、本発明は明るくした星の数のみを評価指数情報とすることを列挙する。当業者は、ほかの従来の又は将来の可能な評価指数情報は本発明にてきれば、本発明の保護範囲に属すると理解でき、ここで、引用により本願に組み込む。 Here, for convenience of explanation, the present invention enumerates that only the number of brightened stars is used as evaluation index information. Those skilled in the art will understand that other conventional or future possible evaluation index information falls within the protection scope of the present invention once it comes to the present invention, which is hereby incorporated by reference.

例えば、５つの星を明るくしたことは最高の評価指数情報に対応し、１つの星を明るくしたことは最低の評価指数情報に対応する。評価指数情報と重みとの対応関係は具体的には表１に示される。 For example, brightening five stars corresponds to the highest evaluation index information, and brightening one star corresponds to the lowest evaluation index information. The correspondence between the evaluation index information and the weight is specifically shown in Table 1.

ここで、ネットワーク機器が評価項目の品質情報を決定する方式は以下の２種類を含むが、それらに限定されない。 Here, the method of determining the quality information of the evaluation item by the network device includes the following two types, but is not limited to them.

１）ネットワーク機器は、直接に、各評価情報の品質情報、及び各評価情報に対応する評価指数情報の重みに基づいて、評価項目の品質情報を加重して決定する。 1) The network device directly determines the quality information of the evaluation items based on the quality information of each evaluation information and the weight of the evaluation index information corresponding to each evaluation information.

具体的には、ネットワーク機器は以下の式２に基づいて評価項目の品質情報を決定する。 Specifically, the network device determines the quality information of the evaluation item based on the following formula 2.

ここで、式２が表現する意味は、各評価情報の品質情報、及び各評価情報に対応する評価指数情報の重みに基づいて、加重和を求め、当該加重和が評価項目の品質情報である。 Here, the meaning expressed by Equation 2 is to obtain a weighted sum based on the quality information of each evaluation information and the weight of the evaluation index information corresponding to each evaluation information, and the weighted sum is the quality information of the evaluation item. .

式２に基づいて決定された評価項目の品質情報は、評価指数情報の重みの影響をさらに考慮し、つまり、評価項目に対する投稿者の直感的な好き嫌いを考慮する。例えば、評価項目に対する１つの評価につれて、投稿者は評価内容を詳細に説明し当該評価内容が評価項目に密接に関係しているが、当該評価内容がすべて当該評価項目へのマイナス評価であるとともに、当該評価項目に対する投稿者の評価指数も低く、例えば１つ星のみであり、この場合、当該評価情報の品質スコアが高い可能性があり、評価情報の品質スコアのみに基づいて評価項目の品質スコアを決定すれば、取得した評価項目の品質スコアも高いので、これは明らかに投稿者の評価意図に合致しない。従って、この場合、評価指数情報を導入して評価項目の品質スコアを加重して計算することが有利である。評価指数が低いほど、対応する重みが低く、それにより当該重みにより評価情報の品質スコアを加重し、投稿者の豊かな評価内容による高品質スコアと当該評価項目に対する投稿者のマイナス評価とのバランスを取ることができる。 The quality information of the evaluation item determined based on Expression 2 further considers the influence of the weight of the evaluation index information, that is, considers the contributor's intuitive likes and dislikes with respect to the evaluation item. For example, along with one evaluation for an evaluation item, the contributor explains the details of the evaluation in detail, and the evaluation content is closely related to the evaluation item, but the evaluation content is all negative evaluation to the evaluation item. The evaluation index of the poster for the evaluation item is also low, for example, only one star. In this case, the quality score of the evaluation information may be high, and the quality of the evaluation item is based only on the quality score of the evaluation information. If the score is determined, the quality score of the obtained evaluation item is also high, so this clearly does not match the poster's evaluation intention. Therefore, in this case, it is advantageous to calculate by weighting the quality score of the evaluation item by introducing evaluation index information. The lower the evaluation index, the lower the corresponding weight, thereby weighting the quality score of the evaluation information by the weight, and the balance between the high quality score by the rich evaluation content of the poster and the negative evaluation of the poster for the evaluation item Can take.

式２に基づいて評価項目の品質情報を計算する場合、通常、評価情報の数が多いほど、対応する評価項目の品質情報が高い。ある程度で大量の投稿者の評価項目に対する承認度を反映する。しかし、特定の応用場面では、判断標準の不統一を招くおそれがある。 When calculating the quality information of an evaluation item based on Equation 2, the quality information of the corresponding evaluation item is usually higher as the number of evaluation information is larger. It reflects the approval level for evaluation items of a large number of contributors to some extent. However, in certain application situations, there is a risk of inconsistent judgment standards.

従って、上記式２に基づいて、ネットワーク機器はさらに評価項目に対応する評価情報の総数に基づいて各評価情報の品質情報の加重和の平均値を求め、当該平均値で評価項目の品質情報を特徴付ける。 Therefore, based on the above formula 2, the network device further obtains an average value of the weighted sum of the quality information of each evaluation information based on the total number of evaluation information corresponding to the evaluation items, and the quality information of the evaluation items is calculated by the average value. Characterize.

具体的には、ネットワーク機器は以下の式３に基づいて評価項目の品質情報を決定する。 Specifically, the network device determines the quality information of the evaluation item based on Equation 3 below.

式３に基づいて決定された評価項目の品質情報は、評価情報の数に基づいて平均値を求めることにより、さらに正確になることがあり、評価情報の数が多いだけで評価項目の品質情報が高くなることを回避できる。 The quality information of the evaluation item determined based on Equation 3 may be more accurate by obtaining an average value based on the number of evaluation information. Can be avoided.

また、評価情報の数が多すぎて評価項目の品質情報が高くなることを回避するために、評価項目の品質情報を正規化し、常に０〜１又は０〜１００の範囲とするようにしてもよく、それにより品質情報に基づいて各評価項目を効果的に評価することができる。 Moreover, in order to avoid that the quality information of an evaluation item becomes high because the number of evaluation information is too large, the quality information of the evaluation item is normalized and always set to a range of 0 to 1 or 0 to 100. Well, it is possible to effectively evaluate each evaluation item based on the quality information.

２）好ましくは、ネットワーク機器は以下のステップによって評価項目の品質情報を決定してもよい。 2) Preferably, the network device may determine the quality information of the evaluation item by the following steps.

２．１）ネットワーク機器は各評価情報の品質情報に基づいて品質格付けを行い、異なる品質等級の評価情報を取得する。 2.1) The network device performs quality rating based on the quality information of each evaluation information, and acquires evaluation information of different quality grades.

例えば、ネットワーク機器は各評価情報の品質情報に基づいて、評価情報に品質格付けを行い、高、中、低の３つの品質等級の評価情報を取得し、各品質等級が異なる評価情報に対応する。ここで、品質格付けの標準は予め設定されてもよく、動的に決定されてもよい。例えば、すべての評価項目の評価情報の品質格付けに適用できる統一した格付け標準を設定する。また、各評価項目のすべての評価情報の品質情報に基づいて、等級の数、例えば２級、３級等に応じて、各品質等級に属する評価情報を決定する。 For example, the network device performs quality rating on the evaluation information based on the quality information of each evaluation information, obtains evaluation information of three quality grades of high, medium, and low, and each quality grade corresponds to different evaluation information. . Here, the quality rating standard may be set in advance or may be determined dynamically. For example, a unified rating standard that can be applied to the quality rating of the evaluation information of all evaluation items is set. Further, based on the quality information of all evaluation information of each evaluation item, evaluation information belonging to each quality class is determined according to the number of classes, for example, the second grade, the third grade, and the like.

２．２）次に、ネットワーク機器は各品質等級の評価情報に対応する評価指数情報に基づいて、対応する品質等級に対応する重みを決定する。 2.2) Next, the network device determines a weight corresponding to the corresponding quality class based on the evaluation index information corresponding to the evaluation information of each quality class.

例えば、ネットワーク機器は以下の式４に基づいて任意の品質等級に対応する重みを決定する。 For example, the network device determines a weight corresponding to an arbitrary quality class based on Equation 4 below.

２．３）その後、ネットワーク機器は各品質等級の評価情報の品質情報の平均値、及び対応する品質等級の重みに基づいて、評価項目の品質情報を加重して決定する。 2.3) Thereafter, the network device weights and determines the quality information of the evaluation item based on the average value of the quality information of the evaluation information of each quality grade and the weight of the corresponding quality grade.

例えば、ネットワーク機器は以下の式５に基づいて評価項目の品質情報を決定する。 For example, the network device determines the quality information of the evaluation item based on Equation 5 below.

以上で述べされたように、本明細書は評価項目の品質情報を決定する技術案を説明したが、当業者であれば、ネットワーク機器は上記技術案に基づいて各評価項目の品質情報を決定することができると理解できる。 As described above, the present specification has described the technical plan for determining the quality information of the evaluation item. However, a person skilled in the art can determine the quality information of each evaluation item based on the above technical plan. I understand that I can do it.

評価項目の評価情報が動的に変化するものであるため、ネットワーク機器は所定の条件に従って各評価項目の評価情報を更新し、さらに上記各計算方式で各評価項目の品質情報を更新することができる。評価情報の更新条件は所定周期、例えば週一回で更新してもよく、所定のイベントで更新してもよく、例えば新たに発表した評価情報を検出した場合、対応する評価項目の品質情報を更新する。 Since the evaluation item evaluation information changes dynamically, the network device can update the evaluation information of each evaluation item in accordance with a predetermined condition, and further update the quality information of each evaluation item using the above calculation methods. it can. The update condition of the evaluation information may be updated at a predetermined cycle, for example, once a week, or may be updated at a predetermined event. For example, when newly released evaluation information is detected, the quality information of the corresponding evaluation item is displayed. Update.

ネットワーク機器の計算負荷を軽減させるために、ネットワーク機器は、計算済みの各評価項目の品質情報及び当該品質情報の計算用の各計算パラメータを記憶する評価項目データベースを構築してもよく、各計算パラメータ、例えば各評価情報の品質情報、対応する重み等は、評価項目の品質情報に対してネットワーク機器が採用する計算方式に決められる。式２を例として、更新周期になる場合、ネットワーク機器は各候補項目の追加評価情報を取得し、各追加評価情報の品質情報及びその重みを計算し、さらに記憶した前の各評価情報の品質情報及びその重みを組み合わせて、対応する評価項目の品質情報を再計算する。 In order to reduce the calculation load of the network device, the network device may construct an evaluation item database that stores the quality information of each calculated evaluation item and each calculation parameter for calculating the quality information. Parameters such as quality information of each evaluation information, corresponding weights, and the like are determined by a calculation method adopted by the network device for the quality information of the evaluation item. For example, in the case of the update cycle, the network device acquires additional evaluation information of each candidate item, calculates quality information and weight of each additional evaluation information, and further stores the quality of each previous evaluation information stored. The quality information of the corresponding evaluation item is recalculated by combining the information and its weight.

ここで、ネットワーク機器は、「オフライン」で各評価項目の品質情報を決定して記憶するようにしてもよく、「オンライン」で各評価項目の品質情報をリアルタイムに決定してもよい。つまり、評価項目の品質情報を呼び出す必要がある時に、ネットワーク機器は「オフライン」で計算して評価項目データベースに記憶した評価項目の品質情報を利用してもよく、「オンライン」で評価項目の品質情報をリアルタイムに計算してもよい。 Here, the network device may determine and store the quality information of each evaluation item “offline”, or may determine the quality information of each evaluation item in real time “online”. In other words, when it is necessary to call the quality information of the evaluation item, the network device may use the quality information of the evaluation item calculated “offline” and stored in the evaluation item database. Information may be calculated in real time.

好ましくは、ネットワーク機器は各評価項目の品質情報に応じて複数の評価項目をソートし、ソートされた複数の評価項目をユーザに表示するようにしてもよい。 Preferably, the network device may sort the plurality of evaluation items according to the quality information of each evaluation item, and display the sorted evaluation items to the user.

ユーザに複数の評価項目をプッシュする時に、ネットワーク機器は降順で、品質情報の高い評価項目を先頭位置にし、品質情報の低い評価項目を後部位置にし、ユーザに当該ソートを満たす複数の評価項目を表示する。 When pushing multiple evaluation items to the user, the network device sets the evaluation items with high quality information in the descending order, sets the evaluation items with high quality information at the top position, sets the evaluation items with low quality information at the rear position, and sets the evaluation items that satisfy the sort to the user. indicate.

例えば、サイトカテゴリページについて、ネットワーク機器はまず各評価項目、すなわち当該カテゴリの各サイトを取得し、さらに各評価項目の品質情報に応じてそのソートを決定し、当該ソートによって対応するサイトカテゴリページを生成してユーザに表示する。 For example, for the site category page, the network device first acquires each evaluation item, that is, each site of the category, further determines the sort according to the quality information of each evaluation item, and determines the corresponding site category page by the sort. Generate and display to the user.

図２は本発明の別の実施例に係る装置の模式図を示し、具体的には、評価項目の品質情報を決定する装置、すなわち決定装置１０を示す。図２に示すように、決定装置１０はネットワーク機器に配置され、具体的には手段１１及び手段１２を備える。 FIG. 2 is a schematic diagram of an apparatus according to another embodiment of the present invention, and specifically shows an apparatus for determining quality information of an evaluation item, that is, a determination apparatus 10. As shown in FIG. 2, the determination device 10 is arranged in a network device, and specifically includes means 11 and means 12.

手段１１は、評価項目の各評価情報の品質情報を決定し（区別の便宜上、以下、手段１１を評価品質決定手段１１と呼ぶ）、手段１２は各評価情報の品質情報をまとめて、評価項目の品質情報を決定する（区別の便宜上、以下、手段１２を評価項目決定手段１２と呼ぶ）。 The means 11 determines the quality information of each evaluation information of the evaluation item (for convenience of distinction, the means 11 is hereinafter referred to as the evaluation quality determination means 11), and the means 12 summarizes the quality information of each evaluation information, and the evaluation item (For convenience of distinction, the means 12 is hereinafter referred to as the evaluation item determining means 12).

具体的には、評価品質決定手段１１は評価項目の各評価情報の品質情報を決定する。 Specifically, the evaluation quality determination unit 11 determines the quality information of each evaluation information of the evaluation item.

評価情報の品質情報は、評価情報の優劣を評価するためのものである。当該品質情報はある数値で示すことができるため、品質スコアとみなすことがある。評価情報の品質情報は様々な方式又は要素、例えば評価内容、投稿者等の要素に基づいて評価される。 The quality information of the evaluation information is for evaluating the superiority or inferiority of the evaluation information. Since the quality information can be indicated by a certain numerical value, it may be regarded as a quality score. The quality information of the evaluation information is evaluated based on various methods or elements, for example, elements such as evaluation contents and contributors.

１）評価内容の品質。
ここで、評価内容の品質は評価内容の品質の優劣を示すものである。当該品質はある数値で示すことができるため、品質値とみなすことがある。 1) Quality of evaluation content.
Here, the quality of the evaluation content indicates the superiority or inferiority of the quality of the evaluation content. Since the quality can be indicated by a certain numerical value, it may be regarded as a quality value.

２）投稿者の信頼性。
ここで、投稿者とは、評価情報を投稿するユーザである。 2) The reliability of the poster.
Here, a contributor is a user who posts evaluation information.

評価情報の品質情報は、評価内容の品質のみに基づいて決定されてもよく、例えば、評価品質決定手段１１は評価内容の品質を評価情報の品質情報として直接決定してもよい。又は、評価情報の品質情報は投稿者の信頼性のみに基づいて決定されてもよく、例えば、評価品質決定手段１１は投稿者の信頼性を評価情報の品質情報よして直接決定してもよい。又は、評価情報の品質情報は評価内容の品質と投稿者の信頼性の両方に基づいて決定されてもよく、例えば、評価品質決定手段１１は評価内容の品質と投稿者の信頼性の平均値又は両方の和を評価情報の品質情報として決定してもよい。 The quality information of the evaluation information may be determined based only on the quality of the evaluation content. For example, the evaluation quality determination unit 11 may directly determine the quality of the evaluation content as the quality information of the evaluation information. Alternatively, the quality information of the evaluation information may be determined based only on the poster's reliability. For example, the evaluation quality determination unit 11 may directly determine the poster's reliability based on the quality information of the evaluation information. . Alternatively, the quality information of the evaluation information may be determined based on both the quality of the evaluation content and the reliability of the poster. For example, the evaluation quality determination means 11 may calculate the average value of the quality of the evaluation content and the reliability of the poster. Or you may determine the sum of both as quality information of evaluation information.

１）評価内容と評価項目との関連性。
ここで、評価内容と評価項目との関連性は両方の関連程度を示すものである。当該関連性は数値で示すことができる。 1) Relevance between evaluation contents and evaluation items.
Here, the relevance between the evaluation contents and the evaluation items indicates the degree of relevance of both. The relationship can be shown numerically.

ピクチャ形式、ビデオ形式の評価内容について、ピクチャ又はビデオの各フレームの画像に対するＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ、光学文字認識）によって、対応する文字形式の評価内容を取得し、評価内容と評価項目との関連性を決定する。或いは、ピクチャ形式、ビデオ形式の評価内容と評価項目との関連性は手動で決定されてもよく、評価品質決定手段１１はそれが判定不能なピクチャ又はビデオを人に提出して手動で審査させてもよい。また、通常、ピクチャ形式又はビデオ形式の評価内容は単独ではなく、文字形式の評価内容とともに出現するため、文字とともに出現する場合、文字評価内容と評価項目との関連性のみを決定してもよい。 Regarding the evaluation contents of picture format and video format, the evaluation contents of the corresponding character format are obtained by OCR (Optical Character Recognition) for the image of each frame of the picture or video, and the relationship between the evaluation contents and the evaluation items Determine sex. Alternatively, the relevance between the evaluation contents of the picture format and video format and the evaluation items may be determined manually, and the evaluation quality determination means 11 submits a picture or video that cannot be determined to a person and manually reviews it. May be. In addition, since the evaluation contents in the picture format or the video format usually appear together with the evaluation contents in the character format, when they appear together with the characters, only the relevance between the character evaluation contents and the evaluation item may be determined. .

ピクチャ形式、ビデオ形式の評価内容について、ＯＣＲによって対応する文字形式の評価内容を取得し、さらに上記文字内容に広告認識を行うことで、広告の有無を決定してもよい。或いは、広告ピクチャ、ビデオ等は通常重複性が高いため、広告ピクチャライブラリ及び／又は広告ビデオライブラリを照会することでピクチャ形式、ビデオ形式の評価内容に広告が含まれるか否かを決定してもよい。また、ピクチャ形式、ビデオ形式の評価内容において広告の有無は手動で決定されてもよく、評価品質決定手段１１はそれが判定不能なピクチャ又はビデオを人に提出して手動で審査させてもよい。 With regard to the evaluation contents of the picture format and the video format, the presence / absence of an advertisement may be determined by acquiring the evaluation contents of the corresponding character format by OCR and further performing advertisement recognition on the character contents. Alternatively, since advertisement pictures, videos, etc. are usually highly redundant, it may be determined whether or not advertisements are included in the evaluation contents of picture format and video format by querying advertisement picture library and / or advertisement video library. Good. Further, the presence / absence of an advertisement may be determined manually in the evaluation contents of the picture format and the video format, and the evaluation quality determination means 11 may submit a picture or video that cannot be determined to a person and manually review it. .

４）評価内容において敏感な情報の有無。
文字形式の評価内容における敏感な情報の有無は、禁止語テーブルを照会することで決定されてもよい。ここで、禁止語は、ポルノ、反動、暴力等を表す文字列を含むが、それらに限定されない。 4) Presence or absence of sensitive information in evaluation contents.
Presence / absence of sensitive information in the evaluation contents in the character format may be determined by referring to the prohibited word table. Here, the prohibited words include character strings representing pornography, reaction, violence, etc., but are not limited thereto.

ピクチャ形式、ビデオ形式の評価内容について、ＯＣＲによって対応する文字形式の評価内容を取得し、さらに上記文字内容に敏感な情報認識を行うことで、評価内容に敏感な情報が含まれるか否かを決定する。或いは、敏感な情報が含まれるピクチャ、ビデオ等は通常重複性が高いため、敏感ピクチャライブラリ及び／又は敏感ビデオライブラリを照会することで、ピクチャ形式、ビデオ形式の評価内容に敏感な情報が含まれるか否かを決定する。また、ピクチャ形式、ビデオ形式の評価内容において敏感な情報の有無は手動で決定されてもよく、評価品質決定手段１１はそれが判定不能なピクチャ又はビデオを人に提出して手動で審査させてもよい。 As for the evaluation contents in picture format and video format, the evaluation contents in the corresponding character format are acquired by OCR, and further information recognition sensitive to the character contents is performed to determine whether or not information sensitive to the evaluation contents is included. decide. Or, because pictures, videos, etc. that contain sensitive information usually have a high degree of duplication, information that is sensitive to the evaluation contents of the picture format and video format is included by querying the sensitive picture library and / or sensitive video library. Determine whether or not. In addition, the presence or absence of sensitive information in the evaluation contents of the picture format and video format may be determined manually, and the evaluation quality determination means 11 submits a picture or video that cannot be determined to a person and manually examines it. Also good.

評価内容は敏感な情報が含まれる場合、その品質をゼロとしてよく、又は、当該パラメータの値を低い値、例えばゼロ又は負数としてもよく、それにより、ほかのパラメータと組み合わせて評価内容の品質を決定する際に、敏感な情報による品質への影響を解消す。 If the evaluation content contains sensitive information, its quality may be zero, or the value of the parameter may be a low value, for example, zero or negative, so that the quality of the evaluation content can be combined with other parameters. When making decisions, eliminate the impact of sensitive information on quality.

投稿者の信頼性
ここで、投稿者の信頼性は投稿者自身についての評価であり、以下のパラメータの少なくともいずれか１項に基づいて決定される。 Here reliability contributors, reliability contributors are evaluated for author himself, it is determined based on at least any one of the following parameters.

投稿者の身元信頼性は、投稿者が身分証明書認証、携帯電話認証、決済プラットフォームでの取引認証のような様々な身元認証に合格するか否かに基づいて決定され、投稿者は合格した種々の身元認証が多いほど、身元信頼性が高い。 The poster's identity reliability is determined based on whether the poster passes various identity verifications such as identity verification, mobile phone authentication, and transaction authentication on the payment platform. The more various types of identity authentication, the higher the identity reliability.

２）投稿者の行為信頼性。
ここで、投稿者の行為信頼性は、行為から投稿者の信用度を評価するためのものである。当該行為信頼性は数値で示すことができる。 2) The act reliability of the poster.
Here, the act reliability of the poster is for evaluating the poster's credit rating from the act. The action reliability can be expressed numerically.

好ましくは、評価品質決定手段１１は、評価内容の品質と投稿者の信頼性、及びそれぞれに対応する重みに基づいて、評価情報の品質情報を加重して決定する。 Preferably, the evaluation quality determination means 11 weights and determines the quality information of the evaluation information based on the quality of the evaluation content, the poster's reliability, and the corresponding weight.

具体的には、評価品質決定手段１１は、上記の式１に基づいて評価情報の品質情報を決定する。 Specifically, the evaluation quality determination unit 11 determines the quality information of the evaluation information based on Equation 1 above.

その後、評価項目品質決定手段１２は各評価情報の品質情報をまとめて、評価項目の品質情報を決定する。 Thereafter, the evaluation item quality determination unit 12 collects the quality information of each evaluation information and determines the quality information of the evaluation item.

評価項目品質決定手段１２は、様々なまとめ方によって評価項目の品質情報を決定できる。例えば、評価項目品質決定手段１２はすべての評価情報の品質情報の和又は平均値を、評価項目の品質情報としてもよい。また、すべての評価情報の品質情報の最高値と最低値を除き、残りの評価情報の品質情報の平均値を評価項目の品質情報としてもよい。 The evaluation item quality determination means 12 can determine the quality information of the evaluation item by various ways of grouping. For example, the evaluation item quality determination means 12 may use the sum or average value of the quality information of all the evaluation information as the quality information of the evaluation item. Moreover, the average value of the quality information of the remaining evaluation information may be used as the quality information of the evaluation item, except for the highest value and the lowest value of the quality information of all the evaluation information.

好ましくは、評価項目品質決定手段１２は各評価情報の品質情報、及び各評価情報に対応する評価指数情報の重みに基づいて、評価項目の品質情報を加重して決定する。 Preferably, the evaluation item quality determination means 12 weights and determines the evaluation item quality information based on the quality information of each evaluation information and the weight of the evaluation index information corresponding to each evaluation information.

例えば、５つの星を明るくしたことは最高の評価指数情報に対応し、１つの星を明るくしたことは最低の評価指数情報に対応する。評価指数情報と重みとの対応関係は具体的には上記の表１に示される。 For example, brightening five stars corresponds to the highest evaluation index information, and brightening one star corresponds to the lowest evaluation index information. The correspondence relationship between the evaluation index information and the weight is specifically shown in Table 1 above.

ここで、評価項目品質決定手段１２が評価項目の品質情報を決定する方式は以下の２種類を含むが、それらに限定されない。 Here, the method by which the evaluation item quality determination means 12 determines the quality information of the evaluation item includes the following two types, but is not limited thereto.

１）評価項目品質決定手段１２は直接に、各評価情報の品質情報、及び各評価情報に対応する評価指数情報の重みに基づいて、評価項目の品質情報を加重して決定する。 1) The evaluation item quality determination means 12 directly determines the quality information of the evaluation items based on the quality information of each evaluation information and the weight of the evaluation index information corresponding to each evaluation information.

具体的には、評価項目品質決定手段１２は上記の式２に基づいて評価項目の品質情報を決定する。 Specifically, the evaluation item quality determination means 12 determines the quality information of the evaluation item based on the above formula 2.

従って、上記の式２に基づいて、評価項目品質決定手段１２はさらに評価項目に対応する評価情報の総数に基づいて各評価情報の品質情報の加重和の平均値を求め、当該平均値で評価項目の品質情報を示す。 Therefore, based on the above formula 2, the evaluation item quality determination means 12 further obtains an average value of the weighted sum of the quality information of each evaluation information based on the total number of evaluation information corresponding to the evaluation item, and evaluates with the average value. Indicates the quality information of the item.

具体的には、評価項目品質決定手段１２は上記の式３に基づいて評価項目の品質情報を決定する。 Specifically, the evaluation item quality determination means 12 determines the quality information of the evaluation item based on the above formula 3.

式３に基づいて決定された評価項目の品質情報は、評価情報の数に基づいて平均値を求めることにより、さらに正確になることがあり、評価情報の数が多いだけで評価項目の品質情報が高いと決め付けることを回避できる。 The quality information of the evaluation item determined based on Equation 3 may be more accurate by obtaining an average value based on the number of evaluation information. Can be determined to be high.

２）好ましくは、評価項目品質決定手段１２は以下のステップによって評価項目の品質情報を決定してもよい。 2) Preferably, the evaluation item quality determination means 12 may determine the quality information of the evaluation item by the following steps.

２．１）評価項目品質決定手段１２は各評価情報の品質情報に基づいて品質格付けを行い、異なる品質等級の評価情報を取得する。 2.1) The evaluation item quality determination means 12 performs a quality rating based on the quality information of each evaluation information, and acquires evaluation information of different quality grades.

例えば、評価項目品質決定手段１２は各評価情報の品質情報に基づいて、評価情報に品質格付けを行い、高、中、低の３つの品質等級の評価情報を取得し、各品質等級が異なる評価情報に対応する。ここで、品質格付けの標準は予め設定されてもよく、動的に決定されてもよい。例えば、すべての評価項目の評価情報の品質格付けに適用できる統一した格付け標準を設定する。また、各評価項目のすべての評価情報の品質情報に基づいて、等級の数、例えば２級、３級等に応じて、各品質等級に属する評価情報を決定する。 For example, the evaluation item quality determination means 12 performs quality rating on the evaluation information based on the quality information of each evaluation information, acquires evaluation information of three quality grades of high, medium, and low, and each quality grade is evaluated differently. Corresponds to information. Here, the quality rating standard may be set in advance or may be determined dynamically. For example, a unified rating standard that can be applied to the quality rating of the evaluation information of all evaluation items is set. Further, based on the quality information of all evaluation information of each evaluation item, evaluation information belonging to each quality class is determined according to the number of classes, for example, the second grade, the third grade, and the like.

２．２）次に、評価項目品質決定手段１２は各品質等級の評価情報に対応する評価指数情報に基づいて、対応する品質等級に対応する重みを決定する。 2.2) Next, the evaluation item quality determination means 12 determines the weight corresponding to the corresponding quality grade based on the evaluation index information corresponding to the evaluation information of each quality grade.

例えば、評価項目品質決定手段１２は上記の式４に基づいて任意の品質等級に対応する重みを決定する。 For example, the evaluation item quality determination means 12 determines a weight corresponding to an arbitrary quality grade based on the above equation 4.

２．３）その後、評価項目品質決定手段１２は各品質等級の評価情報の品質情報の平均値、及び対応する品質等級の重みに基づいて、評価項目の品質情報を加重して決定する。 2.3) Thereafter, the evaluation item quality determination means 12 weights and determines the quality information of the evaluation item based on the average value of the quality information of the evaluation information of each quality class and the weight of the corresponding quality class.

例えば、評価項目品質決定手段１２は上記の式５に基づいて評価項目の品質情報を決定する。 For example, the evaluation item quality determination unit 12 determines the quality information of the evaluation item based on the above formula 5.

好ましくは、評価品質決定手段１１と評価項目品質決定手段１２とは一体に集積されてもよい。 Preferably, the evaluation quality determination unit 11 and the evaluation item quality determination unit 12 may be integrated together.

以上で述べされたように、本明細書は評価項目の品質情報を決定する技術案を説明したが、当業者であれば、決定装置１０は上記技術案に基づいて各評価項目の品質情報を決定することができると理解できる。 As described above, the present specification has described the technical plan for determining the quality information of the evaluation item. However, if it is a person skilled in the art, the determination device 10 can obtain the quality information of each evaluation item based on the technical plan. It can be understood that it can be determined.

評価項目の評価情報が動的に変化するものであるため、決定装置１０は所定の条件に従って各評価項目の評価情報を更新し、さらに上記各計算方式で各評価項目の品質情報を更新することができる。評価情報の更新条件は所定周期、例えば週一回で更新してもよく、所定のイベントで更新してもよく、例えば新たに発表した評価情報を検出した場合、対応する評価項目の品質情報を更新する。 Since the evaluation information of the evaluation item changes dynamically, the determination apparatus 10 updates the evaluation information of each evaluation item according to a predetermined condition, and further updates the quality information of each evaluation item using the above calculation methods. Can do. The update condition of the evaluation information may be updated at a predetermined cycle, for example, once a week, or may be updated at a predetermined event. For example, when newly released evaluation information is detected, the quality information of the corresponding evaluation item is displayed. Update.

決定装置１０の計算負荷を軽減させるために、決定装置１０は、計算済みの各評価項目の品質情報及び当該品質情報の計算用の各計算パラメータを記憶する評価項目データベースを構築してもよく、各計算パラメータ、例えば各評価情報の品質情報、対応する重み等は、評価項目の品質情報に対して決定装置１０が採用する計算方式に決められる。式２を例として、更新周期になる場合、決定装置１０は各候補項目の追加評価情報を取得し、各追加評価情報の品質情報及びその重みを計算し、さらに記憶した前の各評価情報の品質情報及びその重みと組み合わせて、対応する評価項目の品質情報を再計算する。 In order to reduce the calculation load of the determination apparatus 10, the determination apparatus 10 may construct an evaluation item database that stores the quality information of each evaluation item that has been calculated and each calculation parameter for calculation of the quality information, Each calculation parameter, for example, quality information of each evaluation information, corresponding weight, and the like are determined by a calculation method adopted by the determination apparatus 10 for the quality information of the evaluation item. For example, in the case of the update cycle, the determination apparatus 10 acquires additional evaluation information of each candidate item, calculates quality information of each additional evaluation information and its weight, and further stores each evaluation information before storing. The quality information of the corresponding evaluation item is recalculated in combination with the quality information and its weight.

ここで、決定装置１０は、「オフライン」で各評価項目の品質情報を決定して記憶するようにしてもよく、「オンライン」で各評価項目の品質情報をリアルタイムに決定してもよい。つまり、評価項目の品質情報を呼び出す必要がある時に、決定装置１０は「オフライン」で計算して評価項目データベースに記憶した評価項目の品質情報を利用してもよく、「オンライン」で評価項目の品質情報をリアルタイムに計算してもよい。 Here, the determination device 10 may determine and store the quality information of each evaluation item “offline”, or may determine the quality information of each evaluation item in real time “online”. That is, when it is necessary to call up the quality information of the evaluation item, the determination apparatus 10 may use the quality information of the evaluation item calculated “offline” and stored in the evaluation item database. Quality information may be calculated in real time.

好ましくは、決定装置１０は、各評価項目の品質情報に応じて複数の評価項目をソートし、ソートされた複数の評価項目をユーザに表示するソート手段（図２では図示せず）をさらに備えてもよい。 Preferably, the determining apparatus 10 further includes sorting means (not shown in FIG. 2) for sorting a plurality of evaluation items according to quality information of each evaluation item and displaying the sorted plurality of evaluation items to the user. May be.

ユーザに複数の評価項目をプッシュする時に、ソート手段は降順で、品質情報の高い評価項目を先頭位置にし、品質情報の低い評価項目を後部位置にし、ユーザに当該ソートを満たす複数の評価項目を表示する。 When pushing a plurality of evaluation items to the user, the sorting means sets the evaluation items with high quality information at the top position, the evaluation items with low quality information at the rear position in descending order, and sets the evaluation items satisfying the sort to the user. indicate.

例えば、サイトカテゴリページについて、ソート手段はまず各評価項目、すなわち当該カテゴリの各サイトを取得し、さらに各評価項目の品質情報に応じてそのソートを決定し、当該ソートによって対応するサイトカテゴリページを生成してユーザに表示する。 For example, for the site category page, the sorting means first obtains each evaluation item, that is, each site of the category, further determines the sort according to the quality information of each evaluation item, and selects the corresponding site category page by the sort. Generate and display to the user.

注意すべきことは、本発明が、ソフトウェア及び／又はソフトウエアとハードウェアとの組合せにおいて実施することができ、例えば、特定用途向け集積回（ＡＳＩＣ）、汎用コンピュータ又は任意の他の種類のハードウエアを用いて実現することができる。本発明のソフトウェアプログラムはプロセッサに実行されることで以上の前記ステップ又は機能を実現できる。同様に、本発明のソフトウェアプログラム（関連するデータ構造を含む）は、コンピュータ読み取り可能な記録媒体、例えば、ＲＡＭメモリ、磁気ドライブ又は光学ドライブ又はフロッピーディスク及び類似装置に記録されてもよい。また、本発明の一部のステップ又は機能はハードウェア、例えばプロセッサと協力して各機能又はステップを実行する電気回路によって実現できる。 It should be noted that the present invention can be implemented in software and / or a combination of software and hardware, such as an application specific integrated circuit (ASIC), a general purpose computer, or any other type of hardware. It can be realized using wear. The software program of the present invention can realize the above steps or functions by being executed by a processor. Similarly, the software program (including associated data structures) of the present invention may be recorded on a computer readable recording medium, such as a RAM memory, magnetic drive or optical drive or floppy disk and similar devices. Further, some steps or functions of the present invention can be realized by hardware, for example, an electric circuit that executes each function or step in cooperation with a processor.

また、本発明の一部は、コンピュータプログラム製品、例えばコンピュータプログラム命令として使用されてもよく、コンピュータに実行される場合、当該コンピュータの操作により、本発明に係る方法及び／又は技術案を呼び出す又は提供することができる。本発明の方法を呼び出すプログラム命令は、固定記録媒体又は取り外し可能な記録媒体に記録され、及び／又はブロードキャスト又はその他の信号担持媒体におけるデータストリームを介して伝送され、及び／又は前記プログラム命令に応じて運転するコンピュータ装置のワーキングメモリに記録される。ここで、本発明の一実施例によれば、コンピュータプログラム命令を記録するメモリと、タプログラム命令を実行するプロセッサとを備える装置を含み、当該コンピュータプログラム命令が当該プロセッサに実行される場合に、当該装置に、本発明に係る複数の実施例の方法及び／又は技術案を実行させる。 Further, a part of the present invention may be used as a computer program product, for example, a computer program instruction. When executed on a computer, the method and / or technical solution according to the present invention is called by operation of the computer or Can be provided. Program instructions for invoking the method of the invention are recorded on a fixed recording medium or a removable recording medium and / or transmitted via a data stream in a broadcast or other signal bearing medium and / or in response to the program instructions Is recorded in the working memory of the computer device that operates. Here, according to an embodiment of the present invention, when the computer program instruction is executed by the processor, the apparatus includes a memory that stores the computer program instruction and a processor that executes the program instruction. The apparatus is caused to execute the methods and / or technical solutions of a plurality of embodiments according to the present invention.

当業者であれば、本発明は、上記の例示的な実施例の詳細に制限されず、本発明の主旨又は基本的な特徴を脱逸せずにその他の形態で本発明を実現できることが明らかなことである。従って、いずれにしても、実施例は例示的なものに過ぎず、非限定的であり、本発明の範囲は上記説明ではなく添付している請求項により限定され、従って、請求項の同等要件を満たす意味及び範囲を有するすべての変化は本発明内に含まれる。請求項における任意の図面符号を、係る請求項を制限するものとしてはならない。また、「含む」という単語は、他のユニット又はステップを排除せず、単数形を使用する場合も複数を含む。請求項に説明した複数のユニット又は装置は、一つのユニット又は装置によりソフトウェア又はハードウェアを通じて実現されてもよい。第１、第２等の単語は名称を示すことに用いられ、順番を特定するものではない。 It will be apparent to those skilled in the art that the present invention is not limited to the details of the exemplary embodiments described above, and that the present invention can be implemented in other forms without departing from the spirit or basic characteristics of the invention. It is a thing. Accordingly, in any event, the examples are illustrative only and are non-limiting, and the scope of the present invention is limited not by the above description but by the appended claims, and thus the equivalent requirements of the claims All changes having meanings and ranges that fall within the scope of this invention are included in the present invention. Any reference sign in a claim should not be construed as limiting the claim. Further, the word “comprising” does not exclude other units or steps, and includes the plural when using the singular. A plurality of units or devices described in the claims may be realized by software or hardware by one unit or device. The first and second words are used to indicate names, and do not specify the order.

Claims

A method for determining quality information of evaluation items each having one or more evaluation information,
Determining quality information for each evaluation information;
A method for determining quality information of evaluation items, comprising: combining quality information of each evaluation information and determining quality information of the evaluation items.

The quality information of each evaluation information is
The quality of the evaluation,
The method according to claim 1, wherein the method is determined based on at least one of the poster's reliability.

The quality of the evaluation content is
Relevance between the evaluation content and the evaluation item;
Presence or absence of advertisement in the evaluation content;
An amount of feedback information of the evaluation content;
The method according to claim 2, wherein the method is determined based on at least one of presence and absence of sensitive information in the evaluation content.

The reliability of the contributor is
The authenticity of the poster,
The method according to claim 2, wherein the method is determined based on at least one of the author's action reliability.

In the step of determining the quality information of each of the evaluation information, specifically,
The method according to claim 2, further comprising the step of weighting and determining the quality information of each evaluation information based on the quality of the evaluation content, the reliability of the poster, and the weight corresponding to each. The method according to any one of the above.

In the step of summarizing the quality information of each of the evaluation information, specifically,
6. The method includes the step of weighting and determining the quality information of the evaluation item based on the quality information of the evaluation information and the weight of evaluation index information corresponding to the evaluation information. The method of any one of these.

In the step of summarizing the quality information of each of the evaluation information, specifically,
Performing a quality rating based on the quality information of each evaluation information, obtaining evaluation information of different quality grades;
Determining a weight corresponding to a corresponding quality grade based on evaluation index information corresponding to the evaluation information in each quality grade;
The method includes the step of weighting and determining the quality information of the evaluation item based on an average value of quality information of evaluation information in each quality grade and a weight of the corresponding quality grade. The method described.

The method according to claim 1, further comprising: sorting a plurality of evaluation items according to quality information of each evaluation item, and displaying the sorted plurality of evaluation items to a user. the method of.

An apparatus for determining quality information of evaluation items each having one or more evaluation information,
Means for determining quality information of each evaluation information;
An apparatus for determining quality information of an evaluation item, comprising: means for determining quality information of the evaluation item by collecting quality information of the evaluation information.

The quality information of each evaluation information is
The apparatus according to claim 9, wherein the apparatus is determined based on at least one of quality of evaluation contents and reliability of a poster.

The quality of the evaluation content is
Relevance between the evaluation content and the evaluation item;
Presence or absence of advertisement in the evaluation content;
An amount of feedback information of the evaluation content;
The apparatus according to claim 10, wherein the apparatus is determined based on at least one of presence and absence of sensitive information in the evaluation content.

The reliability of the contributor is
The authenticity of the poster,
The apparatus according to claim 10 or 11, wherein the apparatus is determined based on at least one of the poster act reliability.

The means for determining the quality information of each of the evaluation information is specifically:
The quality information of each said evaluation information is weighted and determined based on the quality of the said evaluation content, the reliability of the said contributor, and the weight corresponding to each, The any one of Claims 10-12 characterized by the above-mentioned. The device according to item.

Specifically, the means for collecting the quality information of each of the evaluation information is as follows:
The quality information of each evaluation information and the weight of evaluation index information corresponding to each evaluation information are determined based on weighting of the quality information of the evaluation items. The apparatus according to item 1.

Specifically, the means for collecting the quality information of each of the evaluation information is as follows:
Performing a quality rating based on the quality information of each evaluation information, obtaining evaluation information of different quality grades,
Based on the evaluation index information corresponding to the evaluation information in each quality grade, determine the weight corresponding to the corresponding quality grade,
The apparatus according to claim 14, wherein the quality information of the evaluation item is weighted and determined based on an average value of quality information of evaluation information in each quality class and a weight of the corresponding quality class.

The apparatus according to any one of claims 9 to 15, further comprising means for sorting a plurality of evaluation items according to quality information of each evaluation item and displaying the sorted plurality of evaluation items to a user. Equipment.

A computer-readable storage medium, wherein computer instructions are stored, and when the computer instructions are executed, the method according to claim 1 is executed.

A computer program product, wherein when the computer program product is executed, the method according to any one of claims 1 to 8 is executed.

9. A memory and a processor, wherein computer instructions are stored in the memory, the processor being arranged to perform the method of any one of claims 1 to 8 by executing the computer instructions. Computer equipment characterized by