CN103186604A - 用于确定用户对搜索结果满意度的方法、装置和设备 - Google Patents
用于确定用户对搜索结果满意度的方法、装置和设备 Download PDFInfo
- Publication number
- CN103186604A CN103186604A CN2011104554953A CN201110455495A CN103186604A CN 103186604 A CN103186604 A CN 103186604A CN 2011104554953 A CN2011104554953 A CN 2011104554953A CN 201110455495 A CN201110455495 A CN 201110455495A CN 103186604 A CN103186604 A CN 103186604A
- Authority
- CN
- China
- Prior art keywords
- information
- user
- search results
- click
- satisfaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了确定用户对搜索结果满意度的方法、装置和设备。本发明的方案获取用户对基于搜索序列所得的搜索结果的点击量信息；根据所述点击量信息与所述搜索序列的预定点击量特征信息，确定两者之间的符合程度；并据所述符合程度，确定用户对所述搜索结果的满意度。与现有技术相比，本发明具有以下优点：能够根据搜索序列的点击量信息与其预定点击量特征信息的相符程度，确定用户对搜索序列的搜索结果的满意度，极大提高了满意度评估的效率和准确性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及用于确定用户对搜索结果满意度的方法、装置和设备。
背景技术
现有技术中，主要采用专家评估的方式，确定用户对搜索结果的满意度。然而，专家评估方式因受到人力和时间成本耗费巨大、评估数量有限的影响，难以对搜索引擎效果进行大量、全面的评估，评估结果也易受到专家主观经验因素的干扰。
发明内容
本发明的目的是提供用于确定用户对搜索结果满意度的方法、装置和设备。
根据本发明的一个方面，提供一种计算机实现的用于确定用户对搜索结果的满意度的方法，其中，该方法包括以下步骤：
a获取用户对基于搜索序列所得的搜索结果的点击量信息；
b根据所述点击量信息与所述搜索序列的预定点击量特征信息，确定两者之间的符合程度；
c根据所述符合程度，确定用户对所述搜索结果的满意度。
根据本发明的另一个方面，还提供了一种用于确定用户对搜索结果的满意度的确定装置，其中，该确定装置包括：
第一获取装置，用于获取用户对基于搜索序列所得的搜索结果的点击量信息；
符合度确定装置，用于跟据所述点击量信息与所述搜索序列的预定点击量特征信息，确定两者之间的符合程度；
满意度确定装置，用于根据所述符合程度，确定用户对所述搜索结果的满意度。
根据本发明的再一个方面，还提供一种计算机设备，其中，该计算机设备包括前述确定装置。
与现有技术相比，本发明具有以下优点：1)能够根据搜索序列的点击量信息与其预定点击量特征信息的相符程度，确定用户对搜索序列的搜索结果的满意度，极大提高了满意度评估的效率和准确性；2)能够结合点击量信息与预定点击量特征信息之间的符合程度以及用户对搜索结果的其他行为相关信息，确定用户对搜索结果的满意度，进一步提高了计算机设备获得的满意度的准确度；3)当搜索结果中包含直接呈现的资源信息时，还能根据所确定的满意度，判断直接呈现的资源信息是否较好地符合用户需求，并当判断其未能较好地符合用户需求时，将直接呈现的资源信息下线。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一个方面的用于确定用户对搜索结果的满意度的方法流程图；
图2为本发明一个优选实施例的用于确定用户对搜索结果的满意度的方法流程图；
图3为本发明一个方面的用于确定用户对搜索结果的满意度的确定装置的结构示意图；
图4为本发明一个优选实施例的用于确定用户对搜索结果的满意度的确定装置的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
图1示意出了本发明一个方面的一种计算机实现的用于确定用户对搜索结果的满意度的方法流程图。本发明的方法包括步骤S1、步骤S2以及步骤S3。其中，该计算机包括网络设备，根据本发明的方法可通过网络设备中的确定装置来实现，例如，通过网络设备中诸如应用模块、操作系统、处理控制器等来实现。所述网络设备可单独实现本发明，或者，接入网络并通过与网络中的其他网络设备或用户设备的交互操作来实现本发明。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机；所述用户设备包括但不限于电脑、智能手机、PDA等。其中，所述网络设备或用户设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是，所述用户设备及网络设备仅为举例，其他现有的或今后可能出现的用户设备、网络设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
在步骤S1中，确定装置获取用户对基于搜索序列所得的搜索结果的点击量信息。
其中，搜索结果包括但不限于以下至少一类信息：1)资源信息本身，如在搜索页面中直接呈现的资源信息等；2)指向资源信息的资源链接及其描述信息，如在网页搜索引擎中进行搜索所得的网页链接以及该网页的标题、摘要等。
其中，所述点击量信息包括但不限于以下至少一项：1)单个用户对基于搜索序列所得的搜索结果的平均点击量，例如，平均一个用户对基于输入序列“新浪微博”所得的搜索结果的点击次数为1.239次；2)点击搜索结果的用户数量以及对该搜索结果的点击量，例如，2467个用户对基于输入序列“新浪微博”所得的搜索结果的点击次数共3057次。
具体地，确定装置获取点击量信息的方式包括但不限于：1)确定装置在本地的点击量信息库中对该输入序列进行查询，以获得基于该输入序列所得的搜索结果点击量信息；2)确定装置向网络中的其他设备发送该输入序列，以获得其他设备反馈的基于该输入序列所得搜索结果的点击量信息。
接着，在步骤S2中，确定装置根据所述点击量信息与所述搜索序列的预定点击量特征信息，确定两者之间的符合程度。其中，所述符合程度可以数值或等级来表示。
其中，预定点击量特征信息包括能够反映输入序列的点击量的特征的信息。优选地，预定点击量特征信息包括但不限于以下任一项：1)预定点击量范围，例如，单个用户对搜索结果的平均点击量范围为1.102至2.148等，又例如，1000个用户对搜索结果的点击量范围为1102至2148等；2)预定点击次数，例如，单个用户对搜索结果的平均点击次数为1.624次等，又例如，1000个用户对搜索结果的平均点击次数为1624次等。
其中，确定装置获取预定点击量特征信息的方式包括但不限于：1)确定装置在本地的预定点击量特征信息库中对该输入序列进行查询，以获得该输入序列的预定点击量特征信息；2)确定装置向网络中的其他设备发送该输入序列，以获得其他设备反馈的该输入序列的预定点击量特征信息。其中，搜索序列的预定点击量特征信息可由人工确定；或者，由计算机设备通过对搜索序列进行诸如语义分析、历史点击记录分析等确定。
具体地，确定装置确定预定点击量信息与预定点击量特征信息之间的符合程度的方式包括但不限于：
1)当预定点击量特征信息包括预定点击量范围时，确定装置判断所述点击量信息是否属于所述预定点击量范围；并当判断所述点击量信息属于所述预定点击量范围时，确定所述符合程度为最高。
具体地，当点击量信息为平均点击量，预定点击量范围为平均点击量范围时，确定装置直接通过判断平均点击量是否位于平均点击量范围中，来判断点击量信息是否属于预定点击量范围；当点击量信息为点击搜索结果的用户数量以及对该搜索结果的点击量，和/或，预定点击量范围为多个用户对搜索结果的点击量范围时，确定装置对其求取平均，以通过判断平均后的点击量信息是否位于平均后的点击量范围中，来判断点击量信息是否属于预定点击量范围。
例如，确定装置在步骤S1中获得的输入序列“新浪微博”的平均点击次数为1.239次，且确定装置预获得的“新浪微博”的平均点击量范围为1.102至2.148次，则确定装置判断1.102＜1.239＜2.148，并确定输入序列“新浪微博”的点击量信息与其预定点击量范围之间的符合程度为最高。
又例如，确定装置在步骤S1中获得的输入序列“新浪微博”的点击量信息包括：2467个用户对基于输入序列“新浪微博”所得的搜索结果的点击次数共3057次，且确定装置预获得的“新浪微博”的点击量范围信息包括：1000个用户对搜索结果的点击量范围为1102至2148；则确定装置对点击量以及点击量范围分别求取平均，获得平均点击次数为1.239次，平均点击量范围为1.102至2.148次，则确定装置判断1.102＜1.239＜2.148，并确定输入序列“新浪微博”的点击量信息与其预定点击量范围之间的符合程度为最高。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何当预定点击量特征信息包括预定点击量范围时，判断所述点击量信息是否属于所述预定点击量范围，并当判断所述点击量信息属于所述预定点击量范围时，确定所述符合程度为最高的实现方式，均应包含在本发明的范围内。
优选地，当判断点击量信息不属于预定点击量范围时，确定装置确定符合程度为最低；或者，确定装置确定点击量信息与预定点击量范围之间的偏离程度，以将该偏离程度作为两者之间的符合程度。
具体地，当点击量信息为平均点击量，预定点击量范围为平均点击量范围时，确定装置直接根据点击量信息与预定点击量范围中的数值之间的最小差值，获得点击量信息与预定点击量范围之间的偏离程度；当点击量信息为点击搜索结果的用户数量以及对该搜索结果的点击量，和/或，预定点击量范围为多个用户对搜索结果的点击量范围时，确定装置求取步骤S21中获得的平均点击量与平均点击量范围中的数值之间的最小差值，以获得点击量信息与预定点击量范围之间的偏离程度。
例如，确定装置在步骤S1中获得的输入序列“新浪微博”的平均点击次数为2.239次，且确定装置预获得的“新浪微博”的平均点击量范围为1.102至2.148次，则确定装置基于2.239＞2.148判断点击量信息不属于预定点击量范围，并获得2.239-2.148＝0.091以及2.239-1.102＝1.137，并判断0.091＜1.137，则确定装置确定点击量信息与预定点击量范围之间的偏离程度为0.091，并将该偏离程度作为点击量信息与预定点击量范围之间的符合程度。
又例如，确定装置在步骤S1中获得的输入序列“新浪微博”的点击量信息包括：2467个用户对基于输入序列“新浪微博”所得的搜索结果的点击次数共5524次，且确定装置预获得的“新浪微博”的点击量范围信息包括：1000个用户对搜索结果的点击量范围为1102至2148；则确定装置对点击量以及点击量范围分别求取平均，获得平均点击次数为2.239次，平均点击量范围为1.102至2.148次，则确定装置基于2.239＞2.148判断点击量信息不属于预定点击量范围，并获得2.239-2.148＝0.091以及2.239-1.102＝1.137，并判断0.091＜1.137，则确定装置将0.091的倒数10.989作为点击量信息与预定点击量范围之间的偏离程度，并将该偏离程度作为点击量信息与预定点击量范围之间的符合程度。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何当判断点击量信息不属于预定点击量范围时，确定点击量信息与预定点击量范围之间的偏离程度，以将该偏离程度作为两者之间的符合程度的实现方式，均应包含在本发明的范围内。
2)当预定点击量特征信息包括预定点击次数时，确定装置确定预定点次数与预定点击量范围之间的偏离程度，以将该偏离程度作为两者之间的符合程度。
其中，确定装置确定预定点次数与预定点击量范围之间的偏离程度，以将该偏离程度作为两者之间的符合程度的方式，与前述实现方式1)中确定装置确定点击量信息与预定点击量范围之间的偏离程度，以将该偏离程度作为两者之间的符合程度的方式相同或相似，在此不再赘述。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据所述点击量信息与所述搜索序列的预定点击量特征信息，确定两者之间的符合程度的实现方式，均应包含在本发明的范围内。
接着，在步骤S3中，确定装置根据步骤S2中获得的符合程度，确定用户对搜索结果的满意度。
其中，确定装置能够通过多种方式确定满意度。例如，当满意度以等级方式表示时，确定装置根据符合程度与满意度之间的预定映射关系，如A级符合程度对应第一级满意度、满意度值在1至2之间的符合程度对应第二级满意度等；又例如，当满意度以数值方式表示时，确定装置根据预定公式计算获得满意度，如根据预定公式：满意度＝(100-符合程度)/100，获得满意度等。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据符合程度，确定用户对搜索结果的满意度的实现方式，均应包含在本发明的范围内。
作为本发明的优选方案之一，搜索结果包含在搜索页面中直接呈现的资源信息，本发明的方法还包括下述步骤S4以及S5。
其中，该在搜索页面中直接呈现的资源信息包括但不限于：1)直接呈现在搜索页面中的、包含诸如图像和/或音视频等信息的多媒体资讯；2)直接呈现在搜索页面中的应用等。例如，当用户搜索“天气预报”时，直接呈现在搜索页面中的、包含图像信息的、未来3天的天气预报等；又例如，当用户搜索“愤怒的小鸟攻略”时，直接呈现在搜索页面中的、可供用户进行诸如点击、翻页等操作，以使用户获得所需关卡的攻略的应用等。
在步骤S4中，确定装置判断步骤S3中获得的满意度是否低于第一预定阈值或第一预定等级。
例如，确定装置在步骤S3中获得的满意度为0.21，第一预定阈值为0.4，则确定装置判断满意度低于第一预定阈值等。
在步骤S5中，当判断所述满意度低于第一预定阈值或第一预定等级时，确定装置确定所述搜索序列的搜索结果中不再包含所述直接呈现的资源信息。
具体地，当判断满意度低于第一预定阈值或第一预定等级时，确定装置将直接呈现的资源信息从该搜索序列的搜索结果索引或列表中删除，以使用户在该删除操作之后搜索该搜索序列时，搜索结果中不再包含该直接呈现的搜索结果。
例如，搜索序列“天气预报”的第二排序位置包含直接呈现用户IP所在城市未来3天的天气预报资讯，步骤S4中，确定装置获得搜索序列“天气预报”的搜索结果的满意度低于第一预定等级，则确定装置将该直接呈现在第二排序位置的天气预报资讯从搜索序列“天气预报”的索引中删除，以使“天气预报”的搜索结果中不再包含该直接呈现的天气预报资讯。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何当判断所述满意度低于第一预定阈值或第一预定等级时，确定所述搜索序列的搜索结果中不再包含所述直接呈现的资源信息的实现方式，均应包含在本发明的范围内。
受用户搜索意图、搜索结果呈现方式等因素的影响，对于特定的搜索序列，在其搜索结果能够较好地满足用户需求的情况下，其搜索结果的点击情况往往会呈现特定的点击量特征。例如，对于一类搜索序列，其搜索结果中包含直接在搜索页面呈现的资源信息，且该资源信息应无需用户进行进一步点击操作(如搜索序列“天气预报”的搜索结果中包含以图像形式直接呈现在搜索页面中的未来3天的天气预报资讯)，则当该类搜索序列的搜索结果点击情况呈现无点击特征或极少量点击特征(如平均点击量少于1等)时，可以确定该类搜索序列的搜索结果较好地满足了用户需求；又例如，对于另一类搜索序列，大多数用户在对其进行搜索时，希望获得的是一些特定结果(如搜索序列“新浪微博”等，用户往往希望获得新浪微博的链接)，则当该类搜索序列的搜索结果点击情况呈现集中点击特征时(如平均点击量在1-3或1-2之间等)，可以确定该类搜索序列的搜索结果较好地满足了用户需求；再例如，对于再一类搜索序列，大多数用户在对其进行搜索时，希望综合多个搜索结果来获得综合信息(如搜索序列“15万买什么车好”，用户多数会点击多个链接)，则当该类搜索序列的搜索结果点击情况呈现分散点击特征时(如平均点击量在3个以上等)，可以确定该类搜索序列的搜索结果较好地满足了用户需求。
本发明的方法，能够根据搜索序列的点击量信息与其预定点击量特征信息的相符程度，确定用户对搜索序列的搜索结果的满意度，极大提高了满意度评估的效率和准确性。进一步地，当搜索结果中包含直接呈现的资源信息时，还能根据所确定的满意度，判断直接呈现的资源信息是否较好地符合用户需求，并当判断其未能较好地符合用户需求时，将直接呈现的资源信息下线。
图2为本发明一个优选实施例的用于确定用户对搜索结果的满意度的方法流程图。本实施例的方法包括步骤S1、步骤S2、步骤S6以及步骤S3；其中，步骤S3进一步包括步骤S31。
步骤S1和步骤S2已在参照图1所示实施例中予以详述，在此不再赘述。
在步骤S6中，确定装置获取用户对基于搜索序列所得的搜索结果的其他行为相关信息。
其中，所述其他行为相关信息包括除用户对搜索结果的点击量信息以外的、与该用户对搜索结果执行的行为相关的信息。优选地，搜索结果中包括至少一项资源链接，所述其他行为相关信息包括以下至少一项行为相关信息：
1)用户所点击的各个资源链接中每个资源链接的点击次数。
例如，多个用户对搜索结果中的3个资源链接A、B、C的点击总次数分别为239次、420次以及90次。
2)用户在各个点击的资源链接所指向的资源信息上的停留时间。
其中，用户在资源信息上的停留时间可通过以下方式确定：a)将用户点击指向该资源信息的资源链接至点击另一资源链接、关闭当前页面或跳转至其他页面之间的时间间隔作为停留时间；b)将用户点击资源链接至用户关闭该资源链接所指向的资源页面之间的时间间隔作为停留时间，其中，可通过嵌入浏览器中的脚本来获得用户关闭资源链接所指向的资源页面的时间。
3)用户所点击的各个排序位置的资源链接中每个排序位置的点击次数。
例如，用户点击第一位、第二位、第三位、第四位以及第五位的排序位置的资源链接的次数分别为8983次、7563次、9834次、2934次以及209次。
4)用户点击各个排序位置的资源链接的顺序信息。
其中，该顺序信息包括但不限于：a)用户第N次(N≥1)点击一个排序位置的资源链接的次数占该排序位置的资源链接的总点击次数的比例，如用户在点击搜索结果的过程中，执行第1次点击操作时，点击排序第一位的资源链接的次数占该排序第一位的资源链接的总点击次数的比例为45.3％等；b)用户逆序点击各个排序位置的资源链接的逆序程度，其中，逆序点击表示先点击排序在后的资源链接，再点击排序在前的资源链接。其中，该逆序程度可通过用户逆序点击的次数以及逆序点击的资源链接在搜索结果中的排序来确定；如两个相邻点击操作为逆序点击的次数越多、逆序程度越高，逆序点击的资源链接在搜索结果中的排序越靠后，逆序程度越高等。
具体地，确定装置获取其他行为相关信息的方式包括但不限于：1)确定装置在本地的其他行为相关信息库中对该输入序列进行查询，以获得基于该输入序列所得的搜索结果的其他行为相关信息；2)确定装置向网络中的其他设备发送该输入序列，以获得其他设备反馈的基于该输入序列所得的搜索结果的其他行为相关信息。
需要说明的是，步骤S1和步骤S2，与步骤S6之间并无先后顺序。
在步骤S31中，确定装置根据步骤S2中所得的符合程度，并结合步骤S6中所得的其他行为相关信息，确定用户对所述搜索结果的满意度。
具体地，确定装置根据符合程度，并结合其他行为相关信息，确定满意度地方式包括但不限于：
1)确定装置根据符合程度确定初始满意度，并根据其他行为相关信息来调整初始满意度。其中，确定装置根据符合程度确定初始满意度的方式，与参照图1所示实施例的步骤S3中，确定装置根据符合程度确定用户对搜索结果的满意度的方式相同或相似，在此不再赘述。
例如，确定装置在步骤S6中获得用户对搜索结果的平均逆序点击次数为1.532次，并根据步骤S2中所得的符合程度确定初始满意度为8.341，则确定装置根据满意度＝初始满意度-平均逆序点击次数，获得满意度＝8.341-1.532＝6.809。
2)确定装置根据与所述其他行为相关信息中的各项行为相关信息分别相应的预定行为评估规则，获得所述其他行为相关信息中每项行为相关信息的评估信息；并根据所述符合程度，结合所述评估信息，确定用户对所述搜索结果的满意度。其中，所述预定行为评估规则包括用于确定如何基于与其相应的其他行为相关信息来获得评估信息的规则。其中，评估信息可以评估等级或评估值表示。
例如，确定装置在步骤S6中获得的其他行为相关信息包括：i)用户在资源信息上的平均停留时间为36.4秒；以及ii)用户点击第一位、第二位以及第三位的排序位置的资源链接的次数分别为8983次、7563次、9834次。则确定装置根据与其他行为相关信息i相应的预定行为评估规则“当平均停留时间在30-40秒之间时，评估值为4”，确定其他行为相关信息i的评估值为4；并根据与其他行为相关信息ii相应的预定行为评估规则“评估值＝10*{∑[(1/j)*(Cj/Call)]}，Cj为第j位排序位置的点击次数、Call为该搜索结果的总点击次数”，确定其他行为相关信息ii的评估值＝10*[(1/1)*(8983/26380)+(1/2)*(7563/26380)+(1/3)*(9834/26380)]＝10*(0.3405+0.1433+0.1243)＝6.081。接着，确定装置求取步骤S2中所得的符合程度10、行为相关信息i的评估值4以及评委相关信息ii的评估值6.081的平均值，并将获得的平均值6.694作为用户对搜索结果的满意度。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据符合程度，并结合其他行为相关信息，确定用户对所述搜索结果的满意度的实现方式，均应包含在本发明的范围内。
作为本实施例的优选方案之一，其他行为相关信息中包括用户所点击的各个资源链接中每个资源链接的点击次数，本实施例的方法还包括步骤S7：确定装置根据其他行为相关信息中每个资源链接的点击次数，调整所述搜索结果中资源链接的排序。
具体地，资源链接的点击次数越高，确定装置将该资源链接的排序向前调整的可能性越高；资源链接的点击次数越低，确定装置将该资源链接的排序向后调整的可能性越高。
优选地，当预定点击量特征信息属于集中点击特征信息时，所述步骤S7进一步包括以下步骤S71以及步骤S72。其中，确定装置能够根据预定点击量特征信息的预定属性，或者，能够根据预定点击量特征信息是否具有集中单击特征，如平均点击量或平均点击量范围在1-3之间等，判断预定点击量特征信息是否属于集中点击特征信息。
在步骤S71中，确定装置根据各个资源链接的点击次数，由所述用户所点击的各个资源链接中选择用户集中点击的一个或多个资源链接。
具体地，确定装置选择点击次数最高的M个资源链接，M为预定值；或者，确定装置选择点击次数占搜索结果总点击次数比例高于预定比例阈值的一个或多个资源链接。
例如，确定装置选择点击次数最高的1个资源链接；或者，确定装置选择点击次数占搜索结果总点击次数比例高于40％的一个或多个资源链接等。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据各个资源链接的点击次数，由所述用户所点击的各个资源链接中选择用户集中点击的一个或多个资源链接的实现方式，均应包含在本发明的范围内。
接着，在步骤S72中，确定装置将该一个或多个资源链接的排序调整至指定位置。
例如，确定装置将选择的1个资源链接的排序调整至第一位；又例如，确定装置将选择的2个资源链接中点击次数较高的资源链接的排序调整至第一位，并将另一资源链接的排序调整至第二位等。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何将选择的一个或多个资源链接的排序调整至指定位置的实现方式，均应包含在本发明的范围内。
本优选方案能够识别出用户希望获得特定搜索结果的搜索序列，并根据用户对该类搜索序列的搜索结果的点击情况，从搜索结果中识别出用户希望获得的特定资源链接，并将识别出得资源链接置于排序靠前的指定位置。
优选地，本实施例的方法还包括以下步骤：确定装置判断所述满意度是否低于第二预定阈值或第二预定等级，并当判断所述满意度低于第二预定阈值或第二预定等级时，执行所述步骤S7。
本实施例的方法，能够结合点击量信息与预定点击量特征信息之间的符合程度以及用户对搜索结果的其他行为相关信息，确定用户对搜索结果的满意度，进一步提高了计算机设备获得的满意度的准确度。
图3为本发明一个方面的用于确定用户对搜索结果的满意度的确定装置的结构示意图。本发明的确定装置包括第一获取装置1、符合度确定装置2以及满意度确定装置3。
第一获取装置1获取用户对基于搜索序列所得的搜索结果的点击量信息。
其中，搜索结果包括但不限于以下至少一类信息：1)资源信息本身，如在搜索页面中直接呈现的资源信息等；2)指向资源信息的资源链接及其描述信息，如在网页搜索引擎中进行搜索所得的网页链接以及该网页的标题、摘要等。
其中，所述点击量信息包括但不限于以下至少一项：1)单个用户对基于搜索序列所得的搜索结果的平均点击量，例如，平均一个用户对基于输入序列“新浪微博”所得的搜索结果的点击次数为1.239次；2)点击搜索结果的用户数量以及对该搜索结果的点击量，例如，2467个用户对基于输入序列“新浪微博”所得的搜索结果的点击次数共3057次。
具体地，第一获取装置1获取点击量信息的方式包括但不限于：1)第一获取装置1在本地的点击量信息库中对该输入序列进行查询，以获得基于该输入序列所得的搜索结果点击量信息；2)第一获取装置1向网络中的其他设备发送该输入序列，以获得其他设备反馈的基于该输入序列所得搜索结果的点击量信息。
接着，符合度确定装置2根据所述点击量信息与所述搜索序列的预定点击量特征信息，确定两者之间的符合程度。其中，所述符合程度可以数值或等级来表示。
其中，预定点击量特征信息包括能够反映输入序列的点击量的特征的信息。优选地，预定点击量特征信息包括但不限于以下任一项：1)预定点击量范围，例如，单个用户对搜索结果的平均点击量范围为1.102至2.148等，又例如，1000个用户对搜索结果的点击量范围为1102至2148等；2)预定点击次数，例如，单个用户对搜索结果的平均点击次数为1.624次等，又例如，1000个用户对搜索结果的平均点击次数为1624次等。
其中，符合度确定装置2获取预定点击量特征信息的方式包括但不限于：1)符合度确定装置2在本地的预定点击量特征信息库中对该输入序列进行查询，以获得该输入序列的预定点击量特征信息；2)符合度确定装置2向网络中的其他设备发送该输入序列，以获得其他设备反馈的该输入序列的预定点击量特征信息。其中，搜索序列的预定点击量特征信息可由人工确定；或者，由计算机设备通过对搜索序列进行诸如语义分析、历史点击记录分析等确定。
具体地，符合度确定装置2确定预定点击量信息与预定点击量特征信息之间的符合程度的方式包括但不限于：
1)其中，当预定点击量特征信息包括预定点击量范围时，符合度确定装置2根据其包含的第一判断装置(图未示)以及第一子确定装置(图未示)，确定符合程度。其中，第一判断装置判断所述点击量信息是否属于所述预定点击量范围；当判断所述点击量信息属于所述预定点击量范围时，第一子确定装置确定所述符合程度为最高。
具体地，当点击量信息为平均点击量，预定点击量范围为平均点击量范围时，第一判断装置直接通过判断平均点击量是否位于平均点击量范围中，来判断点击量信息是否属于预定点击量范围；当点击量信息为点击搜索结果的用户数量以及对该搜索结果的点击量，和/或，预定点击量范围为多个用户对搜索结果的点击量范围时，第一判断装置对其求取平均，以通过判断平均后的点击量信息是否位于平均后的点击量范围中，来判断点击量信息是否属于预定点击量范围。
例如，第一获取装置1获得的输入序列“新浪微博”的平均点击次数为1.239次，且确定装置预获得的“新浪微博”的平均点击量范围为1.102至2.148次，则第一判断装置判断1.102＜1.239＜2.148，则第一子确定装置确定输入序列“新浪微博”的点击量信息与其预定点击量范围之间的符合程度为最高。
又例如，第一获取装置1获得的输入序列“新浪微博”的点击量信息包括：2467个用户对基于输入序列“新浪微博”所得的搜索结果的点击次数共3057次，且确定装置预获得的“新浪微博”的点击量范围信息包括：1000个用户对搜索结果的点击量范围为1102至2148；则第一判断装置对点击量以及点击量范围分别求取平均，获得平均点击次数为1.239次，平均点击量范围为1.102至2.148次，则第一判断装置判断1.102＜1.239＜2.148，则第一子确定装置确定输入序列“新浪微博”的点击量信息与其预定点击量范围之间的符合程度为最高。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何当预定点击量特征信息包括预定点击量范围时，判断所述点击量信息是否属于所述预定点击量范围，并当判断所述点击量信息属于所述预定点击量范围时，确定所述符合程度为最高的实现方式，均应包含在本发明的范围内。
优选地，当判断点击量信息不属于预定点击量范围时，符合度确定装置2确定符合程度为最低；或者，符合度确定装置2进一步包括偏离度确定装置(图未示)，该偏离度确定装置确定点击量信息与预定点击量范围之间的偏离程度，以将该偏离程度作为两者之间的符合程度。
具体地，当点击量信息为平均点击量，预定点击量范围为平均点击量范围时，偏离度确定装置直接根据点击量信息与预定点击量范围中的数值之间的最小差值，获得点击量信息与预定点击量范围之间的偏离程度；当点击量信息为点击搜索结果的用户数量以及对该搜索结果的点击量，和/或，预定点击量范围为多个用户对搜索结果的点击量范围时，偏离度确定装置求取第一判断装置获得的平均点击量与平均点击量范围中的数值之间的最小差值，以获得点击量信息与预定点击量范围之间的偏离程度。
例如，第一获取装置1获得的输入序列“新浪微博”的平均点击次数为2.239次，且确定装置预获得的“新浪微博”的平均点击量范围为1.102至2.148次，则第一判断装置基于2.239＞2.148判断点击量信息不属于预定点击量范围；接着，偏离度确定装置获得2.239-2.148＝0.091以及2.239-1.102＝1.137，并判断0.091＜1.137，则确定装置确定点击量信息与预定点击量范围之间的偏离程度为0.091，并将该偏离程度作为点击量信息与预定点击量范围之间的符合程度。
又例如，第一获取装置1获得的输入序列“新浪微博”的点击量信息包括：2467个用户对基于输入序列“新浪微博”所得的搜索结果的点击次数共5524次，且确定装置预获得的“新浪微博”的点击量范围信息包括：1000个用户对搜索结果的点击量范围为1102至2148；则第一判断装置对点击量以及点击量范围分别求取平均，获得平均点击次数为2.239次，平均点击量范围为1.102至2.148次，并基于2.239＞2.148判断点击量信息不属于预定点击量范围；接着，偏离度确定装置获得2.239-2.148＝0.091以及2.239-1.102＝1.137，并判断0.091＜1.137，则偏离度确定装置将0.091的倒数10.989作为点击量信息与预定点击量范围之间的偏离程度，并将该偏离程度作为点击量信息与预定点击量范围之间的符合程度。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何当判断点击量信息不属于预定点击量范围时，确定点击量信息与预定点击量范围之间的偏离程度，以将该偏离程度作为两者之间的符合程度的实现方式，均应包含在本发明的范围内。
2)当预定点击量特征信息包括预定点击次数时，符合度确定装置2确定预定点次数与预定点击量范围之间的偏离程度，以将该偏离程度作为两者之间的符合程度。
其中，符合度确定装置2确定预定点次数与预定点击量范围之间的偏离程度，以将该偏离程度作为两者之间的符合程度的方式，与前述实现方式1)中偏离度确定装置确定点击量信息与预定点击量范围之间的偏离程度，以将该偏离程度作为两者之间的符合程度的方式相同或相似，在此不再赘述。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据所述点击量信息与所述搜索序列的预定点击量特征信息，确定两者之间的符合程度的实现方式，均应包含在本发明的范围内。
接着，满意度确定装置3根据符合度确定装置2获得的符合程度，确定用户对搜索结果的满意度。
其中，满意度确定装置3能够通过多种方式确定满意度。例如，当满意度以等级方式表示时，满意度确定装置3根据符合程度与满意度之间的预定映射关系，如A级符合程度对应第一级满意度、满意度值在1至2之间的符合程度对应第二级满意度等；又例如，当满意度以数值方式表示时，满意度确定装置3根据预定公式计算获得满意度，如根据预定公式：满意度＝(100-符合程度)/100，获得满意度等。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据符合程度，确定用户对搜索结果的满意度的实现方式，均应包含在本发明的范围内。
作为本发明的优选方案之一，搜索结果包含在搜索页面中直接呈现的资源信息，本发明的确定装置还包括第二判断装置(图未示)以及呈现确定装置(图未示)。
其中，该在搜索页面中直接呈现的资源信息包括但不限于：1)直接呈现在搜索页面中的、包含诸如图像和/或音视频等信息的多媒体资讯；2)直接呈现在搜索页面中的应用等。例如，当用户搜索“天气预报”时，直接呈现在搜索页面中的、包含图像信息的、未来3天的天气预报等；又例如，当用户搜索“愤怒的小鸟攻略”时，直接呈现在搜索页面中的、可供用户进行诸如点击、翻页等操作，以使用户获得所需关卡的攻略的应用等。
第二判断装置判断满意度确定装置3获得的满意度是否低于第一预定阈值或第一预定等级。
例如，满意度确定装置3获得的满意度为0.21，第一预定阈值为0.4，则第二判断装置判断满意度低于第一预定阈值等。
当判断所述满意度低于第一预定阈值或第一预定等级时，呈现确定装置确定所述搜索序列的搜索结果中不再包含所述直接呈现的资源信息。
具体地，当判断满意度低于第一预定阈值或第一预定等级时，呈现确定装置将直接呈现的资源信息从该搜索序列的搜索结果索引或列表中删除，以使用户在该删除操作之后搜索该搜索序列时，搜索结果中不再包含该直接呈现的搜索结果。
例如，搜索序列“天气预报”的第二排序位置包含直接呈现用户IP所在城市未来3天的天气预报资讯，第二判断装置判断搜索序列“天气预报”的搜索结果的满意度低于第一预定等级，则呈现确定装置将该直接呈现在第二排序位置的天气预报资讯从搜索序列“天气预报”的索引中删除，以使“天气预报”的搜索结果中不再包含该直接呈现的天气预报资讯。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何当判断所述满意度低于第一预定阈值或第一预定等级时，确定所述搜索序列的搜索结果中不再包含所述直接呈现的资源信息的实现方式，均应包含在本发明的范围内。
本发明的确定装置，能够根据搜索序列的点击量信息与其预定点击量特征信息的相符程度，确定用户对搜索序列的搜索结果的满意度，极大提高了满意度评估的效率和准确性。进一步地，当搜索结果中包含直接呈现的资源信息时，还能根据所确定的满意度，判断直接呈现的资源信息是否较好地符合用户需求，并当判断其未能较好地符合用户需求时，将直接呈现的资源信息下线。
图4为本发明一个优选实施例的用于确定用户对搜索结果的满意度的确定装置的结构示意图。本实施例的确定装置包括第一获取装置1、符合度确定装置2、第二获取装置6以及包含于满意度确定装置3中的第二子确定装置31。
第一获取装置1以及符合度确定装置2已在参照图3所示实施例中予以详述，在此不再赘述。
第二获取装置6获取用户对基于搜索序列所得的搜索结果的其他行为相关信息。
其中，所述其他行为相关信息包括除用户对搜索结果的点击量信息以外的、与该用户对搜索结果执行的行为相关的信息。优选地，搜索结果中包括至少一项资源链接，所述其他行为相关信息包括以下至少一项行为相关信息：
1)用户所点击的各个资源链接中每个资源链接的点击次数。
例如，多个用户对搜索结果中的3个资源链接A、B、C的点击总次数分别为239次、420次以及90次。
2)用户在各个点击的资源链接所指向的资源信息上的停留时间。
其中，用户在资源信息上的停留时间可通过以下方式确定：a)将用户点击指向该资源信息的资源链接至点击另一资源链接、关闭当前页面或跳转至其他页面之间的时间间隔作为停留时间；b)将用户点击资源链接至用户关闭该资源链接所指向的资源页面之间的时间间隔作为停留时间，其中，可通过嵌入浏览器中的脚本来获得用户关闭资源链接所指向的资源页面的时间。
3)用户所点击的各个排序位置的资源链接中每个排序位置的点击次数。
例如，用户点击第一位、第二位、第三位、第四位以及第五位的排序位置的资源链接的次数分别为8983次、7563次、9834次、2934次以及209次。
4)用户点击各个排序位置的资源链接的顺序信息。
其中，该顺序信息包括但不限于：a)用户第N次(N≥1)点击一个排序位置的资源链接的次数占该排序位置的资源链接的总点击次数的比例，如用户在点击搜索结果的过程中，执行第1次点击操作时，点击排序第一位的资源链接的次数占该排序第一位的资源链接的总点击次数的比例为45.3％等；b)用户逆序点击各个排序位置的资源链接的逆序程度，其中，逆序点击表示先点击排序在后的资源链接，再点击排序在前的资源链接。其中，该逆序程度可通过用户逆序点击的次数以及逆序点击的资源链接在搜索结果中的排序来确定；如两个相邻点击操作为逆序点击的次数越多、逆序程度越高，逆序点击的资源链接在搜索结果中的排序越靠后，逆序程度越高等。
具体地，第二获取装置6获取其他行为相关信息的方式包括但不限于：1)第二获取装置6在本地的其他行为相关信息库中对该输入序列进行查询，以获得基于该输入序列所得的搜索结果的其他行为相关信息；2)第二获取装置6向网络中的其他设备发送该输入序列，以获得其他设备反馈的基于该输入序列所得的搜索结果的其他行为相关信息。
需要说明的是，第一获取装置1和符合度确定装置S2，与第二获取装置6执行的操作之间并无先后顺序。
第二子确定装置31根据符合度确定装置2确定的符合程度，并结合第二获取装置6获得的其他行为相关信息，确定用户对所述搜索结果的满意度。
具体地，第二子确定装置31根据符合程度，并结合其他行为相关信息，确定满意度地方式包括但不限于：
1)第二子确定装置31根据符合程度确定初始满意度，并根据其他行为相关信息来调整初始满意度。其中，第二子确定装置31根据符合程度确定初始满意度的方式，与参照图3所示实施例中的满意度确定装置3根据符合程度确定用户对搜索结果的满意度的方式相同或相似，在此不再赘述。
例如，第二获取装置6获得用户对搜索结果的平均逆序点击次数为1.532次，第二子确定装置31根据符合度确定装置2获得的符合程度确定初始满意度为8.341，则第二子确定装置31根据满意度＝初始满意度-平均逆序点击次数，获得满意度＝8.341-1.532＝6.809。
2)第二子确定装置31进一步包括评估确定装置(图未示)以及第三子确定装置(图未示)；其中，评估确定装置根据与所述其他行为相关信息中的各项行为相关信息分别相应的预定行为评估规则，获得所述其他行为相关信息中每项行为相关信息的评估信息；第三子确定装置根据所述符合程度，结合所述评估信息，确定用户对所述搜索结果的满意度。其中，所述预定行为评估规则包括用于确定如何基于与其相应的其他行为相关信息来获得评估信息的规则。其中，评估信息可以评估等级或评估值表示。
例如，第二获取装置6获得的其他行为相关信息包括：i)用户在资源信息上的平均停留时间为36.4秒；以及ii)用户点击第一位、第二位以及第三位的排序位置的资源链接的次数分别为8983次、7563次、9834次。则评估确定装置根据与其他行为相关信息i相应的预定行为评估规则“当平均停留时间在30-40秒之间时，评估值为4”，确定其他行为相关信息i的评估值为4；第三子确定装置根据与其他行为相关信息ii相应的预定行为评估规则“评估值＝10*{∑[(1/j)*(Cj/Call)]}，Cj为第j位排序位置的点击次数、Call为该搜索结果的总点击次数”，确定其他行为相关信息ii的评估值＝10*[(1/1)*(8983/26380)+(1/2)*(7563/26380)+(1/3)*(9834/26380)]＝10*(0.3405+0.1433+0.1243)＝6.081。接着，第三子确定装置求取符合度确定装置2获得的符合程度10、评估确定装置获得的行为相关信息i的评估值4以及评委相关信息ii的评估值6.081的平均值，并将获得的平均值6.694作为用户对搜索结果的满意度。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据符合程度，并结合其他行为相关信息，确定用户对所述搜索结果的满意度的实现方式，均应包含在本发明的范围内。
作为本实施例的优选方案之一，其他行为相关信息中包括用户所点击的各个资源链接中每个资源链接的点击次数，本实施例的确定装置还包括调整装置(图未示)，该调整装置根据其他行为相关信息中每个资源链接的点击次数，调整所述搜索结果中资源链接的排序。
具体地，资源链接的点击次数越高，调整装置将该资源链接的排序向前调整的可能性越高；资源链接的点击次数越低，调整装置将该资源链接的排序向后调整的可能性越高。
优选地，当预定点击量特征信息属于集中点击特征信息时，调整装置进一步包括选择装置(图未示)以及子调整装置(图未示)。其中，确定装置能够根据预定点击量特征信息的预定属性，或者，能够根据预定点击量特征信息是否具有集中单击特征，如平均点击量或平均点击量范围在1-3之间等，判断预定点击量特征信息是否属于集中点击特征信息。
选择装置根据各个资源链接的点击次数，由所述用户所点击的各个资源链接中选择用户集中点击的一个或多个资源链接。
具体地，选择装置选择点击次数最高的M个资源链接，M为预定值；或者，选择装置选择点击次数占搜索结果总点击次数比例高于预定比例阈值的一个或多个资源链接。
例如，选择装置选择点击次数最高的1个资源链接；或者，选择装置选择点击次数占搜索结果总点击次数比例高于40％的一个或多个资源链接等。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据各个资源链接的点击次数，由所述用户所点击的各个资源链接中选择用户集中点击的一个或多个资源链接的实现方式，均应包含在本发明的范围内。
接着，子调整装置将该一个或多个资源链接的排序调整至指定位置。
例如，子调整装置将选择装置选择的1个资源链接的排序调整至第一位；又例如，子调整装置将选择装置选择的2个资源链接中点击次数较高的资源链接的排序调整至第一位，并将另一资源链接的排序调整至第二位等。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何将选择的一个或多个资源链接的排序调整至指定位置的实现方式，均应包含在本发明的范围内。
本优选方案能够识别出用户希望获得特定搜索结果的搜索序列，并根据用户对该类搜索序列的搜索结果的点击情况，从搜索结果中识别出用户希望获得的特定资源链接，并将识别出得资源链接置于排序靠前的指定位置。
优选地，本实施例的确定装置还包括第三判断装置(图未示)以及执行装置(图未示)。第三判断装置判断所述满意度是否低于第二预定阈值或第二预定等级，当判断所述满意度低于第二预定阈值或第二预定等级时，执行装置触发调整装置执行操作。
本实施例的方法，能够结合点击量信息与预定点击量特征信息之间的符合程度以及用户对搜索结果的其他行为相关信息，确定用户对搜索结果的满意度，进一步提高了计算机设备获得的满意度的准确度。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (21)
1.一种计算机实现的用于确定用户对搜索结果的满意度的方法，其中，该方法包括以下步骤：
a获取用户对基于搜索序列所得的搜索结果的点击量信息；
b根据所述点击量信息与所述搜索序列的预定点击量特征信息，确定两者之间的符合程度；
c根据所述符合程度，确定用户对所述搜索结果的满意度。
2.根据权利要求1所述的方法，其中，所述预定点击量特征信息包括预定点击量范围，其中，所述步骤b包括以下步骤：
-判断所述点击量信息是否属于所述预定点击量范围；
-当判断所述点击量信息属于所述预定点击量范围时，确定所述符合程度为最高。
3.根据权利要求2所述的方法，其中，所述符合程度包括所述点击量信息与所述预定点击量范围之间的偏离程度，其中，所述步骤b还包括以下步骤：
-当判断所述点击量信息不属于所述预定点击量范围时，确定所述点击量信息与所述预定点击量范围之间的偏离程度。
4.根据权利要求1至3中任一项所述的方法，其中，所述搜索结果包含在搜索页面中直接呈现的资源信息，其中，该方法还包括以下步骤：
-判断所述满意度是否低于第一预定阈值或第一预定等级；
-当判断所述满意度低于第一预定阈值或第一预定等级时，确定所述搜索序列的搜索结果中不再包含所述直接呈现的资源信息。
5.根据权利要求1至4中任一项所述的方法，其中，该方法还包括以下步骤：
-获取用户对基于搜索序列所得的搜索结果的其他行为相关信息；
其中，所述步骤c包括以下步骤：
c1根据所述符合程度，并结合所述其他行为相关信息，确定用户对所述搜索结果的满意度。
6.根据权利要求5所述的方法，其中，所述搜索结果包括至少一项资源链接，所述其他行为相关信息包括以下至少一项行为相关信息：
-用户所点击的各个资源链接中每个资源链接的点击次数；
-用户在各个点击的资源链接所指向的资源信息上的停留时间；
-用户所点击的各个排序位置的资源链接中每个排序位置的点击次数；
-用户点击各个排序位置的资源链接的顺序信息。
7.根据权利要求6所述的方法，其中，所述步骤c1包括以下步骤：
-根据与所述其他行为相关信息中的各项行为相关信息分别相应的预定行为评估规则，获得所述其他行为相关信息中每项行为相关信息的评估信息；
-根据所述符合程度，并结合所述评估信息，确定用户对所述搜索结果的满意度。
8.根据权利要求6或7所述的方法，其中，所述其他行为相关信息包括所述每个资源链接的点击次数，其中，该方法还包括以下步骤：
i根据所述每个资源链接的点击次数，调整所述搜索结果中资源链接的排序。
9.根据权利要求8所述的方法，其中，该方法还包括以下步骤：
-判断所述满意度是否低于第二预定阈值或第二预定等级；
-当判断所述满意度低于第二预定阈值或第二预定等级时，执行所述步骤i。
10.根据权利要求8或9所述的方法，其中，预定点击量特征信息属于集中点击特征信息，所述步骤i包括以下步骤：
-根据所述点击次数，由所述用户所点击的各个资源链接中选择用户集中点击的一个或多个资源链接；
-将该一个或多个资源链接的排序调整至指定位置。
11.一种用于确定用户对搜索结果的满意度的确定装置，其中，该确定装置包括：
第一获取装置，用于获取用户对基于搜索序列所得的搜索结果的点击量信息；
符合度确定装置，用于跟据所述点击量信息与所述搜索序列的预定点击量特征信息，确定两者之间的符合程度；
满意度确定装置，用于根据所述符合程度，确定用户对所述搜索结果的满意度。
12.根据权利要求11所述的确定装置，其中，所述预定点击量特征信息包括预定点击量范围，其中，所述符合度确定装置包括：
第一判断装置，用于判断所述点击量信息是否属于所述预定点击量范围；
第一子确定装置，用于当判断所述点击量信息属于所述预定点击量范围时，确定所述符合程度为最高。
13.根据权利要求12所述的确定装置，其中，所述符合程度包括所述点击量信息与所述预定点击量范围之间的偏离程度，其中，所述符合度确定装置还包括：
偏离度确定装置，用于当判断所述点击量信息不属于所述预定点击量范围时，确定所述点击量信息与所述预定点击量范围之间的偏离程度。
14.根据权利要求11至13中任一项所述的确定装置，其中，所述搜索结果包含在搜索页面中直接呈现的资源信息，其中，该确定装置还包括：
第二判断装置，用于判断所述满意度是否低于第一预定阈值或第一预定等级；
呈现装置，用于当判断所述满意度低于第一预定阈值或第一预定等级时，确定所述搜索序列的搜索结果中不再包含所述直接呈现的资源信息。
15.根据权利要求11至14中任一项所述的确定装置，其中，该确定装置还包括：
第二获取装置，用于获取用户对基于搜索序列所得的搜索结果的其他行为相关信息；
其中，所述满意度确定装置包括：
第二子确定装置，用于根据所述符合程度，并结合所述其他行为相关信息，确定用户对所述搜索结果的满意度。
16.根据权利要求15所述的确定装置，其中，所述搜索结果包括至少一项资源链接，所述其他行为相关信息包括以下至少一项行为相关信息：
-用户所点击的各个资源链接中每个资源链接的点击次数；
-用户在各个点击的资源链接所指向的资源信息上的停留时间；
-用户所点击的各个排序位置的资源链接中每个排序位置的点击次数；
-用户点击各个排序位置的资源链接的顺序信息。
17.根据权利要求16所述的确定装置，其中，所述第二子确定装置包括：
评估装置，用于根据与所述其他行为相关信息中的各项行为相关信息分别相应的预定行为评估规则，获得所述其他行为相关信息中每项行为相关信息的评估信息；
第三子确定装置，用于根据所述符合程度，并结合所述评估信息，确定用户对所述搜索结果的满意度。
18.根据权利要求16或17所述的确定装置，其中，所述其他行为相关信息包括所述每个资源链接的点击次数，其中，该确定装置还包括：
调整装置，用于根据所述每个资源链接的点击次数，调整所述搜索结果中资源链接的排序。
19.根据权利要求18所述的确定装置，其中，该确定装置还包括：
第三判断装置，用于判断所述满意度是否低于第二预定阈值或第二预定等级；
执行装置，用于当判断所述满意度低于第二预定阈值或第二预定等级时，触发所述调整装置执行操作。
20.根据权利要求18或19所述的确定装置，其中，预定点击量特征信息属于集中点击特征信息，所述调整装置包括：
选择装置，用于根据所述点击次数，由所述用户所点击的各个资源链接中选择用户集中点击的一个或多个资源链接；
子调整装置，用于将该一个或多个资源链接的排序调整至指定位置。
21.一种计算机设备，其中，该计算机设备包括如权利要求11至20中至少一项所述的确定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110455495.3A CN103186604B (zh) | 2011-12-30 | 2011-12-30 | 用于确定用户对搜索结果满意度的方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110455495.3A CN103186604B (zh) | 2011-12-30 | 2011-12-30 | 用于确定用户对搜索结果满意度的方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103186604A true CN103186604A (zh) | 2013-07-03 |
| CN103186604B CN103186604B (zh) | 2017-10-27 |
Family
ID=48677773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110455495.3A Active CN103186604B (zh) | 2011-12-30 | 2011-12-30 | 用于确定用户对搜索结果满意度的方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103186604B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657372A (zh) * | 2013-11-20 | 2015-05-27 | 腾讯科技（深圳）有限公司 | 页面操作数据处理方法及装置 |
| CN104699846A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇虎科技有限公司 | 相关性可改善的搜索词的识别方法及装置 |
| CN105095334A (zh) * | 2014-05-06 | 2015-11-25 | 雅虎公司 | 用于评估关于用户会话的用户满意度的方法和系统 |
| CN107220353A (zh) * | 2017-06-01 | 2017-09-29 | 深圳追科技有限公司 | 一种智能客服机器人满意度自动评价方法及系统 |
| CN108614843A (zh) * | 2016-12-13 | 2018-10-02 | 北京国双科技有限公司 | 网站内容的评估方法及装置 |
| CN109582744A (zh) * | 2017-09-29 | 2019-04-05 | 高德信息技术有限公司 | 一种用户满意度评分方法及装置 |
| CN111581544A (zh) * | 2019-04-08 | 2020-08-25 | 众巢医学科技(上海)股份有限公司 | 搜索结果优化方法、装置、计算机设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5864845A (en) * | 1996-06-28 | 1999-01-26 | Siemens Corporate Research, Inc. | Facilitating world wide web searches utilizing a multiple search engine query clustering fusion strategy |
| CN1420429A (zh) * | 2001-11-13 | 2003-05-28 | 奥弗图尔服务公司 | 广告者在按位付费搜索系统中管理搜索列表的系统和方法 |
| CN102169503A (zh) * | 2011-04-29 | 2011-08-31 | 北京百度网讯科技有限公司 | 一种获取与用户查询序列相对应的搜索结果的方法与设备 |
-
2011
- 2011-12-30 CN CN201110455495.3A patent/CN103186604B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5864845A (en) * | 1996-06-28 | 1999-01-26 | Siemens Corporate Research, Inc. | Facilitating world wide web searches utilizing a multiple search engine query clustering fusion strategy |
| CN1420429A (zh) * | 2001-11-13 | 2003-05-28 | 奥弗图尔服务公司 | 广告者在按位付费搜索系统中管理搜索列表的系统和方法 |
| CN102169503A (zh) * | 2011-04-29 | 2011-08-31 | 北京百度网讯科技有限公司 | 一种获取与用户查询序列相对应的搜索结果的方法与设备 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657372A (zh) * | 2013-11-20 | 2015-05-27 | 腾讯科技（深圳）有限公司 | 页面操作数据处理方法及装置 |
| CN104657372B (zh) * | 2013-11-20 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 页面操作数据处理方法及装置 |
| US10205792B2 (en) | 2013-11-20 | 2019-02-12 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for processing page operation data |
| CN105095334A (zh) * | 2014-05-06 | 2015-11-25 | 雅虎公司 | 用于评估关于用户会话的用户满意度的方法和系统 |
| US10599659B2 (en) | 2014-05-06 | 2020-03-24 | Oath Inc. | Method and system for evaluating user satisfaction with respect to a user session |
| CN104699846A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇虎科技有限公司 | 相关性可改善的搜索词的识别方法及装置 |
| CN108614843A (zh) * | 2016-12-13 | 2018-10-02 | 北京国双科技有限公司 | 网站内容的评估方法及装置 |
| CN108614843B (zh) * | 2016-12-13 | 2021-01-22 | 北京国双科技有限公司 | 网站内容的评估方法及装置 |
| CN107220353A (zh) * | 2017-06-01 | 2017-09-29 | 深圳追科技有限公司 | 一种智能客服机器人满意度自动评价方法及系统 |
| CN109582744A (zh) * | 2017-09-29 | 2019-04-05 | 高德信息技术有限公司 | 一种用户满意度评分方法及装置 |
| CN109582744B (zh) * | 2017-09-29 | 2021-08-10 | 阿里巴巴（中国）有限公司 | 一种用户满意度评分方法及装置 |
| CN111581544A (zh) * | 2019-04-08 | 2020-08-25 | 众巢医学科技(上海)股份有限公司 | 搜索结果优化方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103186604B (zh) | 2017-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103186604A (zh) | 用于确定用户对搜索结果满意度的方法、装置和设备 | |
| AU2010212400B2 (en) | Using estimated ad qualities for ad filtering, ranking and promotion | |
| CN103955842B (zh) | 一种面向大规模媒体数据的在线广告推荐系统及方法 | |
| CN102033883B (zh) | 一种提高网站数据传输速度的方法、装置及系统 | |
| AU2006332534B2 (en) | Predicting ad quality | |
| CN108205766A (zh) | 信息推送方法、装置及系统 | |
| US20170186030A1 (en) | Advertisement click-through rate correction method and advertisement push server | |
| CN103365839B (zh) | 一种搜索引擎的推荐搜索方法和装置 | |
| CN104462293A (zh) | 搜索处理方法、生成搜索结果排序模型的方法和装置 | |
| CN105631707A (zh) | 基于决策树的广告点击率预估方法与应用推荐方法及装置 | |
| JP2009522667A (ja) | 観察したユーザの行動からの広告品質の推定 | |
| CN107315841A (zh) | 一种信息搜索方法、装置及系统 | |
| CN105868847A (zh) | 一种购物行为的预测方法及装置 | |
| CN105260913A (zh) | 用于互联网广告投放的ctr预估方法、dsp服务器、系统 | |
| CN104992347A (zh) | 一种视频匹配广告的方法及装置 | |
| CN106445954B (zh) | 一种业务对象的展示方法和装置 | |
| CN106846061A (zh) | 潜在用户挖掘方法以及装置 | |
| CN1954336A (zh) | 用于确定通信网络用户概况的系统和方法 | |
| CN103309894B (zh) | 基于用户属性的搜索实现方法及系统 | |
| CN103778548A (zh) | 商品信息与关键词匹配方法、商品信息投放方法及装置 | |
| CN103902597A (zh) | 确定目标关键词所对应的搜索相关性类别的方法和设备 | |
| CN105760443A (zh) | 项目推荐系统、项目推荐装置以及项目推荐方法 | |
| CN103873601A (zh) | 一种寻址类查询词的挖掘方法及系统 | |
| CN102855245A (zh) | 一种用于确定图片相似度的方法与设备 | |
| CN102262660A (zh) | 一种计算机实现的用于获取搜索结果的方法与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |