WO2011070980A1 - 辞書作成装置 - Google Patents

辞書作成装置 Download PDF

Info

Publication number
WO2011070980A1
WO2011070980A1 PCT/JP2010/071696 JP2010071696W WO2011070980A1 WO 2011070980 A1 WO2011070980 A1 WO 2011070980A1 JP 2010071696 W JP2010071696 W JP 2010071696W WO 2011070980 A1 WO2011070980 A1 WO 2011070980A1
Authority
WO
WIPO (PCT)
Prior art keywords
word
input
words
output
cluster
Prior art date
Application number
PCT/JP2010/071696
Other languages
English (en)
French (fr)
Inventor
弘紀 水口
大 久寿居
幸貴 楠村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2011545194A priority Critical patent/JP5708495B2/ja
Priority to US13/515,135 priority patent/US20120303359A1/en
Publication of WO2011070980A1 publication Critical patent/WO2011070980A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes

Definitions

  • the present invention relates to a dictionary creation device, a word collection method, and a recording medium.
  • a dictionary creation technique is known in which a small number of similar words are input to create a dictionary that collects a large number of similar words from literature data, Web pages, and the like.
  • the dictionary is a set of the same kind of words having a common superordinate concept.
  • Non-Patent Document 1 An example of the dictionary creation method described above is described in Non-Patent Document 1. The outline of this dictionary creation method is shown below.
  • the first input word is referred to as a seed word.
  • Web pages including seed words are collected using a Web search engine.
  • a pattern for separating the seed word from other words is created from the collected Web pages.
  • a word is extracted from the Web page and added to the seed word. Note that the process from inputting a seed word until the word is extracted is called a turn.
  • Web pages are further collected using the seed word to which the word is added. After repeating this several turns, the extracted word is output as a set (dictionary) of words of the same type as the seed word.
  • a word newly added to the seed word may be a different type of word from the seed word.
  • words such as ramen shop names and udon shop names that are published in the same literature and have similar patterns are newly seeded. For example, it is added to a word.
  • different types of words are added to the seed word one after another from the different types of words, and many types of words different from the seed words are collected, which may deteriorate the accuracy of the dictionary.
  • the reliability of the word extracted in each turn is obtained, and only words having a certain reliability or higher are added to the seed word and adopted in the next turn. Yes.
  • the reliability for example, a statistic based on the number of appearances of the pattern, a statistic based on the number of words detected from the pattern, or the like is used.
  • the number of Web pages that can be extracted based on word patterns is adopted as the reliability, and the number of Web pages that can be extracted is less than a predetermined number, and thus differs by not adding to the seed word. Prevents the collection of different types of words.
  • the present invention has been made in view of the above circumstances, and a dictionary creation device, a word collection method, and a recording medium capable of suitably outputting to a user what kinds of different words are collected
  • the purpose is to provide.
  • a dictionary creation device provides: Accepts an input of a word, outputs a word related to the input word input from the document data, and thereafter adds the output word to the input word until a predetermined condition is reached, and adds the word related to the input word to the document
  • An input / output process recording means for recording information indicating an input / output process between an input word and an output word output by the input word in a dictionary multiplication process of collecting words by repeating output from data;
  • Cluster classification means for classifying words collected in the dictionary multiplication process into clusters based on information recorded in the input / output process recording means; For each cluster classified by the cluster classification means based on the information recorded in the input / output process recording means, whether or not the words in the cluster are the same type of words as the input word that received the input first Homogenous discrimination means for discriminating Associating the words collected in the dictionary multiplication process, the cluster to which the word belongs, and information indicating whether or not the word constituting the cluster
  • the word collection method is: Accepts an input of a word, outputs a word related to the input word input from the document data, and thereafter adds the output word to the input word until a predetermined condition is reached, and adds the word related to the input word to the document
  • An input / output process recording step for recording information indicating an input / output process between an input word and an output word output by the input word in the dictionary multiplication process in which words are collected by repeating output from data;
  • a cluster classification step of classifying the words collected in the dictionary multiplication process into clusters, For each cluster classified by the cluster classification step based on the information recorded in the input / output process recording step, whether or not the word in the cluster is the same type of word as the first input word received Homogeneous determination step for determining Associating the words collected in the dictionary multiplication process, the cluster to which the word belongs, and information indicating whether or not the word constituting the cluster is the same type of word as
  • the recording medium is Computer Accepts an input of a word, outputs a word related to the input word input from the document data, and thereafter adds the output word to the input word until a predetermined condition is reached, and adds the word related to the input word to the document
  • An input / output process recording means for recording information indicating an input / output process between an input word and an output word output by the input word in a dictionary multiplication process of collecting words by repeating output from data;
  • Cluster classification means for classifying the words collected in the dictionary multiplication process into clusters based on information recorded in the input / output process recording means; For each cluster classified by the cluster classification means based on the information recorded in the input / output process recording means, whether or not the words in the cluster are the same type of words as the input word that received the input first Homogeneous discrimination means for discriminating Associating the words collected in the dictionary multiplication process, the cluster to which the word belongs, and information indicating whether or not the word constituting the cluster is the same type of word as the
  • the words collected in the dictionary construction are clustered, and it is determined for each cluster whether or not the words are of the same type as the first input word. Therefore, it is possible to suitably output to the user what kinds of different words are collected.
  • 10A and 10B are diagrams illustrating a configuration example of information stored in the word group storage unit. It is a flowchart for demonstrating operation
  • the dictionary creating apparatus 100 includes an input unit 101, a dictionary multiplication unit 102, a clustering unit 103, a type determination unit 104, an output unit 105, a document storage unit 106, and a collection process storage unit. 107 and a collected word storage unit 108.
  • the input unit 101 includes a keyboard and a mouse.
  • the user inputs a word (seed word) as a sample for creating a dictionary (a set of similar words) via the input unit 101.
  • the dictionary multiplication unit 102 uses a conventional method as described in Non-Patent Document 1 to perform dictionary multiplication processing for collecting words of the same type as the seed word from the document stored in the document storage unit 106. . Further, the dictionary multiplication unit 102 records in the collection process storage unit 107 information indicating what process the word was collected in this dictionary multiplication process. Details of the dictionary multiplication process performed by the dictionary multiplication unit 102 will be described later.
  • the clustering unit 103 classifies (clusters) the words collected by the dictionary multiplying unit 102 into a plurality of clusters based on information stored in the collection process storage unit 107. Details of the processing performed by the clustering unit 103 will be described later.
  • the type discriminating unit 104 inputs the cluster and the words included in the cluster, refers to the information stored in the collection process storage unit 107, and the words constituting the cluster are the same type of words as the seed words It is determined whether or not. Details of the processing performed by the type determination unit 104 will be described later.
  • the output unit 105 outputs various information. For example, the output unit 105 outputs (displays) the words collected by the dictionary multiplication process with information indicating whether the words are heterogeneous or the same as the seed word for each classified cluster.
  • the document storage unit 106 stores data defining each document that is a target of word collection by the dictionary multiplication unit 102. Each document data is given an ID (document ID).
  • the collection process storage unit 107 stores information indicating what input / output process the word was collected in the dictionary multiplication process. Specifically, as shown in FIG. 2, the collection process storage unit 107 generates the number of turns of the turn, the input word input in the turn, and the input word for each turn in the dictionary multiplication process. The output words output according to the pattern thus recorded are recorded in association with each other. For example, it can be seen from the top entry of FIG. 2 that “Restaurant X” is extracted by the pattern created from “Restaurant S” in the first turn of the dictionary multiplication process.
  • each collected word is stored in association with a cluster ID indicating which cluster each word is classified into. . Also, in each cluster, whether the words constituting the cluster are the same type of word as the seed word (the seed word itself is also the same type when included in the cluster), or is a different type of word Information indicating whether or not. For example, it can be seen from FIG. 3 that “Restaurant A” and “Restaurant B” are classified into cluster 1, and that cluster 1 is composed of words of the same type as seed words. Similarly, “Udon C” and “Udon D” are classified into Cluster 2, and it can be seen that Cluster 2 is composed of different types of words from the seed words.
  • the dictionary creation device 100 Next, an operation of processing performed by the dictionary creation device 100 will be described.
  • the user operates the input unit 101 to input one or more words (seed words) that serve as samples for creating a dictionary (a set of similar words). Then, it instructs to create a dictionary based on the input seed word.
  • the dictionary creating apparatus 100 performs a dictionary creating process shown in FIG.
  • the dictionary breeding unit 102 When the dictionary creation process is started, first, the dictionary breeding unit 102 performs a dictionary breeding process using a conventional method, and collects words related to the input seed word (step S100).
  • step S100 Details of the dictionary multiplication process (step S100) will be described with reference to the flowchart of FIG.
  • the dictionary multiplication unit 102 registers the seed word input by the user in the collected word storage unit 108 (step S101). Then, the dictionary multiplication unit 102 increments a counter i (initial value 0) indicating the number of turns by 1 (step S102).
  • the dictionary multiplication unit 102 randomly selects a predetermined number of words from the words stored in the collected word storage unit 108 (step S103). Then, the dictionary multiplication unit 102 detects a document containing the selected seed word from the documents stored in the document storage unit 106 (step S104). Here, only a document including all the selected seed words may be detected, or a document including a predetermined number of seed words among the selected seed words may be detected.
  • the dictionary multiplication unit 102 identifies the position where the seed word selected in step S103 appears in the detected document, and creates a pattern that separates the seed word from other parts (step S105). For example, a predetermined number of character strings before and after a portion where a seed word appears in the document may be adopted as a pattern.
  • the dictionary multiplication unit 102 extracts words that match the created pattern from the document stored in the document storage unit 106 (step S106). Then, the dictionary multiplication unit 102 adds the extracted word to the collected word storage unit 108 (step S107).
  • the dictionary multiplication unit 102 extracts in step S106 using information indicating the number of turns this time (that is, the value of the counter i), each word (input word) selected in step S103, and a pattern created from the input word.
  • the collected words (output words) are associated with each other and stored in the collection process storage unit 107 (step S108).
  • the dictionary multiplication unit 102 determines whether or not a predetermined termination condition for terminating the dictionary multiplication is satisfied (step S109).
  • a termination condition for example, any condition such as whether the number of words stored in the collected word storage unit 108 has reached a predetermined number or the number of turns has reached a predetermined number can be employed. .
  • an end condition that repeatedly collects words for at least two turns.
  • step S109 If it is determined that the end condition is not satisfied (step S109; No), the dictionary multiplication unit 102 repeats steps S102 to S108, and continues to collect words from the seed word to which a new word has been added. If it is determined that the end condition is satisfied (step S109; Yes), the dictionary multiplying unit 102 ends the dictionary multiplying process and moves the process to the clustering unit 103.
  • the clustering unit 103 performs a clustering process for classifying the words collected by the dictionary multiplication process into clusters (step S200).
  • FIG. 6 is a flowchart showing details of the clustering process (step S200).
  • the clustering unit 103 first selects two words for which the degree of cohesion between words has not yet been calculated from the collected word storage unit 108 (step S201).
  • the clustering unit 103 calculates the degree of cohesion between the two selected words based on the information stored in the collection process storage unit 107 (step S202).
  • the degree of cohesion between words is an index whose value increases as words that input common words or words that output common words in the dictionary multiplication process described above. For example, the ratio of the words that are input to two words from the common word among the words that are input to each of the two words, and the word that outputs two words that are common to the two words that are output from each of the two words Can be calculated as the degree of cohesion between two words.
  • the cohesion degree between two words a and b is Sim (a, b)
  • Sim_in (a, b) is a value indicating the ratio of words input from a common word among the words input to the words a and b.
  • Sim_in (a, b) (number of common words input to both words a and b) / ((number of words input to word a) + (number of words input to word b)) ).
  • Sim_out (a, b) is a value indicating the ratio of words that output a common word among the words output by the two words a and b.
  • Sim_out (a, b) (number of common words from both words a and b) / ((number of words output by word a) + (number of words output by word b)) Can be sought.
  • the clustering unit 103 determines whether or not the cohesion degree has been calculated for all pairs of seed words stored in the collected word storage unit 108 (step S203).
  • step S203 When the cohesion degree is not calculated for all pairs of seed words (step S203; No), the clustering unit 103 selects two seed words for which the cohesion degree has not been calculated and calculates the cohesion degree (step S201, Step S202) is repeated.
  • the clustering unit 103 uses the calculated cohesion degree as a similarity, and publicly known methods such as the shortest distance method, the longest distance method, and the group average method Clustering is performed using the clustering method, and the seed words stored in the collected word storage unit 108 are classified into a plurality of clusters (step S204). Then, the clustering unit 103 records the clustered result (step S205). Specifically, the clustering unit 103 assigns a cluster ID to the words stored in the collected word storage unit 108 so that the result of classification into clusters is reflected. This completes the clustering process.
  • the degree of cohesion between the collected words is calculated by the clustering process, and the collected words are classified into a plurality of clusters based on the calculated degree of cohesion.
  • FIG. 7 is a graph showing the input / output relationship between words in turn 1 to turn 3 of the dictionary multiplication process when the information shown in FIG. 2 is stored in the collection process storage unit 107.
  • each word is represented by a node and connected by an arc (arrow) from the input word to the output word.
  • arc arrow
  • clustering using a known clustering method is performed with the degree of cohesion between these words as the similarity. For example, two clusters of cluster 1 ⁇ restaurant A, restaurant B ⁇ and cluster 2 ⁇ udon C, udon D ⁇ are formed from this degree of cohesion and stored in the collected word storage unit 108 as shown in FIG. A cluster ID is assigned to each existing word.
  • the type determination unit 104 performs the same type determination process for determining whether or not the cluster classified by the clustering process is composed of words of the same type as the first input word (seed word). Perform (step S300).
  • FIG. 8 is a flowchart showing details of the homogeneity discrimination processing (step S300).
  • the type discriminating unit 104 selects one cluster that has not been subjected to homogenous discrimination from the collected word storage unit 108 and a word included in the cluster (step S301). .
  • the type determination unit 104 refers to the collection process storage unit 107 to determine whether or not the word in the selected cluster is the same type of word as the first input word (seed word) ( Step S302). This determination may be made based on the proximity of each word in the cluster to the seed word. Specifically, the type determination unit 104 calculates the number of turns required to output each word in the cluster from the seed word and the number of turns required for each word in the cluster to output the seed word. Based on the calculated number of turns, it may be determined whether the type is the same or different.
  • the type determination unit 104 records the determination result in the collected word storage unit 108 (step S303).
  • the type discriminating unit 104 discriminates whether or not the above-described homogenous discrimination has been performed on all the clusters stored in the collected word storage unit 108 (step S304).
  • step S304 If there is a cluster that has not been subjected to homogenous discrimination (step S304; No), the type discriminating unit 104 repeats the process of selecting the cluster and performing homogenous discrimination (steps S301 to S303).
  • step S304 If there is no cluster that has not been subjected to the same type determination (step S304; Yes), the same type determination process ends.
  • the word “Restaurant A” in the cluster 1 is output from the seed word “Restaurant S” in the shortest turn by the route “Restaurant S ⁇ Restaurant A”.
  • “Restaurant A” outputs the seed word “Restaurant T” in the shortest turn through the route “Restaurant A ⁇ Restaurant T”. Therefore, the reciprocal number 1 of the shortest number of turns 1 is set as a value representing the proximity of the “restaurant A” to the seed word.
  • the word “Restaurant B” in the cluster 1 is output from the seed word “Restaurant S” in the shortest turn by the route “Restaurant S ⁇ Restaurant B”.
  • “Restaurant B” outputs the seed word “Restaurant T” in the shortest turn by the route “Restaurant B ⁇ Restaurant T”. Therefore, the reciprocal number 1 of the shortest number of turns 1 is set as a value representing the proximity to the seed word of “Restaurant B”. Therefore, the closeness to the seed word in the entire cluster 1 is 1 taking the average of the closeness of “Restaurant A” and “Restaurant B”. Since this value is equal to or greater than the threshold value 0.6, the cluster 1 is determined to be the same type, and the result is stored in the collected word storage unit 108.
  • the word “Udon C” in cluster 2 is the seed word “Restaurant S” or “Restaurant” in the shortest two turns by a route such as “Restaurant S ⁇ Restaurant Z ⁇ Udon C” or “Restaurant T ⁇ Restaurant W ⁇ Udon C”. "T”. Therefore, the reciprocal number 0.5 of the shortest number of turns 2 is set as a value representing the proximity to the seed word of “Udon C”.
  • the word “Udon D” in the cluster 2 is a seed word “Restaurant S” in the shortest two turns by a route such as “Restaurant S ⁇ Restaurant Z ⁇ Udon D” or “Restaurant T ⁇ Restaurant W ⁇ Udon D”. Alternatively, it is output from “Restaurant T”. Therefore, the reciprocal number 0.5 of the shortest number of turns 2 is set as a value representing the proximity to the seed word of “Udon D”. Therefore, the proximity to the seed word in the entire cluster 2 is 0.5, which is an average of the proximity of the udon C and the udon D. Since this value is equal to or less than the threshold value 0.6, the cluster 2 is determined to be different and the result is stored in the collected word storage unit 108.
  • the output unit 105 refers to the collected word storage unit 108, associates the information with the collected words classified into clusters and discriminated as being the same or different from the seed word.
  • To output (display) step S400).
  • the output unit 105 outputs “Cluster 1 ⁇ Restaurant A, Restaurant B ⁇ : Same kind, Cluster 2 ⁇ Udon C, Udon D ⁇ : Different kind”, and the like. This completes the dictionary creation process.
  • each word collected by the dictionary multiplication process is classified into a cluster. Then, for each cluster, whether or not it is composed of the same type of word as the seed word is determined and output. Accordingly, it is possible to suitably output to the user what kinds of different words are collected.
  • a dictionary creation device 200 As shown in FIG. 9, a dictionary creation device 200 according to the second embodiment includes a word selection unit 201, a re-execution unit 202, and a word group storage unit 203 added to the dictionary creation device 100 according to the first embodiment. It is a configuration.
  • symbol is attached
  • the collected words are stored in association with group names that are identification information of the groups to which the words belong. .
  • the word selection unit 201 refers to the word group storage unit 203, selects one uncollected group, and selects a predetermined number of words from the selected group. Then, the word selection unit 201 instructs the dictionary multiplication unit 102 to execute a dictionary multiplication process using the selected word as a seed word.
  • the re-execution unit 202 adds the group name to the words collected, classified into clusters, and determined to be the same type or different from the seed words, and adds them to the word group storage unit 203. Then, when there is a group that has not yet been collected, the re-execution unit 202 instructs the word selection unit 201 to select a word from the group.
  • the other units are the first implementation. Since processing similar to that of the embodiment is performed, description thereof is omitted here. However, the seed word that is used as the starting point of word collection by the dictionary multiplication unit 102 is a word selected by the word selection unit 201.
  • a plurality of words are registered as a group 1 in the word group storage unit 203 in advance. Further, it is assumed that this group 1 is a collection incomplete group described later. It is assumed that no group other than group 1 is registered at this time.
  • the dictionary creating apparatus 200 performs a dictionary creating process shown in FIG.
  • the word selection unit 201 refers to the word group storage unit 203 and selects a predetermined number of words from among the words included in the uncollected group (that is, group 1). Is selected as a seed word (step S50).
  • the dictionary multiplication unit 102 performs a dictionary multiplication process in the same manner as in the first embodiment, and collects the same type of words as the seed words (step S100). However, here, the word selected in step S50 is used as a seed word.
  • the clustering unit 103 performs clustering processing as in the first embodiment, and classifies the words collected by the dictionary multiplication processing into clusters (step S200).
  • the type determination unit 104 performs the same type determination process as in the first embodiment, and determines whether or not the cluster includes words of the same type as the seed word (step S300).
  • the re-execution unit 202 performs word group update processing for registering the words constituting the cluster in the word group storage unit 203 for each cluster for which it is determined whether the seed word is the same or different from the seed word (grouping). Step S330).
  • Fig. 12 shows the details of the word group update process.
  • the re-execution unit 202 selects one unprocessed cluster from the clusters clustered in step S200 described above (step S331).
  • the re-execution unit 202 refers to the result of the same type determination process in step S300, and determines whether or not the selected cluster is composed of words of the same type as the seed word (step S332).
  • step S332 If it is the same type as the seed word (step S332; Yes), the re-execution unit 202 assigns the same group name as the seed word and registers the word in the selected cluster in the word group storage unit 203 (step S333). Then, the process proceeds to step S337.
  • the re-execution unit 202 refers to the word group storage unit 203 and is already stored in the word group storage unit 203 among the words in the selected cluster. It is determined whether or not there is a word (existing word) (step S334).
  • step S334 When it is determined that there is an existing word (step S334; Yes), the re-execution unit 202 attaches the same group name as the group name attached to the existing word, and converts the words in the selected cluster to the word group. Register in the storage unit 203 (step S335). Then, the process proceeds to step S337.
  • step S334 When it is determined that there is no existing word (step S334; No), the re-execution unit 202 assigns the newly issued group name and registers the word in the selected cluster in the word group storage unit 203 (step). S336). Then, the process proceeds to step S337.
  • step S337 the re-execution unit 202 determines whether or not the processing for registering the words in the cluster in the word group storage unit 203 has been performed for all the clustered clusters.
  • step S337 If there is a cluster that has not yet been registered in the word group storage unit 203 (step S337; No), the re-execution unit 202 selects an unprocessed cluster, and selects a word in the cluster as the word group storage unit 203. A series of processes (step S331 to step S336) registered in the above are repeated.
  • step S337 When the process of registering words in the word group storage unit 203 is performed in all clusters (step S337; Yes), the word group update process ends.
  • the re-execution unit 202 determines whether or not there is a group for which word collection has not yet been completed (hereinafter referred to as an incomplete collection group) (step S360). For example, a group that satisfies any of the following conditions a) to d) may be determined as a collection incomplete group.
  • step S360 When there is an incomplete collection group (step S360; Yes), the re-execution unit 202 instructs the word selection unit 201 to select a seed word from one of the collection incomplete groups. Then, the words are collected from the seed words, clustered, determined whether the seed words are the same or different, and the grouping process is repeated (steps S50 to S330).
  • step S360 If there is no collection incomplete group (step S360; No), the output unit 105 outputs the collected words. However, a group name to which the word belongs is acquired from the word group storage unit 203 in addition to the cluster to which the word belongs and information indicating whether the cluster is the same type of seed word. These pieces of information are output (displayed) in association with the collected words. This completes the dictionary creation process.
  • the dictionary creation process is started in this state, first, the words “Restaurant S” and “Restaurant T” in the group 1 are selected (step S50). Subsequently, a dictionary multiplication process is executed using the “restaurant S” and “restaurant T” as seed words, and words are collected (step S100). The collected words are clustered based on the degree of cohesion (step S200), and for each cluster, it is determined whether or not the seed words “restaurant S” and “restaurant T” are the same type (step S300). . Here, it is assumed that the following clusters 1 to 5 are created.
  • Cluster 1 (same type): “Restaurant A” “Restaurant B” ⁇ Cluster 2 (different): “Udon C” “Udon D”
  • Cluster 3 (same type): “Restaurant X” “Restaurant Z” “Restaurant W”
  • Cluster 4 (same type): “Restaurant S” “Restaurant T”
  • Cluster 5 (different type): “Udon G” “Udon H”
  • a word group update process is performed in which words in the cluster are grouped and registered in the word group storage unit 203 (step S330).
  • the words in these clusters are registered in the word group storage unit 203 as the same group 1 word as the seed word. Is performed (step S333).
  • the cluster 2 and the cluster 5 are different words from the seed word, and the words in these clusters are not yet stored in the word group storage unit 203. Therefore, the words in the cluster 2 and the cluster 5 are registered in the word group storage unit 203 with the new group names of the group 2 and the group 3, respectively (step S336).
  • the words in the clusters 1 to 5 are registered in the word group storage unit 203 with a group name.
  • one of the groups (that is, group 2 or group 3) is selected, and word collection using the words in the selected group as a new seed word is performed. A series of processes to be performed is repeated.
  • the word selection unit 201 of the dictionary creation device 200 of the second embodiment is replaced with a second word selection unit 301, as shown in FIG.
  • an interword cohesion degree storage unit 302 is newly added.
  • symbol is attached
  • the detailed description of the same components as those of the first embodiment and the second embodiment is the same as that of the first embodiment and the second embodiment, and the detailed description thereof is omitted.
  • the second word selection unit 301 refers to the word group storage unit 203, selects one uncollected group, and selects a plurality of words from the words included in the selected group. At this time, the second word selection unit 301 refers to the inter-word cohesion degree storage unit 302 and preferentially selects words satisfying a predetermined degree of cohesion.
  • the predetermined condition is, for example, a condition such that “75% of the words in the group are selected in descending order of cohesion, and the remaining 25% are selected in descending order of cohesion”. Selecting only words with a high degree of cohesion collects only frequently occurring words, so the accuracy of collecting similar words to seed words increases, but the number of collected words decreases and the collection efficiency decreases. Getting worse. Therefore, when it is desired to perform word collection that emphasizes collection efficiency over collection accuracy, it is desirable to employ the above conditions. In addition, when it is desired to perform word collection that places importance on collection accuracy over collection efficiency, it is desirable to adopt conditions such as “select words in a group in descending order of cohesion”. It is assumed that condition information defining such word selection conditions is stored in advance in the storage unit of the dictionary creation device 300.
  • the inter-word cohesion degree storage unit 302 stores the inter-word cohesion degree calculated by the clustering unit 103. Specifically, as shown in FIG. 14, the inter-word cohesion degree storage unit 302 stores two words and the cohesion degree between the two words in association with each other. For example, from the top entry in FIG. 14, the cohesion degree between “Restaurant S” and “Restaurant T” is 0.9.
  • the user operates the input unit 101 to instruct to create a dictionary.
  • the dictionary creation device 300 performs the dictionary creation process shown in FIG. 11 as in the second embodiment.
  • the second word selection unit 301 refers to the word group storage unit 203 to select one uncollected group, refers to the inter-word cohesion degree storage unit 302, and selects a group based on a predetermined condition. A predetermined number (four) of the words in the group are selected as seed words (step S50).
  • the second word selection unit 301 first selects two words having the highest degree of cohesion between words among the words in the group. Next, the second word selection unit 301 selects one word having the highest degree of cohesion with each of the two words. Then, the second word selection unit 301 selects each of these three words and one word having a low degree of cohesion.
  • the dictionary multiplying unit 102 performs a dictionary multiplying process for collecting the same kind of words using the four words selected by the second word selecting unit 301 as seed words (step S100).
  • the clustering unit 103 clusters the collected words (step S200).
  • the clustering unit 103 records the words calculated for clustering and the cohesion degree between the words in the inter-word cohesion degree storage unit 302.
  • the type determining unit 104 determines, for each cluster, whether or not the cluster is composed of words of the same type as the seed word (step S300).
  • the re-execution unit 202 groups the collected words (step S330). If there is an uncollected group (step S360; Yes), the process of selecting a seed word from the uncollected group and collecting the words is repeated. If there is no uncollected group (step S360; No) The process ends.
  • the words in the group are not selected at random, but are selected in consideration of the degree of cohesion between the words. Therefore, it is possible to collect words corresponding to various scenes.
  • a word is extracted from a document stored in the document storage unit 106.
  • the present invention is not limited to this.
  • a word is extracted from a Web page on the Internet using an Internet search engine. May be.
  • FIG. 15 is a block diagram showing an example of a physical configuration when the dictionary creation devices 100, 200, and 300 according to the embodiments of the present invention are mounted on a computer.
  • the dictionary creation devices 100, 200, and 300 according to the embodiments of the present invention can be realized by a hardware configuration similar to a general computer device.
  • the dictionary creation devices 100, 200, and 300 include a control unit 21, a main storage unit 22, an external storage unit 23, an operation unit 24, a display unit 25, and an input / output unit 26.
  • the main storage unit 22, the external storage unit 23, the operation unit 24, the display unit 25, and the input / output unit 26 are all connected to the control unit 21 via the internal bus 20.
  • the control unit 21 includes a CPU (Central Processing Unit) and the like, and executes the dictionary creation process in each of the above-described embodiments according to the control program 30 stored in the external storage unit 23.
  • CPU Central Processing Unit
  • the main storage unit 22 includes a RAM (Random-Access Memory) or the like, loads a control program 30 stored in the external storage unit 23, and is used as a work area of the control unit 21.
  • RAM Random-Access Memory
  • the external storage unit 23 includes a non-volatile memory such as a flash memory, a hard disk, a DVD-RAM (Digital Versatile Disc Random-Access Memory), and a DVD-RW (Digital Versatile Disc Disc Rewritable).
  • a control program 30 to be executed is stored in advance. Further, the external storage unit 23 supplies the data stored in the control program 30 to the control unit 21 according to the instruction of the control unit 21 and stores the data supplied from the control unit 21. Further, the external storage unit 23 physically stores the document storage unit 106, the collection process storage unit 107, the collection word storage unit 108, the word group storage unit 203, and the inter-word cohesion degree storage unit 302 in each of the above-described embodiments. Realize.
  • the operation unit 24 includes a pointing device such as a keyboard and a mouse, and an interface device that connects the keyboard and the pointing device to the internal bus 20.
  • a seed word and an instruction to start dictionary creation processing are supplied to the control unit 21 via the operation unit 24.
  • the display unit 25 includes a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays various information. For example, the display unit 25 displays each collected word with information on whether it is the same or different from the seed word for each cluster.
  • CTR Cathode Ray Tube
  • LCD Liquid Crystal Display
  • the input / output unit 26 is composed of a wireless transceiver, a wireless modem or a network termination device, and a serial interface or a LAN (Local Area Network) interface connected thereto. For example, words may be collected from web pages on the Internet via the input / output unit 26.
  • the processing of the second word selection unit 301 is performed by the control program 30 using the control unit 21, the main storage unit 22, the external storage unit 23, the operation unit 24, the display unit 25, the input / output unit 26, and the like as resources. Run by.
  • the central part that performs processing of the dictionary creation devices 100, 200, and 300 including the control unit 21, the main storage unit 22, the external storage unit 23, the operation unit 24, the input / output unit 26, the internal bus 20, and the like is as follows. It can be realized using a normal computer system regardless of a dedicated system. For example, a computer program for executing the above operation is stored and distributed on a computer-readable recording medium (flexible disk, CD-ROM, DVD-ROM, etc.), and the computer program is installed in the computer.
  • the dictionary creation devices 100, 200, and 300 that perform the above-described processing may be configured.
  • the dictionary creation devices 100, 200, and 300 may be configured by storing the computer program in a storage device included in a server device on a communication network such as the Internet and downloading it by a normal computer system.
  • the functions of the dictionary creation devices 100, 200, and 300 are realized by sharing an OS (operating system) and an application program, or by cooperation between the OS and the application program, only the application program portion is stored in a recording medium or the like. You may store in a memory
  • the computer program may be posted on a bulletin board (BBS, Bulletin Board System) on a communication network, and the computer program may be distributed via the network.
  • BSS bulletin Board System
  • the computer program may be started and executed in the same manner as other application programs under the control of the OS, so that the above-described processing may be executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

　辞書増殖処理によって単語を収集する際に、辞書増殖部（１０２）は、どのような入出力の過程を経て単語が収集されたのかを示す情報を収集過程記憶部（１０７）に記憶する。そして、クラスタリング部（１０３）は、収集過程記憶部（１０７）に記録されている情報に基づいて、辞書増殖処理によって収集された単語をクラスタに分類する。そして、種別判別部（１０４）は、収集過程記憶部（１０７）に記録されている情報に基づいて、分類された各クラスタ毎に、クラスタを構成する単語が、シード単語と同種の単語であるのか異種であるのかを判別する。そして、出力部（１０５）が、収集された単語と、この単語が属するクラスタと、このクラスタがシード単語と同種か異種であるのかを示す情報とを関連付けて表示する。

Description

[規則37.2に基づきISAが決定した発明の名称]　辞書作成装置
　本発明は、辞書作成装置、単語収集方法、及び、記録媒体に関する。
　少数の同種の単語を入力に、文献データやＷｅｂページ等から多数の同種の単語を収集した辞書を作成する辞書作成の手法が知られている。なお、ここでいう辞書とは、共通の上位概念を持つ同種の単語の集合のことである。
　上述した辞書作成の手法の一例が、非特許文献１に記載されている。この辞書作成の手法の概略を以下に示す。
　まず、収集の元となる少量の単語を入力する。以下、はじめに入力した単語をシード単語と呼ぶ。次に、Ｗｅｂ検索エンジンを利用し、シード単語を含むＷｅｂページを収集する。次に、収集したＷｅｂページからシード単語とそれ以外の語を区切るパターンを作成する。そして、このパターンを使ってＷｅｂページから単語を抽出し、シード単語に追加する。なお、シード単語を入力してから単語が抽出されるまでをターンと呼ぶ。そして、単語が追加されたシード単語を用いて、さらにＷｅｂページを収集する。これを数ターン繰り返した後、抽出された単語をシード単語と同種の単語の集合（辞書）として出力する。
　このような辞書作成の手法では、新たにシード単語に追加される単語が、シード単語と異なる種類の単語である場合がある。例えば、レストラン名のシード単語を入力して、レストラン名の辞書を作成する際に、同じ文献に掲載されており、かつ、パターンが似ているラーメン店名やうどん店名などの単語が、新たにシード単語に追加されてしまう等の場合である。
　このような場合、その異なる種類の単語から、さらに異なる種類の単語が次々にシード単語に追加されてしまい、シード単語と異なる種類の単語が多く収集されてしまい、辞書の精度が悪化することが知られている。
　このような事態を回避するために、各ターンで抽出される単語の信頼度を求め、特定の信頼度以上の単語のみをシード単語に追加して、次のターンで採用することが行われている。なお、この信頼度は、例えば、パターンの出現回数に基づく統計量や、パターンから検出された単語数に基づく統計量等が用いられる。非特許文献１では、信頼度として、単語のパターンによって抽出できたＷｅｂページの数を採用しており、抽出できたＷｅｂページの数が所定数以下の単語はシード単語に追加しないことで、異なる種類の単語が収集されることを防止している。
水口弘紀、河合英紀、土田正明、久寿居大、Ｗｅｂ知識を利用したブートストラップによる辞書増殖手法、ＤＥＷＳ２００７、２００７
　上述した信頼度を用いて辞書を作成をした場合、信頼度が低い異なる種類の単語（異種単語）は、収集対象から除外されてシードに追加されない。従って、ユーザは、どのような異種単語がシード単語から収集されているのかを全く知ることができず、異種単語を再利用してさらに異なるグループの単語を収集するような活用ができない。
　本発明は、上記実情に鑑みてなされたものであり、どのような異種単語が収集されているのかをユーザに好適に出力することを可能にした辞書作成装置、単語収集方法、及び、記録媒体を提供することを目的とする。
　上記目的を達成するため、本発明の第１の観点に係る辞書作成装置は、
　単語の入力を受け付け、入力された入力単語に関連する単語を文書データから出力し、以降は所定の条件に達するまで出力した単語を前記入力単語に追加し、該入力単語に関連する単語を文書データから出力することを繰り返していくことで単語を収集する辞書増殖処理における、入力単語と該入力単語によって出力された出力単語との入出力の過程を示す情報を記録する入出力過程記録手段と、
　前記入出力過程記録手段に記録された情報に基づいて、前記辞書増殖処理で収集された単語をクラスタに分類するクラスタ分類手段と、
　前記入出力過程記録手段に記録された情報に基づいて、前記クラスタ分類手段が分類したクラスタ毎に、該クラスタ内の単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを判別する同種判別手段と、
　前記辞書増殖処理で収集された単語と、該単語が属するクラスタと、該クラスタを構成する単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを示す情報と、を関連付けて出力する収集単語出力手段と、
　を備えることを特徴とする。
　また、本発明の第２の観点に係る単語収集方法は、
　単語の入力を受け付け、入力された入力単語に関連する単語を文書データから出力し、以降は所定の条件に達するまで出力した単語を前記入力単語に追加し、該入力単語に関連する単語を文書データから出力することを繰り返していくことで単語を収集した辞書増殖処理における入力単語と該入力単語によって出力された出力単語との入出力の過程を示す情報を記録する入出力過程記録ステップと、
　前記入出力過程記録ステップに記録された情報に基づいて、前記辞書増殖処理で収集された単語をクラスタに分類するクラスタ分類ステップと、
　前記入出力過程記録ステップに記録された情報に基づいて、前記クラスタ分類ステップが分類したクラスタ毎に、該クラスタ内の単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを判別する同種判別ステップと、
　前記辞書増殖処理で収集された単語と、該単語が属するクラスタと、該クラスタを構成する単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを示す情報と、を関連付けて出力する収集単語出力ステップと、
　を備えることを特徴とする。
　また、本発明の第３の観点に係る記録媒体は、
　コンピュータを、
　単語の入力を受け付け、入力された入力単語に関連する単語を文書データから出力し、以降は所定の条件に達するまで出力した単語を前記入力単語に追加し、該入力単語に関連する単語を文書データから出力することを繰り返していくことで単語を収集する辞書増殖処理における、入力単語と該入力単語によって出力された出力単語との入出力の過程を示す情報を記録する入出力過程記録手段、
　前記入出力過程記録手段に記録された情報に基づいて、前記辞書増殖処理で収集された単語をクラスタに分類するクラスタ分類手段、
　前記入出力過程記録手段に記録された情報に基づいて、前記クラスタ分類手段が分類したクラスタ毎に、該クラスタ内の単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを判別する同種判別手段、
　前記辞書増殖処理で収集された単語と、該単語が属するクラスタと、該クラスタを構成する単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを示す情報と、を関連付けて出力する収集単語出力手段、
　として機能させるプログラムを記録したコンピュータ読取可能な記録媒体である。
　本発明によれば、辞書構築において収集された単語をクラスタリングし、クラスタ毎に、最初に入力した単語と同じ種類の単語であるか否かが判別される。従って、どのような異種単語が収集されているのかをユーザに好適に出力することができる。
本発明の第１実施形態に係る辞書作成装置の構成を示す図である。 収集過程記憶部に記憶される情報の構成例を示す図である。 収集単語記憶部に記憶される情報の構成例を示す図である。 辞書作成処理の動作を説明するためのフローチャートである。 辞書増殖処理の動作を説明するためのフローチャートである。 クラスタリング処理の動作を説明するためのフローチャートである。 単語間の入出力の関係を示したグラフである。 同種判別処理の動作を説明するためのフローチャートである。 本発明の第２実施形態に係る辞書作成装置の構成を示す図である。 図１０（Ａ）及び図１０（Ｂ）は、単語グループ記憶部に記憶される情報の構成例を示す図である。 辞書作成処理の動作を説明するためのフローチャートである。 単語グループ更新処理の動作を説明するためのフローチャートである。 本発明の第３実施形態に係る辞書作成装置の構成を示す図である。 収集単語記憶部に記憶される情報の構成例を示す図である。 各実施形態に係る辞書作成装置をコンピュータに実装する場合の、物理的な構成の一例を示すブロック図である。
　以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来るのはもちろんである。また、図中同一または相当部分には同一符号を付す。
　また、本発明で辞書とは、共通の上位概念を持つ同種の単語の集合のことである。
（第１実施形態）
　本発明の第１実施形態に係る辞書作成装置１００について説明する。辞書作成装置１００は、図1に示すように、入力部１０１と、辞書増殖部１０２と、クラスタリング部１０３と、種別判別部１０４と、出力部１０５と、文書記憶部１０６と、収集過程記憶部１０７と、収集単語記憶部１０８とを備える。
　入力部１０１は、キーボードやマウスなどから構成される。ユーザは、入力部１０１を介して、辞書（同種の単語の集合）を作成するためのサンプルとなる単語（シード単語）を入力する。
　辞書増殖部１０２は、非特許文献１に記載されているような従来の手法を用いて、シード単語と同種の単語を文書記憶部１０６に記憶されている文書内から収集する辞書増殖処理を行う。また、辞書増殖部１０２は、この辞書増殖処理において、どのような過程を経て単語が収集されたのかを示す情報を収集過程記憶部１０７に記録する。辞書増殖部１０２の行う辞書増殖処理の詳細については後述する。
　クラスタリング部１０３は、収集過程記憶部１０７に記憶されている情報に基づいて、辞書増殖部１０２が収集した単語を複数のクラスタに分類（クラスタリング）する。クラスタリング部１０３の行う処理の詳細については後述する。
　種別判別部１０４は、クラスタとそのクラスタに含まれる単語とを入力に、収集過程記憶部１０７に記憶されている情報を参照し、クラスタを構成する単語が、シード単語と同じ種類の単語であるか否かを判別する。種別判別部１０４の行う処理の詳細については後述する。
　出力部１０５は、種々の情報を出力する。例えば、出力部１０５は、辞書増殖処理によって収集された単語を、分類されたクラスタ毎に、シード単語と異種か同種かを示す情報を付して出力（表示）する。
　文書記憶部１０６は、辞書増殖部１０２による単語収集の対象となる各文書を定義するデータが記憶される。なお、各文書のデータにはＩＤ（文書ＩＤ）が付されている。
　収集過程記憶部１０７には、辞書増殖処理において、どのような入出力の過程を経て単語が収集されたのかを示す情報が記録される。具体的には、図2に示すように、収集過程記憶部１０７には、辞書増殖処理におけるターン毎に、当該ターンのターン数と、当該ターンで入力された入力単語と、該入力単語から生成されたパターンによって出力された出力単語とが対応付けられて記録される。
　例えば、図2の先頭のエントリから、辞書増殖処理の１ターン目に、「レストランＳ」から作成されたパターンにより「レストランＸ」が抽出されたことがわかる。
　図1に戻り、収集単語記憶部１０８には、図3に示すように、収集された各単語と、各単語がどのクラスタに分類されているかを示すクラスタＩＤとが対応付けられて記憶される。また、各クラスタには、クラスタを構成する単語が、シード単語と同じ種類の単語であるのか（シード単語自体が当該クラスタに含まれる場合も同じ種類とする）、又は、異なる種類の単語であるのか、を示す情報が付与される。
　例えば、図3から、「レストランＡ」と「レストランＢ」はクラスタ１に分類され、また、クラスタ１はシード単語と同じ種類の単語から構成されていることが分かる。同様に、「うどんＣ」と「うどんＤ」はクラスタ２に分類され、また、クラスタ２はシード単語と異なる種類の単語から構成されていることが分かる。
　続いて、辞書作成装置１００で実施される処理の動作について説明する。
　まず、ユーザは、入力部１０１を操作して、辞書（同種の単語の集合）を作成するためのサンプルとなる１乃至複数の単語（シード単語）を入力する。そして、入力したシード単語を元に、辞書を作成することを指示する。この指示操作に応じて、辞書作成装置１００は、図4に示す辞書作成処理を行う。
　辞書作成処理が開始されると、まず、辞書増殖部１０２は、従来の手法で辞書増殖処理を行い、入力されたシード単語に関連する単語を収集する（ステップS100）。
　辞書増殖処理（ステップS100）の詳細について、図5のフローチャートを参照して説明する。辞書増殖処理が開始されると、まず、辞書増殖部１０２は、ユーザによって入力されたシード単語を収集単語記憶部１０８に登録する（ステップS101）。そして、辞書増殖部１０２は、ターン数を示すカウンタｉ（初期値０）を１インクリメントする（ステップS102）。
　続いて、辞書増殖部１０２は、収集単語記憶部１０８に記憶されている単語のなかから所定数の単語をランダムに選択する（ステップS103）。そして、辞書増殖部１０２は、文書記憶部１０６に記憶されている文書のなかから、選択したシード単語が含まれている文書を検出する（ステップS104）。なお、ここでは、選択したシード単語を全て含む文書のみを検出してもよいし、選択したシード単語のうち所定数のシード単語を含む文書を検出してもよい。
　続いて、辞書増殖部１０２は、検出した文書内における、ステップS103で選択したシード単語が出現する位置を特定し、シード単語とそれ以外の部分とを区切るパターンを作成する（ステップS105）。例えば、文書内でシード単語が出現する部分の前後の所定数の文字列を、パターンとして採用すればよい。
　続いて、辞書増殖部１０２は、作成したパターンに合致する単語を、文書記憶部１０６に記憶されている文書から抽出する（ステップS106）。そして、辞書増殖部１０２は、抽出した単語を収集単語記憶部１０８に追加する（ステップS107）。
　続いて、辞書増殖部１０２は、今回のターン数を示す情報（即ち、カウンタｉの値）と、ステップS103で選択した各単語（入力単語）と、入力単語から作成したパターンによりステップS106で抽出した単語（出力単語）とを対応付けて、収集過程記憶部１０７に記憶する（ステップS108）。
　続いて、辞書増殖部１０２は、辞書増殖を終了させるための所定の終了条件を満たしているか否かを判別する（ステップS109）。終了条件としては、例えば、収集単語記憶部１０８に記憶した単語の数が所定数に達したか、又は、ターン数が所定数に達したか等の任意の条件を採用することが可能である。なお、後述するクラスタリング処理で収集した単語を適切にクラスタリングできるようにするために、ここでは、少なくとも２ターン以上は単語の収集を繰り返し実行するような終了条件を採用することが望ましい。
　終了条件を満たしていないと判別した場合（ステップS109；No）、辞書増殖部１０２は、ステップS102～ステップS108を繰り返し、新たに単語が追加されたシード単語から単語を収集する処理を引き続き行う。
　終了条件を満たしていると判別した場合（ステップS109；Yes）、辞書増殖部１０２は、辞書増殖処理を終了し処理をクラスタリング部１０３に移す。
　図4に戻り、続いて、クラスタリング部１０３は、辞書増殖処理によって収集された単語をクラスタに分類するクラスタリング処理を行う（ステップS200）。
　図6は、クラスタリング処理（ステップS200）の詳細を示すフローチャートである。クラスタリング処理が開始されると、まず、クラスタリング部１０３は、収集単語記憶部１０８から、未だ単語間の結束度を算出していない２つの単語を選択する（ステップS201）。
　続いて、クラスタリング部１０３は、選択した２つの単語間の結束度を、収集過程記憶部１０７に記憶されている情報に基づいて算出する（ステップS202）。
　なお、単語間の結束度とは、上述した辞書増殖処理において、共通の単語を入力にする単語同士、又は共通の単語を出力する単語同士ほど、その値が大きくなる指標のことである。例えば、２つの単語それぞれに入力される単語のうち共通の単語から２つの単語に入力される単語の割合と、２つの単語それぞれが出力する単語のうち２つの単語が共通の単語を出力する単語の割合と、の和を２つの単語間の結束度として算出することができる。
　より具体的には、２つの単語a,b間の結束度をSim(a,b)とすると、以下の式により、結束度を算出することができる。
　Sim(a,b)=Sim_in(a,b)+sim_out(a,b)
　上式において、Sim_in(a,b)は、単語a,bそれぞれに入力される単語のうち共通の単語から入力される単語の割合を示す値である。Sim_in(a,b)=（単語aと単語bの両方に入力される共通の単語の数）／（（単語aに入力される単語の数）+（単語bに入力される単語の数））と求めることができる。
　また、Sim_out(a,b)は、２つの単語a,bそれぞれが出力する単語のうち共通の単語を出力する単語の割合を示す値である。Sim_out(a,b)=（単語aと単語bの両方から主力された共通の単語の数）／（（単語aが出力した単語の数）+（単語bが出力した単語の数））と求めることができる。
　続いて、クラスタリング部１０３は、収集単語記憶部１０８に記憶されているシード単語の全ての組で、結束度を算出したか否かを判別する（ステップS203）。
　シード単語の全ての組で結束度を算出していない場合（ステップS203；No）、クラスタリング部１０３は、結束度未算出の２つのシード単語を選択して結束度を算出する処理（ステップS201、ステップS202）を繰り返す。
　シード単語の全ての組で結束度を算出した場合（ステップS203；Yes）、クラスタリング部１０３は、算出した結束度を類似度として、最短距離法、最長距離法、および、群平均法などの公知のクラスタリング手法を用いてクラスタリングを行い、収集単語記憶部１０８に記憶されているシード単語を複数のクラスタに分類する（ステップS204）。
　そして、クラスタリング部１０３は、クラスタリングした結果を記録する（ステップS205）。具体的には、クラスタリング部１０３は、収集単語記憶部１０８に記憶されている単語に、クラスタに分類した結果が反映されるようにクラスタＩＤを付与する。以上でクラスタリング処理は終了する。
　このように、クラスタリング処理により、収集された単語間の結束度が算出され、算出された結束度に基づいて、収集単語が複数のクラスタに分類される。
　ここで、上述したクラスタリング処理について、具体例を挙げて説明する。図7は、図2に示すような情報が収集過程記憶部１０７に記憶されている場合の、辞書増殖処理のターン１からターン３の単語間の入出力の関係をグラフで示した図である。この図において、各単語はノードで表され、入力単語から出力単語の方向にアーク（矢印）で結ばれる。例えば、図7より、単語「レストランＡ」は、ターン２に「レストランＸ」と「レストランＳ」から作成されたパターンにより抽出されたことがわかる。また、ターン３では、単語「レストランＡ」から作成されたパターンにより「レストランＥ」と「レストランＴ」とが抽出されたことがわかる。
　ここで、「レストランＡ」と「レストランＢ」との間の結束度Sim(A,B)を算出する場合を考える。
　「レストランＡ」に入力される単語は「レストランＸ」と「レストランＳ」であり、「レストランＢ」に入力される単語は「レストランＳ」である。そして、このうち、「レストランＳ」が、「レストランＡ」と「レストランＢ」の両方に入力される。したがって、Sim_in(A,B)は、１／３となる。また、「レストランＡ」が出力する単語は「レストランＥ」と「レストランＴ」であり、「レストランＢ」が出力する単語は「レストランＴ」である。そして、このうち、「レストランＴ」が、「レストランＡ」と「レストランＢ」の両方から出力される。したがって、Sim_out(A,B)は、１／３となる。したがって、結束度Sim(A,B)=Sim_in(A,B)+Sim_out(A,B)=1/3+1/3=2/3と算出される。
　同様に、他の単語間の結束度についても、以下のように算出される。
　レストランＡとうどんＣとの間の結束度：Sim(A,C)=Sim_in(A,C)+Sim_out(A,C)=0+0=0
　レストランＡとうどんＤとの間の結束度：Sim(A,D)=Sim_in(A,D)+Sim_out(A,D)=0+0=0
　レストランＢとうどんＣとの間の結束度：Sim(B,C)=Sim_in(B,C)+Sim_out(B,C)=0+0=0
　レストランＢとうどんＤとの間の結束度：Sim(B,D)=Sim_in(B,D)+Sim_out(B,D)=0+1/3=1/3
　うどんＣとうどんＤとの間の結束度：Sim(C,D)=Sim_in(C,D)+Sim_out(C,D)=2/4+1/4=3/4
　そして、これらの単語間の結束度を類似度として、公知のクラスタリングの手法を用いたクラスタリングがなされる。例えば、この結束度から、クラスタ１｛レストランＡ,レストランＢ｝、クラスタ２｛うどんＣ,うどんＤ｝の２つのクラスタが形成され、図3に示すように、収集単語記憶部１０８に記憶されている各単語に、クラスタＩＤが付与される。
　図4に戻り、続いて、種別判別部１０４は、クラスタリング処理で分類したクラスタが、最初に入力された単語（シード単語）と同種の単語から構成されるか否かを判別する同種判別処理を行う（ステップS300）。
　図8は、同種判別処理（ステップS300）の詳細を示すフローチャートである。同種判別処理が開始されると、まず、種別判別部１０４は、収集単語記憶部１０８から、同種判別を未だ行っていない１つのクラスタ、及び、当該クラスタに含まれる単語を選択する（ステップS301）。
　続いて、種別判別部１０４は、収集過程記憶部１０７を参照して、選択したクラスタ内の単語が、最初に入力された単語（シード単語）と同種の単語であるか否かを判別する（ステップS302）。なお、この判別は、クラスタ内の各単語のシード単語までの近さに基づいて行えばよい。
　具体的には、種別判別部１０４は、シード単語からクラスタ内の各単語を出力するまでに要したターン数や、クラスタ内の各単語がシード単語を出力するまでに要したターン数を算出し、算出したターン数に基づいて、同種か異種かの判別をすればよい。
　続いて、種別判別部１０４は、判別結果を収集単語記憶部１０８に記録する（ステップS303）。
　続いて、種別判別部１０４は、収集単語記憶部１０８に記憶されているクラスタ全てで、上述の同種判別を実施したか否かを判別する（ステップS304）。
　同種判別未実施のクラスタがある場合（ステップS304；No）、種別判別部１０４は、そのクラスタを選択して同種判別をする処理（ステップS301～ステップS303）を繰り返す。
　同種判別を未実施のクラスタがない場合（ステップS304；Yes）、同種判別処理は終了する。
　このように、同種判別処理が実施されることにより、クラスタ毎に、クラスタを構成する単語がシード単語と同じ種類の単語であるか異なる種類の単語であるかが判別される。
　続いて、上述した同種判別処理について、具体例を挙げて説明する。
　前提として、図7に示すような入出力関係が、図2に示す収集過程記憶部１０７に記憶されている情報から得られているものとする。また、「レストランＡ」と「レストランＢ」がクラスタ１、「うどんＣ」と「うどんＤ」がクラスタ２に分類されているものとする。また、同種判定に用いる閾値の値は0.6とする。なお、図7では、シード単語である「レストランＳ」と「レストランＴ」は、網掛けで示している。
　まず、クラスタ１の同種判別について説明する。
　クラスタ１内の単語「レストランＡ」は、「レストランＳ→レストランＡ」のルートにより、最短１ターンでシード単語「レストランＳ」から出力される。若しくは、「レストランＡ」は、「レストランＡ→レストランＴ」のルートにより、最短１ターンでシード単語「レストランＴ」を出力する。そのため、その最短のターン数１の逆数１を、「レストランＡ」のシード単語までの近さを表す値とする。
　同様に、クラスタ１内の単語「レストランＢ」は、「レストランＳ→レストランＢ」のルートにより、最短１ターンでシード単語「レストランＳ」から出力される。若しくは、「レストランＢ」は、「レストランＢ→レストランＴ」のルートにより、最短１ターンでシード単語「レストランＴ」を出力する。そのため、その最短のターン数１の逆数１を、「レストランＢ」のシード単語までの近さを表す値とする。
　したがって、クラスタ１全体でのシード単語までの近さは、「レストランＡ」と「レストランＢ」の近さの平均を取り１となる。この値は、閾値0.6以上であるため、クラスタ１は同種と判別され、その結果が収集単語記憶部１０８に記憶される。
　続いて、クラスタ２の同種判別について説明する。
　クラスタ２内の単語「うどんＣ」は、「レストランＳ→レストランＺ→うどんＣ」又は「レストランＴ→レストランＷ→うどんＣ」等のルートにより、最短２ターンでシード単語「レストランＳ」又は「レストランＴ」から出力される。そのため、その最短のターン数２の逆数0.5を、「うどんＣ」のシード単語までの近さを表す値とする。
　同様に、クラスタ２内の単語「うどんＤ」は、「レストランＳ→レストランＺ→うどんＤ」又は「レストランＴ→レストランＷ→うどんＤ」等のルートにより、最短２ターンでシード単語「レストランＳ」又は「レストランＴ」から出力される。そのため、その最短のターン数２の逆数0.5を、「うどんＤ」のシード単語までの近さを表す値とする。
　したがって、クラスタ２全体でのシード単語までの近さは、うどんＣとうどんＤの近さの平均を取り0.5となる。この値は、閾値0.6以下であるため、クラスタ２は異種と判別され、その結果が収集単語記憶部１０８に記憶される。
　図4に戻り、続いて、出力部１０５は、収集単語記憶部１０８を参照して、収集され、クラスタに分類され、シード単語と同種か異種かを判別された単語を、それらの情報を関連付けて出力（表示）する（ステップS400）。例えば、出力部１０５は、「クラスタ１｛レストランＡ、レストランＢ｝：同種、クラスタ２｛うどんＣ、うどんＤ｝：異種」等と出力する。以上で、辞書作成処理は終了する。
　このように、本実施形態では、辞書増殖処理によって収集された各単語は、クラスタに分類される。そして、各クラスタ毎に、シード単語と同じ種類の単語から構成されるか否かが判別されて出力される。従って、どのような異種の単語が収集されているのかをユーザに好適に出力することができる。
（第２実施形態）
　第２実施形態に係る辞書作成装置２００は、図9に示すように、第１実施形態の辞書作成装置１００に、単語選択部２０１、再実行部２０２、および、単語グループ記憶部２０３が追加された構成である。なお、下記及び図面では、第１実施形態と同様のものについては、同一の符号を付す。また、第１実施形態と同様の構成要素の詳細な説明は、上記第１実施形態の説明に準じ、詳細な説明を省略する。
　単語グループ記憶部２０３には、図10（Ａ）、図10（Ｂ）に示すように、収集した単語と、該単語が属するグループの識別情報であるグループ名とが対応付けられて記憶される。
　単語選択部２０１は、単語グループ記憶部２０３を参照して、未収集のグループを１つ選択し、選択したグループから所定数の単語を選択する。そして、単語選択部２０１は、選択した単語をシード単語とした辞書増殖処理の実行を辞書増殖部１０２に指示する。
　再実行部２０２は、収集され、クラスタに分類され、シード単語と同種か異種かを判別された単語にグループ名を付して単語グループ記憶部２０３に追加する。そして、再実行部２０２は、未だ収集を行っていないグループがある場合には、そのグループから単語を選択することを単語選択部２０１に指示をする。
　なお、その他の各部（入力部１０１、辞書増殖部１０２、クラスタリング部１０３、種別判別部１０４、出力部１０５、文書記憶部１０６、収集過程記憶部１０７、収集単語記憶部１０８）は、第１実施形態と同様の処理を行うため、ここでは説明を省略する。但し、辞書増殖部１０２が単語収集の起点とするシード単語は、単語選択部２０１が選択した単語である。
　続いて、辞書作成装置２００で実施される処理の動作について説明する。なお、予め、単語グループ記憶部２０３には、複数の単語が、グループ１として登録されている。また、このグループ１は、後述する収集未完グループであるとする。また、グループ１以外のグループは現時点では登録されていないものとする。
　まず、ユーザは、入力部１０１を操作して、辞書を作成することを指示する。この指示操作に応じて、辞書作成装置２００は、図11に示す辞書作成処理を行う。
　辞書作成処理が開始されると、単語選択部２０１は、単語グループ記憶部２０３を参照して、未収集のグループ（即ちグループ１）に含まれる単語のなかから、予め設定されている数の単語をシード単語として選択する（ステップS50）。
　続いて、辞書増殖部１０２は、第１実施形態と同様に辞書増殖処理を行い、シード単語と同種の単語を収集する（ステップS100）。但し、ここでは、ステップS50で選択された単語をシード単語とする。
　続いて、クラスタリング部１０３は、第１実施形態と同様にクラスタリング処理を行い、辞書増殖処理によって収集された単語をクラスタに分類する（ステップS200）。
　続いて、種別判別部１０４は、第１実施形態と同様に同種判別処理を行い、クラスタが、シード単語と同種の単語から構成されるか否かを判別する（ステップS300）。
　続いて、再実行部２０２は、シード単語と同種か異種かを判別されたクラスタ毎に、該クラスタを構成する単語を単語グループ記憶部２０３に登録して、グルーピングする単語グループ更新処理を行う（ステップS330）。
　図12に、単語グループ更新処理の詳細を示す。単語グループ更新処理が開始されると、まず、再実行部２０２は、上述のステップS200でクラスタリングしたクラスタのなかから未処理のクラスタを１つ選択する（ステップS331）。
　続いて、再実行部２０２は、ステップS300の同種判別処理の結果を参照して、選択したクラスタがシード単語と同種の単語から構成されているか否かを判別する（ステップS332）。
　シード単語と同種の場合（ステップS332；Yes）、再実行部２０２は、シード単語と同じグループ名を付して、選択したクラスタ内の単語を単語グループ記憶部２０３に登録する（ステップS333）。そして、ステップS337に処理を移す。
　シード単語と異種の場合（ステップS332；No）、再実行部２０２は、単語グループ記憶部２０３を参照して、選択したクラスタ内の単語のなかに、既に単語グループ記憶部２０３に記憶されている単語（既存単語）があるか否かを判別する（ステップS334）。
　既存単語があると判別された場合（ステップS334；Yes）、再実行部２０２は、その既存単語に付されているグループ名と同じグループ名を付して、選択したクラスタ内の単語を単語グループ記憶部２０３に登録する（ステップS335）。そして、ステップS337に処理を移す。
　既存単語がないと判別された場合（ステップS334；No）、再実行部２０２は、新たに発行したグループ名を付して、選択したクラスタ内の単語を単語グループ記憶部２０３に登録する（ステップS336）。そして、ステップS337に処理を移す。
　ステップS337では、再実行部２０２は、クラスタリングした全てのクラスタで、クラスタ内の単語を単語グループ記憶部２０３に登録する処理を行ったか否かを判別する。
　未だ単語グループ記憶部２０３に登録する処理を行っていないクラスタがある場合（ステップS337；No）、再実行部２０２は、未処理のクラスタを選択して、クラスタ内の単語を単語グループ記憶部２０３に登録する一連の処理（ステップS331～ステップS336）を繰り返す。
　全てのクラスタで、単語を単語グループ記憶部２０３に登録する処理を行った場合（ステップS337；Yes）、単語グループ更新処理は終了する。
　図11に戻り、続いて、再実行部２０２は、単語収集が未だ完了していないグループ（以下、収集未完グループという）があるか否かを判別する（ステップS360）。
　例えば、以下に示すａ）～ｄ）の何れかの条件を満たすグループを収集未完グループと判断すればよい。
　ａ）グループ内の単語数が一定数以上に達していないグループ。
　ｂ）グループ内の単語をシード単語とした辞書増殖処理を所定回数以上行っていないグループ。
　ｃ）グループに新たに追加された単語が一定数以上あるグループ。
　ｄ）ａ）～ｃ）を所定の重み付けを付した割合で組み合わせた条件に合致するグループ。
　収集未完グループが有る場合（ステップS360；Yes）、再実行部２０２は、収集未完グループの１つからシード単語を選択することを単語選択部２０１に指示する。そして、シード単語から単語を収集して、クラスタリングし、シード単語と同種か異種かの判定を行い、グルーピングする処理が繰り返される（ステップS50～ステップS330）。
　収集未完グループが無い場合（ステップS360；No）、出力部１０５は、収集した単語を出力する。但し、単語の属するクラスタ、および、そのクラスタがシード単語を同種であるか否かを示す情報に加えて、単語が属するグループ名を単語グループ記憶部２０３から取得する。そして、これらの情報を、収集した単語と関連付けて出力（表示）するものとする。以上で、辞書作成処理は終了する。
　続いて、上述した辞書作成処理について、具体例を挙げて説明する。なお、前提として、図10（Ａ）に示すように、収集未完グループであるグループ１のみが、単語グループ記憶部２０３には記憶されているものとする。
　従って、この状態で辞書作成処理が開始されると、まず、グループ１内の単語「レストランＳ」と「レストランＴ」が選択される（ステップS50）。続いて、この「レストランＳ」と「レストランＴ」とをシード単語とした辞書増殖処理が実行されて、単語が収集される（ステップS100）。そして、収集された単語は、その結束度に基づいてクラスタリングされ（ステップS200）、クラスタ毎に、シード単語「レストランＳ」「レストランＴ」と同種であるか否かが判別される（ステップS300）。ここでは、以下に示すようなクラスタ１～５が作成されたこととする。
　・クラスタ１（同種）：「レストランＡ」「レストランＢ」
　・クラスタ２（異種）：「うどんＣ」「うどんＤ」
　・クラスタ３（同種）：「レストランＸ」「レストランＺ」「レストランＷ」
　・クラスタ４（同種）：「レストランＳ」「レストランＴ」
　・クラスタ５（異種）：「うどんＧ」「うどんＨ」
　続いて、これらのクラスタ毎に、クラスタ内の単語をグループ化して単語グループ記憶部２０３に登録する単語グループ更新処理が実施される（ステップS330）。この場合、クラスタ１と、クラスタ３と、クラスタ４は、シード単語と同種と判定されているため、これらのクラスタ内の単語は、シード単語と同じグループ１の単語として単語グループ記憶部２０３に登録される（ステップS333）。
　また、クラスタ２とクラスタ５は、シード単語と異種の単語であり、また、これらのクラスタ内の単語は未だ単語グループ記憶部２０３に記憶されていない。従って、クラスタ２とクラスタ５内の単語は、それぞれ、グループ２、グループ３の新規のグループ名を付されて、単語グループ記憶部２０３に登録される（ステップS336）。
　そして、最終的には、図10（Ｂ）に示すように、クラスタ１～５内の単語がグループ名を付されて単語グループ記憶部２０３に登録される。
　続いて、収集未完のグループがある場合には、そのグループ（即ち、グループ２かグループ３）のうちの１つを選択して、選択したグループ内の単語を新たにシード単語とした単語収集を行う一連の処理が繰り返される。
　このように、第２実施形態では、異種単語がどの程度含まれているかだけでなく、同じような異種単語を新たなグループとて登録する。そして、そのグループ内の単語をシード単語として、さらに単語を収集することができる。これにより、初期に与えたシード単語と似ている単語も別グループとした単語収集を行うことができる。
（第３実施形態）
　第２実施形態では、グループ内の単語から、ランダムに選択した所定数の単語をシード単語として辞書増殖を行った。そのため、少ない収集回数で多くの単語を取得したい場合、収集回数が多くなっても収集される単語がシード単語と類似する精度を高くしたい場合、などといった種々の場面に応じた適切な単語の収集ができない。本実施形態では、種々の場面に応じた適切な単語の収集を可能とすることを特徴とする。
　第３実施形態に係る辞書作成装置３００は、図13に示すように、第２実施形態の辞書作成装置２００の単語選択部２０１が第二単語選択部３０１に置き換えられている。また、単語間結束度記憶部３０２が新たに追加されている。なお、下記及び図面では、第１実施形態、および、第２実施形態と同様のものについては、同一の符号を付す。また、第１実施形態、および、第２実施形態と同様の構成要素の詳細な説明は、上記第１実施形態、第２実施形態の説明に準じ、詳細な説明を省略する。
　第二単語選択部３０１は、単語グループ記憶部２０３を参照して、未収集のグループを１つ選択し、選択したグループに含まれる単語から複数の単語を選択する。この際、第二単語選択部３０１は、単語間結束度記憶部３０２を参照して、結束度が所定の条件を満たす単語を優先的に選択する。
　ここで、上記の所定の条件とは、例えば、「グループ内の単語のうち結束度の高い順に７５％、残りの２５％は結束度が低いものから順に選択する」などの条件である。結束度の高い単語のみを選択すると、頻繁に出現する単語のみが収集されるため、シード単語と類似の単語が収集される精度は高くなるが、収集される単語の数は少なくなり収集効率は悪化する。したがって、収集精度よりも収集効率を重視した単語収集を行いたい場合には、上記のような条件を採用することが望ましい。
　また、収集効率よりも収集精度を重視した単語収集を行いたい場合には、「グループ内の単語のうち結束度の高い順に選択する」などの条件を採用することが望ましい。
　なお、このような単語選択の条件を定義する条件情報が、予め、辞書作成装置３００の記憶部に記憶されているものとする。
　単語間結束度記憶部３０２は、クラスタリング部１０３によって算出された単語間の結束度を記憶する。具体的には、図14に示すように、単語間結束度記憶部３０２には、２つの単語と、その２つの単語間の結束度とが対応付けられて記憶される。例えば、図14の先頭のエントリから、「レストランＳ」と「レストランＴ」との間の結束度は0.9とわかる。
　なお、その他の各部（入力部１０１、辞書増殖部１０２、クラスタリング部１０３、種別判別部１０４、出力部１０５、文書記憶部１０６、収集過程記憶部１０７、収集単語記憶部１０８、再実行部２０２、単語グループ記憶部２０３）は、第２実施形態と同様の処理を行うため、ここでは説明を省略する。
　続いて、辞書作成装置３００で実施される処理の動作について説明する。
　なお、予め、収集の際に採用する結束度に関するグループから単語を選択するための条件が設定されているものとする。また、グループからは４つの単語を選択するものとする。
　ユーザは、入力部１０１を操作して、辞書を作成することを指示する。この指示操作に応じて、辞書作成装置３００は、第２実施形態と同様の図11に示す辞書作成処理を行う。
　まず、第二単語選択部３０１は、単語グループ記憶部２０３を参照して、未収集のグループを１つ選択し、単語間結束度記憶部３０２を参照して、所定の条件に基づいて、選択したグループ内の単語のうちから所定数（４つ）の単語をシード単語として選択する（ステップS50）。
　例えば、「グループ内の単語のうち結束度の高い順に７５％、残りの２５％は結束度が低いものから順に選択する」条件が設定されている場合を考える。即ち、結束度の高い単語を３つ、結束度の低い単語を１つ選択することとなる。
　この場合、第二単語選択部３０１は、まず、グループ内の単語のうち、単語間の結束度が最も高い２単語を選択する。次に、第二単語選択部３０１は、その２つの単語それぞれと結束度が最も高い単語を１つ選択する。そして、第二単語選択部３０１は、これら３つの単語それぞれと、結束度の低い単語を１つ選択する。
　以降の処理は、第２実施形態と同様である。
　即ち、辞書増殖部１０２は、第二単語選択部３０１によって選択された４つの単語をシード単語として、同種の単語を収集する辞書増殖処理を行う（ステップS100）。続いて、クラスタリング部１０３が、収集された単語をクラスタリングする（ステップS200）。なお、この際、クラスタリング部１０３は、クラスタリングするために算出した単語とその単語間の結束度とを、単語間結束度記憶部３０２に記録する。そして、種別判別部１０４が、クラスタ毎に、クラスタがシード単語と同種の単語から構成されるか否かを判別する（ステップS300）。そして、再実行部２０２が、収集した単語をグルーピングする（ステップS330）。そして、未収集のグループがある場合は（ステップS360；Yes）、未収集のグループからシード単語を選択して単語を収集する処理を繰り返し、未収集のグループがない場合は（ステップS360；No）、処理は終了する。
　このように、本実施形態では、グループ内の単語をランダムに選択するのではなく、単語間の結束度を考慮して単語を選択する。従って、種々の場面に対応した単語収集が可能となる。
　なお、本各実施形態は種々の変形、および、応用が可能である。
　例えば、上記各実施形態では、文書記憶部１０６に記憶されている文書から単語を抽出したが、これに限らず、例えば、インターネット検索エンジンを用いて、インターネット上のＷｅｂページから、単語を抽出してもよい。
　図15は、本発明の各実施形態に係る辞書作成装置１００，２００，３００をコンピュータに実装する場合の、物理的な構成の一例を示すブロック図である。本発明の各実施形態に係る辞書作成装置１００，２００，３００は、一般的なコンピュータ装置と同様のハードウェア構成によって実現することができる。辞書作成装置１００，２００，３００は、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６を備える。主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６はいずれも内部バス２０を介して制御部２１に接続されている。
　制御部２１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部２３に記憶されている制御プログラム３０に従って、前述した各実施形態における辞書作成処理を実行する。
　主記憶部２２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部２３に記憶されている制御プログラム３０をロードし、制御部２１の作業領域として用いられる。
　外部記憶部２３は、フラッシュメモリ、ハードディスク、ＤＶＤ－ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ－ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、上述の処理を制御部２１に行わせるための制御プログラム３０を予め記憶する。また、外部記憶部２３は、制御部２１の指示に従って、この制御プログラム３０が記憶するデータを制御部２１に供給し、制御部２１から供給されたデータを記憶する。また、外部記憶部２３は、上述した各実施形態における文書記憶部１０６、収集過程記憶部１０７、収集単語記憶部１０８、単語グループ記憶部２０３、および、単語間結束度記憶部３０２を物理的に実現する。
　操作部２４はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス２０に接続するインターフェース装置等から構成されている。操作部２４を介して、シード単語や辞書作成処理の開始の指示が制御部２１に供給される。
　表示部２５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、種々の情報を表示する。例えば、表示部２５は、収集された各単語を、クラスタ毎に、シード単語と同種であるか異種であるかの情報を付して表示する。
　入出力部２６は、無線送受信機、無線モデムまたは網終端装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェース等から構成されている。例えば、入出力部２６を介して、インターネット上のWebページから単語を収集してもよい。
　図1、図9、および図13に示す辞書作成装置１００，２００，３００の辞書増殖部１０２、クラスタリング部１０３、種別判別部１０４、出力部１０５、単語選択部２０１、再実行部２０２、および、第二単語選択部３０１の処理は、制御プログラム３０が、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６などを資源として用いて処理することによって実行する。
　なお、前記のハードウエェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
　また、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、入出力部２６および内部バス２０などから構成される辞書作成装置１００，２００，３００の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する辞書作成装置１００，２００，３００を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで辞書作成装置１００，２００，３００を構成してもよい。
　また、辞書作成装置１００，２００，３００の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
　また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
　本発明は２００９年１２月１１日に出願された日本国特許出願２００９－２８２３０４号に基づく。本明細書中に日本国特許出願２００９－２８２３０４号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
１００　　　辞書作成装置
１０１　　　入力部
１０２　　　辞書増殖部
１０３　　　クラスタリング部
１０４　　　種別判別部
１０５　　　出力部
１０６　　　文書記憶部
１０７　　　収集過程記憶部
１０８　　　収集単語記憶部

Claims (11)

  1. 　単語の入力を受け付け、入力された入力単語に関連する単語を文書データから出力し、以降は所定の条件に達するまで出力した単語を前記入力単語に追加し、該入力単語に関連する単語を文書データから出力することを繰り返していくことで単語を収集する辞書増殖処理における、入力単語と該入力単語によって出力された出力単語との入出力の過程を示す情報を記録する入出力過程記録手段と、
    　前記入出力過程記録手段に記録された情報に基づいて、前記辞書増殖処理で収集された単語をクラスタに分類するクラスタ分類手段と、
    　前記入出力過程記録手段に記録された情報に基づいて、前記クラスタ分類手段が分類したクラスタ毎に、該クラスタ内の単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを判別する同種判別手段と、
    　前記辞書増殖処理で収集された単語と、該単語が属するクラスタと、該クラスタを構成する単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを示す情報と、を関連付けて出力する収集単語出力手段と、
    　を備えることを特徴とする辞書作成装置。
  2. 　単語の入力を受け付け、入力された入力単語に関連する単語を文書データから出力し、以降は所定の条件に達するまで出力した単語を前記入力単語に追加し、該入力単語に関連する単語を文書データから出力することを繰り返していくことで単語を収集する辞書増殖手段をさらに備える、
    　ことを特徴とする請求項１に記載の辞書作成装置。
  3. 　前記入出力過程記録手段は、複数回の入出力を繰り返した、入力単語と該入力単語によって出力された出力単語との入出力の過程を示す情報を記録する、
    　ことを特徴とする請求項１又は２に記載の辞書作成装置。
  4. 　前記クラスタ分類手段は、前記入出力過程記録手段に記録されている情報から、前記辞書増殖処理で収集した単語のうち共通の単語を入力にする単語同士、又は共通の単語を出力する単語同士ほどその値が大きくなる値を示す単語間の結束度を算出し、算出した結束度に基づいて、単語をクラスタに分類する、
    　ことを特徴とする請求項１乃至３の何れか１項に記載の辞書作成装置。
  5. 　前記同種判別手段は、前記入出力過程記録手段に記録されている情報に基づいて、クラスタ毎に、クラスタ内の単語が最初に入力を受け付けた入力単語を入力／出力する最小の入出力の回数の、当該クラスタ内の単語での平均値を算出し、算出した平均値が所定の閾値以下である場合に、同じ種類の単語であると判別する、
    　ことを特徴とする請求項１乃至４の何れか１項に記載の辞書作成装置。
  6. 　前記辞書増殖処理で収集された単語を種類毎に、複数の単語グループに分類して記憶する、単語グループ記憶手段と、
    　所定の条件を満たす一の単語グループのなかから所定数の単語を選択する単語選択手段と、をさらに備え、
    　前記単語選択手段が選択した単語を入力単語とした前記辞書増殖処理を実行し、
    　前記同種判別手段は、前記入出力過程記録手段に記録された情報に基づいて、前記クラスタ分類手段が分類したクラスタ毎に、該クラスタ内の単語が前記単語選択手段が選択した入力単語と同じ種類の単語であるか否かを判別する、
    　ことを特徴とする請求項１乃至５の何れか１項に記載の辞書作成装置。
  7. 　前記同種判別手段が判別した結果に基づいて、前記辞書増殖処理で収集された単語を前記単語グループ記憶手段に登録し、登録した単語グループのうち所定の条件を満たす単語グループがある場合に、前記単語選択手段に単語の選択を指示する再実行手段をさらに備え、
    　前記再実行手段は、収集単語を前記単語グループ記憶手段に登録する際、収集単語の属するクラスタが前記単語選択手段が選択した単語と同種の単語である場合には当該選択した単語と同じ単語グループに当該収集単語を登録し、異種であり且つ既に前記単語グループ記憶手段に記憶されている単語である場合には該記憶されている単語と同じ単語グループに収集単語を登録し、異種であり且つ未だ前記単語グループ記憶手段が記憶していない単語である場合には収集単語を新規の単語グループに登録する、
    　ことを特徴とする請求項６に記載の辞書作成装置。
  8. 　前記入出力過程記録手段に記録されている情報から算出された、前記辞書増殖処理で収集した単語のうち共通の単語を入力にする単語同士、又は共通の単語を出力する単語同士ほどその値が大きくなる値を示す単語間の結束度を記憶する結束度記憶手段をさらに備え、
    　前記単語選択手段は、前記一の単語グループ内の単語間の結束度に基づいて、所定数の単語を選択する、
    　ことを特徴とする請求項６又は７に記載の辞書作成装置。
  9. 　前記単語選択手段は、結束度の大きい順に単語を選択する割合、又は、結束度の小さい順に単語を選択する割合、が少なくとも予め設定されている条件情報に基づいて、所定数の単語を選択する、
    　ことを特徴とする請求項８に記載の辞書作成装置。
  10. 　単語の入力を受け付け、入力された入力単語に関連する単語を文書データから出力し、以降は所定の条件に達するまで出力した単語を前記入力単語に追加し、該入力単語に関連する単語を文書データから出力することを繰り返していくことで単語を収集した辞書増殖処理における入力単語と該入力単語によって出力された出力単語との入出力の過程を示す情報を記録する入出力過程記録ステップと、
    　前記入出力過程記録ステップに記録された情報に基づいて、前記辞書増殖処理で収集された単語をクラスタに分類するクラスタ分類ステップと、
    　前記入出力過程記録ステップに記録された情報に基づいて、前記クラスタ分類ステップが分類したクラスタ毎に、該クラスタ内の単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを判別する同種判別ステップと、
    　前記辞書増殖処理で収集された単語と、該単語が属するクラスタと、該クラスタを構成する単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを示す情報と、を関連付けて出力する収集単語出力ステップと、
    　を備えることを特徴とする単語収集方法。
  11. 　コンピュータを、
    　単語の入力を受け付け、入力された入力単語に関連する単語を文書データから出力し、以降は所定の条件に達するまで出力した単語を前記入力単語に追加し、該入力単語に関連する単語を文書データから出力することを繰り返していくことで単語を収集する辞書増殖処理における、入力単語と該入力単語によって出力された出力単語との入出力の過程を示す情報を記録する入出力過程記録手段、
    　前記入出力過程記録手段に記録された情報に基づいて、前記辞書増殖処理で収集された単語をクラスタに分類するクラスタ分類手段、
    　前記入出力過程記録手段に記録された情報に基づいて、前記クラスタ分類手段が分類したクラスタ毎に、該クラスタ内の単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを判別する同種判別手段、
    　前記辞書増殖処理で収集された単語と、該単語が属するクラスタと、該クラスタを構成する単語が最初に入力を受け付けた入力単語と同じ種類の単語であるか否かを示す情報と、を関連付けて出力する収集単語出力手段、
    　として機能させるプログラムを記録したコンピュータ読取可能な記録媒体。
PCT/JP2010/071696 2009-12-11 2010-12-03 辞書作成装置 WO2011070980A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011545194A JP5708495B2 (ja) 2009-12-11 2010-12-03 辞書作成装置、単語収集方法、及び、プログラム
US13/515,135 US20120303359A1 (en) 2009-12-11 2010-12-03 Dictionary creation device, word gathering method and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009282304 2009-12-11
JP2009-282304 2009-12-11

Publications (1)

Publication Number Publication Date
WO2011070980A1 true WO2011070980A1 (ja) 2011-06-16

Family

ID=44145525

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/071696 WO2011070980A1 (ja) 2009-12-11 2010-12-03 辞書作成装置

Country Status (3)

Country Link
US (1) US20120303359A1 (ja)
JP (1) JP5708495B2 (ja)
WO (1) WO2011070980A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384354B2 (ja) 2020-02-04 2023-11-21 本田技研工業株式会社 情報処理装置、情報処理方法およびプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304703B1 (en) * 2015-04-15 2016-04-05 Symbolic Io Corporation Method and apparatus for dense hyper IO digital retention
US9817728B2 (en) 2013-02-01 2017-11-14 Symbolic Io Corporation Fast system state cloning
US10133636B2 (en) 2013-03-12 2018-11-20 Formulus Black Corporation Data storage and retrieval mediation system and methods for using same
US9628108B2 (en) 2013-02-01 2017-04-18 Symbolic Io Corporation Method and apparatus for dense hyper IO digital retention
US10061514B2 (en) 2015-04-15 2018-08-28 Formulus Black Corporation Method and apparatus for dense hyper IO digital retention
US20170083013A1 (en) * 2015-09-23 2017-03-23 International Business Machines Corporation Conversion of a procedural process model to a hybrid process model
CN106649563B (zh) * 2016-11-10 2022-02-25 新华三技术有限公司 一种网站分类字典的构建方法及装置
WO2019126072A1 (en) 2017-12-18 2019-06-27 Formulus Black Corporation Random access memory (ram)-based computer systems, devices, and methods
US11163952B2 (en) * 2018-07-11 2021-11-02 International Business Machines Corporation Linked data seeded multi-lingual lexicon extraction
US10725853B2 (en) 2019-01-02 2020-07-28 Formulus Black Corporation Systems and methods for memory failure prevention, management, and mitigation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207218A (ja) * 2006-01-06 2007-08-16 Sony Corp 情報処理装置および方法、並びにプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1159661C (zh) * 1999-04-08 2004-07-28 肯特里奇数字实验公司 用于中文的标记和命名实体识别的系统
US20020032564A1 (en) * 2000-04-19 2002-03-14 Farzad Ehsani Phrase-based dialogue modeling with particular application to creating a recognition grammar for a voice-controlled user interface
WO2000073936A1 (en) * 1999-05-28 2000-12-07 Sehda, Inc. Phrase-based dialogue modeling with particular application to creating recognition grammars for voice-controlled user interfaces
GB2362238A (en) * 2000-05-12 2001-11-14 Applied Psychology Res Ltd Automatic text classification
US20020099730A1 (en) * 2000-05-12 2002-07-25 Applied Psychology Research Limited Automatic text classification system
US6941513B2 (en) * 2000-06-15 2005-09-06 Cognisphere, Inc. System and method for text structuring and text generation
US6892189B2 (en) * 2001-01-26 2005-05-10 Inxight Software, Inc. Method for learning and combining global and local regularities for information extraction and classification
US6970881B1 (en) * 2001-05-07 2005-11-29 Intelligenxia, Inc. Concept-based method and system for dynamically analyzing unstructured information
JP2003242176A (ja) * 2001-12-13 2003-08-29 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7454430B1 (en) * 2004-06-18 2008-11-18 Glenbrook Networks System and method for facts extraction and domain knowledge repository creation from unstructured and semi-structured documents
US7624102B2 (en) * 2005-01-28 2009-11-24 Microsoft Corporation System and method for grouping by attribute
WO2006083939A2 (en) * 2005-01-31 2006-08-10 4Info, Inc. Prioritization of search responses system and method
JP5073494B2 (ja) * 2005-05-09 2012-11-14 株式会社ＭｅｔａＭｏＪｉ 文書処理装置および文書処理方法
US8200695B2 (en) * 2006-04-13 2012-06-12 Lg Electronics Inc. Database for uploading, storing, and retrieving similar documents
US7822701B2 (en) * 2006-06-30 2010-10-26 Battelle Memorial Institute Lexicon generation methods, lexicon generation devices, and lexicon generation articles of manufacture
US8196039B2 (en) * 2006-07-07 2012-06-05 International Business Machines Corporation Relevant term extraction and classification for Wiki content
CN101136020A (zh) * 2006-08-31 2008-03-05 国际商业机器公司 自动扩展参考数据的系统和方法
JP5283208B2 (ja) * 2007-08-21 2013-09-04 国立大学法人 東京大学 情報検索システム及び方法及びプログラム並びに情報検索サービス提供方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207218A (ja) * 2006-01-06 2007-08-16 Sony Corp 情報処理装置および方法、並びにプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Kenkyu Hyoka Kagakuron no Tameno Kagaku Keiryogaku Nyumon, 1st edition", 30 March 2004, MARUZEN CO., LTD., article YUKO FUJIGAKI ET AL., pages: 67 - 72 *
HIDEKI KAWAI ET AL.: "Cost-effective Search Strategy for Bootstrapping Lexicon Acquisition", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 1, no. 1, 15 November 2008 (2008-11-15), pages 36 - 48 *
HIROAKI OSHIMA ET AL.: "Seikaigo Pair Zenzo ni yoru Kanrengo Shutoku no Tameno Ryohoko Kobun Pattern Hakken", THE 1ST FORUM ON DATA ENGINEERING AND INFORMATION MANAGEMENT -DEIM FORUM- RONBUNSHU, 9 May 2009 (2009-05-09), Retrieved from the Internet <URL:http://db-event.jpn.org/deim2009/proceedings/files/B9-l.pdf> [retrieved on 20101228] *
HIROKI MIZUGUCHI ET AL.: "Web Chishiki o Riyo shita Bootstrap ni yoru Jisho Zoshoku Shuho", THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, PROCEEDINGS OF THE 18TH DATA ENGINEERING WORKSHOP, 1 June 2007 (2007-06-01), Retrieved from the Internet <URL:http://www.ieice.org/iss/de/DEWS/DEWS2007/pdf/e8-5.pdf> [retrieved on 20101228] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384354B2 (ja) 2020-02-04 2023-11-21 本田技研工業株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US20120303359A1 (en) 2012-11-29
JP5708495B2 (ja) 2015-04-30
JPWO2011070980A1 (ja) 2013-04-22

Similar Documents

Publication Publication Date Title
JP5708495B2 (ja) 辞書作成装置、単語収集方法、及び、プログラム
US20030120644A1 (en) Method, apparatus, and computer program product for locating data in large datasets
US20140298321A1 (en) Installation control method and installation control apparatus
WO2017067156A1 (zh) 一种歌单列表确定方法、装置、电子设备及存储介质
CA3059929C (en) Text searching method, apparatus, and non-transitory computer-readable storage medium
JP5588811B2 (ja) データ分析支援システム及び方法
CN113543117B (zh) 携号转网用户的预测方法、装置及计算设备
JP2013246826A (ja) 対象の異構造インスタンスの属性値整列システム、対象の異構造インスタンスの属性値整列方法、及びプログラム
CN111259189B (zh) 一种音乐分类方法及装置
CN109241360B (zh) 组合字符串的匹配方法及装置和电子设备
JP5761029B2 (ja) 辞書作成装置、単語収集方法、及び、プログラム
JP5980520B2 (ja) 効率的にクエリを処理する方法及び装置
JP6705764B2 (ja) 生成装置、生成方法、及び生成プログラム
JP2007034878A (ja) 情報処理方法、情報処理装置および情報処理プログラム
JP5716966B2 (ja) データ分析装置、データ分析方法及びプログラム
JP5325131B2 (ja) パターン抽出装置、パターン抽出方法及びプログラム
CN110705889A (zh) 一种企业筛选方法、装置、设备及存储介质
JP5292247B2 (ja) コンテンツタグ収集方法、コンテンツタグ収集用プログラム、コンテンツタグ収集システム及びコンテンツ検索システム
JP6008067B2 (ja) テキスト処理システム、テキスト処理方法およびテキスト処理プログラム
CN109446408A (zh) 检索相似数据的方法、装置、设备及计算机可读存储介质
JP6190341B2 (ja) データ生成装置、データ生成方法、及びプログラム
JP5824429B2 (ja) スパムアカウントスコア算出装置、スパムアカウントスコア算出方法、及びプログラム
JP5494066B2 (ja) 検索装置、検索方法および検索プログラム
JPWO2016013209A1 (ja) 文集合抽出システム、方法およびプログラム
KR20190139227A (ko) K-부정합 검색을 위한 필터를 생성하는 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10835901

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011545194

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13515135

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10835901

Country of ref document: EP

Kind code of ref document: A1