JP2008301290A

JP2008301290A - Communication determination device and method

Info

Publication number: JP2008301290A
Application number: JP2007146202A
Authority: JP
Inventors: Yoshiaki Nishimura; 圭亮西村; Masayuki Okamoto; 昌之岡本; Naoki Iketani; 直紀池谷; Sougo Tsuboi; 創吾坪井; Kenta Cho; 健太長; Masanori Hattori; 正典服部
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-05-31
Filing date: 2007-05-31
Publication date: 2008-12-11

Abstract

<P>PROBLEM TO BE SOLVED: To provide a communication determination device for easily determining a communication situation between a plurality of users without complicated analysis processing. <P>SOLUTION: The communication determination device includes an operation history acquiring part for acquiring operation information indicating operation performed on a plurality of user terminals, a voice data acquiring part for acquiring voice data of the plurality of users, an activity calculation part for calculating operation activity indicating whether operation is input in the user terminal or not, and voice activity indicating whether voice of the user exists or not based on the voice data, an operation interlock determination part for calculating interlock information indicating whether a presence of the input of the operation interlocks or not in the respective user terminals from the operation activity, and a communication determination part for determining a communication period by the plurality of the users by calculating whether the presence of the input of the operation in the respective user terminals and presence of input of an action by the respective users interlock with each other or not from the interlock information and action activity. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、利用者間のコミュニケーションの状況を判定するコミュニケーション判定装置、及び方法に関するものである。 The present invention relates to a communication determination apparatus and method for determining the state of communication between users.

近年、コンピュータ技術の発達に伴い、さまざまな環境にコンピュータが導入されている。これに伴い、あらゆる情報が電子データ化される傾向にある。例えば、会議などで利用者が発した音声や、利用者がＰＣ(Personal Computer)に対して行った操作履歴や、会議などの状況を撮影した動画なども電子データ化して、コンピュータ上に格納することができる。 In recent years, with the development of computer technology, computers have been introduced into various environments. As a result, all information tends to be converted into electronic data. For example, voices made by users at meetings, etc., operation histories performed by users on PCs (Personal Computers), and moving pictures of situations such as meetings are converted to electronic data and stored on a computer. be able to.

そして、電子データ化された情報を、他の情報と関連付けて格納することで、検索や閲覧時の利便性を向上させることができる。例えば、特許文献１に記載された技術では、利用者の作業時において文書、作業の参加者、会話内容などの活動内容を、時間、場所に対応付けて格納している。これにより、利用者が作業時の状況を想起して検索条件に設定することで、作業時に編集した文書などを特定することが可能となる。 And the convenience at the time of search and browsing can be improved by associating and storing the information converted into electronic data with other information. For example, in the technique described in Patent Document 1, activity contents such as documents, work participants, conversation contents, and the like are stored in association with time and place when the user works. As a result, the user can specify the document edited at the time of the work by recalling the situation at the time of the work and setting the search condition.

特開２００６−９２３７０号公報JP 2006-92370 A

しかしながら、特許文献１では、文書と対応付ける活動内容を、音声データや動画データからどのように抽出するかが問題となる。 However, in Patent Document 1, there is a problem as to how to extract activity contents associated with a document from audio data or moving image data.

本発明は、上記に鑑みてなされたものであって、煩雑な解析処理を行わずに、容易に複数の利用者間のコミュニケーション状況を判定するコミュニケーション判定装置、及び方法を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a communication determination apparatus and method that easily determine a communication situation between a plurality of users without performing complicated analysis processing. To do.

上述した課題を解決し、目的を達成するために、本発明にかかるコミュニケーション判定装置は、複数の利用者端末に対して行われた操作を示す操作情報を、前記利用者端末毎に取得する操作取得部と、複数の利用者が行った行為を示す行為情報を、取得する行為情報取得部と、前記操作情報に基づいて、前記利用者端末における操作の入力の有無を示す操作活性度と、前記行為情報に基づいて、前記利用者における行為の入力の有無を示す行為活性度と、を算出する活性度算出部と、前記利用者端末毎に取得した前記操作活性度から、各前記利用者端末において操作の入力の有無が連動しているか否かを示す連動情報を算出する連動算出部と、前記連動情報及び前記行為活性度から、各前記利用者端末において操作の入力の有無及び各前記利用者において行為の入力の有無が連動しているか否かを算出し、前記複数の利用者によるコミュニケーション期間を判定するコミュニケーション判定部と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, the communication determination apparatus according to the present invention obtains operation information indicating operations performed on a plurality of user terminals for each of the user terminals. An action information indicating an action performed by a plurality of users, an action information acquiring part for acquiring the action information, and an operation activity indicating the presence / absence of an operation input on the user terminal based on the operation information; Based on the action information, an activity calculation unit that calculates an activity activity indicating whether or not the user has input an action, and an operation activity acquired for each of the user terminals. Based on the interlocking information and the activity activity, the interlocking calculation unit that calculates whether the presence / absence of the operation input in the terminal is interlocked, and the presence / absence of the operation input in each user terminal Presence or absence of an input action calculates whether interlocked in use have, characterized in that it comprises a determining communication determination unit communication period by the plurality of users.

また、本発明にかかるコミュニケーション判定方法は、複数の利用者端末に対して行われた操作を示す操作情報を、前記利用者端末毎に取得する操作取得ステップと、複数の利用者が行った行為を示す行為情報を取得する行為情報取得ステップと、取得した前記操作情報に基づいて、前記利用者端末における操作の入力の有無を示す操作活性度と、前記行為情報に基づいて、前記利用者における行為の入力の有無を示す行為活性度と、を算出する活性度算出ステップと、前記利用者端末毎に取得した前記操作活性度から、各前記利用者端末において操作の入力の有無が連動しているか否かを示す連動情報を算出する連動算出ステップと、前記連動情報及び前記行為活性度から、各前記利用者端末において操作の入力の有無及び各前記利用者において行為の入力の有無が連動しているか否かを算出し、前記複数の利用者によるコミュニケーション期間を判定するコミュニケーション判定ステップと、を有することを特徴とする。 In addition, the communication determination method according to the present invention includes an operation acquisition step of acquiring operation information indicating operations performed on a plurality of user terminals for each of the user terminals, and an action performed by a plurality of users. An action information acquisition step for acquiring action information indicating the operation activity degree indicating the presence or absence of an operation input in the user terminal based on the acquired operation information, and the user based on the action information. From the activity calculation step for calculating the activity activity indicating the presence / absence of the activity input, and the operation activity acquired for each user terminal, the presence / absence of the operation input in each user terminal is linked. A link calculation step for calculating link information indicating whether or not there is an operation input on each of the user terminals and each of the users based on the link information and the activity activity level. There whether presence or absence of an input action is integrated calculated, and having a and determining the communication determination step communication period by the plurality of users.

本発明によれば、容易に複数の利用者間のコミュニケーション状況を判定できるという効果を奏する。 According to the present invention, it is possible to easily determine the communication status between a plurality of users.

以下に添付図面を参照して、この発明にかかるコミュニケーション判定装置を検索サーバに適用した最良な実施の形態を詳細に説明する。なお、コミュニケーション判定装置は検索サーバ以外の様々な装置に対して適用することができる。 Exemplary embodiments of a communication determination apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. The communication determination device can be applied to various devices other than the search server.

（第１の実施の形態）
図１は、本実施の形態にかかる検索システムの概要を示した説明図である。図１に示すように、本実施の形態にかかる検索システムにおいては、検索サーバ１００と、ユーザ端末装置１５０、１５１とがネットワーク１７０を介して接続されている。そして、ユーザ端末装置１５０、１５１のそれぞれに対してマイク１６０が備え付けられているものとする。これにより、ユーザ端末装置付近で利用者が会話を開始した場合に、当該会話の音声データを録音することが可能となる。そして、ユーザ端末装置１５０、１５１で記録された音声データや、ユーザ端末装置１５０、１５１に対する利用者の操作履歴や、ユーザ端末装置１５０、１５１で編集された文書データの情報などは検索サーバ１００で管理する。なお、マイクはユーザ端末装置毎に備えるものでなくとも良い。 (First embodiment)
FIG. 1 is an explanatory diagram showing an outline of a search system according to the present embodiment. As shown in FIG. 1, in the search system according to the present embodiment, a search server 100 and user terminal devices 150 and 151 are connected via a network 170. It is assumed that a microphone 160 is provided for each of the user terminal devices 150 and 151. Thereby, when the user starts a conversation near the user terminal device, the voice data of the conversation can be recorded. The search server 100 stores voice data recorded by the user terminal devices 150 and 151, user operation history for the user terminal devices 150 and 151, information on document data edited by the user terminal devices 150 and 151, and the like. to manage. Note that the microphone may not be provided for each user terminal device.

本実施形態の想定する利用状況としては、オフィスにおける居室や小規模な打ち合わせスペース等とする。より詳細には、アドホックに行われるような小規模で非公式な会議を想定としている。 The usage situation assumed in this embodiment is a room in an office or a small meeting space. More specifically, it is assumed to be a small, informal meeting such as that held ad hoc.

図２に示すように、ユーザ端末装置１５０は、音声入力Ｉ／Ｆ２５１と、操作記録部２５２と、ユーザ認識部２５３と、通信部２５４とを備えている。このユーザ端末装置１５０、１５１は、ユーザ毎に割り当てられたものとし、利用者の数に応じて設置されるユーザ端末装置の数も変化する。また、ユーザ端末装置１５０、１５１は、本実施の形態ではＰＣを想定しているが、これに制限するものではなく例えば専用端末や、携帯端末等の様々な装置であってもよい。 As illustrated in FIG. 2, the user terminal device 150 includes a voice input I / F 251, an operation recording unit 252, a user recognition unit 253, and a communication unit 254. It is assumed that the user terminal devices 150 and 151 are assigned for each user, and the number of user terminal devices installed varies depending on the number of users. The user terminal devices 150 and 151 are assumed to be PCs in the present embodiment, but are not limited thereto, and may be various devices such as dedicated terminals and mobile terminals.

音声入力Ｉ／Ｆ２５１は、マイク１６０と接続するためのインターフェースとする。当該音声入力Ｉ／Ｆ２５１を備えることで、音声データを生成することができる。また、生成した音声データは、後述する通信部２５４により、検索サーバ１００に送信される。マイク１６０は、ユーザ端末装置１５０の備え付けのものであっても、外付けするものであってもよい。音声データは、いずれの形式でも良く、例えば時系列に従った音声信号、または時系列に従った音量以外の特徴量を用いても良い。 The audio input I / F 251 is an interface for connecting to the microphone 160. By providing the voice input I / F 251, voice data can be generated. The generated voice data is transmitted to the search server 100 by the communication unit 254 described later. The microphone 160 may be provided on the user terminal device 150 or may be externally attached. The audio data may be in any format, for example, an audio signal according to a time series or a feature quantity other than a volume according to a time series may be used.

操作記録部２５２は、ユーザ端末装置１５０が受け付けた操作を、操作情報として記録する処理を行う。そして、記録された操作情報は、後述する通信部２５４により、検索サーバ１００に送信される。 The operation recording unit 252 performs a process of recording an operation received by the user terminal device 150 as operation information. Then, the recorded operation information is transmitted to the search server 100 by the communication unit 254 described later.

図３に示すように、生成された操作情報では、日時と、行った操作とが対応付けられている。これにより、利用者がユーザ端末装置１５０に対して、いつ、どのような操作を行っていたのかを特定することができる。この操作は、例えば“ウィンドウの切替え”、“マウスクリック”、“文書を開く”、“アプリケーション又はプロセスの起動”などが挙げられるが，これらに限るものではない。 As shown in FIG. 3, the generated operation information associates the date and time with the performed operation. Thereby, it is possible to specify when and what operation the user has performed on the user terminal device 150. Examples of this operation include, but are not limited to, “window switching”, “mouse click”, “open document”, “launch application or process”, and the like.

また、操作記録部２５２は、ユーザ端末装置１５０で行われた操作を記録可能なものであればよく、アプリケーション又は装置であるかは問わない。また、ユーザ端末装置１５０には、図示しない記憶手段を備え、生成した操作情報を格納する。この記憶手段は、操作情報を蓄積可能であればよく、ＨＤＤ、光ディスク、メモリカード、ＲＡＭのいずれの記憶手段を用いても良い。 Further, the operation recording unit 252 may be any application as long as it can record an operation performed on the user terminal device 150 and may be an application or a device. In addition, the user terminal device 150 includes a storage unit (not shown) and stores the generated operation information. This storage means only needs to be able to store operation information, and any storage means such as an HDD, an optical disk, a memory card, or a RAM may be used.

ユーザ認識部２５３は、ユーザ端末装置１５０に対してログインする利用者の認証を行う。利用者の認証は、いずれの手法を用いても良いが、本実施の形態ではユーザ名とパスワードによる認証を行うこととする。なお、認証に用いるユーザ名とパスワードは、後述する検索サーバ１００の利用者情報記憶部２０１に格納されているものを用いる。また、認証する際、利用者が入力されたユーザ名は、後述する通信部２５４により、検索サーバ１００に送信される。 The user recognition unit 253 authenticates the user who logs in to the user terminal device 150. Any method may be used for user authentication, but in this embodiment, authentication is performed using a user name and a password. The user name and password used for authentication are those stored in a user information storage unit 201 of the search server 100 described later. When authenticating, the user name input by the user is transmitted to the search server 100 by the communication unit 254 described later.

通信部２５４は、ネットワーク１７０等を介して検索サーバ１００や、ユーザ端末装置１５１の間でデータの送受信を行う。例えば、通信部２５４は、音声データ及び操作情報を、ユーザ認識部２５３で認証されたユーザ情報と対応付けて、検索サーバ１００に対して送信する。他に通信部２５４は、ユーザ端末装置１５０で利用者が操作していたデータ（例えば文書データ）、及び当該データに関する情報（例えばファイル名や当該データが格納されているパス情報等）を、ユーザ情報と対応付けて送信する。 The communication unit 254 transmits and receives data between the search server 100 and the user terminal device 151 via the network 170 or the like. For example, the communication unit 254 transmits voice data and operation information to the search server 100 in association with the user information authenticated by the user recognition unit 253. In addition, the communication unit 254 stores data (for example, document data) that the user has operated on the user terminal device 150 and information about the data (for example, file name, path information in which the data is stored, etc.) It is transmitted in association with information.

ユーザ端末装置１５１は、マイク１６１と接続している。また、ユーザ端末装置１５１は、ユーザ端末装置１５０と同様の構成を備えているものとして説明を省略する。そして、ユーザ端末装置１５０、１５１から送信された音声データや操作情報等に基づいて、検索サーバ１００が利用者の状況を判定している。次に、検索サーバ１００について説明する。 The user terminal device 151 is connected to the microphone 161. The user terminal device 151 has the same configuration as that of the user terminal device 150, and the description thereof is omitted. Then, the search server 100 determines the status of the user based on the voice data and operation information transmitted from the user terminal devices 150 and 151. Next, the search server 100 will be described.

図２に示すように、検索サーバ１００は、利用者情報記憶部２０１と、音声履歴記憶部２０２と、操作履歴記憶部２０３と、操作状況判定ルール格納部２０４と、コミュニケーション区間記憶部２０５と、情報記憶部２０６と、受信部２０７と、通知部２０８と、データ取得部２０９と、ユーザ情報取得部２１０と、音声データ取得部２１１と、操作履歴取得部２１２と、操作状況判定部２１３と、活性度算出部２１４と、操作連動判定部２１５と、コミュニケーション判定部２１６と、情報対応付部２１７と、検索部２１８と、コミュニケーション開始判定部２１９と、類似状況検索部２２０と、を備える。 As shown in FIG. 2, the search server 100 includes a user information storage unit 201, a voice history storage unit 202, an operation history storage unit 203, an operation status determination rule storage unit 204, a communication section storage unit 205, An information storage unit 206, a reception unit 207, a notification unit 208, a data acquisition unit 209, a user information acquisition unit 210, an audio data acquisition unit 211, an operation history acquisition unit 212, an operation status determination unit 213, The activity calculation unit 214, the operation interlock determination unit 215, the communication determination unit 216, the information association unit 217, the search unit 218, the communication start determination unit 219, and the similar situation search unit 220 are provided.

利用者情報記憶部２０１は、ユーザ端末装置１５０を操作する利用者の情報を管理する記憶手段とする。図４に示すように、利用者情報記憶部２０１は、ユーザ端末ＩＤと、ユーザ名と、パスワードとを対応付けて記憶している。ユーザ端末ＩＤは、当該ユーザが利用するユーザ端末装置を識別するＩＤとする。そして、検索サーバ１００が、ユーザ端末装置１５０、１５１との間で利用者情報記憶部２０１に格納された情報を送受信することで、利用者の認証を行うことができる。 The user information storage unit 201 is a storage unit that manages information about a user who operates the user terminal device 150. As illustrated in FIG. 4, the user information storage unit 201 stores a user terminal ID, a user name, and a password in association with each other. The user terminal ID is an ID for identifying a user terminal device used by the user. The search server 100 can authenticate the user by transmitting and receiving information stored in the user information storage unit 201 to and from the user terminal devices 150 and 151.

音声履歴記憶部２０２は、ユーザ端末装置１５０、１５１から取得した音声データを、ユーザ端末装置１５０、１５１を識別するユーザ端末ＩＤ、及び当該ユーザ端末装置を利用していた利用者を識別するユーザ名と対応付けて記憶する。これにより、ユーザ端末装置付近で利用者が発話していたのか否かを判定することができる。格納されている音声データなどは、後述するコミュニケーション判定部２１６により利用される。 The voice history storage unit 202 uses the voice data acquired from the user terminal devices 150 and 151, the user terminal ID that identifies the user terminal devices 150 and 151, and the user name that identifies the user who has used the user terminal device Are stored in association with each other. Thereby, it can be determined whether or not the user is speaking near the user terminal device. The stored voice data and the like are used by the communication determination unit 216 described later.

操作履歴記憶部２０３は、ユーザ端末装置１５０、１５１から取得した操作情報を、ユーザ端末装置１５０、１５１を識別するユーザ端末ＩＤ、及び当該ユーザ端末装置を利用していた利用者を識別するユーザ名と対応付けて記憶する。操作履歴記憶部２０３が記憶している情報を利用することで、時間の経過と共に、利用者がユーザ端末装置を操作していたのか否かを判定することができる。この格納されている操作情報等は、後述する活性度算出部２１４、操作状況判定部２１３等に利用される。 The operation history storage unit 203 uses the operation information acquired from the user terminal devices 150 and 151, the user terminal ID that identifies the user terminal devices 150 and 151, and the user name that identifies the user who has used the user terminal device Are stored in association with each other. By using the information stored in the operation history storage unit 203, it is possible to determine whether or not the user has operated the user terminal device over time. The stored operation information and the like are used for an activity level calculation unit 214, an operation status determination unit 213, and the like, which will be described later.

操作状況判定ルール格納部２０４は、操作情報から利用者がどのような操作を行っていたのか判定するためのルールを保持している。図５に示すように、操作状況判定ルール格納部２０４は、ルール毎に入力デバイスと、判定条件と、操作状況と、を対応付けて格納している。そして、後述する操作状況判定部２１３が、操作状況判定ルール格納部２０４は、操作履歴記憶部２０３に記録された操作情報が“入力デバイス”及び“判定条件”を満足した場合に、対応付けられた“操作状況”による操作が行われたと判定する。なお、操作状況判定ルールの入力デバイス、判定条件、操作状況のそれぞれのフィールドは、利用者が使用状況に応じて適切な値を設定するものとする。 The operation status determination rule storage unit 204 holds a rule for determining what operation the user is performing from the operation information. As illustrated in FIG. 5, the operation situation determination rule storage unit 204 stores an input device, a determination condition, and an operation situation in association with each rule. An operation status determination unit 213 (to be described later) is associated with an operation status determination rule storage unit 204 when the operation information recorded in the operation history storage unit 203 satisfies “input device” and “determination condition”. It is determined that the operation based on the “operation status” has been performed. It is assumed that the user sets appropriate values in the input device, determination condition, and operation status fields of the operation status determination rule according to the usage status.

コミュニケーション区間記憶部２０５は、後述するコミュニケーション判定部２１６で判定されたコミュニケーション区間を記憶する。なお、コミュニケーション区間とは、任意の利用者間で会話等のコミュニケーションが行われた区間とする。図６に示すようにコミュニケーション区間記憶部２０５は、コミュニケーション識別ＩＤと、日時と、開始時間と、終了時間と、音声検出先ユーザ端末ＩＤと、連動ユーザとを対応付けて記憶する。コミュニケーション識別ＩＤとはコミュニケーション区間を識別するＩＤとする。開始時間は、コミュニケーションが開始された日時とする。終了時間は、コミュニケーションが終了した日時とする。音声検出先ユーザ端末ＩＤは、当該コミュニケーション区間において音声を検出したユーザ端末装置のＩＤとする。連動ユーザとは、当該コミュニケーション区間でコミュニケーションを行っていた利用者のユーザ名とする。 The communication section storage unit 205 stores the communication section determined by the communication determination unit 216 described later. The communication section is a section in which communication such as conversation is performed between arbitrary users. As illustrated in FIG. 6, the communication section storage unit 205 stores a communication identification ID, a date and time, a start time, an end time, a voice detection destination user terminal ID, and a linked user in association with each other. The communication identification ID is an ID for identifying a communication section. The start time is the date and time when communication was started. The end time is the date and time when the communication ends. The voice detection destination user terminal ID is the ID of the user terminal device that detected the voice in the communication section. The linked user is the user name of the user who was communicating in the communication section.

情報記憶部２０６は、利用者が使用した文書等のデータと、当該データが使用された際に行われたコミュニケーション区間と、当該データに関連する情報などと対応付けて記憶する。図７に示すように情報記憶部２０６は、ユーザ端末ＩＤと、当該データが使用された日時と、当該データが開始時間と、終了時間と、ユーザと、関連ユーザと、ファイル名と、オリジナル格納フォルダと、種別と、操作状況とを対応付けて記憶する。 The information storage unit 206 stores data such as a document used by the user, a communication section performed when the data is used, information related to the data, and the like in association with each other. As shown in FIG. 7, the information storage unit 206 stores the user terminal ID, the date and time when the data is used, the start time, the end time, the user, the related user, the file name, and the original data. The folder, type, and operation status are stored in association with each other.

ユーザ端末ＩＤは、当該文書が使用されたユーザ端末装置を識別するユーザ端末ＩＤとする。日時、開始時間、終了時間は、当該データが使用した際に行われたコミュニケーションの区間を示す。ユーザは、当該コミュニケーション時に当該データを使用していたユーザとする。関連ユーザは、当該ユーザとコミュニケーションを行っていたユーザとする。ファイル名は、コミュニケーション時に利用者が使用したデータを識別するファイル名とする。オリジナル格納フォルダは、当該データの元データが格納されていたフォルダとする。種別は、当該データを識別する情報とする。操作状況は、当該データに対して利用者がコミュニケーション時に行った操作を示している。 The user terminal ID is a user terminal ID that identifies the user terminal device in which the document is used. The date and time, the start time, and the end time indicate the section of communication performed when the data is used. The user is a user who has used the data at the time of the communication. The related user is a user who has communicated with the user. The file name is a file name that identifies data used by the user during communication. The original storage folder is a folder in which the original data of the data is stored. The type is information for identifying the data. The operation status indicates an operation performed by the user during communication on the data.

また、上述した利用者情報記憶部２０１、音声履歴記憶部２０２、操作履歴記憶部２０３、操作状況判定ルール格納部２０４、コミュニケーション区間記憶部２０５、及び情報記憶部２０６は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、光ディスク、メモリカード、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などの一般的に利用されているあらゆる記憶手段により構成することができる。 In addition, the user information storage unit 201, the voice history storage unit 202, the operation history storage unit 203, the operation status determination rule storage unit 204, the communication section storage unit 205, and the information storage unit 206 described above are HDD (Hard Disk Drive). , Optical disks, memory cards, RAM (Random Access Memory), etc.

受信部２０７は、ユーザ端末装置１５０、１５１から送信された情報を受信する。なお、ユーザ端末装置１５０、１５１から送信される情報としては、例えば操作情報、音声データ、ユーザが利用したデータ及び当該データの表す情報とする。 The receiving unit 207 receives information transmitted from the user terminal devices 150 and 151. The information transmitted from the user terminal devices 150 and 151 is, for example, operation information, voice data, data used by the user, and information represented by the data.

ユーザ情報取得部２１０は、ユーザ端末装置１５０、１５１と受信部２０７を介してデータを送受信することで、ユーザ端末装置１５０、１５１に対してログインしたユーザ情報（例えば、ユーザ名、及びパスワード）などを取得する。これにより、各ユーザ端末装置１５０、１５１を使用しているユーザを特定することができる。 The user information acquisition unit 210 transmits / receives data via the user terminal devices 150 and 151 and the reception unit 207, and thereby the user information (for example, user name and password) logged into the user terminal devices 150 and 151, etc. To get. Thereby, the user who is using each user terminal unit 150 and 151 can be specified.

音声データ取得部２１１は、受信部２０７を介して、ユーザ端末装置１５０、１５１から音声データを取得する。そして、音声データ取得部２１１は、取得した音声データと、当該ユーザ端末装置１５０、１５１にログインしていたユーザ名、当該音声を検出した時を示す日時を対応付けて、音声履歴記憶部２０２に記憶する。 The voice data acquisition unit 211 acquires voice data from the user terminal devices 150 and 151 via the reception unit 207. Then, the voice data acquisition unit 211 associates the acquired voice data with the name of the user who has logged into the user terminal device 150 or 151 and the date and time when the voice is detected, and stores the voice data in the voice history storage unit 202. Remember.

操作履歴取得部２１２は、受信部２０７を介して、ユーザ端末装置１５０、１５１から、操作情報を取得する。そして、操作履歴取得部２１２は、取得した操作情報を、ユーザ端末装置１５０、１５１を識別するユーザ端末ＩＤ、及び当該ユーザ端末装置を利用していた利用者を識別するユーザ名と対応付けて記憶する。 The operation history acquisition unit 212 acquires operation information from the user terminal devices 150 and 151 via the reception unit 207. Then, the operation history acquisition unit 212 stores the acquired operation information in association with the user terminal ID that identifies the user terminal devices 150 and 151 and the user name that identifies the user who has used the user terminal device. To do.

活性度算出部２１４は、各種活性度の算出を行う。本実施の形態にかかる活性度算出部２１４は、操作履歴記憶部２０３の各利用者の操作情報から、利用者毎の操作活性度を算出する。以下の式（１）に利用者毎の操作活性度を算出する式を示す。入力種別typeは、操作活性度を算出するための操作の種類を示す。入力種別typeは、本実施の形態においてはマウスクリックや、キーボードからの入力など利用者からの操作であればどのような操作でもよい。そして、操作活性度を示すActivity(t)が１以上であれば、利用者に操作が行われている時間ｔにおいて操作が行われていたと判断できる。 The activity calculation unit 214 calculates various activities. The activity calculation unit 214 according to the present embodiment calculates the operation activity for each user from the operation information of each user in the operation history storage unit 203. The following formula (1) shows a formula for calculating the operation activity for each user. The input type type indicates the type of operation for calculating the operation activity. In this embodiment, the input type type may be any operation as long as it is an operation from the user, such as a mouse click or an input from a keyboard. If Activity (t) indicating the operation activity is 1 or more, it can be determined that the operation was performed at the time t when the operation was performed by the user.

なお、式（１）は、ユーザ毎の操作活性度を算出する一例を示したものであり、利用者の操作の有無（操作の活性度）が得られる関数であれば、これに限るものではない。 Expression (1) shows an example of calculating the operation activity for each user, and is not limited to this as long as it is a function that can obtain the presence / absence (operation activity) of the user's operation. Absent.

また、活性度算出部２１４は、各利用者の音声履歴記憶部２０２に記憶された音声データから、操作活性度と比較するために音声活性度を算出する。この音声活性度は、時系列に従って表される音声入力の有無を示す値とする。本実施の形態にかかる音声活性度は、一定音量の有無を１、０に正規化した時系列データとする（なお、０が一定音声を検出しなかった場合を示し、１が一定音量を検出した場合を示している）。この一定音量は、利用者が発した声の音量に基づいて設定される。 Further, the activity level calculation unit 214 calculates a voice activity level for comparison with the operation activity level from the voice data stored in the voice history storage unit 202 of each user. This voice activity is a value indicating the presence / absence of voice input expressed in time series. The voice activity according to the present embodiment is time series data obtained by normalizing the presence / absence of a constant volume to 1 or 0 (note that 0 indicates that no constant voice was detected, and 1 indicates a constant volume) Shows the case). This constant volume is set based on the volume of the voice uttered by the user.

なお、本実施の形態では、活性度算出部２１４で、音声活性度と、操作活性度とを算出することとしたが、それぞれ別の構成要素で算出しても良い。 In the present embodiment, the activity level calculation unit 214 calculates the voice activity level and the operation activity level.

図２に戻り、操作連動判定部２１５は、活性度算出部２１４で算出された各利用者の操作活性度を比較して、複数の利用者の操作の有無が連動している区間を示す連動区間を判定する。連動とは、複数の利用者による操作の開始又は終了が所定の時間内に行われた状況をいう。 Returning to FIG. 2, the operation interlocking determination unit 215 compares the operation activity of each user calculated by the activity calculation unit 214 and indicates an interval in which the presence / absence of operations of a plurality of users is interlocked. Determine the interval. Interlocking refers to a situation in which operations by a plurality of users are started or ended within a predetermined time.

つまり、操作連動判定部２１５は、図８に示すように、符号７０１で示したユーザＡの操作活性度が１（１以上も含む７）から０に変化した時間と、符号７０２で示したユーザＢの操作活性度が１から０に変化した時間との時間間隔が、所定時間（例えば１０秒）以内であれば操作の連動が開始したと判断する。そして、操作連動判定部２１５は、時間７０１と時間７０２とを用いて、操作の連動の開始時間７０３を算出する。なお、開始時間７０３の算出手法はどのような手法を用いても良い。 In other words, as shown in FIG. 8, the operation interlocking determination unit 215 determines the time when the operation activity of the user A indicated by reference numeral 701 has changed from 1 (including one or more 7) to 0 and the user indicated by reference numeral 702. If the time interval with the time when the operation activity level of B changes from 1 to 0 is within a predetermined time (for example, 10 seconds), it is determined that the operation linkage has started. Then, the operation interlock determination unit 215 calculates an operation interlock start time 703 using the time 701 and the time 702. Note that any method may be used for calculating the start time 703.

この操作の連動の開始時間７０３は、複数の利用者の操作をほぼ同時に停止したという状態の開始時刻であることを意味している。なお、複数の利用者の連動の遅延時間である所定の時間に関しては、ヒューリスティックに決定し、例えば３０秒又は１２０秒でも良い。以降についても同様とする。 This linked operation start time 703 means a start time when a plurality of users' operations are stopped almost simultaneously. Note that the predetermined time, which is the delay time for interlocking a plurality of users, is determined heuristically, and may be, for example, 30 seconds or 120 seconds. The same applies to the following.

また、操作の連動の開始時間は、所定の複数ユーザ間で、操作の連動の終了を検出する前に、連続して発生することはないものとする。なお、操作の連動の終了時間についても同様とする。 Further, it is assumed that the operation interlock start time does not occur continuously between a plurality of predetermined users before the end of the operation interlock is detected. The same applies to the end time of the interlocking operation.

また、図８に示すように、符号７０４で示したユーザＡの操作活性度が０から１に変化した時間と、符号７０４で示したユーザＢの操作活性度が０から１に変更した時間との時間間隔が、所定時間以内であれば連動していると判断する。そして、操作連動判定部２１５は、時間７０４と時間７０５とを用いて、操作の連動の終了時間７０６を算出する。 Further, as shown in FIG. 8, the time when the operation activity of the user A indicated by reference numeral 704 changes from 0 to 1, and the time when the operation activity of the user B indicated by reference numeral 704 changes from 0 to 1. If the time interval is within a predetermined time, it is determined that they are linked. Then, the operation linkage determination unit 215 calculates the operation linkage end time 706 using the time 704 and the time 705.

そして、この連動の開始時間７０３から連動の終了時間７０６の間を連動区間とする。また、符号７０７が示すように、連動区間において操作活性度が変化してもよいものとする。 A period between the interlocking start time 703 and the interlocking end time 706 is set as an interlocking section. Further, as indicated by reference numeral 707, it is assumed that the operation activity may change in the interlocking section.

図２に戻り、操作状況判定部２１３は、操作状況判定ルール格納部２０４に格納されている操作状況判定ルールを用いて、操作情報から利用者が行った操作状況を判定する。なお、操作状況とは、文書などのデータに対して行った具体的な操作をいう。特に本実施の形態においては、操作状況判定部２１３は、連動区間内に行われた操作状況を判定する（例えば、図８の符号７０７に対応する操作状況）。これにより、連動区間内において、利用者が行った操作状況（例えば、修正、閲覧、実行）を特定することができる。 Returning to FIG. 2, the operation status determination unit 213 determines an operation status performed by the user from the operation information using the operation status determination rule stored in the operation status determination rule storage unit 204. Note that the operation status refers to a specific operation performed on data such as a document. In particular, in the present embodiment, the operation status determination unit 213 determines the operation status performed in the interlocking section (for example, the operation status corresponding to the reference numeral 707 in FIG. 8). Thereby, the operation status (for example, correction, browsing, execution) performed by the user can be specified in the interlocking section.

コミュニケーション判定部２１６は、操作連動判定部２１５により判定された連動区間と、音声履歴記憶部２０２に記憶された音声データと、から、コミュニケーションが行われたか否か判定し、コミュニケーションが行われた場合にはコミュニケーション区間を取得する。 The communication determination unit 216 determines whether or not communication has been performed from the interlocking section determined by the operation interlock determination unit 215 and the voice data stored in the voice history storage unit 202. Get the communication section.

図９に示すように、コミュニケーション判定部２１６は、連動区間（Ａ）と、ユーザＡ（ユーザＡが使用したユーザ端末装置）の音声活性度（Ｂ）又はユーザＢ（ユーザＢが利用したユーザ端末装置）の音声活性度（Ｃ）とが、所定時間（例えば１０秒）以内に連動しているか否か判定する。所定時間内に連動していると判定した場合にコミュニケーションが行われたものとする。なお、図９で示した連動区間（Ａ）は、ユーザＡの操作とユーザＢの操作が連動していると判定されたものである。 As shown in FIG. 9, the communication determination unit 216 includes the interlocking section (A), the voice activity (B) of the user A (user terminal device used by the user A), or the user B (user terminal used by the user B). It is determined whether or not the voice activity (C) of the device is linked within a predetermined time (for example, 10 seconds). It is assumed that communication is performed when it is determined that they are linked within a predetermined time. In addition, the interlocking | linkage area (A) shown in FIG. 9 is determined that the operation of the user A and the operation of the user B are interlocked.

そして、図９で示した例では、連動区間（Ａ）の開始時間９０１と、ユーザＡの音声活性度が０から１に変化した時間（つまり音声を初めて検出した時間）９０２との差が所定時間内であったとする。同様に、連動区間（Ａ）の終了時間９０３と、ユーザＡの音声活性度が１から０に変化した時間（つまり音声の検出が終了した時間）９０４との差が所定時間内であったとする。この場合、コミュニケーション判定部２１６は、連動区間（Ａ）とユーザＡの音声活性度（Ｂ）とが連動していると判定する。 In the example shown in FIG. 9, the difference between the start time 901 of the interlocking section (A) and the time when the voice activity level of the user A changes from 0 to 1 (that is, the time when the voice is detected for the first time) 902 is predetermined. Suppose it was in time. Similarly, it is assumed that the difference between the end time 903 of the interlocking section (A) and the time when the voice activity level of the user A changes from 1 to 0 (that is, the time when the voice detection is finished) 904 is within a predetermined time. . In this case, the communication determination unit 216 determines that the interlocking section (A) and the voice activity level (B) of the user A are interlocked.

これにより、コミュニケーション判定部２１６は、ユーザＡが使用したユーザ端末装置付近で、ユーザＡとユーザＢとがコミュニケーションを行ったと判断できる。そして、コミュニケーション判定部２１６は、連動時間の開始時間、終了時間、及び音声活性度の変化した時間を用いて、コミュニケーションの開始時間をＳｅｇ_ｓと、コミュニケーションの終了時間をＳｅｇ_eとを算出する。なお、算出手法は、どのような手法を用いても良い。そして、開始時間Ｓｅｇ_ｓと終了時間Ｓｅｇ_eとの間をコミュニケーション区間とする。 Thereby, the communication determination part 216 can determine that the user A and the user B performed communication in the vicinity of the user terminal device used by the user A. Then, the communication determination unit 216 calculates the communication start time Seg _s and the communication end time Seg _e using the start time and end time of the interlocking time and the time when the voice activity has changed. Note that any calculation method may be used. Then, between the start time Seg _s and end time Seg _e and communication section.

また、コミュニケーション判定部２１６は、任意の音声活性度が連動区間と連動していると判定した場合、当該音声活性度で特定されるユーザが使用していたユーザ端末装置を、音声検出先ユーザ端末とする。そして、音声検出先ユーザ端末を識別するユーザ端末ＩＤを、音声検出先ユーザ端末ＩＤとする。 Further, when the communication determination unit 216 determines that any voice activity is linked with the interlocking section, the user terminal device used by the user specified by the voice activity is used as the voice detection destination user terminal. And And let user terminal ID which identifies a voice detection destination user terminal be voice detection destination user terminal ID.

そして、コミュニケーション判定部２１６は、コミュニケーション識別ＩＤをユニークに生成した後、コミュニケーション識別ＩＤと、日時と、開始時間と、終了時間と、音声検出先ユーザ端末ＩＤと、連動ユーザとを対応付けて、コミュニケーション区間記憶部２０５に登録する。 Then, after uniquely generating the communication identification ID, the communication determination unit 216 associates the communication identification ID, the date and time, the start time, the end time, the voice detection destination user terminal ID, and the linked user, Register in the communication section storage unit 205.

データ取得部２０９は、音声検出先ユーザ端末ＩＤで示されるユーザ端末装置１５０、１５１から、コミュニケーション区間に使用された文書等のデータ、及び当該データに関する情報を取得する。このデータに関する情報としては、当該データを特定するための情報を含み、例えばデータ名、データが格納されていたフォルダ名、当該データの種別とする。 The data acquisition unit 209 acquires data such as a document used in the communication section and information related to the data from the user terminal devices 150 and 151 indicated by the voice detection destination user terminal ID. The information relating to the data includes information for specifying the data, for example, a data name, a folder name in which the data is stored, and a type of the data.

情報対応付部２１７は、コミュニケーション判定部２１６により判定されたコミュニケーション区間と、データ取得部２０９が取得したデータに関する情報と、操作状況判定部２１３が当該コミュニケーション区間の利用者の操作状況と、を対応付けて、情報記憶部２０６に登録する。また、情報対応付部２１７は、データに関する情報により特定されるデータも、情報記憶部２０６に格納する。 The information association unit 217 associates the communication section determined by the communication determination unit 216, the information regarding the data acquired by the data acquisition unit 209, and the operation state determination unit 213 with the operation state of the user in the communication section. At the same time, it is registered in the information storage unit 206. The information association unit 217 also stores data specified by the information related to data in the information storage unit 206.

検索部２１８は、ユーザ端末装置１５０、１５１等から入力された検索条件（例えば検索クエリ）に基づいて、情報記憶部２０６に格納されているデータの検索を行う。そして、検索部２１８は、検出されたデータ、又は当該データに関する情報を、後述する通知部２０８を介して、ユーザ端末装置１５０、１５１に通知する。 The search unit 218 searches for data stored in the information storage unit 206 based on a search condition (for example, a search query) input from the user terminal devices 150 and 151 and the like. Then, the search unit 218 notifies the user terminal devices 150 and 151 of the detected data or information related to the data via the notification unit 208 described later.

図１０に示すように、利用者端末装置１５０、１５１で提示される検索画面は、検索フィールド１００１、検索実行ボタン１００２及び検索結果フィールド１００３で構成されている。そして、検索部２１８は、検索フィールド１００１に入力された検索条件に基づいて、情報記憶部２０６に対してデータの検索を行う。 As shown in FIG. 10, the search screen presented by the user terminal devices 150 and 151 includes a search field 1001, a search execution button 1002, and a search result field 1003. Then, the search unit 218 searches the information storage unit 206 for data based on the search condition input in the search field 1001.

検索条件には、コミュニケーション区間、コミュニケーションを行ったユーザ、及びコミュニケーション区間の操作状況などを設定することができる。この検索条件の例としては、“XX，□□と一緒に見た文書”を検索したい場合、利用者は検索フィールド１００１に“user: XX，□□”と入力した後、検索実行ボタン１００２を押下する。これにより、検索フィールド１００１に入力されている文字列が、検索サーバ１００に通知されて、検索が行われる。 In the search condition, a communication section, a user who has performed communication, an operation status of the communication section, and the like can be set. As an example of this search condition, when searching for “documents viewed together with XX, □□”, the user inputs “user: XX, □□” into the search field 1001 and then clicks the search execution button 1002. Press. As a result, the character string input in the search field 1001 is notified to the search server 100 and a search is performed.

他の例としては、“XX，□□と一緒に修正した文書”の場合、利用者は検索フィールド１００１に“user:XX，□□ op:修正”と入力することで、同様に検索が行われる。なお、これら検索クエリは一実施例を示したものであり、これらの表現に限定されるものではない。さらに操作状況やユーザなどは重みを付けたパラメータを加えることで、検索結果のランキングに反映しても良い。 As another example, in the case of “document modified with XX and □□”, the user can enter “user: XX, □□ op: modify” in the search field 1001 to perform a similar search. Is called. Note that these search queries are only examples, and are not limited to these expressions. Furthermore, the operation status, the user, etc. may be reflected in the ranking of search results by adding weighted parameters.

コミュニケーション開始判定部２１９は、操作連動区間及び音声データから、現在、ユーザ端末装置１５０、１５１においてコミュニケーションが開始されたか否かを判定する。そして、コミュニケーション開始判定部２１９は、コミュニケーションが開始されたと判定した場合、音声検出先ユーザ端末ＩＤと、連動しているユーザ名と共に、開始された旨を、類似状況検索部２２０に出力する。なお、コミュニケーションの開始の判定手法は、コミュニケーション判定部２１６の開始時間の検出と同様なので説明を省略する。 The communication start determination unit 219 determines whether communication is currently started in the user terminal devices 150 and 151 from the operation interlocking section and the voice data. If the communication start determination unit 219 determines that communication has been started, the communication start determination unit 219 outputs, to the similar situation search unit 220, the start of the sound detection destination user terminal ID and the linked user name. Note that the method for determining the start of communication is the same as the method for detecting the start time of the communication determination unit 216, and thus description thereof is omitted.

類似状況検索部２２０は、コミュニケーション開始判定部２１９により、音声検出先ユーザ端末ＩＤと、連動しているユーザ名と共に、開始された旨が入力された場合に、これら条件を検索キーとして、情報記憶部２０６に対して検索を行う。これにより、現在コミュニケーションが開始された複数の利用者間で、以前のコミュニケーションで使用されたデータを特定することができる。 When the communication start determination unit 219 inputs a similar fact search unit 220 together with the voice detection destination user terminal ID and the linked user name, the similar situation search unit 220 stores the information as a search key. The part 206 is searched. As a result, data used in the previous communication can be specified among a plurality of users whose communication has been started.

通知部２０８は、ユーザ端末装置１５０、１５１に対してデータの通知などを行う。また、通知部２０８は、類似状況検索部２２０により検索されたデータ、又はデータに関する情報を、ユーザ端末装置１５０、１５１に通知する。これにより、コミュニケーションが開始された付近に存在するユーザ端末装置で、以前コミュニケーションに使用したデータを提示することができる。 The notification unit 208 notifies the user terminal devices 150 and 151 of data and the like. In addition, the notification unit 208 notifies the user terminal devices 150 and 151 of the data searched by the similar situation search unit 220 or information related to the data. Thereby, it is possible to present data previously used for communication at the user terminal device existing in the vicinity where the communication is started.

次に、検索サーバ１００が利用者端末装置１５０、１５１から受信した情報を用いて実行する処理について、図１１を用いて説明する。 Next, processing executed by the search server 100 using information received from the user terminal devices 150 and 151 will be described with reference to FIG.

まず、ユーザ情報取得部２１０は、各ユーザ端末装置からログインしている利用者の情報（ユーザ名等）を取得する（ステップＳ１１０１）。これにより、ユーザ端末装置を使用している利用者を特定することができる。 First, the user information acquisition unit 210 acquires information (user name and the like) of a logged-in user from each user terminal device (step S1101). Thereby, the user who is using the user terminal device can be specified.

次に、受信部２０７が、各ユーザ端末装置１５０、１５１から音声データ、操作情報の受信を開始する（ステップＳ１１０２）。 Next, the receiving unit 207 starts receiving audio data and operation information from the user terminal devices 150 and 151 (step S1102).

そして、検索サーバ１００は、受信した音声データ及び操作情報から、コミュニケーション区間を特定する（ステップＳ１１０３）。なお、詳細な処理手順については後述する。 Then, the search server 100 specifies a communication section from the received voice data and operation information (step S1103). The detailed processing procedure will be described later.

その後、受信部２０７は、ユーザ端末装置１５０、１５１からのデータ、操作情報の受信が終了したか否か判断する（ステップＳ１１０４）。終了していないと判断した場合（ステップＳ１１０４：Ｎｏ）、再びコミュニケーション区間等の特定する処理を行う（ステップＳ１１０３）。 Thereafter, the reception unit 207 determines whether or not the reception of data and operation information from the user terminal devices 150 and 151 has been completed (step S1104). When it is determined that the communication has not ended (step S1104: No), processing for specifying a communication section or the like is performed again (step S1103).

そして、受信部２０７が受信を終了したと判断した場合（ステップＳ１１０４：Ｙｅｓ）、処理を終了する。 If the receiving unit 207 determines that the reception has ended (step S1104: Yes), the process ends.

次に、検索サーバが、図１１のステップＳ１１０３に示したコミュニケーション区間等の特定する処理手順について、図１２を用いて説明する。 Next, a processing procedure for specifying a communication section or the like shown in step S1103 in FIG. 11 by the search server will be described with reference to FIG.

まず、音声データ取得部２１１が、受信部２０７を介して、各ユーザ端末装置から音声データを取得する（ステップＳ１２０１）。そして、取得した音声データは、ユーザ名などと対応付けて、音声履歴記憶部２０２に記録される。 First, the audio data acquisition unit 211 acquires audio data from each user terminal device via the reception unit 207 (step S1201). The acquired voice data is recorded in the voice history storage unit 202 in association with a user name or the like.

次に、操作履歴取得部２１２が、受信部２０７を介して、各ユーザ端末装置から操作情報を取得する（ステップＳ１２０２）。そして、取得した操作情報は、ユーザ名などと対応付けて、操作履歴記憶部２０３に記録される。 Next, the operation history acquisition unit 212 acquires operation information from each user terminal device via the reception unit 207 (step S1202). The acquired operation information is recorded in the operation history storage unit 203 in association with a user name or the like.

そして、活性度算出部２１４が、操作履歴記憶部２０３に記憶されているユーザ端末装置毎の操作情報から、利用者毎の操作活性度を算出する。また、活性度算出部２１４が、音声履歴記憶部２０２に記録されている音声データから、利用者毎の音声活性度を算出する（ステップＳ１２０３）。なお、詳細な処理については既に説明したので省略する。 Then, the activity calculation unit 214 calculates the operation activity for each user from the operation information for each user terminal device stored in the operation history storage unit 203. Also, the activity level calculation unit 214 calculates the audio activity level for each user from the audio data recorded in the audio history storage unit 202 (step S1203). Since detailed processing has already been described, a description thereof will be omitted.

次に、操作連動判定部２１５は、活性度算出部２１４で算出された各利用者の操作活性度を比較して、複数の利用者の操作の有無が連動している区間を示す連動区間が存在しているか否か判定する（ステップＳ１２０４）。連動区間が存在していないと判定した場合（ステップＳ１２０４：Ｎｏ）、再びステップＳ１２０１の音声データの取得から開始する。 Next, the operation interlocking determination unit 215 compares the operation activity of each user calculated by the activity calculation unit 214, and an interlocking section indicating a section in which the presence / absence of operations of a plurality of users is interlocked. It is determined whether or not it exists (step S1204). If it is determined that no interlocking section exists (step S1204: NO), the process starts again from the acquisition of audio data in step S1201.

また、操作連動判定部２１５は連動区間が存在していると判定した場合（ステップＳ１２０４：Ｙｅｓ）、操作状況判定部２１３は、各ユーザ端末装置の操作情報から、利用者が行った操作状況を判定する（ステップＳ１２０５）。 When the operation interlocking determination unit 215 determines that the interlocking section exists (step S1204: Yes), the operation state determination unit 213 determines the operation state performed by the user from the operation information of each user terminal device. Determination is made (step S1205).

そして、コミュニケーション判定部２１６は、連動区間及び音声活性度から、コミュニケーションが行われたか否かを判定する（ステップＳ１２０６）。そして、コミュニケーションが行われなかったと判定した場合（ステップＳ１２０６：Ｎｏ）、再びステップＳ１２０１の音声データの取得から開始する。 And the communication determination part 216 determines whether communication was performed from the interlocking | linkage area and audio | voice activity (step S1206). And when it determines with communication not having been performed (step S1206: No), it starts from acquisition of the audio | voice data of step S1201 again.

コミュニケーション判定部２１６が、コミュニケーションが行われたと判定した場合（ステップＳ１２０６：Ｙｅｓ）、連動区間及び音声活性度から、コミュニケーション区間を取得する（ステップＳ１２０７）。なお、詳細な処理については既に説明したので省略する。 When the communication determination unit 216 determines that communication has been performed (step S1206: Yes), the communication section is acquired from the interlocking section and the voice activity (step S1207). Since detailed processing has already been described, a description thereof will be omitted.

そして、データ取得部２０９は、ユーザ端末装置１５０、１５１から、コミュニケーション区間に使用された文書等のデータ、及び当該データに関する情報を取得する（ステップＳ１２０８）。 Then, the data acquisition unit 209 acquires, from the user terminal devices 150 and 151, data such as documents used in the communication section and information related to the data (step S1208).

次に、情報対応付部２１７は、ステップＳ１２０７で判定されたコミュニケーション区間と、ステップＳ１２０８で取得したデータに関する情報と、ステップＳ１２０５で判定された操作状況と、を対応付ける（ステップＳ１２０９） Next, the information association unit 217 associates the communication section determined in step S1207 with the information related to the data acquired in step S1208 and the operation status determined in step S1205 (step S1209).

そして、情報対応付部２１７は、対応付けた情報を情報記憶部２０６に登録する（ステップＳ１２１０）。 Then, the information association unit 217 registers the associated information in the information storage unit 206 (step S1210).

上述した処理手順により、文書などのデータと、コミュニケーション区間と、操作状況とが対応付けて情報記憶部２０６に登録されたことで、様々な検索条件でデータを検索することが可能となる。 According to the above-described processing procedure, data such as a document, a communication section, and an operation status are registered in the information storage unit 206 in association with each other, so that data can be searched under various search conditions.

次に、ユーザ端末装置においてコミュニケーションが開始された場合に、検索サーバ１００が実行する類似状況検索の処理手順について、図１３を用いて説明する。 Next, the processing procedure of the similar situation search executed by the search server 100 when communication is started in the user terminal device will be described with reference to FIG.

まず、コミュニケーション開始判定部２１９は、操作連動区間及び音声データから、現在、ユーザ端末装置１５０、１５１においてコミュニケーションが開始されたか否かを判定する（ステップＳ１３０１）。コミュニケーションの開始されていないと判定した場合（ステップＳ１３０１：Ｎｏ）、コミュニケーションの開始と判定されるまで、特に処理を行わない。 First, the communication start determination unit 219 determines whether or not communication is currently started in the user terminal devices 150 and 151 from the operation interlocking section and the voice data (step S1301). When it is determined that communication has not started (step S1301: No), no particular processing is performed until it is determined that communication has started.

次に、コミュニケーションが開始されたと判定した場合（ステップＳ１３０１：Ｙｅｓ）、類似状況検索部２２０は、情報記憶部２０６のユーザ、関連ユーザのフィールドに対して、コミュニケーションの開始が連動していた利用者を示すユーザ名を検索条件（検索キー）に設定して、検索を行う（ステップＳ１３０２）。なお、コミュニケーションを行った利用者を示すユーザ名は、コミュニケーション開始判定部２１９により特定される。 Next, when it is determined that communication has been started (step S1301: Yes), the similarity situation search unit 220 is a user whose communication start is linked to the user and related user fields in the information storage unit 206. Is set as a search condition (search key), and a search is performed (step S1302). Note that the user name indicating the user who has performed communication is specified by the communication start determination unit 219.

そして、類似状況検索部２２０は、該当するレコード情報があるか否か確認する（ステップＳ１３０３）。レコード情報がないことを確認した場合（ステップＳ１３０３：Ｎｏ）、次のコミュニケーションが開始されるまで特に処理を行わない。 Then, the similar situation search unit 220 confirms whether there is corresponding record information (step S1303). When it is confirmed that there is no record information (step S1303: No), no particular processing is performed until the next communication is started.

次に、類似状況検索部２２０が、レコード情報があることを確認した場合（ステップＳ１３０３：Ｙｅｓ）、通知部２０８は、当該レコード情報に格納されているファイル名等の情報、又はファイル名で特定されるデータを、当該コミュニケーションの音声データを送信したユーザ端末装置に対して通知する（ステップＳ１３０４）。 Next, when the similar situation search unit 220 confirms that there is record information (step S1303: Yes), the notification unit 208 specifies the information such as the file name stored in the record information or the file name. The transmitted data is notified to the user terminal device that has transmitted the voice data of the communication (step S1304).

このように、コミュニケーション開始判定部２１９が、コミュニケーション開始の判定を随時行うことで、現在どのユーザがコミュニケーションを行っているかを検出する。そして、コミュニケーションを行っているユーザを検索条件と設定して検索を行うことで、過去に同じユーザとコミュニケーションをしていたときの文書など，過去の類似した状況で使用されたデータの閲覧、修正が可能になる。つまり、コミュニケーションに必要なデータを検索するための操作負担を軽減することができる。 As described above, the communication start determination unit 219 detects which user is currently performing communication by determining the start of communication as needed. And, by searching with the user who is communicating as a search condition, you can view and modify data used in similar situations in the past, such as documents when communicating with the same user in the past Is possible. That is, it is possible to reduce an operation burden for searching for data necessary for communication.

上述した実施の形態にかかる検索サーバ１００では、利用者が二者の場合の操作の連動性を判定している。しかしながら、連動の判定を二者に制限するものではなく三者以上で判定しても良い。なお、三者以上の判定処理は、二者の場合の判定処理と同様なので説明を省略する。 In the search server 100 according to the above-described embodiment, the operation linkage when the user is two is determined. However, the determination of interlocking is not limited to two parties, but may be determined by three or more parties. Note that the determination process for three or more parties is the same as the determination process for the two parties, and a description thereof will be omitted.

上述した実施の形態では、サーバ・クライアント型に適用した一実施形態について説明した。しかしながら、このようなサーバ・クライアント型に限るものではなく、ユーザ端末装置において、上述した検索サーバ１００の機能を備えることにしても良い。この場合、ユーザ端末装置間の通信手法としては、Ｐ２Ｐ通信など様々な通信手法が考えられる。 In the embodiment described above, one embodiment applied to the server / client type has been described. However, the present invention is not limited to such a server / client type, and the user terminal device may be provided with the function of the search server 100 described above. In this case, various communication methods such as P2P communication are conceivable as communication methods between user terminal devices.

上述した実施の形態にかかる検索サーバ１００では、コミュニケーション区間を特定することで、利用者が任意の時間においてコミュニケーションを行っているか否かを特定できる。このように利用者の状況を電子化して保持することで、利用者の状況に基づいた検索などを効率的に行うことができる。 In the search server 100 according to the above-described embodiment, it is possible to specify whether or not the user is communicating at an arbitrary time by specifying the communication section. Thus, by storing the user's situation in an electronic form, it is possible to efficiently perform a search based on the user's situation.

また、検索サーバ１００において、コミュニケーション区間と、データとを対応付けて保持することで、利用者の状況に基づいて検索を行うことで、当該状況で使用したデータ等の検索などを容易にする。 Further, in the search server 100, by holding the communication section and the data in association with each other, the search is performed based on the situation of the user, thereby facilitating the search of the data used in the situation.

また、検索サーバ１００では、利用者間のコミュニケーションの有無のみならず、操作状況も対応付けて保持することで、検索がさらに容易となる。例えば、“1週間前に実験室で○○さんに見せた文書”、“先日，居室でXXさんと修正・確認しながら作業した文書”などの状況に応じた文書等の検索が可能となる。 Further, in the search server 100, not only the presence / absence of communication between users but also the operation status is stored in association with each other, thereby further facilitating the search. For example, it is possible to search for documents according to the situation such as “documents shown to Mr. XX in the laboratory a week ago” and “documents that were modified and confirmed with XX in the room the other day”. .

つまり、利用者がデータの更新した日時などを正確に記憶していることはまれであり、曖昧な記憶に基づいてデータを検索することが多い。この場合に、本実施の形態にかかる検索サーバ１００では、利用者がデータの使用した状況に基づいて、データを検索できるので、目的のデータの検出が容易になる。 That is, it is rare that the user accurately stores the date and time when the data was updated, and data is often searched based on ambiguous storage. In this case, in the search server 100 according to the present embodiment, data can be searched based on the situation where the user uses the data, so that the target data can be easily detected.

（第２の実施の形態）
第１の実施の形態にかかる検索サーバ１００では、利用者が音声を発したという行為をコミュニケーションの判断する基準として適用した例について説明した。しかしながら、コミュニケーションの有無を判断するための行為を、利用者が発した音声に制限するものではない。そこで、第２の実施携帯では、コミュニケーションの有無を判定するために加速度センサ、ＲＦＩＤを使用した例について説明する。 (Second Embodiment)
In search server 100 concerning a 1st embodiment, the example which applied the act that a user uttered the voice as a standard which judges communication was explained. However, the action for determining the presence or absence of communication is not limited to the voice uttered by the user. Therefore, in the second embodiment mobile phone, an example in which an acceleration sensor and RFID are used to determine the presence or absence of communication will be described.

図１４に示すように、第２の実施の形態に係る検索システムでは、さらにＲＦＩＤ１４７０ａ〜ｎと、位置検出装置１４６０と、加速度センサ１４９０ａ〜ｎと、動作検出装置１４８０とが追加され、ユーザ端末装置１５０及び１５１と構成が異なるユーザ端末装置１４５０及び１４５１を備え、検索サーバ１００と構成が異なる検索サーバ１４００を備えている点で異なる。なお、本実施の形態の検索システムの構成で、第１の実施の形態と共通な構成については説明を省略する。 As shown in FIG. 14, in the search system according to the second embodiment, RFIDs 1470a to 1n, position detecting devices 1460, acceleration sensors 1490a to 1n, and motion detecting devices 1480 are further added, and the user terminal device 150 and 151 are different from each other in that user terminal devices 1450 and 1451 having different configurations are provided, and a search server 1400 having a configuration different from that of the search server 100 is provided. Note that the description of the configuration of the search system according to the present embodiment that is common to the first embodiment will be omitted.

ＲＦＩＤ１４７０ａ〜ｎは、利用者に備え付けられているものとする。そして、位置検出装置１４６０が、ＲＦＩＤ１４７０ａ〜ｎから出力されている信号から特定される利用者の位置情報を、検索サーバ１４００に出力する。また、位置の検出は、ＲＦＩＤ以外を用いても良く、例えばＧＰＳ等を利用しても良い。 It is assumed that the RFIDs 1470a to n are provided to the user. Then, the position detection device 1460 outputs the user position information specified from the signals output from the RFIDs 1470a to 1470n to the search server 1400. Further, the position may be detected by using a device other than the RFID, such as a GPS.

加速度センサ１４９０ａ〜ｎは、利用者に備え付けられているものとする。そして、動作検出装置１４８０は、加速度センサ１４９０ａ〜ｎから出力された信号から利用者の動作を検出して、利用者が行った動作情報を、検索サーバ１４００に出力する。 The acceleration sensors 1490a to 1490n are assumed to be provided to the user. Then, the motion detection device 1480 detects the user's motion from the signals output from the acceleration sensors 1490a to 1490n, and outputs motion information performed by the user to the search server 1400.

ユーザ端末装置１４５０、１４５１は、第１の実施の形態にかかるユーザ端末装置１５０、１５１とは、音声入力Ｉ／Ｆ２５１が削除された点のみ異なり、他の構成及び実施する処理については同様として、説明を省略する。 The user terminal devices 1450 and 1451 are different from the user terminal devices 150 and 151 according to the first embodiment only in that the voice input I / F 251 is deleted, and other configurations and processes to be performed are the same. Description is omitted.

検索サーバ１４００は、上述した第１の実施の形態に係る検索サーバ１００とは、音声履歴記憶部２０２と音声データ取得部２１１とが削除され、動作履歴記憶部１４０１と位置履歴記憶部１４０２と動作・位置情報取得部１４０３とが追加され、活性度算出部２１４と処理が異なる活性度算出部１４０５に変更され、コミュニケーション判定部２１６と処理が異なるコミュニケーション判定部１４０４に変更された点で異なる。 The search server 1400 is different from the search server 100 according to the first embodiment described above in that the audio history storage unit 202 and the audio data acquisition unit 211 are deleted, and the operation history storage unit 1401, the position history storage unit 1402, and the operation The position information acquisition unit 1403 is added, the activity calculation unit 214 is changed to an activity calculation unit 1405 that is different in processing, and the communication determination unit 216 is changed to a communication determination unit 1404 that is different in processing.

動作履歴記憶部１４０１は、受信部２０７が受信した動作情報を、ユーザ名と対応付けて、時系列に従って履歴として記憶している。位置履歴記憶部１４０２は、受信部２０７が受信した位置情報を、ユーザ名と対応付けて、時系列に従って履歴として記憶している。 The operation history storage unit 1401 stores the operation information received by the reception unit 207 as a history according to a time series in association with the user name. The position history storage unit 1402 stores the position information received by the receiving unit 207 as a history according to a time series in association with the user name.

動作・位置情報取得部１４０３は、受信部２０７を介して、位置検出装置１４６０から受信した位置情報を、ユーザ名と対応付けて、時系列順に位置履歴記憶部１４０２に登録する。また、動作・位置情報取得部１４０３は、受信部２０７を介して、動作検出装置１４８０から受信した動作情報を、ユーザ名と対応付けて、時系列順に動作履歴記憶部１４０１に登録する。 The operation / position information acquisition unit 1403 registers the position information received from the position detection device 1460 via the reception unit 207 in the position history storage unit 1402 in time series in association with the user name. Further, the movement / position information acquisition unit 1403 registers the movement information received from the movement detection device 1480 via the reception unit 207 in the movement history storage unit 1401 in time series in association with the user name.

活性度算出部１４０５は、第１の実施の形態の活性度算出部２１４と同様に操作活性度を算出するほか、動作履歴記憶部１４０１に格納されている動作情報から、コミュニケーション時に行われるジェスチャの有無を示す動作活性度を算出する。また、活性度算出部１４０５は、位置履歴記憶部１４０２に格納されている位置情報から、他の利用者端末装置付近まで移動したか否かを示す移動活性度を算出する。 The activity calculation unit 1405 calculates the operation activity in the same manner as the activity calculation unit 214 of the first embodiment, and also uses the operation information stored in the operation history storage unit 1401 to determine the gesture performed during communication. The activity activity indicating presence / absence is calculated. In addition, the activity calculation unit 1405 calculates a movement activity indicating whether or not the user has moved to the vicinity of another user terminal device from the position information stored in the position history storage unit 1402.

コミュニケーション判定部１４０４は、活性度算出部１４０５により算出された動作活性度、活性度算出部１４０５により算出された移動活性度、及び操作連動判定部２１５により判定された連動区間に基づいて、コミュニケーションが行われたか否か判定し、コミュニケーションが行われた場合にはコミュニケーション区間を取得する。 The communication determination unit 1404 performs communication based on the movement activity calculated by the activity calculation unit 1405, the movement activity calculated by the activity calculation unit 1405, and the interlocking section determined by the operation interlock determination unit 215. It is determined whether or not the communication has been performed. When communication is performed, a communication section is acquired.

なお、コミュニケーションが行われたか否かの判定には、動作活性度により利用者がコミュニケーションのためのジェスチャを開始又は終了した時間や、利用者が存在する位置が他の利用者の存在する位置（本実施の形態では他の利用者の利用端末装置）に近づいた又は離れた時間などを利用する。そして、第１の実施の形態と同様の処理を行うことで、コミュニケーション区間を判定する。 Whether or not communication has been performed is determined based on the activity activity level when the user starts or ends a gesture for communication, and the position where the user exists is the position where another user exists ( In the present embodiment, the time when the user approaches or leaves the other user's terminal device is used. And a communication area is determined by performing the process similar to 1st Embodiment.

上述した処理を行うことで、第２の実施の形態にかかる検索サーバ１４００は、第１の実施の実施形態にかかる検索サーバ１００と同様の効果を得ることができる。 By performing the processing described above, the search server 1400 according to the second embodiment can obtain the same effects as the search server 100 according to the first embodiment.

図１５０に示すように、上述した実施の形態の検索サーバ１００、１４００は、ＣＰＵ１５０１と、ＲＯＭ１５０２と、ＲＡＭ１５０３と、通信Ｉ／Ｆ１５０４と、外部記憶装置１５０５と、これらを接続するバス１５０６とを備えており、通常のコンピュータを利用したハードウェア構成となっている。 As shown in FIG. 150, the search servers 100 and 1400 of the above-described embodiment include a CPU 1501, a ROM 1502, a RAM 1503, a communication I / F 1504, an external storage device 1505, and a bus 1506 for connecting them. It has a hardware configuration using a normal computer.

なお、上述した実施の形態にかかる検索サーバ１００、１４００で実行される情報検索プログラムは、ＲＯＭ１５０２等に予め組み込まれて提供される。 Note that the information search program executed by the search servers 100 and 1400 according to the above-described embodiments is provided by being incorporated in advance in the ROM 1502 or the like.

上述した実施の形態にかかる検索サーバ１００、１４００で実行される情報検索プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 The information search program executed by the search servers 100 and 1400 according to the above-described embodiments is a file in an installable format or an executable format, and is a CD-ROM, flexible disk (FD), CD-R, DVD (Digital It is recorded on a computer readable recording medium such as Versatile Disk).

この場合には、情報検索プログラムは、検索サーバ１００、１４００において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。 In this case, the information search program is loaded onto the main storage device by being read from the recording medium and executed by the search servers 100 and 1400, and each unit described in the software configuration is generated on the main storage device. It is like that.

また、上述した実施の形態にかかる検索サーバ１００、１４００で実行される情報検索プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施の形態にかかる検索サーバ１００、１４００で実行される情報検索プログラムプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Further, the information search program executed by the search servers 100 and 1400 according to the above-described embodiments is stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. May be. In addition, the information search program program executed by the search servers 100 and 1400 according to the above-described embodiments may be provided or distributed via a network such as the Internet.

第１の実施の形態にかかる検索システムの概要を示した説明図である。It is explanatory drawing which showed the outline | summary of the search system concerning 1st Embodiment. 第１の実施の形態にかかる検索システムの機能構成を示すブロック図である。It is a block diagram which shows the function structure of the search system concerning 1st Embodiment. ユーザ端末装置が生成する操作情報の一例を示した図である。It is the figure which showed an example of the operation information which a user terminal device produces | generates. ユーザ情報記憶部が保持するテーブル構造の例を示した図である。It is the figure which showed the example of the table structure which a user information storage part hold | maintains. 操作状況判定ルール格納部が保持する操作状況判定ルールの例を示した図である。It is the figure which showed the example of the operation condition determination rule which the operation condition determination rule storage part hold | maintains. コミュニケーション区間記憶部が保持するテーブル構造の例を示した図である。It is the figure which showed the example of the table structure which a communication area memory | storage part hold | maintains. 情報記憶部が保持するテーブル構造の例を示した図である。It is the figure which showed the example of the table structure which an information storage part hold | maintains. 操作連動判定部が、複数の利用者の操作活性度から連動区間を判定する処理を説明する図である。It is a figure explaining the process in which an operation interlocking | judging determination part determines a interlocking area from the operation activity of several users. コミュニケーション判定部が、連動区間と、複数の利用者の音声活性度からコミュニケーション区間を判定する処理を説明する図である。It is a figure explaining the process which a communication determination part determines a communication area from an interlocking area and the audio activity of several users. ユーザ端末装置に表示される検索画面の例を示す図である。It is a figure which shows the example of the search screen displayed on a user terminal device. 検索サーバによる利用者端末から受信した情報を用いて実行する処理を示したフローチャートである。It is the flowchart which showed the process performed using the information received from the user terminal by a search server. 検索サーバによるコミュニケーション区間等の特定する処理手順を示したフローチャートである。It is the flowchart which showed the process sequence which identifies the communication area etc. by a search server. 検索サーバによる類似状況検索の処理手順を示したフローチャートである。It is the flowchart which showed the processing procedure of the similar condition search by a search server. 第２の実施の形態にかかる検索システムの機能構成を示すブロック図である。It is a block diagram which shows the function structure of the search system concerning 2nd Embodiment. 検索サーバのハードウェア構成を示した図である。It is the figure which showed the hardware constitutions of the search server.

Explanation of symbols

１００、１４００検索サーバ
１５０、１５１、１４５０、１４５１ユーザ端末装置
１６０、１６１マイク
１７０ネットワーク
２０１利用者情報記憶部
２０２音声履歴記憶部
２０３操作履歴記憶部
２０４操作状況判定ルール格納部
２０５コミュニケーション区間記憶部
２０６情報記憶部
２０７受信部
２０８通知部
２０９データ取得部
２１０ユーザ情報取得部
２１１音声データ取得部
２１２操作履歴取得部
２１３操作状況判定部
２１４活性度算出部
２１５操作連動判定部
２１６、１４０４コミュニケーション判定部
２１７情報対応付部
２１８検索部
２１９コミュニケーション開始判定部
２２０類似状況検索部
２５１音声Ｉ／Ｆ
２５２操作記録部
２５３ユーザ認識部
２５４通信部
１４０１動作履歴記憶部
１４０２位置履歴記憶部
１４０３動作・位置情報取得部
１４６０位置検出装置
１４７０ａ〜ｎＲＦＩＤ
１４８０動作検出装置
１４９０ａ〜ｎ加速度センサ
１５０１ＣＰＵ
１５０２ＲＯＭ
１５０３ＲＡＭ
１５０４通信Ｉ／Ｆ
１５０５外部記憶装置
１５０６バス 100, 1400 Search server 150, 151, 1450, 1451 User terminal device 160, 161 Microphone 170 Network 201 User information storage unit 202 Voice history storage unit 203 Operation history storage unit 204 Operation status determination rule storage unit 205 Communication section storage unit 206 Information storage unit 207 Reception unit 208 Notification unit 209 Data acquisition unit 210 User information acquisition unit 211 Audio data acquisition unit 212 Operation history acquisition unit 213 Operation status determination unit 214 Activity calculation unit 215 Operation interlock determination unit 216, 1404 Communication determination unit 217 Information correspondence section 218 Search section 219 Communication start determination section 220 Similar situation search section 251 Voice I / F
252 Operation recording unit 253 User recognition unit 254 Communication unit 1401 Operation history storage unit 1402 Position history storage unit 1403 Operation / position information acquisition unit 1460 Position detection device 1470a-n RFID
1480 Motion detection device 1490a-n Acceleration sensor 1501 CPU
1502 ROM
1503 RAM
1504 Communication I / F
1505 External storage device 1506 Bus

Claims

An operation acquisition unit for acquiring operation information indicating operations performed on a plurality of user terminals for each of the user terminals;
An action information acquisition unit for acquiring action information indicating an action performed by a plurality of users;
Based on the operation information, an operation activity indicating whether or not an operation has been input on the user terminal and an activity activity indicating whether or not the user has input an action are calculated based on the action information. An activity calculation unit;
An interlock calculation unit that calculates interlocking information indicating whether or not the operation input is interlocked in each user terminal from the operation activity acquired for each user terminal;
Based on the linkage information and the activity activity level, the presence / absence of an operation input in each user terminal and the presence / absence of an action input in each user are calculated, and communication by the plurality of users is performed. A communication determination unit for determining a period;
A communication determination device comprising:

The action information acquisition unit acquires voice information that utters a user's voice as the action information,
The activity calculation unit calculates a voice activity indicating whether or not a voice is input by the user based on the voice information;
The communication determination apparatus according to claim 1.

The communication determination unit is configured to change the communication based on whether the input of the operation of each user terminal is changed from presence to absence in the link information and whether the voice input of each user is changed in the voice activity. It is determined that the start of the period, and based on the time when the input of the operation of each user terminal is changed from none to the presence with the linkage information and the presence or absence of the voice input of each user is changed with the voice activity Determining the end of the communication period,
The communication determination device according to claim 2.

The communication determination unit starts the communication period based on when the input of the operation of each user terminal is changed from presence to absence in the link information and when the voice activity is changed to the predetermined volume or more. Determining and determining the end of the communication period based on when the input of the operation of the plurality of user terminals changes from none to yes and when the voice activity changes below the predetermined volume;
The communication determination apparatus according to claim 3.

The communication period, and predetermined information that is the target of the operation at any one of the plurality of user terminals determined to be linked to the operation within the communication period. Further comprising an information storage unit for storing the information in association with each other;
The communication determination device according to claim 1, wherein:

The operation acquisition unit further acquires the operation information including an operation content input to the user terminal,
An operation status determination unit that determines an operation status that specifies an operation performed on the predetermined information at the user terminal in the communication period from the operation content included in the operation information. The communication determination apparatus according to claim 5.

The communication determination apparatus according to claim 6, wherein the information storage unit further stores the operation status in association with each other.

A search unit that searches the information storage unit for the predetermined information associated with the communication period when the input time is included in the communication period stored in the information storage unit; The communication determination apparatus according to claim 5, further comprising:

A communication start determination unit that determines whether or not a plurality of users has started communication at the user terminal based on the linkage information and the voice information;
When it is determined that the communication is started, a plurality of the user terminals linked in the communication, and a similar situation search unit that searches for the predetermined information associated with the information storage unit, The communication determination apparatus according to claim 5, further comprising:

The action information acquisition unit acquires operation information indicating a user's operation as the action information;
The activity calculation unit calculates an activity activity indicating whether or not an operation is input by the user based on the operation information;
The communication determination apparatus according to claim 1.

The action information acquisition unit acquires position information indicating a user's position as the action information;
The activity calculation unit calculates a movement activity indicating the presence or absence of an input of movement in the user based on the position information;
The communication determination device according to claim 1 or 10, wherein:

An operation acquisition step of acquiring operation information indicating operations performed on a plurality of user terminals for each of the user terminals;
An action information acquisition step for acquiring action information indicating an action performed by a plurality of users;
Based on the acquired operation information, an operation activity indicating whether or not an operation is input in the user terminal, and an activity activity indicating whether or not an action is input in the user based on the action information, An activity calculation step to calculate,
An interlock calculation step of calculating interlocking information indicating whether or not the operation input is interlocked in each user terminal from the operation activity acquired for each user terminal;
Based on the linkage information and the activity activity level, the presence / absence of an operation input in each user terminal and the presence / absence of an action input in each user are calculated, and communication by the plurality of users is performed. A communication determination step for determining a period;
A communication determination method characterized by comprising: