JP2023070631A - Information processing method, computer program, server device, terminal device, and information processing apparatus - Google Patents
Information processing method, computer program, server device, terminal device, and information processing apparatus Download PDFInfo
- Publication number
- JP2023070631A JP2023070631A JP2022124187A JP2022124187A JP2023070631A JP 2023070631 A JP2023070631 A JP 2023070631A JP 2022124187 A JP2022124187 A JP 2022124187A JP 2022124187 A JP2022124187 A JP 2022124187A JP 2023070631 A JP2023070631 A JP 2023070631A
- Authority
- JP
- Japan
- Prior art keywords
- business
- video
- negotiation
- information
- server device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
特許法第30条第2項適用申請有り 令和 3年 7月 8日に、aileadのウェブサイトにて公開(https://www.ailead.app/) Applied for application of Article 30,
特許法第30条第2項適用申請有り 令和 3年 7月 8日に、PR TIMESのウェブサイトにて公開(https://prtimes.jp/main/html/rd/p/000000011.000040516.html) Applied for application of Article 30,
特許法第30条第2項適用申請有り 令和 3年 9月14日に、PR TIMESのウェブサイトにて公開(https://prtimes.jp/main/html/rd/p/000000017.000040516.html) Applied for application of Article 30,
特許法第30条第2項適用申請有り 令和 3年 9月22日に、PR TIMESのウェブサイトにて公開(https://prtimes.jp/main/html/rd/p/000000019.000040516.html) Applied for application of Article 30,
特許法第30条第2項適用申請有り 令和 3年10月12日に、PR TIMESのウェブサイトにて公開(https://prtimes.jp/main/html/rd/p/000000020.000040516.html) Applied for application of Article 30,
特許法第30条第2項適用申請有り 令和 3年10月28日に、PR TIMESのウェブサイトにて公開(https://prtimes.jp/main/html/rd/p/000000022.000040516.html)Applied for application of Article 30,
本発明は、商談を録画した商談映像を扱う情報処理方法、コンピュータプログラム、サーバ装置、端末装置及び情報処理装置に関する。 The present invention relates to an information processing method, a computer program, a server device, a terminal device, and an information processing device that handle recorded business negotiation videos.
近年、ネットワークを介して複数の端末装置間で画像及び音声等のデータを送受信することにより、端末装置を使用する複数人のユーザが同時的に会話等を行うことが可能である。この技術を利用して、遠隔地にいる複数人のユーザがネットワークを介して会議を行う、いわゆるオンライン会議又はリモート会議等が広く普及している。 2. Description of the Related Art In recent years, by transmitting and receiving data such as images and sounds between a plurality of terminal devices via a network, it is possible for a plurality of users using the terminal devices to converse at the same time. Using this technology, so-called online conferences or remote conferences, in which a plurality of users in remote locations hold conferences via a network, are widely used.
特許文献1においては、複数人でのオンラインビデオ通話が可能なオンライン会議アプリケーション及びオンライン決済サイトを活用して、生産者及び消費者が同一日時にオンライン上に集い、実際に一箇所の場所に集い売買活動が行われるマルシェ(市場)のように、リアルタイムに互いの顔を確認して交流しつつ売買活動を行うことが可能なオンラインマルシェシステムが提案されている。このオンラインマルシェシステムでは、希望する商品又はサービスを消費者がオンライン決済サイトを通して購入することが可能である。
In
オンライン会議又はリモート会議のシステムを例えば商談に利用することが期待できる。このようなシステムでは、商談の様子が撮影された映像を保存しておくことが比較的容易である。企業等が商談の質又は売上等を向上するために保存した商談の映像を調査又は解析等することが望まれているが、商談は数時間に及ぶ場合もあり、映像を調査又は解析等することは容易ではない。 It is expected that online or remote conference systems will be used, for example, for business negotiations. In such a system, it is relatively easy to store video footage of business negotiations. It is desirable for companies, etc., to investigate or analyze the video of business talks that they have saved in order to improve the quality or sales of the business talks, but business talks may last several hours, so it is necessary to investigate or analyze the video. It is not easy.
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、商談を録画した映像の調査又は解析等を支援することが期待できる情報処理方法、コンピュータプログラム、サーバ装置、端末装置及び情報処理装置を提供することにある。 The present invention has been made in view of such circumstances, and aims to provide an information processing method, a computer program, and a server device that can be expected to support investigation, analysis, etc. of video recordings of business negotiations. , to provide a terminal device and an information processing device.
一実施形態に係る情報処理方法は、情報処理装置が、商談を録画した商談映像を取得し、取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換し、変換した前記テキスト情報を表示する。 In an information processing method according to an embodiment, an information processing device acquires a video of a recorded business meeting, converts voice information related to the speech of a participant who participated in the business meeting into text information based on the acquired video of the business meeting. Convert and display the converted text information.
一実施形態による場合は、商談を録画した映像の調査又は解析等を支援することが期待できる。 In the case of one embodiment, it can be expected to support investigation, analysis, or the like of recorded videos of business negotiations.
本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 A specific example of an information processing system according to an embodiment of the present invention will be described below with reference to the drawings. The present invention is not limited to these examples, but is indicated by the scope of the claims, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims.
<システム構成>
図1は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。なお本実施の形態においては、オンライン会議又はリモート会議等のシステムを利用して商談を行うことをオンライン商談と呼ぶ。オンライン商談では、商品又はサービス等を販売する販売者のユーザと、この商品又はサービス等を購入する購入者のユーザとにより、オンライン上で種々の会話が行われる。なおオンライン商談は、必ずしも商品又はサービス等の売買が伴うものでなくてよく、例えば企業等の営業担当者又はサービスマン等が顧客等に対して定期的に又は不定期に行うあいさつ又はアフターサービス等に係るものであってよく、また例えば顧客等からの問い合わせに対する担当者等の回答等に係るものであってよく、これら以外の販売者及び購入者の間で行われる種々の会話に係るものであって良い。また更にオンライン商談には、販売者及び購入者の間で行うものに限らず、例えば販売者となる企業に務める複数の社員同士で行う販売に向けた会議又はミーティング等を含み得る。
<System configuration>
FIG. 1 is a schematic diagram for explaining an outline of an information processing system according to this embodiment. It should be noted that in the present embodiment, conducting business negotiations using a system such as an online conference or a remote conference is called online business negotiations. In online business negotiations, various online conversations are held between a user of a seller who sells a product or service and a user of a purchaser who purchases the product or service. Online business negotiations do not necessarily involve the purchase and sale of goods or services. For example, it may be related to the response of the person in charge to the inquiry from the customer, etc., and it may be related to various conversations between the seller and the purchaser other than these It's fine. Furthermore, online business negotiations are not limited to those held between a seller and a purchaser, and may include, for example, a sales conference or a meeting held between a plurality of employees working for a company that is a seller.
本実施の形態に係る情報処理システムは、オンライン会議又はリモート会議等によるオンライン商談の機能を提供するオンライン商談サーバ装置1と、オンライン商談に関する映像を記録して蓄積する商談記録サーバ装置2と、オンライン商談に参加する複数のユーザがそれぞれ使用する端末装置3とを備えて構成されている。なお本実施の形態においては、オンライン商談サーバ装置1及び商談記録サーバ装置2を別のサーバ装置としているが、これに限るものではなく、2つのサーバ装置の機能を1つのサーバ装置に集約してもよい。
The information processing system according to the present embodiment includes an online business
オンライン商談サーバ装置1は、ネットワークを介して複数の端末装置3の間で画像、音声又は文字等の種々のデータの送受信を中継することによって、異なる場所にいるユーザの間で会話等の情報授受を実現する。オンライン商談サーバ装置1は、例えば一の端末装置3が送信したデータを受信し、受信したデータを他の端末装置3へ送信する。
The online business
商談記録サーバ装置2は、オンライン商談サーバ装置1が複数の端末装置3の間で送受信する種々のデータ、本実施の形態においては商談を録画した商談映像を取得してデータベース等に記録する処理を行う。なお本実施の形態において商談映像は、オンライン商談の際に各端末装置3のカメラ等にて撮影されて、オンライン商談サーバ装置1によって複数の端末装置3の間で送受信された映像であり、端末装置3のカメラ等により撮影されたいわゆる画像(動画像)と、端末装置3のマイク等により録音された音声とを含むデータである。また商談映像には、カメラ等で撮影した映像のみでなく、例えばプレゼンテーションのためのドキュメント又は画像等が複数の端末装置3にて共有されて表示された場合に、この表示を録画した映像が含まれ得る。なおオンライン商談では、例えば通信のデータ量削減又はユーザのプライバシー保護等を目的に、端末装置3が撮影する画像の送受信を行わず、音声の送受信のみで商談が行われる場合があり得る。本実施の形態においては、このような画像を含まずに音声のみを含むデータについても同様に商談映像と呼び、画像を含む商談映像と同様に扱うものとする。
The business negotiation
端末装置3は、オンライン商談に参加するユーザがそれぞれ使用する装置であり、例えばスマートフォン、タブレット型端末装置又はパーソナルコンピュータ等の汎用的な情報処理装置が用いられ得る。端末装置3は、ユーザを撮影するカメラと、ユーザの音声を取得するマイクとを備えている。ただしカメラ及びマイクは、端末装置3に内蔵されていてもよく、有線又は無線により端末装置3に接続される外付けのものであってもよい。また端末装置3は、少なくともマイクを備えていればよく、カメラを備えていなくてもよい。本実施の形態においては、1人のユーザが1つの端末装置3を使用するものとするが、これに限るものではなく、複数のユーザが1つの端末装置3を使用してオンライン商談に参加してもよく、1人のユーザが複数の端末装置3を使用してオンライン商談に参加してもよい。
The
また本実施の形態に係る情報処理システムでは、商談記録サーバ装置2は、オンライン商談を録画した商談映像から、商談に参加した参加者の発話内容をテキスト化する処理を行う。商談記録サーバ装置2は、参加者の発話内容のテキスト情報を、発話したユーザの名前又はID等の識別情報、並びに、発話したタイミング(商談映像の開始からの時間)等の情報と対応付けて、商談映像と共にデータベースに記録する。商談記録サーバ装置2は、このテキスト情報を用いて、例えば文字列のキーワード入力を受け付けて、記録した商談映像を検索するサービスをユーザに提供することができる。
Further, in the information processing system according to the present embodiment, the business meeting
また本実施の形態に係る情報処理システムでは、商談記録サーバ装置2は、データベースに記録した複数の商談映像に対する検索機能を実現するための処理を行う。例えば商談記録サーバ装置2は、上述のように商談映像の音声をテキスト化したテキスト情報に基づいて、ユーザが端末装置3にて入力した検索用のキーワードを含むテキスト情報を抽出し、このテキスト情報に対応する商談映像を検索結果として端末装置3に一覧表示等させる。また商談記録サーバ装置2は、商談に参加したユーザの名前又はID等の識別情報に基づく商談映像の検索、並びに、商談が行われた日付等に基づく商談映像の検索等を行う。
Further, in the information processing system according to the present embodiment, the negotiation
また本実施の形態に係る情報処理システムでは、商談記録サーバ装置2は、オンライン商談に参加した複数のユーザによる商談映像の共有を実現するための処理を行う。商談記録サーバ装置2は、データベースに記録した商談映像にアクセスするためのURL(Uniform Resource Locator)等の情報を、商談に参加したユーザ(の端末装置3)へ送信する。この情報を端末装置3にて受信したユーザは、例えばWebブラウザ等のアプリケーションプログラムを利用して、指定されたURLにアクセスすることによって、商談映像の取得又は再生等を行うことができる。
Further, in the information processing system according to the present embodiment, the business meeting
また本実施の形態に係る情報処理システムでは、商談記録サーバ装置2は、商談映像に対するユーザのコメントの入力を受け付け、受け付けたコメントを商談映像と対応付けてデータベースに記録する。また商談記録サーバ装置2は、記録したコメントを商談に参加した複数のユーザの間で共有するための処理を行う。商談記録サーバ装置2は、例えばユーザが商談映像を端末装置3にて再生(表示)している際に、端末装置3を介してこの商談映像に関するコメントの入力を受け付ける。商談記録サーバ装置2は、入力されたコメントを、再生していた商談映像の再生時刻に対応付けてデータベースに記録する。以後、この商談映像が再生される際に、商談記録サーバ装置2は、商談映像と共にコメントを端末装置3に表示させる。
Further, in the information processing system according to the present embodiment, the negotiation
また本実施の形態に係る情報処理システムでは、商談記録サーバ装置2は、商談において各参加者が発話したタイミング、時間及び回数等の情報を集計し、これらの情報を端末装置3に表示させる。商談記録サーバ装置2は、これらの情報を例えば商談映像と共に表示してもよく、また例えば企業の部門又はチーム等の集団に所属する複数のユーザについてこれらの情報を集計して集団毎に情報を表示してもよい。
In the information processing system according to the present embodiment, the negotiation
また本実施の形態に係る情報処理システムでは、商談記録サーバ装置2による商談映像の取得及び記録等の処理は、これらの処理を行うコンピュータプログラムを擬人化したもの、いわゆるボットがオンライン商談に1人の参加者として参加することにより行われる。また商談記録サーバ装置2は、このボットがオンライン商談に参加する際に、このオンライン商談に参加する他のユーザに対して、ボットが商談に参加すること(商談の映像を記録すること)に対する同意を確認する。商談記録サーバ装置2は、各参加者による同意の有無を記録すると共に、全てのユーザの同意が得られた場合にボットを参加させて商談映像を記録する。
Further, in the information processing system according to the present embodiment, the acquisition and recording of the business negotiation video by the business negotiation
なお本実施の形態においては、複数のユーザが端末装置3を利用してオンラインで商談を行うものとするが、これに限るものではなく、例えば複数のユーザが一ヶ所に集まって(オフラインで)商談を行ってもよく、この場合には例えば端末装置3又は何らかの撮影装置が商談を撮影し、撮影した映像を商談記録サーバ装置2が取得してデータベースに記録すればよい。
In the present embodiment, it is assumed that a plurality of users use the
<装置構成>
図2は、本実施の形態に係る商談記録サーバ装置2の構成を示すブロック図である。本実施の形態に係る商談記録サーバ装置2は、処理部21、記憶部(ストレージ)22及び通信部(トランシーバ)23等を備えて構成されている。なお本実施の形態においては、商談の記録に関する処理を1つのサーバ装置にて行われるものとして説明を行うが、複数のサーバ装置が分散して処理を行ってもよい。
<Device configuration>
FIG. 2 is a block diagram showing the configuration of the negotiation
処理部21は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)又は量子プロセッサ等の演算処理装置、ROM(Read Only Memory)及びRAM(Random Access Memory)等を用いて構成されている。処理部21は、記憶部22に記憶されたサーバプログラム22aを読み出して実行することにより、オンライン商談の映像を記録する処理、記録した商談映像の音声をテキスト化する処理、及び、記録した商談映像を複数の参加者の間で共有するための処理等の種々の処理を行う。
The
記憶部22は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部22は、処理部21が実行する各種のプログラム、及び、処理部21の処理に必要な各種のデータを記憶する。本実施の形態において記憶部22は、処理部21が実行するサーバプログラム22aを記憶する。また記憶部22には、商談映像を種々の情報に対応付けて記録する商談映像DB(データベース)22bが設けられている。
The
本実施の形態においてサーバプログラム(コンピュータプログラム、プログラム製品)22aは、メモリカード又は光ディスク等の記録媒体99に記録された態様で提供され、商談記録サーバ装置2は記録媒体99からサーバプログラム22aを読み出して記憶部22に記憶する。ただし、サーバプログラム22aは、例えば商談記録サーバ装置2の製造段階において記憶部22に書き込まれてもよい。また例えばサーバプログラム22aは、遠隔の他のサーバ装置等が配信するものを商談記録サーバ装置2が通信にて取得してもよい。例えばサーバプログラム22aは、記録媒体99に記録されたものを書込装置が読み出して商談記録サーバ装置2の記憶部22に書き込んでもよい。サーバプログラム22aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体99に記録された態様で提供されてもよい。
In the present embodiment, the server program (computer program, program product) 22a is provided in a form recorded in a
図3は、商談映像DB22bの一構成例を示す模式図である。本実施の形態に係る商談記録サーバ装置2の商談映像DB22bは、オンライン商談を録画した商談映像を記録するデータベースであり、例えば「日時」、「参加者」、「商談映像」、「テキスト情報」、「コメント情報」及び「分析情報」等の情報を対応付けて記録する。「日時」は、オンライン商談が行われた年月日及び時刻に関する情報であり、例えばオンライン商談の開始時刻、終了時刻又は開催時間等の情報が含まれ得る。
FIG. 3 is a schematic diagram showing a configuration example of the
商談映像DB22bの「参加者」は、オンライン商談に参加したユーザに関する情報であり、例えば「ユーザ名」、「情報送付先」及び「同意情報」等の情報が含まれ得る。「ユーザ名」は、各ユーザを一意に識別するための情報であり、例えばユーザの本名又はID等の文字列情報である。「情報送付先」は、各ユーザに対して種々の情報を送付する送付先を示す情報であり、例えばメールアドレス又は端末装置3のID等の情報が設定される。「同意情報」は、例えばオンライン商談の開始前に、各ユーザが商談の映像を記録するボットの参加に同意したか否かを示す情報である。
The "participant" in the
「商談映像」は、オンライン商談を録画した映像であり、例えば動画像のファイル自体、又は、このファイルの格納場所を示す情報もしくはファイル名等である。商談映像は、例えば商談に参加したユーザ毎に別の動画像のファイルとして記録されてもよく、また例えば複数のユーザの映像を並べた映像が1つの動画像ファイルとして記録されてもよい。 The "business talk video" is a recorded video of an online business talk, and is, for example, a moving image file itself, or information or a file name indicating the storage location of this file. The business negotiation video may be recorded as a separate moving image file for each user who participates in the business negotiation, or may be recorded as one moving image file in which the videos of a plurality of users are arranged side by side.
「テキスト情報」は、商談映像に基づいて参加者の発話内容をテキスト化した情報であり、例えば「発話タイミング」、「発話者」、「発話テキスト」及び「トピック情報」等の情報が含まれ得る。「発話タイミング」は、参加者の発話が行われたタイミングがいつであるかを示す情報であり、例えば商談映像の再生時間が60分である場合に、開始から2分50秒の時点等の情報が設定され得る。「発話タイミング」には、少なくとも発話の開始時点の情報が記録され、発話の終了時点又は発話の継続時間等の情報が更に記録されてもよい。「発話者」は、発話を行ったユーザが誰であるかを示す情報であり、例えばユーザ名が設定され得る。なお本実施の形態においては、1人のユーザが1つの端末装置3を使用してオンライン商談に参加することを想定しており、いずれの端末装置3にて撮影(録音)がなされた音声であるかに基づいて、いずれのユーザが発話した音声であるかが判断される。複数のユーザが1つの端末装置3を使用してオンライン商談に参加する場合、又は、例えば複数のユーザが参加するオフラインの商談を1つのカメラで撮影した場合等には、商談記録サーバ装置2は、例えば発話の声音、声の高さ、声質、抑揚又はリズム等の特徴に基づいて、発話者が誰であるかを区別することができる。発話者の区別には、例えば予め機械学習がなされた学習モデル、いわゆるAI(Artificial Intelligence)が用いられ得る。「発話テキスト」は、記録した商談映像に含まれる参加者の発話の音声をテキストに変換した情報である。音声からテキストへの変換処理は、既存のいわゆる音声認識処理により行われる。「トピック情報」は、発話テキストにどのようなトピック(事柄、話題等)が含まれているかを示す情報であり、例えばアイスブレイク又はクロージング等のトピックの分類が設定され得る。本実施の形態において商談記録サーバ装置2は、予め機械学習がなされた学習モデルを用いて発話テキストのトピックを分類する。
"Text information" is information obtained by converting the contents of the speech of the participants into text based on the video of the business talk, and includes information such as "timing of speech", "speaker", "text of speech", and "topic information". obtain. "Speech timing" is information indicating when the participant spoke. information can be set. In the "speech timing", at least the information of the start time of the speech is recorded, and information such as the end time of the speech or the duration of the speech may be further recorded. "Speaker" is information indicating who the user is who made the speech, and for example, a user name can be set. In the present embodiment, it is assumed that one user participates in an online business negotiation using one
「コメント情報」は、商談に参加したユーザ又は商談映像を閲覧したユーザ等が、端末装置3を利用して商談映像に対して入力した文字又は画像等のコメントの情報である。「コメント情報」には、例えば「再生タイミング」、「入力者」及び「コメント」等の情報が含まれ得る。「再生タイミング」は、商談映像の再生時間に対するコメントの入力タイミングを示す情報であり、例えば商談映像の再生時間が60分である場合に、開始から2分50秒の時点等の情報が設定され得る。「入力者」は、コメントを入力したユーザが誰であるかを示す情報であり、例えばユーザ名が設定され得る。「コメント」は、ユーザが入力したコメントの実体である。本実施の形態においてコメントはテキストとするが、例えば画像又は音声等のコメントが扱われてもよい。
The “comment information” is information of comments such as characters or images input to the video of the business talk using the
「分析情報」は、商談に参加した各ユーザについて、この商談における実績等を分析した情報であり、例えば「ユーザ名」、「発話回数」、「発話時間」及び「最長発話継続時間」等の情報が含まれ得る。「ユーザ名」は、各ユーザを一意に識別するための情報である。この「ユーザ名」は、上述の「参加者」に含まれる「ユーザ名」と同じものであるため、商談記録サーバ装置2が「参加者」及び「分析情報」をまとめて記録してもよい。「発話回数」は、この商談において各ユーザが発話した回数である。「発話時間」は、各ユーザが商談において発話を行った時間の合計値である。「最長発話継続時間」は、1人のユーザが他のユーザに遮られることなる発話を継続した時間のうち、その商談において最長の時間である。
"Analysis information" is information obtained by analyzing the results of each user who participated in the business negotiation. Information may be included. "User name" is information for uniquely identifying each user. Since this "user name" is the same as the "user name" included in the above-mentioned "participant", the negotiation
なお図3に示した商談映像DBの構造及び記録する項目等は、一例であって、これに限るものではない。 Note that the structure of the negotiation video DB and the items to be recorded, etc. shown in FIG. 3 are merely an example, and are not limited to this.
商談記録サーバ装置2の通信部23は、携帯電話通信網、無線LAN(Local Area Network)及びインターネット等を含むネットワークNを介して、種々の装置との間で通信を行う。本実施の形態において通信部23は、ネットワークNを介して、オンライン商談サーバ装置1、並びに、一又は複数の端末装置3等との間で通信を行う。通信部23は、処理部21から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部21へ与える。
The
なお記憶部22は、商談記録サーバ装置2に接続された外部記憶装置であってよい。また商談記録サーバ装置2は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。また商談記録サーバ装置2は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。
Note that the
また本実施の形態に係る商談記録サーバ装置2には、記憶部22に記憶されたサーバプログラム22aを処理部21が読み出して実行することにより、商談映像取得部21a、テキスト化処理部21b、検索処理部21c、共有処理部21d、コメント処理部21e、分析処理部21f及び同意処理部21g等が、ソフトウェア的な機能部として処理部21に実現される。なお本図においては、処理部21の機能部として、商談映像を記録する処理に関連する機能部を図示し、これ以外の処理に関する機能部は図示を省略している。
In the negotiation
商談映像取得部21aは、オンライン商談に参加した複数の端末装置3により撮影されてオンライン商談サーバ装置1により複数の端末装置3の間で送受信された商談映像を取得する処理を行う。本実施の形態において商談映像取得部21aは、コンピュータプログラムを擬人化したボットをオンライン商談に参加させることによって、オンライン商談サーバ装置1が複数の端末装置3の間で送受信する商談映像を取得する。商談映像取得部21aは、オンライン商談サーバ装置1から取得したオンライン商談の商談映像を、「日時」及び「参加者」等の情報と共に記憶部22の商談映像DB22bに記録する。
The business negotiation
テキスト化処理部21bは、商談映像取得部21aが取得した商談映像において参加者が発話した音声をテキスト化する処理を行う。テキスト化処理部21bは、例えば予め機械学習がなされた学習モデルを用いて、音声をテキスト化する。なお音声からテキストへの変換処理は、いわゆる音声認識処理により行われるものであり、音声認識処理は既存の技術であるため詳細な説明は省略する。テキスト化処理部21bによる音声からテキストへの変換処理は、どのような方法が採用されてもよい。テキスト化処理部21bは、商談映像に含まれる音声を、参加したユーザ毎に区別してテキスト化し、得られた「発話テキスト」を「発話タイミング」及び「発話者」に対応付けて商談映像DB22bに記録する。
The text
またテキスト化処理部21bは、変換したテキスト情報に基づいて、発話内容に含まれるトピックを分類する処理を行う。テキスト化処理部21bは、例えば予め機械学習がなされた学習モデルを用いて、テキスト情報のトピックを分類する。テキスト情報の入力に対してトピックの分類結果を出力する学習モデルには、例えばRNN(Recurrent NeuralNetwork)、LSTM(Long Short Term Memory)又はBERT(Bidirectional Encoder Representations from Transformers)等の学習モデルが採用され得る。学習モデルを用いたテキスト情報の分類処理は、既存の技術であるため、詳細な説明は省略する。テキスト化処理部21bは、学習モデルによるトピックの分類結果に基づいて、商談映像DB22bの「テキスト情報」に「発話テキスト」と対応付けて「トピック情報」を記録する。なお、1つの発話テキストには複数のトピックが含まれ得る。本実施の形態においては、テキスト情報のトピック分類を商談記録サーバ装置2が行うものとするが、これに限るものではなく、トピック分類の処理を別のサーバ装置が行って分類結果を商談記録サーバ装置2へ送信する構成であってもよい。
Further, the text
検索処理部21cは、商談映像DB22bに記録された商談映像に対する検索のサービスをユーザに提供するための処理を行う。検索処理部21cは、例えば端末装置3を介してユーザから検索キーワード(文字列)の入力を受け付け、受け付けた検索キーワードを「発話テキスト」に含む商談映像を商談映像DB22bから抽出する。検索処理部21cは、抽出した一又は複数の商談映像に関する情報、例えば「日付」、「参加者」及び商談映像のサムネイル画像等の情報を端末装置3に送信し、検索キーワードに該当する商談映像に関する情報を端末装置3に一覧表示させる。
The
また検索処理部21cは、例えばオンライン商談に参加したユーザの名前もしくはID等、又は、テキスト情報に関するトピック等を検索の条件としてユーザから端末装置3を介して受け付ける。例えば検索処理部21cは、受け付けたユーザ名のユーザが参加した商談映像を商談映像DB22bから抽出し、抽出した一又は複数の商談映像に関する情報を端末装置3へ送信して一覧表示させる。また例えば検索処理部21cは、受け付けたトピックに該当するテキストを含む商談映像を抽出し、抽出した一又は複数の商談映像に関する情報を端末装置3へ送信して一覧表示させる。
The
共有処理部21dは、商談映像DB22bに記録した商談映像を複数のユーザの間で共有するための処理を行う。例えば共有処理部21dは、オンライン商談の終了後に、このオンライン商談に参加したユーザに対して商談映像にアクセスする(商談映像を再生又は表示等する)ための情報、例えばハイパーリンクを含む電子メール等を送信することによって、オンライン商談に参加したユーザに商談映像を共有させる。また例えば共有処理部21dは、ユーザ毎に商談映像のリスト等が管理されている場合に、このリストにユーザが参加したオンライン商談の商談映像を追加することによって、オンライン商談に参加したユーザに商談映像を共有させる。なお複数のユーザによる商談映像の共有は、どのような態様で行われてもよい。
The
コメント処理部21eは、オンライン商談後に商談映像を視聴したユーザからのコメントの入力を受け付けると共に、受け付けたコメントを複数のユーザ間で共有するための処理を行う。本実施の形態においてユーザは、商談映像を再生した場合等に、この商談映像の再生時間内における特定の再生タイミングを指定して、文字又は画像等のコメントを入力することができる。コメント処理部21eは、端末装置3にて入力されたコメントを取得して、「再生タイミング」及び「入力者」の情報と共に「コメント」を商談映像に対応付けて商談映像DB22bに記録する。またコメント処理部21eは、この商談映像を共有している複数のユーザに対して、入力されたコメントを送信するか、又は、コメントの入力がなされたことを通知することによって、複数のユーザの間でコメントを共有させる。
The
分析処理部21fは、商談映像DB22bに記録した商談映像を元に、オンライン商談に参加した各ユーザの特徴等を分析する処理を行う。本実施の形態において分析処理部21fは、商談映像又はこれから変換したテキスト情報に基づいて、例えばオンライン会議において各ユーザが発話(発言)した回数、発話した合計時間、及び、1回の発話の継続時間の最長値等を算出する。分析処理部21fは、算出した「発話回数」、「発話時間」及び「最長発話継続時間」等の情報を、「ユーザ名」に対応付けて、商談映像DB22bに記録する。
The
また分析処理部21fは、商談映像DB22bに記録した「分析情報」に基づいて、例えば所定期間に開催された複数のオンライン商談について「発話回数」及び「発話時間」等を集計し、集計結果をユーザの端末装置3へ送信して表示させる。また例えば分析処理部21fは、企業の部門又はチーム等の集団に所属する複数のユーザについてこれらの情報を集計し、集団に所属する複数のユーザの特徴等を比較した情報を端末装置3に表示させる。分析処理部21fは、オンライン商談に関する各ユーザの種々の特徴を示す数値を算出して端末装置3に表示させることができる。
Further, the
同意処理部21gは、オンライン商談の開始前、又は、開始後(ただし商談映像の記録を開始する前)において、オンライン商談に参加する各ユーザから同意を取る処理を行う。同意処理部21gは、例えばオンライン商談に参加するためにオンライン商談サーバ装置1へアクセスした端末装置3に、オンライン商談の録画を行うことに同意するか否かを問い合わせるメッセージを表示させる。同意処理部21gは、端末装置3にてユーザから同意の有無についての回答を受け付け、商談映像DB22bの「同意情報」に同意の有無を記憶する。同意処理部21gは、オンライン商談に参加する全てのユーザから同意が得られた場合に、商談映像取得部21aによるオンライン商談の映像の取得等の処理を開始させる。
The
図4は、本実施の形態に係る端末装置3の構成を示すブロック図である。本実施の形態に係る端末装置3は、処理部31、記憶部(ストレージ)32、通信部(トランシーバ)33、表示部(ディスプレイ)34、操作部35、カメラ36及びマイク37等を備えて構成されている。端末装置3は、オンライン商談に参加するユーザが使用する装置であり、例えばスマートフォン、タブレット型端末装置又はパーソナルコンピュータ等の汎用的な情報処理装置を用いて構成され得る。
FIG. 4 is a block diagram showing the configuration of the
処理部31は、CPU又はMPU等の演算処理装置、ROM及び等を用いて構成されている。処理部31は、記憶部32に記憶されたプログラム32aを読み出して実行することにより、オンライン商談を実現するための処理、オンライン商談を録画した商談映像を検索する処理、及び、商談映像を表示する処理等の種々の処理を行う。
The
記憶部32は、例えばフラッシュメモリ等の不揮発性のメモリ素子又はハードディスク等の記憶装置等を用いて構成されている。記憶部32は、処理部31が実行する各種のプログラム、及び、処理部31の処理に必要な各種のデータを記憶する。本実施の形態において記憶部32は、処理部31が実行するプログラム32aを記憶している。本実施の形態においてプログラム32aは遠隔のサーバ装置等により配信され、これを端末装置3が通信にて取得し、記憶部32に記憶する。ただしプログラム32aは、例えば端末装置3の製造段階において記憶部32に書き込まれてもよい。例えばプログラム32aは、メモリカード又は光ディスク等の記録媒体98に記録されたプログラム32aを端末装置3が読み出して記憶部32に記憶してもよい。例えばプログラム32aは、記録媒体98に記録されたものを書込装置が読み出して端末装置3の記憶部32に書き込んでもよい。プログラム32aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体98に記録された態様で提供されてもよい。
The
通信部33は、携帯電話通信網、無線LAN及びインターネット等を含むネットワークNを介して、種々の装置との間で通信を行う。本実施の形態において通信部33は、ネットワークNを介して、オンライン商談サーバ装置1及び商談記録サーバ装置2等との間で通信を行う。通信部33は、処理部31から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部31へ与える。
The
表示部34は、液晶ディスプレイ等を用いて構成されており、処理部31の処理に基づいて種々の画像及び文字等を表示する。操作部35は、ユーザの操作を受け付け、受け付けた操作を処理部31へ通知する。例えば操作部35は、機械式のボタン又は表示部34の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部35は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置3に対して取り外すことが可能な構成であってもよい。
The
カメラ36は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を用いて構成されている。カメラ36は、例えば端末装置3の筐体の適所に配置されている。カメラ36は、撮像素子により撮影した画像(動画像)のデータを処理部21へ与える。マイク37は、例えば端末装置3の筐体の適所に配置されており、端末装置3の周囲の音(例えばユーザの発話音声)を取得して音声データを処理部21へ与える。なおカメラ36及びマイク37は、端末装置3に内蔵されていてもよく、端末装置3に対して取り外すことが可能な構成であってもよい。
The
また本実施の形態に係る端末装置3は、記憶部32に記憶されたプログラム32aを処理部31が読み出して実行することにより、オンライン商談処理部31a及び商談映像処理部31b等がソフトウェア的な機能部として処理部31に実現される。なおプログラム32aは、本実施の形態に係る情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。
Further, in the
オンライン商談処理部31aは、通信部33にてオンライン商談サーバ装置1との間で通信を行い、オンライン商談を実現するための種々の処理を行う。オンライン商談処理部31aは、例えばカメラ36が撮影した画像及びマイク37が取得した音声を含む動画像データをオンライン商談サーバ装置1へ送信する。またオンライン商談処理部31aは、オンライン商談に参加する一又は複数の他のユーザに関する動画像データをオンライン商談サーバ装置1から受信して、適宜の配置で動画像データを表示部34に並べて表示する。これにより、端末装置3を使用してオンライン商談に参加する各ユーザは、自身を撮影した画像及び自身が発話した音声を他のユーザへ送信すると共に、他のユーザを撮影した画像及び他のユーザが発話した音声を端末装置3にて視聴することができ、遠隔の地にいる複数のユーザが互いの姿を見ながら会話することができ、オンラインでの商談を行うことができる。
The online
またオンライン商談処理部31aは、オンライン商談に参加するユーザの画像及び音声を含む動画像データの他に、例えばプレゼンテーション用の資料(静止画像、動画像、音声又はテキスト等の情報を含み得る)のデータ、又は、チャット通話に係るテキストデータ等の種々のデータをオンライン商談サーバ装置1との間で送受信してよい。これにより、オンライン商談に参加する複数のユーザの間で、これらのデータを共有することができる。
Also, the online business
また本実施の形態に係る情報処理システムにおいて、オンライン商談の開催者となるユーザは、端末装置3を使用してオンライン商談サーバ装置1に対してオンライ商談の開催日時及び参加するユーザ等の情報を予め登録する。端末装置3のオンライン商談処理部31aは、開催者のユーザによるこれらの情報の登録操作を受け付けて、受け付けた情報をオンライン商談サーバ装置1へ送信する。オンライン商談サーバ装置1は、参加者として登録されたユーザに対して、オンライン商談の開催日時及びオンライン商談へアクセスするためのURL又はリンク等の情報を含む開催通知を電子メールなどにより送信する。
Further, in the information processing system according to the present embodiment, the user who is the organizer of the online business negotiation uses the
商談映像処理部31bは、通信部33にて商談記録サーバ装置2との間で通信を行い、商談記録サーバ装置2が商談映像DB22bに記録した商談映像の検索及び表示等の処理を行う。商談映像処理部31bは、例えばユーザが参加したオンライン商談に関する情報を一覧表示し、これらの中からいずれか1つのオンライン商談の選択をユーザから受け付けて、受け付けたオンライン商談を録画した商談映像の動画像データを商談記録サーバ装置2に要求し、商談記録サーバ装置2から送信される動画像データを再生して表示部34に表示する。
The business negotiation
また商談映像処理部31bは、例えばユーザから検索用のキーワードの入力を受け付け、受け付けたキーワードを商談記録サーバ装置2へ送信するとともに、商談記録サーバ装置2から検索結果を受信して、キーワードに合致する商談映像に関する情報の一覧表示等を行う。また商談映像処理部31bは、表示した商談映像に対するユーザのコメントの入力を受け付け、受け付けたコメントを商談記録サーバ装置2へ送信して商談映像DB22bに記録させる。
Further, the negotiation
また商談映像処理部31bは、商談記録サーバ装置2が商談映像を基に分析した種々の情報を取得して、取得した分析結果の情報を表示部34に表示する。商談記録サーバ装置2は、例えばオンライン会議において各ユーザが発話した回数、発話した合計時間、及び、1回の発話の継続時間の最長値等の分析を行い、これらの分析結果を商談映像DB22bに記録すると共に、オンライン商談に参加したユーザの端末装置3へ送信する。商談映像処理部31bは、商談記録サーバ装置2が送信する分析結果の情報を受信し、分析結果の表示を行う。
The business negotiation
<オンライン商談処理>
本実施の形態に係る情報処理システムにおいては、オンライン商談に参加する予定の少なくとも1人のユーザが開催者となって、予めオンライン商談サーバ装置1にオンライン商談の日時及び参加者等の情報を登録する。オンライン商談サーバ装置1は登録された参加者に対してオンライン商談の開催通知を送信し、オンライン商談の開始時刻に至った場合(又はそれより前の時点)に、開催通知に付したURL又はリンク等のアクセス用情報を利用した端末装置3からのアクセスを受け付けて、オンライン商談を開催する。
<Online Negotiation Processing>
In the information processing system according to the present embodiment, at least one user who is scheduled to participate in an online business meeting acts as an organizer, and registers information such as the date and time of the online business meeting and the participants in the online business
またオンライン商談の開催者のユーザは、端末装置3にて商談記録サーバ装置2にオンライン商談の日時及びURL等を設定し、商談記録サーバ装置2による商談映像の記録処理を行うボットをオンライン商談に1人のユーザとして参加させる。オンライン商談に参加したボットは、他の複数のユーザの端末装置3からそれぞれ送信される映像のデータを、オンライン商談サーバ装置1を介して受信し、受信した商談の映像を商談映像DB22bに記録することができる。
In addition, the user of the online business meeting organizer sets the date and time of the online business meeting, the URL, etc. in the business meeting
本実施の形態に係る情報処理システムでは、商談記録サーバ装置2のボットがオンライン商談に関する商談映像の記録を開始する前に、オンライン商談に参加するユーザから商談映像の記録に対する同意を取る処理が行われる。商談記録サーバ装置2は、オンライン商談に参加するユーザの端末装置3に、商談映像の記録に同意するか否かを問い合わせるメッセージ表示等を行い、この問い合せに対するユーザの回答を受け付ける。商談記録サーバ装置2は、オンライン商談に参加する全てのユーザからの同意が得られた場合に、商談映像の記録を開始する。全てのユーザからの同意が得られなかった場合(少なくとも1人のユーザが商談映像の記録を拒否した場合)には、商談記録サーバ装置2は、商談映像の記録を行わず、例えばオンライン商談からボットを退出させる。また商談記録サーバ装置2は、同意が得られたか否かに関わらず、各ユーザが同意したか否かについての情報を、商談映像DB22bに「同意情報」として記録する。
In the information processing system according to the present embodiment, before the bot of the business meeting
なお、商談記録サーバ装置2による同意取得は、例えば端末装置3の表示部34にダイアログボックス又はポップアップウィンドウ等を表示し、このダイアログボックス等に同意するか否かを問い合わせるメッセージを表示すると共に、ユーザからの回答を受け付けるための「はい」及び「いいえ」のラベルが付された2つのボタンを設け、このボタンに対する操作をユーザから受け付けることによって行われ得る。また例えば商談記録サーバ装置2は、オンライン商談のチャット機能を利用して、各ユーザの端末装置3に商談映像の記録に同意するか否かを問い合わせるメッセージを表示し、チャット機能を介して各ユーザからの回答を取得してもよい。この場合に商談記録サーバ装置2は、各ユーザから取得した回答の文章を商談映像DB22bに「同意情報」として記録する。また例えば商談記録サーバ装置2は、音声による問い合わせメッセージを端末装置3に音声出力させ、各ユーザの発話による回答を取得してもよい。この場合に商談記録サーバ装置2は、ユーザから取得した回答の音声のデータ又はこの音声をテキスト化したデータを商談映像DB22bに「同意情報」として記録する。なおこれらの商談記録サーバ装置2による同意取得の方法は一例であってこれに限るものではなく、同意取得はどのような方法で行われてもよい。
Acquisition of consent by the negotiation
商談映像の記録を開始した商談記録サーバ装置2は、オンライン商談が終了するまで記録を継続して行う。オンライン商談サーバ装置1は、オンライン商談に参加する複数のユーザが使用する複数の端末装置3の間で、ユーザを撮影した画像及びユーザの発話した音声を含む動画像データを送受信することにより、複数のユーザによるオンラインでの商談を実現する。商談が終了して全てのユーザが退出(端末装置3によるオンライン商談サーバ装置1との接続を解除)した後、商談記録サーバ装置2は、商談映像DB22bに記録された商談映像に含まれるユーザの発話音声をテキスト化する処理を行う。なお本実施の形態においては、商談記録サーバ装置2が商談映像の音声をテキスト化する処理をオンライン商談の終了後に行うものとするが、これに限るものではなく、オンライン商談が実施されている間に音声のテキスト化を並行して行ってもよい。
The business meeting
商談記録サーバ装置2は、既存の音声認識処理の技術を用いて、商談映像に含まれるユーザの発話の音声をテキスト化する。このときに商談記録サーバ装置2は、オンライン商談に参加したユーザ毎に発話音声を区別してテキスト化する。商談記録サーバ装置2は、発話の音声から変換したテキストの情報を、この発話を行ったユーザのユーザ名と、商談映像における発話のタイミングに関する情報とに対応付けて、商談映像DB22bに記録する。
The business negotiation
また商談記録サーバ装置2は、予め機械学習がなされた学習モデルを用い、商談映像の音声を変換したテキスト情報に基づいて、オンライン商談に参加したユーザの発話内容に含まれるトピックを分類する処理を行う。学習モデルは、例えばテキスト情報の入力に対して、このテキスト情報に含まれるトピックが何であるかを分類する分類モデルが用いられ得る。なお学習モデルは、1つの入力テキスト情報を複数のトピックに分類してもよい。商談記録サーバ装置2は、商談映像の音声を変換したテキスト情報を学習モデルへ入力し、学習モデルが出力するトピックの分類結果を取得する。商談記録サーバ装置2は、取得したトピックの分類結果を、テキスト情報に対応付けて商談映像DB22bにトピック情報として記録する。
In addition, the negotiation
図5は、本実施の形態に係る商談記録サーバ装置2が行うオンライン商談処理の手順を示すフローチャートである。本実施の形態に係る商談記録サーバ装置2の処理部21は、例えばオンライン商談の開催者による操作に基づいて端末装置3から与えられる命令等に基づき、商談映像を記録するボットをオンライン商談に参加させる(ステップS1)。
FIG. 5 is a flow chart showing the procedure of online negotiation processing performed by the negotiation
次いで処理部21の同意処理部21gは、オンライン商談に参加するユーザに対して、商談映像の記録に関する同意を取る処理を行う(ステップS2)。この土器の同意処理部21gは、各ユーザの端末装置3に同意の有無を問い合わせるメッセージを表示させ、この問い合わせに対する回答をユーザから端末装置3を介して取得し、取得した各ユーザの回答を商談映像DB22bに「同意情報」として記録する。同意処理部21gは、オンライン商談に参加する全てのユーザから同意が得られたか否かを判定する(ステップS3)。全てのユーザから同意が得られなかった場合(S4:NO)、即ち少なくとも1人のユーザが商談映像の記録を拒否した場合、同意処理部21gは、ボットをオンライン商談から退出させ(ステップS4)、処理を終了する。
Next, the
全てのユーザから同意が得られた場合(S3:YES)、処理部21の商談映像取得部21aは、オンライン商談に参加する各ユーザの端末装置3がオンライン商談サーバ装置1へ送信する動画像及び音声のデータを含む商談映像を、このオンライン商談に参加させたボットを介して取得し、取得した商談映像を商談映像DB22bに記録する(ステップS5)。商談映像取得部21aは、オンライン商談が終了したか否かを判定(ステップS6)、オンライン商談が終了していない場合には(S6:NO)、ステップS5へ処理を戻して商談映像の記録を継続して行う。
If consent has been obtained from all users (S3: YES), the business negotiation
オンライン商談が終了した場合(S6:YES)、処理部21のテキスト化処理部21bは、商談映像DB22bに記録された商談映像に含まれるユーザの発話音声をテキスト化する処理を行う(ステップS7)。このときにテキスト化処理部21bは、発話の音声を変換したテキストを、オンライン商談における発話のタイミング及び発話者等の情報に対応付けて商談映像DB22bに記録する。またテキスト化処理部21bは、発話の音声を変換したテキストに基づいて、ユーザの発話内容に含まれるトピックを分類する処理を行う(ステップS8)。このときにテキスト化処理部21bは、予め機械学習がなされたトピックの分類を行う学習モデルを用い、変換したテキストを学習モデルへ入力して、学習モデルが出力するトピックの分類結果を取得することで、ユーザの発話内容のトピックを分類する。テキスト化処理部21bによるトピック分類の処理が終了した後、処理部21は、オンライン商談処理を終了する。
When the online business negotiation has ended (S6: YES), the text
図6及び図7は、商談映像の一表示例を示す模式図である。例えばオンライン商談に参加したユーザは、端末装置3を利用して商談記録サーバ装置2へアクセスし、商談映像DB22bに記録された商談映像を視聴することができる。図6には、端末装置3が商談映像を再生して表示する再生画面が描かれている。端末装置3は、商談映像の再生画面において、例えば上部に「オンライン商談会」などのタイトル文字列と、「2021年10月4日19時00分」などのオンライン商談が行われた日時の情報とを示し、これらの下方に商談映像を再生した動画像を表示する。本例では、5人のユーザと商談記録サーバ装置2のボットとがオンライン商談に参加し、ユーザを撮影した画像が3×2のマトリクス状に並べて配された動画像が表示されている。
6 and 7 are schematic diagrams showing one display example of the business negotiation video. For example, a user who participates in an online business negotiation can access the business negotiation
端末装置3は、再生画面の動画像の表示領域の下方に、再生、巻き戻し及び早送り等の操作を受け付ける複数のボタンを画面の中央に並べて設け、これらのボタンの右側には「動画」及び「テキスト」のいずれかを選択する二者択一の2つのボタンを設ける。図6に示す例は「動画」のラベルが付されたボタンが選択された状態であり、「テキスト」のボタンが選択された状態は図7に示されている(図7の詳細は後述する)。
The
端末装置3は、再生画面のこれら複数のボタンが設けられた箇所の下方に、商談映像の再生時点を示すシークバーを設ける。ユーザは、端末装置3の操作部35によりシークバーが備えるスライダーを左右へスライドさせる操作を行うことによって、商談映像の再生時点(再生時刻、再生位置)を適宜に変更することができる。また本実施の形態に係る端末装置3は、商談映像の再生画面において、このシークバーの下方に、オンライン商談に参加したユーザの発話タイミングを示す発話タイミングバーを表示する。図6に示す例では、オンライン商談に参加した5人のユーザに対応する5つの発話タイミングバーが上下に並べて表示されている。シークバーと各発話タイミングバーとは略同じ長さで左右に延びるように設けられており、シークバーが示す商談映像の再生時点と、発話タイミングバーが示す発話タイミングとが対応付けられている。
The
端末装置3は、各発話タイミングバーの左上にこの発話タイミングバーに対応するユーザのユーザ名等を表示し、右上にはオンライン商談の全時間に対してユーザが発話していた時間を0%~100%の割合で表示する。各発話タイミングバーは、左右に延びる薄い色のバーに対して、ユーザが発話したタイミング及び発話を継続していた時間を示す濃い色の領域を付したものである。発話タイミングバーに付された濃い色の領域が多いユーザほど、オンライン商談において発話した量及び時間等が多いことがわかる。また各発話タイミングバーはシークバーと対応付けられており、商談映像を視聴するユーザは、所望のユーザの発話タイミングバーに付された濃い色の領域に対応する位置へシークバーのスライダーを移動させることによって、商談映像において所望のユーザが発話する場面を表示させることができる。
The
端末装置3は、再生画面に設けられた「テキスト」のボタンが選択された場合、図7に示すテキスト表示画面を表示部34に表示する。端末装置3は、テキスト表示画面において、図6の再生画面において商談映像を表示していた領域に、商談映像の音声を変換したテキストを時系列順に上下に並べて表示する。また端末装置3は、このテキストの表示領域の隣に、商談映像を縮小したものを表示する。端末装置3は、商談映像の再生と同期して、テキスト表示画面に表示した発話内容のテキストを上下方向へスクロールさせる。これによりテキスト表示画面では、再生された商談映像にてユーザが発話している内容がテキストとして表示され、商談映像の進行に伴って表示されるテキストが変化する。
When the "text" button provided on the playback screen is selected, the
端末装置3は、テキスト表示画面において各ユーザの発話内容のテキストと共に、この発話がなされたタイミングと、この発話を行ったユーザのユーザ名等とを表示する。図示の例では、「01:57」の発話タイミングで「ユーザA」が発話した「なんかいったん一週間二週間試して…」のテキストが表示され、「02:11」の発話タイミングで「ユーザB」が発話した「はい大丈夫です それは分かりやすいと思います」のテキストが表示され、「02:19」の発話タイミングで「ユーザA」が発話した「いったん試しに一二週間これをやってみようかなと…」のテキストが表示されている。端末装置3が表示するこれらの情報は、商談映像に対応付けて商談記録サーバ装置2の商談映像DB22bに記録されたものである。商談記録サーバ装置2は、表示のために商談映像を端末装置3へ送信する際に、対応付けられたテキスト情報、発話タイミング及び発話者の情報を商談映像DB22bから読み出して端末装置3へ送信する。
The
<商談映像の共有処理>
本実施の形態に係る情報処理システムでは、オンライン商談の終了後に、商談記録サーバ装置2が商談映像DB22bに記録した商談映像を、複数のユーザで共有することができる。なお本実施の形態において商談映像の共有とは、複数のユーザが商談映像を視聴することができる状態となることを言い、更には商談映像に対して各ユーザがコメント等を残すことが可能であってもよい。商談映像は必ずしも各ユーザの端末装置3が有する(即ち、端末装置3が記憶する)必要はなく、各ユーザが商談記録サーバ装置2にアクセスして商談映像を視聴することが可能な状態であればよい。
<Sharing processing of business negotiation video>
In the information processing system according to the present embodiment, after the online business negotiation ends, the business negotiation video recorded in the business
本実施の形態に係る情報処理システムでは、オンライン商談の終了後に、例えばこのオンライン商談の開催者のユーザが商談映像を共有するための情報を商談記録サーバ装置2から取得し、この共有情報を他のユーザへ送信することによって商談映像の共有が実現される。なお、商談映像を共有するための情報の取得及び送信は、開催者のユーザに限らず、開催者以外のユーザにより行われてもよい。また、商談映像の共有はオンライン商談に参加したユーザに限定されていてもよく、オンライン商談に参加したか否かに関わらず任意のユーザが商談映像を共有することが可能であってもよい。商談記録サーバ装置2が記録した商談映像に対するアクセス権限の設定は、適宜になされ得る。
In the information processing system according to the present embodiment, after an online business meeting ends, for example, information for sharing a business meeting video by a user who is the host of the online business meeting is acquired from the business meeting
図8は、商談映像の共有を説明するための模式図である。例えばオンライン商談の開催者のユーザは、オンライン商談の終了後に、端末装置3にて商談記録サーバ装置2に直接的にアクセスしてオンライン商談の商談映像を視聴することができる。このときに端末装置3は、図6に示した再生画面を表示部34に表示する。ユーザは、商談映像の再生画面が表示されている際に所定の操作を行うことによって、表示されている商談映像にアクセスするためのリンク情報を生成することができる。端末装置3は、再生画面において所定の操作がなされた場合、図8に示すように、このリンク情報を生成するためのダイアログボックスを再生画面に重ねて表示する。
FIG. 8 is a schematic diagram for explaining sharing of a business negotiation video. For example, after the online business negotiation ends, the user of the online business negotiation can directly access the business negotiation
端末装置3は、ダイアログボックスの上部に「動画を共有する」のタイトル文字列を表示し、その下方に「現在の再生時刻を共有」、「動画を共有」及び「再生時刻を指定して共有」の3つの選択肢を上下に並べて表示する。端末装置3は、3つの選択肢にそれぞれラジオボタンを設け、このラジオボタンにより3つの選択肢のうちのいずれか1つの選択を受け付ける。また端末装置3は、ダイアログボックスの右下の位置に、「リンクをコピーする」のラベルが付されたボタンを表示する。ユーザが端末装置3の操作部35を使用していずれか1つの選択肢を選択し、「リンクをコピーする」のボタンに対する操作を行った場合に、端末装置3は、再生画面において再生している商談映像を複数のユーザが共有するためのリンク情報、即ち商談記録サーバ装置2に記録された商談映像にアクセスするためのURL等の情報を生成する。
The
生成されたリンク情報は、端末装置3のいわゆるコピー&ペーストに用いられるクリップボードにコピーされる。ユーザは、ペースト操作を行うことによってクリップボードにコピーされたリンク情報を電子メール等に貼り付け、商談映像を共有したいユーザに対して送信することができる。電子メール等の受信によりリンク情報を得たユーザは、自身の端末装置3を使用してリンク情報に基づく商談記録サーバ装置2へのアクセスを行うことによって、所望の商談映像を自身の端末装置3にて再生することができる。リンク情報に基づいて商談映像にアクセスした場合、端末装置3は、図6に示した再生画面を表示して商談映像を再生する。
The generated link information is copied to a clipboard used for so-called copy and paste of the
「現在の再生時刻を共有」は、再生画面において再生されている商談映像の再生時刻で、この商談映像を共有する選択肢である。この選択肢が選択された場合、リンク情報には商談映像の現在の再生時刻に関する情報が埋め込まれる。このリンク情報を介して商談映像にアクセスして再生する場合、端末装置3は、商談映像をリンク情報に埋め込まれた再生時刻から再生を開始する。「動画を共有」は、再生時刻の情報を含まないリンク情報を生成してこの商談映像を共有する選択肢である。このリンク情報を介して商談映像にアクセスして再生する場合、端末装置3は、商談映像の最初から再生を開始する。「再生時刻を指定して共有」は、再生画面において再生されている商談映像の再生時刻ではなく、ユーザが任意の再生時刻を指定して商談映像を共有する選択肢である。この選択肢が選択された場合、端末装置3は、再生時刻を指定するための画面表示(図示は省略する)を行い、ユーザから商談映像の再生時間中の任意の時刻の指定を受け付ける。リンク情報には、ユーザが指定した再生時刻に関する情報が埋め込まれる。
“Share current playback time” is an option for sharing the business negotiation video at the playback time of the business negotiation video being played back on the playback screen. When this option is selected, information regarding the current reproduction time of the business negotiation video is embedded in the link information. When accessing and reproducing the negotiation video via this link information, the
「リンクをコピーする」のボタンに対するクリック操作又はタッチ操作等が行われた場合、端末装置3はユーザが選択した共有方法及び指定された再生時刻等の情報を商談記録サーバ装置2へ送信してリンク情報の生成を依頼する。商談記録サーバ装置2は、端末装置3からリンク情報の生成依頼を受信し、依頼された商談映像にアクセスして指定時刻から再生を開始するためのリンク情報を生成し、依頼元の端末装置3へ送信する。端末装置3は、商談記録サーバ装置2からリンク情報を受信し、受信したリンク情報をクリップボード等にコピーしてユーザに提供する。
When a click operation or a touch operation is performed on the "copy link" button, the
図9は、本実施の形態に係る商談記録サーバ装置2が行う商談映像共有処理の手順を示すフローチャートである。本実施の形態に係る商談記録サーバ装置2の処理部21は、端末装置3に図6又は図7に示す再生画面を表示させて(ステップS21)、ユーザが所望する商談画像を再生して表示する。処理部21の共有処理部21dは、例えば端末装置3の再生画面において例えばメニュー項目の選択操作、アイコン操作又はショートカット操作等の所定操作が行われたか否かに基づいて、端末装置3にて商談画像を共有するための共有操作がなされたか否かを判定する(ステップS22)。共有操作がなされていない場合(S22:NO)、処理部21は、端末装置3による再生画面の表示を継続して行わせる。
FIG. 9 is a flow chart showing the procedure of the negotiation video sharing process performed by the negotiation
共有操作がなされた場合(S22:YES)、共有処理部21dは、図8に示したダイアログを端末装置3に表示させ(ステップS23)、端末装置3を介して商談映像の共有方法の選択を受け付ける(ステップS24)。共有処理部21dは、選択された共有方法に基づいて、商談映像にアクセスして指定された再生時刻から再生を開始するためのリンク情報を生成し(ステップS25)、ステップS21へ処理を戻す。リンク情報には、例えば商談映像が保管されている場所を示すURL等の情報と、再生時刻の情報とが含まれ得る。なお本図のフローチャートにおいては、ダイアログの表示及び共有方法の選択等の処理を商談記録サーバ装置2が端末装置3を介して行うものとしているが、これに限るものではなく、これらの処理を端末装置3が単独で行い、処理結果を商談記録サーバ装置2へ送信してもよい。
If a sharing operation has been performed (S22: YES), the
また、本実施の形態に係る情報処理システムでは、端末装置3にて再生して表示された商談映像に対して、ユーザがコメントを付すことができる。本実施の形態に係る情報処理システムのコメントは、商談映像の特定の再生時刻に対応付けて商談映像DB22bに記録され、一のユーザが商談映像に付したコメントは、この商談映像を共有する他のユーザに共有される。
Further, in the information processing system according to the present embodiment, the user can add a comment to the business negotiation video reproduced and displayed on the
図10は、コメント機能を説明するための模式図である。商談映像を再生して表示する再生画面において、コメントが付された商談映像を再生する場合、端末装置3は、コメントが存在することをユーザに通知する例えば吹き出し形状のアイコンをシークバーの上側に表示する。コメントのアイコンは、コメントに対応付けられた再生時刻の位置に表示される。端末装置3は、コメントのアイコンに対するクリック操作又はタッチ操作等に応じて、このコメントの再生時刻から商談映像を再生して表示すると共に、コメントの表示を行う。このときに端末装置3は、商談記録サーバ装置2から商談映像に対応付けて記憶された一又は複数のコメントに関する情報を取得して、この商談映像に対して付されたコメントを表示する。
FIG. 10 is a schematic diagram for explaining the comment function. When reproducing a business negotiation video with a comment on the reproduction screen that reproduces and displays the business negotiation video, the
本実施の形態に係る情報処理システムでは、端末装置3は、再生画面の右側にコメント領域を表示する。コメント領域は、上下方向に延びる長方形領域であり、最上部に「コメント」のタイトル文字列が表示され、このタイトル文字列の下方に一又は複数のコメントが時系列順で上下に並べて表示される。端末装置3は、各コメントについて、コメントを入力したユーザのユーザ名、対応する再生時刻及びコメントの文章等の情報を矩形枠で囲んで表示する。端末装置3は、コメント領域に表示された一のコメントの選択操作がユーザによりなされた場合、選択されたコメントに対応付けられた再生時刻から商談映像の再生を開始する。図示の例では、ユーザAが「仮設設定が…」とのコメントを付し、これに対してユーザBが「○○という角度からヒアリングも…」とのコメントを返している。また、ユーザAは「○○に関してこの伝え方…」とのコメントを付している。
In the information processing system according to this embodiment, the
端末装置3は、コメント領域の下部に、コメントを入力するためのテキストボックスと、時刻を指定するための時刻設定部と、「送信」及び「キャンセル」の2つのボタンとを設ける。時刻設定部には再生画面で再生されている商談映像の再生時刻が初期値として表示され、ユーザはこの再生時刻を増減して任意の時刻を設定することができる。「送信」ボタンに対する操作がなされた場合、端末装置3は、テキストボックスに入力されたコメントの文章と、時刻設定部に設定された再生時刻とを商談記録サーバ装置2へ送信することで、商談映像DB22bにコメントに関する情報を登録する。商談記録サーバ装置2は、端末装置3からコメントの文章及び再生時刻の情報を受信した場合、これらの情報を再生中の商談映像に対応付けて商談映像DB22bに記録する。商談記録サーバ装置2は、再生のために商談映像のデータを端末装置3へ送信する際に、商談映像DB22bに対応付けられたコメントが記録されているか否かを調べ、コメントが記録されている場合にはその情報を読み出して商談映像と共に端末装置3へ送信する。
The
図11は、本実施の形態に係る商談記録サーバ装置2が行うコメント処理の手順を示すフローチャートである。本実施の形態に係る商談記録サーバ装置2の処理部21のコメント処理部21eは、端末装置3が再生画面を表示している際に所定の操作がなされた場合、再生画面の右側にコメント領域を表示させる(ステップS31)。またコメント処理部21eは、再生画面にて再生されている商談映像に対して付されたコメント情報を商談映像DB22bから取得して端末装置3へ送信することにより、コメント領域に一又は複数のコメントを表示させる(ステップS32)。
FIG. 11 is a flow chart showing the procedure of comment processing performed by the negotiation
コメント処理部21eは、端末装置3を介して、コメント領域にてユーザのコメントの入力が行われたか否かを判定する(ステップS33)。コメントの入力が行われていない場合(S33:NO)、コメント処理部21eは、ステップS31へ処理を戻す。コメントの入力が行われた場合(S33:YES)、コメント処理部21eは、ユーザが入力したコメントを端末装置3から取得し、商談映像に対応付けてコメント情報を商談映像DB22bに記録し(ステップS34)、処理を終了する。
The
<商談映像の検索処理>
本実施の形態に係る情報処理システムでは、上述のように商談記録サーバ装置2が商談映像に含まれる音声をテキスト化する処理を行い、商談映像と共に参加者の発話内容のテキスト情報を商談映像DB22bに記録する。本実施の形態に係る情報処理システムでは、商談映像に対応付けられたテキスト情報を対象にして、商談映像の検索を行うことができる。
<Search processing for business negotiation video>
In the information processing system according to the present embodiment, as described above, the business negotiation
図12は、商談映像の検索画面の一例を示す模式図である。端末装置3は、メニュー項目の選択操作、アイコン操作又はショートカット操作等の所定操作に応じて検索画面を表示部34に表示し、ユーザから検索する商談映像の条件等の入力を受け付ける。検索画面には、左側にユーザが種々の検索条件を入力するための条件入力領域が設けられている。図示の検索画面では「ミーティングホスト名」及び「キーワード検索」の検索条件と、更に「基本情報」として「会話タイトル」、「会議の参加者」及び「日付」等の検索条件が入力可能であり、各条件を入力するためのテキストボックス、コンボボックス又はプルダウンメニュー等の入力部が、条件入力領域内に上下方向へ並べて設けられている。
FIG. 12 is a schematic diagram showing an example of a search screen for business negotiation videos. The
また端末装置3は、検索画面の右側の領域に、条件入力領域にてユーザが設定した条件に該当する一又は複数の商談映像に関する情報を、例えばオンライン商談の開催日の順番で、上下方向に一覧表示する。図示の例では、表示の順番が「ソート順:日付」であることが示されており、この表示の順番はユーザが変更可能である。一覧表示される各商談映像に関する情報には、商談映像のサムネイル画像、オンライン商談の開催日時、オンライン商談の参加者のユーザ名、及び、商談映像の音声をテキスト化した情報の一部等が含まれ得る。また表示される各情報に含まれるテキスト情報は、例えばユーザがキーワード検索の条件として入力したキーワードを含むテキスト情報であり、該当するキーワードが拡大表示又は色変え表示等により強調表示される。図示の例では、「参加者」が「ユーザA、ユーザB、ユーザC」である「オンライン商談A」についてサムネイル画像及び「でそれを使う側は…」のテキスト等が1番目に表示され、「参加者」が「ユーザD、ユーザE、ユーザF」である「オンライン商談B」についてサムネイル画像及び「手作業が入ってしまって…」のテキスト等が2番目に表示され、「参加者」が「ユーザG、ユーザH」である「オンライン商談C」についてサムネイル画像及び「そして公開範囲に関して…」のテキスト等が3番目に表示されている。
In addition, the
検索画面を表示した端末装置3は、条件入力領域に設けられた検索条件の入力部のいずれかに対する検索条件の入力を受け付けた場合、受け付けた検索条件を商談記録サーバ装置2へ送信して商談映像の検索を要求する。この要求に応じて商談記録サーバ装置2は、商談映像DB22bに記録された商談映像の中から、検索条件に該当する一又は複数の商談映像を探し出し、該当する商談映像に関する情報を要求元の端末装置3へ検索結果として送信する。このときに商談記録サーバ装置2は、検索条件に合致した商談映像に関する情報として、サムネイル画像、開催日時、参加者及びテキスト情報等の情報を端末装置3へ送信する。端末装置3は、商談記録サーバ装置2からの検索結果を受信して、検索画面に検索結果を一覧表示する。
When the
例えば商談記録サーバ装置2は、検索条件としてミーティングホスト名が設定された場合、商談映像DB22bに記録された商談映像の中から、参加者として最初に登録されているユーザ名が検索条件と一致するものを抽出して検索結果とすることができる。例えば商談記録サーバ装置2は、キーワード検索として所定の文字列が検索条件に設定された場合、商談映像DB22bに記録された発話テキストの中からキーワードの文字列を含むものを抽出し、この発話テキストに対応付けられた商談映像を抽出して検索結果とすることができる。
For example, when the meeting host name is set as a search condition, the business meeting
また例えば商談記録サーバ装置2は、商談映像に付されたタイトルを検索条件として、商談映像の検索を行うことができる。なお図3において示されていないが、商談映像のタイトルは、例えばオンライン商談の開始前に主催者のユーザにより設定され、商談映像DB22bに商談映像と共に記録され得る。商談記録サーバ装置2は、タイトルの検索条件として設定された文字列を取得し、この文字列をタイトルに含む商談映像を商談映像DB22bから抽出して検索結果とすることができる。また例えば商談記録サーバ装置2は、検索条件として参加者のユーザ名が設定された場合、商談映像DB22bに記録された参加者の情報に基づいて、設定されたユーザ名のユーザが参加したオンライン商談の商談映像を抽出して検索結果とすることができる。また例えば商談記録サーバ装置2は、日付の検索条件が設定された場合も同様に、商談映像DB22bに商談映像と共に記録された日付の情報を基に、該当する商談映像を抽出することができる。
Further, for example, the business negotiation
図13は、本実施の形態に係る商談記録サーバ装置2が行う商談映像検索処理の手順を示すフローチャートである。本実施の形態に係る商談記録サーバ装置2の処理部21の検索処理部21cは、端末装置3を介して、ユーザが入力したキーワード又は参加者等の検索条件を受け付ける(ステップS41)。検索処理部21cは、商談映像に対応付けて商談映像DB22bに記録されたテキスト情報又はユーザ名等の種々の情報に基づいて、商談映像DB22bに記録された商談映像の中から、受け付けた検索条件に該当する情報を有する商談映像を抽出する(ステップS42)。
FIG. 13 is a flow chart showing the procedures of the negotiation video search process performed by the negotiation
次いで検索処理部21cは、抽出した一又は複数の商談映像に対応付けて商談映像DB22bに記録された種々の情報を取得する(ステップS43)。検索処理部21cは、商談映像DB22bから取得した商談映像に関する情報を端末装置3へ送信し(ステップS44)、これらの情報を検索結果として端末装置3に表示させて、検索処理を終了する。
Next, the
また、本実施の形態に係る情報処理システムでは、上述のような商談映像DB22bに記録された複数の商談映像に対する検索の他に、1つの商談映像に対して参加者の発話内容を検索する機能が提供される。図14は、発話内容の検索機能を説明するための模式図である。端末装置3は、例えば図6に示した再生画面にて商談映像の再生を行っている際に、メニュー項目の選択操作、アイコン操作又はショートカット操作等の所定操作に応じて、再生中の商談映像に関する発話内容のテキスト情報を対象とした検索を行うための検索領域を再生画面の左側に表示する。検索領域の上部には「発話検索」のタイトル文字列が表示され、タイトル文字列の下方に検索条件となるキーワードを入力するダイアログボックスが設けられる。このダイアログボックスの下方には、検索結果として一又は複数のテキスト情報が上下方向に並べて一覧表示される。検索結果として一覧表示される情報には、該当する発話を行ったユーザのユーザ名と、この発話が行われた再生時刻と、発話内容をテキスト化したテキスト情報とが含まれ得る。端末装置3は、検索結果として表示するテキスト情報に含まれる検索条件のキーワードを強調表示する。
Further, in the information processing system according to the present embodiment, in addition to searching for a plurality of business discussion videos recorded in the business
再生画面の左側に検索領域を表示した端末装置3は、検索領域のダイアログボックスに入力されるキーワードを取得する。端末装置3は、再生している商談映像がいずれであるかを示す情報と、入力されたキーワードとを商談記録サーバ装置2へ送信し、発話内容の検索を要求する。この要求に応じて商談記録サーバ装置2は、対象の商談映像に対応付けて商談映像DB22bに記録されたテキスト情報の中から、入力されたキーワードを含む発話テキストを抽出する。商談記録サーバ装置2は、キーワードを含む発話テキスト及びこれに関連付けられた発話者等の情報を、検索の要求元の端末装置3へ検索結果として送信する。端末装置3は、商談記録サーバ装置2から受信した検索結果に基づいて、検索条件として入力されたキーワードを含む発話内容のテキスト情報を、例えば再生時刻の順に一覧表示する。図示の例は、キーワードとして「リリース」が入力された場合のものである。検索結果として、「ユーザA」の「…まずはあれですね“リリース”ほんとにお疲れさまでした…」の発話テキストと、「ユーザB」の「…そのとおりなんだけど“リリース”してみないと分からないという…」の発話テキストと、「ユーザC」の「…ありがとうございます“リリース”の数字なんですけど…」の発話テキストとが表示されている。検索結果の発話テキストは、検索のキーワードである「リリース」が強調表示されている。
The
なお本実施の形態においては、発話内容の検索処理を商談記録サーバ装置2が行うものとするが、これに限るものではなく、端末装置が検索処理を行ってもよい。この場合に端末装置3は、例えば再生する商談映像を商談記録サーバ装置2から取得する際に、この商談映像に対応付けられたテキスト情報を取得して記憶しておく。端末装置3は、記憶しておいたテキスト情報の中から、入力された検索条件のキーワードを含むテキスト情報を抽出して検索結果として表示することができる。
In this embodiment, it is assumed that the business negotiation
検索結果の一覧表示を行った後、端末装置3は、一覧表示したテキスト情報の中からいずれか1つの選択操作を受け付ける。選択操作を受け付けた場合に端末装置3は、選択されたテキスト情報に対応付けられた再生時刻を取得し、この再生時刻から再生画面における商談映像の再生を開始する。
After displaying the list of search results, the
<商談映像の分析処理>
本実施の形態に係る情報処理システムは、商談記録サーバ装置2が商談映像DB22bに記録した商談映像及びこれに関連する種々の情報を基に、オンライン商談に関する種々の情報を分析する機能を提供する。例えば図6に示した再生画面において、端末装置3は、再生した商談映像の表示領域の下方に、商談映像の再生時刻を示すシークバーと並べて、オンライン商談に参加したユーザの発話タイミングを示す発話タイミングバーを表示する。各発話タイミングバーに示すユーザの発話タイミングは、商談記録サーバ装置2の商談映像DB22bに記録されたテキスト情報の発話タイミングを集計したものである。また端末装置3は、各ユーザの発話タイミングバーの右端近傍に、各ユーザの発話割合を0%~100%の数値で表示する。発話割合は、このオンライン商談において全ての参加者の発話時間の合計値に対し、各ユーザの発話時間の割合を算出したものである。
<analysis processing of business negotiation video>
The information processing system according to the present embodiment provides a function of analyzing various information related to online business negotiations based on the business negotiation video recorded in the business
本実施の形態において各ユーザの発話タイミング及び発話時間の割合等の情報は、商談記録サーバ装置2が商談映像DB22bに記録された情報に基づいて生成し、商談映像を再生して表示する端末装置3へ送信する。ただし、商談記録サーバ装置2は商談映像DB22bに記録された情報を端末装置3へ送信し、この情報を受信した端末装置3が発話タイミング及び発話時間の割合等の情報を生成して表示してもよい。
In the present embodiment, information such as the utterance timing and utterance time ratio of each user is generated by the business negotiation
上述の図6に示した発話タイミング及び発話時間の割合等の情報は、1つの商談映像に録画されたオンライン商談に関して情報を分析したものである。本実施の形態に係る情報処理システムでは、1つの商談映像に関して情報を分析するのみでなく、商談映像DB22bに記録された複数の商談映像に関して情報を分析し、分析結果をユーザに提供することができる。この情報分析の処理は商談記録サーバ装置2が商談映像DB22bに記録された情報に基づいて行い、処理結果を端末装置3へ送信する。端末装置3は、商談記録サーバ装置2から分析結果を受信して表示部34に表示する。
The information such as the timing of utterance and the rate of utterance time shown in FIG. 6 is obtained by analyzing the information regarding the online business negotiations recorded in one video of the business negotiations. In the information processing system according to the present embodiment, it is possible not only to analyze information about one video of business negotiations, but also to analyze information about a plurality of videos of business negotiations recorded in the
図15は、分析結果の表示画面の一例を示す模式図である。本実施の形態に係る情報処理システムが提供する情報分析の機能を利用するユーザは、例えば分析対象となる一又は複数のユーザをチームとして商談記録サーバ装置2に登録しておき、端末装置3から分析処理を商談記録サーバ装置2へ指示することにより、商談記録サーバ装置2から分析結果を取得して端末装置3に表示させることができる。図示の例では、予め登録された複数のユーザについて、「平均会話時間」、「週の会話数」、「週の会話時間」、「合計会話数」、「合計会話時間」及び「会話に参加した回数」の6つ分析項目について商談記録サーバ装置2が分析を行い、その分析結果を端末装置3が表示している。
FIG. 15 is a schematic diagram showing an example of a display screen for analysis results. A user who uses the information analysis function provided by the information processing system according to the present embodiment registers, for example, one or a plurality of users to be analyzed as a team in the negotiation
商談記録サーバ装置2は、例えば1週間、1ヶ月又は1年等の所定期間について、登録されたユーザが参加したオンライン商談に関する情報を商談映像DB22bから抽出し、各ユーザについて上記の6つの分析項目に関する数値を算出する。分析を行う所定期間は、ユーザが適宜に設定することが可能である。「平均会話時間」は、1回のオンライン商談においてユーザが会話(発話)した時間の平均時間である。「週の会話数」は、1週間にユーザがオンライン商談に参加した回数の平均値である。「週の会話時間」は、1週間にユーザがオンライン商談で会話した合計時間の平均値である。「合計会話数」は、所定期間においてオンライン商談で会話した回数である。「合計会話時間」は、所定期間においてオンライン商談で会話した時間である。「会話に参加した回数」は、所定期間においてオンライ商談に参加した回数である。
The business negotiation
端末装置3は、分析結果の表示画面において、例えば上記の6つの分析項目をいわゆるタブの選択に応じて、各分析項目の分析結果を切り替えて表示する。図15に示す例では、「平均会話時間」のタブが選択され、この分析項目の分析結果が表示されている。また端末装置3は、分析項目を切り替えるタブに、分析項目を示す文字列と、この分析項目に関する数値とを併せて表示する。タブに表示する数値は、例えば登録されたチームに含まれる複数のユーザ(チームメンバー)についての平均値、最大値又は最小値等が採用され得る。図示の例では、平均値が採用されている。
The
端末装置3は、「平均会話時間」の分析項目の分析結果として、チームに含まれる複数のユーザのユーザ名等を上下方向に一覧表示すると共に、各ユーザについて算出された分析項目に関する数値を、水平方向の棒グラフとしてユーザのユーザ名等に対応付けて表示する。表示される複数のユーザは、例えば分析結果の数値が大きい又は小さい順にソートして並べられる。また端末装置3は、水平方向の棒グラフに対して、チーム全体での平均値を垂直方向の直線で示す。なお「平均会話時間」以外の5つの分析項目については表示例の図示を省略するが、端末装置3は、「平均会話時間」と同様の表示方法で分析結果をユーザに提供することができる。
The
図16は、分析結果の表示画面の他の例を示す模式図である。図16に示す例では、「会話の割合」、「一人で話し続けた時間」及び「顧客が一人で話し続けた時間」の3つの分析項目の分析結果を端末装置3が表示している。「会話の割合」は、ユーザが所定期間において参加したオンライン商談で会話した割合である。「一人で話し続けた時間」は、ユーザが所定期間にいて参加したオンライン商談で、このユーザが一人で話し続けた時間の最大値である。一人で話し続けた時間は、このユーザ以外のユーザが会話することなく、このユーザのみが会話(発話)している状態が続いた時間である。なお、例えばこのユーザのみの会話が続いている状態であっても、所定時間を超える無会話の状態が間に存在する場合には、このユーザの会話が一旦途切れたものとして扱ってもよい。
FIG. 16 is a schematic diagram showing another example of the analysis result display screen. In the example shown in FIG. 16, the
「顧客が一人で話し続けた時間」は、ユーザが参加したオンライン商談において、このユーザ以外のユーザ(顧客)が一人で話し続けた時間の最大値である。オンライン商談に複数の顧客が参加している場合、各顧客について一人で話し続けた時間の最大値を算出し、全顧客の最大値を分析結果とすることができる。またオンライン商談に参加した複数のユーザのいずれを顧客とするかは、例えば分析対象のユーザ以外のユーザをすべて顧客とみなしてもよく、また例えばチームとして登録されたユーザ以外のユーザを顧客とみなしてもよく、また例えば顧客とみなすユーザの登録を予め受け付けてもよい。予め顧客の登録を受け付ける場合、例えば商談記録サーバ装置2は、オンライン商談の主催者のユーザ又は商談に関する分析を要求するユーザから、オンライン商談に参加したユーザについて顧客であるか否かの設定を端末装置3を介して受け付け、受け付けた設定に応じて各ユーザが顧客であるか否かを示す情報を商談映像DB22bに記録しておく。
The "customer talking alone time" is the maximum time that users (customers) other than this user talk alone in online business negotiations in which the user participates. When a plurality of customers are participating in an online business negotiation, the maximum value of the time spent talking alone for each customer can be calculated, and the maximum value of all customers can be used as the analysis result. As to which of the plurality of users participating in the online business negotiation is to be the customer, for example, all users other than the user to be analyzed may be regarded as the customer, or, for example, users other than the users registered as a team may be regarded as the customer. Alternatively, for example, registration of users who are regarded as customers may be accepted in advance. In the case of accepting customer registration in advance, for example, the business meeting
端末装置3は、「会話の割合」の分析項目の分析結果として、チームに含まれる複数のユーザのユーザ名等を上下方向に一覧表示すると共に、各ユーザについて算出された分析項目に関する数値を、水平方向の棒グラフとしてユーザのユーザ名等に対応付けて表示する。端末装置3は、図16に示すように、「会話の割合」等の分析結果を、図15に示した分析結果と同様の方法及び態様で表示することができる。
The
図17は、本実施の形態に係る商談記録サーバ装置2が行う分析処理の手順を示すフローチャートである。本実施の形態に係る商談記録サーバ装置2の処理部21の分析処理部21fは、端末装置3からオンライン商談に関する分析処理を行う要求を受け付けて(ステップS51)、分析処理を開始する。分析処理部21fは、予め登録されたチームに関する情報に基づいて、分析対象となるチームに含まれる一又は複数のユーザ名を取得する(ステップS52)。分析処理部21fは、取得したユーザ名に基づいて、商談映像DB22bからユーザが参加したオンライン商談に関する情報を読み出す(ステップS53)。
FIG. 17 is a flow chart showing the procedure of analysis processing performed by the negotiation
分析処理部21fは、商談映像DB22bから読み出した情報に基づいて、チームに含まれるユーザ毎に、「平均会話時間」、「週の会話数」、「週の会話時間」、「合計会話数」、「合計会話時間」、「会話に参加した回数」、「会話の割合」、「一人で話し続けた時間」及び「顧客が一人で話し続けた時間」等の各分析項目に関する値を算出する(ステップS54)。分析処理部21fは、ユーザ毎の各分析項目に関する値の算出結果に基づいて、これらのユーザが含まれるチームでの各分析項目に関する値の平均値を算出する(ステップS55)。分析処理部21fは、ユーザ毎の各分析項目に関する値及びチームでの平均値等の情報を含む分析結果を、分析処理の要求元の端末装置3へ送信し(ステップS56)、処理を終了する。
Based on the information read from the business
<その他の機能>
(1)ライブラリ機能
本実施の形態に係る情報処理システムでは、端末装置3にて商談映像を視聴するユーザは、自身に必要な商談映像を集めたライブラリを作成することができる。上述の商談映像の共有機能により商談記録サーバ装置2の商談映像DB22bに記録された商談映像にアクセスしたユーザは、商談映像を端末装置3にて再生して視聴することができ、この商談映像を自身のライブラリに登録することができる。例えば図6に示した再生画面において所定の操作が行われた場合、端末装置3は、表示している商談映像をこのユーザのライブラリに登録する。端末装置3は、ユーザの所定の操作に応じてライブラリに登録された商談映像を一覧表示すると共に、一覧表示した商談映像の中から1つの商談映像の選択を受け付けて、選択された商談映像を再生して表示する。
<Other functions>
(1) Library Function In the information processing system according to the present embodiment, the user who views the business negotiation video on the
本実施の形態において、各ユーザのライブラリは、例えば商談映像へのリンク情報を集めた情報として管理される。ライブラリ情報の管理は、商談記録サーバ装置2によって行われてもよく、端末装置3によって行われてもよい。また情報処理システムは、ユーザが参加したオンライン商談の商談映像をこのユーザのライブラリに自動登録する、予め設定されたユーザが参加したオンライン商談又は予め設定されたキーワードが参加者の会話に含まれているオンライン商談等の商談映像を自動登録する等のライブラリへの自動登録機能を提供してもよい。
In this embodiment, each user's library is managed as information that collects, for example, link information to business negotiation videos. Management of the library information may be performed by the negotiation
(2)トピック機能
本実施の形態に係る情報処理システムでは、上述のように商談映像の音声をテキスト化したテキスト情報について、トピック分類を商談記録サーバ装置2が行っている。端末装置3において例えばメニュー項目の選択操作、アイコン操作又はショートカット操作等の所定操作がユーザにより行われた場合、商談記録サーバ装置2はトピック分類の結果に関する情報を端末装置3へ送信し、端末装置3にトピック分類結果を表示させる。
(2) Topic Function In the information processing system according to the present embodiment, the business negotiation
図18は、トピック分類結果の一表示例を示す模式図である。図示の例は、図7に示した商談映像の音声のテキスト表示を行う画面において、ユーザがトピック分類結果を表示する操作を行った場合に、端末装置3が表示するトピック分類結果の一例である。本実施の形態に係る情報処理システムでは、端末装置3は、ユーザの発話内容のテキスト情報が表示されている位置の近傍に、このテキスト情報に含まれるトピックに対応付けられたラベルを表示する。図示の例では、上下を逆にした涙型又は水滴型の吹き出しに「1」、「2」の数値が記されたラベルがテキスト情報の近傍に表示されている。例えば「1」のラベルが付されたテキスト情報は、トピック分類によってクラス1に分類されたことを示している。
FIG. 18 is a schematic diagram showing a display example of topic classification results. The illustrated example is an example of the topic classification result displayed by the
また本実施の形態に係る情報処理システムでは、トピックの分類結果として表示される数値のラベルに対して、任意のラベル名をユーザが設定することができる。例えばユーザは、表示された一又は複数のラベルから1つを選択し、任意の文字列を入力することによって選択したラベルに対して任意のラベル名を設定することができる。端末装置3は、ユーザが設定したラベル名を取得して、元の数値のラベルとユーザが設定したラベルとの対応関係を記憶する。以後にトピック分類のラベルを表示する場合、端末装置3は、記憶した対応関係に基づいて数値のラベルを設定されたラベル名に変換し、設定されたラベル名を記した吹き出しをテキスト情報の近傍に表示する。
Further, in the information processing system according to the present embodiment, the user can set arbitrary label names for numerical labels displayed as topic classification results. For example, the user can select one from one or more displayed labels and enter an arbitrary character string to set an arbitrary label name for the selected label. The
なお、ユーザが設定したラベル名は、例えばこのユーザのみに有効なラベル名として扱われてもよく、例えばこのユーザと同じチームに登録された他のユーザ等のように、複数のユーザの間で共有されてもよい。複数のユーザの間でラベル名を共有する場合、ラベルの数値とラベル名との対応関係に関する情報は、商談記録サーバ装置2に保持される。設定したユーザのみにラベル名が反映される場合、ラベルの数値とラベル名との対応関係に関する情報は、このユーザが使用する端末装置3のみに保持されてもよく、商談記録サーバ装置2に保持されてもよい。
Note that the label name set by the user may be treated as a valid label name only for this user, for example, and may be shared among multiple users, such as other users registered in the same team as this user. may be shared. When a label name is shared among a plurality of users, the negotiation
<まとめ>
以上の構成の本実施の形態に係る情報処理システムでは、商談記録サーバ装置2がオンライン商談サーバ装置1を介してオンライン商談を録画した商談映像を取得し、取得した商談映像に基づいて参加者の発話に係る音声情報をテキスト情報に変換する。例えば端末装置3が商談映像を表示する際に、商談記録サーバ装置2は変換したテキスト情報を商談映像と共に端末装置3へ送信し、端末装置3にテキスト情報を表示させる。商談記録サーバ装置2が商談映像の音声をテキスト情報へ変換する処理を行うことによって、ユーザはオンライン商談の参加者の発話内容をテキストベースで確認することができるため、オンライン商談を録画した商談映像の調査又は解析等を支援することが期待できる。
<Summary>
In the information processing system according to the present embodiment having the above configuration, the business meeting
また本実施の形態に係る情報処理システムでは、商談記録サーバ装置2が商談映像DB22bに商談映像を記録し、端末装置3を介してユーザから商談映像を共有するための条件を受け付けて、商談映像DB22bに記録された商談映像にアクセスするためのリンク情報等を生成する。商談映像を共有するための条件は、例えば「現在の再生時刻を共有」、「動画を共有」及び「再生時刻を指定して共有」等とすることができ、これらは商談映像の再生を開始する時点を指定する条件である。これにより、商談記録サーバ装置2が生成したリンク情報を一のユーザが他のユーザへ提供することによって、複数のユーザが商談映像にアクセスして視聴することが可能となり、商談映像の共有が実現される。
In the information processing system according to the present embodiment, the business negotiation
また本実施の形態に係る情報処理システムは、商談映像のテキスト情報に対する検索キーワードを用いた検索機能、又は、オンライン商談に参加したユーザに基づく商談映像の検索機能を提供する。これによりユーザは、商談記録サーバ装置2が記録する複数の商談映像の中から、所望の商談映像を容易に探し出して視聴することができる。
Further, the information processing system according to the present embodiment provides a search function using a search keyword for text information of a business meeting video, or a business meeting video search function based on users who have participated in online business meetings. As a result, the user can easily find and view a desired business negotiation video from among the plurality of business negotiation videos recorded by the business negotiation
また本実施の形態に係る情報処理システムでは、商談映像を視聴したユーザからコメント情報の入力を受け付け、受け付けたコメント情報を商談映像に対応付けて、商談記録サーバ装置2が商談映像DB22bに記憶する。端末装置3が商談映像を表示する際には、商談記録サーバ装置2は対応付けられたコメント情報を商談映像と共に端末装置3へ送信し、商談映像と共にコメント情報を端末装置3に表示させる。これにより一のユーザが入力したコメントを他のユーザが商談映像と共に確認することができる。
Further, in the information processing system according to the present embodiment, input of comment information is received from the user who viewed the business negotiation video, and the business negotiation
また本実施の形態に係る情報処理システムでは、商談記録サーバ装置2がユーザが入力したコメント情報を商談映像の再生時刻(再生時間に対する表示時点に対応付けて記憶する。端末装置3は、商談映像を再生して表示する際に、商談映像の再生時間に対する再生時刻(再生時点)を示すシークバーを表示すると共に、このシークバーにコメント情報の表示時点を示す指標を表示する。これによりユーザは、商談映像のいずれの時点に対して他のユーザがコメント情報を付したかを容易に把握することができる。
In the information processing system according to the present embodiment, the business negotiation
また本実施の形態に係る情報処理システムでは、端末装置3が表示したコメント情報に対するユーザの所定操作(例えばクリック操作又はタッチ操作等)を受け付けた場合に、このコメント情報に対応付けられた再生時刻(表示時点)から商談映像の再生を開始する。これによりユーザは、コメント情報が付された時点の商談映像を容易に確認することができる。
In addition, in the information processing system according to the present embodiment, when a user's predetermined operation (for example, a click operation or a touch operation) on comment information displayed by the
また本実施の形態に係る情報処理システムでは、端末装置3が商談映像を表示する際に、この商談映像に係るオンライン商談に参加したユーザ毎に、商談映像の再生時間に対する発話タイミング(発話時点)を時系列で表示する。例えば端末装置3は、商談映像の再生時点を示すシークバーと並べて、ユーザ毎の発話タイミングバーを表示し、ユーザ毎の発話タイミングを表示する。これにより商談映像を視聴するユーザは、オンライン商談に参加したユーザがどのタイミングで発話を行ったかを容易に把握することができる。
In addition, in the information processing system according to the present embodiment, when the
また本実施の形態に係る情報処理システムでは、商談映像DB22bに記録された商談映像及び関連する情報に基づいて、商談記録サーバ装置2が、オンライン商談に参加したユーザの発話の割合(会話の割合)又は単独で発話を継続した時間(一人で話し続けた時間)等を分析し、分析結果を端末装置3に表示させる。また商談記録サーバ装置2は、複数のユーザについてこれらの分析を行い、複数のユーザの分析結果を端末装置3に対比して表示させる。これによりユーザは、商談映像DB22bに記録された商談映像に基づいて、オンライン商談に関する各ユーザの特徴などを詳細に分析することが期待できる。
In addition, in the information processing system according to the present embodiment, based on the business negotiation video recorded in the business
また本実施の形態に係る情報処理システムでは、商談記録サーバ装置2が商談映像を記録するボットを、オンライン商談サーバ装置1が実施するオンライン商談に参加させることで、このオンライン商談に参加したユーザ等の画像を録画した商談映像を取得する。これにより、例えばオンライン商談サーバ装置1が複数種類存在する場合であっても、商談記録サーバ装置2はボットを参加させることで容易に商談映像を取得することができるため、様々なオンライン商談のシステムに対応することが期待できる。
In addition, in the information processing system according to the present embodiment, the bot that records the video of the business negotiations on the business negotiation
また本実施の形態に係る情報処理システムでは、商談記録サーバ装置2がオンライン商談に参加するユーザから商談映像の記録に関する同意の有無を受け付け、受け付けた同意の有無を商談映像DB22bに記録する。これにより商談映像の記録に関するトラブルを未然に防ぐことが期待できる。
Further, in the information processing system according to the present embodiment, the negotiation
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time are illustrative in all respects and should be considered not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the meaning described above, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims.
<付記>
(付記1)
情報処理装置が、
商談を録画した商談映像を取得し、
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換し、
変換した前記テキスト情報を表示する、
情報処理方法。
(付記2)
前記情報処理装置が、
前記商談映像を記録し、
前記商談に参加した複数の参加者が前記商談映像を共有するための条件を受け付け、
受け付けた前記条件に基づいて、前記商談映像にアクセスするための情報を生成する、
付記1に記載の情報処理方法。
(付記3)
前記条件は、前記商談映像を再生する際に再生を開始する時点を指定する条件である、
付記2に記載の情報処理方法。
(付記4)
前記情報処理装置が、
前記商談映像に対する検索キーワードを受け付け、
記録した複数の前記商談映像の中から、受け付けた前記検索キーワードを含むテスト情報に対応する前記商談映像を抽出する、
付記1から付記3までのいずれか1つに記載の情報処理方法。
(付記5)
前記情報処理装置が、
前記商談に参加した参加者に係る情報を受け付け、
記録した複数の前記商談映像の中から、受け付けた情報に対応する前記参加者が参加した前記商談の前記商談映像を抽出する、
付記1から付記4までのいずれか1つに記載の情報処理方法。
(付記6)
前記情報処理装置が、
前記商談映像に対するコメント情報の入力を受け付け、
受け付けた前記コメント情報を前記商談映像に対応付けて記憶し、
前記コメント情報を表示する、
付記1から付記5までのいずれか1つに記載の情報処理方法。
(付記7)
前記情報処理装置が、
前記コメント情報を前記商談映像の再生時間に対する表示時点に対応付けて記憶し、
前記商談映像を再生する際に、前記商談映像の再生時間に対する再生時点を示すシークバーを表示し、
前記シークバーに前記コメント情報の表示時点を示す指標を表示する、
付記6に記載の情報処理方法。
(付記8)
前記情報処理装置が、表示した前記コメント情報に対する操作を受け付けて、前記コメント情報に対応付けられた前記商談映像を、前記コメント情報に対応付けられた表示時点から再生する、
付記7に記載の情報処理方法。
(付記9)
前記情報処理装置が、前記商談映像に係る商談に参加した参加者毎に、前記商談映像の再生時間に対する発話時点を時系列で表示する、
付記1から付記8までのいずれか1つに記載の情報処理方法。
(付記10)
前記情報処理装置が、
前記商談映像に係る商談に参加した参加者について、前記商談中の発話の割合を算出し、
算出した割合に係る情報を表示する、
付記1から付記9までのいずれか1つに記載の情報処理方法。
(付記11)
前記情報処理装置が、
前記商談映像に係る商談に参加した参加者について、前記商談中に単独で発話を継続した時間を算出し、
算出した時間に係る情報を表示する、
付記10に記載の情報処理方法。
(付記12)
前記情報処理装置が、
複数の商談に参加した複数の参加者について、前記割合及び前記時間をそれぞれ算出し、
前記複数の参加者についての算出結果を対比して表示する、
付記11に記載の情報処理方法。
(付記13)
前記情報処理装置が、前記商談映像を録画するボットを前記商談に参加者として参加させる、
付記1から付記12までのいずれか1つに記載の情報処理方法。
(付記14)
前記情報処理装置が、
前記商談映像の録画に関する同意を前記商談の参加者から受け付け、
受け付けた同意に係る情報を記録する、
付記1から付記13までのいずれか1つに記載の情報処理方法。
(付記15)
コンピュータに、
商談を録画した商談映像を取得し、
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換し、
変換した前記テキスト情報を表示する
処理を実行させる、コンピュータプログラム。
(付記16)
商談を録画した商談映像を取得する取得部と、
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換する変換部と、
変換した前記テキスト情報を表示部に表示する処理を行う表示処理部と
を備える、情報処理装置。
<Appendix>
(Appendix 1)
The information processing device
Acquire business talk videos that record business talks,
Converting voice information related to the speech of a participant who participated in the business talk into text information based on the obtained business talk video,
displaying the converted text information;
Information processing methods.
(Appendix 2)
The information processing device
Record the video of the business meeting,
Receiving a condition for sharing the business talk video by a plurality of participants who participated in the business talk,
generating information for accessing the business negotiation video based on the received conditions;
The information processing method according to
(Appendix 3)
The condition is a condition that specifies a point in time to start playing when playing the business negotiation video.
The information processing method according to
(Appendix 4)
The information processing device
Receiving a search keyword for the business negotiation video,
extracting the business negotiation video corresponding to the test information containing the received search keyword from among the plurality of recorded business negotiation videos;
The information processing method according to any one of
(Appendix 5)
The information processing device
Receiving information related to participants who participated in the business negotiation,
Extracting the business talk video of the business talk in which the participant corresponding to the received information participates from among the plurality of recorded business talk videos;
The information processing method according to any one of
(Appendix 6)
The information processing device
Receiving input of comment information on the business talk video,
storing the received comment information in association with the business negotiation video;
displaying said comment information;
The information processing method according to any one of
(Appendix 7)
The information processing device
storing the comment information in association with a display time point with respect to the reproduction time of the business negotiation video;
displaying a seek bar indicating a playback time point with respect to a playback time of the business negotiation video when the business negotiation video is played;
displaying an index indicating the display time point of the comment information on the seek bar;
The information processing method according to appendix 6.
(Appendix 8)
The information processing device receives an operation on the displayed comment information, and reproduces the business negotiation video associated with the comment information from the display point of time associated with the comment information.
The information processing method according to appendix 7.
(Appendix 9)
The information processing device displays, in chronological order, the utterance time point with respect to the reproduction time of the business discussion video for each participant who participated in the business discussion related to the business discussion video.
The information processing method according to any one of
(Appendix 10)
The information processing device
calculating the ratio of utterances during the business talks for the participants who participated in the business talks related to the business talk video,
display information about the calculated percentage;
The information processing method according to any one of
(Appendix 11)
The information processing device
Calculating the time during which the participant who participated in the business talk related to the business talk video continued to speak alone during the business talk,
display information about the calculated time;
The information processing method according to
(Appendix 12)
The information processing device
Calculate the ratio and the time for a plurality of participants who participated in a plurality of business negotiations,
displaying the calculation results for the plurality of participants in comparison;
The information processing method according to appendix 11.
(Appendix 13)
the information processing device causes a bot that records the business negotiation video to participate in the business negotiation as a participant;
The information processing method according to any one of
(Appendix 14)
The information processing device
Receiving consent from participants in the business talks regarding the recording of the business talk video,
record information about consents received;
The information processing method according to any one of
(Appendix 15)
to the computer,
Acquire business talk videos that record business talks,
Converting voice information related to the speech of a participant who participated in the business talk into text information based on the obtained business talk video,
A computer program for executing a process of displaying the converted text information.
(Appendix 16)
an acquisition unit that acquires a recorded negotiation video;
a conversion unit that converts audio information related to the speech of a participant who participated in the business negotiation into text information based on the acquired video of the business negotiation;
and a display processing unit that performs processing for displaying the converted text information on a display unit.
1 オンライン商談サーバ装置
2 商談記録サーバ装置
3 端末装置
21 処理部
21a 商談映像取得部
21b テキスト化処理部
21c 検索処理部
21d 共有処理部
21e コメント処理部
21f 分析処理部
21g 同意処理部
22 記憶部
22a サーバプログラム
22b 商談映像DB
23 通信部
31 処理部
31a オンライン商談処理部
31b 商談映像処理部
32 記憶部
32a プログラム
33 通信部
34 表示部
35 操作部
36 カメラ
37 マイク
98,99 記録媒体
N ネットワーク
1 online business
23
Claims (15)
商談を録画した商談映像を取得し、
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換し、
変換した前記テキスト情報を出力し、
前記商談映像に対して入力されたコメント情報を取得し、
取得した前記コメント情報を前記商談映像の再生時間に対する表示時点に対応付けて記憶し、
前記商談映像の再生時間に対する再生時点を示すシークバーを表示し、且つ、前記商談映像に対して入力されたコメント情報に対応付けられた表示時点を示す指標を、前記シークバーに対応付けて表示するための情報を出力する、
情報処理方法。 The server device
Acquire business talk videos that record business talks,
Converting voice information related to the speech of a participant who participated in the business talk into text information based on the obtained business talk video,
Output the converted text information,
Acquiring comment information input to the business negotiation video,
storing the acquired comment information in association with a display time point with respect to the reproduction time of the business negotiation video;
To display a seek bar indicating a playback time point with respect to the playback time of the business discussion video, and to display an index indicating a display time point associated with comment information input to the business discussion video in association with the seek bar. which outputs information about
Information processing methods.
商談を録画した商談映像に基づいて前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換したサーバ装置が出力する前記テキスト情報を取得し、
前記商談映像に対するコメント情報の入力を受け付けて前記サーバ装置へ送信し、
前記サーバ装置が出力する表示のための情報に基づいて、前記商談映像の再生時間に対する再生時点を示すシークバーを表示し、且つ、前記商談映像に対して入力を受け付けたコメント情報に対応付けられた表示時点を示す指標を、前記シークバーに対応付けて表示する、
情報処理方法。 the terminal device
Acquiring the text information output by a server device that converts voice information related to the speech of a participant who participated in the business negotiation into text information based on a recorded business negotiation video,
receiving input of comment information for the business negotiation video and transmitting it to the server device;
Displaying a seek bar indicating a playback time point with respect to a playback time of the business negotiation video based on information for display output by the server device, and associated with comment information received as input for the business negotiation video. Displaying an index indicating the display time in association with the seek bar;
Information processing methods.
商談を録画した商談映像を取得し、
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換し、
変換した前記テキスト情報を出力し、
前記商談映像に係る商談に参加した参加者毎に、前記商談映像の再生時間に対する発話時点を時系列で表示するための情報を出力する、
情報処理方法。 The server device
Acquire business talk videos that record business talks,
Converting voice information related to the speech of a participant who participated in the business talk into text information based on the obtained business talk video,
Output the converted text information,
outputting information for displaying, in chronological order, the point in time of speaking with respect to the playback time of the business talk video for each participant who participated in the business talk related to the business talk video;
Information processing methods.
商談を録画した商談映像に基づいて前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換したサーバ装置が出力する前記テキスト情報を取得し、
前記サーバ装置が出力する表示のための情報に基づいて、前記商談映像に係る商談に参加した参加者毎に、前記商談映像の再生時間に対する発話時点を時系列で表示する、
情報処理方法。 the terminal device
Acquiring the text information output by a server device that converts voice information related to the speech of a participant who participated in the business negotiation into text information based on a recorded business negotiation video,
Based on the information for display output by the server device, for each participant who participated in the business negotiation related to the business discussion video, the utterance time points relative to the playback time of the business discussion video are displayed in chronological order.
Information processing methods.
商談を録画するボットの参加の同意を前記商談の参加者から受け付け、
受け付けた同意に係る情報を記録し、
前記参加者からの同意が得られた場合に前記ボットを前記商談に参加者として参加させて、前記商談を録画した商談映像を取得し、
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換し、
変換した前記テキスト情報を出力し、
前記参加者からの同意が得られなかった場合に前記ボットを前記商談に参加させない、
情報処理方法。 The information processing device
Receiving consent from a participant in the negotiation to participate in a bot that records the negotiation;
record information about consents received;
obtaining a video recording of the business talk by making the bot participate in the business talk as a participant when consent is obtained from the participant;
Converting voice information related to the speech of a participant who participated in the business talk into text information based on the obtained business talk video,
Output the converted text information,
disabling the bot from participating in the opportunity if consent has not been obtained from the participant;
Information processing methods.
商談を録画した商談映像を取得し、
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換し、
変換した前記テキスト情報を出力し、
前記商談映像に対して入力されたコメント情報を取得し、
取得した前記コメント情報を前記商談映像の再生時間に対する表示時点に対応付けて記憶し、
前記商談映像の再生時間に対する再生時点を示すシークバーを表示し、且つ、前記商談映像に対して入力されたコメント情報に対応付けられた表示時点を示す指標を、前記シークバーに対応付けて表示するための情報を出力する
処理を実行させる、コンピュータプログラム。 to the computer,
Acquire business talk videos that record business talks,
Converting voice information related to the speech of a participant who participated in the business talk into text information based on the obtained business talk video,
Output the converted text information,
Acquiring comment information input to the business negotiation video,
storing the acquired comment information in association with a display time point with respect to the reproduction time of the business negotiation video;
To display a seek bar indicating a playback time point with respect to the playback time of the business discussion video, and to display an index indicating a display time point associated with comment information input to the business discussion video in association with the seek bar. A computer program that causes an action to be performed.
商談を録画した商談映像に基づいて前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換したサーバ装置が出力する前記テキスト情報を取得し、
前記商談映像に対するコメント情報の入力を受け付けて前記サーバ装置へ送信し、
前記サーバ装置が出力する表示のための情報に基づいて、前記商談映像の再生時間に対する再生時点を示すシークバーを表示し、且つ、前記商談映像に対して入力を受け付けたコメント情報に対応付けられた表示時点を示す指標を、前記シークバーに対応付けて表示する
処理を実行させる、コンピュータプログラム。 to the computer,
Acquiring the text information output by a server device that converts voice information related to the speech of a participant who participated in the business negotiation into text information based on a recorded business negotiation video,
receiving input of comment information for the business negotiation video and transmitting it to the server device;
Displaying a seek bar indicating a playback time point with respect to a playback time of the business negotiation video based on information for display output by the server device, and associated with comment information received as input for the business negotiation video. A computer program for executing a process of displaying an index indicating a display time point in association with the seek bar.
商談を録画した商談映像を取得し、
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換し、
変換した前記テキスト情報を出力し、
前記商談映像に係る商談に参加した参加者毎に、前記商談映像の再生時間に対する発話時点を時系列で表示するための情報を出力する
処理を実行させる、コンピュータプログラム。 to the computer,
Acquire business talk videos that record business talks,
Converting voice information related to the speech of a participant who participated in the business talk into text information based on the obtained business talk video,
Output the converted text information,
A computer program for executing a process of outputting information for displaying, in chronological order, utterance points with respect to a reproduction time of the business talk video for each participant who participated in the business talk related to the business talk video.
商談を録画した商談映像に基づいて前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換したサーバ装置が出力する前記テキスト情報を取得し、
前記サーバ装置が出力する表示のための情報に基づいて、前記商談映像に係る商談に参加した参加者毎に、前記商談映像の再生時間に対する発話時点を時系列で表示する
処理を実行させる、コンピュータプログラム。 to the computer,
Acquiring the text information output by a server device that converts voice information related to the speech of a participant who participated in the business negotiation into text information based on a recorded business negotiation video,
a computer for executing a process of displaying utterance points in chronological order with respect to a reproduction time of the business talk video for each participant who participated in the business talk related to the business talk video, based on display information output by the server device; program.
商談を録画するボットの参加の同意を前記商談の参加者から受け付け、
受け付けた同意に係る情報を記録し、
前記参加者からの同意が得られた場合に前記ボットを前記商談に参加者として参加させて、前記商談を録画した商談映像を取得し、
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換し、
変換した前記テキスト情報を出力し、
前記参加者からの同意が得られなかった場合に前記ボットを前記商談に参加させない
処理を実行させる、コンピュータプログラム。 to the computer,
Receiving consent from a participant in the negotiation to participate in a bot that records the negotiation;
record information about consents received;
obtaining a video recording of the business talk by making the bot participate in the business talk as a participant when consent is obtained from the participant;
Converting voice information related to the speech of a participant who participated in the business talk into text information based on the obtained business talk video,
Output the converted text information,
A computer program for executing a process of not allowing the bot to participate in the negotiation if the consent of the participant is not obtained.
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換する変換部と、
変換した前記テキスト情報を出力する第1の出力部と、
前記商談映像に対して入力されたコメント情報を取得する第2の取得部と、
取得した前記コメント情報を前記商談映像の再生時間に対する表示時点に対応付けて記憶部に記憶する処理を行う記憶処理部と、
前記商談映像の再生時間に対する再生時点を示すシークバーを表示し、且つ、前記商談映像に対して入力されたコメント情報に対応付けられた表示時点を示す指標を、前記シークバーに対応付けて表示するための情報を出力する第2の出力部と
を備える、サーバ装置。 a first acquisition unit that acquires a video recording of a business meeting;
a conversion unit that converts audio information related to the speech of a participant who participated in the business negotiation into text information based on the acquired video of the business negotiation;
a first output unit that outputs the converted text information;
a second acquisition unit that acquires comment information input to the business negotiation video;
a storage processing unit that stores the acquired comment information in a storage unit in association with a display time point with respect to a reproduction time of the business negotiation video;
To display a seek bar indicating a playback time point with respect to the playback time of the business discussion video, and to display an index indicating a display time point associated with comment information input to the business discussion video in association with the seek bar. A server device comprising: a second output unit that outputs information of;
前記商談映像に対するコメント情報の入力を受け付けて前記サーバ装置へ送信する送信部と、
前記サーバ装置が出力する表示のための情報に基づいて、前記商談映像の再生時間に対する再生時点を示すシークバーを表示し、且つ、前記商談映像に対して入力を受け付けたコメント情報に対応付けられた表示時点を示す指標を、前記シークバーに対応付けて表示部に表示する処理を行う表示処理部と
を備える、端末装置。 an acquisition unit that acquires the text information output by a server device that converts audio information related to the speech of a participant who participated in the business negotiation into text information based on a recorded business negotiation video;
a transmission unit that receives input of comment information for the business negotiation video and transmits the input to the server device;
Displaying a seek bar indicating a playback time point with respect to a playback time of the business negotiation video based on information for display output by the server device, and associated with comment information received as input for the business negotiation video. A terminal device, comprising: a display processing unit that displays an index indicating a display time point on a display unit in association with the seek bar.
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換する変換部と、
変換した前記テキスト情報を出力する第1の出力部と、
前記商談映像に係る商談に参加した参加者毎に、前記商談映像の再生時間に対する発話時点を時系列で表示するための情報を出力する第2の出力部と
を備える、サーバ装置。 an acquisition unit that acquires a recorded negotiation video;
a conversion unit that converts audio information related to the speech of a participant who participated in the business negotiation into text information based on the acquired video of the business negotiation;
a first output unit that outputs the converted text information;
A server apparatus comprising: a second output unit that outputs information for displaying, in chronological order, utterance points in relation to reproduction time of the business discussion video for each participant who has participated in the business discussion related to the business discussion video.
前記サーバ装置が出力する表示のための情報に基づいて、前記商談映像に係る商談に参加した参加者毎に、前記商談映像の再生時間に対する発話時点を時系列で表示部に表示する処理を行う表示処理部と
を備える、端末装置。 an acquisition unit that acquires the text information output by a server device that converts audio information related to the speech of a participant who participated in the business negotiation into text information based on a recorded business negotiation video;
Based on the information for display output by the server device, processing is performed to display, on a display unit, in chronological order the utterance points in relation to the reproduction time of the business discussion video for each participant who has participated in the business discussion related to the business discussion video. A terminal device comprising: a display processing unit;
受け付けた同意に係る情報を記録する記録部と、
前記参加者からの同意が得られた場合に前記ボットを前記商談に参加者として参加させて、前記商談を録画した商談映像を取得する取得部と、
取得した前記商談映像に基づき、前記商談に参加した参加者の発話に係る音声情報をテキスト情報に変換する変換部と、
変換した前記テキスト情報を出力する出力部と
を備え、
前記参加者からの同意が得られなかった場合に前記ボットを前記商談に参加させない、
情報処理装置。 a reception unit that receives consent from a participant in the negotiation to participate in a bot that records the negotiation;
a recording unit that records information related to the consent received;
an acquisition unit that causes the bot to participate in the business negotiation as a participant in the business negotiation when the consent of the participant is obtained, and acquires a recorded video of the business negotiation;
a conversion unit that converts audio information related to the speech of a participant who participated in the business negotiation into text information based on the acquired video of the business negotiation;
and an output unit that outputs the converted text information,
disabling the bot from participating in the opportunity if consent has not been obtained from the participant;
Information processing equipment.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022124187A JP2023070631A (en) | 2021-11-09 | 2022-08-03 | Information processing method, computer program, server device, terminal device, and information processing apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021182671A JP7123448B1 (en) | 2021-11-09 | 2021-11-09 | Information processing method, computer program and information processing device |
JP2022124187A JP2023070631A (en) | 2021-11-09 | 2022-08-03 | Information processing method, computer program, server device, terminal device, and information processing apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021182671A Division JP7123448B1 (en) | 2021-11-09 | 2021-11-09 | Information processing method, computer program and information processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023070631A true JP2023070631A (en) | 2023-05-19 |
Family
ID=82942162
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021182671A Active JP7123448B1 (en) | 2021-11-09 | 2021-11-09 | Information processing method, computer program and information processing device |
JP2022124187A Pending JP2023070631A (en) | 2021-11-09 | 2022-08-03 | Information processing method, computer program, server device, terminal device, and information processing apparatus |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021182671A Active JP7123448B1 (en) | 2021-11-09 | 2021-11-09 | Information processing method, computer program and information processing device |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7123448B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7445343B1 (en) | 2023-05-31 | 2024-03-07 | amptalk株式会社 | Information processing device, information processing method, and program |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008140089A (en) | 2006-11-30 | 2008-06-19 | Fuji Xerox Co Ltd | Information management device, conference system and program |
US20120240061A1 (en) | 2010-10-11 | 2012-09-20 | Teachscape, Inc. | Methods and systems for sharing content items relating to multimedia captured and/or direct observations of persons performing a task for evaluation |
JP6242773B2 (en) | 2014-09-16 | 2017-12-06 | 株式会社東芝 | Conference information storage device, method and program |
US20180232705A1 (en) | 2017-02-15 | 2018-08-16 | Microsoft Technology Licensing, Llc | Meeting timeline management tool |
JP6865653B2 (en) | 2017-08-03 | 2021-04-28 | 株式会社野村総合研究所 | Dialogue analysis system and dialogue analysis program |
US11087019B2 (en) | 2018-08-14 | 2021-08-10 | AffectLayer, Inc. | Data compliance management in recording calls |
JP7160778B2 (en) | 2019-09-24 | 2022-10-25 | 株式会社博報堂Dyホールディングス | Evaluation system, evaluation method, and computer program. |
JP6850377B1 (en) | 2020-01-30 | 2021-03-31 | ベルフェイス株式会社 | Information processing equipment, information processing methods and programs |
JP7340552B2 (en) | 2020-03-23 | 2023-09-07 | 株式会社リコー | Information processing system, information processing device, and program |
-
2021
- 2021-11-09 JP JP2021182671A patent/JP7123448B1/en active Active
-
2022
- 2022-08-03 JP JP2022124187A patent/JP2023070631A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7445343B1 (en) | 2023-05-31 | 2024-03-07 | amptalk株式会社 | Information processing device, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP7123448B1 (en) | 2022-08-23 |
JP2023070466A (en) | 2023-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210027247A1 (en) | Device, system and method for summarizing agreements | |
US10608831B2 (en) | Analysis of multi-modal parallel communication timeboxes in electronic meeting for automated opportunity qualification and response | |
KR102283232B1 (en) | Method and apparatus for producing real-time product information and for providing real-time product information through live video broadcasting in a video commerce system | |
JP2009151766A (en) | Life adviser support system, adviser side terminal system, authentication server, server, support method and program | |
WO2013018731A1 (en) | Counselling system, counselling device, and client terminal | |
JP7290851B2 (en) | Information processing method, information processing device and computer program | |
JP6485935B1 (en) | Online communication review system, method, and computer program | |
JP7123448B1 (en) | Information processing method, computer program and information processing device | |
KR102510216B1 (en) | Method and apparatus for longitudinal search of a specific section using multiple images of the same product in a video commerce system and producing a sales video with collected images | |
KR102547942B1 (en) | Method and apparatus for providing video special effects for producing short-form videos in a video commerce system | |
JP2024010239A (en) | Insurance consultation system, insurance consultation terminal, video recording method and video recording program | |
JP7206741B2 (en) | HEALTH CONDITION DETERMINATION SYSTEM, HEALTH CONDITION DETERMINATION DEVICE, SERVER, HEALTH CONDITION DETERMINATION METHOD, AND PROGRAM | |
JP2020091800A (en) | Device, method for processing information and information provision system | |
JP6913995B1 (en) | Information processing system, information processing method and program | |
CN113301362B (en) | Video element display method and device | |
JP2003163911A (en) | Image reproducing method based on favorable public image information, image reproduction control system, server apparatus, client apparatus, image reproduction control program and its recording medium | |
JP2023000937A (en) | Pseudo-interview system, pseudo-interview method, pseudo-interview apparatus, and program | |
US20200410216A1 (en) | Measuring and Transmitting Emotional Feedback in Group Teleconferences | |
US10803114B2 (en) | Systems and methods for generating audio or video presentation heat maps | |
JP2024055857A (en) | Information processing method, computer program, and information processing device | |
JP2021182390A (en) | Information processor, method for processing information, and program | |
JP2021152875A (en) | Information processing system, information processing apparatus, user terminal, information processing method, and program | |
JP5758770B2 (en) | Customer service support system and customer service support method | |
JP7471026B1 (en) | Information processing device and information processing program | |
WO2018060988A1 (en) | A method for detection and forwarding of needs in a conversation |