JP2021184601A - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP2021184601A
JP2021184601A JP2021085608A JP2021085608A JP2021184601A JP 2021184601 A JP2021184601 A JP 2021184601A JP 2021085608 A JP2021085608 A JP 2021085608A JP 2021085608 A JP2021085608 A JP 2021085608A JP 2021184601 A JP2021184601 A JP 2021184601A
Authority
JP
Japan
Prior art keywords
conference
image
tag
participants
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021085608A
Other languages
English (en)
Inventor
洋介 今福
Yosuke Imafuku
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realize Co Inc
Original Assignee
Realize Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realize Co Inc filed Critical Realize Co Inc
Publication of JP2021184601A publication Critical patent/JP2021184601A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ビデオ会議における会議参加者の利便性を向上させること。【解決手段】サーバ1は、撮像画像取得部101、会議画像生成部102、表示制御部103を備える。サーバ1は、会議に参加する参加者P1乃至P3により用いられて参加者P1乃至P3を被写体に含む撮像画像が撮像される参加者端末Dと、会議に参加する他の参加者P0により用いられる会議端末Cとが夫々通信をすることで多人数ビデオ会議を提供する。撮像画像取得部101は、参加者端末Dにより撮像された、参加者P1乃至P3の夫々の顔を被写体に含む撮像画像を取得する。会議画像生成部102は、撮像画像に参加者P1乃至P3の夫々の名前やメモ等を表示させるタグF1乃至F3を重畳させたタグ付の会議画像を生成する。表示制御部103は、タグ付の会議画像をビデオ会議の画像として会議端末Cに表示させる制御を実行する。【選択図】図4

Description

本発明は、情報処理装置に関する。
従来より、離れた場所にいる人物と会議を行う方法の1つとして、ビデオ会議システムが利用されている。ビデオ会議システムの利便性を向上させるため、送信した音声や画像データを送信元の端末で確認できるようにしたり(例えば、特許文献1参照)、撮像した被写体の画像を調整したり(例えば、特許文献2参照)するといった内容に関する技術が提案されている。
特開2005−269498号公報 特表2008−504760号公報
しかしながら、特許文献1及び2を含む従来の技術のみでは、ユーザの要望に十分に応えられてはおらず、会議参加者の利便性がよいとは言えなかった。
本発明は、このような状況を鑑みてなされたものであり、ビデオ会議における会議参加者の利便性を向上することを目的とする。
上記目的を達成するため、本発明の一態様の情報処理装置は、
会議に参加する1人以上の参加者により用いられて当該1人以上の参加者を被写体に含む撮像画像が撮像される第1端末と、前記会議に参加する1人以上の参加者により用いられる第2端末との夫々と通信をすることで前記会議の場を提供する情報処理装置において、
前記第1端末により撮像された、前記1人以上の参加者の夫々の顔を被写体に含む前記撮像画像を取得する撮像画像取得手段と、
前記撮像画像に対して、1人以上の参加者の夫々に関する情報を表示させるタグを重畳させた画像を、タグ付撮像画像として生成するタグ付撮像画像生成手段と、
前記会議の場における画像として、前記タグ付撮像画像を前記第2端末に表示させる制御を実行する表示制御手段と、
を備える。
本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
本発明によれば、ビデオ会議における会議参加者の利便性を向上することができる。
会議端末に表示される多人数のビデオ会議の画面を示す図である。 本発明の一実施形態の情報処理システムの全体構成を示している。 図2の情報処理システムのうちサーバのハードウェア構成を示すブロック図である。 図2の情報処理システムにおけるサーバの機能的構成を示す機能ブロック図である。 図2、図3のサーバにおけるサーバの動作を示すフローチャートである。 図2の情報処理システムにおける会議画面の一例(タグ付画像表示例)を示す図である。 図2の情報処理システムにおける会議画面の一例(名刺読取例)を示す図である。 図2の情報処理システムにおける会議画面の一例(ARタグ読取例)を示す図である。 図2の情報処理システムにおける会議画面の一例(タグ追従例)を示す図である。 図2の情報処理システムにおける会議情報の保管例を示す図である。 図2の情報処理システムにおけるサーバの音声議事録機能を示す図である。 図2の情報処理システムにおけるサーバのミュート会話、チャット機能を示す図である。 図1の情報処理システムにおけるサーバの契約機能を示す図である。
以下、本発明の実施形態について図面を用いて説明する。
図1は、会議端末に表示される多人数のビデオ会議の画面を示す図である。
実施形態の情報処理システムでは、サーバ(図2参照)によりビデオ会議の環境が提供されて、図1に示すように、多人数のビデオ会議の画面C1が会議端末Cに表示される。
ビデオ会議の画面C1には、エリアC2乃至C4等が配置されている。
エリアC2は、画面C1の領域に主に表示される。エリアC2には、会議に参加する1人以上の参加者P1乃至P3により用いられる参加者端末Dにより撮像される1人以上の参加者として、例えば参加者P1乃至P3等を被写体に含む撮像画像が表示される。
エリアC3は、画面C1の下隅(下右隅又は下左隅等)に表示される。エリアC3には、会議端末Cにより撮像される、会議に参加する他の1人以上の参加者(この例では1人の参加者P0等)を被写体に含む撮像画像が表示される。
エリアC4は、エリアC2の隣に表示される。エリアC4には、チャットデータが表示されるエリアであり、会議端末C及び参加者端末Dの夫々から入力されるテキストやその他のオブジェクト等のデータが一般的なチャットの形態(データの入力順等)で表示される。
多人数のビデオ会議では、参加者P1乃至P3の撮影画像の夫々に、参加者P1乃至P3の夫々の名前やメモを含むタグF1乃至F3が重畳したタグ付撮像画像が、多人数のビデオ会議における画像として、会議端末Cに表示されるので、参加者P0は、会議端末Cの画面C1を閲覧することで、夫々の参加者P1乃至P3個人を識別することができるので、話者やうなずいている人夫々の属性(個性)を認識したうえでビデオ会議を進行することができる。
即ち、1つの参加者端末Dのカメラで撮像される複数の参加者の夫々の個性(属性)を認識しつつビテオ会議を進めることができる。
この結果、参加者P0が複数の参加者P1乃至P3の夫々を識別したうえで会話できるようになり、少なくとも参加者P0の利便性を向上することができる。
続いて、図2を参照して本発明の一実施形態の情報処理システムの構成を説明する。
図2は、本発明の一実施形態の情報処理システムの全体構成を示している。
図2に示す情報処理システムは、サーバ1と、会議端末Cと、参加者端末Dと、が、インターネット等の所定のネットワークNを介して相互に接続されることによって構成されている。
会議端末Cは、ビデオ会議に参加する1人以上の参加者P0が用いる情報処理装置であって、例えばノート型のパーソナルコンピュータ、タブレット端末、スマートフォン等で構成される。会議端末Cの1つのカメラにより参加者P0が被写体として撮像される。
参加者端末Dは、ビデオ会議に参加する1人以上の参加者P1乃至P3等が用いる情報処理装置であって、例えばノート型のパーソナルコンピュータ、タブレット端末、スマートフォン等で構成される。参加者端末Dの1つのカメラにより参加者P1乃至P3が被写体として撮像される。
サーバ1は、本サービス提供者により管理される。サーバ1は、会議端末C及び参加者端末Dの動作を制御しつつ各種処理を実行する。
具体的には、サーバ1は、会議に参加する参加者P1乃至P3により用いられて参加者P1乃至P3を被写体に含む撮像画像が撮像される参加者端末Dと、会議に参加する他の参加者P0により用いられる会議端末Cとが夫々通信をすることで多人数のビデオ会議等の会議の場を提供する。
図3は、図2の情報処理システムのうち、サーバのハードウェア構成の一例を示すブロック図である。
サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memoy)13と、バス14と、入出力インターフェース15と、入力部16と、出力部17と、記憶部18と、通信部19と、ドライブ20と、を備えている。
CPU11は、ROM12に記録されているプログラム、又は記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、入力部16、出力部17、記憶部18、通信部19及びドライブ20が接続されている。
入力部16は、各種ハードウェアボタン等で構成されるキーボードやマウス、デジタイザ、マイク、カメラ等を含み、操作者の指示操作やサーバ1からの制御に応じて各種情報(テキストデータ、操作データ、音声データ、映像データ等)が入力可能である。
出力部17は、液晶等のディスプレイやプリンタ等により構成され、各種画像を出力(表示又は印刷)する。
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置(会議端末C及び参加者端末D等)との間で行う通信を制御する。
ドライブ20は、必要に応じて設けられる。ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア30が適宜装着される。ドライブ20によってリムーバブルメディア30から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア30は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
このような図3のサーバ1の各種ハードウェアと各種ソフトウェアとの協働により、サーバ1で後述する各種処理の実行が可能になる。
なお、図示はしないが、図2の情報処理システムのうち、会議端末C及び参加者端末D等も、図3に示すハードウェア構成を有している。このため、会議端末C及び参加者端末Dのハードウェア構成についての説明は省略する。
但し、会議端末C及び参加者端末Dが、スマートフォンやタブレットで構成される場合には、入力部16及び出力部17として、タッチパネルを有している。
会議端末C及び参加者端末Dには、入力部16として、ビデオ会議で利用可能なカメラ(撮像手段)及びマイク(音声取得手段)等が搭載されているものとする。
図4は、図3のサーバにより実行が制御される処理のうち、多人数ビデオ会議に関する処理を実現させる機能的構成の一例を示す機能ブロック図である。
図4は、図2の情報処理システムにおけるサーバの機能的構成を示す機能ブロック図である。
図4に示すように、サーバ1の記憶部18(図3参照)の一領域には、会議DB181が設けられている。
会議DB181には、事前登録されるビデオ会議への参加者に関する情報が記憶される他、会議中にサーバ1により取得される参加者に関する情報が記憶される。
参加者に関する情報は、例えば電子メール等で事前に参加者P0に通知されるビデオ会議の参加者P1乃至P3の属性情報であり、例えば、会社名、所属部署名、職種、氏名、参加人数等のうち少なくとも1つが含まれる。参加者に関する情報を事前登録した人には、事前に印刷しておいたAR(Augmented Reality)カードを渡し、夫々の胸等に付けてもらい会議に参加してもらうものとする。ARカードには参加者を特定するための情報タグが印字される。
会議DB181には、会議中にサーバ1により取得される参加者に関する情報として、撮像画像から画像認識により取得される属性情報(例えばARカードや名刺から読み取られる上記属性情報)、撮像画像から画像認識により認識される顔画像(顔を含む上半身等)と、会議中に参加者P0により入力された参加者P1乃至P3の夫々の上記属性情報(一部の場合もある)とが対応して記憶される。
図4に示すように、サーバ1のCPU11においては、多人数のビデオ会議に関する処理が実行される場合には、撮像画像取得部101と、会議画像生成部102と、表示制御部103と、操作入力受付部104と、参加者抽出部105と、記憶制御部106と、議事録生成部107と、個別会話部108と、が機能する。
撮像画像取得部101は、参加者端末Dにより撮像された、参加者P1乃至P3の夫々の顔を被写体に含む撮像画像を取得する。また、撮像画像取得部101は、会議端末Cにより撮像された、参加者P0の顔を被写体に含む撮像画像を取得する。
会議画像生成部102は、参加者端末Dから取得される撮像画像に対して、参加者P1乃至P3の夫々の名前、メモ等の会議メモを表示させるタグF1乃至F3を重畳させたタグ付の会議画像を生成し、表示制御部103に出力する。
具体的には、会議画像生成部102は、撮像画像取得部101により取得される、参加者端末D側の参加者P1乃至P3を被写体に含む撮像画像に対して、参加者P1乃至P3の夫々の名前、メモ等の会議メモを表示させるタグF1乃至F3を重畳させたタグ付の会議画像を生成する。
会議画像生成部102は、タグ内情報取得部111、顔認識部112、タグ追従部113、タグ付撮像画像生成部114を有する。
タグ内情報取得部111は、参加者端末D側の1人以上の参加者P1乃至P3の夫々について、タグF1乃至F3に表示させる情報を、タグ内情報として取得する。
タグ内情報取得部111は、参加者情報取得部121と媒体情報取得部122を有する。
参加者情報取得部121は、操作入力受付部104により受け付けられる参加者情報をタグ内情報又はチャットデータとして取得する。
具体的には、参加者情報取得部121は、会議端末C側の1人以上の参加者のうち少なくともひとりの参加者P0の操作により会議端末Cの会議メモ欄に入力されるテキストデータ等の会議メモを、タグ内情報として取得する。
参加者情報取得部121は、会議端末C側の参加者P0の操作により会議端末Cのチャット画面に入力されるテキストデータ等のチャットデータを取得する。
媒体情報取得部122は、撮像画像に含まれるARカードや名刺等の媒体(情報タグ付カード)から、タグ内情報を取得する。
具体的には、媒体情報取得部122は、撮像画像に含まれるAR(Augmented Reality)カードから情報タグを読み取り、タグ付撮像画像生成部114に渡す。
また、媒体情報取得部122は、撮像画像に含まれる名刺画像を文字認識することで名刺データを取得し、タグ内情報としてタグ付撮像画像生成部114に渡す。
顔認識部112は、撮像画像において、1人以上の参加者P1乃至P3の顔の夫々を認識する。
タグ追従部113は、1人以上の参加者P1乃至P3の顔の夫々を基準位置として、撮像画像に対して、1人以上の参加者P1乃至P3の夫々のタグF1乃至F3を夫々の基準位置に応じた各位置に重畳させる制御を実行する。これにより、タグ付撮像画像生成部114では、撮像画像に含まれる参加者P1乃至P3の夫々の画像に追従するタグF1乃至F3が付与された会議画像が生成される。
タグ付撮像画像生成部114は、タグ内情報取得部111により取得されたタグ内情報を表示させるタグF1乃至F3を、撮像画像に重畳させることで、タグ付撮像画像を生成し、タグ付の会議画像として表示制御部103に出力する。
具体的には、タグ付撮像画像生成部114は、タグ内情報取得部111により取得されたタグ内情報が、例えば名刺データ(図7の例)であれば、名刺データに含まれる氏名や役職のデータを対応するタグ(例えば参加者P2の参加者画像にはタグF2、参加者P4の参加者画像にはタグF4等)に配置し、そのタグF1、F4を撮像画像に重畳させることで、タグ付撮像画像を生成し、タグF1、F4が付与された会議画像として表示制御部103に出力する。
また、タグ付撮像画像生成部114は、タグ内情報取得部111により取得されたタグ内情報が情報タグ(ARカードの画像から読み取った情報タグ:(図8の例))であれば、情報タグと会議DB181の参加者情報とを照合し、適合する参加者情報の氏名や役職等のデータを、上述の名刺データと同様に対応するタグに配置し、夫々のタグF1乃至F3を撮像画像に重畳させることで、タグ付撮像画像(図1の画面C2の会議画像)を生成する。
表示制御部103は、多人数のビデオ会議における画像として、タグ付撮像画像生成部114により生成されたタグ付撮像画像を会議端末Cに表示させる制御を実行する。
操作入力受付部104は、参加者P0により会議端末Cに入力される参加者P1乃至P3の夫々の会議メモ(氏名やメモ等)を受け付ける。メモは、ここでの例は偉い人や役職等であるが、その他、参加者の特徴(眼鏡をかけた人、背が高い等)を書き込んでもよい。
また、操作入力受付部104は、会議端末Cや参加者端末Dから夫々の参加者P0乃至P3により入力されるチャットデータを受け付ける。
参加者抽出部105は、撮像画像から所定参加者P1乃至P3の画像を、所定参加者画像として抽出する。
記憶制御部106は、参加者抽出部105により抽出される所定参加者画像と、夫々の所定参加者画像のタグ内情報とを対応付けて会議DB181に記憶させる制御を実行する。
タグ内情報には、会議中のメモ、参加者画像に含まれる名刺画像から文字認識した名刺データ(属性情報)、参加者画像に含まれるARカードの部分の画像から得られる参加者の属性情報(ARタグ、マーク等)が含まれる。
議事録生成部107は、ビデオ会議において、会議端末C及び参加者端末Dから夫々取得される音声データに対して音声認識処理して、テキストデータを生成し、会議DB181に記憶する。
具体的には、参加者端末Dにおいて、1人以上の参加者P1乃至P3が発した音声を、夫々の顔画像の口元の動きから参加者個人を夫々識別して、参加者夫々の音声データを音声認識処理(文字起こし処理)して、生成したテキストデータを、参加者のタグ毎に、議事録として会議DB181に記憶する。
会議DB181に記憶された議事録は、会議端末C及び参加者端末Dの夫々の会議画面にリンクされた議事録画面に公開可能であり、議事録画面の鉛筆マークのアイコンをクリック操作することにより編集モードに切り替えて編集することができる。なお、編集モードに切り替えるにはアカウントに一定レベル以上の権限が必要である。編集モードは、例えば音声認識エラー等の際に有効である。
個別会話部108は、ビデオ会議に参加中に、例えば参加者P0が会話対象の他の参加者P1等を指定操作した上で会議画面C2のエリアC4(チャットエリア)を選択することで、参加中のRoom(仮想部屋)とは別のRoomを開設する。
参加者P0は、参加中のビデオ会議のRoom(仮想部屋)での会話と並行して、別のRoomに入室し、他の特定の参加者P1等と会話やチャットをすることができる。
続いて、図5を参照してこの情報処理システムにおけるサーバの景気予測動作を説明する。図5は、サーバの業績予測動作を示すフローチャートである。
この場合、図5のステップS11において、撮像画像取得部101は、参加者端末Dにより撮像された、1人以上の参加者P1乃至P3の夫々の顔を被写体に含む撮像画像を取得する。
ステップS12において、会議画像生成部102は、撮像画像に対して、参加者P1乃至P3の夫々の参加者に関する情報(名前、メモ等)を表示させるタグF1乃至F3を重畳させたタグ付撮像画像を生成する。
ステップS13において、表示制御部103は、多人数のビデオ会議における画像として、タグ付撮像画像を会議端末Cに表示させる制御を実行する。
このように参加者P1乃至P3の夫々の顔を被写体に含む撮像画像に、参加者P1乃至P3の夫々の名前やメモを夫々のタグF1乃至F3に表示するタグ付撮像画像を会議端末Cに表示させることで、会議端末Cを操作する参加者P0は、会議相手の参加者P1乃至P3の夫々の顔と名前やメモで記載した役職等が判るので、夫々の参加者P1乃至P3を認識した上で会議を進めることができる。
以下、図6乃至図13を参照して情報処理システムにおけるサーバの動作を説明する。
まず、図6を参照してタグ付画像の表示例を説明する。
図6は、図2の情報処理システムにおける会議画面の一例(タグ付画像表示例)を示す図である。
図6に示す画面C2は、会議端末Cに表示されるビデオ会議の画面であり、会議相手の参加者P1乃至P3を被写体に含む撮像画像と、参加者P1乃至P3の画像夫々に対応するタグF1乃至F3と、が表示されている。
ここで、参加者P0が会議端末Cを操作して、参加者P1の画像またはその近傍の部分にカーソルを移動させて選択操作(クリック操作)すると、参加者抽出部105は、撮像画像から参加者P1の顔を含む画像を抽出し、選択枠62を表示する。
選択枠62が表示された状態では、画面C2に表示されているタグF1のタグ内情報が直接編集可能になる。
続いて、参加者P0が会議端末Cを操作して、会議中に知り得た参加者P1の名前やメモを、タグF1のタグ内情報の名前欄やメモ欄に入力すると、記憶制御部106により、名前やメモ等が参加者P1の顔を含む画像と対応付けられてタグF1のタグ内情報として会議DB181に記憶される。
このように、図6の表示例によれば、会議端末Cの会議相手を映す画面C2において、参加者(人物)P1の顔と認識される範囲をクリック操作することで、参加者(人物)P1の画像に対応するタグF1に名前やメモの入力が可能になり、参加者P0がタグF1に名前やメモを入力することで、参加者P1の画像にタグ付けやメモ書きをすることができる。
続いて、図7を参照して名刺の読取例を説明する。
図7は、図2の情報処理システムにおける会議画面の一例(名刺読取例)を示す図である。
図7に示す画面C2は、会議端末Cに表示されるビデオ会議の画面であり、会議相手の参加者P2、P4を被写体に含む撮像画像と、参加者P2、P4の画像夫々に対応するタグF2、F4が表示されている。
参加者P2、P4は、夫々自身の名刺71、72を持ち、名刺71、72の表面をカメラに向けている。
即ち会議端末C側の参加者P2、P4の夫々は、氏名や役職等がサーバ1により認識可能な情報が付された名刺71、72を有している。
この場合、タグ内情報取得部111は、撮像画像に含まれる名刺71、72の画像を抽出し、抽出した名刺71、72の画像に対して文字認識処理を実行することで、名刺71、72の情報(名刺に記載の会社名、氏名、役職、電話番号、FAX番号等)を文字として認識し、文字認識結果の会社名、氏名、役職、電話番号、FAX番号等をタグ内情報として取得する。
タグ付撮像画像生成部114は、タグ内情報取得部111により取得されたタグ内情報を、参加者P2、P4の夫々の画像に対応するタグF2、F4の所定の欄に表示する。
このように、図7の表示例によれば、会議端末Cの会議相手を映す画面C2において、画面C2に表示される会議の参加者P2、P4が夫々名刺71、72を所持している場合、名刺71、72の画像を文字認識することで名刺の情報を読み取ってタグ内情報とし、参加者P2、P4夫々のタグF2、F4にタグ内情報を表示するので、会議端末Cのビデオ会議の画面C2を見る参加者P0は、画面C2に表示されている参加者P2、P4の顔と名前や役職等が一致した状態で会議を進行させることができる。
続いて、図8を参照してARカードの読取例を説明する。
図8は、図2の情報処理システムにおける会議画面の一例(ARカード読取例)を示す図である。
図8に示す画面C2は、会議端末Cに表示されるビデオ会議の画面であり、会議相手の参加者P1乃至P3を被写体に含む撮像画像と、参加者P1乃至P3の画像夫々に対応するタグF1乃至F3が表示されている。
参加者1乃至P3は、夫々自身のARカード81乃至83を持ち、ARカード81乃至83の表面をカメラに向けている。
即ち会議端末C側の参加者P1乃至P3の夫々は、サーバ1により氏名や役職等が認識可能な情報タグが付されたARカード81乃至83を有している。
この場合、タグ内情報取得部111は、撮像画像に含まれるARカード81乃至83の画像を抽出し、抽出したARカード81乃至83の画像からARカード81乃至83の情報タグ(ARタグやマーク等)を読み取り、会議DB181に予め登録されている参加者情報の情報タグと照合し一致した情報タグに紐づく氏名や役職等のタグ内情報を会議DB181から取得し、そのタグ内情報を、参加者P1乃至P3夫々のタグF1乃至F3に表示する。
タグ付撮像画像生成部114は、タグ内情報取得部111により取得されたタグ内情報を、参加者P1乃至P3の夫々の画像に対応するタグF1乃至F3の所定の欄に表示する。
このように、図8の表示例によれば、サーバ1は、会議端末Cの会議相手を映す画面C2において、画面C2に表示される会議の参加者P1乃至P3が夫々ARカード81乃至83を所持している場合、ARカード81乃至83の画像からARタグやマーク等の情報タグを読み取る。そして、読み取った情報タグを会議DB181に事前に記憶されている参加者情報の情報タグと照合し一致した情報タグに紐づく氏名や役職のタグ内情報を会議DB181から読み出して、そのタグ内情報を、参加者P1乃至P3夫々のタグF1乃至F3に表示するので、会議端末Cのビデオ会議の画面C2を見る参加者P0は、画面C2に表示されている参加者P1乃至P3の顔と名前や役職等が一致した状態で会議を進行させることができる。
続いて、図9を参照してタグの追従例を説明する。
図9は、図2の情報処理システムにおける会議画面の一例(タグ追従例)を示す図である。
ビデオ会議を始める際、図1に示したように、画面C2に向かって左から参加者P1、参加者P2、参加者P3という並び位値(配置)であったものとする。
その後、会議中に、図9に示すように、画面C2に向かって左から参加者P3、参加者P2、参加者P1という並びに参加者が入れ替わったものとする。
サーバ1では、顔認識部112は、撮像画像において、参加者P1乃至P3の顔の夫々を認識する。
そして、タグ追従部113は、参加者P1乃至P3の顔の夫々を基準位置として、撮像画像に対して、参加者P1乃至P3の夫々のタグF1乃至F3を夫々の基準位置に応じた各位置に重畳させる。
このように、参加者P1が右側に移動すれば、タグF1も右側に移動して表示されるため、参加者P1と参加者P3が入れ替わった場合でも、参加者P1、P3の画像の配置の変更に合わせてタグF1、F3が参加者P1、P3の画像夫々の位置に表示されるので、参加者P3、P2、P1の並びの順に追従してタグF3、F2、F1が表示されるようになり、参加者P3、P2、P1の夫々の顔と名前が常に一致するようになる。
続いて、図10を参照して会議情報の保管例を説明する。
図10は、図2の情報処理システムにおける会議情報の保管例を示す図である。
図7の名刺読取例において、図10に示すように、記憶制御部106は、会議中のメモ91と、顔の画像データ92と、会議中に電子的に取得した名刺データ93とを対応させて会議情報として会議DB181に記憶する。
このように会議中のメモ91と、顔の画像データ92と、名刺データ93とをセットにして会議情報として会議DB181に保存し管理することで、次回のビデオ会議の際に、前回の会議情報を会議DB181から読み出して、会議開始時から、撮像画像を自動的にタグ付画像にして表示することができる。なお、図8のARカードの情報タグ(ARタグ)の読取例の場合は、名刺データ93が、情報タグになる。
次に、図11を参照して会議情報の保管例を説明する。
図11は、図2の情報処理システムにおけるサーバの音声議事録機能を示す図である。
ビデオ会議において、会議端末C及び参加者端末Dから夫々取得される音声データは、音声認識処理されて、音声認識処理の結果のテキストデータが会議DB181に記憶される。
そして、会議終了後等に、会議DB181に記憶された議事録を読み出し、会議端末C及び参加者端末Dの夫々の端末に、図11に示すような議事録画面95を表示することができる。
議事録画面95には、参加者毎に議事録(テキストデータ)が表示されるので、夫々の端末の操作者は、夫々の参加者の発言内容を文字で閲覧することができる。
この議事録画面95には、鉛筆マークのアイコンが設けられており、鉛筆マークのアイコンをクリック操作することにより編集モードに切り替えて議事録を編集することができる。
編集モードでは、議事録自体の編集の他、発言の重要度を編集することができる。また編集履歴も記録される。
次に、図12を参照してサーバのミュート会話、チャット機能を説明する。
図12は、図2の情報処理システムにおけるサーバのミュート会話、チャット機能を示す図である。
サーバ1において、ビデオ会議に参加中に、例えば参加者P0が会話対象の他の参加者P1等を指定操作した上で会議画面C2のエリアC4(チャットエリア)を選択することで、参加中のRoom(仮想部屋)とは別のRoomが個別会話部108により開設される。
参加者P0は、参加中のビデオ会議のRoom(仮想部屋)での会話と並行して、別のRoomに入室し、他の特定の参加者P1等と会話やチャットをすることができる。
なお、個別のRoomに入室しているときには、参加中のRoomではマイクがミュートされるため、参加中のビデオ会議に、個別のRoomでの会話の内容が聞かれることはない。
次に、図13を参照してサーバの契約機能を説明する。
図13は、図1の情報処理システムにおけるサーバの契約機能を示す図である。
サーバ1は、上述した図10の会議情報の保管機能の例のように、会議情報を会議DB181に記憶する。
そこで、この保管機能をさらに拡張して、会議情報(会議メモ、顔の画像テータ、名刺データ)に加えて、本人認証データを対応付けて記憶する。
本人認証データは、例えば免許証、住民票、パスポート、印鑑、印鑑証明、法人登記簿謄本、居住照明、電子署名、メールアドレス認証等である。
サーバ1は、ビデオ会議の際、会議情報と本人認証データを利用してビデオ会議にて契約処理を行う。
具体的には、図13に示すように、会議端末211と会議端末212との間でビデオ会議を実行する。
会議端末211と会議端末212のうちいずれか一方の端末、例えば会議端末212には、例えば業務委託契約書等の契約書213を用意し、双方の端末で契約書213を共有しつつ会議端末211、212の夫々の操作者(会議参加者)が口頭での契約、契約書213への電子サイン等、様々な契約方法で契約を完結する。
この際、サーバ1は、契約の際、電子署名公開鍵とタイムスタンプ付PDFを生成し、これらのファイルにより電子契約を締結する。
会議端末211、212の双方の会議参加者は、法人代表者とし、夫々に口頭での契約内容の説明と契約締結の意思表示を行う。この会議の内容は、サーバ1のビデオ会議の録画機能により会議ログとして会議DB181に記憶される。
具体的には、サーバ1は、ビデオ録画データと共にデータ送受信ログを会議ログとして残すことで、法人代表者が契約したというログが残される。
これにより、現在、法人間での電子契約で問題となっている、代理押印の問題を解決することができる。
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記実施形態では、サーバ1は、会議に参加する参加者P1乃至P3により用いられて参加者P1乃至P3を被写体に含む撮像画像が撮像される参加者端末Dと、会議に参加する他の参加者P0により用いられる会議端末Cとが夫々通信をすることで多人数のビデオ会議を提供したが、サーバ1は、情報処理装置の一例にしか過ぎず、参加者の数は3人に限らず、端末も会議端末Cや参加者端末Dに限定されない。
即ち、情報処理装置は、会議に参加する1人以上の参加者により用いられて当該1人以上の参加者を被写体に含む撮像画像が撮像される第1端末と、前記会議に参加する1人以上の参加者により用いられ第2端末との夫々と通信をすることで会議の場を提供すれば足りる。
また、上記実施形態では、撮像画像取得部101は、参加者端末Dにより撮像された、参加者P1乃至P3の夫々の顔を被写体に含む撮像画像を取得したが、これ以外の形態であってもよく、第1端末により撮像された、1人以上の参加者の夫々の顔を被写体に含む撮像画像を取得すれば足りる。
上記実施形態では、会議画像生成部102は、撮像画像に参加者P1乃至P3の夫々の名前やメモ等を表示させるタグF1乃至F3を重畳させたタグ付撮像画像を生成したが、これ以外の形態であってもよく、撮像画像に対して、1人以上の参加者の夫々に関する情報を表示させるタグを重畳させた画像を、タグ付の会議画像として生成すれば足りる。
上記実施形態では、表示制御部103は、タグ付撮像画像をビデオ会議の画像として会議端末Cに表示させる制御を実行したが、これ以外の形態であってもよく、会議の場における画像として、タグ付の会議画像を第2端末に表示させる制御を実行すればよい。
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図4の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは特に図4の例に限定されない。また、機能ブロック及びデータベースの存在場所も、図4に特に限定されず、任意でよい。例えば、サーバ1の機能ブロック及びデータベースを会議端末C、参加者端末D等に移譲させてもよい。逆に会議端末C、参加者端末Dの機能ブロック及びデータベースをサーバ1等に移譲させてもよい。
また、1つの機能ブロック及びデータベースは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザ等にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザ等に提供される記録媒体等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上を換言すると、本発明が適用される管理装置は、次のような構成を有していれば足り、各種各様な実施の形態を取ることができる。
即ち、本発明が適用される情報処理装置(例えば図4のサーバ1等)は、
会議に参加する1人以上の参加者P1乃至P3により用いられて当該1人以上の参加者P1乃至P3を被写体に含む撮像画像が撮像される第1端末(例えば図4の参加者端末D等)と、前記会議に参加する他の1人以上の参加者P0により用いられ第2端末(例えば図4の会議端末C等)と夫々通信をすることで前記会議の場(例えば図1の多人数のビデオ会議の環境等)を提供する情報処理装置(例えば図4のサーバ1等)において、
前記第1端末(例えば図4の参加者端末D等)により撮像された、前記1人以上の参加者P1乃至P3の夫々の顔を被写体に含む前記撮像画像を取得する撮像画像取得手段(例えば図4の撮像画像取得部101等)と、
前記撮像画像に対して、1人以上の参加者P1乃至P3の夫々に関する情報(例えば図1の氏名やメモ等)を表示させるタグ(例えば図1のタグF1乃至F3等)を重畳させた画像を、前記タグ付の会議画像として生成する会議画像生成手段(例えば図4の会議画像生成部102等)と、
前記会議の場(例えば図1の多人数のビデオ会議の環境等)における画像として、前記タグ付の会議画像を前記第2端末(例えば図4の会議端末C等)に表示させる制御を実行する表示制御手段(例えば図4の表示制御部103等)と、
を備える。
このように構成することで、1人以上の参加者P1乃至P3の夫々に関する情報(例えば図1の氏名やメモ等)が含まれるタグ(例えば図1のタグF1乃至F3等)を重畳させたタグ付の会議画像が第2端末(例えば図4の会議端末C等)に表示されるので、会議端末Cを操作するユーザ(参加者P0等)は、タグの内容を見ることで参加者P1乃至P3夫々の氏名やメモで記載された役職等が分かるようなる。
これにより、ビデオ会議システムの利用におけるユーザ(例えばビデオ会議に一人で参加する参加者P0等)の利便性を向上することができる。
前記第1端末側の前記1人以上の参加者の夫々について、前記タグに表示させる前記情報を、タグ内情報として取得するタグ内情報取得手段(例えば図4のタグ内情報取得部111等)と、
前記タグ内情報取得手段(例えば図4のタグ内情報取得部111等)により取得された前記タグ内情報を表示させる前記タグを、前記撮像画像に重畳させることで、前記タグ付撮像画像を生成し、前記タグ付の会議画像として前記表示制御手段に出力するタグ付撮像画像生成手段(例えば図4のタグ付撮像画像生成部114等)と、
を備える。
これにより、撮像画像に含まれる参加者の夫々の画像に対応するタグにタグ内情報が表示されるので、撮像画像中の参加者の夫々の情報が会議相手に分かり、会議参加者の中から誰かを指名する等、会議を進行させ易くなる。
前記タグ内情報取得手段(例えば図4のタグ内情報取得部111等)は、
前記第2端末(例えば図4の会議端末C等)側の前記1人以上の参加者のうち少なくともひとり(例えば参加者P0等)の操作により入力された情報(会議相手の氏名やメモ等)を、前記タグ内情報として取得する参加者情報取得手段(例えば図4の参加者情報取得部121等)、
をさらに備える。
これにより、ビデオ会議中に第2端末(例えば図4の会議端末C等)から入力される会議相手の氏名やメモ等を、参加者の画像に対応するタグに表示させることができ、ユーザ(会議の参加者P0等)は、ビデオ会議の画面に表示されている1人以上の会議参加者の顔と名前が一致した状態で会議を進行させることができる。
前記第1端末(例えば図4の会議端末C1等)側の前記1人以上の参加者P1乃至P3の夫々は、前記タグ内情報自体又は当該タグ内情報が前記情報処理装置(例えば図4のサーバ1等)により認識可能な情報(例えば氏名、役職等の文字やARタグ、マーク等)が付された媒体(名刺、ARカード等)を有しており、
前記タグ内情報取得手段(例えば図4のタグ内情報取得部111等)は、
前記撮像画像に含まれる前記媒体(名刺やARカード)の画像から、前記タグ内情報(名刺に記載の氏名や役職、ARタグに対応する氏名や役職等)を取得する媒体情報取得手段(例えば図4の媒体情報取得部122等)、
をさらに備える。
このように、撮像画像の中に、情報処理装置(例えば図4のサーバ1等)により認識可能な媒体の画像が含まれていた場合、その媒体の画像からタグ内情報を取得するので、参加者P0が入力するのに比べて会議参加者個人をより確実に特定することができる。
なお、情報処理装置(例えば図4のサーバ1等)により認識可能な媒体が例えばARカード等であれば、そのARカードを含む撮像画像から情報タグ(ARタグやマーク)を読み取って、その情報タグに基づいてタグ内情報(ARタグに対応する氏名や役職等)を取得するので、名刺等のように個人情報を直接提示するものに比べて個人情報を秘匿することができる。
前記会議画像生成手段(例えば図4の会議画像生成部102等)は、
前記撮像画像において、前記1人以上の参加者の顔の夫々を認識する顔認識手段(例えば図4の顔認識部112等)と、
前記1人以上の参加者の顔の夫々を基準位置として、前記撮像画像に対して、前記1人以上の参加者の夫々の前記タグを夫々の前記基準位置に応じた各位置に重畳させる制御を実行するタグ追従手段(例えば図4のタグ追従部113等)と、
を備える。
これにより、撮像画像に含まれる参加者が入れ替わる等して撮像画像内の人の配置が変更されると、顔の夫々を基準位置として、1人以上の参加者の夫々のタグを夫々の基準位置に応じた各位置に移動させるので、撮像画像の参加者の夫々の画像に追従するようにタグ付撮像画像が表示される。即ち参加者の移動に応じてタグも移動するので、会議における参加者の移動にタグの表示を対応させることができる。
前記撮像画像から前記所定参加者の画像を、所定参加者画像として抽出する所定参加者抽出手段(例えば図4の参加者抽出部105等)と、
前記所定参加者画像と、前記所定参加者画像の前記タグ内情報とを対応付けて所定のデータベース(例えば図4の会議DB181等)に記憶させる制御を実行する記憶制御手段(例えば図4の記憶制御部106等)と、
をさらに備える。
このように、所定参加者画像と、所定参加者画像のタグ内情報とを対応付けて所定のデータベース(例えば図4の会議DB181等)に記憶させることで、次回以降のビデオ会議では、会議参加者に名刺やARカードを身に付けてもらうことなく、参加者画像にタグ内情報を表示させたタグを対応させて表示できる。即ち、会議の参加者の氏名や役職等がビデオ会議の初めから表示されるようになるので、ユーザ(会議参加者P0等)は、どの参加者画像が誰であるかビデオ会議の初めから認識したうえで会議を進めることができる。
C:会議端末、D:参加者端末、1:管理サーバ、11:CPU、18:記憶部、19:通信部、101:撮像画像取得部、102:会議画像生成部、103:表示制御部、104:操作入力受付部、105:参加者抽出部、106:記憶制御部、107:議事録生成部、108:個別会話部、111:タグ内情報取得部、112:顔認識部、113:タグ追従部、114:タグ付撮像画像生成部、121:参加者情報取得部、122:媒体情報取得部、181:会議DB

Claims (8)

  1. 会議に参加する1人以上の参加者により用いられて当該1人以上の参加者を被写体に含む撮像画像が撮像される第1端末と、前記会議に参加する1人以上の参加者により用いられ第2端末との夫々と通信をすることで前記会議の場を提供する情報処理装置において、
    前記第1端末により撮像された、前記1人以上の参加者の夫々の顔を被写体に含む前記撮像画像を取得する撮像画像取得手段と、
    前記撮像画像に対して、1人以上の参加者の夫々に関する情報を表示させるタグを重畳させた画像を、前記タグ付の会議画像として生成する会議画像生成手段と、
    前記会議の場における画像として、前記タグ付の会議画像を前記第2端末に表示させる制御を実行する表示制御手段と、
    を備える情報処理装置。
  2. 前記会議画像生成手段は、
    前記第1端末側の前記1人以上の参加者の夫々について、前記タグに表示させる前記情報を、タグ内情報として取得するタグ内情報取得手段と、
    前記タグ内情報取得手段により取得された前記タグ内情報を表示させる前記タグを、前記撮像画像に重畳させることで、前記タグ付撮像画像を生成し、前記タグ付の会議画像として前記表示制御手段に出力するタグ付撮像画像生成手段と、
    を備える請求項2に記載の情報処理装置。
  3. 前記タグ内情報取得手段は、
    前記第2端末側の前記1人以上の参加者のうち少なくともひとりの操作により入力される情報を、前記タグ内情報として取得する参加者情報取得手段、
    をさらに備える請求項2に記載の情報処理装置。
  4. 前記第1端末側の前記1人以上の参加者の夫々は、前記タグ内情報自体又は当該タグ内情報が前記情報処理装置により認識可能な情報が付された媒体を有しており、
    前記タグ内情報取得手段は、
    前記撮像画像に含まれる前記媒体から、前記タグ内情報を取得する媒体情報取得手段、
    をさらに備える請求項2に記載の情報処理装置。
  5. 前記会議画像生成手段は、
    前記撮像画像において、前記1人以上の参加者の顔の夫々を認識する顔認識手段と、
    前記1人以上の参加者の顔の夫々を基準位置として、前記撮像画像に対して、前記1人以上の参加者の夫々の前記タグを夫々の前記基準位置に応じた各位置に重畳させる制御を実行するタグ追従手段と、
    を備える請求項1乃至4のうち何れか1項に記載の情報処理装置。
  6. 前記撮像画像から前記所定参加者の画像を、所定参加者画像として抽出する所定参加者抽出手段と、
    前記所定参加者画像と、前記所定参加者画像の前記タグ内情報とを対応付けて所定のデータベースに記憶させる制御を実行する記憶制御手段と、
    をさらに備える請求項1乃至5のうち何れか1項に記載の情報処理装置。
  7. 会議に参加する1人以上の参加者により用いられて当該1人以上の参加者を被写体に含む撮像画像が撮像される第1端末と、前記会議に参加する1人以上の参加者により用いられ第2端末との夫々と通信をすることで前記会議の場を提供する情報処理装置が実行する情報処理方法において、
    前記第1端末により撮像された、前記1人以上の参加者の夫々の顔を被写体に含む前記撮像画像を取得する撮像画像取得ステップと、
    前記撮像画像に対して、1人以上の参加者の夫々に関する情報を表示させるタグを重畳させた画像を、前記タグ付の会議画像として生成する会議画像生成ステップと、
    前記会議の場における画像として、前記タグ付の会議画像を前記第2端末に表示させる制御を実行する表示制御ステップと、
    を含む情報処理方法。
  8. 会議に参加する1人以上の参加者により用いられて当該1人以上の参加者を被写体に含む撮像画像が撮像される第1端末と、前記会議に参加する1人以上の参加者により用いられ第2端末との夫々と通信をすることで前記会議の場を提供するコンピュータに、
    前記第1端末により撮像された、前記1人以上の参加者の夫々の顔を被写体に含む前記撮像画像を取得する撮像画像取得ステップと、
    前記撮像画像に対して、1人以上の参加者の夫々に関する情報を表示させるタグを重畳させた画像を、前記タグ付の会議画像として生成する会議画像生成ステップと、
    前記会議の場における画像として、前記タグ付の会議画像を前記第2端末に表示させる制御を実行する表示制御ステップと、
    を含む制御処理を実行するプログラム。
JP2021085608A 2020-05-21 2021-05-20 情報処理装置 Pending JP2021184601A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020088821 2020-05-21
JP2020088821 2020-05-21

Publications (1)

Publication Number Publication Date
JP2021184601A true JP2021184601A (ja) 2021-12-02

Family

ID=78767638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021085608A Pending JP2021184601A (ja) 2020-05-21 2021-05-20 情報処理装置

Country Status (1)

Country Link
JP (1) JP2021184601A (ja)

Similar Documents

Publication Publication Date Title
JP5003125B2 (ja) 議事録作成装置及びプログラム
US7508535B2 (en) Stand alone multimedia printer with user interface for allocating processing
JP2006092242A (ja) 遠隔会議システム、拠点サーバ、管理サーバ、遠隔会議管理方法及びプログラム
JP4696481B2 (ja) 遠隔会議システム、共有ワークスペース・サーバ及びプログラム
JP2007288380A (ja) 電子会議システム、電子会議支援プログラム及び方法、電子会議制御装置、携帯型記憶機器
JP2009188809A (ja) 電子会議システム
US10367944B2 (en) Apparatus, system, and method of conference assistance
CN104205120A (zh) 电子会议系统
JP2006005590A5 (ja)
US20240169282A1 (en) Automated extraction of implicit tasks
CN117897930A (zh) 用于混合在线会议的流式数据处理
EP4060984A1 (en) Information processing apparatus and information processing program
US20210306384A1 (en) Event registration system, user terminal, and storage medium
JP4696480B2 (ja) 遠隔会議システム、拠点サーバ及びプログラム
JP2006005589A5 (ja)
JP2021184601A (ja) 情報処理装置
JP7391390B2 (ja) 情報処理装置
WO2022009335A1 (ja) サーバ装置、オンライン会議システム、名刺交換方法及びコンピュータ読取可能な記憶媒体
JP2007199866A (ja) 会議記録システム
KR20220097619A (ko) 문서 기반 채팅 서비스 제공 시스템 및 그에 적용되는 문서 편집 방법
JP7198952B1 (ja) 保険相談システム、募集人端末、および保険相談用プログラム
JP6957816B1 (ja) プログラム、方法、情報処理装置、システム
US20240146781A1 (en) Systems and methods for managing digital notes for collaboration
WO2004014059A2 (en) Method and apparatus for processing image-based events in a meeting management system
US20210297465A1 (en) Information processing system, information processing apparatus, and method of processing information

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240304