JP2023130822A - 機器システム、撮像装置、表示方法 - Google Patents

Abstract

【課題】複数の対象物が適切に表示される画像を生成する技術を提供すること。【解決手段】本発明は、広角画像を撮像する撮像装置と、前記広角画像から第一の画像を生成する画像生成部と、前記撮像装置と通信できる端末装置で動作するプログラムとを有する機器システムであって、前記画像生成部は、前記広角画像から複数の対象物が検知された場合、前記複数の対象物が含まれる前記第一の画像を生成し、前記プログラムは、記端末装置を、前記第一の画像を表示する表示制御部として機能させる、ことを特徴とする。【選択図】図２

Description

本発明は、機器システム、撮像装置、及び、表示方法に関する。

一方の拠点から１つ以上の他の拠点にリアルタイムに画像や音声を送信し、遠隔地にいるユーザー同士で画像や音声を用いた会議を行う遠隔コミュニケーションシステムが知られている。遠隔コミュニケーションでは電子黒板などの機器が使用される場合がある。

会議に参加している拠点の参加者の話者を画像から切り出す技術が知られている（例えば、特許文献１参照。）。特許文献１には、全天球画像から顔認識により話者をクローズアップして表示するシステムが開示されている。

しかしながら、従来の技術では、画像に含めるべき対象物が複数ある場合、いずれかの対象物が適切に表示されないという課題があった。

本発明は、上記課題に鑑み、複数の対象物が適切に表示される画像を生成する機器システムを提供することを目的とする。

上記課題に鑑み、本発明は、広角画像を撮像する撮像装置と、前記広角画像から第一の画像を生成する画像生成部と、前記撮像装置と通信できる端末装置で動作するプログラムとを有する機器システムであって、前記画像生成部は、前記広角画像から複数の対象物が検知された場合、前記複数の対象物が含まれる前記第一の画像を生成し、前記プログラムは、前記端末装置を、前記第一の画像を表示する表示制御部として機能させる、ことを特徴とする。

複数の対象物が適切に表示される画像を生成する技術を提供できる。

遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。 生成されたパノラマ画像の一例を示す図である。 記録情報作成システムの構成例を示す図である。 情報処理システム及び端末装置のハードウェア構成例を示す図である。 ミーティングデバイスのハードウェア構成例を示す図である。 ミーティングデバイスの撮像範囲を説明する図である。 パノラマ画像と話者画像の切り出しを説明する図である。 電子黒板の一例のハードウェア構成図である。 記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である。 情報記憶部が記憶している動画記録情報の一例を示す図である。 コミュニケーション管理部が管理する会議情報の一例を示す図である。 対応付け情報記憶部に記憶された、会議ＩＤと機器識別情報とが対応付けられた対応付け情報の一例を示す図である。 アカウント情報記憶部に記憶されているアカウント情報の一例を示す図である。 電子黒板の機能をブロックに分けて説明する機能ブロック図の一例である。 機器情報記憶部に記憶されている機器識別情報等の一例を示す図である。 オブジェクト情報記憶部に保存されてるオブジェクト情報を説明する図である。 端末装置で動作する情報記録アプリが表示するログイン後の初期画面の一例を示す図である。 情報記録アプリが表示する録画設定画面の一例を示す図である。 情報記録アプリが録画中に表示する録画中画面の一例を示す図である。 情報記録アプリが表示する会議一覧画面の一例を示す図である。 会議の開始からミーティングデバイスがパノラマ画像を作成する処理を説明するシーケンス図の一例である。 参加者の顔が検知された場合に決定されるパノラマ画像の高さの一例を示す図である。 位置登録ボタンの押下により電子黒板の方向を設定する操作方法を説明する図である。 ユーザーが設定した方向を確認する画面の一例を示す図である。 電子黒板が表示する、電子黒板の方向の検知方法を設定する画面を説明する図である。 電子黒板が特定の映像として表示する二次元コードの一例を示す図である。 電子黒板が特定の音を出力した場合の電子黒板の方向の決定方法を説明する図である。 特定の映像や音声により、ミーティングデバイスが電子黒板を含むパノラマ画像を生成する処理を説明するシーケンス図の一例である。 情報記録アプリが表示する電子黒板の自動検知設定画面の一例を示す図である。 機械学習などの画像処理により検出された電子黒板を説明する図の一例である。 画像処理により検出された電子黒板に基づいて決定されるパノラマ画像の高さを説明する図の一例である。 全天球画像からパノラマ画像を生成する生成方法を説明する図である。 情報記録アプリが表示する結合画像の一例を示す図である。 第一画像生成部がパノラマ画像の高さを決定する処理を説明するフローチャート図の一例である。 パノラマ画像の中央に配置された電子黒板を示す図の一例である。 表示範囲を固定するボタンがオフの場合に生成されたパノラマ画像の一例を示す図である。 表示範囲を固定するボタンがオンの場合に生成されたパノラマ画像の一例を示す図である。 表示範囲を固定するボタンがオン又はオフの場合に、第一画像生成部がパノラマ画像を生成する処理を説明するフローチャート図の一例である。 水平方向の一部のみが切り取られたパノラマ画像の一例を示す図である。 パノラマ画像において参加者間の間隔が空いている場合に余剰間隔を省略する処理を説明する図である。 情報記録アプリがパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。

以下、本発明を実施するための形態の一例として、機器システムと機器システムが行う表示方法について説明する。

＜遠隔会議における議事録の作成方法の一例＞
まず、図１を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図１は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図１に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。
本実施形態の記録情報作成システム１００は、周囲３６０°を撮像可能な撮像手段及びマイクとスピーカを備えたミーティングデバイス６０が、周囲を撮像した情報を処理することで取得した水平パノラマ画像（以下、パノラマ画像という）と、端末装置１０が実行するアプリケーション（以下、アプリという）が作成する画面と、を用いて、記録情報（議事録など）を作成する。音声については、記録情報作成システム１００は、遠隔会議アプリ４２が受信する音声と、ミーティングデバイス６０が取得する音声とを合成して、記録情報に含める。以下、概略を説明する。

(1) 端末装置１０では、後述する情報記録アプリ４１と遠隔会議アプリとが動作している。この他、資料表示用のアプリなども動作していてよい。情報記録アプリ４１は、端末装置１０が出力する音声（遠隔会議アプリが他拠点から受信した音声を含む。）をミーティングデバイス６０に送信する。ミーティングデバイス６０は、自身が取得している音声と、遠隔会議アプリの音声とをミキシング（合成）する。

(2) ミーティングデバイス６０はマイクを備え、音声を取得した方向に基づき、パノラマ画像から話者を切り出す処理を行い、話者画像を作成する。ミーティングデバイス６０は、パノラマ画像と話者画像の両方を端末装置１０に送信する。

(3) 端末装置１０で動作する情報記録アプリ４１は、パノラマ画像２０３と話者画像２０４を表示できる。情報記録アプリ４１は、ユーザーが選択した任意のアプリ画面（例えば遠隔会議アプリの画面１０３）と、パノラマ画像２０３と話者画像２０４と、を結合する。例えば、左側にパノラマ画像２０３と話者画像２０４、右側に遠隔会議アプリの画面１０３が配置されるように、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する（以下、結合画像１０５という）。なおアプリ画面は、遠隔会議アプリ等の各アプリケーションが表示する画面情報（後述）の例である。(3)の処理は繰り返し実行されるので、結合画像１０５は動画となる（以下、結合画像動画という）。また、情報記録アプリ４１は、結合画像動画に合成された音声を結合して音声付きの動画を作成する。

なお、本実施形態では、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する例を説明するが、情報記録アプリ４１がこれらを別々に保存し、再生時に画面に配置してもよい。

(4) 情報記録アプリ４１は、編集作業（ユーザーによる不要箇所のカット）を受け付け、結合画像動画を完成させる。結合画像動画は記録情報の一部を構成する。

(5) 情報記録アプリ４１は、作成した結合画像動画（音声付き）をストレージサービスシステム７０に送信し保存しておく。

(6) また、情報記録アプリ４１は、結合画像動画から音声のみを抽出しておき（結合前の音声を取っておいてもよい）、抽出した音声を、情報処理システム５０に送信する。情報処理システム５０は音声をテキストデータに変換する音声認識サービスシステム８０に送信し、音声をテキスト化する。テキストデータには、録画開始から何分後に話したか、というデータも含まれる。

なお、リアルタイムのテキスト化の場合、ミーティングデバイス６０が情報処理システム５０に直接音声を送信する。ミーティングデバイス６０はテキストデータをリアルタイムに情報記録アプリ４１に送信する。

(7) 情報処理システム５０は、結合画像動画を格納したストレージサービスシステム７０に、テキストデータを追加で格納する。テキストデータは記録情報の一部を構成する。

なお、情報処理システム５０は、ユーザーに対し利用したサービスに応じた課金処理を実行できる。例えば、課金はテキストデータ量、結合画像動画のファイルサイズ、処理時間などに基づいて算出される。

このように、結合画像動画には、ユーザーを含む周囲のパノラマ画像や話者画像が表示され、更に、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面が表示される。遠隔会議の参加者や参加者でない者が、結合画像動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。

＜パノラマ画像の生成例＞
次に、図２を参照して本実施形態におけるパノラマ画像の生成方法を説明する。図２は、生成されたパノラマ画像２０３の一例を示す。図２では１つのパノラマ画像２０３（第一の画像の一例）と２つの話者画像２０４（第二の画像の一例）が一画面に配置して表示されている。話者画像２０４の数は一例であり、話者画像２０４がなくてもよいし、３以上でもよい。

図２（ａ）は、複数の参加者１２０が全員、座った状態のパノラマ画像を示す。この時のパノラマ画像２０３の高さがＬ１、話者画像２０４の高さがＬ２である。

次に、図２（ｂ）は、複数の参加者１２０が立ち上がった場合のパノラマ画像２０３と話者画像２０４を示す。ミーティングデバイス６０は、全ての参加者１２０の顔が含まれるように、パノラマ画像２０３の高さを大きくする。例えば、ミーティングデバイス６０は、各参加者１２０の顔を検出して、少なくとも全ての顔が含まれるように高さを決定する。図２（ｂ）のパノラマ画像２０３の高さをＭ１、話者画像２０４の高さをＭ２とする。したがって、Ｌ１，Ｌ２，Ｍ１，Ｍ２には以下の関係がある。
Ｌ１＜Ｍ１ 、Ｌ２＞Ｍ２

次に、図２（ｃ）は、電子黒板２が含まれるように作成されたパノラマ画像２０３と話者画像２０４を示す。ミーティングデバイス６０は、後述するいくつかの方法で電子黒板２を検出して、全ての参加者１２０の顔と電子黒板２が含まれるように、パノラマ画像２０３の高さを大きくする。例えば、ミーティングデバイス６０は、各参加者１２０の顔と電子黒板２を検出して、全ての顔と電子黒板２が含まれるように高さを決定する。図２（ｃ）のパノラマ画像２０３の高さをＮ１、話者画像２０４の高さをＮ２とする。したがって、Ｌ１，Ｌ２，Ｎ１，Ｎ２には以下の関係がある。
Ｌ１＜Ｎ１ 、Ｌ２＞Ｎ２

なお、図２（ｂ）（ｃ）のいずれの場合も、複数の参加者１２０が座った場合や電子黒板２が検出されなくなった場合、ミーティングデバイス６０は、パノラマ画像２０３の高さを再度、調整する（この場合は小さくする）。

このように、本実施形態のミーティングデバイス６０は、予め設定されている複数の対象物（参加者の顔や電子黒板２などの機器）を検知して、その対象物が入るようにパノラマ画像の高さを決定するので、パノラマ画像２０３に対象物を表示することができる。ミーティングデバイス６０は、画像に含めるべき対象物が複数ある場合、適切な対象物を表示できる。

＜用語について＞
アプリケーション（アプリ）とは、ある特定の機能や目的のために開発・使用されるソフトウェアである。アプリケーションにはネイティブアプリとＷｅｂアプリがある。またＷｅｂアプリ（クラウドサービスで提供するクラウド側のアプリ）と、ネイティブアプリやＷｅｂブラウザとが連携して動作するものであってもよい。

実行中のアプリとは、アプリが起動されてから終了されるまでの間の状態のアプリをいう。アプリはアクティブ（最も手前にあるアプリ）でなくてもよく、バックグラウンドで動作していればよい。

ミーティングデバイスが取得した周囲の画像は、全天球画像であり、全天球画像から水平方向に通常の画角より広い画角で撮像されたパノラマ画像が生成される。全天球画像とは、上下方向と水平方向のほぼ３６０°に渡って周囲が撮像された広角画像をいう。必ずしも３６０°である必要はなく、ミーティングデバイス６０のおおよその全範囲が撮像されていればよい。全天球画像は、全周囲画像、３６０°画像などと呼ばれる場合がある。ミーティングデバイス６０は１台で全天球画像を撮像しなくてもよく、通常の画角の撮像装置が複数個、組み合わされていてもよい。また、全天球画像でなく、半球画像（水平方向に約３６０°、上下方向に約９０°の画角の画像）でもよい。

パノラマ画像は、全天球画像から水平方向のほぼ３６０°に渡って周囲が撮像された画像をいう。必ずしも３６０°である必要はなく、１８０°程度の広角な画像でもよい。

記録情報とは、情報記録アプリ４１が記録する情報であり、ある１つの会議（ミーティング）の識別情報に紐づく情報として閲覧可能に記憶・保存された情報であって、例えば以下の情報を含む情報である。
・選択したアプリ（遠隔会議アプリなど）が表示する画面情報と、デバイスが取得したデバイスの周囲の画像情報、などに基づいて作成する動画情報。
・会議（ミーティング）中に、遠隔会議アプリ（端末装置）と、拠点のミーティングデバイスとで取得し合成した音声情報。
・取得した音声をテキスト化したテキスト情報。
・その他、会議（ミーティング）に関連する関連情報であるデータや画像。例えば会議中に用いた資料ファイル、追加したメモ、テキスト化データの翻訳データ、会議中にクラウド電子黒板サービスで作成した画像やストロークデータなど。
等である。情報記録アプリ４１が遠隔会議アプリの画面や、拠点の会議の様子を録画した場合、記録情報が、実施した会議の議事録となる場合がある。議事録は記録情報の例であり遠隔会議や拠点側で行った内容に応じて記録情報の呼び方が変わり、例えばコミュニケーションの記録、拠点状況の記録などと言ってもよい。また記録情報は、例えば、動画ファイル（結合画像動画等）、音声ファイル、テキストデータ（音声が音声認識されたテキストデータ）、文書ファイル、画像ファイル、表形式ファイルなど、複数の形式のファイルを含み、ファイルは会議の識別情報に対して互いに関連づいているため、閲覧時にまとめて、あるいは選択的に、時系列で閲覧可能となっている。

テナントとは、サービスの提供者からサービスを受けることを契約したユーザーのグループ（企業や自治体、これらの一部の組織等）である。本実施形態の記録情報の作成やテキストデータへの変換は、テナントがサービス提供元と契約しているために実行される。

遠隔コミュニケーションとは、物理的に離れた拠点にいる相手と、ソフトウェアや端末装置を活用することによって音声や映像を通じたコミュニケーションを取ることをいう。遠隔コミュニケーションの一例に遠隔会議があり、会議は、会合、ミーティング、打ち合わせ、相談、契約等の申し込み、集会、寄り合い、集まり、セミナー、講習会、勉強会、ゼミ、研修会等と呼ばれてもよい。

拠点とは、活動のよりどころとする場所をいう。拠点の例として会議室がある。会議室は、主に会議に使用することを目的に設置された部屋のことである。拠点はこのほか自宅や、受付や店舗、倉庫や屋外の現場など様々な場所であってもよく、端末装置やデバイス等を設置できる箇所のある場所や空間であればよい。

音声とは人間が発する言語音や周囲の音等であり、音声データは音声をデータ化したものであるが、本実施形態では、厳密に区別せずに説明する。

予め設定されている複数の対象物は、パノラマ画像において表示したい対象物であり、本実施形態では、参加者の顔（人の顔）や電子黒板２が相当する。電子黒板２は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。電子黒板２と同等の装置としてプロジェクタが知られている。この他、対象物は、デジタルサイネージ、テレビ、ディスプレイ、複合機、テレビ会議端末などの電子機器でもよい。また、ユーザーがパノラマ画像において表示したい対象物を設定可能でもよい。この場合、予めミーティングデバイス又は端末装置が物の形状を学習済みであり、ユーザーが選択した物をパノラマ画像から検出する。対象物は複数種類同時に存在してもよい。ミーティングデバイス６０等は例えば人の顔と電子機器を同時に対象物として認識してもよい。

画像の領域は、画像の高さや幅であり、ピクセル数、画素数、長さ等により指定される。

＜システム構成例＞
続いて、図３を参照して、記録情報作成システム１００のシステム構成を説明する。図３は、記録情報作成システム１００の構成例を示す。図３では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０と電子黒板２が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル、ＨＤＭＩ（登録商標）ケーブル等を介して通信可能に接続されている。端末装置１０がＬＡＮを介してミーティングデバイス６０と通信してもよい。ミーティングデバイス６０と、端末装置（又は情報記録アプリ４１）は、機器システムとして動作する。

端末装置１０では、少なくとも情報記録アプリ４１と遠隔会議アプリ４２とが動作する。遠隔会議アプリ４２は、他の拠点１０１の端末装置１０とネットワーク上の遠隔会議サービスシステム９０を介して通信することができ、各拠点のユーザー同士が遠隔地から会議できるようになっている。情報記録アプリ４１は、遠隔会議アプリ４２が実施する遠隔会議における記録情報を、情報処理システム５０及びミーティングデバイス６０の機能を使って作成する。

なお、本実施形態では、遠隔会議中の記録情報を作成する例を説明するが、会議は、遠隔の拠点と通信する会議でなくてもよい。つまり、会議は１拠点内の参加者のみが参加する会議でもよい。この場合、ミーティングデバイス６０が集音した音声のみが合成なしに保存される他、情報記録アプリ４１の処理に変更はない。

端末装置１０には通常の画角のカメラが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー１０７を含む正面の画像を撮像している。通常の画角とは、パノラマ画像でない画像であるが、本実施形態では、通常の画角は、主に全天球画像のように曲面でない平面画像である。また、端末装置１０にはマイクが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー等の周囲の音声を集音している。したがって、ユーザーは、情報記録アプリ４１を意識することなく、遠隔会議アプリ４２を使用した従来の遠隔会議が可能である。情報記録アプリ４１やミーティングデバイス６０は、端末装置１０の処理負荷増を除けば遠隔会議アプリ４２に影響を与えない。

情報記録アプリ４１はミーティングデバイス６０と通信して記録情報を作成することで情報を記録するアプリである。ミーティングデバイス６０は、パノラマ画像の撮像装置、マイク、及び、スピーカを備えたミーティング用のデバイスである。端末装置１０が有するカメラは正面の限られた範囲しか撮像できないが、ミーティングデバイス６０はミーティングデバイス６０を囲む全周囲（必ずしも全周囲でなくてもよい）を撮像できる。ミーティングデバイス６０は図３に示す複数の参加者１２０を常に画角に収めることができる。

この他、ミーティングデバイス６０は、パノラマ画像からの話者画像の切り出し、ミーティングデバイス６０が取得した音声と端末装置１０が出力する音声（遠隔会議アプリ４２が受信した音声を含む）との合成等を行う。なお、ミーティングデバイス６０は、机や台などの設置場所の上に限らず自拠点１０２のどこに配置されてもよい。ミーティングデバイス６０は全天球画像を撮像できるので、例えば天井に配置されてもよい。またミーティングデバイス６０は他拠点側やいずれの拠点に設置されてもよい。

情報記録アプリ４１は、端末装置１０で実行中のアプリの一覧表示、上記した記録情報のための画像合成（結合画像動画の作成）、結合画像動画の再生、編集の受け付け等を行う。また、情報記録アプリ４１は、実施された又はこれらか実施される予定の遠隔会議のリスト表示、等を行う。遠隔会議のリストは、記録情報に関する情報に使用され、ユーザーが遠隔会議と記録情報とを結びつけることができる。

遠隔会議アプリ４２は、他の拠点１０１の他の端末装置との通信接続、画像及び音声の送受信、画像の表示や音声の出力等により、端末装置が他の端末装置と遠隔コミュニケーションを行うアプリケーションである。遠隔会議アプリは、遠隔コミュニケーションアプリ、遠隔情報共通アプリなどと言うこともできる。

なお、情報記録アプリ４１及び遠隔会議アプリ４２はＷｅｂアプリでもネイティブアプリでもよい。Ｗｅｂアプリとは、Ｗｅｂサーバー上のプログラムとＷｅｂブラウザ上のプログラムやネイティブアプリが協働して処理を行うアプリであり、端末装置１０へのインストールが不要なアプリである。ネイティブアプリとは、端末装置１０にインストールして利用されるアプリである。本実施形態では、両者ともネイティブアプリであるとして説明する。

端末装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等、通信機能を備えた汎用的な情報処理装置でよい。端末装置１０は、この他、電子黒板２、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、カーナビ、産業機械、医療機器、ネットワーク家電等でもよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が少なくとも動作する装置であればよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が動作する装置であればよい。

電子黒板２は、ペンや指等の入力手段でタッチパネルに手書きされたデータをディスプレイに表示する。電子黒板２は、有線又は無線で端末装置１０等と通信することができ、端末装置１０が表示する画面を取り込んでディスプレイに表示することができる。電子黒板２は、手書きデータをテキストデータに変換したり、他の拠点の電子黒板２とディスプレイに表示される情報を共有したりすることができる。電子黒板２は、タッチパネルを有さない単なる白板（黒板やスクリーン）にプロジェクタが映像を投影する形態のものでもよい。また、電子黒板２は、タッチパネルを備えたタブレット端末、ノートＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、ゲーム機等でもよい。

電子黒板２は、情報処理システム５０と通信することができる。例えば、電源オンされた後、電子黒板２が、情報処理システム５０にポーリングするなどして、情報処理システム５０から情報を受信できる。

情報処理システム５０は、ネットワーク上に配置された一台以上の情報処理装置である。情報処理システム５０は、情報記録アプリ４１と協働して処理を行う１つ以上のサーバーアプリと、基盤サービスを有している。このサーバーアプリは、遠隔会議のリストの管理、遠隔会議で記録された記録情報の管理、各種設定やストレージパスの管理等を行う。基盤サービスは、ユーザー認証や契約、課金処理等を行う。

なお、情報処理システム５０の機能の全て又は一部は、クラウド環境に存在してもよいし、オンプレミス環境に存在してもよい。情報処理システム５０は複数台のサーバー装置により構成されてもよいし、一台の情報処理装置により構成されてもよい。例えば、サーバーアプリと基盤サービスが別々の情報処理装置より提供されてよいし、更にサーバーアプリ内の機能ごとに情報処理装置が存在してもよい。情報処理システム５０と次述するストレージサービスシステム７０、音声認識サービスシステム８０が一体でもよい。

ストレージサービスシステム７０は、ネットワーク上の記憶手段であり、ファイル等の保存を受け付けるストレージサービスを提供する。ストレージサービスシステム７０としてはＯｎｅ Ｄｒｉｖｅ（登録商標）、Ｇｏｏｇｌｅ Ｗｏｒｋｓｐａｃｅ（登録商標）、ＤｒｏｐＢｏｘ（登録商標）等が知られている。ストレージサービスシステム７０は、オンプレミスのＮＡＳ（Network Attached Storage）等でもよい。

音声認識サービスシステム８０は、音声データに音声認識を行いテキストデータに変換するサービスを提供する。音声認識サービスシステム８０は、汎用的な商用サービスでもよいし、情報処理システム５０の機能の一部でもよい。また音声認識サービスシステム８０はユーザーやテナント毎、会議毎に異なるサービスシステムを設定して用いてもよい。

＜ハードウェア構成例＞
図４を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。

＜＜情報処理システム及び端末装置＞＞
図４は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図４に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ/Ｆ(Interface)５０８、ネットワークＩ/Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ/Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、情報処理システム５０及び端末装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ/Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ/Ｆ５０９は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体５１３は、ＣＤ，ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ/Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

＜＜ミーティングデバイス＞＞
図５を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図５は、３６０°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲３６０°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの３６０°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。

図５に示されているように、ミーティングデバイス６０は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、アンテナ６１７ａ、音声センサー６１８、及びMicro USB用の凹状の端子６２１によって構成されている。

このうち、撮像ユニット６０１は、半球画像を結像するための３６０°の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２と、各広角レンズに対応させて設けられている撮像素子６０３（イメージセンサー）を備えている。撮像素子６０３は、魚眼レンズ６０２による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサー、この画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。なお撮像ユニット６０１は３６０°カメラであってもよく、ミーティングデバイス６０の周囲３６０°を撮像可能な撮像手段の例である。

撮像ユニット６０１の撮像素子６０３（イメージセンサー）は、各々、画像処理ユニット６０４とパラレルＩ/Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３は、撮像制御ユニット６０５とは、シリアルＩ/Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。更に、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、及び音声センサー６１８なども接続される。

画像処理ユニット６０４は、撮像素子６０３から出力される画像データをパラレルＩ/Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施して、魚眼映像からパノラマ画像や話者画像のデータを作成する。更に、画像処理ユニット６０４は、パノラマ画像と話者画像等を合成処理して、１つの動画を出力する。

撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３をスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３のレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３のレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。

また、撮像制御ユニット６０５は、操作部６１５の撮像開始ボタンが押下されたタイミングあるいはPCから撮像開始指示を受信したタイミングで、撮像素子６０３ａ，６０３ｂに画像データの出力を指示する。ミーティングデバイス６０によっては、ディスプレイ（例えば、ＰＣやスマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３からの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、ミーティングデバイス６０にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８から出力される音声データをＩ/Ｆバスを通して取り込み、音声データに対して所定の処理を施す。

ＣＰＵ６１１は、ミーティングデバイス６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ＣＰＵ６１１のための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部６１５は、撮像開始ボタン６１５ａなどの操作ボタンの総称である。ユーザーは操作部６１５を操作することで、撮像や録画を開始する他、電源ON/OFFの実行、通信接続の実行、種々の撮像モードや撮像条件などの設定を入力する。

外部機器接続Ｉ/Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＰＣ(Personal Computer)、ディスプレイ、プロジェクタ、電子黒板等である。外部機器接続Ｉ／Ｆ６１６は例えばＵＳＢ端子、ＨＤＭＩ（登録商標）端子等を備えていてもよい。ＤＲＡＭ６１４に記憶された動画データや画像データは、この外部機器接続Ｉ／Ｆ６１６を介して外部端末に送信されたり、外付けのメディアに記録されたりする。また、複数の外部機器接続Ｉ／Ｆ６１６を用い、例えば、ミーティングデバイス６０で撮像し取得した画像情報をＰＣへＵＳＢを介して送信して記録しながら、ＰＣからミーティングデバイス６０へ映像（例えば遠隔会議アプリで表示する画面情報など）を取得し、更にミーティングデバイス６０からＨＤＭＩで他の外部機器（ディスプレイ、プロジェクタ、電子黒板等）へ送信して表示してもよい。

通信部６１７は、ミーティングデバイス６０に設けられたアンテナ６１７ａを介して、Wi－Fi等の無線通信技術によって、インターネット経由でクラウドサーバと通信し、記憶した動画データや画像データをクラウドサーバに送信してもよい。また、通信部６１７は、BLE（Bluetooth Low Energy。登録商標）やNFC等の近距離無線通信技術を用いて付近のデバイスと通信してもよい。

音声センサー６１８は、ミーティングデバイス６０の周辺（水平面）の３６０°においてどの方向から音声が大きい音で入力されたかを特定するために、３６０°の音声情報を取得するセンサーである。音処理ユニット６０９は入力した３６０°の音声パラメータに基づき、最も強い方向を特定して３６０°における音声入力方向を出力する。

なお、他のセンサー（方位・加速度センサーやGPS等）が方位・位置・角度・加速度等を算出し、画像補正や位置情報付加に用いてもよい。

また画像処理ユニット６０４は、以下の処理を行う。

・ＣＰＵ６１１は、パノラマ画像の作成を次の方法で行う。ＣＰＵ６１１は、球面映像を入力するイメージセンサーから入力されたRAWデータをBayer変換（RGB補完処理）等の所定のカメラ映像処理を行って魚眼映像（曲面の画像からなる映像）を作成する。更に作成した魚眼映像（曲面の映像）に対してDeWarp処理（歪み補正処理）等の平面化処理を行い、ミーティングデバイス６０の周辺の３６０°が写ったパノラマ画像（平面の画像からなる映像）を作成する。

・ＣＰＵ６１１は話者画像の作成を次の方法で行う。ＣＰＵ６１１は周辺の３６０°が写ったパノラマ画像（平面の映像）から、話者を切り出した話者画像を作成する。ＣＰＵ６１１は、音声センサー６１８及び音処理ユニット６０９を用いて出力した360°から特定した音声入力方向を、話者の方向として、上記パノラマ画像から話者画像を切り出す。このとき音声入力方向から人の画像を切り出す方法は、360°から特定した音声方向を中心に30°を切り取って、その中で顔検出を実施して切り出す。ＣＰＵ６１１は、更に切り出した話者画像のうち、直近で発言のあった特定人数分（３名等）の話者画像を特定する。

パノラマ画像と、１以上の話者画像は個別に情報記録アプリ４１に送信されてもよいし、ミーティングデバイス６０がこれらから１枚の画像を作成して、情報記録アプリ４１に送信してもよい。本実施形態では、パノラマ画像と１以上の話者画像は個別にミーティングデバイス６０から情報記録アプリ４１に送信されるものとする。

図６は、ミーティングデバイス６０の撮像範囲を説明する図である。図６（ａ）に示すように、ミーティングデバイス６０は水平方向に３６０°の範囲を撮像する。図６（ｂ）に示すように、ミーティングデバイス６０は、ミーティングデバイス６０の高さに水平な方向を０°とし、上下に所定の角度（ａ°～ｂ°）を撮像範囲とする。本実施形態では、上下に所定の角度（ａ°～ｂ°）が可変である。

図７は、パノラマ画像と話者画像の切り出しを説明する図である。図７に示すように、ミーティングデバイス６０が撮像する画像は球体の一部１１０をなすため、三次元の形状を有している。ミーティングデバイス６０は、図６（ｂ）で示したように、上下の所定角度と左右の所定角度ごとに画角を区切って透視投影変換を行う。透視投影変換を水平方向３６０°の全体で隙間なく行うことで、所定数の平面画像が得られるので、所定数の平面画像を左右に連結することでパノラマ画像１１１が得られる。また、ミーティングデバイス６０はパノラマ画像から音声方向を中心に所定の範囲で顔検出を実施して、顔の中心から左右に１５°（全体で３０°）を切り出すことで、話者画像１１２を作成する。

＜＜電子黒板＞＞
図８は、電子黒板２のハードウェア構成図である。図８に示されているように、電子黒板２は、ＣＰＵ(Central Processing Unit)４０１、ＲＯＭ(Read Only Memory)４０２、ＲＡＭ(Random Access Memory)４０３、ＳＳＤ(Solid State Drive)４０４、ネットワークＩ/Ｆ４０５、及び、外部機器接続Ｉ/Ｆ(Interface)４０６を備えている。

これらのうち、ＣＰＵ４０１は、電子黒板２全体の動作を制御する。ＲＯＭ４０２は、ＣＰＵ４０１やＩＰＬ(Initial Program Loader)等のＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＳＳＤ４０４は、電子黒板２用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ４０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ/Ｆ４０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ４３０、外付け機器（マイク４４０、スピーカ４５０、カメラ４６０）である。

また、電子黒板２は、キャプチャデバイス４１１、ＧＰＵ４１２、ディスプレイコントローラ４１３、接触センサー４１４、センサコントローラ４１５、電子ペンコントローラ４１６、近距離通信回路４１９、及び近距離通信回路４１９のアンテナ４１９ａ、電源スイッチ４２２及び選択スイッチ類４２３を備えている。

これらのうち、キャプチャデバイス４１１は、外付けのＰＣ(Personal Computer)４７０のディスプレイに対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)４１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ４１３は、ＧＰＵ４１２からの出力画像をディスプレイ４８０等へ出力するために画面表示の制御及び管理を行う。接触センサー４１４は、ディスプレイ４８０上に電子ペン４９０やユーザーの手４９１等が接触したことを検知する。センサコントローラ４１５は、接触センサー４１４の処理を制御する。接触センサー４１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法について説明する。ディスプレイ４８０の上側両端部に設置された２つ受発光装置が、ディスプレイ４８０に平行して複数の赤外線を放射する。２つ受発光装置が、ディスプレイ４８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する。

接触センサー４１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ４１５に出力し、センサコントローラ４１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ４１６は、電子ペン４９０と通信することで、ディスプレイ４８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路４１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ４２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類４２３は、例えば、ディスプレイ４８０の表示の明暗や色合い等を調整するためのスイッチ群である。

更に、電子黒板２は、バスライン４１０を備えている。バスライン４１０は、図８に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサー４１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。接触センサー４１４は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。接触センサー４１４は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルでもよい。接触センサー４１４は、この他、種々の検出手段を用いてよい。また、電子ペンコントローラ４１６が、電子ペン４９０のペン先及びペン尻だけでなく、電子ペン４９０のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

＜機能について＞
次に、図９を参照して、記録情報作成システム１００が有する機能構成について説明する。図９は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。

＜＜端末装置＞＞
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、録画制御部１７、音声データ処理部１８、録画再生部１９、アップロード部２０、編集処理部２１、を有している。端末装置１０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図４に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。

通信部１１は、ネットワークを介して情報処理システム５０と各種の情報を通信する。通信部１１は、例えば、遠隔会議のリストを情報処理システム５０から受信したり、音声データの認識要求を情報処理システム５０に送信したりする。

表示制御部１３は情報記録アプリ４１に設定されている画面遷移にしたがって情報記録アプリ４１においてユーザーインターフェースとなる各種の画面を表示する。操作受付部１２は、情報記録アプリ４１に対する各種の操作を受け付ける。

アプリ画面取得部１４は、ユーザーが選択したアプリが表示する画面情報、又は、デスクトップ画面の画面情報などをＯＳ（Operating System）等から取得する。ユーザーが選択したアプリが遠隔会議アプリ４２の場合、遠隔会議アプリ４２が生成する画面（各拠点の端末装置カメラによる端末装置ユーザーの撮像画像、共有している資料の表示画像、参加者アイコンや参加者名等を含む画像）が得られる。アプリが表示する画面情報（アプリ画面）は、実行中のアプリケーションがウィンドウとして表示し、情報記録アプリケーションが画像として取得する情報である。アプリケーションのウィンドウは、ウィンドウの領域をデスクトップイメージ全体における領域として描画されモニター等に表示される。アプリが表示する画面情報は、ＯＳ（Operating System）のＡＰＩや表示するアプリのＡＰＩ等を介して、他のアプリケーション（情報記録アプリケーション等）が、画像ファイルや、連続した複数の画像から構成される動画ファイルとして取得可能である。また、デスクトップ画面の画面情報は、ＯＳが生成するデスクトップ画面の画像から構成される情報であり、同様に画像ファイルや動画ファイルとして、ＯＳのＡＰＩを介して取得可能である。これらの画像ファイルの形式はビットマップ、ＰＮＧ、その他の形式であってもよい。また動画ファイルの形式はＭＰ４、その他の形式でもよい。

音声取得部１５は、端末装置１０がマイクやイヤホンから出力する音声（遠隔会議アプリ４２から遠隔会議において受信された音声データを含む）を取得する。出力音声がミュート状態でも、音声取得部１５は音声を取得できる。音声データに関してユーザーは遠隔会議アプリ４２を選択するなどの操作は必要なく、音声取得部１５は、端末装置１０が出力できる音声を、ＯＳやアプリのＡＰＩ（Application Interface）を介して取得できる。これにより、遠隔会議アプリ４２が他の拠点１０１から受信する音声データも取得される。遠隔会議アプリ４２が実行中でなかったり、遠隔会議中でなかったりする場合、情報記録アプリ４１は音声データを取得できない場合がある。なお、音声取得部１５が取得する音声は、端末装置１０が集音する音声は含まれず、出力する音声データのみとしてもよい。ミーティングデバイス６０が別に、拠点の音声を集音しているためである。

デバイス通信部１６は、ＵＳＢケーブルやＨＤＭＩ（登録商標）ケーブルなどを利用してミーティングデバイス６０と通信する。デバイス通信部１６は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等でミーティングデバイス６０と通信してよい。デバイス通信部１６は、パノラマ画像２０３と話者画像２０４をミーティングデバイス６０から受信し、音声取得部１５が取得した音声データをミーティングデバイス６０に送信する。デバイス通信部１６は、ミーティングデバイス６０で合成された音声データを受信する。

録画制御部１７は、デバイス通信部１６が受信したパノラマ画像と話者画像、及び、アプリ画面取得部１４が取得したアプリの画面を結合し、結合画像を作成する。また、録画制御部１７は繰り返し作成する結合画像を時系列に接続して結合画像動画を作成し、合成された音声データを結合画像動画に結合して音声付きの結合画像動画を作成する。なお、パノラマ画像と話者画像の結合は、ミーティングデバイス６０が行ってもよい。また、パノラマ画像、話者画像、アプリ画面、パノラマ画像と話者画像からなる画像などの各画像からなる動画を、それぞれ別個の動画ファイルとしてストレージサービスシステム７０に記憶してもよい。その場合、パノラマ動画、話者動画、アプリ画面の動画、パノラマ画像と話者画像の結合動画を、閲覧時に呼び出して１つの表示画面で表示してもよい。

音声データ処理部１８は、結合画像動画に結合された音声データを抽出するか、又は、ミーティングデバイス６０から受信した合成後の音声データの、テキストデータへの変換を情報処理システム５０に要求する。

録画再生部１９は、結合画像動画の再生を行う。結合画像動画は、録画中は端末装置１０に保存され、その後、情報処理システム５０にアップロードされる。

アップロード部２０は、遠隔会議が終了すると、結合画像動画を情報処理システム５０に送信する。

編集処理部２１は、ユーザーの操作に応じて、結合画像動画の編集（一部の削除、つなぎ合わせ等）を実行する。

図１０は、情報記憶部１００１が記憶している動画記録情報を示す。動画記録情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、アップロード、保存先等の各項目を有している。ユーザーが情報処理システム５０にログインすると、情報記録アプリ４１は情報処理システム５０の会議情報記憶部５００１から会議情報をダウンロードする。会議情報に含まれる会議ＩＤなどが動画記録情報に反映される。図１０の動画記録情報は、あるユーザーが操作する端末装置１０が保持するものである。

・会議ＩＤは、開催された遠隔会議を識別する識別情報である。会議ＩＤは、会議管理システム９に遠隔会議の予定が登録された際に採番されるか、又は、情報記録アプリ４１からの要求で情報処理システム５０が採番する。なお会議管理システム９は、会議及び遠隔会議の予定や、遠隔会議を開始するＵＲＬ（会議リンク）、会議で利用する機器の予約情報などを登録するためのシステムであり、端末装置１０からネットワークを介して接続するスケジューラ等である。また会議管理システム９は登録した予定等を情報処理システム５０に送信することが可能である。

・録画ＩＤは、遠隔会議において録画された結合画像動画を識別する識別情報である。録画ＩＤはミーティングデバイス６０が採番するが、情報記録アプリ４１や情報処理システム５０が採番してもよい。同じ会議ＩＤに異なる録画ＩＤが付与されるのは、遠隔会議の途中で録画が終了したが、何らかの理由で再開した場合を示す。

・更新日時は、結合画像動画が更新された（録画が終了した）日時である。結合画像動画が編集された場合、編集された日時である。

・タイトルは、会議の会議名である。会議管理システム９への会議の登録時に設定されてもよいし、ユーザーが任意に設定してもよい。

・アップロードは、結合画像動画が情報処理システム５０にアップロードされたか否かを示す。

・保存先は、ストレージサービスシステム７０において、結合画像動画とテキストデータが保存されている場所（ＵＲＬやファイルパス）を示す。したがって、ユーザーはアップロードされた結合画像動画を任意に閲覧できる。なお、結合画像動画とテキストデータは、例えばＵＲＬに続いて別々のファイル名で保存される。

＜＜ミーティングデバイス＞＞
図９に戻って説明する。ミーティングデバイス６０は、端末通信部６１、第一画像生成部６２、第二画像生成部６３、集音部６４、音声合成部６５、参加者検知部６６、音声方向検知部６７、コード解析部６８、及び機器認識部６９、を有している。ミーティングデバイス６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。

端末通信部６１は、ＵＳＢケーブルやＨＤＭＩ（登録商標）ケーブルなどを利用して端末装置１０と通信する。端末通信部６１は、有線ケーブルで接続されるだけでなく、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等で端末装置１０と通信可能であればよい。

第一画像生成部６２はパノラマ画像２０３を作成する。第二画像生成部６３は話者画像２０４を作成する。これらの作成方法は図６、図７にて説明した。詳細は後述される。第一画像生成部６２及び/又は第二画像生成部６３は情報記録アプリ４１が有していてもよい。

集音部６４は、ミーティングデバイス６０が有するマイクが取得する音声信号を音声データ（デジタル）に変換する。これにより、端末装置１０側の拠点でユーザーや参加者が発言した内容が集音される。

音声合成部６５は、端末装置１０から送信された音声と集音部６４が集音した音声を合成する。これにより、他の拠点１０１で発言された音声と、自拠点１０２の発言がまとめられる。

参加者検知部６６は、全天球画像から参加者を検知する。参加者検知部６６は、例えば、ディープラニングやサポートベクターなどの機械学習の手法を利用して顔認識を行い、参加者を検知する。参加者検知部６６は、人間の顔を検知すればよいが、身体まで含めて検知してもよい。

音声方向検知部６７は、特定の周波数の音声の検出により、パノラマ画像における電子黒板２の方向を検知する。

コード解析部６８は、パノラマ画像に含まれる二次元コードやバーコードを検出すると共に、二次元コードやバーコードを解析して電子黒板２の機器識別情報等、二次元コードやバーコードに含まれる情報を取得する。なお、コード解析は端末装置１０が行ってもよい。

機器認識部６９は、機械学習で電子黒板２の形状（外接矩形）を学習しておき、パノラマ画像から電子黒板２を検出する。機器認識部６９は、機械学習を使用せずに、単にパターンマッチングで認識してもよい。この機器認識は端末装置１０が行ってもよい。

＜＜情報処理システム＞＞
情報処理システム５０は、通信部５１、認証部５２、画面生成部５３、コミュニケーション管理部５４、機器管理部５５、及び、テキスト変換部５６を有する。情報処理システム５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図４に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、会議情報記憶部５００１、録画情報記憶部５００２、対応付け情報記憶部５００３、アカウント情報記憶部５００４が構築される。

通信部５１は、端末装置１０と各種の情報を送受信する。通信部５１は、例えば、遠隔会議のリストを端末装置１０に送信したり、音声データの認識要求を端末装置１０から受信したりする。

認証部５２は、端末装置１０を操作するユーザーを認証する。認証部５２は、例えば、通信部５１によって受信された認証要求に含まれている認証情報（ユーザーＩＤ及びパスワード）が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ＩＣカードのカード番号、顔や指紋などの生体認証情報等でもよい。また、認証部５２は、外部の認証システムやＯＡＵＴＨなどの認証方法で認証してもよい。

画面生成部５３は端末装置１０が表示する画面情報の生成を行う。端末装置１０がネイティブアプリを実行する場合は、画面情報は端末装置１０が保持しており、表示される情報がＸＭＬ等で送信される。端末装置１０がＷｅｂアプリを実行する場合は、画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Cascade Style Sheet）、及びJavaScript（登録商標）等により作成される。

コミュニケーション管理部５４は、各ユーザーのアカウント又は情報処理システム５０に付与されたシステム用のアカウントで、遠隔会議に関する情報を会議管理システム９から取得する。コミュニケーション管理部５４は、予約された会議の会議情報を会議ＩＤと対応付けて会議情報記憶部に記憶させる。また、コミュニケーション管理部５４は、テナントに所属するユーザーに閲覧権限がある会議情報を取得する。会議には会議ＩＤが設定されているので、会議ＩＤにより遠隔会議と記録情報が対応付けられる。

機器管理部５５は、会議ＩＤに電子黒板２とミーティングデバイス６０の機器識別情報を対応付けて管理する。すなわち、機器管理部５５は、同じ会議に参加した機器の対応付けを行う。１つの方法として、電子黒板２が表示又は音声出力する機器識別情報をミーティングデバイス６０が取得し、端末装置１０が情報処理システム５０に送信する方法がある。

テキスト変換部５６は、端末装置１０からテキストデータへの変換を要求された音声データを外部の音声認識サービスを利用してテキストデータに変換する。テキスト変換部５６自身が変換してもよい。

図１１は、コミュニケーション管理部５４が管理する、会議情報記憶部５００１に記憶された会議情報の一例である。コミュニケーション管理部５４は上記のアカウントを使ってテナントに所属する当該ユーザーが閲覧権限のある遠隔会議のリストを取得できる。なお閲覧権限は、端末装置１０の情報記録アプリから直接、会議管理部５４が管理する会議情報に対して付与されてもよい。またテナントに所属するユーザーに閲覧権限がある遠隔会議の情報には、ユーザーが作成した会議の情報と、ユーザーが他のユーザーによって閲覧権限を与えられた会議の情報とが含まれる。本実施形態では、遠隔会議を例にしているが、遠隔会議のリストには１つの会議室だけで開催される会議も含まれている。

会議情報は会議ＩＤで管理され、開催者ＩＤ、タイトル（会議名）、開始日時、終了日時、電子黒板２、ミーティングデバイス６０などと対応付けられている。これらは会議情報の一例であり、会議情報は、他にも情報を含みうる。

・開催者ＩＤの項目は、会議の開催者（主催者）である。

・タイトルの項目は、会議名や海外の議題など、会議の内容を表す。

・開始日時の項目は、会議が開始される予定の日時である。

・終了日時の項目は、会議が終了する予定の日時である。

・電子黒板２の項目は、会議に対応付けられた電子黒板２の識別情報である。

・ミーティングデバイス６０の項目は、会議で使用されたミーティングデバイス６０の識別情報である。

図１０，図１１に示すように、会議ＩＤにより会議で録画された結合画像動画が特定される。

録画情報記憶部５００２に記憶されている録画情報は図１０と同様でよい。ただし、情報処理システム５０では、テナントに所属する全てのユーザーが録画した結合画像動画のリストを有する。保存先（クラウドストレージシステムのＵＲＬ等のパス情報）は、ユーザーが所望の保存先情報を端末装置１０の情報記録アプリ４１のユーザー設定画面等で入力し、録画情報記憶部５００２に記憶してもよい。

図１２は、対応付け情報記憶部５００３に記憶された、会議ＩＤと機器識別情報（電子黒板２とミーティングデバイス６０）とが対応付けられた対応付け情報を示す。情報記録アプリ４１が機器識別情報を情報処理システム５０に送信してから、録画を終了するまで対応付け情報が保持される。

図１３は、アカウント情報記憶部５００４に記憶されているアカウント情報の一例である。アカウント情報には人間だけでなく、人間以外のユーザーとして電子黒板２やミーティングデバイス６０の情報も保持されている。

・ユーザーＩＤは、会議に参加しうるユーザー、電子黒板２及びミーティングデバイス６０等の識別情報である。

・種別は、ユーザー、電子黒板２又はミーティングデバイス６０の各アカウントの種別である。

・名称は、ユーザーの氏名や電子黒板２、ミーティングデバイス６０の名称である。

・メールアドレスは、ユーザー、電子黒板２及びミーティングデバイス６０等のメールアドレスである。

＜＜電子黒板＞＞
図１４は、電子黒板２の機能をブロックに分けて説明する機能ブロック図である。電子黒板２は、接触位置検出部３１、描画データ生成部３２、データ記録部３３、表示制御部３４、コード生成部３５、通信部３６、音声データ生成部３７、及び、操作検知部３８を有する。電子黒板２が有する各機能は、図８に示されている各構成要素のいずれかが、ＳＳＤ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は手段である。

接触位置検出部３１は接触センサー４１４に対し電子ペン４９０が接触した位置の座標を検出する。描画データ生成部３２は電子ペン４９０のペン先が接触した座標を接触位置検出部３１から取得する。描画データ生成部３２はこの座標点列を補間することで接続してストロークデータを生成する。

表示制御部３４は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するためのメニューなどをディスプレイに表示する。

データ記録部３３は、電子黒板２に手書きされた手書きデータ、手書きデータが円や三角などに変換された図形、済などのスタンプ、ＰＣの画面、ファイル等をオブジェクト情報記憶部３００２に保存する。手書きデータ、文字列（図形も含む）、及び、ＰＣの画面などの画像、ファイル等はオブジェクトして扱われる。手書きデータについては手書きの中断による時間的な区切り、手書き場所の違いによる距離的な区切りに応じて一まとまりのストロークデータが１つのオブジェクトとなる。

通信部３６はＷｉ－ＦｉやＬＡＮに接続し、情報処理システム５０と通信する。通信部３６は、オブジェクト情報を情報処理システム５０に送信したり、情報処理システム５０に記憶されたオブジェクト情報を情報処理システム５０から受信してディスプレイ４８０に表示させたりする。また、通信部３６は端末装置１０と直接、通信したり、情報処理システム５０を介して通信したりすることもできる。

コード生成部３５は、機器情報記憶部３００１に記憶された電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報を二次元のパターンに符号化して二次元コードを生成する。また、コード生成部３５は電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報をバーコードに符号化できる。機器識別情報はシリアル番号やＵＵＩＤなどでよい。機器識別情報は、ユーザーが設定したものでもよい。

音声データ生成部３７は、予め設定されている周波数（電子黒板２が出力したことを示す周波数）の信号を、ＰＣＭ変換と同様に一定間隔でサンプリングする手法で音声データを生成する。音声データはスピーカ４５０が有するＤ／Ａコンバータでアナログに変換され、スピーカ４５０から出力される。

操作検知部３８は、電子黒板２に対するユーザー操作を検知する。操作検知部３８は、例えば、接触位置検出部３１が電子ペン４９０やユーザーの手４９１等がディスプレイ４８０（タッチパネル）に接触したこと（接近しただけでもよい）に応じて、操作開始又は操作終了を検知する。

また、電子黒板２は、図８に示されているＳＳＤ４０４等によって構築される記憶部３０００を有している。記憶部３０００には機器情報記憶部３００１とオブジェクト情報記憶部３００２が構築されている。

図１５は、機器情報記憶部３００１に記憶されている機器識別情報等を示す。
・機器識別情報は、電子黒板２の識別情報である。
・ＩＰアドレスは、他の装置がネットワークを介して電子黒板２と接続するためのＩＰアドレスである。
・パスワードは電子黒板２に他の装置が接続する際の認証に使用される。

図１６は、オブジェクト情報記憶部３００２に保存されてるオブジェクト情報を説明する図である。オブジェクト情報は、電子黒板２が表示するオブジェクトを管理する情報である。オブジェクト情報は情報処理システム５０に送信され議事録として使用される。

・会議ＩＤは、情報処理システム５０から通知された会議の識別情報である。

・オブジェクトＩＤはオブジェクトを識別する識別情報である。

・種別はオブジェクトの種類であり、手書き、文字、図形、画像、等がある。手書きはストロークデータ（座標点列）である。文字は手書きデータから変換された文字列（文字コード）である。文字列をテキストデータという場合もある。図形は、三角や四角など手書きデータから変換された幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、Ｔｉｆｆなどの画像データである。

・電子黒板２の１画面をページと称する。ページの項目はそのページ番号である。

・座標は、電子黒板２の所定の原点を基準とするオブジェクトの位置を示す。オブジェクトの位置は例えばオブジェクトの外接矩形の左上頂点である。座標は例えば、ディスプレイの画素単位で表される。

・サイズはオブジェクトの外接矩形の幅と高さである。

＜画面遷移＞
続いて、図１７～図２０を参照して、端末装置１０が遠隔会議中に表示するいくつかの画面について説明する。図１７は、端末装置１０で動作する情報記録アプリ４１が表示するログイン後の初期画面２００である。端末装置１０のユーザーが情報記録アプリ４１を情報処理システム５０に接続させる。ユーザーが認証情報を入力してログインに成功すると、図１７の初期画面２００が表示される。

初期画面２００は、固定表示ボタン２０１、正面変更ボタン２０２、表示範囲を固定するボタン２１９、位置登録ボタン２０７、パノラマ画像２０３、１つ以上の話者画像２０４ａ～２０４ｃ（以下、区別しない場合、話者画像２０４という）、及び、記録開始ボタン２０５を有している。ログイン時にすでにミーティングデバイス６０が起動して、周囲を撮像している場合、初期画面２００にミーティングデバイス６０が作成するパノラマ画像２０３、及び話者画像２０４が表示される。したがって、ユーザーはこれらを見ながら、記録開始するかどうか決めることができる。ミーティングデバイス６０が起動していない（撮像していない）場合、パノラマ画像２０３と話者画像２０４は表示されない。

なお、情報記録アプリ４１は、パノラマ画像２０３から検出された全ての顔に基づく全ての参加者の話者画像２０４を表示してもよいし、直近に発言したＮ人の話者画像２０４のみを表示してもよい。図１７では、最大３人まで話者画像２０４が表示される例を示す。参加者が発言するまでの間、話者画像２０４がなくてもよいし（発言に応じて一人ずつ増える）、所定の方向の参加者の３人の話者画像２０４が表示されてもよい（発言に応じて入れ替わる）。

なお、ミーティングデバイス６０が起動した直後など、誰も発言していない場合、水平３６０°のうちの予め決められた方向（ ０°、１２０°、２４０°など）を話者画像２０４として作成する。後述する固定表示が設定されている場合は、固定表示の設定が優先される。

固定表示ボタン２０１は、パノラマ画像２０３のある領域を話者画像２０４として固定でクローズアップする操作をユーザーが行うためのボタンである。

正面変更ボタン２０２は、パノラマ画像２０３の正面を変更する操作をユーザーが行うためのボタンである（パノラマ画像は水平方向に３６０°写っているので、右端と左端の方向が一致する）。ユーザーはポインティングデバイスでパノラマ画像２０３を左右にスライドさせて、正面に表示される参加者を決定できる。ユーザーの操作はミーティングデバイス６０に送信され、ミーティングデバイス６０は、水平方向３６０°のうち正面にする角度を変更してパノラマ画像を作成し、端末装置１０に送信する。

表示範囲を固定するボタン２１９は、パノラマ画像の高さを変更後に、パノラマ画像２０３が情報記録アプリ４１の表示範囲に入るように縮小するか、否かをユーザーが設定するためのボタンである。

位置登録ボタン２０７は、電子黒板２などの機器の位置（方向）を設定する操作をユーザーが行うためのボタンである。

ユーザーが記録開始ボタン２０５を押下すると情報記録アプリ４１が図１８の録画設定画面２１０を表示する。

図１８は、情報記録アプリ４１が表示する録画設定画面２１０の一例である。録画設定画面２１０では、ミーティングデバイス６０が作成したパノラマ画像及び話者画像、並びに、端末装置１０のデスクトップ画面又は動作するアプリの画面、を録画するかをユーザーが（録画に含めるか）設定できる。パノラマ画像及び話者画像、及び、デスクトップ画面又は動作するアプリの画面のどちらも、情報記録アプリ４１が録画しない場合は音声（端末装置１０が出力する音声＋ミーティングデバイス６０が集音した音声）のみ記録される。

カメラトグルボタン２１１は、ミーティングデバイス６０が作成したパノラマ画像及び話者画像の録画のオンとオフを切り替えるボタンである。カメラトグルボタン２１１は、パノラマ画像と話者画像を個別に録画する設定が可能でもよい。

ＰＣ画面トグルボタン２１２は、端末装置１０のデスクトップ画面、端末装置１０で動作するアプリの画面の、録画のオンとオフを切り替えるボタンである。ＰＣ画面トグルボタン２１２がオンの状態で、デスクトップ画面が録画される。

ユーザーがアプリの画面を録画したい場合、更に、アプリ選択欄２１３で、アプリを選択する。アプリ選択欄２１３には端末装置１０が実行中のアプリ名がプルダウン形式で表示される。ユーザーは録画するアプリを選択できる。このアプリ名は、情報記録アプリ４１がＯＳから取得する。情報記録アプリ４１は実行中のアプリのうち、ＵＩ（画面）を持つアプリのみを表示することができる。選択されるアプリの中に、遠隔会議アプリ４２が含まれてよい。このため、情報記録アプリ４１は、遠隔会議アプリ４２で表示した資料や各拠点の参加者なども動画で記録できる。この他、プルダウンで表示されるアプリは、プレゼンテーション用アプリ、ワープロアプリ、表計算アプリ、文書等の資料作成編集アプリ、クラウド電子黒板アプリ、Ｗｅｂブラウザアプリ、など端末装置で実行中の様々なアプリである。したがって、ユーザーは結合画像動画に含めるアプリの画面を柔軟に選択できる。

また、アプリ単位で録画する場合、ユーザーは複数のアプリを選択できる。情報記録アプリ４１は、選択された全てのアプリの画面を録画できる。

カメラトグルボタン２１１とＰＣ画面トグルボタン２１２が双方ともオフの場合、録画内容確認ウィンドウ２１４に「音声のみ記録されます」と表示される。この音声は、端末装置１０が出力する音声（遠隔会議アプリ４２が他の拠点１０１から受信する音声）と、ミーティングデバイス６０が集音する音声である。つまり、遠隔会議が実施されていれば、遠隔会議アプリ４２の音声とミーティングデバイス６０の音声は、画像の記録に関係なく保存される。ただし、ユーザーは、ユーザーの設定で遠隔会議アプリ４２の音声、ミーティングデバイス６０の音声の保存を選択的に停止できてよい。

カメラトグルボタン２１１とＰＣ画面トグルボタン２１２のオンとオフの組み合わせに応じて、以下のように結合画像動画が録画される。また、録画内容確認ウィンドウ２１４にはリアルタイムに結合画像動画が表示される。

・カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合は、録画内容確認ウィンドウ２１４に、ミーティングデバイス６０が撮像したパノラマ画像と話者画像が表示される。

・カメラトグルボタン２１１がオフ、ＰＣ画面トグルボタン２１２がオン（画面も選択済）の場合、録画内容確認ウィンドウ２１４に、デスクトップ画面や選択されたアプリの画面が表示される。

・カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオンの場合、録画内容確認ウィンドウ２１４に、ミーティングデバイス６０が撮像したパノラマ画像と話者画像、及び、デスクトップ画面や選択されたアプリの画面が横に並んだ状態で表示される。

したがって、パノラマ画像、話者画像、及びアプリの画面が録画されない場合や、パノラマ画像、話者画像、及びアプリの画面が一切録画されない場合があるが、本実施形態では、便宜上、情報記録アプリ４１が作成する画像を結合画像動画という。

更に、録画設定画面２１０は、「記録をアップロード後に自動で文字おこしする」というメッセージと共にチェックボックス２０９を有する。また、録画設定画面２１０は今すぐ記録開始ボタン２１７を有する。ユーザーがチェックボックス２０９にチェックを入れると、記録動画に、遠隔会議中の発言が変換されたテキストデータが添付される。この場合、録画終了後に情報記録アプリ４１がテキストデータへの変換要求と共に音声を情報処理システム５０にアップロードする。また、ユーザーが今すぐ記録開始ボタン２１７を押下すると、図１９の録画中画面２２０が表示される。

図１９は、情報記録アプリ４１が録画中に表示する録画中画面２２０の一例である。なお、図１９の説明では主に図１７との相違を説明する。録画中画面２２０は、録画設定画面２１０でユーザーが設定した条件で、録画される結合画像動画をリアルタイムに表示する。図１９の録画中画面２２０は、カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合であり、ミーティングデバイス６０が作成したパノラマ画像２０３と話者画像２０４（いずれも動画）を表示する。録画中画面２２０は、録画中アイコン２２５、一時停止ボタン２２６、及び、録画終了ボタン２２７を表示する。

一時停止ボタン２２６は録画を停止するためのボタンで、停止後は録画再開も受け付ける。録画終了ボタン２２７は録画を終了するボタンである。一時停止ボタン２２６では録画ＩＤが切り替わらず、録画終了ボタン２２７で録画ＩＤが切り替わる。一時停止して、録画再開時にユーザーは録画設定画面２１０で設定した録画条件を再度設定することもできる。その場合、情報記録アプリ４１は、録画停止ごとに複数の録画ファイルを作成してもよいし（例えば、録画終了ボタン２２７が押下）、１つの動画として連続するように複数ファイルを結合してもよい（例えば、一時停止ボタン２２６が押下）。また、情報記録アプリ４１が結合画像動画を再生する場合、複数の録画ファイルを、１つの動画として連続して再生してもよい。

また、録画中画面２２０は、カレンダーから情報取得ボタン２２１、会議名称欄２２２、時間欄２２３、場所欄２２４を有している。カレンダーから情報取得ボタン２２１は、ユーザーが会議管理システム９から会議情報を取得するためのボタンである。カレンダーから情報取得ボタン２２１が押下されると、情報記録アプリ４１が情報処理システム５０から該ユーザーに閲覧権限がある会議一覧を取得し、表示する。ユーザーは会議一覧から、これから行う遠隔会議を選択する。これにより、会議名称欄２２２、時間欄２２３、場所欄２２４に会議情報が反映される。会議名称欄２２２には会議情報のタイトルが、時間欄２２３には開始時刻と終了時刻が、場所欄２２４に場所が反映される。また、会議管理システムにおける会議情報と記録情報が会議ＩＤで対応付けられる。

遠隔会議が終了し、ユーザーが録画を終了すると、音声付きの結合画像動画が作成される。

図２０は、情報記録アプリ４１が表示する会議一覧画面２３０の一例である。会議一覧画面２３０は、会議の一覧であるが、遠隔会議において録画された記録情報のリストを表示できる。また、遠隔の会議に関わらず、ある会議室内のみで行われた会議も含まれる。会議一覧画面２３０には、会議情報記憶部５００１においてログインユーザーが閲覧権限のある会議情報が表示される。情報記憶部１００１に保存された動画記録情報の情報が更に統合されてもよい。

会議一覧画面２３０は、図１７の初期画面２００においてユーザーが会議一覧タブ２３１を選択すると表示される。会議一覧画面２３０は、このユーザーに閲覧権限がある記録情報のリスト２３６を表示する。会議作成者（議事録作成者）は参加者に閲覧権限を設定できる。なお会議一覧は、記憶した記録情報の一覧であっても、会議予定や会議データの一覧であってもよい。

会議一覧画面２３０はチェックボックス２３２、更新日時２３３、タイトル２３４、及びステータス２３５の各項目を有する。

・チェックボックス２３２は録画ファイルの選択を受け付ける。チェックボックス２３２は、ユーザーがまとめて録画ファイルを削除したい場合に使用される。

・更新日時２３３は、結合画像動画の録画の開始時と終了時を示す。編集された場合は編集日時でよい。

・タイトルは２３４、会議のタイトル（議題等）である。会議情報から転記されてもよいし、ユーザーが設定してもよい。

・ステータス２３５は、結合画像動画が情報処理システム５０にアップロード済みか否かを示す。アップロード済みでない場合、「ローカルＰＣ」が表示され、アップロード済みの場合「アップロード済み」が表示される。アップロード済みでない場合、アップロードボタンが表示される。未アップロードの結合画像動画がある場合、ユーザーが情報処理システム５０にログイン時に、情報記録アプリ４１が自動アップロードするとよい。

ユーザーが結合画像動画のリスト２３６から任意のタイトル等をポインティングデバイスで選択すると、情報記録アプリ４１が録画再生画面を表示するが本実施形態では省略する。録画再生画面では、結合画像動画の再生などが可能である。

なお、ユーザーは、更新日時や、タイトル、キーワードなどから会議を絞り込むことができることが望ましい。また、表示される会議の数が多く、該当の会議を見つけにくい場合は、検索機能として、ユーザーが語句を入力することで、会議の発言やタイトルなどに含まれる語句から記録情報を絞り込むことができることが望ましい。検索機能により、ユーザーは記録情報が多くなった場合でも短時間で所望の記録情報を見つけることが可能である。また、会議一覧画面２３０では、ユーザーが更新日時やタイトル順で会議をソートできてもよい。

＜動作又は処理＞
図２１は、会議の開始からミーティングデバイス６０がパノラマ画像２０３を作成する処理を説明するシーケンス図の一例である。

S1：ユーザーが会議開始を情報記録アプリ４１に入力する。なお、いわゆる遠隔会議は、遠隔会議アプリ４２が他の拠点１０１と接続することで開始される。ステップS1の会議開始は録画の開始（今すぐ記録開始ボタン２１６のオン）を意味している。記録情報の作成の詳細な処理は図４１にて説明する。

S2：情報記録アプリ４１の操作受付部１２が操作を受け付け、デバイス通信部１６が会議開始をミーティングデバイス６０に通知する。

S3：ミーティングデバイス６０の端末通信部６１は会議開始を受信し、参加者検知部６６が参加者を検知し、音声方向検知部６７、コード解析部６８又は機器認識部６９が電子黒板２の機器方向を検知する。機器方向の検知方法については後述する。

S4：第一画像生成部６２は、検知された参加者と電子黒板２を含むようにパノラマ画像２０３の高さを決定して、立っている参加者や電子黒板２を含むようにパノラマ画像２０３を生成する。なお、会議室に電子黒板２がない場合、第一画像生成部６２は会議参加者のみが含まれるパノラマ画像２０３を生成する。

S5：また、第二画像生成部６３は、パノラマ画像２０３から話者画像２０４を生成する。

S6：ミーティングデバイス６０の端末通信部６１は、パノラマ画像２０３及び話者画像２０４を端末装置１０に送信する。なお、端末通信部６１は、ミーティングデバイス６０が集音した音声データ又は図１で説明したミキシングした音声データも端末装置１０に送信する。

S7：情報記録アプリ４１のデバイス通信部１６は、パノラマ画像２０３、話者画像２０４及び音声データを受信し、録画制御部１７が結合画像動画を生成する。表示制御部１３が結合画像を表示する。録画制御部１７は録画終了に応じて、結合画像動画（音声データ付き）をストレージサービスシステム７０に送信し、音声データ処理部１８が情報処理システム５０に音声データのテキストデータへの変換を要求することで、テキストデータをストレージサービスシステム７０に送信する。結合画像動画とテキストデータは会議ＩＤにより対応付けられ、同じＵＲＬ等に保存されることが好ましい。

＜パノラマ画像の高さの決定例＞
図２２は、参加者１２０の顔が検知された場合に決定されるパノラマ画像２０３の高さの一例である。第一画像生成部６２は、最も低い位置の顔に対しマージンＭ１を設け、最も高い位置の顔に対しマージンＭ２を設け、パノラマ画像２０３の高さを決定する。マージンＭ１、Ｍ２は、適宜設定されてよいが、例えば、固定値、最も高い又は低い位置にある顔の高さの１つ～３つ分などでよい。

なお、参加者及び電子黒板２が一切検知されない場合、第一画像生成部６２は、予め設定されている初期設定の高さのパノラマ画像２０３を生成する。

＜パノラマ画像における電子黒板の方向の決定＞
続いて、パノラマ画像２０３における電子黒板２の方向の決定方法を説明する。決定方法には主に以下の４つがある。
１．会議開始時にパノラマ画像２０３からユーザーが指定する。
２．電子黒板２が特定の映像（二次元コード等）を表示し、ミーティングデバイス６０の撮像ユニット６０１で撮像したパノラマ画像２０３から端末装置１０又はミーティングデバイス６０が認識する。
３．電子黒板２が特定の音声を出力し、ミーティングデバイス６０がマイク６０８で認識する。
４．電子黒板２の形状を機械学習によって任意の情報処理装置が学習し、ミーティングデバイス６０のカメラ（撮像ユニット６０１）で撮像したパノラマ画像２０３から端末装置１０又はミーティングデバイス６０が認識する。

＜＜１．会議開始時にパノラマ画像からユーザーが指定する。＞＞
図２３は、位置登録ボタン２０７の押下により電子黒板２の方向を設定する操作方法を説明する図である。位置登録ボタン２０７の押下により、パノラマ画像２０３がポップアップ表示される。例えば、ユーザーはマウスやタッチパネルなどのポインティングデバイスで、矩形のウィンドウ２０６をパノラマ画像２０３上で移動させる。ユーザーはパノラマ画像２０３に含まれる電子黒板２や演台などにウィンドウ２０６を合わせる。

図２４は、ユーザーが設定した方向を確認する画面を示す。ユーザーがＯＫボタン２０８を押下することで、パノラマ画像２０３に対する電子黒板２の方向が設定される。ユーザーが設定した方向はミーティングデバイス６０に送信され、ミーティングデバイス６０の第一画像生成部６２が保存する。

＜＜２．電子黒板２が特定の映像（二次元コード等）を表示し、ミーティングデバイス６０の撮像ユニットで撮像したパノラマ画像２０３から端末装置１０又はミーティングデバイス６０が認識する。３．電子黒板２が特定の音声を出力し、ミーティングデバイス６０がマイクで認識する。＞＞
図２５は、電子黒板２が表示する、電子黒板２の方向の検知方法を設定する画面を説明する図である。図２５（ａ）はメニュー画面１３０の一例を示す。メニュー画面１３０は、カメラボタン１３１を有している。カメラボタン１３１が押下されると、検知方法設定ウィンドウ１３２が表示される。

図２５（ｂ）は、検知方法設定ウィンドウ１３２の一例を示す。検知方法設定ウィンドウ１３２は、二次元コードボタン１３３、及び、音声ボタン１３４を有している。二次元コードボタン１３３が押下されると、電子黒板２が二次元コードを表示し、音声ボタン１３４が押下されると電子黒板２が特定の音声を出力する。

＜＜二次元コードによる方向の決定＞＞
図２６は、電子黒板２が特定の映像として表示する二次元コード３０１の一例を示す。図２６では、パノラマ画像２０３に電子黒板２が写っているが、電子黒板２が１つの二次元コード３０１を表示している。コード解析部６８は、パノラマ画像２０３から二次元コード３０１を検出し、二次元コード３０１の上端から上方向に二次元コードの高さ３０２を加え、パノラマ画像２０３の上端に決定する。なお、この二次元コード３０１に電子黒板２の機器識別情報が含まれることで、電子黒板２とミーティングデバイス６０の対応付けが行われる。

＜＜音による方向の決定＞＞
図２７は、電子黒板２が特定の音を出力した場合の電子黒板２の方向の決定方法を説明する図である。図２７に示すように、電子黒板２の左右の端部にそれぞれスピーカ４５０が設置される。左右の端部にスピーカ４５０が内蔵されていてもよい。

音声データ生成部３７がそれぞれのスピーカ４５０から音を出力する。集音部６４は、特定の周波数の音を自動的に集音する。音声方向検知部６７は、音声データにフーリエ変換を行うことで周波数スペクトルを得て、予め決まっている周波数で、かつ、閾値以上の音が到来する２つの方向を特定する。これにより、音声方向検知部６７がそれぞれのスピーカ４５０から発せられた音がミーティングデバイス６０に対しどの方向から来ているのかを特定する。音声方向検知部６７は、スピーカ４５０の中心を決定し、その高さ３０３を２倍した高さを、パノラマ画像２０３の高さに決定する。

図２８は、特定の映像や音声により、ミーティングデバイス６０が電子黒板２を含むパノラマ画像２０３を生成する処理を説明するシーケンス図の一例である。

S21：ユーザーが検知方法設定ウィンドウ１３２で二次元コードボタン１３３、又は、音声ボタン１３４を押下する。操作受付部１２が押下を受け付ける。

S22：電子黒板２のコード生成部３５が特定の映像として二次元コードを生成する。表示制御部３４は、二次元コードをディスプレイ４８０に表示する。また、電子黒板２の音声データ生成部３７が特定の周波数の音をスピーカ４５０から出力する。コード生成部３５と音声データ生成部３７はどちらか一方が動作すればよいが、両方が動作してもよい。

S23：ミーティングデバイス６０は繰り返し周囲を撮像しているので、二次元コードが画角にあればコード解析部６８が二次元コードを検知する。コード解析部６８は二次元コードの位置を第一画像生成部６２に通知する。また、ミーティングデバイス６０の集音部６４は繰り返し音を集音しているので、特定の周波数の音を自動的に集音する。音声方向検知部６７は、音声データにフーリエ変換を行うことで周波数スペクトルを得て、予め決まっている周波数で、かつ、閾値以上の音が到来する２つの方向を特定する。音声方向検知部６７は電子黒板２のスピーカの方向（全天球画像における緯度と経度）を、パノラマ画像における位置に変換して第一画像生成部６２に通知する。なお、この音は超音波の周波数帯域であるとユーザーに聞こえないのでより好ましい。

S24：第一画像生成部６２は、二次元コードに基づいてパノラマ画像２０３の高さを決定し、又は、電子黒板２のスピーカ４５０の方向に基づいてパノラマ画像２０３の高さを決定する。第一画像生成部６２は、全天球画像から決定した高さのパノラマ画像２０３を生成する。

S25：ミーティングデバイス６０の端末通信部６１は、パノラマ画像２０３、話者画像２０４及び音声データを端末装置１０に送信する。

S26：情報記録アプリ４１のデバイス通信部１６がパノラマ画像２０３、話者画像２０４及び音声データを受信する。録画制御部１７は、パノラマ画像２０３と話者画像２０４を結合して結合画像動画を生成する。表示制御部１３が結合画像を表示する。

＜＜４．電子黒板の形状を任意の情報処理装置が機械学習によって学習し、ミーティングデバイスの撮像ユニットで撮像したパノラマ画像から端末装置又はミーティングデバイスが認識する。＞＞
図２９は、情報記録アプリ４１が表示する電子黒板２の自動検知設定画面１４０を示す。自動検知設定画面１４０は、製造機番欄１４１、操作音トグルボタン１４２、及び、自動検知トグルボタン１４３を有している。製造機番欄１４１には、ミーティングデバイス６０が送信した機番が表示される。操作音トグルボタン１４２は、ユーザー操作時に情報記録アプリ４１が操作を受け付けたことを音で知らせるボタンである。自動検知トグルボタン１４３は、電子黒板２の自動検知をミーティングデバイス６０が行うボタンである。ユーザーが自動検知トグルボタン１４３を押下すると、情報記録アプリ４１がミーティングデバイス６０に、電子黒板２を自動検知するよう要求する。ミーティングデバイス６０は全天球画像から、電子黒板２を検知する。

図３０は、機械学習などの画像処理により検出された電子黒板２を説明する図である。機器認識部６９は、全天球画像から機械学習等を用いて電子黒板２の形状（外接矩形）２４１を検出する。

図３１は、画像処理により検出された電子黒板２に基づいて決定されるパノラマ画像２０３の高さを説明する図である。第一画像生成部６２は、一例として、全天球画像から電子黒板２が検出された場合、電子黒板２の上端から電子黒板２の高さＨの半分までの高さを、パノラマ画像２０３の高さに決定する。電子黒板２の上端からパノラマ画像２０３の上端までの高さは、ゼロでもよく電子黒板２の高さＨの１/３～１/４等でもよく、電子黒板２の高さＨの半分は一例に過ぎない。

＜パノラマ画像等の生成例＞
図３２は、全天球画像からパノラマ画像２０３を生成する生成方法を説明する図である。第一画像生成部６２は、全天球画像Ｘから参加者１２０及び電子黒板２が含まれるようにパノラマ画像を横方向に切り出す。なお、全天球画像Ｘは三次元構造なので、図３２のように平面では表すと歪曲するが、図３２ではわかりやすさのため簡略化している。第一画像生成部６２は、参加者１２０及び電子黒板２が含まれるように図６（ｂ）に示したａ°、ｂ°を変更する。水平方向の切り出し範囲は３６０°でよいが、後述するように水平方向も、参加者１２０及び電子黒板２が含まれるように切り出されるとよい。このように、パノラマ画像２０３の高さh及び幅wは可変である。

検知されていた参加者１２０又は電子黒板２が一定時間検知されなくなった場合、第一画像生成部６２は参加者１２０及び電子黒板２が含まれるように、パノラマ画像２０３の範囲を再度、調整する。

また、第二画像生成部６３は、話者画像２０４を第一画像生成部６２から切り出すことで生成する。図３２では、ＡさんとＤさんが含まれる話者画像２０４が生成されている。

図３３は、情報記録アプリ４１が表示する結合画像の一例である。結合画像の上部にはパノラマ画像２０３が表示され、パノラマ画像の下に話者画像２０４が表示されている。配置や話者画像２０４の数は一例である。

図３４は、第一画像生成部６２がパノラマ画像２０３の高さを決定する処理を説明するフローチャート図の一例である。

会議中、ミーティングデバイス６０は全天球画像の撮像を繰り返す。ミーティングデバイス６０の参加者検知部６６は全天球画像Ｘに顔認識等を行うことで参加者１２０を検知する（Ｓ２０１）。

参加者１２０が検知されない場合（Ｓ２０２のＮｏ）、電子黒板２がオブジェクトを表示することもないので（操作されない）、第一画像生成部６２は初期設定の高さのパノラマ画像２０３を生成する（Ｓ２０６）。

参加者１２０が検知された場合（Ｓ２０２のＹｅｓ）、ミーティングデバイス６０の音声方向検知部６７、コード解析部６８又は機器認識部６９が全天球画像Ｘから電子黒板２を検知したか否かを判断する（Ｓ２０３）。

なお、操作検知部３８が電子黒板２に対する操作を検知したかどうかを判断してもよい。電子黒板２の通信部３６は、端末装置１０に操作の有無を常に送信している。端末装置１０と電子黒板２が同一のＬＡＮ内にあれば、電子黒板２のＩＰアドレス（例えば二次元コードに含まれる）が分かれば端末装置１０と電子黒板２が通信できる。また、端末装置１０と電子黒板２が同じ会議に参加しているため、情報処理システム５０が対応付け情報を参照して、会議ＩＤに基づいて操作の有無を端末装置１０に送信してもよい。こうすることで、電子黒板２の操作時のみ、第一画像生成部６２がパノラマ画像２０３に電子黒板２が含まれるように高さを決定できる。

電子黒板２が検知されてた場合（Ｓ２０３のＹｅｓ）、第一画像生成部６２は電子黒板２と参加者１２０の全てを含む高さのパノラマ画像２０３を生成する（Ｓ２０４）。例えば、第一画像生成部６２は、電子黒板２に基づいて決定されるパノラマ画像２０３の高さ、参加者１２０に基づいて決定されるパノラマ画像２０３の高さのうち高い方を採用する。

電子黒板２が検知されていない場合（Ｓ２０３のＮｏ）、第一画像生成部６２は、参加者１２０の全てを含む高さのパノラマ画像２０３を生成する（Ｓ２０５）。

このように、第一画像生成部６２は、参加者１２０の顔の全て、又は、電子黒板２が操作されている場合は電子黒板２と参加者１２０の全てが含まれるパノラマ画像２０３を生成できる。

＜電子黒板のセンタリング＞
図３５は、パノラマ画像の中央に配置された電子黒板２を示す。図３５（ａ）はミーティングデバイス６０の正面を中央とするパノラマ画像２０３である。図３５（ｂ）に示すように、電子黒板２が検知された場合、第一画像生成部６２はパノラマ画像２０３の中央（幅方向）に、電子黒板２を配置する。第一画像生成部６２は、電子黒板２を右から左方向に、中央に移動し、移動した分だけ左端の画像を右端に結合する（移動方向は逆でもよい）。パノラマ画像２０３の中央に電子黒板２が配置されるので、ユーザーが電子黒板２の表示内容を確認しやすくなる。

＜パノラマ画像の表示例＞
続いて、図３６，図３７を参照して、表示範囲を固定するボタン２１９の作用を説明する。図３６は、表示範囲を固定するボタン２１９がオフの場合に生成されたパノラマ画像２０３の一例を示す。図３６では１つのパノラマ画像２０３と２つの話者画像２０４が一画面に配置して表示されている。話者画像２０４の数は一例であり、話者画像２０４がなくてもよいし、３以上でもよい。

図３６（ａ）は、参加者１２０が全員、座った状態のパノラマ画像２０３を示す。この時のパノラマ画像２０３の高さがＬ１、話者画像の高さがＬ２である。

次に、図３６（ｂ）は、参加者１２０が立ち上がった場合のパノラマ画像２０３を示す。第一画像生成部６２は、全ての参加者１２０の顔が含まれるように、パノラマ画像２０３の高さを大きくする。図３６（ｂ）のパノラマ画像２０３の高さがＭ１、話者画像２０４の高さがＭ２である。表示制御部１３は、参加者１２０が含まれるよう情報記録アプリ４１側でパノラマ画像２０３が表示される領域（第一画像表示部の一例）を、パノラマ画像２０３以上の大きさに拡大する。

一方、情報記録アプリ４１が表示する結合画像の全体サイズが固定である場合、パノラマ画像２０３の高さに応じて、第二画像生成部６３が話者画像２０４の高さを変更する。すなわち、結合画像の高さがＬ１＋Ｌ２、パノラマ画像２０３の高さがＭ１とすると、話者画像２０４の高さはＬ１＋Ｌ２－Ｍ１＝Ｍ２である。第二画像生成部６３は単に話者画像２０４の高さが短くなるようにトリミングすればよいが、話者画像２０４のアスペクト比が一定になるように、幅方向もトリミングしてもよい。第二画像生成部６３が話者画像２０４を縮小してもよい。

したがって、Ｌ１，Ｌ２，Ｍ１，Ｍ２には以下の関係がある。
Ｌ１＜Ｍ１ 、Ｌ２＞Ｍ２

次に、図３６（ｃ）は、電子黒板２が含まれるように作成されたパノラマ画像２０３を示す。第一画像生成部６２は、全ての参加者１２０の顔と電子黒板２が含まれるように、パノラマ画像２０３の高さを大きくする。第一画像生成部６２は、各参加者１２０の顔と電子黒板２を検出して、全ての顔と電子黒板２が含まれるように高さを決定する。話者画像２０４については図３６（ｂ）と同様である。図３６（ｃ）のパノラマ画像２０３の高さがＮ１、話者画像の高さがＮ２である。したがって、Ｌ１，Ｌ２，Ｎ１，Ｎ２には以下の関係がある。
Ｌ１＜Ｎ１ 、Ｌ２＞Ｎ２

このように、表示範囲を固定するボタン２１９がオフの場合、情報記録アプリ４１がパノラマ画像２０３を大きく表示できる。

図３７は、表示範囲を固定するボタン２１９がオンの場合に生成されたパノラマ画像２０３の一例を示す。図３７（ａ）は、図３６（ａ）と同様である。

図３７（ｂ）は、参加者１２０が立ち上がった場合のパノラマ画像２０３を示す。第一画像生成部６２は、全ての参加者１２０の顔が含まれるように、パノラマ画像２０３の高さを大きくする。そして、第一画像生成部６２は、高さＬ１にパノラマ画像２０３の全体が入るように、パノラマ画像２０３の高さ変更後のアスペクト比を維持したままパノラマ画像２０３を縮小する。

したがって、図３７（ｂ）のパノラマ画像２０３の高さには図３７（ａ）から変更がないので、Ｌ１は一定である。話者画像２０４の高さＬ２も一定である。なお、この縮小を情報記録アプリ４１が行ってもよい。

次に、図３７（ｃ）は、電子黒板２が含まれるように作成されたパノラマ画像２０３を示す。第一画像生成部６２は、全ての参加者１２０の顔と電子黒板２が含まれるように、パノラマ画像２０３の高さを大きくする。そして、第一画像生成部６２は、高さＬ１にパノラマ画像２０３の全体が入るように、高さ変更後のパノラマ画像２０３のアスペクト比を維持したままパノラマ画像２０３を縮小する。

したがって、図３７（ｃ）のパノラマ画像２０３の高さには図３７（ａ）から変更がないので、Ｌ１は一定である。話者画像２０４の高さＬ２も一定である。なお、この縮小を情報記録アプリ４１が行ってもよい。

このように、表示範囲を固定するボタン２１９がオンの場合、情報記録アプリ４１におけるパノラマ画像２０３の大きさを一定に保つことができる。

なお、図３６、図３７の処理を端末装置１０が行ってもよい。

＜＜表示範囲を固定するボタンのオン、オフに応じたパノラマ画像の生成＞＞
図３８は、表示範囲を固定するボタン２１９がオン又はオフの場合に、第一画像生成部６２がパノラマ画像２０３を生成する処理を説明するフローチャート図の一例である。

会議が開始され（Ｓ１０１）、会議が終了するまでの間（Ｓ１０２）、参加者検知部６６が全天球画像から参加者１２０を検知し、音声方向検知部６７、コード解析部６８又は機器認識部６９が電子黒板２を検知する（Ｓ１０３）。

図３４にて説明したように、第一画像生成部６２は、参加者１２０の顔及び電子黒板２が含まれるようにパノラマ画像２０３の高さを変更し、パノラマ画像２０３を生成する（Ｓ１０４）。

第一画像生成部６２は、図１７の表示範囲を固定するボタン２１９がオンかどうか判断する（Ｓ１０５）。

表示範囲を固定するボタン２１９がオフの場合（Ｓ１０５のＮｏ）、パノラマ画像２０３の高さに応じて、第二画像生成部６３が話者画像２０４の高さを変更する（Ｓ１０７）。

表示範囲を固定するボタン２１９がオンの場合（Ｓ１０５のＹｅｓ）、第一画像生成部６２、参加者１２０の顔及び電子黒板２が含まれるようにパノラマ画像２０３を生成するのはオフの場合と同じである。しかし、第一画像生成部６２は、高さ変更後のパノラマ画像２０３のアスペクト比を維持して、パノラマ画像２０３の高さが初期設定の高さと同じになるようにパノラマ画像２０３の縦と横を縮小する（Ｓ１０６）。こうすることで、結合画像におけるパノラマ画像２０３の表示領域のサイズを変えずに、参加者１２０の顔及び電子黒板２が含まれるパノラマ画像２０３を生成できる。なお、第二画像生成部６３は、話者画像２０４をトリミングする必要もない。

ミーティングデバイス６０の端末通信部６１は、パノラマ画像２０３、話者画像２０４、及び、音声データを端末装置１０に送信する（Ｓ１０８）。

＜パノラマ画像の幅の決定＞
以上の実施形態では、参加者１２０や電子黒板２等が含まれるようにパノラマ画像２０３の高さが決定されているが、ミーティングデバイス６０が作成するパノラマ画像２０３が水平方向３６０°のうち一部の場合、高さ方向と同様の不都合が生じる。

図３９は、水平方向の一部のみが切り取られたパノラマ画像２０３を示す。ミーティングデバイス６０としては本来、水平方向に３６０°の範囲を撮像できる。しかし、ミーティングデバイス６０が行う画像処理や端末装置１０に送信する際の処理負荷を低減するため、ミーティングデバイス６０が水平方向の一部（例えば正面を含む１８０°～２００°程度）のみをパノラマ画像２０３として生成することもできる。図３９（ａ）に示すように、少人数の会議では、この水平方向の一部のパノラマ画像２０３に全参加者１２０が含まれる。

しかし、図３９（ｂ）に示すように、大人数の会議では、この水平方向の一部のパノラマ画像２０３に全参加者１２０が含まれない状態となる。図３９（ｂ）では、斜線領域２５０に参加者１２０が存在するが、パノラマ画像２０３には含まれていない。情報記録アプリ４１はパノラマ画像２０３には含まれない参加者１２０を表示できない。

そこで、第一画像生成部６２は、参加者１２０、又は、電子黒板２が検知された場合、全ての参加者１２０及び電子黒板２が水平方向に含まれるようにパノラマ画像２０３の幅を決定する。例えば、第一画像生成部６２は、水平方向の左端、右端の参加者１２０の顔に対し顔１～２個分の余白を設定して、パノラマ画像２０３の幅を決定する。

こうすることで、第一画像生成部６２は、図３９（ｃ）に示すように、水平方向においても全ての参加者１２０及び電子黒板２が含まれるパノラマ画像２０３を生成できる。また、参加者１２０が少ない場合は、ミーティングデバイス６０の処理負荷を低減できる。

次に、図４０を参照して、パノラマ画像２０３において参加者間の間隔が空いている場合を説明する。図４０は、パノラマ画像２０３において参加者間の間隔が空いている場合に余剰間隔を省略する処理を説明する図である。パノラマ画像２０３の幅が固定であっても、図３９のように可変であっても、参加者１２０が間隔を置いて着席した場合、パノラマ画像２０３において参加者間の間隔が空いた状態となる。

第一画像生成部６２は、参加者同士、又は、参加者１２０と電子黒板２の間隔が閾値以上の場合、参加者同士、又は、参加者１２０と電子黒板２の余剰間隔２５１を省略する。省略とは余剰間隔２５１のパノラマ画像２０３を削除することをいう。図４０（ａ）では、２つの間隔Ｄが閾値以上である。この場合、第一画像生成部６２は、例えば、参加者１２０の顔の１～２個分の余白を間隔Ｄに残して、残りの余剰間隔２５１のパノラマ画像２０３を削除し、切断されたパノラマ画像２０３を接続する。

図４０（ｂ）は、余剰間隔２５１が省略されたパノラマ画像２０３を示す。余剰間隔２５１が省略されることで、パノラマ画像２０３の無駄が少なくなり、参加者１２０の一覧性が向上する。なお、第一画像生成部６２は、参加者同士、又は、参加者１２０と電子黒板２の間隔Ｄが閾値以上かどうかを判断するのでなく、参加者同士、又は、参加者１２０と電子黒板２の間隔Ｄを等間隔になるように、パノラマ画像２０３の水平方向の一部を削除してもよい。

なお、省略には、１［m］を0.5［m］に縮める構成も含まれる。

＜結合画像動画の保存＞
続いて、図４１を参照し、結合画像動画の保存処理について説明する。図４１は、情報記録アプリ４１がパノラマ画像２０３、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。

S51：ユーザーは遠隔会議アプリ４２を操作して遠隔会議を開始する。ここでは、自拠点１０２と他の拠点１０１の遠隔会議アプリ４２が遠隔会議を開始したものとする。自拠点１０２の遠隔会議アプリ４２は、端末装置１０が有するカメラが撮像する画像、マイクが集音する音声を他の拠点１０１の遠隔会議アプリ４２に送信する。他の拠点１０１の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。同様に、他の拠点１０１の遠隔会議アプリ４２は、端末装置１０が有するカメラが撮像する画像、マイクが集音する音声を自拠点１０２の遠隔会議アプリ４２に送信する。自拠点１０２の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。各遠隔会議アプリ４２はこれを繰り返して、遠隔会議を実現する。

S52：ユーザーは図１４に示した情報記録アプリ４１の録画設定画面２１０に対し、録画に関する設定を行う。情報記録アプリ４１の操作受付部１２が設定を受け付ける。ここでは、カメラトグルボタン２１１、及び、ＰＣ画面トグルボタン２１２が共にオンであるとする。

ユーザーは遠隔会議を事前に予約済みの場合、図１９のカレンダーから情報取得ボタン２２１を押下することで遠隔会議のリストを表示し、記録動画を対応付ける遠隔会議を選択できる。ユーザーは情報処理システム５０にログイン済みなので、情報処理システム５０はログインしたユーザーが閲覧権限のある遠隔会議を特定する。情報処理システム５０は特定した遠隔会議のリストを端末装置１０に送信するので、ユーザーは開催中又はこれから開催される遠隔会議を選択する。これにより、会議ＩＤ等、遠隔会議に関する情報が決定される。

また、ユーザーは遠隔会議を事前に予約していなくても、結合画像動画を作成する際に会議を作成できる。以下では、情報記録アプリ４１が、結合画像動画を作成する際に会議を作成し、会議ＩＤを情報処理システム５０から取得する場合を説明する。

S53：ユーザーは録画開始（今すぐ記録開始ボタン２１６）を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。表示制御部１３は録画中画面２２０を表示する。

S54：遠隔会議が選択されていないので（会議ＩＤが決まってないため）、情報記録アプリ４１の通信部１１が、遠隔会議作成要求を情報処理システム５０に送信する。

S55：情報処理システム５０の通信部５１は遠隔会議作成要求を受信し、コミュニケーション管理部５４が、会議管理システム９が採番した重複しない会議ＩＤを取得し、通信部５１が会議ＩＤを情報記録アプリ４１に送信する。

S56：また、コミュニケーション管理部５４は、通信部５１を介して、結合画像動画の保存先（ストレージサービスシステム７０のＵＲＬ）を情報記録アプリ４１に送信する。

S57：情報記録アプリ４１の通信部１１が会議ＩＤと録画ファイルの保存先を受信し、通信部１１が会議ＩＤを電子黒板２に送信する。通信部１１は、情報処理システム５０を介してもよいし、直接、送信してもよい。

S58：情報記録アプリ４１の通信部１１が会議ＩＤと録画ファイルの保存先を受信することで、録画制御部１７が録画の準備が整ったと判断し、録画を開始する。

S59：情報記録アプリ４１のアプリ画面取得部１４は、ユーザーが選択したアプリの画面をアプリに対し要求する（アプリ画面取得部１４は、より詳細にはＯＳを介して、アプリの画面を取得する）。図４１では、ユーザーが選択したアプリを遠隔会議アプリ４２とする。

S60：情報記録アプリ４１の録画制御部１７は、デバイス通信部１６を介して、ミーティングデバイス６０に録画開始を通知する。通知の際、録画制御部１７は、カメラトグルボタン２１１がオンである旨（パノラマ画像２０３と話者画像の要求）も通知するとよい。要求の有無に関係なくミーティングデバイス６０はパノラマ画像２０３と話者画像を情報記録アプリ４１に送信している。

S61：ミーティングデバイス６０の端末通信部６１が録画開始を受信すると、重複しない録画ＩＤを採番し、録画ＩＤを情報記録アプリ４１に返す。なお、録画ＩＤは情報記録アプリ４１が採番してもよいし、情報処理システム５０から取得してもよい。

S62：情報記録アプリ４１の音声取得部１５は端末装置１０が出力する音声データ（遠隔会議アプリ４２が受信した音声データ）を取得する。

S63：デバイス通信部１６が、音声取得部１５が取得した音声データと合成要求をミーティングデバイス６０に送信する。

S64：ミーティングデバイス６０の端末通信部６１は音声データと合成要求を受信し、音声合成部６５が、集音部６４が集音した周囲の音声データと、受信した音声データを合成する。例えば、音声合成部６５は、２つの音声データを足し合わせる。ミーティングデバイス６０の周辺の鮮明な音声が記録されるので、特にミーティングデバイス６０周辺（会議室側）の音声のテキスト化精度が向上する。

この音声の合成は、端末装置１０でも可能である。しかし、録画機能が端末装置１０に、音声処理がミーティングデバイス６０に分散して配置されることで、端末装置１０とミーティングデバイス６０の負荷を低減できる。録画機能がミーティングデバイス６０に、音声処理が端末装置１０に分散して配置されてもよい。

S65：また、ミーティングデバイス６０の第一画像生成部６２はパノラマ画像２０３を作成し、第二画像生成部６３は話者画像を作成する。このステップS65において、本実施形態で説明したパノラマ画像２０３の高さの決定が行われる。

S66：情報記録アプリ４１のデバイス通信部１６は、パノラマ画像２０３と話者画像を繰り返しミーティングデバイス６０から取得する。また、デバイス通信部１６は、合成後の音声データを繰り返しミーティングデバイス６０に要求して取得する。これらの取得は、デバイス通信部１６がミーティングデバイス６０に要求することで行われてもよい。あるいは、カメラトグルボタン２１１がオンである旨を受け取ったミーティングデバイス６０が自動的にパノラマ画像２０３と話者画像を送信してもよい。音声データの合成要求を受け取ったミーティングデバイス６０が自動的に合成後の音声データを情報記録アプリ４１に送信してもよい。

S67：情報記録アプリ４１の録画制御部１７は、遠隔会議アプリ４２から取得したアプリの画面と、パノラマ画像２０３と、話者画像を並べることで結合画像を作成する。録画制御部１７は、繰り返し結合画像を作成し、動画を構成するフレームに各結合画像を指定することで結合画像動画を作成する。また、録画制御部１７はミーティングデバイス６０から受信した音声データを保存しておく。

情報記録アプリ４１は以上のステップS62～S67を繰り返す。

S68：遠隔会議が終わり、録画の必要がなくなると、ユーザーが録画終了（例えば、録画終了ボタン２２７）を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。

S69：情報記録アプリ４１のデバイス通信部１６は、ミーティングデバイス６０に録画終了を通知する。ミーティングデバイス６０は、引き続きパノラマ画像２０３と話者画像の作成や音声の合成を継続する。ただし、ミーティングデバイス６０は録画中かどうかで解像度やfpsを変えるなど処理の不可を変更してもよい。

S70：情報記録アプリ４１の録画制御部１７は、結合画像動画に音声データを結合して音声付きの結合画像動画を作成する。

S71：また、ユーザーが録画設定画面２１０で「記録をアップロード後に自動で文字おこしする」に対応付けられたチェックボックス２１５をチェックした場合、音声データ処理部１８が、音声データのテキストデータへの変換を情報処理システム５０に要求する。詳細には、音声データ処理部１８は、通信部１１を介して、保存先のＵＲＬを指定し、会議ＩＤ及び録画ＩＤと共に、結合画像動画に結合された音声データの変換要求を情報処理システム５０に送信する。

S72：情報処理システム５０の通信部５１は音声データの変換要求を受信し、テキスト変換部５６が音声認識サービスシステム８０を利用して音声データをテキストデータに変換する。通信部５１はテキストデータを、結合画像動画の保存先と同じ保存先（ストレージサービスシステム７０のＵＲＬ）に保存する。なお、録画情報記憶部５００２においてテキストデータは会議ＩＤ及び録画ＩＤにより結合画像動画と対応付けられている。なおテキストデータは、情報処理システム５０の会議管理部５４で管理し、記憶部５０００に記憶してもよい。また、端末装置１０が音声認識サービスシステム８０に音声認識を要求し、音声認識サービスシステム８０から取得したテキストデータを保存先に保存してもよい。なお、音声認識サービスシステム８０は、変換したテキストデータを情報処理システム５０に返すが、直接保存先のＵＲＬに送信してもよい。音声認識サービスシステム８０は、情報処理システム５０にユーザーが設定した設定情報に応じて、複数のサービスから選択したり切り替えたりしてもよい。

S73：また、情報記録アプリ４１のアップロード部２０は、通信部１１を介して、結合画像動画の保存先に結合画像動画を保存する。録画情報記憶部５００２において結合画像動画は会議ＩＤ及び録画ＩＤと対応付けられている。結合画像動画にはアップロード済みが記録される。

S74：ユーザーが会議終了を電子黒板２に入力する。ユーザーが端末装置１０に会議終了を入力し、端末装置１０から電子黒板２に会議終了が送信されてもよい。この場合、会議終了は情報処理システム５０を経由して電子黒板２に送信されてよい。

S75：電子黒板２の通信部３６は、会議ＩＤを指定して、会議中に表示した（例えば手書きされた）オブジェクトデータを情報処理システム５０に送信する。通信部３６は電子黒板２の機器識別情報を情報処理システム５０に送信してもよい。この場合、対応付け情報により会議ＩＤが特定される。

S76：情報処理システム５０は会議ＩＤに基づいて結合画像動画等と同じ保存先にオブジェクトデータを保存する。

保存先はユーザーに通知されているので、ユーザーはメールなどで保存先を知らせることで結合画像動画を参加者１２０と共有できる。結合画像動画、音声データ、テキストデータ、オブジェクトデータを作成する装置がそれぞれ異なっても、１つの格納場所に集めて格納でき、後でユーザー等が容易に閲覧できる。

なお、ステップS62～S67の処理は、図４１に示すとおりの順番でなくてもよく、音声データの合成と結合画像の作成が前後してもよい。

＜主な効果＞
以上説明したように、本実施形態のミーティングデバイス６０は、予め設定されている複数の対象物（参加者１２０の顔や電子黒板２などの機器）を検知して、その対象物が入るようにパノラマ画像２０３の高さや幅を決定するので、対象物が含まれるパノラマ画像２０３を生成できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、端末装置１０とミーティングデバイス６０が一体でもよい。端末装置１０にミーティングデバイス６０が外付けされてもよい。また、ミーティングデバイス６０は、全天球カメラとマイクとスピーカがケーブルで接続されたものでもよい。

また、他の拠点１０１においてもミーティングデバイス６０が配置されてよい。他の拠点１０１は別途、ミーティングデバイス６０を使用して結合画像動画とテキストデータを作成する。また、１つの拠点に複数のミーティングデバイス６０が配置されてもよい。この場合、ミーティングデバイス６０ごとに複数の記録情報が作成される。

また、本実施形態で使用した、結合画像動画における、パノラマ画像２０３，話者画像２０４、及び、アプリの画面の配置は一例に過ぎない。パノラマ画像２０３が下で話者画像２０４が上でもよいし、ユーザーが配置を変更したり、再生時にはパノラマ画像２０３と話者画像２０４の表示と非表示を個別に切り替えたりしてもよい。

また、図９などの構成例は、端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム５０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

更に、情報処理システム５０は、開示された処理ステップ、例えば図２１等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム５０が有する複数の情報処理装置によって実行され得る。また、情報処理システム５０は、１つのサーバー装置にまとめられていても良いし、複数の装置に分けられていても良い。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）、及び、従来の回路モジュール等のデバイスを含む。

１０ 端末装置
５０ 情報処理システム
６０ ミーティングデバイス
１００ 記録情報作成システム

特開２０１５‐１９１６２号公報

Claims (22)

1. 広角画像を撮像する撮像装置と、前記広角画像から第一の画像を生成する画像生成部と、前記撮像装置と通信できる端末装置で動作するプログラムとを有する機器システムであって、
   前記画像生成部は、前記広角画像から複数の対象物が検知された場合、前記複数の対象物が含まれる前記第一の画像を生成し、
   前記プログラムは、
   前記端末装置を、前記第一の画像を表示する表示制御部として機能させる、ことを特徴とする機器システム。
2. 前記複数の対象物の一部が前記第一の画像に含まれていない場合、前記画像生成部は、前記対象物が含まれるように前記第一の画像の領域を大きくすることを特徴とする請求項１に記載の機器システム。
3. 前記複数の対象物の一部が前記第一の画像に含まれていない場合、前記画像生成部は、前記対象物が含まれるように前記第一の画像の高さを大きくすることを特徴とする請求項１に記載の機器システム。
4. 前記表示制御部は、大きくされた前記第一の画像が前記端末装置に表示されるよう、前記第一の画像に対応する第一画像表示部の大きさを変更することを特徴とする請求項２又は３に記載の機器システム。
5. 前記表示制御部が変更する前記第一の画像の大きさは、高さ方向の大きさであることを特徴とする請求項４に記載の機器システム。
6. 前記表示制御部は、大きくされた前記第一の画像が前記端末装置に表示されるよう、前記第一の画像に対応する第一画像表示部内で表示される前記第一の画像を縮小することを特徴とする請求項２に記載の機器システム。
7. 前記画像生成部は、前記撮像装置に含まれることを特徴とする請求項１～６のいずれか１項に記載の機器システム。
8. 前記画像生成部は、前記プログラムに含まれることを特徴とする請求項１～６のいずれか１項に記載の機器システム。
9. 前記画像生成部は、前記対象物が水平方向の中央に配置された前記第一の画像を生成することを特徴とする請求項１～８のいずれか１項に記載の機器システム。
10. 予め設定されている対象物の一部が前記第一の画像に含まれていない場合、前記画像生成部は、前記対象物が含まれるように前記第一の画像の幅を大きくすることを特徴とする請求項１に記載の機器システム。
11. 前記対象物と前記対象物の間隔が閾値以上の場合、前記画像生成部は、前記対象物と前記対象物の間の余剰間隔を省略した前記第一の画像を生成することを特徴とする請求項１～９のいずれか１項に記載の機器システム。
12. 前記対象物は、人の顔であることを特徴とする請求項１～１１のいずれか１項に記載の機器システム。
13. 前記対象物は、電子機器であることを特徴とする請求項１～１１のいずれか１項に記載の機器システム。
14. 前記対象物は、プロジェクタのスクリーンであることを特徴とする請求項１～１１のいずれか１項に記載の機器システム。
15. 前記対象物は、黒板であることを特徴とする請求項１～１１のいずれか１項に記載の機器システム。
16. 前記電子機器が表示する二次元コードを検知するコード解析部を有し、
    前記画像生成部は、前記コード解析部が検知した前記二次元コードに基づいて、前記電子機器が含まれる前記第一の画像を生成することを特徴とする請求項１３に記載の機器システム。
17. 前記電子機器が出力する音声を集音する集音部と、
    前記集音部が集音した音声の方向を検知する音声方向検知部と、を有し、
    前記画像生成部は、前記音声方向検知部が検知した前記電子機器の方向に基づいて、前記電子機器が含まれる前記第一の画像を生成することを特徴とする請求項１３に記載の機器システム。
18. 前記電子機器を画像処理により認識する機器認識部、を有し、
    前記画像生成部は、前記機器認識部が認識した前記電子機器に基づいて、前記電子機器が含まれる前記第一の画像を生成することを特徴とする請求項１３に記載の機器システム。
19. 前記第一の画像の表示範囲を固定しない設定の場合、前記画像生成部は、前記対象物が含まれるように前記第一の画像の高さを大きくし、
    前記第一の画像の表示範囲を固定する設定の場合、前記画像生成部は、前記対象物が含まれるように前記第一の画像の高さを大きくし、更に、高さを変更後の前記第一の画像のアスペクト比を維持して、前記第一の画像の初期設定の高さに前記第一の画像を縮小することを特徴とする請求項１～１８のいずれか１項に記載の機器システム。
20. 前記撮像装置は、
    前記第一の画像から話者を切り出した第二の画像を生成する第二画像生成部を有し、
    前記第一の画像の表示範囲を固定しない設定の場合、前記第二画像生成部は、前記第一の画像の高さが大きくなった分、前記第二の画像の高さを短くし、
    前記第一の画像の表示範囲を固定する設定の場合、前記第二画像生成部は、前記第二の画像の高さを変更しないことを特徴とする請求項１９に記載の機器システム。
21. 広角画像を撮像し、端末装置と通信できる撮像装置であって、
    前記広角画像から第一の画像を生成する画像生成部を有し、
    前記画像生成部は前記広角画像から複数の対象物が検知された場合、前記複数の対象物が含まれる前記第一の画像を生成する、ことを特徴とする撮像装置。
22. 広角画像を撮像する撮像装置と、前記広角画像から第一の画像を生成する画像生成部と、前記撮像装置と通信できる端末装置で動作するプログラムとを有する機器システムが行う表示方法であって、
    前記画像生成部が、前記広角画像から複数の対象物が検知された場合、前記複数の対象物が含まれる前記第一の画像を生成するステップと、
    前記プログラムが、前記第一の画像を表示するステップと、
    を有することを特徴とする表示方法。

Images