JP2019149627A - 双方向映像通信システム及び通信制御装置 - Google Patents

Abstract

【課題】電話による音声のみでユーザに応対する電話応対業務などに用いられている汎用的なオペレータ端末を、双方向映像通信により映像と音声でユーザに応対する対面応対業務にも兼用することができるようにする。【解決手段】オペレータ端末２に接続されるオペレータ側のエッジ端末４を備え、このオペレータ側のエッジ端末は、オペレータ端末との間でデータを入出力する入出力部６２と、キオスク端末に接続されたユーザ側のエッジ端末３とネットワークを介して通信する通信部６３と、制御部６１と、を備え、制御部は、ユーザ側のエッジ端末に接続する接続制御を行うとともに、オペレータ端末で撮影したオペレータの正面映像および手元映像と、キオスク端末で撮影したユーザの正面映像および手元映像と、をリアルタイムで送受信する映像伝送制御を行う。【選択図】図５

Description

本発明は、キオスク端末とオペレータ端末との間で、キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システム、ならびにオペレータ端末に接続される通信制御装置、およびキオスク端末に接続される通信制御装置に関するものである。

近年、遠隔地にいる複数の人物をそれぞれ撮影した映像を双方向で通信する双方向映像通信システムが普及している。一方、各種の情報を提供する案内業務や金融機関などの窓口業務などのサービスを、人に代わって提供するキオスク端末が普及しており、このようなキオスク端末と、ユーザに応対するオペレータが操作するオペレータ端末とで、双方向映像通信システムを構築すると、ユーザにオペレータが対面して応対することができるため、キオスク端末によるサービスの品質を向上させることができる。

このようなキオスク端末で構築される双方向映像通信システムに関する技術として、従来、顧客端末において、オペレータの映像をモニタに表示させて、オペレータが映像と音声でユーザに対応するモードと、オペレータが発話した音声から検出したオペレータの口の動きをキャラクタで再現した動画をモニタに表示させた状態で、オペレータが音声のみでユーザに対応するモードと、を切り替えることができるようにした技術が知られている（特許文献１参照）。この技術では、顧客端末からオペレータ端末に接続要求があると、顧客の個人認証結果に応じたコンテンツをオペレータ端末に表示するとともに、コンテンツに応じてモードを切り替えるようにしている。

特開２００５−０５１５５４号公報

さて、コールセンターでは、顧客からの問い合わせの発生状況を考慮して、電話による音声でユーザに応対する電話応対業務を行うオペレータ端末を必要な台数だけ設置することになる。一方、コールセンターにおいて、双方向映像通信により映像と音声でユーザに応対する対面応対業務を行う場合、電話応対業務の他に対面応対業務を行うことができる専用のオペレータ端末を必要な台数だけ設置することは非常にコストが嵩む。このため、対面応対業務の頻度に応じて、電話応対業務で用いられている汎用的なオペレータ端末の一部を、対面応対業務で兼用できるように構成して、必要に応じて、オペレータ端末を電話応対業務でも対面応対業務でも使用することができる技術が望まれる。

しかしながら、前記従来の技術では、電話応対業務などに用いられている汎用的なオペレータ端末を対面応対業務と兼用することに関しては何ら考慮されていないため、電話応対業務などに用いられている汎用的なオペレータ端末を対面応対業務にも兼用することができないという問題があった。

そこで、本発明は、電話による音声のみでユーザに応対する電話応対業務などに用いられている汎用的なオペレータ端末を、双方向映像通信により映像と音声でユーザに応対する対面応対業務にも兼用することができる双方向映像通信システム及び通信制御装置を提供することを主な目的とする。

本発明の双方向映像通信システムは、キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、前記オペレータ端末に接続されるオペレータ側の通信制御装置を備え、このオペレータ側の通信制御装置は、前記オペレータ端末との間でデータを入出力する入出力部と、前記キオスク端末、または前記キオスク端末に接続されたユーザ側の通信制御装置とネットワークを介して通信する通信部と、制御部と、を備え、前記制御部は、前記キオスク端末または前記ユーザ側の通信制御装置に接続する接続制御を行うとともに、前記オペレータ端末で撮影したオペレータの正面映像および手元映像と、前記キオスク端末で撮影したユーザの正面映像および手元映像と、をリアルタイムで送受信する映像伝送制御を行う構成とする。

また、本発明の通信制御装置は、キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを、前記オペレータ端末との間で双方向に通信するために前記キオスク端末に接続される通信制御装置であって、前記キオスク端末との間でデータを入出力する入出力部と、前記オペレータ端末、または前記オペレータ端末に接続されたオペレータ側の通信制御装置とネットワークを介して通信する通信部と、制御部と、を備え、前記制御部は、前記オペレータ端末または前記オペレータ側の通信制御装置に接続する接続制御を行うとともに、前記キオスク端末で撮影したユーザの正面映像および手元映像と、前記オペレータ端末で撮影したオペレータの正面映像および手元映像と、をリアルタイムで送受信する映像伝送制御を行う構成とする。

本発明によれば、双方向映像通信に必要な通信制御が通信制御装置で行われるため、オペレータ端末を通信制御装置に接続することで、電話応対業務などに用いられている汎用的なオペレータ端末を対面応対業務にも兼用することができる。

本実施形態に係る双方向映像通信システムの全体構成図 キオスク端末１の外観を示す斜視図 オペレータ端末２の外観を示す斜視図 キオスク端末１およびオペレータ端末２の概略構成を示すブロック図 ユーザ側のエッジ端末３およびオペレータ側のエッジ端末４の概略構成を示すブロック図 キオスク端末１に表示される画面を示す説明図 オペレータ端末２に表示される画面を示す説明図 本システムの動作手順を示すシーケンス図

前記課題を解決するためになされた第１の発明は、キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、前記オペレータ端末に接続されるオペレータ側の通信制御装置を備え、このオペレータ側の通信制御装置は、前記オペレータ端末との間でデータを入出力する入出力部と、前記キオスク端末、または前記キオスク端末に接続されたユーザ側の通信制御装置とネットワークを介して通信する通信部と、制御部と、を備え、前記制御部は、前記キオスク端末または前記ユーザ側の通信制御装置に接続する接続制御を行うとともに、前記オペレータ端末で撮影したオペレータの正面映像および手元映像と、前記キオスク端末で撮影したユーザの正面映像および手元映像と、をリアルタイムで送受信する映像伝送制御を行う構成とする。

これによると、双方向映像通信に必要な通信制御が通信制御装置で行われるため、オペレータ端末を通信制御装置に接続することで、電話応対業務などに用いられている汎用的なオペレータ端末を対面応対業務にも兼用することができる。

また、第２の発明は、複数の前記オペレータ端末を備え、この複数のオペレータ端末が、前記オペレータ側の通信制御装置に接続される構成とする。

これによると、通信制御装置を複数のオペレータ端末で共有するため、コストを削減することができる。

また、第３の発明は、前記オペレータ側の通信制御装置は、前記キオスク端末または前記ユーザ側の通信制御装置との間の通信の可用帯域を推定する帯域推定と、推定した可用帯域に応じて映像の送信レートを制御するレート制御とを行う構成とする。

これによると、リアルタイムな映像の送受信を確実に行うことができる。

また、第４の発明は、前記オペレータ側の通信制御装置を前記キオスク端末または前記ユーザ側の通信制御装置に接続するための接続情報を管理し、その接続情報を前記オペレータ側の通信制御装置に提供するサーバ装置を備え、前記オペレータ側の通信制御装置は、前記接続情報を前記サーバ装置から取得して、前記接続制御を行う構成とする。

これによると、オペレータ側の通信制御装置を、インターネットを介してキオスク端末またはユーザ側の通信制御装置に接続することができる。

また、第５の発明は、キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを通信する双方向映像通信システムであって、前記キオスク端末に接続されるユーザ側の通信制御装置を備え、このユーザ側の通信制御装置は、前記キオスク端末との間でデータを入出力する入出力部と、前記オペレータ端末、または前記オペレータ端末に接続されたオペレータ側の通信制御装置とネットワークを介して通信する通信部と、制御部と、を備え、前記制御部は、前記オペレータ端末または前記オペレータ側の通信制御装置に接続する接続制御を行うとともに、前記キオスク端末で撮影したユーザの正面映像および手元映像と、前記オペレータ端末で撮影したオペレータの正面映像および手元映像と、をリアルタイムで送受信する映像伝送制御を行う構成とする。

これによると、双方向映像通信に必要な通信制御が通信制御装置で行われるため、キオスク端末を通信制御装置に接続することで、汎用的なキオスク端末を双方向映像通信に用いることができる。

また、第６の発明は、複数の前記キオスク端末を備え、この複数のキオスク端末が、前記ユーザ側の通信制御装置に接続される構成とする。

これによると、通信制御装置を複数のキオスク端末で共有するため、コストを削減することができる。

また、第７の発明は、前記ユーザ側の通信制御装置は、前記オペレータ端末または前記オペレータ側の通信制御装置との間の通信の可用帯域を推定する帯域推定と、推定した可用帯域に応じて映像の送信レートを制御するレート制御とを行う構成とする。

これによると、リアルタイムな映像の送受信を確実に行うことができる。

また、第８の発明は、前記ユーザ側の通信制御装置を前記オペレータ端末または前記オペレータ側の通信制御装置に接続するための接続情報を管理し、その接続情報を前記ユーザ側の通信制御装置に提供するサーバ装置を備え、前記ユーザ側の通信制御装置は、前記接続情報を前記サーバ装置から取得して、前記接続制御を行う構成とする。

これによると、ユーザ側の通信制御装置を、インターネットを介してオペレータ端末またはオペレータ側の通信制御装置に接続することができる。

また、第９の発明は、キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するために前記オペレータ端末に接続される通信制御装置であって、前記オペレータ端末との間でデータを入出力する入出力部と、前記キオスク端末、または前記キオスク端末に接続されたユーザ側の通信制御装置とネットワークを介して通信する通信部と、制御部と、を備え、前記制御部は、前記キオスク端末または前記ユーザ側の通信制御装置に接続する接続制御を行うとともに、前記オペレータ端末で撮影したオペレータの正面映像および手元映像と、前記キオスク端末で撮影したユーザの正面映像および手元映像と、をリアルタイムで送受信する映像伝送制御を行う構成とする。

これによると、第１の発明と同様に、双方向映像通信に必要な通信制御が通信制御装置で行われるため、オペレータ端末を通信制御装置に接続することで、電話応対業務などに用いられている汎用的なオペレータ端末を対面応対業務にも兼用することができる。

また、第１０の発明は、キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを、前記オペレータ端末との間で双方向に通信するために前記キオスク端末に接続される通信制御装置であって、前記キオスク端末との間でデータを入出力する入出力部と、前記オペレータ端末、または前記オペレータ端末に接続されたオペレータ側の通信制御装置とネットワークを介して通信する通信部と、制御部と、を備え、前記制御部は、前記オペレータ端末または前記オペレータ側の通信制御装置に接続する接続制御を行うとともに、前記キオスク端末で撮影したユーザの正面映像および手元映像と、前記オペレータ端末で撮影したオペレータの正面映像および手元映像と、をリアルタイムで送受信する映像伝送制御を行う構成とする。

これによると、第５の発明と同様に、双方向映像通信に必要な通信制御が通信制御装置で行われるため、キオスク端末を通信制御装置に接続することで、汎用的なキオスク端末を双方向映像通信に用いることができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る双方向映像通信システムの全体構成図である。

この双方向映像通信システムは、キオスク端末１と、オペレータ端末２と、ユーザ側のエッジ端末３（通信制御装置）と、オペレータ側のエッジ端末４（通信制御装置）と、管理サーバ５（サーバ装置）と、を備えている。

ユーザ側のエッジ端末３には、複数のキオスク端末１が接続されている。オペレータ側のエッジ端末４には、複数のオペレータ端末２が接続されている。ユーザ側のエッジ端末３とオペレータ側のエッジ端末４とは、インターネットやＶＰＮ（Virtual Private Network）やイントラネットなどのネットワークを介して接続される。

キオスク端末１は、各種の施設に設置され、ユーザが操作するものであり、ユーザを撮影した映像をユーザ側のエッジ端末３およびオペレータ側のエッジ端末４を介してオペレータ端末２に送信し、オペレータ端末２からオペレータ側のエッジ端末４およびユーザ側のエッジ端末３を介して受信したオペレータの映像を表示する。

オペレータ端末２は、コールセンターなど、ユーザに応対するオペレータが常駐する施設に設置され、オペレータが操作するものであり、オペレータを撮影した映像をオペレータ側のエッジ端末４およびユーザ側のエッジ端末３を介してキオスク端末１に送信し、キオスク端末１からユーザ側のエッジ端末３およびオペレータ側のエッジ端末４を介して受信したユーザの映像を表示する。

なお、オペレータ端末２がコールセンターに設置される場合、オペレータ端末２は、電話による音声でユーザに応対する電話応対業務で使用されるものである。この場合、電話応対業務に使用されていない空き状態にあるオペレータ端末２が、オペレータ側のエッジ端末４に接続されて、双方向映像通信により映像と音声でユーザに応対する対面応対業務に使用される。また、オペレータ端末２を電話応対業務で使用する場合には、オペレータ端末２がＡＣＤ（Automatic Call Distribution）の管理サーバ（図示せず）に接続される。

ユーザ側のエッジ端末３は、キオスク端末１が設置される施設に設置され、キオスク端末１とオペレータ端末２との間での映像のやり取りを中継する。

オペレータ側のエッジ端末４は、オペレータ端末２が設置される施設に設置され、キオスク端末１とオペレータ端末２との間での映像のやり取りを中継する。

管理サーバ５は、オペレータ側のエッジ端末４をユーザ側のエッジ端末３に接続するための接続情報を管理し、その接続情報をオペレータ側のエッジ端末４に提供し、また、ユーザ側のエッジ端末３をオペレータ側のエッジ端末４に接続するための接続情報を管理し、その接続情報をユーザ側のエッジ端末３に提供する。具体的には、ＮＡＴ（Network Address Translation）越えのための接続情報を管理するＩＣＥ（Interactive Connectivity Establishment）サーバの機能と、オペレータ側のエッジ端末４とユーザ側のエッジ端末３と間で接続情報を交換するためのシグナリングサーバの機能と、を備えている。

なお、イントラネットやＶＰＮなどの専用回線で通信を行う場合には、エッジ端末３，４自体が接続情報を保持するため、管理サーバ５は不要である。

ところで、キオスク端末１では、様々なサービスを提供することができる。例えば、キオスク端末１を空港などの交通施設のロビーなどに設置することで、周辺の観光地の案内や、施設内のフロアの案内や、周辺の宿泊施設の案内などのサービスを提供することができる。また、キオスク端末１を銀行などの金融機関の店舗に設置することで、窓口などで行われる各種のサービス、例えば、口座開設や金融取引やローン契約の相談などのサービスを提供することができる。また、キオスク端末１をホテルなどの宿泊施設のフロントなどに設置することで、係員（コンシェルジュ）が行う各種の案内サービスを提供することができる。また、マンションなどの共同住宅の玄関ロビーなどに設置することで、管理人が行う各種のサービスを提供することができる。

このようにキオスク端末１では、各種のサービスを担当者に代わって常時提供することができるため、サービスの品質を向上させることができ、また、オペレータが複数の施設を掛け持ちで担当することができるため、人員削減を図ることができる。

また、キオスク端末１とオペレータ端末２との間では、ユーザの映像とオペレータの映像とを双方向に通信するが、この他に、キオスク端末１やオペレータ端末２において、ユーザやオペレータが操作した内容に関する操作情報、ユーザやオペレータが入力したテキスト情報などが双方向に通信される。

特に、機密情報、例えば、ユーザの氏名や住所などの個人情報や、金融機関の口座番号などの情報がやり取りされる場合がある。このような機密情報の通信については、サービス提供者が、セキュリティを高度に確保した専用のネットワークを既に運用しているため、機密情報を含む映像以外の情報は既存のネットワークで通信し、これとは別のネットワークで映像を通信するようにしてもよい。これにより、セキュリティを確保するとともに、通信量が大きい映像を別のネットワークで通信することで、既存のネットワークの負荷が増大しないようにすることができる。

次に、キオスク端末１について説明する。図２は、キオスク端末１の外観を示す斜視図である。

キオスク端末１は、筐体１１と、正面モニタ１２と、手元モニタ１３と、正面カメラ１４と、手元カメラ１５と、ＩＣカードリーダ１６と、スピーカー１７と、マイク１８と、を備えている。

正面モニタ１２は、画面を前向きにした状態で配置され、手元モニタ１３は、画面を上向きにした状態で配置されている。また、手元モニタ１３はタッチパネルを備えており、ユーザが画面操作を行うことができる。

正面カメラ１４は、ユーザの顔を含む上半身を正面から撮影する。手元カメラ１５は、ユーザの手元、すなわち、手元モニタ１３上に置いたユーザの手と手元モニタ１３の画面とを上方から撮影する。ユーザは、手元モニタ１３の画面を手先で指し示す動作を行い、この状況が手元カメラ１５で撮影される。

ＩＣカードリーダ１６は、ユーザが所持するＩＣカードを読み取る。

スピーカー１７は、オペレータが発した音声を出力する。マイク１８は、ユーザが発した音声を収音する。

このように構成されたキオスク端末１は、カウンタなどの台に載置され、ユーザが椅子に座った状態で、あるいは、立ったままの状態でキオスク端末１を操作する。

次に、オペレータ端末２について説明する。図３は、オペレータ端末２の外観を示す斜視図である。

オペレータ端末２は、架台２１と、第１モニタ２２と、第２モニタ２３と、正面カメラ２４と、手元カメラ２５と、ヘッドセット２６と、テーブル２７と、を備えている。

第１モニタ２２は、所定の高さとなるように架台２１に支持されている。第２モニタ２３は、タッチパネルを備えており、オペレータが画面操作を行うことができる。

正面カメラ２４は、オペレータの顔を含む上半身を正面から撮影する。手元カメラ２５は、オペレータの手元、すなわち、テーブル２７上に置いたオペレータの手とテーブル２７とを上方から撮影する。オペレータは、テーブルにパンフレットなどの書類を置いて、書類を手先で指し示しながら書類を説明し、この状況が手元カメラ２５で撮影される。

ヘッドセット２６は、スピーカー２８と、マイク２９と、を備えている。スピーカー２８は、ユーザが発した音声を出力する。マイク２９は、オペレータが発した音声を収音する。

また、オペレータ端末２には、モニタ７が併設される。このモニタ７には、オペレータ端末２、または、図示しないＰＣで起動させたアプリケーションの画面が表示される。このアプリケーションの画面はキオスク端末１と共有され、同一の画面がキオスク端末１の手元モニタ１３に表示される（画面共有機能）。また、モニタ７はタッチパネルを備えており、オペレータが手書きで画面上に描画することができる（ホワイトボード機能）。

なお、コールセンターでは、オペレータが、オペレータ端末２を使用して映像と音声でユーザに応対する対面応対業務とは別に、電話による音声のみでユーザに応対する電話応対業務を行うため、電話応対業務用のモニタ（図示せず）がオペレータ端末２に併設される。

次に、キオスク端末１およびオペレータ端末２の概略構成について説明する。図４は、キオスク端末１およびオペレータ端末２の概略構成を示すブロック図である。

キオスク端末１は、前記のように、正面モニタ１２と、手元モニタ１３と、正面カメラ１４と、手元カメラ１５と、ＩＣカードリーダ１６と、スピーカー１７と、マイク１８と、を備えている。また、キオスク端末１は、制御部３１と、入出力部３２と、記憶部３３と、を備えている。

入出力部３２は、ユーザ側のエッジ端末３との間でデータの入出力を行う。

記憶部３３は、制御部３１を構成するプロセッサで実行されるプログラムを記憶する。

制御部３１は、映像処理部３５を備えている。この制御部３１は、プロセッサで構成され、映像処理部３５は、記憶部３３に記憶されたプログラムをプロセッサで実行することで実現される。

映像処理部３５は、正面カメラ１４で撮影したユーザの正面映像および手元カメラ１５で撮影したユーザの手元映像のエンコードを行う。このとき、ユーザ側のエッジ端末３で行われるレート制御で指定されたレートで映像のエンコードを行う。また、映像処理部３５は、ユーザ側のエッジ端末３から入力されるオペレータの正面映像および手元映像のデコードを行う。

オペレータ端末２は、前記のように、第１モニタ２２と、第２モニタ２３と、正面カメラ２４と、手元カメラ２５と、ヘッドセット２６と、を備えている。また、オペレータ端末２は、制御部４１と、入出力部４２と、記憶部４３と、を備えている。

入出力部４２は、オペレータ側のエッジ端末４との間でデータの入出力を行う。

記憶部４３は、制御部４１を構成するプロセッサで実行されるプログラムを記憶する。

制御部４１は、映像処理部４５を備えている。この制御部４１は、プロセッサで構成され、映像処理部４５は、記憶部４３に記憶されたプログラムをプロセッサで実行することで実現される。

映像処理部４５は、正面カメラ２４で撮影したオペレータの正面映像および手元カメラ２５で撮影したオペレータの手元映像のエンコードを行う。このとき、オペレータ側のエッジ端末４で行われるレート制御で指定されたレートで映像のエンコードを行う。また、映像処理部４５は、オペレータ側のエッジ端末４から入力されるユーザの正面映像および手元映像のデコードを行う。

なお、オペレータ端末２に、手持ちの書類を読み取るスキャナを設けるようにしてもよい。また、オペレータ端末２に、操作する人物が正規のオペレータであることの認証を行うために、ＩＣカードリーダを設けるようにしてもよい。また、キオスク端末１に、オペレータ端末２から送信された書類や画面表示された情報などを印刷出力するプリンタを設けるようにしてもよい。

また、第２モニタ２３をタブレットＰＣで構成する、すなわち、第２モニタ２３の筐体内に、制御部４１、入出力部４２および記憶部４３を収容した構成としてもよい。

次に、ユーザ側のエッジ端末３およびオペレータ側のエッジ端末４の概略構成について説明する。図５は、ユーザ側のエッジ端末３およびオペレータ側のエッジ端末４の概略構成を示すブロック図である。

ユーザ側のエッジ端末３は、制御部５１と、入出力部５２と、通信部５３と、記憶部５４と、を備えている。

入出力部５２は、キオスク端末１との間でデータの入出力を行う。なお、この入出力部５２には、複数のキオスク端末１が接続される。

通信部５３は、ネットワークを介してオペレータ側のエッジ端末４および管理サーバ５と通信を行う。

記憶部５４は、制御部５１を構成するプロセッサで実行されるプログラムを記憶する。

制御部５１は、接続制御部５５と、映像伝送制御部５６と、録画部５７と、を備えている。この制御部５１は、プロセッサで構成され、制御部５１の各部は、記憶部５４に記憶されたプログラムをプロセッサで実行することで実現される。

接続制御部５５は、オペレータ側のエッジ端末４に関する接続情報を管理サーバ５から取得して、オペレータ側のエッジ端末４に接続するための接続制御を行う。

映像伝送制御部５６は、キオスク端末１から出力されるユーザの正面映像および手元映像を同時にリアルタイム伝送するための制御を行う。具体的には、オペレータ側のエッジ端末４との間の通信の可用帯域を推定する帯域推定や、推定した可用帯域に応じて、ユーザの正面映像および手元映像の送信レートを制御するレート制御を行う。なお、この帯域推定やレート制御は、可用帯域が変動するインターネット経由の場合に重要である。

録画部５７は、オペレータ側のエッジ端末４から受信した映像データを記憶部５４に蓄積する録画を行う。これにより、キオスク端末１の負荷を軽減することができる。

オペレータ側のエッジ端末４は、制御部６１と、入出力部６２と、通信部６３と、記憶部６４と、を備えている。

入出力部６２は、オペレータ端末２との間でデータの入出力を行う。なお、この入出力部６２には、複数のオペレータ端末２が接続される。

通信部６３は、ネットワークを介してユーザ側のエッジ端末３および管理サーバ５と通信を行う。

記憶部６４は、制御部６１を構成するプロセッサで実行されるプログラムを記憶する。

制御部６１は、接続制御部６５と、映像伝送制御部６６と、録画部６７と、を備えている。この制御部６１は、プロセッサで構成され、制御部６１の各部は、記憶部６４に記憶されたプログラムをプロセッサで実行することで実現される。

接続制御部６５は、ユーザ側のエッジ端末３に関する接続情報を管理サーバ５から取得して、ユーザ側のエッジ端末３に接続するための接続制御を行う。

映像伝送制御部６６は、オペレータ端末２から出力されるオペレータの正面映像および手元映像を同時にリアルタイム伝送するための制御を行う。具体的には、ユーザ側のエッジ端末３との間の通信の可用帯域を推定する帯域推定や、推定した可用帯域に応じて、オペレータの正面映像および手元映像の送信レートを制御するレート制御を行う。

録画部６７は、ユーザ側のエッジ端末３から受信した映像データを記憶部６４に蓄積する録画を行う。これにより、オペレータ端末２の負荷を軽減することができる。

次に、キオスク端末１に表示される画面について説明する。図６は、キオスク端末１に表示される画面を示す説明図である。

キオスク端末１では、スタンバイ時（オペレータ端末２に接続する前）には、正面モニタ１２がデジタルサイネージとして動作し、図６（Ａ−１）に示すように、正面モニタ１２に、お薦めプランなどの広告や施設などの案内に関するコンテンツの映像が表示される。

また、スタンバイ時には、図６（Ａ−２）に示すように、手元モニタ１３に、メニュー画面（操作画面）が表示される。このメニュー画面には、各種のメニュー項目に対応した操作ボタン７１が表示されている。また、このメニュー画面には、通話ボタン７２が表示されている。この通話ボタン７２を操作すると、キオスク端末１がオペレータ端末２に接続され、オペレータとの対話を開始することができる。なお、制御部３１は、人感センサなどによりキオスク端末１の前のユーザを感知すると、メニュー画面を自動で立ち上げるようにし、また、キオスク端末１の利用がない状態が所定時間継続するとメニュー画面を非表示状態に移行させることができる。

なお、正面モニタ１２をデジタルサイネージとして動作させる際には、予め記憶部３３に記憶されたコンテンツの映像データを読み出して、コンテンツの映像を再生すればよいが、映像データが格納されたメモリカードをキオスク端末１に装着したり、ネットワークを介して配信サーバからキオスク端末１に映像データを配信したりするようにしてもよい。

一方、キオスク端末１がオペレータ端末２に接続されると、図６（Ｂ−１）に示すように、正面モニタ１２に、オペレータ端末２の正面カメラ２４で撮影したオペレータの正面映像７３が表示され、同時に、図６（Ｂ−２）に示すように、手元モニタ１３に、オペレータ端末２の手元カメラ２５で撮影したオペレータの手元映像７４が表示される。

正面モニタ１２では、ユーザとオペレータとで目線の高さが一致するように、オペレータの正面映像７３が表示され、手元モニタ１３では、ユーザとオペレータとで手元の高さが一致するように、オペレータの手元映像７４が表示される。これにより、ユーザがオペレータとカウンタ越しで向き合っているような臨場感を実現することができる。

また、手元モニタ１３に表示されるオペレータの手元映像７４には、オペレータがパンフレットなどの書類を手先で指し示しながら説明している状況が映り、ユーザとオペレータとで互いに書類を指し示しながら対話することができる。

また、オペレータの操作により、手元モニタ１３に、アプリケーションの画面を表示させることができる。このアプリケーションの画面はオペレータ端末２と共有され、同一の画面がオペレータ端末２に表示される（画面共有機能）。また、アプリケーションの画面では、ユーザが手書きで画面上に描画することができる（ホワイトボード機能）。

なお、正面モニタ１２では、オペレータの背景がマスキングされた状態でオペレータの正面映像が表示されるようにしてもよい。

次に、オペレータ端末２に表示される画面について説明する。図７は、オペレータ端末２に表示される画面を示す説明図である。

オペレータ端末２では、スタンバイ時には、第１モニタ２２に、待ち受け画面が表示され、キオスク端末１で通話ボタン７２（図６（Ａ−２）参照）を操作すると、図７（Ａ−１）に示すように、着信画面が表示される。この着信画面には、接続相手となるキオスク端末１に関する情報（設置場所や端末名称など）が表示される。

また、スタンバイ時には、図７（Ａ−２）に示すように、第２モニタ２３に、操作画面が表示される。この操作画面には、オペレータ端末２の制御やキオスク端末１に対する指示などを行うための各種のメニュー項目に対応した操作ボタン８１が表示される。

また、第２モニタ２３には、オペレータ端末２の正面カメラ２４で撮影したオペレータの正面映像７３と、オペレータ端末２の手元カメラ２５で撮影したオペレータの手元映像７４とが表示される。このオペレータの正面映像７３および手元映像７４は、キオスク端末１に表示されるものと同じものである。なお、オペレータの手元映像７４は、元の状態と上下反転した状態とを切り替えることができる。

一方、オペレータ端末２がキオスク端末１に接続されると、図７（Ｂ−１）に示すように、第１モニタ２２に、キオスク端末１の正面カメラ１４で撮影したユーザの正面映像８２が表示される。なお、第１モニタ２２は、所定の高さとなるように架台２１に支持されており（図３参照）、これにより、オペレータとユーザとで視線を一致させることができる。

また、図７（Ｂ−２）に示すように、第２モニタ２３に、スタンバイ時と同様に、操作ボタン８１が表示される。また、第２モニタ２３には、スタンバイ時と同様に、オペレータの正面映像７３が表示される。このオペレータの正面映像７３は、オペレータの手元映像と切り替えることができる。また、第２モニタ２３には、オペレータの手元映像が表示された状態でキオスク端末１の手元カメラ１５で撮影したユーザの手元映像８３が表示される。なお、ユーザの手元映像８３は、元の状態と上下反転した状態とを切り替えることができる。

第２モニタ２３に表示されるユーザの手元映像８３には、キオスク端末１の手元モニタ１３上で画面に映るパンフレットなどの書類を指し示すユーザの手先が映り、ユーザとオペレータとで互いに書類を指し示しながら対話することができる。

なお、本実施形態では、ユーザの正面映像８２を第１モニタ２２に表示し、ユーザの手元映像８３を第２モニタ２３に表示するようにしたが、ユーザの正面映像８２と手元映像８３とを１つのモニタに表示するようにしてもよい。この場合、オペレータ側からもユーザとカウンタ越しで向き合っているような臨場感を実現することができる。

次に、本システムの動作手順について説明する。図８は、本システムの動作手順を示すシーケンス図である。

まず、キオスク端末１において、ユーザが通話ボタン７２（図６（Ａ−２）参照）を操作すると、キオスク端末１から発信指示（接続要求）が出力される。ユーザ側のエッジ端末３では、キオスク端末１から発信指示を受け取ると、管理サーバ５に対して、接続先となるオペレータ側のエッジ端末４に関する接続情報の問合せを行い、問合せ結果として管理サーバ５から提供される接続情報を取得すると、その接続情報に基づいて、オペレータ側のエッジ端末４に接続する処理を行う。

次に、ユーザ側のエッジ端末３では、オペレータ側のエッジ端末４との間の通信の可用帯域を推定する帯域推定を行い、推定した可用帯域に応じて送信レートを制御するレート制御を開始する。

キオスク端末１では、ユーザ側のエッジ端末３から指定された送信レートで映像データを送信するストリーム送信を開始する。このとき、正面カメラ１４および手元カメラ１５からそれぞれ出力されるユーザの正面映像および手元映像の各映像信号のエンコードを行い、ユーザの正面映像および手元映像の各映像データ（音声を含む）をユーザ側のエッジ端末３に出力する。

ユーザ側のエッジ端末３では、キオスク端末１から入力されたユーザの正面映像および手元映像の各映像データを、オペレータ側のエッジ端末４に送信する。

オペレータ側のエッジ端末４では、ユーザ側のエッジ端末３から送信されるユーザの正面映像および手元映像の各映像データを受信すると、その映像データをオペレータ端末２に出力する。また、オペレータ側のエッジ端末４では、受信した映像データを記憶部６４に蓄積する録画を行う。

オペレータ端末２では、オペレータ側のエッジ端末４から入力された映像データに対してデコードを行い、ユーザの正面映像および手元映像をそれぞれ第１モニタ２２および第２モニタ２３に表示する。

また、オペレータ側のエッジ端末４では、ユーザ側のエッジ端末３との間の通信の可用帯域を推定する帯域推定を行い、推定した可用帯域に応じて送信レートを制御するレート制御を開始する。

オペレータ端末２では、オペレータ側のエッジ端末４から指定された送信レートで映像データを送信するストリーム送信を開始する。このとき、正面カメラ２４および手元カメラ２５からそれぞれ出力されるオペレータの正面映像および手元映像の各映像信号のエンコードを行い、オペレータの正面映像および手元映像の各映像データ（音声を含む）をオペレータ側のエッジ端末４に出力する。

オペレータ側のエッジ端末４では、オペレータ端末２から入力されたオペレータの正面映像および手元映像の各映像データを、ユーザ側のエッジ端末３に送信する。

ユーザ側のエッジ端末３では、オペレータ側のエッジ端末４から送信されるユーザの正面映像および手元映像の各映像データを受信すると、その映像データをキオスク端末１に出力する。また、ユーザ側のエッジ端末３では、受信した映像データを記憶部５４に蓄積する録画を行う。

キオスク端末１では、ユーザ側のエッジ端末３から入力された映像データに対してデコードを行い、オペレータの正面映像および手元映像をそれぞれ正面モニタ１２および手元モニタ１３に表示する。

また、キオスク端末１において、ユーザが終了の操作を行うと、キオスク端末１から切断指示が出力され、ユーザ側のエッジ端末３では、オペレータ側のエッジ端末４との間の接続を切断する処理を行う。

なお、図８では、ユーザが通話ボタンを操作するのに応じて、キオスク端末１から発信指示を出力して、ユーザ側のエッジ端末３からオペレータ側のエッジ端末４に接続するようにしたが、オペレータ端末２から発信指示を出力して、オペレータ側のエッジ端末４からユーザ側のエッジ端末３に接続する場合もある。

また、キオスク端末１とオペレータ端末２との間では、映像の他に、キオスク端末１やオペレータ端末２でユーザやオペレータが操作した内容に関する操作情報や、ユーザやオペレータが入力したテキスト情報なども送受信される。

また、本実施形態では、エンコードおよびデコードを、キオスク端末１およびオペレータ端末２で行うようにしたが、エンコードおよびデコードを、ユーザ側のエッジ端末３の映像伝送制御部５６およびオペレータ側のエッジ端末４の映像伝送制御部６６で行うようにしてもよい。

また、ユーザ側のエッジ端末３およびオペレータ側のエッジ端末４では、顔検出などの画像認識の処理などを行うようにしてもよい。

また、本実施形態では、キオスク端末１をユーザ側のエッジ端末３に接続し、オペレータ端末２をオペレータ側のエッジ端末４に接続して、ユーザ側のエッジ端末３とオペレータ側のエッジ端末４がネットワークを介して通信を行うようにしたが、キオスク端末１がユーザ側のエッジ端末３の機能を備えた双方向映像通信の専用機とし、また、オペレータ端末２がオペレータ側のエッジ端末４の機能を備えた双方向映像通信の専用機として、ユーザ側のエッジ端末３およびオペレータ側のエッジ端末４のいずれか一方を省略するようにしてもよい。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

本発明に係る双方向映像通信システム及び通信制御装置は、電話による音声のみでユーザに応対する電話応対業務などに用いられている汎用的なオペレータ端末を、双方向映像通信により映像と音声でユーザに応対する対面応対業務にも兼用することができる効果を有し、キオスク端末とオペレータ端末との間で、キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システム、ならびにオペレータ端末に接続される通信制御装置、およびキオスク端末に接続される通信制御装置などとして有用である。

１ キオスク端末
２ オペレータ端末
３ ユーザ側のエッジ端末（通信制御装置）
４ オペレータ側のエッジ端末（通信制御装置）
５ 管理サーバ
１２ 正面モニタ
１３ 手元モニタ
１４ 正面カメラ
１５ 手元カメラ
１７ スピーカー
１８ マイク
２２ 第１モニタ
２３ 第２モニタ
２４ 正面カメラ
２５ 手元カメラ
２６ ヘッドセット
２７ テーブル
２８ スピーカー
２９ マイク
３１ 制御部
３２ 入出力部
３３ 記憶部
４１ 制御部
４２ 入出力部
４３ 記憶部
５１ 制御部
５２ 入出力部
５３ 通信部
５４ 記憶部
６１ 制御部
６２ 入出力部
６３ 通信部
６４ 記憶部
７３ オペレータの正面映像
７４ オペレータの手元映像
８２ ユーザの正面映像
８３ ユーザの手元映像

Claims (10)

1. キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、
   前記オペレータ端末に接続されるオペレータ側の通信制御装置を備え、
   このオペレータ側の通信制御装置は、
   前記オペレータ端末との間でデータを入出力する入出力部と、
   前記キオスク端末、または前記キオスク端末に接続されたユーザ側の通信制御装置とネットワークを介して通信する通信部と、
   制御部と、
   を備え、
   前記制御部は、
   前記キオスク端末または前記ユーザ側の通信制御装置に接続する接続制御を行うとともに、前記オペレータ端末で撮影したオペレータの正面映像および手元映像と、前記キオスク端末で撮影したユーザの正面映像および手元映像と、をリアルタイムで送受信する映像伝送制御を行うことを特徴とする双方向映像通信システム。
2. 複数の前記オペレータ端末を備え、
   この複数のオペレータ端末が、前記オペレータ側の通信制御装置に接続されることを特徴とする請求項１に記載の双方向映像通信システム。
3. 前記オペレータ側の通信制御装置は、
   前記キオスク端末または前記ユーザ側の通信制御装置との間の通信の可用帯域を推定する帯域推定と、推定した可用帯域に応じて映像の送信レートを制御するレート制御とを行うことを特徴とする請求項１または請求項２に記載の双方向映像通信システム。
4. 前記オペレータ側の通信制御装置を前記キオスク端末または前記ユーザ側の通信制御装置に接続するための接続情報を管理し、その接続情報を前記オペレータ側の通信制御装置に提供するサーバ装置を備え、
   前記オペレータ側の通信制御装置は、
   前記接続情報を前記サーバ装置から取得して、前記接続制御を行うことを特徴とする請求項１から請求項３のいずれかに記載の双方向映像通信システム。
5. キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを通信する双方向映像通信システムであって、
   前記キオスク端末に接続されるユーザ側の通信制御装置を備え、
   このユーザ側の通信制御装置は、
   前記キオスク端末との間でデータを入出力する入出力部と、
   前記オペレータ端末、または前記オペレータ端末に接続されたオペレータ側の通信制御装置とネットワークを介して通信する通信部と、
   制御部と、
   を備え、
   前記制御部は、
   前記オペレータ端末または前記オペレータ側の通信制御装置に接続する接続制御を行うとともに、前記キオスク端末で撮影したユーザの正面映像および手元映像と、前記オペレータ端末で撮影したオペレータの正面映像および手元映像と、をリアルタイムで送受信する映像伝送制御を行うことを特徴とする双方向映像通信システム。
6. 複数の前記キオスク端末を備え、
   この複数のキオスク端末が、前記ユーザ側の通信制御装置に接続されることを特徴とする請求項５に記載の双方向映像通信システム。
7. 前記ユーザ側の通信制御装置は、
   前記オペレータ端末または前記オペレータ側の通信制御装置との間の通信の可用帯域を推定する帯域推定と、推定した可用帯域に応じて映像の送信レートを制御するレート制御とを行うことを特徴とする請求項５または請求項６に記載の双方向映像通信システム。
8. 前記ユーザ側の通信制御装置を前記オペレータ端末または前記オペレータ側の通信制御装置に接続するための接続情報を管理し、その接続情報を前記ユーザ側の通信制御装置に提供するサーバ装置を備え、
   前記ユーザ側の通信制御装置は、
   前記接続情報を前記サーバ装置から取得して、前記接続制御を行うことを特徴とする請求項５から請求項７のいずれかに記載の双方向映像通信システム。
9. キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するために前記オペレータ端末に接続される通信制御装置であって、
   前記オペレータ端末との間でデータを入出力する入出力部と、
   前記キオスク端末、または前記キオスク端末に接続されたユーザ側の通信制御装置とネットワークを介して通信する通信部と、
   制御部と、
   を備え、
   前記制御部は、
   前記キオスク端末または前記ユーザ側の通信制御装置に接続する接続制御を行うとともに、前記オペレータ端末で撮影したオペレータの正面映像および手元映像と、前記キオスク端末で撮影したユーザの正面映像および手元映像と、をリアルタイムで送受信する映像伝送制御を行うことを特徴とする通信制御装置。
10. キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを、前記オペレータ端末との間で双方向に通信するために前記キオスク端末に接続される通信制御装置であって、
    前記キオスク端末との間でデータを入出力する入出力部と、
    前記オペレータ端末、または前記オペレータ端末に接続されたオペレータ側の通信制御装置とネットワークを介して通信する通信部と、
    制御部と、
    を備え、
    前記制御部は、
    前記オペレータ端末または前記オペレータ側の通信制御装置に接続する接続制御を行うとともに、前記キオスク端末で撮影したユーザの正面映像および手元映像と、前記オペレータ端末で撮影したオペレータの正面映像および手元映像と、をリアルタイムで送受信する映像伝送制御を行うことを特徴とする通信制御装置。

Images