JP2019149626A - オペレータ端末及びキャリブレーション方法 - Google Patents

Abstract

【課題】映像に関するキャリブレーションに係るオペレータの作業を支援して、キャリブレーションを効率よく行うことができるようにする。【解決手段】正面カメラによりオペレータの顔を含む上半身を正面から撮影した正面映像５３と、手元カメラによりオペレータの手元を上方から撮影した手元映像５４と、をモニタに表示し、同時に、正面映像に映るオペレータの上半身の適切な状態、および手元映像に映るオペレータの手の適切な状態を案内する案内情報として、正面映像上に、オペレータの上半身の適切な状態を表すガイド画像８１をモニタに表示し、手元映像上に、オペレータの手の適切な状態を表すガイド画像８２をモニタに表示し、ガイド画像８１，８２に従って行われるオペレータの操作入力に応じて、正面映像および手元映像を調整する。【選択図】図７

Description

本発明は、キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、キオスク端末との間で双方向に通信するオペレータ端末、及びオペレータ端末において、キオスク端末に表示させるオペレータの映像を調整するキャリブレーション方法に関するものである。

近年、遠隔地にいる複数の人物をそれぞれ撮影した映像を双方向に通信する双方向映像通信システムが普及している。一方、各種の情報を提供する案内業務や金融機関などの窓口業務などのサービスを、人に代わって提供するキオスク端末が普及しており、このようなキオスク端末と、ユーザに応対するオペレータが操作するオペレータ端末とで、双方向映像通信システムを構築すると、ユーザにオペレータが対面して応対することができるため、キオスク端末によるサービスの品質を向上させることができる。

このような双方向映像通信システムでは、キオスク端末において、ユーザがオペレータと対面しているような臨場感を得るため、キオスク端末に表示される映像にオペレータが適切な状態で映るように、映像に関するキャリブレーションを行うことが望まれる。このような映像に関するキャリブレーションに関する技術として、従来、双方向映像通信システムにおいて、対話者同士の視線が一致するように、カメラの位置を制御する技術が知られている（特許文献１参照）。

特開２００３−２０４５３１号公報

さて、双方向映像通信システムでは、実際に対面しているような臨場感を得るには、前記従来の技術のように、対話者同士の視線を一致させることが必要であるが、このような視線の一致以外にも、映像に映る人物の大きさなど、人物が適切な状態で映るように映像を最適化する必要がある。また、コールセンターなどでは、複数のオペレータが１台のオペレータ端末を交代で使用するため、オペレータが交代した際に、映像を最適化するキャリブレーションを効率よく行うことで、オペレータ端末を用いた業務を速やかに開始できるようにすることが望まれる。

しかしながら、前記従来の技術では、視線の一致以外のキャリブレーションに関しては何ら考慮されていないため、人物が適切な状態で映るように映像を最適化するキャリブレーションを効率よく行うことができないという問題があった。

そこで、本発明は、オペレータの交代があった場合でも、オペレータが適切な状態で映る映像をキオスク端末に表示できるように、映像に関するキャリブレーションを行う場合に、キャリブレーションに係るオペレータの作業を支援して、キャリブレーションを効率よく行うことができるオペレータ端末及びそのキャリブレーション方法を提供することを主な目的とする。

本発明のオペレータ端末は、キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、前記キオスク端末と通信を行う通信部と、オペレータの顔を含む上半身を正面から撮影する正面カメラと、オペレータの手元を上方から撮影する手元カメラと、前記正面カメラで撮影した正面映像および前記手元カメラで撮影した手元映像を前記通信部から前記キオスク端末に送信して、前記正面映像および前記手元映像をそれぞれ前記キオスク端末に設けられた正面モニタおよび手元モニタに表示させる制御部と、前記正面映像および前記手元映像を調整するキャリブレーションの状況を表示するモニタと、を備え、前記制御部は、前記正面映像に映るオペレータの上半身の適切な状態、および前記手元映像に映るオペレータの手の適切な状態を案内する案内情報を前記モニタに表示し、前記案内情報に従って行われるオペレータの操作入力に応じて、前記正面映像および前記手元映像を調整する構成とする。

また、本発明のキャリブレーション方法は、キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末において、前記キオスク端末に表示させる前記オペレータの映像を調整するキャリブレーション方法であって、オペレータの顔を含む上半身を正面から撮影する正面カメラで取得した正面映像と、オペレータの手元を上方から撮影する手元カメラで取得した手元映像と、をモニタに表示し、同時に、前記正面映像に映るオペレータの上半身の適切な状態、および前記手元映像に映るオペレータの手の適切な状態を案内する案内情報を前記モニタに表示し、前記案内情報に従って行われるオペレータの操作入力に応じて、前記正面映像および前記手元映像を調整する構成とする。

本発明によれば、オペレータが案内情報にしたがって調整作業を行うことで、オペレータの上半身が適切な状態で映る正面映像、およびオペレータの手が適切な状態で映る手元映像を取得することができる。これにより、キャリブレーションを効率よく行うことができる。

本実施形態に係る双方向映像通信システムの全体構成図 キオスク端末１の外観を示す斜視図 オペレータ端末２の外観を示す斜視図 キオスク端末１およびオペレータ端末２の概略構成を示すブロック図 キオスク端末１に表示される画面を示す説明図 オペレータ端末２に表示される画面を示す説明図 初期状態のキャリブレーション操作画面を示す説明図 確認状態のキャリブレーション操作画面を示す説明図 オペレータ端末２で管理される設定情報データベースの登録内容を示す説明図 オペレータ端末２で行われるキャリブレーション制御の手順を示すフロー図

前記課題を解決するためになされた第１の発明は、キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、前記キオスク端末と通信を行う通信部と、オペレータの顔を含む上半身を正面から撮影する正面カメラと、オペレータの手元を上方から撮影する手元カメラと、前記正面カメラで撮影した正面映像および前記手元カメラで撮影した手元映像を前記通信部から前記キオスク端末に送信して、前記正面映像および前記手元映像をそれぞれ前記キオスク端末に設けられた正面モニタおよび手元モニタに表示させる制御部と、前記正面映像および前記手元映像を調整するキャリブレーションの状況を表示するモニタと、を備え、前記制御部は、前記正面映像に映るオペレータの上半身の適切な状態、および前記手元映像に映るオペレータの手の適切な状態を案内する案内情報を前記モニタに表示し、前記案内情報に従って行われるオペレータの操作入力に応じて、前記正面映像および前記手元映像を調整する構成とする。

これによると、オペレータが案内情報にしたがって調整作業を行うことで、オペレータの上半身が適切な状態で映る正面映像、およびオペレータの手が適切な状態で映る手元映像を取得することができる。これにより、キャリブレーションを効率よく行うことができる。

また、第２の発明は、前記制御部は、前記案内情報として、前記正面映像上に、オペレータの上半身の適切な状態を表すガイド画像を表示し、前記手元映像上に、オペレータの手の適切な状態を表すガイド画像を表示する構成とする。

これによると、ガイド画像を基準にして、正面映像に映るオペレータの上半身の状態を調整し、また、手元映像に映るオペレータの手の状態を調整すればよいため、オペレータが調整作業を効率よく行うことができる。

また、第３の発明は、前記制御部は、前記正面映像および前記手元映像が前記キオスク端末に表示された状態を表す仮想映像を前記モニタに表示する構成とする。

これによると、正面映像および手元映像をキオスク端末に実際に表示した場合に、正面映像に映るオペレータの上半身と、手元映像に映るオペレータの手とが、適切なバランスで表示されるか否かを、オペレータが適切に判断することができる。

また、第４の発明は、前記制御部は、通信相手となる前記キオスク端末の属性を入力するオペレータの操作入力に応じて、入力された前記キオスク端末の属性に基づいて、通信相手となる前記キオスク端末の前記正面モニタおよび前記手元モニタにそれぞれ適合するように前記正面映像および前記手元映像を調整する構成とする。

これによると、通信相手となるキオスク端末のモニタに適合した正面映像および手元映像を取得することができる。

また、第５の発明は、前記制御部は、前記キオスク端末の属性として、前記キオスク端末の種別および仕様の少なくともいずれかをオペレータに入力させる画面を前記モニタに表示する構成とする。

これによると、通信相手となるキオスク端末のモニタに適合した正面映像および手元映像を取得することができる。

また、第６の発明は、前記制御部は、キャリブレーションが終了すると、そのキャリブレーションで取得した設定情報をオペレータに対応付けて登録し、オペレータが自装置の使用を開始する際に、自装置を使用するオペレータを識別して、そのオペレータに対応する前記設定情報に基づいて、前記正面映像および前記手元映像を調整する構成とする。

これによると、オペレータが最初にオペレータ端末を使用する際に、キャリブレーションを一度行うと、次回からは、設定情報に基づいてキャリブレーションを行うため、キャリブレーションを短時間に終了して、オペレータがオペレータ端末でユーザに応対する業務を速やかに開始することができる。

また、第７の発明は、前記制御部は、ズーム倍率を指定するオペレータの操作入力に応じて、前記正面映像および前記手元映像に対して拡大および縮小の処理を行う構成とする。

これによると、オペレータが適切な状態で映る映像を取得することができる。

また、第８の発明は、キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末において、前記キオスク端末に表示させる前記オペレータの映像を調整するキャリブレーション方法であって、オペレータの顔を含む上半身を正面から撮影する正面カメラで取得した正面映像と、オペレータの手元を上方から撮影する手元カメラで取得した手元映像と、をモニタに表示し、同時に、前記正面映像に映るオペレータの上半身の適切な状態、および前記手元映像に映るオペレータの手の適切な状態を案内する案内情報を前記モニタに表示し、前記案内情報に従って行われるオペレータの操作入力に応じて、前記正面映像および前記手元映像を調整する構成とする。

これによると、第１の発明と同様に、キャリブレーションを効率よく行うことができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る双方向映像通信システムの全体構成図である。

この双方向映像通信システムは、キオスク端末１と、オペレータ端末２と、を備えている。キオスク端末１とオペレータ端末２とは、インターネットやＶＰＮ（Virtual Private Network）やイントラネットなどのネットワークを介して接続される。

キオスク端末１は、各種の施設に設置され、ユーザが操作するものであり、ユーザを撮影した映像をオペレータ端末２に送信し、オペレータ端末２から受信したオペレータの映像を表示する。

オペレータ端末２は、コールセンターなど、ユーザに応対するオペレータが常駐する施設に設置され、オペレータが操作するものであり、オペレータを撮影した映像をキオスク端末１に送信し、キオスク端末１から受信したユーザの映像を表示する。

なお、キオスク端末１では、様々なサービスを提供することができる。例えば、キオスク端末１を空港などの交通施設のロビーなどに設置することで、周辺の観光地の案内や、施設内のフロアの案内や、周辺の宿泊施設の案内などのサービスを提供することができる。また、キオスク端末１を銀行などの金融機関の店舗に設置することで、窓口などで行われる各種のサービス、例えば、口座開設や金融取引やローン契約の相談などのサービスを提供することができる。また、キオスク端末１をホテルなどの宿泊施設のフロントなどに設置することで、係員（コンシェルジュ）が行う各種の案内サービスを提供することができる。また、マンションなどの共同住宅の玄関ロビーなどに設置することで、管理人が行う各種のサービスを提供することができる。

このようにキオスク端末１では、各種のサービスを担当者に代わって常時提供することができるため、サービスの品質を向上させることができ、また、オペレータが複数の施設を掛け持ちで担当することができるため、人員削減を図ることができる。

また、キオスク端末１とオペレータ端末２との間では、ユーザの映像とオペレータの映像とを双方向に通信するが、この他に、キオスク端末１やオペレータ端末２において、ユーザやオペレータが操作した内容に関する操作情報、ユーザやオペレータが入力したテキスト情報などが双方向に通信される。

特に、機密情報、例えば、ユーザの氏名や住所などの個人情報や、金融機関の口座番号などの情報がやり取りされる場合がある。このような機密情報の通信については、サービス提供者が、セキュリティを高度に確保した専用のネットワークを既に運用しているため、機密情報を含む映像以外の情報は既存のネットワークで通信し、これとは別のネットワークで映像を通信するようにしてもよい。これにより、セキュリティを確保するとともに、通信量が大きい映像を別のネットワークで通信することで、既存のネットワークの負荷が増大しないようにすることができる。

次に、キオスク端末１について説明する。図２は、キオスク端末１の外観を示す斜視図である。

キオスク端末１は、筐体１１と、正面モニタ１２と、手元モニタ１３と、正面カメラ１４と、手元カメラ１５と、ＩＣカードリーダ１６と、スピーカー１７と、マイク１８と、を備えている。

正面モニタ１２は、画面を前向きにした状態で配置され、手元モニタ１３は、画面を上向きにした状態で配置されている。また、手元モニタ１３はタッチパネルを備えており、ユーザが画面操作を行うことができる。

正面カメラ１４は、ユーザの顔を含む上半身を正面から撮影する。手元カメラ１５は、ユーザの手元、すなわち、手元モニタ１３上に置いたユーザの手と手元モニタ１３の画面とを上方から撮影する。ユーザは、手元モニタ１３の画面を手先で指し示す動作を行い、この状況が手元カメラ１５で撮影される。

ＩＣカードリーダ１６は、ユーザが所持するＩＣカードを読み取る。

スピーカー１７は、オペレータが発した音声を出力する。マイク１８は、ユーザが発した音声を収音する。

このように構成されたキオスク端末１は、カウンタなどの台に載置され、ユーザが椅子に座った状態で、あるいは、立ったままの状態でキオスク端末１を操作する。

次に、オペレータ端末２について説明する。図３は、オペレータ端末２の外観を示す斜視図である。

オペレータ端末２は、架台２１と、第１モニタ２２と、第２モニタ２３と、正面カメラ２４と、手元カメラ２５と、ヘッドセット２６と、テーブル２７と、を備えている。

第１モニタ２２は、所定の高さとなるように架台２１に支持されている。第２モニタ２３は、タッチパネルを備えており、オペレータが画面操作を行うことができる。

正面カメラ２４は、オペレータの顔を含む上半身を正面から撮影する。手元カメラ２５は、オペレータの手元、すなわち、テーブル２７上に置いたオペレータの手とテーブル２７とを上方から撮影する。オペレータは、テーブルにパンフレットなどの書類を置いて、書類を手先で指し示しながら書類を説明し、この状況が手元カメラ２５で撮影される。

ヘッドセット２６は、スピーカー２８と、マイク２９と、を備えている。スピーカー２８は、ユーザが発した音声を出力する。マイク２９は、オペレータが発した音声を収音する。

また、オペレータ端末２には、モニタ５が併設される。このモニタ５には、オペレータ端末２、または、図示しないＰＣで起動させたアプリケーションの画面が表示される。このアプリケーションの画面はキオスク端末１と共有され、同一の画面がキオスク端末１の手元モニタ１３に表示される（画面共有機能）。また、モニタ５はタッチパネルを備えており、オペレータが手書きで画面上に描画することができる（ホワイトボード機能）。

なお、コールセンターでは、オペレータが、オペレータ端末２を使用して映像と音声でユーザに応対する対面応対業務とは別に、電話による音声のみでユーザに応対する電話応対業務を行うため、電話応対業務用のモニタ（図示せず）がオペレータ端末２に併設される。

次に、キオスク端末１およびオペレータ端末２の概略構成について説明する。図４は、キオスク端末１およびオペレータ端末２の概略構成を示すブロック図である。

キオスク端末１は、前記のように、正面モニタ１２と、手元モニタ１３と、正面カメラ１４と、手元カメラ１５と、ＩＣカードリーダ１６と、スピーカー１７と、マイク１８と、を備えている。また、キオスク端末１は、制御部３１と、通信部３２と、記憶部３３と、を備えている。

通信部３２は、ネットワークを介してオペレータ端末２と通信を行う。

記憶部３３は、制御部３１を構成するプロセッサで実行されるプログラムを記憶する。

制御部３１は、プロセッサで構成され、記憶部３３に記憶されたプログラムをプロセッサで実行することで、所定の処理を実行する。本実施形態では、オペレータ端末２に接続する接続制御を行い、また、キオスク端末１で撮影したユーザの映像と、オペレータ端末２で撮影したオペレータの映像と、をリアルタイムで送受信する映像伝送制御などを行う。

オペレータ端末２は、前記のように、第１モニタ２２と、第２モニタ２３と、正面カメラ２４と、手元カメラ２５と、ヘッドセット２６と、を備えている。また、オペレータ端末２は、制御部４１と、通信部４２と、記憶部４３と、を備えている。

通信部４２は、ネットワークを介してキオスク端末１と通信を行う。

記憶部４３は、制御部４１を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部４３は、キャリブレーションに関するオペレータごとの設定情報に関する設定情報データベース（図９参照）の登録情報を記憶する。また、記憶部４３は、オペレータの顔認証を行うために、オペレータごとの顔の特徴情報に関するオペレータデータベースの登録情報を記憶する。

制御部４１は、映像生成部４５と、キャリブレーション制御部４６と、顔認証部４７と、を備えている。この制御部４１は、プロセッサで構成され、制御部４１の各部は、記憶部４３に記憶されたプログラムをプロセッサで実行することで実現される。

映像生成部４５は、キャリブレーション制御部４６で設定された設定情報と、通信相手となるキオスク端末１の属性（種別や仕様）とに基づいて、正面カメラ２４で撮影したオペレータの正面映像から、通信相手となるキオスク端末１の正面モニタ１２に適合したオペレータの正面映像を生成し、また、手元カメラ２５で撮影したオペレータの手元映像から、通信相手となるキオスク端末１の手元モニタ１３に適合したオペレータの手元映像を生成する。この映像生成部４５では、オペレータの正面映像および手元映像に対して所定の加工（切り出しなど）が行われる。

キャリブレーション制御部４６は、キャリブレーション操作画面（図７，図８参照）を第２モニタ２３に表示して、オペレータの画面操作に応じて、キャリブレーションに係るパラメータを設定して、そのパラメータを設定情報として設定情報データベースに登録する。本実施形態では、キャリブレーションに係るパラメータとして、正面カメラ２４および手元カメラ２５のズーム倍率を設定する。

また、キャリブレーション制御部４６は、キャリブレーション操作画面において、通信相手となるキオスク端末の種別を選択する操作をオペレータに行わせて、通信相手となるキオスク端末の種別を取得する。また、キャリブレーション操作画面において、通信相手となるキオスク端末の仕様を入力する操作をオペレータに行わせて、通信相手となるキオスク端末の仕様を取得する。

また、キャリブレーション制御部４６は、オペレータ端末２を操作するオペレータのオペレータＩＤを取得して、該当するオペレータの設定情報を設定情報データベースから取得して、その設定情報をキャリブレーション操作画面に反映する処理を行う。

なお、キャリブレーションの際には、ズーム倍率を調整する他に、キオスク端末１において、ユーザとオペレータとで目線の高さが一致するように、オペレータの正面映像を表示するため、オペレータが着座する椅子の高さを調整する必要がある。

顔認証部４７は、キャリブレーションを開始する際に、オペレータ端末２を操作するオペレータがオペレータデータベースに登録された人物が否かを検証する。具体的には、正面カメラ２４で撮影したオペレータの正面映像から人物の顔を検出して、検出した顔の特徴情報を抽出して、その特徴情報と、オペレータデータベースに登録されたオペレータごとの顔の特徴情報とを比較照合する。ここで、顔認証が成功すると、該当するオペレータＩＤをオペレータデータベースから取得する。なお、顔認証を有効とするか否かを予め設定することができる。

なお、本実施形態では、オペレータ端末２を使用するオペレータについて顔認証を行うことにより、オペレータ端末２を使用するオペレータのオペレータＩＤを取得することができるが、この他に、オペレータにオペレータＩＤを入力させ、また、オペレータが所持するＩＣカードをリーダで読み取ることにより、オペレータＩＤを取得するようにしてもよい。

また、制御部４１は、この他に、キオスク端末１に接続する接続制御を行い、また、キオスク端末１で撮影したユーザの映像と、オペレータ端末２で撮影したオペレータの映像と、をリアルタイムで送受信する映像伝送制御などを行う。

なお、オペレータ端末２に、手持ちの書類を読み取るスキャナを設けるようにしてもよい。また、オペレータ端末２に、操作する人物が正規のオペレータであることの認証を行うために、ＩＣカードリーダを設けるようにしてもよい。また、キオスク端末１に、オペレータ端末２から送信された書類や画面表示された情報などを印刷出力するプリンタを設けるようにしてもよい。

また、第２モニタ２３をタブレットＰＣで構成する、すなわち、第２モニタ２３の筐体内に、制御部４１、通信部４２および記憶部４３を収容した構成としてもよい。

次に、キオスク端末１に表示される画面について説明する。図５は、キオスク端末に表示される画面を示す説明図である。

キオスク端末１では、スタンバイ時（オペレータ端末２に接続する前）には、正面モニタ１２がデジタルサイネージとして動作し、図５（Ａ−１）に示すように、正面モニタ１２に、お薦めプランなどの広告や施設などの案内に関するコンテンツの映像が表示される。

また、スタンバイ時には、図５（Ａ−２）に示すように、手元モニタ１３に、メニュー画面（操作画面）が表示される。このメニュー画面には、メニュー項目に対応した各種の操作ボタン５１が表示されている。また、このメニュー画面には、通話ボタン５２が表示されている。この通話ボタン５２を操作すると、キオスク端末１がオペレータ端末２に接続され、オペレータとの対話を開始することができる。なお、制御部３１は、人感センサなどによりキオスク端末１の前のユーザを感知すると、メニュー画面を自動で立ち上げるようにし、また、キオスク端末１の利用がない状態が所定時間継続するとメニュー画面を非表示状態に移行させることができる。

なお、正面モニタ１２をデジタルサイネージとして動作させる際には、予め記憶部３３に記憶されたコンテンツの映像データを読み出して、コンテンツの映像を再生すればよいが、映像データが格納されたメモリカードをキオスク端末１に装着したり、ネットワークを介して配信サーバからキオスク端末１に映像データを配信したりするようにしてもよい。

一方、キオスク端末１がオペレータ端末２に接続されると、図５（Ｂ−１）に示すように、正面モニタ１２に、オペレータ端末２の正面カメラ２４で撮影したオペレータの正面映像５３が表示され、同時に、図５（Ｂ−２）に示すように、手元モニタ１３に、オペレータ端末２の手元カメラ２５で撮影したオペレータの手元映像５４が表示される。

正面モニタ１２では、ユーザとオペレータとで目線の高さが一致するように、オペレータの正面映像５３が表示され、手元モニタ１３では、ユーザとオペレータとで手元の高さが一致するように、オペレータの手元映像５４が表示される。これにより、ユーザがオペレータとカウンタ越しで向き合っているような臨場感を実現することができる。

また、手元モニタ１３に表示されるオペレータの手元映像５４には、オペレータがパンフレットなどの書類を手先で指し示しながら説明している状況が映り、ユーザとオペレータとで互いに書類を指し示しながら対話することができる。

また、オペレータの操作により、手元モニタ１３に、アプリケーションの画面を表示させることができる。このアプリケーションの画面はオペレータ端末２と共有され、同一の画面がオペレータ端末２に表示される（画面共有機能）。また、アプリケーションの画面では、ユーザが手書きで画面上に描画することができる（ホワイトボード機能）。

なお、正面モニタ１２では、オペレータの背景がマスキングされた状態でオペレータの正面映像が表示されるようにしてもよい。

次に、オペレータ端末２に表示される画面について説明する。図６は、オペレータ端末に表示される画面を示す説明図である。

オペレータ端末２では、スタンバイ時には、第１モニタ２２に、待ち受け画面が表示され、キオスク端末１で通話ボタン５２（図５（Ａ−２）参照）を操作すると、図６（Ａ−１）に示すように、着信画面が表示される。この着信画面には、接続相手となるキオスク端末１に関する情報（設置場所や端末名称など）が表示される。

また、スタンバイ時には、図６（Ａ−２）に示すように、第２モニタ２３に、操作画面が表示される。この操作画面には、オペレータ端末２の制御やキオスク端末１に対する指示などを行うための各種のメニュー項目に対応した操作ボタン６１が表示される。

また、第２モニタ２３には、オペレータ端末２の正面カメラ２４で撮影したオペレータの正面映像５３と、オペレータ端末２の手元カメラ２５で撮影したオペレータの手元映像５４とが表示される。このオペレータの正面映像５３および手元映像５４は、キオスク端末１に表示されるものと同じものである。なお、オペレータの手元映像５４は、元の状態と上下反転した状態とを切り替えることができる。

一方、オペレータ端末２がキオスク端末１に接続されると、図６（Ｂ−１）に示すように、第１モニタ２２に、キオスク端末１の正面カメラ１４で撮影したユーザの正面映像６２が表示される。なお、第１モニタ２２は、所定の高さとなるように架台２１に支持されており（図３参照）、これにより、オペレータとユーザとで視線を一致させることができる。

また、図６（Ｂ−２）に示すように、第２モニタ２３に、スタンバイ時と同様に、操作ボタン６１が表示される。また、第２モニタ２３には、スタンバイ時と同様に、オペレータの正面映像５３が表示される。このオペレータの正面映像５３は、オペレータの手元映像と切り替えることができる。また、第２モニタ２３には、オペレータの手元映像が表示された状態でキオスク端末１の手元カメラ１５で撮影したユーザの手元映像６３が表示される。なお、ユーザの手元映像６３は、元の状態と上下反転した状態とを切り替えることができる。

第２モニタ２３に表示されるユーザの手元映像６３には、キオスク端末１の手元モニタ１３上で画面に映るパンフレットなどの書類を指し示すユーザの手先が映り、ユーザとオペレータとで互いに書類を指し示しながら対話することができる。

なお、本実施形態では、ユーザの正面映像６２を第１モニタ２２に表示し、ユーザの手元映像６３を第２モニタ２３に表示するようにしたが、ユーザの正面映像６２と手元映像６３とを１つのモニタに表示するようにしてもよい。この場合、オペレータ側からもユーザとカウンタ越しで向き合っているような臨場感を実現することができる。

次に、キャリブレーションの際にオペレータ端末２に表示される画面について説明する。図７は、初期状態のキャリブレーション操作画面を示す説明図である。図８は、確認状態のキャリブレーション操作画面を示す説明図である。

図７に示すように、キャリブレーションの際には、まず、オペレータ端末２の第２モニタ２３に、初期状態のキャリブレーション操作画面が表示される。この画面には、設定メニュー表示部７１と、正面映像表示部７２と、手元映像表示部７３と、操作メニュー表示部７４と、が設けられている。

設定メニュー表示部７１には、オペレータＩＤ表示部７６と、タイマ設定値表示部７７と、端末タイプ選択部７８と、端末仕様入力部７９と、が設けられている。

オペレータＩＤ表示部７６には、オペレータＩＤが表示される。タイマ設定値表示部７７には、タイマ設定値が表示される。

端末タイプ選択部７８では、ラジオボタンを操作することで、通信相手となるキオスク端末１のタイプ（種別）をオペレータが選択することができる。なお、キオスク端末１は、タイプに応じて、正面モニタ１２および手元モニタ１３のサイズが異なり、また、横置き（長辺を横方向とした配置）と縦置き（長辺を縦方向とした配置）とがある。

端末仕様入力部７９では、通信相手となるキオスク端末の仕様、具体的には、キオスク端末１の正面モニタ１２および手元モニタ１３のサイズをオペレータが入力することができる。これにより、端末タイプ選択部７８で選択可能なタイプと異なるキオスク端末１でも、適切なキャリブレーションを行うことができる。なお、正面モニタ１２と手元モニタ１３との間隔（モニタ間隔）を入力できるようにしてもよい。また、モニタサイズに加え、画面のアスペクト比を設定できるようにしてもよい。

正面映像表示部７２には、オペレータ端末２の正面カメラ２４で撮影したオペレータの正面映像５３が表示される。また、正面映像表示部７２には、人物の上半身の外形、すなわち、人物の頭および肩により形成されるΩ形状を表すガイド画像８１が表示される。オペレータは、このガイド画像８１を基準にして、オペレータの正面映像５３に関するキャリブレーションの操作を行う。

手元映像表示部７３には、オペレータ端末２の手元カメラ２５で撮影したオペレータの手元映像５４が表示される。また、手元映像表示部７３には、人物の手の外形を表すガイド画像８２が表示される。オペレータは、このガイド画像８２を基準にして、オペレータの手元映像に関するキャリブレーションの操作を行う。なお、手元映像表示部７３に表示されるオペレータの手元映像は、元の状態と上下反転した状態とを切り替えることができるようにしてもよい。

操作メニュー表示部７４には、ズーム倍率入力部８３が設けられている。このズーム倍率入力部８３では、スライドバーのスライダを操作することで、正面カメラ２４および手元カメラ２５のズーム倍率を入力することができる。オペレータは、正面映像表示部７２に表示される正面映像５３に映る自分の顔がガイド画像８１に整合するように、正面カメラ２４のズーム倍率を調整する。また、オペレータは、手元映像表示部７３に表示される手元映像５４に映る自分の手がガイド画像８２に整合するように、手元カメラ２５のズーム倍率を調整する。

なお、正面映像表示部７２に表示される正面映像５３に映る自分の顔の高さは、自分が着座する椅子を昇降することで調整すればよい。

このとき、正面カメラ２４のズーム倍率を変更する操作をオペレータが行うと、正面映像表示部７２に表示される正面映像５３が拡大または縮小し、正面映像５３に映る自分の顔の大きさを調整することができる。また、手元カメラ２５のズーム倍率を変更する操作をオペレータが行うと、手元映像表示部７３に表示される手元映像５４が拡大または縮小し、手元映像５４に映る自分の手の大きさを調整することができる。

なお、オペレータは、まず、手元映像表示部７３に表示されるガイド画像８２に従って、自分の手の位置および大きさを調整し、ついで、手の位置および大きさに合わせるように、正面映像表示部７２に表示されるガイド画像８１に従って、自分の顔の高さおよび大きさを調整するとよい。なお、これとは逆に、顔の調整を行った上で手の調整を行うようにしてもよく、また、顔の調整と手の調整とを交互に行うようにしてもよい。

また、操作メニュー表示部７４には、適用ボタン８５と、確認ボタン８６と、決定ボタン８７と、が設けられている。

端末タイプ選択部７８でキオスク端末１のタイプを選択し、また、端末仕様入力部７９でキオスク端末１の正面モニタ１２および手元モニタ１３のサイズを入力した上で適用ボタン８５を操作すると、キオスク端末１のタイプやモニタサイズに適合したガイド画像８１，８２が正面映像表示部７２および手元映像表示部７３に表示される。

確認ボタン８６を操作すると、確認状態のキャリブレーション操作画面（図８参照）に遷移する。

決定ボタン８７を操作すると、キャリブレーション操作画面の入力内容で設定情報が更新される。

図８に示すように、確認状態のキャリブレーション操作画面には、キオスク端末表示部９１が設けられている。設定メニュー表示部７１および操作メニュー表示部７４は、初期状態（図７参照）と同様である。

キオスク端末表示部９１には、オペレータの正面映像および手元映像がキオスク端末１に表示された状態を表す仮想映像９２が表示される。この仮想映像９２に映るキオスク端末１では、端末タイプ選択部７８で選択したキオスク端末１のタイプや、端末仕様入力部７９で入力した正面モニタ１２および手元モニタ１３のサイズが反映されている。また、仮想映像９２に映る正面モニタ１２および手元モニタ１３に表示されるオペレータの正面映像および手元映像には、ズーム倍率入力部８３で入力したズーム倍率が反映されている。

このように本実施形態では、接続先のキオスク端末１の属性（タイプや仕様）に応じた仮想映像９２が表示されるため、オペレータが適切な状態でキオスク端末１に表示されるかどうかを、オペレータが適切に判断することができる。特に、正面モニタ１２に表示されるオペレータの顔（上半身）と、手元モニタ１３に表示されるオペレータの手元とが、適切なバランスで違和感なく一体に認識できることが重要であり、このように一体感が得られるかどうかを仮想映像９２により即座に確認することができる。

次に、オペレータ端末２で管理される設定情報データベースについて説明する。図９は、設定情報データベースの登録内容を示す説明図である。

オペレータ端末２では、設定情報データベースでオペレータごとのキャリブレーションの設定情報を管理する。この設定情報データベースには、設定情報を登録したイベントごとに、レコードＩＤ、登録日時、オペレータＩＤ、正面カメラ２４に関する第１のパラメータ、手元カメラ２５に関する第２のパラメータなどが登録される。ここで、第１のパラメータは、正面カメラ２４のズーム倍率であり、第２のパラメータは、手元カメラ２５のズーム倍率である。

この設定情報データベースには、オペレータがキャリブレーションの操作を行うことで、そのオペレータに関する設定情報が登録され、次回、オペレータ端末２を使用する際には、設定情報データベースから本人の設定情報（パラメータ）を取得して、その設定情報がキャリブレーション操作画面（図７、図８参照）に反映されることから、オペレータの操作を省略することができる。

次に、オペレータ端末２で行われるキャリブレーション制御について説明する。図１０は、キャリブレーション制御の手順を示すフロー図である。

オペレータ端末２では、まず、顔認証が有効であるか否かを判定する（ＳＴ１０１）。ここで、顔認証が有効である場合には（ＳＴ１０１でＹｅｓ）、正面カメラ２４で撮影したオペレータの正面映像に基づいて、操作するオペレータの顔認証を行う（ＳＴ１０２）。そして、操作するオペレータの顔認証が成功したか否かを判定する（ＳＴ１０３）。

ここで、操作するオペレータの顔認証が成功した場合には（ＳＴ１０３でＹｅｓ）、オペレータデータベースからオペレータＩＤを取得する（ＳＴ１０４）。そして、オペレータＩＤに基づいて、操作するオペレータが設定情報データベースに登録されているか否かを判定する（ＳＴ１０５）。

ここで、操作するオペレータが設定情報データベースに登録されている場合には（ＳＴ１０５でＹｅｓ）、設定情報データベースから該当するオペレータの設定情報を取得する（ＳＴ１０６）。そして、オペレータの設定情報を反映したキャリブレーション操作画面（図７、図８参照）を表示する（ＳＴ１０７）。

次に、キャリブレーション操作画面でオペレータが操作を行うと、その操作に応じてキャリブレーション操作画面を更新する（ＳＴ１０８）。そして、オペレータが決定ボタンを操作すると（ＳＴ１０９でＹｅｓ）、キャリブレーション操作画面でオペレータが入力した内容を、オペレータの設定情報として設定情報データベースに登録する（ＳＴ１１０）。

一方、顔認証が無効である場合には（ＳＴ１０１でＮｏ）、次に、オペレータの設定情報をインポートするか否かを判定する（ＳＴ１１１）。ここで、オペレータの設定情報をインポートする場合には（ＳＴ１１１でＹｅｓ）、オペレータにオペレータＩＤを入力させて、そのオペレータＩＤに基づいてオペレータの設定情報をインポートする（ＳＴ１１２）。そして、ＳＴ１０７に進み、インポートしたオペレータの設定情報を反映したキャリブレーション操作画面を表示する。

一方、顔認証が失敗した場合や（ＳＴ１０３でＮｏ）、操作するオペレータが設定情報データベースに登録済みでない場合や（ＳＴ１０５でＮｏ）、オペレータの設定情報をインポートしない場合には（ＳＴ１１１でＮｏ）、オペレータの属性を選択する画面を表示する（ＳＴ１１３）。そして、オペレータの属性を選択する操作をオペレータが行うと、オペレータが選択した属性に応じた初期の設定情報を取得する（ＳＴ１１４）。次に、初期の設定情報を反映したキャリブレーション操作画面を表示する（ＳＴ１１５）。そして、ＳＴ１０８に進む。

ここで、オペレータの属性とは、性別（男性、女性）や体格（大柄、標準、小柄）などに関するものであり、この属性に応じて、オペレータの身体の大きさが異なるため、キオスク端末１に表示されたオペレータの正面映像および手元映像の状態が変化する。そこで、オペレータの属性に応じて、初期の設定情報を取得する。例えば、大柄な男性である場合には、オペレータが大きく映るため、初期の設定情報として、ズーム倍率を低く設定する。

このように本実施形態では、オペレータ端末２を初めて使用するオペレータの場合には、オペレータの属性に応じた初期の設定情報（プリセット情報）に基づいてキャリブレーションが行われるため、キャリブレーションを効率よく行うことができる。

また、オペレータが過去にオペレータ端末２を使用したことがある場合には、顔認証によりオペレータを識別して、オペレータの設定情報に基づいてキャリブレーションが自動で行われるため、オペレータは椅子の高さを調整する作業を行うだけでよく、キャリブレーションを短時間に終了して、オペレータがオペレータ端末２を用いた対面応対業務を速やかに開始することができる。なお、オペレータの高さ方向の調整は、椅子の昇降による調整のほか、電動昇降機構付きのテーブルを用いることができる。そして、オペレータの高さ方向の情報もオペレータの設定情報として登録するようにしてもよい。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

本発明に係るオペレータ端末及びキャリブレーション方法は、オペレータの交代があった場合でも、オペレータが適切な状態で映る映像をキオスク端末に表示できるように、映像に関するキャリブレーションを行う場合に、キャリブレーションに係るオペレータの作業を支援して、キャリブレーションを効率よく行うことができる効果を有し、キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、キオスク端末との間で双方向に通信するオペレータ端末、及びオペレータ端末において、キオスク端末に表示させるオペレータの映像を調整するキャリブレーション方法などとして有用である。

１ キオスク端末
２ オペレータ端末
１２ 正面モニタ
１３ 手元モニタ
１４ 正面カメラ
１５ 手元カメラ
２２ 第１モニタ
２３ 第２モニタ
２４ 正面カメラ
２５ 手元カメラ
３１ 制御部
３２ 通信部
３３ 記憶部
４１ 制御部
４２ 通信部
４３ 記憶部
５３ オペレータの正面映像
５４ オペレータの手元映像
７８ 端末タイプ選択部
７９ 端末仕様入力部
８１，８２ ガイド画像
８３ ズーム倍率入力部
９２ 仮想映像

Claims (8)

1. キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、
   前記キオスク端末と通信を行う通信部と、
   オペレータの顔を含む上半身を正面から撮影する正面カメラと、
   オペレータの手元を上方から撮影する手元カメラと、
   前記正面カメラで撮影した正面映像および前記手元カメラで撮影した手元映像を前記通信部から前記キオスク端末に送信して、前記正面映像および前記手元映像をそれぞれ前記キオスク端末に設けられた正面モニタおよび手元モニタに表示させる制御部と、
   前記正面映像および前記手元映像を調整するキャリブレーションの状況を表示するモニタと、
   を備え、
   前記制御部は、
   前記正面映像に映るオペレータの上半身の適切な状態、および前記手元映像に映るオペレータの手の適切な状態を案内する案内情報を前記モニタに表示し、前記案内情報に従って行われるオペレータの操作入力に応じて、前記正面映像および前記手元映像を調整することを特徴とするオペレータ端末。
2. 前記制御部は、
   前記案内情報として、前記正面映像上に、オペレータの上半身の適切な状態を表すガイド画像を表示し、前記手元映像上に、オペレータの手の適切な状態を表すガイド画像を表示することを特徴とする請求項１に記載のオペレータ端末。
3. 前記制御部は、
   前記正面映像および前記手元映像が前記キオスク端末に表示された状態を表す仮想映像を前記モニタに表示することを特徴とする請求項１または請求項２に記載のオペレータ端末。
4. 前記制御部は、
   通信相手となる前記キオスク端末の属性を入力するオペレータの操作入力に応じて、入力された前記キオスク端末の属性に基づいて、通信相手となる前記キオスク端末の前記正面モニタおよび前記手元モニタにそれぞれ適合するように前記正面映像および前記手元映像を調整することを特徴とする請求項１から請求項３のいずれかに記載のオペレータ端末。
5. 前記制御部は、
   前記キオスク端末の属性として、前記キオスク端末の種別および仕様の少なくともいずれかをオペレータに入力させる画面を前記モニタに表示することを特徴とする請求項４に記載のオペレータ端末。
6. 前記制御部は、
   キャリブレーションが終了すると、そのキャリブレーションで取得した設定情報をオペレータに対応付けて登録し、オペレータが自装置の使用を開始する際に、自装置を使用するオペレータを識別して、そのオペレータに対応する前記設定情報に基づいて、前記正面映像および前記手元映像を調整することを特徴とする請求項１から請求項５のいずれかに記載のオペレータ端末。
7. 前記制御部は、
   ズーム倍率を指定するオペレータの操作入力に応じて、前記正面映像および前記手元映像に対して拡大および縮小の処理を行うことを特徴とする請求項１から請求項６のいずれかに記載のオペレータ端末。
8. キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末において、前記キオスク端末に表示させる前記オペレータの映像を調整するキャリブレーション方法であって、
   オペレータの顔を含む上半身を正面から撮影する正面カメラで取得した正面映像と、オペレータの手元を上方から撮影する手元カメラで取得した手元映像と、をモニタに表示し、
   同時に、前記正面映像に映るオペレータの上半身の適切な状態、および前記手元映像に映るオペレータの手の適切な状態を案内する案内情報を前記モニタに表示し、
   前記案内情報に従って行われるオペレータの操作入力に応じて、前記正面映像および前記手元映像を調整することを特徴とするキャリブレーション方法。

Images