JP2020201569A - 複合現実技術を用いたカスタマーサポート支援装置及び装着型情報処理端末 - Google Patents

Abstract

【課題】カスタマーサポートセンターにおけるオペレータ電話応対が、製品の実機を参照することなく容易且つ高セキュリティで実現できる技術を提供することを目的とする。【解決手段】コールセンター業務のためにデジタル描画技術を利用して、オペレータの装着型情報処理端末に製品の３次元の形状・構造の情報及び関連情報を表示する構成であるため、オペレータは製品の実機が無くても製品の形状及び構造を実物大で容易に短時間で認識することが可能である。製品の３次元モデルを見ながら顧客と電話応対ができる構成は、コールセンター業務のロケーションフリー化を奏する。しかも、装着型情報処理端末を装着中にオペレータの生体情報に基づく本人認証を行うため、製品に関連する情報や顧客情報の無断漏洩を防止することが可能である。【選択図】図１

Description

本発明は、製品等に対する顧客からの質問や要求を受け付けるカスタマーサポートセンターでのコールセンター業務に関し、特に製品の実機形状に対応する幾何データを参照しながらサポート業務を行う技術に関連する。

顧客は、製品の購入後にその操作方法が分らなかったり、故障していると判断したとき、カスタマーサポートセンターへ電話をして解決方法を教えてもらうことがある。技術革新に伴って家電製品やオフィス機器の多機能化及び高度化が顕著であり、購入した顧客は自力で解決することが困難になっているからである。カスタマーサポートセンターはこのような顧客の要求に応えるため、どの製品の、どの機種が、どのような状況であるか等を顧客に電話口で説明してもらい、可能なかぎり顧客が満足する解決方法を提示するよう試みている。

電話応対するオペレータは、顧客が所有する製品の不具合などを直接目にしているわけでなく、顧客からその不具合を言葉にして伝達してもらうことで顧客側の状況を推測する。また、解決方法も言葉で返して顧客に理解してもらうことになる。このため、顧客及びオペレータは互いに自分の意図を正確且つ迅速に伝達できないことが多い。例えば、操作し得るボタンが複数存在する製品の場合、目の前の製品を挟んで対峙する顧客とオペレータであれば指し示すジェスチャの動きで解決方法を即座に理解できるが、電話応対の場合はボタンの位置や動かし方を逐一言葉で説明しなければならない。そのため、オペレータは、製品に不慣れな顧客であっても簡潔でわかりやすい指示を伝えることが重要となるが、それにはオペレータ自身が製品の構造や動作などを熟知している必要がある。

サポート対象の製品の種類や機種が少なく、いつも同じような質問がされる場合には、オペレータの応対は比較的容易であるが、製品に関する広範囲な情報を各オペレータが確実に記憶し、いかなる質問に対しても応対できるよう準備しておくことは簡単ではない。とりわけ、ライフサイクルが短い製品の場合、知識として蓄えた製品情報が最新機種にはもはや適合せず、顧客が購入したその最新機種の故障を理解できなかったりする。また、製品の機構や構造が複雑になる程、顧客との応対経験が豊富な熟練のオペレータであっても瞬時に解決方法を提示してわかりやすく伝達することは困難である。

そこで、カスタマーサポートセンターは、可能なかぎり各製品の実機をセンター内に備えておき、オペレータが実際に手にとって確認できる体制にしていたりする。しかしながら、応対する対象製品の全機種にわたって満遍なく揃うよう常に準備しておくことはかなりのコスト高となってしまう。また、実機を保管しておくための広いスペースが必要となり、機種数が増えるにつれスペースの確保はコスト高に拍車をかけている。さらに、オペレータが保管スペースから実機を探し出し、製品の構造及び操作を確認してから解決方法を見出す場合、電話をしてきた顧客を長い時間待たすことになる。これは、コールセンター業務の効率性を阻害するとともに、顧客満足度の低下につながりかねない。

このような課題に対応するため、電話応対の際に、製品実機の幾何形状をあらわした３次元モデルを表示し、現物の製品の構造や動作を確認するカスタマーサポートが提案されている（例えば、下記特許文献１を参照）。

特許第３５４８０６５号公報

特許文献１に記載のシステムは、ネットワークを介して遠隔操作の可能な製品の３次元モデルデータを呼び出し、オペレータが使用する端末に３次元モデルを表示するように構成されている。しかし、その３次元モデルは、通常の表示ディスプレイ上に表示されることを開示するに過ぎない。つまり、例えば、大型の冷蔵庫又はエアコンというような製品であっても、手のひらサイズの製品であっても、所定の表示ディスプレイ画面で同じように表示されるので、製品の表示は表示ディスプレイの画面サイズで規定される。オペレータは、表示ディスプレイ上の３次元モデルを必要に応じて拡大・縮小して描画させることになり、製品と等倍率で表示された３次元モデルを必ずしも参照できているわけではない。

その結果、表示ディスプレイ画面にあらわされた３次元モデルが実物サイズとかけ離れている場合、オペレータが３次元モデルを見て受ける印象や情報は、顧客が現に所有する実物の製品に対するものと相違することがある。例えば、顧客が大型冷蔵庫の内部にある複数のスイッチのうち大きなスイッチと言葉で説明しても、オペレータが表示画面で参照する３次元モデルではどのスイッチのことか瞬時に把握できなかったりする。オペレータは従来の表示による３次元モデルからはリアリティ感を得られ難いのである。

また、カスタマーサポートセンターには各オペレータが集合してコールセンター業務を行う勤務形態が一般的であり、オペレータになりすましてコールセンター内のオペレータ端末を許可なく操作し、社内の３次元の製品モデルデータにアクセスして顧客と電話応対するということはあり得ない。
一方で、労働環境が多様化する近年において、これまでの集約型のカスタマーサポートセンターに代わり、カスタマーサポートセンター外から各オペレータがネットワークを介してカスタマーサポートセンターにアクセスし、同様のコールセンター業務を実施するといった、就労場所に制約されないロケーションフリーでのカスタマーサポートは今後ますます拡大するものと見込まれる。ただし、オペレータ業務を通じて参照する情報には、応対ユーザの個人情報や、製品の構造や仕組みといった製造メーカの秘密情報を含んでいるので、情報漏洩に注意をしなければならない。サポートセンター管理者が不在の環境下におけるロケーションフリーの就労形態であれば尚更に、認証済みのオペレータ本人でなければコールセンター業務に関連する各種情報にアクセスできないというセキュリティ強化の手段が必要になってくる。

これらに鑑みて、本発明は、カスタマーサポートセンターにおける電話応対が、製品の実機を手にして確認しなくても、正確且つ容易に行われるようオペレータを支援するカスタマーサポート支援装置を提供することを目的とする。また、コールセンター業務が、カスタマーサポートセンターという特定の就業場所に制約されることなく且つ高いセキュリティで実現するカスタマーサポート支援装置を提供することを目的とする。

前記目的を達成するために本発明に係るカスタマーサポート支援装置は、カスタマーサポートの対象に含まれる製品の三次元形状データを作成する手段と、前記三次元形状データを基に、前記製品を構成する各部品の構造又は組立を示す動画を作成する手段と、前記動画をユーザの装着型情報処理端末に表示する手段と、前記動画に対する前記ユーザの指示を受信し、前記ユーザの指示に従い前記動画の表示を制御する手段とを備えたことを特徴とする。

また、前記装着型情報処理端末に表示される前記動画は、仮想現実（Virtual Reality）、拡張現実（Augmented Reality）、複合現実（Mixed Reality）を含むデジタル描画技術に基づき作成されることを特徴とする。
また、前記ユーザの指示に従い前記三次元形状データの表示を変更する手段を更に含み、変更後の前記三次元形状データの表示を基に前記動画を変化させることを特徴とする。
また、前記装着型情報処理端末を装着する前記ユーザの生体情報を認識し、前記ユーザが登録済みの本人であることの認証確認ができた場合にのみ、前記装着型情報処理端末上での表示が許可されるよう制御され、前記ユーザの指示は、音声、ジェスチャ動作、読唇、手話、表情変化を含み、前記動画は、カスタマーサポートへの問合わせ内容に応じた解決策を提示する内容であることを特徴とする。

前記目的を達成するために本発明に係る装着型情報処理端末は、仮想現実（Virtual Reality）、拡張現実（Augmented Reality）、複合現実（Mixed Reality）を含むデジタル描画に基づき、カスタマーサポート支援のためのデータを表示するため、カスタマーサポートの対象に含まれる製品の三次元形状データを基に作成された前記製品を構成する各部品の構造又は組立を示す動画を前記装着型情報処理端末の表示ディスプレイに表示する手段と、前記装着型情報処理端末を装着したユーザからの指示に応答して前記三次元形状データの表示が変更されると、前記動画を含む表示内容を前記表示ディスプレイ上で変化又は切替える手段とを備えたことを特徴とする。

また、前記装着型情報処理端末のユーザの生体情報に基づき認証確認がされた場合にのみ、前記表示ディスプレイ上での表示が許可され、カスタマーサポートへの問合わせに対する応対スクリプトが前記表示ディスプレイ上に表示されることを特徴とする。

本願発明に係るカスタマーサポートシステムは、コールセンター業務のために、製品のデジタル描画技術（例えば、複合現実技術など）を利用してオペレータの装着型情報処理端末（例えば、頭部装着ディスプレイ装置、眼鏡型ディスプレイ装置など）に製品の３次元の形状・構造の情報及び関連情報を表示する構成である。これにより、オペレータは製品の実機が無くても製品の形状及び構造を実物大で容易に短時間で認識することが可能である。オペレータは製品の３次元モデルを見ながら顧客と電話応対ができるため、コールセンター業務を特定のロケーションに制約されずに実施しながら（ロケーションフリー化）、顧客との電話を介したコミュニケーションを円滑にすすめることができる。

また、ユーザが装着する装着型情報処理端末に製品情報及び関連情報が表示されることから、汎用のディスプレイ画面上への表示と異なり、オペレータの装着型情報処理端末をオペレータ以外の者によって覗き込まれることがない。さらに、各オペレータの生体情報（例えば、眼の虹彩など）をあらかじめ登録しておき、装着型情報処理端末を装着したオペレータの本人認証が得られないと、製品に関連する情報や顧客情報などにアクセスできないようにしている。これにより、なりすましの者が無断でオペレーションセンタにリモートアクセスして秘密情報を参照したり、コールセンター業務を行うことを防止することが可能である。したがって、上述したようなロケーションフリーによるコールセンター業務であっても、カスタマーサポートに必要な情報が許可無くアクセスされることを防止し、高いセキュリティを担保することができる。

本発明に係るカスタマーサポート支援装置が有する各モジュール構成を示した図である。 装着型情報処理端末を装着したオペレータがカスタマーサポート業務を行っている様子の一例を示した図である。 ３Ｄモデルを基にして三次元のFAQ動画を作成・編集する画面例を示した図である。 装着型情報処理端末に映し出される画面例を示した図である。 装着型情報処理端末に映し出される別の画面例を示した図である。 応対スクリプトを作成する画面例のイメージ図を示す。 応対履歴の内容を編集する画面のイメージ図を示す。 従来のコールセンターの処理フローを示した図である。 本発明のカスタマーサポート支援装置の処理フローを示した図である。 クライアント用アプリモジュールによる手順を示したフローチャートである。 応対履歴管理モジュールによる手順を示したフローチャートである。

以下に図面を参照しながら、本発明に係るカスタマーサポート支援装置１００の一実施形態について説明する。図１は、カスタマーサポート支援装置１００が備える機能をブロック化して示した図である。
本実施形態のカスタマーサポート支援装置１００は、カスタマーサポートセンターに電話してきた顧客に対して電話応対するオペレータを支援したり、応対履歴を収集・管理したりする装置である。

本実施形態のカスタマーサポート支援装置１００は、プログラム又は任意の指示に従って演算処理を実行するプロセッサと、RAM等の揮発性メモリ及び／又はハードディスク等の不揮発性メモリを有する記憶手段と、表示画像を提供するディスプレイなどの表示手段と、キーボード又はタッチパネルなどの入力手段と、プロセッサの処理結果及び記憶手段に記憶される情報を外部の装置等と送受信可能に動作する通信手段とを有する。
なお、他の実施形態においては、プロセッサ、記憶手段、表示手段、入力手段、及び通信手段のうち、１以上の構成要素を必ずしも有さなくてもよい。

カスタマーサポート支援装置１００が実装する主な機能モジュールは、（１）３Dモデル生成モジュール１、（２）動画編集モジュール２、（３）クライアント用アプリモジュール３、（４）応対履歴管理モジュール４である。カスタマーサポート支援装置１００の各モジュールは、クラウドサーバ５との間でデータをアップロード及びダウンロードするよう構成されている。

＜３Dモデル生成モジュール１＞
３Dモデル生成モジュール１は、応対対象である製品実機の幾何形状をあらわす三次元の製品モデル（以下、「３Dモデル１３」と称する。）を生成する機能を備える。近年は、製品の設計はＣＡＤ又はＣＡＥシステムを用いて電子化されていることが多い。これらのシステムから得られるＣＡＤデータ若しくはＣＡＥデータ１２を基に、カスタマーサポート業務を行うオペレータが使用する端末の画面に３次元の製品形状・構造が表示される３Dモデル１３のデータ生成処理を行う。

本発明において３Dモデル１３を表示するオペレータの端末は、装着型情報処理端末である。装着型情報処理端末とは、例えば、頭部装着ディスプレイ装置（即ち、ヘッドマウントディスプレイ）や、眼鏡ガラスの一部に情報が表示される眼鏡型ディスプレイ装置を指す。装着型情報処理端末６を装着したオペレータ７がカスタマーサポート業務を行っている様子の一例を図２に示す。今後、情報表示機能を備えたコンタクトレンズが実用化されれば、それも装着型情報処理端末として含む。
さらに、網膜に直接視覚提示を行う網膜ディスプレイも装着型情報処理端末として含む。例えば、光の水平線がディスプレイの上から下へ高速に走っていく残像効果で一枚の画像を見せる網膜操査型ディスプレイ、物体から出た光を光学系などを通して一点（瞳孔中心）に収束させてから網膜上に投影する網膜投影型ディスプレイがある。網膜投影型ディスプレイの応用形として、透過型ミラーデバイス（ＴＭＤ）を転写光学系として用いて複数の集光点を目のレンズの位置に生成する網膜投影型ディスプレイも、本願発明の装着型情報処理端末として含む。

装着型情報処理端末６は近年において急成長している。カメラやセンサーなどを駆使して投影された仮想物体を用いて、現実世界で実存しない又は実存することが難しい状況に代わって実際に近づいたり、触れたりといった操作を行うことができる技術は、特に、ゲームなどのアミューズメント分野で使用することが目立っている。しかし、本技術をカスタマーサポート業務に適用した例は今までに存在しない。

ところで、製品の実機に代わり、製品に相当する仮想物体をデジタルデータで作成して描画する技術は、仮想現実（Virtual Reality）、拡張現実（Augmented Reality）、複合現実（Mixed Reality）といった呼び方で展開されている。仮想物体と現実空間との関係をもつようにするのか、さらにどの程度まで現実空間を考慮して仮想物体を描画させるかの違いで、現在のところ上述した区分に分類されている。

本発明は、カスタマーサポートセンターというオフィス環境を模してコールセンター業務を行うことを基本としているため、現実空間を認識して仕事環境を出現させることを理想形とする。したがって、完全に仮想空間を前提とする仮想現実（ＶＲ）よりも、現実空間を認識する拡張現実（ＡＲ）や複合現実（ＭＲ）の方が適合度は高いと言える。特に、複合現実（ＭＲ）は、物理的なアイテムや環境と、仮想的なアイテムや環境の両方との交わりを、現実の状況で見た場合と同じになるよう重ねて表示する。例えば、現実空間で製品の一部が机で遮られるよう配置されていた場合、ＡＲ技術とは異なりＭＲ技術を用いた見え方は、現実空間と全く同じように遮られて見えるように表示されるので、よりリアリティ性のある視認を生じさせる。

本発明は、装着型情報処理端末６への３Ｄモデルの表示をＭＲ技術に限定するということはないが、現実世界に存在する物体を認識しながら３Ｄモデルを表示することがカスタマーサポート業務の支援により有益であるため、以下の説明では、ＭＲ技術に基づく３Ｄモデルの表示とする。他の実施形態においては、ＡＲ技術或いはＶＲ技術に基づき３Ｄモデルを表示するようにしてもよい。

また、上述したデータ生成は、ＣＡＤデータやＣＡＥデータ１２からの自動生成に必ずしも限定していない。製品実物１１から３Ｄデータを手作業で作成し、適宜補正を加えて自動生成のデータと組み合わせながら３Ｄモデル１３を構築してもよい。あるいは、自動生成することなく、すべて手作業により３Ｄモデル１３を構築してもよい。
本実施形態の場合、作成された３Ｄモデル１３用のデータ５１は、クラウドサーバ５内に製品ＩＤ及び機種ＩＤに関連づけて格納（アップロード）しておく。

また、３Ｄモデル生成モジュール１とクラウドサーバ５との間の通信方式は、データを転送可能であれば如何なる適切な通信接続も使用可能である。例えば、有線接続（Ethernet、USB又はFirewire（登録商標）など）、無線接続（Bluetooth（登録商標）、Wi-Fi（登録商標）、セルラーネットワーク又は赤外線など）、又はコンピュータ読取り可能な記憶媒体（CD、DVD、Blu-Ray（登録商標）、メモリカード又はUSBフラッシュドライブなど）を使用したマニュアル転送などを含む。
なお、後述する動画編集モジュール２、クライアント用アプリモジュール３、応対履歴管理モジュール４それぞれとクラウドサーバ５との間の通信方式も同様である。

＜動画編集モジュール２＞
動画編集モジュール２は、３Dモデル生成モジュール１により作成した３Ｄモデルデータ５１をクラウドサーバ５からダウンロードし、この３Ｄモデルデータ５１を基に電話応対の際に参照可能な動画を作成する機能を備える。
顧客との応対を円滑にすすめるため、同じ様な質問事項に対する回答については、“よくあるお問い合わせ（FAQ）”としてまとめておくことが多い。従来のような回答例を単にテキストで準備し参照できるようにするだけでなく、オペレータがより一層理解できるようにするために、動画編集モジュール２は三次元のFAQ動画を作成・編集する（２２）。作成したFAQ動画データ５２は、ネットワークに接続したクラウドサーバ５に格納（アップロード）しておき、カスタマーサポート支援装置１００内の他のモジュールとの間でダウンロードできるようにしておく。

図３は、動画編集モジュール２が、３Ｄモデル１３を部品化し（２１）、三次元のFAQ動画を作成・編集（２２）する様子を示した画面例である。３Ｄモデルデータ５１を基に製品本体から各部品を取り外した画面を複数作って、分解の手順や組み立ての手順がわかるようなストーリー仕立てにする。一例を挙げれば、「掃除機のフィルターが入らなくなった」という顧客からの問い合せに対応するため、掃除機の各部品を分解する動画から開始し、再び部品を組み立てる一連の流れをステップ・バイ・ステップで説明する動画を作成する。オペレータがこの動画ストーリーをみたとき、フィルターをどのように掃除機本体に組み込めばよいかを瞬時に理解することができる。また、詳細は後述するクライアント用アプリモジュール３０で説明するが、三次元のFAQ動画はインタラクティブ動画である。“インタクティブ”が意味する通り、三次元のFAQ動画は、オペレータの意図に従った表示（例えば、３Ｄモデルをオペレータのジェスチャに呼応して表示させる等）にすることも特徴として含み、単に再生される動画ではないことも本発明の特徴の一つである。

＜クライアント用アプリモジュール３＞
クライアント用アプリモジュール３は、上記の動画編集モジュール２で作成した動画データ５２をクラウドサーバ５からダウンロードして、オペレータ７の装着型情報処理端末６に表示するために、動画再生を行う機能（３２）を備える。なお、以下では、装着型情報処理端末６としてヘッドマウントディスプレイ（ＨＭＤ）を使用するものとして説明する。これにより、オペレータ７は、ＨＭＤ６に映し出された画像を見て、指定した製品の形状や構造を三次元で視覚的に認識する。

クライアント用アプリモジュール３は、ＨＭＤ６を装着した者がオペレータ本人であるかを判定する機能（３１）も含む。即ち、コールセンター業務を正当に任され、クラウドサーバ５に格納された製品情報や個人情報などの秘密情報にアクセスすることが許可されたオペレータ以外のなりすまし者は、排除される必要がある。これは、カスタマーサポート支援装置１００がロケーションフリーのサポート業務に適用され得るので、カスタマーサポート支援装置１００のセキュリティ性を担保する上で重要である。そのため、本実施形態では、オペレータ７がＨＭＤ６を装着していることを利用し、オペレータ７の眼の虹彩による生体認証をする。ＨＭＤ６に搭載されたカメラがオペレータの虹彩を識別し、あらかじめ登録してあるオペレータ本人の虹彩データであるかい否かを判定する。この生体認証は一度のみならず、ＨＭＤ装着中の一定時間（例えば、１分、５分、３０分等）を経過する毎に周期的に実行されるようにするのがセキュリティの観点から望ましい。また、ＨＤＭ６を非装着して生体認証ができなくなった時点でオペレータ業務を続けて行えないようにするため、その際はＨＤＭ６に各種の情報が表示されないよう構成するのが望ましい。
なお、虹彩以外の生体認証であってもよい。例えば、指紋認証、顔認証、声認証などの情報を用いて本人確認を周期的に実行するようにしてもよい。

動画の再生中、オペレータ７は任意のタイミングでその再生を停止したり中断し、その後に再生の再開をすることができる。動画再生を行う機能（３２）内の表示切替え手段は、例えば、設定した再生速度が早かったのでより確実に構造を把握したい場合、再生を中断させ、巻き戻して停止した状態で３Ｄモデル１３のサイズを変更したり、視点角度が変わるように回転させることもできる。

このような３Ｄモデル１３に対するオペレータ７の指示は、従来の三次元描画システムであればコンピュータや装置に接続する入力デバイス（例えば、キーボード、マウス、ジョイスティック等）を使用して行っていた。本実施形態のカスタマーサポート支援装置１００では、オペレータ７はＨＭＤ６を装着しているので、基本的に両手の使用は制限されていない。そこで、手や腕の一部にセンサを取付けることでオペレータ７のジェスチャが検出されるようにしたり、ＨＤＭ６にカメラ機能を設けてオペレータ７の手や腕の動作を画像として取得し、画像解析してオペレータ７のジェスチャを識別してもよい。顔の表情を解析してジェスチャを識別することも含む。
さらに、ＨＭＤ６に取付けたカメラに代わり、オペレータ７の居る空間内に設置した固定又は移動カメラでオペレータ７を撮影するように構成してもよい。あるいは、オペレータ７の声に反応して３Ｄモデル１３へ指示が伝達されるように構成してもよい。

さらに、唇の動きから発話の内容を読み取る読唇術を利用したり、手話から、オペレーション７の指示が３Ｄモデル１３へ伝達されることも含む。オペレータ７からの指示に基づくコンピュータ生成語が電話回線を通じて応対顧客へ伝達可能であるため、読唇術や手話の活用は、体の一部に制限があるオペレータの雇用を促進させることに繋がる。

また、本実施形態の場合、オペレータ７のジェスチャ操作は、単に再生動画の停止や拡大を指示するジェスチャ、即ち、一連の動画の流れが維持されたジェスチャ種類に限らない。動画再生を行う機能（３２）内の表示切替え手段（不図示）は、オペレータ７の任意のジェスチャを３Ｄモデル１３に反映させ、その製品の表示状態を変化させる（又は切替える）ことを含む。つまり、FAQ動画再生（３２）される動画ストーリーが、顧客からの特殊な質問に応じるオペレータ７の任意のジェスチャによってフレキシブルに変化し得るのである。例えば、ＨＭＤ６に動画を再生中、オペレータ７が顧客との会話を通じて製品の底部を確認することが必要になったとする。ダウンロードしたFAQ動画データ５２には、製品の底部を確認することを含んでいない。この場合、オペレータ７が、再生を停止させるジェスチャ（例えば、両手の人指し指を交差させる等）をするとともに、製品を逆さまにするジェスチャ（例えば、上方に向いてした手の甲を180度回転させて下方に向ける等）をすれば、これに伴い、ＨＤＭ６に表示されている３Ｄモデルは底面が上を向いて逆さまになって描画されるよう３Ｄモデル１３の表示が変更される。
また、冷蔵庫のような扉のある製品であれば、扉を開けるオペレータ７のジェスチャ操作に呼応して、３Ｄモデル１３における扉が開いた状態となり、内部の構造を確認できるように制御されている。このように、本発明の３Ｄ動画は、オペレータ７のジェスチャ操作又は声に呼応したインタラクティブ動画である。

さらに、オペレータ７のジェスチャ操作は、３Ｄモデル１３のシミュレーションの指示を含む。クライアント用アプリモジュール３がシミュレーション開始をあらわす特定のジェスチャを識別した場合、当該ジェスチャに応じたシミュレーションを３Ｄモデル１３で展開する。具体的には例えば、表示されている３Ｄモデルの製品を床から１ｍの高さまで持ち上げてから落下させた場合、破損するのか、破損の程度などを、３Ｄモデルに含まれる製品の構造データや材料データを基に強度解析をシミュレーションを実行する。また、製品を高温状態に設置した場合に、製品の熱変形が生じるか等を熱解析するためのシミュレーションを実行する。製品を浸水させたり、高湿度の環境下に設置した場合のシミュレーションを実行することも含む。

クライアント用アプリモジュール３は、さらに、応対スクリプトデータ５３をＨＭＤ６に表示する。応対スクリプトデータ５３とは、オペレータ７が応対の際に顧客とどのように会話するかを示した台本である。この応対スクリプトデータ５３は、後述する応対履歴管理モジュール４で作成し、クラウドサーバ５に応対スクリプトデータ５３として格納（アップロード）しておく。クライアント用アプリモジュール３は、クラウドサーバ５から三次元のFAQ動画データ５２をダウンロードするとき、応対スクリプトデータ５３もダウンロードすることを含む。

図４は、オペレータ７が装着したＨＭＤ６に映し出される画面例である。つまり、ＨＭＤ６を介したオペレータの視野イメージ図である。本実施形態の場合、オペレータ７が見る視野は３つのエリアで区分されている。視野の中央は、どの動画を再生するかを指定するための三次元FAQ動画のリスト３２０、選択された３Dモデルの再生形式を選択するためのFAQ動画メニュー３２１、リストから指定された三次元のFAQ動画３２３を表示するエリアである。ただし、視野エリアは３つに限定されず、１つや２つ、或いは４以上に細分割されていてもよい。
なお、図４に示す視野イメージ図はあくまで一例である。他の視野イメージ図として、例えば、マルチ画面構成にしてオペレータの指示或いは応対会話の状況から自動的に、オペレータが参照すべき画面がアクティブ化されて前面に表示することや、画面の全部又は一部の表示/非表示が適宜フレキシブルに行われることを含む。

三次元FAQ動画のリスト３２０は、例えば、「セット順序間違い」、「パーツ組合せ間違いネット＆プリーツ」、「フタのセット向き間違い」などであって、問い合せの多いものが上位になるよう並んでいる。
FAQ動画メニュー３２１内の項目は、例えば、
１．製品を構成する全パーツ（部品）を分解して再生
２．ネット＆プリーツの再生
３．フィルタ＆ボックスの再生
４．ボックス＆フタの再生
というように、再生する部分や再生の形式などを選択するために提示されるメニューである。

クライアント用アプリモジュール３は、オペレータ７のジェスチャ或いは声により三次元FAQ動画のリスト３２０の中から指定された製品・機種の３Dモデルデータ５１をクラウドサーバ５からダウンロードすると、選択された再生形式で視野の中央に表示する。

視野の左側は、クラウドサーバ５からダウンロードした応対スクリプトデータ５３を応対スクリプト３３０として表示するエリアである。応対スクリプト３３０は顧客に対してどのように会話するかをマニュアル化したものである。応対の冒頭で、「お電話ありがとうございます。Ａ会社家電のお客様センターの（名前）です。」と名乗ってから、「どちらの商品のお問い合わせでしょうか？」や「型番はお分りになりますか？」と顧客から製品に関する情報を聞き出すための質問を発し、その後、商品がどのような状況であるかを聞き出す等のための応対スクリプト例が図４に示されている。応対の開始時に、挨拶をし、更にセンター名称並びに応対者の名乗るのは、電話をしてきた顧客が受ける印象というのは最初の十数秒で決まると言われており、丁寧な応対が望ましいからである。

オペレータ７はＨＤＭ６の視野に表示される応対スクリプト３３０を認識可能であるため、例えばマニュアル本に記載された中から探し出すこともなく効率的に行えることにもなる。また、準備された応対スクリプトに従った応対（会話）をすれば、適切な手順で会話がなされ、不快と受け取られ易い言葉づかいを避けることができ、顧客との良好な関係を築くことを可能にする。なお、上述した応対スクリプト３３０は応対冒頭のものであり、顧客からの回答に応じて様々な応対スクリプトを準備しておくことが可能であることは言うまでもない。

視野の右側は応対内容を履歴として登録しておくための応対履歴エリア３４０である。オペレータ７がキーボードから手入力してもよいし、他の入力デバイスを利用してもよい。また、応対中の会話の音声を分析してキーボード入力と同等の内容を自動で判別するようにしてもよいし、ＨＭＤ６に表示される情報と連動するようにしてもよい（３４）。応対内容の履歴を自動で作成する場合、クライアント用アプリモジュール３は、オペレータ７と顧客間の会話の音声データを音声認識処理部（不図示）に渡し、所定のアルゴリズムを用いて会話内容を分析して音声データをテキスト化する。作成されたテキストは視野の右側に示すような履歴フォーマットの情報３４０としてあらわされる。従来では、応対記録は手入力により履歴管理することが殆どであったが、本発明のカスタマーサポート支援装置１００の場合は音声認識処理で自動登録するのでオペレータ７の作業負担が大幅に軽減することになる。
そして、クライアント用アプリモジュール３は、作成された応対履歴データ３４０をクラウドサーバ５にアップロードし、会話音声データや指定した３Ｄモデルの三次元FAQ動画データ５２と関連づける態様で応対ログデータ５４として格納される。

なお、応対履歴データ３４０がクラウドサーバ５にアップロードされるので、いわゆる問合せログが蓄積されていく。図４に示すＨＤＭ視野の例では、中央に三次元FAQ動画のリスト３２０を表示しているが、図５に示すような態様で三次元FAQ動画のリスト３２０の表示位置を変えたり、且つ問合せログと共に表示するようにしてもよい。

＜応対履歴管理モジュール４＞
応対履歴管理モジュール４は、上述した例におけるＨＭＤ６の視野左側に表示される応対スクリプトを、作成及び編集をするスクリプト作成支援ツール４１を含む。図６は、応対スクリプト３３０を作成する画面例のイメージ図を示す。ただし、必ずしも本画面に限定されるわけではない。図示したように、応対スクリプト作成者は、応対履歴管理モジュール４を起動し、オペレータ７に発話してもらう言葉（台詞）を入力して登録していく。オペレータ７の台詞は、顧客の回答に呼応した次の台詞が或る程度決まっていたり想定され得るため、次の台詞のつながりを２分岐、３分岐、４分岐などの何れであるかを選択し、各分岐における台詞を更に入力しながら編集し、登録しておく。応対履歴管理モジュール４において応対スクリプト３３０を作成・編集するツールが備わっていることにより、応対スクリプト３３０を簡易に体系化して構築することが可能となる。

また、応対履歴管理モジュール４は、上述したＨＭＤ６の視野右側に表示される応対履歴のフォーマット内容を設定したり、応対の終了後に応対履歴を記録・編集・管理するための応対履歴管理ツール（４２）を含む。図７は、応対履歴の内容を編集する画面のイメージ図を示す。ただし、必ずしも本画面に限定されるわけではない。カスタマーサポート支援装置１００の管理者等が、「故障」として登録されていた或る問合せについて編集をする場合、内容の変更や追加が適宜できるようになっている。
作成した応対スクリプトや応対履歴用データは、クラウサーバ５に格納（アップロード）しておく。

次に、図８、９に示す作業フローを参照しながら、カスタマーサポート支援装置１００で実行される処理について説明する。
図８は、従来のコールセンターの処理フローを示したものである。顧客からコールセンターへ問合せの電話があり、コールセンターが受電すると（ステップ８１）、電話の用件（問合せか、修理依頼等）を聞き出して特定する（ステップ８２）。また、登録済みの顧客であれば顧客データベース（不図示）を検索して顧客個人を特定する（ステップ８３）。そして、問合せ対象の製品及び機種を特定し（ステップ８４）、どのようなトラブルが発生しているのか状況を聞き出す（ステップ８５）。

オペレータ７は聞き出した情報を基に、必要であれば予め準備されているトラブル応対マニュアル等を参照して解決策を顧客に提示したり（ステップ８６）、必要であれば実機を探し出して顧客側の製品の状況を再現しながら解決策を顧客に提示する（ステップ８７）。この間、顧客は、オペレータの解決策に従い製品へアクションを施し、トラブルが解消しているかをオペレータに報告することになる。
問題が解消する/しないに拘わらず、電話応対の終了後に、応対履歴やFAQを登録する（ステップ８９）。

図９は、本発明のカスタマーサポート支援装置１００の処理フローを示したものである。カスタマーサポート支援装置１００で実行される処理は、ステップ８１〜８５までは、図８に示す従来の応答手順と同じであるが、ステップ８６及び８７に代わり、オペレータは装着したＨＤＭ６で、トラブル応対マニュアルに相当する各種情報及び３Dモデル１３であらわされた製品構造を認識する（ステップ９６）。なお、ＨＤＭ６を介したカスタマーサポート支援装置１００への入力及び検索の方法は、音声及び動作（ジェスチャ）に基づいているので従来のコールセンターの手入力によるものとは全く異なっている。

特に、クライアント用アプリモジュール３が実行する手順を示したのが図１０である。
図１０に示すとおり、クライアント用アプリモジュール３は、生体認証（例えば、虹彩認証）を行い、オペレータ本人であることを確認する。確認がとれた場合にのみ、カスタマーサポート支援装置１００へログインすることを許可する（ステップ１０１）。次に、クライアント用アプリモジュール３は、電話応対の会話を通じて、顧客製品の故障の状況を聞き出し、FAQを検索する（ステップ１０２）。検索したFAQに関する三次元のFAQ動画データ５２をクラウドサーバ５からダウンロードする（ステップ１０３）し、オペレータ７が装着するＨＭＤ６に動画再生を行う（ステップ１０４）。さらに、クライアント用アプリモジュール３は、顧客との会話音声、ダウンロードした三次元のFAQ動画データ５２、及びオペレータ７が任意に記載したメモ情報などをログ情報として収集し（ステップ１０５）、クラウドサーバ５へアップロードする（ステップ１０６）。

また、応対履歴管理モジュール４が実行する手順を示したのが図１１である。
応対履歴管理モジュール４による応対スクリプトの作成・編集は、まず、スクリプト作成支援ツール４１により起動されるスクリプト作成アプリケーションにログインする。なお、応対スクリプトの作成・編集及び後述する応対履歴（ログ）管理の設定・編集は、ＨＤＭ６を介したオペレータによるカスタマーサポート支援装置１００へのログインではないため、虹彩などの生体情報を用いた本人確認を厳密の行うことは必ずしも必要ではない。従来のログイン認証でアクセス可能な構成であることも含む。

応対履歴管理モジュール４は、対象製品又は機種の応対スクリプトが未だ登録されて居ない場合、応対スクリプトを新規に作成することを開始する（ステップ１１１）。図６に示すような対話ステップに応じて話す内容をテキスト又は音声入力で作成していく（ステップ１１２）。作成の最後には表示状態を確認し（ステップ１１３）、応対スクリプト３３０を登録する（ステップ１１４）。

また、応対履歴管理モジュール４による応対履歴（ログ）管理の設定・編集は、応対履歴管理ツール（４２）により起動される履歴管理アプリケーションにログインする。応対履歴管理モジュール４は、図７に示すような応対履歴管理用アプリ画面を呼び出すと（ステップ１１６）、編集した項目を選択して追加や変更の編集する（ステップ１１７）。ここでは、初期の登録はすでに終了しているとする。そして、編集の最後には表示状態を確認し（ステップ１１８）、変更内容を登録する（ステップ１１９）。

また、応対履歴（ログ）の情報は、その蓄積が大きくなる程、FAQ動画の作成や応対スクリプトの最適化を図る上で有益な情報源となる。例えば、応対履歴（ログ）中から得られるキーワード分析やFAQ内容を機械学習させて、顧客のトラブルにより適合度の高いFAQ動画や応対スクリプトが呼び出されるようにすることを含む。

上述した実施形態においては、オペレータ７はＨＭＤ６を装着しながらカスタマーサポート業務を行うものとして説明してきたが、これに限定されることはない。眼鏡型ディスプレイ装置や情報表示機能を備えたコンタクトレンズ等の他の装着型情報処理端末の使用であっても、上述したカスタマーサポート支援装置１００の機能を果たすことができる。

また、上述した実施形態においては、カスタマーサポート支援装置１００が使用する様々なデータを、クラウドサーバ５内の各モジュールがアップロード及びダウンロード可能に格納するとして説明してきたが、これに限定されることはない。例えば、サーバは必ずしもクラウドに置かれていなくてもよく、オペレータの装着型情報処理端末に必要なソフトウェアをインストールしたりデータを記憶する構成であってもよい。この場合、装着型情報処理端末が備えるプロセッサが、本人認証の処理、動画再生を行う機能（３２）が実行するFAQ動画の再生や応対スクリプトの表示、オペレータ７の任意のジェスチャ等を反映した製品表示状態の切替え、応対ログデータの収集などに関する処理の実行を司る。
さらに、カスタマーサポート支援装置１００内の各モジュールが常時ネットワークで接続されていなくてもオンデマンドで、サーバや他のモジュールからデータをダウンロードしたり、作成したデータをサーバや他のモジュールにアップロードするシステム構成であっても本発明は実現可能である。

さらに、他の実施形態では、３Dモデル生成モジュール１、動画編集モジュール２、クライアント用アプリモジュール３、応対履歴管理モジュール４それぞれとクラウドサーバ５のそれぞれがサーバを介することなくダイレクトに通信接続するようにしてもよい。この場合の通信方式は、上述した実施形態と同様に、データを転送可能であれば如何なる適切な通信接続も使用可能である。

以下、本実施形態のカスタマーサポート支援装置１００が奏する効果について説明する。カスタマーサポート支援装置１００によるオペレータ支援によれば、製品の実機を参照することなく、３次元のモデルデータから当該製品の構造や動き方、或いは操作方法などを確認することができるため、オペレータ７は実機が準備されたコールセンターという特定の場所に居ることが必ずしも必要でなくなる。これにより、オペレータ７の就業場所の自由度が従来と較べて大きくなり、在宅オペレータなどの多様な働き方を可能にする。さらに言えば、ＭＲ技術によってバーチャル空間内にコールセンターを構築することが可能であり、在宅オペレータをバーチャル空間で管理したり、支援したりすることができる。

オペレータ７は、コールセンター内にそろえている製品各種の実機を探し出し、その構造や動作などを確認する必要がないので、顧客の要求の理解及び解決方法の提示に至るまでの時間を短縮することができる。これは、応対１件あたりの生産性を上げ、オペレータ業務の応対コストを圧縮するという効果を奏する。また、従来はスタマーサポートセンターに電話しても中々繋がらないという状況が発生していたが、本発明によって短時間で解決方法を得ることができるので顧客満足度の向上という効果も生じ、製品を製造販売する企業のイメージアップに貢献することが期待できる。

オペレータ７は、表示された３次元モデルに基づき製品の特徴をすばやく且つ正確に理解することが可能になる。特に経験の浅いオペレータの場合は問い合せに要する応対時間が長くなりがちであったが、本発明によれば顧客に伝えたい内容を的確に伝達することが可能となる。その結果、顧客からの苦情も少なくなり、オペレータの受ける心理的負担も少なくなり、従業員満足度についても向上する。

本発明はヘッドマウントディスプレイなどの装着型情報処理端末６を用いることで、オペレータ７はジェスチャという直感的な操作や音声による指示で製品の構造や動作を把握することが可能である。したがって、オペレータ７のＰＣスキルが低い場合であっても、画像及び音声による直感的なガイダンスで理解が容易になり、的確な応対が可能である。応対スキルや製品に熟知するオペレータでないとコールセンター業務が行えないということに必ずしもならず、オペレータの雇用の拡大を図ることに貢献できる。

また、３次元モデル１３を利用しながらコールセンター業務を行えるということは、実物の製品が手に取れる態様に制約されないことを意味しており、各オペレータが所定の場所（即ち、カスタマーサポートセンター）に集約する必然性がなくなる。各オペレータ７は、カスタマーサポートセンター以外の場所（例えば、自宅など）で、３次元の製品モデルを参照しながら顧客に対してコールセンター業務を行うこともできるのである。

さらに、在宅オペレータのような、いわゆる管理者の直接的な監視下に居ない状況であっても、虹彩などの生体情報を用いた本人認証を実行することで、登録されたオペレータ自身でなければ、製品に関係する情報及びコールセンター業務に関する情報に権限なくアクセスすることを防止できるし、表示された情報をオペレータ以外の第三者に覗き込まれることもあり得ない。これにより、万全のセキュリティ体制でコールセンター業務を完遂することが可能である。

１ ３Dモデルモジュール
２ 動画編集モジュール
３ クライアント用アプリモジュール
４ 応対履歴管理モジュール
５ クラウドサーバ
６ 装着型情報処理端末（ＨＭＤ）
７ オペレータ
１００ カスタマーサポート支援装置

Claims (9)

1. カスタマーサポートの対象に含まれる製品の三次元形状データを作成する手段と、
   前記三次元形状データを基に、前記製品を構成する各部品の構造又は組立を示す動画を作成する手段と、
   前記動画をユーザの装着型情報処理端末に表示する手段と、
   前記動画に対する前記ユーザの指示を受信し、前記ユーザの指示に従い前記動画の表示を制御する手段と、
   を備えたカスタマーサポート支援装置。
2. 前記装着型情報処理端末に表示される前記動画は、仮想現実（Virtual Reality）、拡張現実（Augmented Reality）、複合現実（Mixed Reality）を含むデジタル描画技術に基づき作成される、請求項１に記載のカスタマーサポート支援装置。
3. 前記ユーザの指示に従い、前記三次元形状データの表示を変更する手段を更に含み、
   変更後の前記三次元形状データの表示を基に前記動画を変化させる、請求項１又は２に記載のカスタマーサポート支援装置。
4. 前記装着型情報処理端末を装着する前記ユーザの生体情報を認識し、前記ユーザが登録済みの本人であることの認証確認ができた場合にのみ、前記装着型情報処理端末上での表示が許可されるよう制御されている、請求項１〜３の何れか１項に記載のカスタマーサポート支援装置。
5. 前記ユーザの指示は、音声、ジェスチャ動作、読唇、手話、表情変化を含む、請求項１〜４の何れか１項に記載のカスタマーサポート支援装置。
6. 前記動画は、カスタマーサポートへの問合わせ内容に応じた解決策を提示する内容である、請求項１〜５の何れか１項に記載のカスタマーサポート支援装置。
7. 仮想現実（Virtual Reality）、拡張現実（Augmented Reality）、複合現実（Mixed Reality）を含むデジタル描画に基づき、カスタマーサポート支援のためのデータを表示する装着型情報処理端末であって、
   カスタマーサポートの対象に含まれる製品の三次元形状データを基に作成された前記製品を構成する各部品の構造又は組立を示す動画を前記装着型情報処理端末の表示ディスプレイに表示する手段と、
   前記装着型情報処理端末を装着したユーザからの指示に応答して前記三次元形状データの表示が変更されると、前記動画を含む表示内容を前記表示ディスプレイ上で変化又は切替える手段と、
   を備えた装着型情報処理端末。
8. 前記装着型情報処理端末のユーザの生体情報に基づき認証確認がされた場合にのみ、前記表示ディスプレイ上での表示が許可される、請求項７に記載の装着型情報処理端末。
9. カスタマーサポートへの問合わせに対する応対スクリプトが前記表示ディスプレイ上に表示される、請求項７又は８の何れか１項に記載の装着型情報処理端末。

Images