JP2022130967A - 遠隔対話システム、遠隔対話方法及び遠隔対話プログラム - Google Patents

Abstract

【課題】ＷＥＢ会議等の遠隔対話時における参加者の同一性確認を簡易に行う技術を実現することを目的とする。【解決手段】管理サーバ２は、参加端末１から出力された参加情報を入力するための情報入力部１３と、参加情報に応じて個々の参加者の映像を生成する参加者映像生成部１４と、遠隔対話の舞台として設定した仮想対話空間中に参加者映像及び発言内容を表示した対話映像を生成する対話映像生成部１５と、各参加者の過去の挙動情報について記録する挙動情報データベース１６と、過去の挙動情報と現時点の挙動とを比較する挙動情報比較部１９と、挙動情報比較部１９における比較結果に基づき、参加者の同一性について判定を行う同一性判定部２０と、同一性判定部２０の判定結果に基づき必要に応じて警告情報を生成する警告情報生成部２１と、対話映像及び警告情報を出力する情報出力部２２とを備える。【選択図】図１

Description

本発明は、同一場所にいない参加者間における遠隔対話を行う技術に関するものである。

近年、営利企業等における経営会議や大学等の教育機関における講義等の多人数間における双方向コミュニケーションについて、参加者を単一の会場に集めて開催するのではなく、別個の場所にいる参加者同士をネットワークで接続した上で、あたかも同一会場に参加者がいるかのような態様で遠隔的に会議等を行う技術が提案されている。

例えば特許文献１は、実際の参加者と情報処理装置にて作成した架空のキャラクターとを仮想空間上に形成したＷｅｂ会議室に入出させた上で遠隔会議を開催する技術を開示する。単に参加者同士を通信的に接続する場合と異なり、会議としての現実感を向上させ、参加者が抱く違和感を低減させている。

また、特許文献２は、遠隔会議の参加者の映像を適切に表示するために、画面上における画像分割及び参加者の映像に関する歪補正を行う技術を開示する。会議、講義等では発言者の発言内容のみならず発言時の身振り手振りといった非言語的コミュニケーション態様も重要な情報であり、また、聴き手における非言語的な反応も重要な情報となる。特許文献２は参加者の映像を適切に表示することにより、遠隔会議においても同一会場における会議等と同様に、発言内容等の言語的情報のみならず非言語的情報についても参加者間にて共有できる技術を開示している。

特開２０２０－１９４３４３号公報 特開２０２０－１６０５３８号公報

しかしながら、特許文献１、２は、遠隔会議等に参加している者が、真に参加資格を有する特定人物であるか否かを判定することが困難である。遠隔会議においては、例えば、営利企業の経営会議において役員の身分を仮装した産業スパイが潜入する場合や、大学の講義にいわゆる「代返」目的で受講生以外の者が受講生を装って参加する場合が考えられるところ、特許文献１、２の技術ではこれらの不正を適正に排除することが困難である。

そして、昨今の技術発展に鑑みると、顔や全身を映した映像や発話される音声に関する情報のみでは、「参加者」とされる者が真の参加者であるか、それとも参加者を装った第三者であるかを判別できなくなりつつある。例えば、ディープフェイクと称される深層学習を用いた人物画像合成技術や音声合成技術を使用することで、特定の人物の動画映像を作出することが技術的に可能である。このような技術を悪用された場合は、遠隔会議の画面上に表示された参加者の映像や音声によっては、「参加者」とされる者が真の参加者であるか否かを判別することは非常に困難である。

また、ＩＤ及びパスワード入力による識別も、ハッキング等により情報漏洩が生じた場合はもとより、講義における「代返」のケースのように正規の参加資格を有する者と第三者が結託した場合には、残念ながら役に立たない。
本発明は上記の課題に鑑みてなされたものであって、ＷＥＢ会議等の遠隔対話時における参加者の同一性確認を簡易に行う技術を実現することを目的とする。

上記目的を達成するため、請求項１にかかる遠隔対話システムは、異なる場所に位置する複数の参加者間の対話を実現する遠隔対話システムであって、参加者の過去の挙動に関する情報に基づき１以上の特徴的挙動を検出し、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である基準挙動情報を生成する基準挙動情報生成手段と、現対話時における参加者の前記１以上の特徴的挙動について、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である現在挙動情報を生成する現在挙動情報生成手段と、前記基準挙動情報と前記現在挙動情報とを比較する挙動情報比較手段と、記挙動情報比較手段の比較結果に基づき参加者の同一性について判定する同一性判定手段と、前記同一性判定手段において判断対象となった参加者以外の１以上の参加者に対し、前記同一性判定手段による判定結果を出力する出力手段とを備えたことを特徴とする。

また、上記目的を達成するため、請求項２にかかる遠隔対話システムは、上記の発明において、前記基準挙動情報生成手段は、前記基準挙動情報として発現頻度に関する数値情報である基準発現頻度と継続時間に関する数値情報である基準継続時間が含まれる情報を生成し、前記現在挙動情報生成手段は、前記現在挙動情報として発現頻度に関する数値情報である現在発現頻度と継続時間に関する数値情報である現在継続時間が含まれる情報を生成し、前記挙動情報比較手段は、同一の特徴的挙動に関する基準発現頻度と現在発現頻度の差分値の絶対値を基準発現頻度にて除算した値及び同一の特徴的挙動に関する基準継続時間と現在継続時間の差分値の絶対値を基準継続時間にて除算した値を比較結果として導出し、前記同一性判定手段は、前記比較結果の総和が第１の閾値未満の場合に同一性ありと判定し、前記第1の閾値以上第２の閾値未満の場合に同一性の可能性ありと判定し、前記第２の閾値以上の場合に同一性なしと判定することを特徴とする。

また、上記目的を達成するため、請求項３にかかる遠隔対話システムは、上記の発明において、遠隔対話に参加する複数の参加者の映像である対話映像を特定の参加者に対し表示する表示手段と、前記特定の参加者の映像を撮影する撮影手段と、前記表示手段と前記撮影手段及び前記特定の参加者間の位置関係に基づき、前記撮影手段による撮影時に前記特定の参加者が前記複数の参加者のうちどの参加者に視線を向けているかの情報を含む注目対象情報を生成する注目対象情報生成手段と、前記表示手段に表示する前記特定の参加者の映像として、前記注目対象情報にて示される参加者に視線を向けた態様となるよう前記対話映像を生成する対話映像生成手段とをさらに備えたことを特徴とする。

また、上記目的を達成するため、請求項４にかかる遠隔対話方法は、異なる場所に位置する複数の参加者間の対話を実現する遠隔対話方法であって、参加者の過去の挙動に関する情報に基づき１以上の特徴的挙動を検出し、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である基準挙動情報を生成する基準挙動情報生成ステップと、現対話時における参加者の前記１以上の特徴的挙動について、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である現在挙動情報を生成する現在挙動情報生成ステップと、前記基準挙動情報と前記現在挙動情報とを比較する挙動情報比較ステップと、前記挙動情報比較ステップの比較結果に基づき参加者の同一性について判定する同一性判定ステップと、前記同一性判定ステップにおいて判断対象となった参加者以外の１以上の参加者に対し、前記同一性判定ステップによる判定結果を出力する出力ステップとを含むことを特徴とする。

また、上記目的を達成するため、請求項５にかかる遠隔対話方法は、上記の発明において、遠隔対話に参加する複数の参加者の映像である対話映像を特定の参加者に対し表示する表示ステップと、前記特定の参加者の映像を撮影する撮影ステップと、前記表示ステップにおける表示場所と前記撮影ステップにおける撮影地点及び前記特定の参加者間の位置関係に基づき、前記撮影ステップにおける撮影時に前記特定の参加者が前記複数の参加者のうちどの参加者に視線を向けているかの情報を含む注目対象情報を生成する注目対象情報生成ステップと、前記表示ステップにて表示する前記特定の参加者の映像として、前記注目対象情報にて示される参加者に視線を向けた態様となるよう前記対話映像を生成する対話映像生成ステップとをさらに含むことを特徴とする。

また、上記目的を達成するため、請求項６にかかる遠隔対話プログラムは、異なる場所に位置する複数の参加者間の対話をコンピュータに実現させる遠隔対話プログラムであって、参加者の過去の挙動に関する情報に基づき１以上の特徴的挙動を検出し、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である基準挙動情報を生成する基準挙動情報生成機能と、現対話時における参加者の前記１以上の特徴的挙動について、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である現在挙動情報を生成する現在挙動情報生成機能と、前記基準挙動情報と前記現在挙動情報とを比較する挙動情報比較機能と、前記挙動情報比較機能の比較結果に基づき参加者の同一性について判定する同一性判定機能と、前記同一性判定機能において判断対象となった参加者以外の１以上の参加者に対し、前記同一性判定機能による判定結果を出力する出力機能とを実現させることを特徴とする。

本発明によれば、ＷＥＢ会議等の遠隔対話時における参加者の同一性確認を簡易に行えるという効果を奏する。

実施の形態１にかかる遠隔対話システムの構成を示す模式図である。 実施の形態１にかかる遠隔対話システムの動作を説明するためのフローチャートである。 実施の形態２にかかる遠隔対話システムの構成を示す模式図である。 実施の形態２にかかる遠隔対話システムの動作を説明するためのフローチャートである。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。以下の実施の形態は、本発明の実施の形態として最も適切と考えられる例について記載するものであり、当然のことながら、本発明の内容を本実施の形態にて示された具体例に限定して解すべきではない。同様の作用・効果を奏する構成であれば、実施の形態にて示す具体的構成以外のものであっても、本発明の技術的範囲に含まれることは勿論である。
（実施の形態１）

まず、実施の形態１にかかる遠隔対話システムについて説明する。図１に示すとおり、本実施の形態１にかかる遠隔対話システムは、参加者の発話内容及び挙動内容に関する情報を含む参加情報を生成・出力すると共に、参加者間の対話映像を表示するための参加端末１と、参加端末１から出力された参加情報に基づき対話映像を生成して参加端末１に向けて出力すると共に、参加端末１から出力された参加情報に含まれる参加者の挙動情報に基づき、参加情報の主体が予め登録されている参加者と同一人物であるか否かを判定する管理サーバ２と、参加端末１と管理サーバ２の間を接続する情報通信網３とを備える。

参加端末１は、遠隔対話の参加者に対応して配置され、本実施の形態１においては、原則として参加者の人数分の個数からなる参加端末１が使用されるものとする。参加端末１は、参加者の映像を撮影する撮影部４と、参加者の発言内容を記録する発言記録部５と、撮影部４にて撮影された映像から挙動情報を生成する挙動情報生成部６と、挙動情報及び音声記録部５にて記録された発言データを含む参加情報を生成する参加情報生成部７と、管理サーバ２に対し参加情報を出力する情報出力部８と、管理サーバ２から送信された対話映像を入力する情報入力部９と、入力された対話映像を表示する表示部１０とを備える。

撮影部４は、遠隔対話の開催時における参加者の映像を取得するためのものである。本実施の形態１における撮影部４の具体的な構成としては、参加者の全身について３次元的な立体映像を取得できる３Ｄスキャナとする。

発言記録部５は、参加者の発言内容を記録するためのものである。具体的には、発言記録部５は、音声入力を行うためのマイク機能と、入力された音声を文字情報に変換する音声認識機能とを備えるものとする。もっとも、発言記録部５の構成をこれに限定する必要はなく、例えば、最も簡易な構成としては、マイク機能を介して入力された音声データをそのまま管理サーバ２に向けて出力することとしてもよいし、マイク機能の代わりにキーボード、ポインティングデバイス等の入力機構を備え、発言内容として文字情報を直接入力する構成としてもよい。

挙動情報生成部６は、撮影部４にて取得された参加者の映像に基づき、参加者の挙動情報を生成するためのものである。具体的には、挙動情報生成部６は、参加者の映像における所定の特徴点の時間経過に伴う位置変動に関する情報を生成する機能を有する。

特徴点とは、撮影対象における外表面上の特徴箇所及び骨格構造上の特徴箇所を意味し、例えば外表面に対応した特徴点としては、例えば、目、鼻、口等の各部位における特定箇所（目尻、瞳、鼻頭、口角等）をいい、骨格構造に対応した特徴点としては、首、肩、肘、手首、指先、腰、膝、足首等の関節等をいう。挙動情報生成部６は、撮影部４にて取得された映像から抽出した参加者の特徴点の意味内容（特徴点Ａは右目の目尻に相当する点である、等）及び時間経過に伴う位置変化を導出し、これらを含む情報である挙動情報を生成する機能を有する。

参加情報生成部７は、参加端末１を利用して遠隔対話に参加する参加者に関する情報を生成するためのものである。具体的には、参加情報生成部７は、発言記録部５にて記録された発言情報と、挙動情報生成部６にて生成された挙動情報とを含む情報である参加情報を生成する機能を有する。なお、発言情報と挙動情報については、互いに別個独立な情報として参加情報を生成する扱いとしてもよいが、より現実感のある対話映像生成及び正確な挙動判定に役立てる観点からは、発言情報と挙動情報とを時間的に同調させた形式とすることが望ましい。

情報出力部８は、参加情報生成部７によって生成された参加情報を、管理サーバ２に対して出力するためのものである。情報出力部８の具体的構成は、情報通信網３の形態や接続プロトコルに応じて異なるものの、有線接続・無線接続のいずれでもよく、無線接続の場合でも無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等いかなる形式でも採用することが可能である。

情報入力部９は、管理サーバ２によって生成された対話映像を入力するためのものである。情報入力部９の具体的構成は、情報通信網３の形態や接続プロトコルに応じて異なるものの、有線接続・無線接続のいずれでもよく、無線接続の場合でも無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等いかなる形式でも採用することが可能である。

表示部１０は、管理サーバ２から入力された対話映像を表示するためのものである。参加者は、自らの発言内容や挙動について出力する一方で、各参加者の発言内容や挙動に基づき生成された対話映像が表示されたものを閲覧することにより、遠隔対話における議論等に参加することが可能となる。

次に、管理サーバ２について説明する。管理サーバ２は、参加端末１から出力された参加情報を入力するための情報入力部１３と、入力された参加情報に応じて個々の参加者の映像を生成する参加者映像生成部１４と、遠隔対話の舞台として設定した仮想対話空間中に参加者映像及び発言内容を表示した対話映像を生成する対話映像生成部１５と、各参加者の過去の挙動情報について記録する挙動情報データベース１６と、過去の挙動情報と現時点の挙動とを比較する挙動情報比較部１９と、挙動情報比較部１９における比較結果に基づき、参加者の同一性について判定を行う同一性判定部２０と、同一性判定部２０の判定結果に基づき必要に応じて警告情報を生成する警告情報生成部２１と、対話映像及び警告情報を出力する情報出力部２２とを備える。

情報入力部１３は、参加端末１によって生成された参加情報を入力するためのものである。情報入力部１３の具体的構成は、情報通信網３の形態や接続プロトコルに応じて異なるものの、有線接続・無線接続のいずれでもよく、無線接続の場合でも無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等いかなる形式でも採用することが可能である。

参加者映像生成部１４は、情報入力部１３を介して入力された参加情報と、事前に設定された参加者ごとのキャラクター映像情報に基づき、仮想対話空間中に表示する参加者映像を生成するためのものである。キャラクター映像情報とは、参加者を表現するキャラクターの外観等に関する情報であって、参加者として表現されるキャラクターの外表面に表れる姿形（スキン等）、内部的な骨格構造（ボーン・ジョイント等）及び姿形と骨格構造の関係を規定する情報（ウェイト等）を含む３次元コンピュータグラフィックスの形式にて構成される。また、キャラクター映像情報には、挙動情報生成部６での処理に用いられる特徴点に関する情報も記録されている。

すなわち、キャラクター映像情報中には、参加者のキャラクターにおける目、鼻、口等の外表面における特定箇所（目尻、瞳、鼻頭、口角等）や首、肩、肘、手首、指先、腰、膝、足首等の関節等の骨格構造における特定箇所に対応した位置を特徴点として記録されている。なお、参加者のキャラクターの具体的態様としては、本人を模した３次元コンピュータグラフィックとしてもよいし、本人とは全く異なる人物、さらには動物、アニメーションに登場するキャラクター等であってもよいが、好ましくは、挙動情報生成部６にて使用されるものと対応関係にある特徴点に関する情報を含むこととする。

このような構成を有するキャラクター映像情報を利用することによって、参加者映像生成部１４は、参加端末１から入力された挙動情報に含まれる特徴点の位置変化態様をキャラクター映像情報における特徴点に適用して動作させることで、撮影部４にて撮影された参加者の挙動と同様の挙動をキャラクター映像に演じさせる機能を有する。

また、参加者映像生成部１４は、参加端末１から入力された発言情報に基づき、参加者の発言内容を参加者映像に同調させる。同調させる発言内容のデータ形式としては、音声データとしてもよいし、文字データとしてもよい。音声データとする場合は、参加者本人の音声的特徴を付加したデータとしてもよいし、参加者本人の音声とは全く異なる別個の音声としてもよい。

対話映像生成部１５は、各参加者が実際に同一空間に集合して対話を行っているかのような仮想映像からなる対話映像を生成するためのものである。具体的には、対話映像生成部１５は、予め用意した仮想対話空間中に参加者映像生成部１４にて生成された参加者映像を配置することにより、あたかも各参加者が仮想対話空間中にて直接会って議論を行っているかのような対話映像を生成する機能を有する。なお、対話映像の内容については、各参加者が保有する参加端末１に対し全て同じ映像としてもよいし、参加端末１ごとに異なる映像としてもよい。基本映像については同一としつつも、参加端末１における操作によって表示アングルを変化させたり、参加者（正確には仮想対話空間中に配置された参加者のキャラクター映像）自身の視野に合わせた表示アングルの映像に切り替えられる態様としてもよい。逆に、仮想対話空間をシンプルなものとして単に参加者映像を並べて表示する態様としてもよい。

挙動情報データベース１６は、参加者の過去の挙動について記録するためのものである。挙動情報データベース１６は、過去の挙動として参加者が過去に対話に参加した際における挙動映像をそのまま記録してもよいし、挙動映像に基づき特徴点の位置変動態様について記録することとしてもよい。
基準挙動情報生成部１７は、挙動情報データベース１６に記録された参加者の過去の挙動に関する情報から、基準挙動情報を生成するためのものである。具体的には、基準挙動情報生成部１７は、過去の挙動に関する情報に基づき、参加者の特徴的な挙動（特徴点の位置変化を類型化することによって特定する。）である特徴的挙動を１以上検出し、検出した特徴的挙動のそれぞれについて、特徴的挙動の態様（対応する特徴点の位置変動態様）に加え、基準発現頻度及び基準継続時間を含む基準挙動情報を生成する機能を有する。

特徴的挙動としては、例えば、左腕において人差し指を立てて指先を鼻頭に接触させる挙動（左腕人差し指、左手首、左肘等に対応した特徴点の位置変化によってかかる挙動の有無を特定できる。）や、机の上に両肘を置き、顔の前で両掌を合わせる挙動（両腕の肘、掌の各部分等に対応した特徴点の位置変化によって特定できる。）、さらには両目を強く閉じると共に左右の口角が上がるなどの表情変化（顔の各部分に対応した特徴点の位置変化によって特定できる。）等、特徴点の位置変化によって特定できるものであれば、あらゆる挙動を含む。なお、同一性判定の正確性を向上させる観点からは、記憶する特徴的挙動の種類は参加者ごとに複数あることが望ましく、他方で、「特徴的挙動」といっても他の参加者には見られない独自の挙動である必要はない。同じような挙動であっても発現頻度、継続時間等に差が生じるのが通常であり、複数の特徴的挙動に基づき同一性判定を行う場合において、あらゆる挙動が一致するケースが稀であるためであるため、独自の挙動でなくても高精度の同一性判定が可能なためである。

基準発現頻度及び基準継続時間については、挙動情報データベース１６は、過去の対話における発現頻度及び継続時間の単純平均値としてもよいが、現在に近い時点に開催された対話における値ほど重要度が高いものとした加重平均（重み付き平均）とすることが好ましい。

現在挙動情報生成部１８は、現に参加端末１から入力されてくる現時点の挙動情報に基づき、現在挙動情報を生成するためのものである。具体的には、現在挙動情報生成部１８は、現時点の挙動情報から、基準挙動情報生成部１７におけるものと同じ特徴的挙動の有無を検出し、検出した特徴的挙動のそれぞれについて、特徴的挙動の態様（対応する特徴点の位置変動態様）に加え、発現頻度及び継続時間に関する情報である現在挙動情報を生成する機能を有する。本実施の形態１においては、現在挙動情報には発現頻度に関する数値情報である現在発現頻度と、継続時間に関する数値情報である現在継続時間とが含まれることとする。

なお、現時点における特徴的挙動の発現の有無を判断するにあたって、現在挙動情報生成部１８は、当該特徴的挙動に対応する特徴点群の位置変化が、基準挙動情報生成部が検出したものと完全に一致した場合のみならず、対応する特徴点群のそれぞれにおける位置変化の差分値の合計が所定の閾値未満となる場合についても、特徴的挙動が発現したものと判断する。すなわち、多少の位置変化、例えば顔の前で両掌を合わせる挙動において両掌の高さが過去のものと多少異なっていたとしても、同一の特徴的挙動が発現したものと判定する。

挙動情報比較部１９は、基準挙動情報と現在挙動情報とを比較するためのものである。具体的には、挙動情報比較部１９は、まず、個々の特徴的挙動に関する出現頻度及び継続時間について、基準出現頻度と現在出現頻度の差分値の絶対値を基準出現頻度で除算した値を算出し、また、基準継続時間と現在継続時間の差分値の絶対値を基準継続時間で除算した値を算出する。そして、算出した値について全ての特徴的挙動に関して加算する（より好ましくは、個々の値について重要度に応じた係数を乗算した上で加算する。）。かかる加算結果を比較結果として、同一性判定部２０に対し出力する。

同一性判定部２０は、挙動情報比較部１９によって得られた加算結果に応じて、参加者の同一性（事前に登録された「参加者」と、現に参加している者が同一であるか否か）に関する判定を行うためのものである。本実施の形態１においては、加算結果が第１の閾値未満の値となった場合に「同一性あり」と判定し、第１の閾値以上、第２の閾値未満の値となった場合に「同一でない可能性あり」と判定し、第２の閾値以上の値となった場合に「同一性なし」と判定することとする。

警告情報生成部２１は、同一性判定部２０による判定結果に応じて、参加者の同一性に関する警告情報を生成するためのものである。具体的には、同一性判定部２０にて「同一性あり」と判定された場合は警告情報を生成せず、「同一でない可能性あり」と判定した場合は、判定対象となった参加者以外の参加者宛に「同一性について確認を推奨する。」旨の内容からなる警告情報を生成する。また、警告情報生成部２１は、同一性判定部２０にて「同一性なし」と判定された場合は、遠隔対話の運営責任者宛に「当該参加者との接続解除を推奨する。」旨の内容からなる警告情報を生成する。

情報出力部２２は、対話映像生成部１５によって生成された対話映像と、警告情報生成部２１によって生成された警告情報を、参加端末１に向けて出力するためのものである。警告情報に関しては、情報内に宛先に関する情報も規定されていることから、宛先として指定されている参加端末１に対してのみ出力する構成とする。また、情報出力部２２の具体的構成は、情報通信網３の形態や接続プロトコルに応じて異なるものの、有線接続・無線接続のいずれでもよく、無線接続の場合でも無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等いかなる形式でも採用することが可能である。

次に、本実施の形態１にかかる遠隔対話システムにおける、特定の参加者に関する警告情報生成処理について図２を参照しつつ説明する。まず、基準挙動情報生成部１７にて、過去の挙動情報から特定の特徴的挙動の有無を検出して、当該特徴的挙動の発現頻度である基準発現頻度と、発現時の継続時間である基準継続時間とを算出する（ステップＳ１０１）。そして、現在挙動情報生成部１８において、ステップＳ１０１と同じ特徴的挙動について、現在開催されている対話における発現頻度及び継続時間である現在発現頻度と現在継続時間を算出する（ステップＳ１０２）。具体的には、参加端末１から入力された挙動情報を分析し、参加者の特徴点の位置変化が基準挙動情報生成部１７にて検出された特定の特徴的挙動と同様の変化をしている場合に、同一の特徴的挙動が発現したものと判断し、発現頻度及び発現時における継続時間を算出する。

その後、挙動情報比較部１９において、基準発現頻度と現在発現頻度の差分値の絶対値を算出し、算出結果を基準出現頻度にて除算する（ステップＳ１０３）。そして、同様に挙動情報比較部１９において、基準継続時間と現在継続時間の差分値の絶対値を算出し、算出結果を基準継続時間にて除算する（ステップＳ１０４）。すべての特徴的挙動についての処理が終わっていなければ（ステップＳ１０５、Ｎｏ）、再びステップＳ１０２に戻り他の特徴的挙動について同様の処理を行う。すべての特徴的挙動についての処理が終わっていれば（ステップＳ１０５、Ｙｅｓ）、算出値を加算し、加算結果を出力する（ステップＳ１０６）。

その後、同一性判定部２０による同一性判定処理が行われる。まず、同一性判定部２０は、ステップＳ１０６で得られた加算結果が、第１の閾値未満であるか否かの判定を行う（ステップＳ１０７）。加算結果が第１の閾値未満である場合（ステップＳ１０７、Ｙｅｓ）は、特徴的挙動が過去のものと同程度の頻度・継続時間にて出現したとして参加者の同一性が肯定され、特に警告情報が生成されることなく処理を終了する。

ステップＳ１０６で得られた加算結果が第１の閾値以上であった場合（ステップＳ１０７、Ｎｏ）は、さらに加算結果が第１の閾値以上の値である第２の閾値未満であるか否かの判定を行う（ステップＳ１０８）。加算結果が第２の閾値未満であった場合（ステップＳ１０８、Ｙｅｓ）は、警告情報生成部２１に対しその旨の情報が出力され、警告情報生成部２１は、判定対象となっている特定の参加者以外の参加者に向けて、「同一性について確認を推奨する。」との内容の警告情報を生成する（ステップＳ１０９）。

また、加算結果が第２の閾値以上であった場合（ステップＳ１０８、Ｎｏ）は、警告情報生成部２１に対しその旨の情報が出力され、警告情報生成部２１は、遠隔対話の運営責任者に向けて「同一でない可能性が高く、接続を遮断することを推奨する。」との内容の警告情報を生成する（ステップＳ１１０）。ステップＳ１０９、Ｓ１１０にて生成された警告情報は、情報出力部２２を通じて名宛人に対し出力され、すべての処理が終了する。

次に、本実施の形態１にかかる遠隔対話システムの利点について説明する。まず、本実施の形態１にかかる遠隔対話システムでは、参加者の同一性を確認する際に挙動情報を使用することとし、これにより確度の高い同一性確認を可能としている。

ふとした瞬間に右手を額にあてる、発言時に左手の人差し指を立てて左右に振るなど、人間は活動時に一見無意味な挙動を行うことが多く、かつ、このような挙動の態様、頻度及び継続時間のすべてが他の人物と完全に一致することは通常ありえない。そのため、対話に参加予定の者について予め挙動情報を記録し（例えば、複数回開催される対話であれば、開始直後の対話時における挙動情報を記録する。）、現時点における挙動と比較することで、現時点で特定の参加者と称して参加している者が、本当に当該参加者であるか否かの判定を行うことができるという利点を有する。

遠隔地から利用されるサービスにおける本人確認の手法としては、今までもＩＤとパスワード入力や、顔画像や音声データを用いた手法が用いられている。しかしながら、ＩＤ・パスワード入力については、ハッキング等による情報漏洩や、参加者本人が第三者と通じていてＩＤ等を提供していた場合には、本人確認手段として機能しない。また、顔画像についても、現在の技術では偽造が容易であり、例えば１枚の２次元画像について３次元形状の推定処理を行うと共に、特徴点抽出を行うことによって発言内容に合わせた表情変化を施した動画を作成することが可能である。このような場合に、従前の顔認識技術等による本人確認手続は意味をなさない。音声データについても同様である。現在の技術では、２０秒ほどキーワードについて発声するのみで、あたかもその人物が発言したかのような音声データを作成することが可能である。音声認識技術によっても、十分な本人確認が困難であるのが実情である。

これに対し本実施の形態１では、挙動情報を利用することで参加者の同一性確認を行っているところ、具体的な挙動態様、発現頻度及び継続時間からなる挙動情報を第三者が事前に取得することは困難である（他方で顔画像の合成は写真１枚あれば可能であるし、音声データの合成は２０秒程度の音声情報があれば可能である。）。また、仮に挙動情報を取得できたとしても、特定挙動を挙動情報の内容どおりの頻度及び継続時間にてリアルタイムで展開される会話中に盛り込むことは技術的にも容易ではない。したがって、参加者を装って対話に参加した第三者においても、挙動情報について偽装することはほぼ不可能であり、よって、本実施の形態１にかかる遠隔対話システムでは、効率的かつ正確に、参加者の同一性判定を行えるという利点を有することとなる。

また、本実施の形態１にかかる遠隔対話システムは、複数の特徴的挙動について挙動情報を生成し、同一性判定の資料として使用することによって、さらに高精度な同一性判定を行えるという利点を有する。すなわち、単一の特徴的挙動であった場合、特徴的挙動が典型的な挙動である等の事情によっては、偶然にも発現頻度及び継続時間の違いが僅かとなり、実際には異なる人物であったにもかかわらず、同一性があるものと誤って判定するリスクが皆無ではない。本実施の形態１では複数の特徴的挙動について挙動情報を生成して使用することとしているため、このような誤判定が生じる可能性を抑制し、さらに高精度な同一性判定を実現できるという利点がある。

さらに、本実施の形態１にかかる遠隔対話システムは、同一性あり、なしという２通りの判定に加え、同一性に疑いがあるとの判定も行い、当該判定時には対象参加者以外の参加者に対し「同一性について確認を推奨する。」との警告情報を通知する構成を採用している。例えば機密情報を取り扱う経営会議の場合には、同一性がないと断定できない場合であっても、念のため機密情報の開示を控える等の対応が望ましい。本実施の形態１では、疑い事例についても警告情報を発する扱いとすることで、各参加者に情報保持等に関する警告を与えることができるという利点が生ずる。また、各参加者においては、このような警告情報を受領することで、同一性が疑われる「参加者」に対し、参加者本人しか知りえない事実を持ち出して「参加者」の反応を確かめるなど、臨機応変な手法による本人確認が可能となる。

さらに運用面の利点として、本実施の形態１にかかる遠隔対話システムは、個人情報を使用することなく参加者の同一性確認が可能であるという利点を有する。すなわち、ＩＤ，パスワードや顔、声といった情報は個人情報として保護されるもの又は個人情報には該当しないもののプライバシーの観点から慎重な取り扱いを求められるものであり管理が煩雑である。これに対し、挙動情報は参加者の「挙動」に関する情報に過ぎず、プライバシー保護の対象とならないものであるため、通常の情報管理体制にて管理できる点で、運用面での利点が生じる。
（実施の形態２）

次に、実施の形態２にかかる遠隔対話システムについて説明する。実施の形態２において、実施の形態１と同一名称かつ同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態１における構成要素と同一の機能を発揮するものとする。

図３に示すとおり、実施の形態２にかかる遠隔対話システムは、実施の形態１における構成要素に加え、参加者が注目する対象に関する注目対象情報を生成する注目対象情報生成部２４を新たに備えた参加端末２３と、同じく実施の形態１における構成要素に加え、参加者の挙動を強調表示する参加者映像生成部２６及び注目対象情報に整合した対話映像を生成する対話映像生成部２７を新たに備えた管理サーバ２５とを備える。

注目対象情報生成部２４は、対話に参加している参加者が、他の参加者のうちどの者に注目しているかを示す注目対象情報を生成するためのものである。具体的には、注目対象情報生成部２４は、表示部１０における各表示、撮影部４及び撮影される参加者の間の相対的な位置関係を予め把握して、撮影部４にて撮影された映像から、参加者が表示部１０上に表示されている他の参加者のうちどの対象者に視線を向けているかを示す視線方向情報と、参加者の両腕のそれぞれがどの対象者に向けられているかを示す腕方向情報を含む注目対象情報を生成する。注目対象情報生成部２４によって生成された注目対象情報は、情報出力部８を介して管理サーバ２５に向けて出力される。

参加者映像生成部２６は、実施の形態１における参加者映像生成部１４と同様に、原則的には参加端末２３から出力された挙動情報に基づき、挙動情報に含まれる特徴点の位置変化態様をキャラクター映像情報における特徴点に適用して参加者映像を生成する機能を有する。その上で、参加者映像生成部２６は、両腕及び顔に対応した特徴点に関しては、挙動情報に示される単位時間当たりの位置変動量を所定の割合（例えば１０％）増幅した場合に対応した位置情報に変換した上で、キャラクター映像情報中の特徴点に適用する機能を有する。

対話映像生成部２７は、実施の形態１における対話映像生成部１５と同様に、予め用意した仮想対話空間中に参加者映像を配置した対話映像を生成する機能を有する。その上で、対話映像生成部２７は、参加端末１から出力された注目対象情報に整合するように、参加者映像における視線の向きと両腕の向きを変化させた上で、対話映像を生成する機能を有する。具体的には、対話映像生成部２７は、対話映像中における参加者映像の視線方向について、注目対象情報に含まれる視線方向情報にて特定された対象者の位置に向けた方向となるよう、参加者映像全体を（例えば、背骨に対応したボーンを回転軸として）回転させる機能を有する。また、対話映像生成部２７は、参加者映像の両腕の方向について、注目対象情報に含まれる腕方向情報にて特定される対象者の位置に向けた方向となるよう、両腕の位置を変化させる機能を有する。

次に、本実施の形態２にかかる遠隔対話システムについて、図４を参照しつつ管理サーバ２５による対話映像の生成処理について説明する。まず、参加者映像生成部２６において、顔及び両腕に対応した特徴点について挙動情報から導出される単位時間当たりの位置変動量に１より大きい値からなる所定の係数を乗算し、当該乗算結果として得られる位置変動量に対応した位置となるよう各特徴点の位置を算出する（ステップＳ２０１）。そして、参加者映像生成部２６は、ステップＳ２０１にて定めた位置となるよう、キャラクター映像情報中の特徴点の位置を変化させることにより、参加者映像を生成する（ステップＳ２０２）。

その後、対話映像生成部２７は、生成された参加者映像を、予め用意した仮想対話空間中に配置する（ステップＳ２０３）。すべての参加者についてステップＳ２０１～Ｓ２０３の処理が完了した場合（ステップＳ２０４、Ｙｅｓ）は、ステップＳ２０５に移行する。

そして、対話映像生成部２７は、配置した参加者映像の視線方向が注目対象情報生成部２４によって生成された視線方向情報と一致するか否かを判定し（ステップＳ２０５）、一致する場合（ステップＳ２０５、Ｙｅｓ）はステップＳ２０７に移行し、一致しない場合（ステップＳ２０５、Ｎｏ）は、参加者映像の背骨に対応するボーンを軸として参加者映像の視線方向と視線方向情報に手示される方向が一致するよう、参加者映像を所定角度だけ回転させる（ステップＳ２０６）。

その後、対話映像生成部２７は、配置した参加者映像の両腕の方向が注目対象情報生成部２４によって生成された腕方向情報と一致するか否かを判定し（ステップＳ２０７）、一致しない場合（ステップＳ２０７、Ｎｏ）は、一致するよう両腕のそれぞれの位置を変化させる（ステップＳ２０８）。位置変化が終了した場合又はそもそも方向が一致していた場合（ステップＳ２０７、Ｙｅｓ）は、全ての参加者について処理が行われたか否かを判定し（ステップＳ２０９）、終了していなければ（ステップＳ２０９、Ｎｏ）ステップＳ２０５に戻って同様の処理を繰り返し、終了していれば（ステップＳ２０９、Ｙｅｓ）対話映像の作成処理は終了し、情報出力部２２を介して各参加者の参加端末２３に対して対話映像が出力される。

次に、本実施の形態２にかかる遠隔対話システムの利点について説明する。まず、本実施の形態２にかかる遠隔対話システムでは、顔と両腕の特徴点の位置情報について、挙動情報に示される位置変動量よりも増幅（例えば１０％程度）した位置となるよう変換処理を行うことで、参加者の挙動を強調した参加者映像を生成できるという利点を有する。かかる構成を採用することにより、参加端末にて遠隔対話の映像を見る他の参加者は、当該参加者の挙動について容易に認識することが可能となる。

画面を通じて対話映像を閲覧する遠隔対話においては、直接集まって対話を開催する場合のように他の参加者の挙動についてリアルに認識することは困難であり、これにより、話者の挙動に基づく非言語的コミュニケーションに支障が生じることがある。本実施の形態２では、参加者の挙動について強調表示を行うことで、直接集まった場合と同程度に他の参加者の挙動について理解でき、これにより発言を通じた言語的コミュニケーションのみならず挙動を通じた非言語的コミュニケーションについても円滑化し、もって活発な議論を実現できるという利点が生じる。

また、本実施の形態２にかかる遠隔対話システムは、他の参加者に対する注目状況を示す注目対象情報を生成し、かつ、対話映像にて表示される参加者映像において、かかる注目対象情報と一致するよう視線及び両腕の向きを調整することとしている。撮影部が撮影した参加者の映像はあくまで撮影部からの視点により撮影されたものに過ぎず、映像そのものからは、当該映像で参加者が具体的に何を見て発現しているのか、挙動が何に向けて発せられているのかを理解することは困難である。この点に鑑みて、本実施の形態２では、撮像部４による撮影時に、参加者が表示部１０に表示されている他の参加者のうちどの人物を見ながら発言しているのか、どの人物に対し指差し等の挙動を行っているのかに関する視線方向情報、腕方向情報を生成し、これらの情報に整合するように仮想対話空間中の参加者映像を調整する。これにより、表示部１０を通じて対話映像を視聴する各参加者は、ある参加者の発言及び身振り手振りがどの参加者に向けられたものであるかを容易に認識でき、これによって、言語的コミュニケーションのみならず非言語的コミュニケーションについてもさらに円滑化できるという利点が生じる。

以上、実施の形態において本発明の内容について説明したが、もとより本発明の技術的範囲は実施の形態に記載した具体的構成に限定して解釈されるべきではなく、本発明の機能を実現できるものであれば、上記実施の形態に対する様々な変形例、応用例についても、本発明の技術的範囲に属することはもちろんである。

例えば、本実施の形態１、２ではいわゆる遠隔対話を例に本発明の内容について説明しているところ、本発明の用途は営利企業等における遠隔会議、大学等の教育機関におけるオンライン授業及び少人数間（１対１でもよい）におけるテレビ電話システム等においても使用することが可能である。また、「対話」の態様も音声対話のみならず、いわゆる「チャット」のようなテキスト情報のやり取りによる「対話」の場合でも、本発明の技術を活用することが可能であるし、「遠隔」といっても、例えば同一建物の隣室間での対話について本発明を適用することが可能である。

また、撮影部４の具体的構成は３Ｄスキャナ以外のものとすることが可能であり、かつ、撮影する参加者の映像についても、３次元映像に限定して解釈する必要はない。２次元映像であってもよいし、動画のみならず複数の静止画（例えば１秒間隔で撮影した静止画像）であってもよい。２次元映像であっても特徴点を抽出することは技術的に可能であるし、２次元映像における特徴点の位置変動に基づき（２次元的なものはもちろん）３次元的な参加者映像を生成することが可能である。

さらに、挙動情報生成部６は、挙動に関する情報である挙動情報を特徴点の位置変動によって表現する態様にて生成するが、かかる態様に限定する必要はない。深層学習等により映像から直接的に挙動を検出して情報化してもよいし、映像に映された参加者の輪郭を切り取り、当該輪郭の変形に応じて挙動情報を生成する態様としてもよい。

また、参加者映像生成部１４、２６についても、必ずしも３次元的な映像にて参加者映像を生成する必要はなく、２次元映像であってもよい。対話映像生成部１５、２７が生成する対話映像についても同様である。

また、挙動情報比較部１９における比較方法についても、基準値と現時点の値とを比較する手法であればよく、基準値と現時点の値の差分値の絶対値を基準値で除算した値を算出する方法以外であってもよい。例えば基準値と現時点の値の差分値のみとしてもよいし、基準値と現時点の値の比によって比較することとしてもよい。

さらに、同一性判定部２０における同一性判定手法についても、複数の比較結果（実施の形態１、２では基準値と現時点の値の差分値の絶対値を基準値で除算した値）の加算結果と第１の閾値、第２の閾値を比較しているが、複数の比較結果の加重平均と閾値とを比較してもよいし、複数の比較結果それぞれについて閾値を設定し、閾値を超過した（あるいは下回った）比較結果の数によって同一性の有無等を判断することとしてもよい。また、同一性判定部２０は２通りの閾値を用いて３通りの判定結果（同一性あり、なし、同一性なしの可能性あり）を示す扱いとしているが、閾値を１通り、３通り以上等と設定してもよいし、判定結果についても同一性あり、なしの２通り、あるいは同一性がある（又は「ない」）確率に応じて４通り以上の判定結果を導出することとしてもよい。

また、警告情報生成部２１によって生成される警告情報の内容・態様についても実施の形態１にて説明した態様に限定されず、例えば、「同一性なし」と判断した場合に遠隔対話の責任者に警告情報を提供するのではなく、対話システムを構成する機器の通信機能を司る箇所に直接的に「通信状態を遮断せよ」との指示を送る態様としてもよい。

さらに、実施の形態２において、対話映像生成部２７は、参加者映像の視線方向を視線方向情報と一致させる際に背骨に対応したボーンを軸とした回転だけでなく、参加者映像の首部分を回す態様にて視線方向を一致させてもよいし、参加者映像の目に対応した部分のみ変化させる態様としてもよい。同様に、参加者映像の腕の方向を腕方向情報と一致させる際にも、腕だけを動かすのではなく、体の他の部分も腕に連動させて動かしてもよいし、また、仮想対話空間中の位置関係によっては腕の方向を参加者映像の背後方向に変化させるような場合が生じうるところ、その場合に腕のみを位置変化させるのではなく、上半身を後ろ方向に振り返らせるように位置変化させてもよい。

本発明は、同一場所にいない参加者間における遠隔対話を行う技術として利用可能である。

１、２３ 参加端末
２、２５ 管理サーバ
３ 情報通信網
４ 撮影部
５ 発言記録部
６ 挙動情報生成部
７ 参加情報生成部
８、２２ 情報出力部
９、１３ 情報入力部
１０ 表示部
１４、２６ 参加者映像生成部
１５、２７ 対話映像生成部
１６ 挙動情報データベース
１７ 基準挙動情報生成部
１８ 現在挙動情報生成部
１９ 挙動情報比較部
２０ 同一性判定部
２１ 警告情報生成部
２４ 注目対象情報生成部

Claims (6)

1. 異なる場所に位置する複数の参加者間の対話を実現する遠隔対話システムであって、
   参加者の過去の挙動に関する情報に基づき１以上の特徴的挙動を検出し、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である基準挙動情報を生成する基準挙動情報生成手段と、
   現対話時における参加者の前記１以上の特徴的挙動について、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である現在挙動情報を生成する現在挙動情報生成手段と、
   前記基準挙動情報と前記現在挙動情報とを比較する挙動情報比較手段と、
   前記挙動情報比較手段の比較結果に基づき参加者の同一性について判定する同一性判定手段と、
   前記同一性判定手段において判断対象となった参加者以外の１以上の参加者に対し、前記同一性判定手段による判定結果を出力する出力手段と、
   を備えたことを特徴とする遠隔対話システム。
2. 前記基準挙動情報生成手段は、前記基準挙動情報として発現頻度に関する数値情報である基準発現頻度と継続時間に関する数値情報である基準継続時間が含まれる情報を生成し、
   前記現在挙動情報生成手段は、前記現在挙動情報として発現頻度に関する数値情報である現在発現頻度と継続時間に関する数値情報である現在継続時間が含まれる情報を生成し、
   前記挙動情報比較手段は、同一の特徴的挙動に関する基準発現頻度と現在発現頻度の差分値の絶対値を基準発現頻度にて除算した値及び同一の特徴的挙動に関する基準継続時間と現在継続時間の差分値の絶対値を基準継続時間にて除算した値を比較結果として導出し、
   前記同一性判定手段は、前記比較結果の総和が第１の閾値未満の場合に同一性ありと判定し、前記第1の閾値以上第２の閾値未満の場合に同一性の可能性ありと判定し、前記第２の閾値以上の場合に同一性なしと判定することを特徴とする請求項１記載の遠隔対話システム。
3. 遠隔対話に参加する複数の参加者の映像である対話映像を特定の参加者に対し表示する表示手段と、
   前記特定の参加者の映像を撮影する撮影手段と、
   前記表示手段と前記撮影手段及び前記特定の参加者間の位置関係に基づき、前記撮影手段による撮影時に前記特定の参加者が前記複数の参加者のうちどの参加者に視線を向けているかの情報を含む注目対象情報を生成する注目対象情報生成手段と、
   前記表示手段に表示する前記特定の参加者の映像として、前記注目対象情報にて示される参加者に視線を向けた態様となるよう前記対話映像を生成する対話映像生成手段と、
   をさらに備えたことを特徴とする請求項１又は２記載の遠隔対話システム。
4. 異なる場所に位置する複数の参加者間の対話を実現する遠隔対話方法であって、
   参加者の過去の挙動に関する情報に基づき１以上の特徴的挙動を検出し、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である基準挙動情報を生成する基準挙動情報生成ステップと、
   現対話時における参加者の前記１以上の特徴的挙動について、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である現在挙動情報を生成する現在挙動情報生成ステップと、
   前記基準挙動情報と前記現在挙動情報とを比較する挙動情報比較ステップと、
   前記挙動情報比較ステップの比較結果に基づき参加者の同一性について判定する同一性判定ステップと、
   前記同一性判定ステップにおいて判断対象となった参加者以外の１以上の参加者に対し、前記同一性判定ステップによる判定結果を出力する出力ステップと、
   を含むことを特徴とする遠隔対話方法。
5. 遠隔対話に参加する複数の参加者の映像である対話映像を特定の参加者に対し表示する表示ステップと、
   前記特定の参加者の映像を撮影する撮影ステップと、
   前記表示ステップにおける表示場所と前記撮影ステップにおける撮影地点及び前記特定の参加者間の位置関係に基づき、前記撮影ステップにおける撮影時に前記特定の参加者が前記複数の参加者のうちどの参加者に視線を向けているかの情報を含む注目対象情報を生成する注目対象情報生成ステップと、
   前記表示ステップにて表示する前記特定の参加者の映像として、前記注目対象情報にて示される参加者に視線を向けた態様となるよう前記対話映像を生成する対話映像生成ステップと、
   をさらに含むことを特徴とする請求項４記載の遠隔対話方法。
6. 異なる場所に位置する複数の参加者間の対話をコンピュータに実現させる遠隔対話プログラムであって、
   参加者の過去の挙動に関する情報に基づき１以上の特徴的挙動を検出し、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である基準挙動情報を生成する基準挙動情報生成機能と、
   現対話時における参加者の前記１以上の特徴的挙動について、前記特徴的挙動の発現頻度及び発現時における前記特徴的挙動の継続時間に関する情報である現在挙動情報を生成する現在挙動情報生成機能と、
   前記基準挙動情報と前記現在挙動情報とを比較する挙動情報比較機能と、
   前記挙動情報比較機能の比較結果に基づき参加者の同一性について判定する同一性判定機能と、
   前記同一性判定機能において判断対象となった参加者以外の１以上の参加者に対し、前記同一性判定機能による判定結果を出力する出力機能と、
   を実現させることを特徴とする遠隔対話プログラム。

Images