JP2018049305A - コミュニケーション方法、コンピュータプログラム及び装置 - Google Patents

Abstract

【課題】現実世界や他人との相互作用を確保しやすく、移動や作業の効率化や安全確保にも役に立ち、雇用創出効果も多いＶＲ方法の提供。【解決手段】コンピュータが、現場カメラ２、第一のマイク３又はその両方、現場音声出力機器及び第一の通信機器を携帯して移動可能な移動体１側から、現場カメラからの映像、第一のマイクからの音声又はその両方を、第一の通信機器４を介して送信すること、コンピュータ８が、第二の通信機器５を介して第一の通信機器から受信した映像、音声又はその両方を再生すること、コンピュータが、再生する内容を視聴する人の音声を第二のマイクと第二の通信機器及び第一の通信機器を介して現場音声出力機器に出力することを含む。現場カメラが多方向カメラであり、コンピュータが、視聴する人の動作又は脳からの信号を検出して、該現場カメラの多方向の範囲から、再生するための機器の視聴方向を自動選択する。【選択図】図１

Description

本発明は、コミュニケーション方法、コンピュータプログラム及び装置に関する。

ＶＲコンテンツの制作には多額のコストがかかる。しかし、ＶＲコンテンツの視聴やプレイが現実と乖離しすぎることがあったり、現実世界や他人との相互作業を十分に確保することができないことがあったりして、一部の現実主義の人にとっては「やりがい」が不足することがあった。また、雇用創出効果もＶＲ技術をもつエンジニアやデザイナーやアーティストに限られていた（非特許文献１）。

翔泳社「VRコンテンツ最前線 事例でわかる費用規模・制作工程・スタッフ構成・制作ノウハウ」2016/8/2、 桜花一門 (著)、ISBN-10: 4798144592

本発明は、かかる問題に鑑み、
現実世界や他人との相互作用を確保しやすく、移動や作業の効率化や安全確保にも役に立ち、雇用創出効果も多いＶＲ方法、ＶＲコンテンツ、ＶＲサービスと関連コンピュータプログラム及び装置を提供することを主な課題とする。

かかる課題を解決するため、
本発明（請求項１）は、
コンピュータが、
現場カメラ、第一のマイク又はその両方、現場音声出力機器（イヤホン等）及び第一の通信機器（スマートフォン等）を携帯して移動可能な移動体（人、動物、地上型ロボット又はドローン）側から、
現場カメラからの映像、第一のマイクからの音声又はその両方を、
第一の通信機器（複数の通信機器ないしプロトコルの複合体も該当する）を介して送信すること、
コンピュータが、
第二の通信機器を介して第一の通信機器から受信した前記映像、音声又はその両方を再生すること、
コンピュータが、
前記再生する内容を視聴する人の音声を第二のマイクと第二の通信機器（複数の通信機器ないしプロトコルの複合体も該当する）及び第一の通信機器を介して現場音声出力機器に出力すること
を含む方法であって、
前記現場カメラが多方向カメラ（上下角を含んでいても含んでいなくてもよい）であり、
コンピュータが、
視聴する人の動作又は脳からの信号を検出して、
該現場カメラの多方向の範囲から、前記再生するための機器（ＶＲディスプレイ等）の視聴方向（上下角を含んでいても含んでいなくてもよい）を自動選択すること
を特徴とするコミュニケーション方法
を提供する。
＞これにより移動体が移動の安全に必要な前方視界等を確保したまま、視聴する人（複数であってもよい）が、（それぞれ）３６０度の景色を楽しんだり、移動体とは別の視界を（それぞれ）確認してより高度な安全や作業効率等を確保することが可能となる。
＞また、特に現場が山岳地帯や砂漠地帯の場合に、移動に不自由な人でも、「視聴する人」として現場を体験したり、現場にフィードバック指示を出したりして、現場を中心とした世界に移動体を通じて影響を与えることも可能となる。
＞また、現場に慣れていない移動体（人や動物やロボット等）でも、（現場周囲情報（映像、音声、位置、温度、湿度、照度、気圧、等）も確認できる形の）なれている人の指示等によるより、適切な作業や移動（や観光支援（視聴する人が複数の場合））が可能となる。
：なお、第一のマイクは環境音と移動体の声の両方を採取することを想定しているが、別のマイクとして、送信前後に合成するなどしてもよい。なお、移動体が動物やロボット等の場合の移動体の音声は、鳴き声や発信音を含むことができる。

また、本発明の請求項２は、
前記視聴する人の音声に代えて、又は、加えて
視聴する人の意思（前進して下さい、右へ、左へ、戻ってください、静止してください、休憩してください、静止画を撮影してください、等）を、
コンピュータが、
センサー機器（ジョイスティック、ジェスチャー検出センサー、脳波検出センサー、等）を介して検出して
移動体に伝達することを特徴とする、
請求項１に記載のコミュニケーション方法
を提供する。
＞これにより、発音が不自由が人でも、視聴する人として移動体側に指示や思いを伝えることが可能となる。
＞伝達方法は、現場音声出力機器からの定型音声（合成音、録音済の声、等）でもよいが、移動体が確認可能に設置した（スマートフォン）ディスプレイへの画像表示や、色付きＬＥＤの光信号などでもよい。
＞一人の移動体に対して多くの「視聴する人」を許容するサービス構成の場合には、中継サーバーを設け、移動体が携帯するコンピュータリソースの負荷を分散することができる。また、中継サーバー等では、多くの「視聴する人」からの互いに矛盾する意思を安全性をも考慮した上で人工知能によりモデレートした結果としてのコマンド等を移動体に送信するように構成することが好ましい。この場合のモデレートは、移動体から送られる位置情報を中心とした各種の現場情報と、場合によっては（複数の）「視聴する人」側の属性情報・状態情報（位置情報等）をも考え合わせた上で行われる。このようなモデレートは、当初は人間のモデレータによって行うことができ、そのモデレートの様子を「教師信号あり機械学習」等した自動学習系等により学習した結果の計算機システムを用いてもよい。人工知能によるモデレートは、所定周期内での多数決を基本として行うこともでき、最大多数を基本としてこれに論理的に矛盾しない範囲かつ安全上問題のない範囲でより少数の意見を順に反映した意思として自動構成し伝達することもできる。

また、本発明の請求項３は、
前記視聴する人が複数であり、視聴する人の間でも互いの音声を視聴可能なように構成した、
請求項１又は２に記載のコミュニケーション方法
を提供する。
＞これにより、カップルや家族やグループで移動体側とのコミュニケーションや体験を共有することが可能になり、デートや仕事を楽しく、効率的に、より有意義にすることが可能となる。
＞また、「視聴する人」間でのモデレート（先行する発言の尊重や遠慮も含む）も可能になる。
＞また、移動体のいわば「冒険」に関して記録した映像や音声を事後的に視聴できる「冒険」コンテンツとして構成する場合に、（複数の）「視聴する人」側から提供される情報（当該コンテンツの音声等に（別チャネルでもよい形で）合成して記録されていることが好ましい）の厚み・深みが増すことにもつながる。

また、本発明の請求項４は、
前記送信又は受信が遅延を含みうるライブ通信であり、
視聴する人に対して再生された映像又は音声に応じて
該視聴する人の意思（所定方向に移動する、目の前の人と会話する、目の前の人を助ける、等）を
決定して送信することを
繰り返すことを可能にした
請求項１から３のいずれか一項に記載のコミュニケーション方法
を提供する。
＞これにより、移動体側がおこなった作業や移動のフィードバック制御が、視聴する人の側から可能になり、精度の高い協調作業やコミュニケーションが可能となる。
＞決定した意思の送信は、音声やコマンド信号の形で行われ、記録型の「冒険」コンテンツとする場合は、それらも、移動体とその環境に関する情報とともに、時刻をキーに互いに関連づけられて記録される。さらに好ましくは、ビッグデータのインスタンスとして統合され、前記モデレートやオリエンテーリングのプランニング等のための機械学習等に利用される。

また、本発明の請求項５は、
前記移動体が現在位置情報検出装置を携帯し、
前記視聴する人に対して現在位置を伝えるように構成した
請求項１から４のいずれか一項に記載のコミュニケーション方法
を提供する。
＞これにより、視聴する人がミッションやタスクや希望を教える場合、
移動体の現在位置を知ることができ、電子地図情報等にスーパーインポーズ表示する等して、現在位置に応じたより適切な指示等を出すことができる。
＞また、前記「冒険」コンテンツの情報量を多くし、前記各種目的等のための機械学習なども可能にする。

また、本発明の請求項６は、
前記視聴する人が現在位置情報検出装置を携帯し、
前記移動体に対して現在位置を伝えるように構成した
請求項１から５のいずれか一項に記載のコミュニケーション方法
を提供する。
＞これにより、移動体側が情報やノウハウを音声等で要求する場合、
視聴する人の現在位置や数を知って視聴側の状況を推察することができ、より適切な要求を出すことができる。
＞また、視聴する人と待ち合わせて共同作業を行う予定の場合に、合流するまでの時間を推測して、作業の中身や段取りを
調整すること等が可能となる。
＞なお、現在位置に加えて、又は、代えて、視聴する人の属性や現在位置以外の状態を伝えるにように構成することも可能であり、この場合には、移動体側がそのような情報を利用して、より適切な作業や段取りや移動等を行うことが可能となる。
＞「冒険」コンテンツを（場合によっては自動で）記録する場合には、それらの情報も利用することができる。

また、本発明の請求項７は、
現場カメラ、第一のマイク、現場音声出力機器、現在位置情報検出装置又は第一の通信機器が、
移動体の携帯するスマートフォンに接続また装備されている
請求項１から６のいずれか一項に記載のコミュニケーション方法
を提供する。
＞これにより、移動体側設備の簡易で軽量な実装が可能となる。
＞なお、スマートフォンの仮想現実レンダリング能力が高く、かつ、（グローバルアドレスが割り振られない場合等に）中継サーバーを利用可能な場合は、視聴する人の側もスマートフォンを中心に機器構成し、簡便性を得ることができる。

また、本発明の請求項８は、
前記移動体又は視聴する人の評価を、
相手側が登録して
当該相手側、当該本人、又は見込み客が参照できるようにした上で
新たな当該コミュニケーション方法の機会をいずれかから検索又は申し込みできるようにした
請求項１から７のいずれか一項に記載のコミュニケーション方法
を提供する。
＞これにより、属性やスキルや性格の合う人のマッチング（移動体＝視聴する人、視聴する人の間、等）が可能となり、
マッチングビジネスや機器レンタルビジネスが容易となる。
＞また、このような検索又は申し込みのための情報システム（ＷＥＢサイトでもよい）を利用して、移動体が本発明によるコミュニケーション方法を実施しながら、途中から「視聴する人」を新たに募集することも可能になる。このような場合には、視聴する人の指示を聞いて冒険する移動体側への所定謝礼や、冒険や目的達成のための教えを募集する移動体側から視聴する人への所定謝礼の他、接続時間に応じた課金方法を採用することが有利である。

また、本発明の請求項９は、
請求項１から８のいずれか一項に記載の方法を実施するためのコンピュータプログラム
を提供する。

また、本発明の請求項１０は、
請求項１から８のいずれか一項に記載の方法を実施するための装置
を提供する。

また、本発明の請求項１１は、
請求項１から８のいずれか一項に記載の方法を実施するための多方向カメラを備えた
移動体着用のヘルメット、帽子、バイザー、頭部装着具、首輪、足輪、腕輪もしくは胴体ベルト、地上移動ロボット、水上移動ロボット、水中移動ロボット、地中移動ロボット、宇宙移動ロボット、又は、ドローン
を提供する。
＞なお、ヘルメットの場合には、多方向カメラをヘルメットの頂点付近に一つないし側面に複数配置することになる場合が多く、この場合、「視聴する人」が得られる視野の範囲は、いわゆる「おんぶ」をされる人が「おんぶ」をする人の頭付近で自分の首を回してきょろきょろすることにより得られる視野の範囲とほぼ一致し、本件発明はその際の視野の広さ・自由さを遠隔通信にも生かしていくものである。

ある単純な実施形態の全体構成を示す説明図である。

１ 移動体（山歩きの体力はあるが、白山の山道についての知識が少ない人）
２ 多方向カメラ（上下左右に３６０度対応可能な動画撮影赤外線通信カメラ）
３ ヘッドセット（マイクは移動体の音声だけでなく環境音も採取可能）
４ スマートフォン（通信機能、コマンド表示機能、ＧＰＳ機能を有する）
５ 中継サーバー（中継機能、評価機能、マッチング機能、課金機能、人工知能によるコマンドモデレーション機能を有する）
６ 視聴する人（山歩きできないコンディションの人、白山の山道についての知識は豊富）
７ ＶＲ視聴可能なヘッドセット（頭の回転に合わせてみたい方向（上下左右）が見れる、マイクとヘッドフォンも備える）
８ ワークステーション（ＶＲレンダリングの他、図示しないジェスチャー検出装置が接続されており移動体へのコマンドに変換できる）

Claims (11)

1. コンピュータが、
   現場カメラ、第一のマイク又はその両方、現場音声出力機器（イヤホン等）及び第一の通信機器（スマートフォン等）を携帯して移動可能な移動体（人、動物、地上型ロボット又はドローン）側から、
   現場カメラからの映像、第一のマイクからの音声又はその両方を、
   第一の通信機器（複数の通信機器ないしプロトコルの複合体も該当する）を介して送信すること、
   コンピュータが、
   第二の通信機器を介して第一の通信機器から受信した前記映像、音声又はその両方を再生すること、
   コンピュータが、
   前記再生する内容を視聴する人の音声を第二のマイクと第二の通信機器（複数の通信機器ないしプロトコルの複合体も該当する）及び第一の通信機器を介して現場音声出力機器に出力すること
   を含む方法であって、
   前記現場カメラが多方向カメラ（上下角を含んでいても含んでいなくてもよい）であり、
   コンピュータが、
   視聴する人の動作又は脳からの信号を検出して、
   該現場カメラの多方向の範囲から、前記再生するための機器（ＶＲディスプレイ等）の視聴方向（上下角を含んでいても含んでいなくてもよい）を自動選択すること
   を特徴とするコミュニケーション方法。
2. 前記視聴する人の音声に代えて、又は、加えて
   視聴する人の意思（前進して下さい、右へ、左へ、戻ってください、静止してください、休憩してください、静止画を撮影してください、等）を、
   コンピュータが、
   センサー機器（ジョイスティック、ジェスチャー検出センサー、脳波検出センサー、等）を介して検出して
   移動体に伝達することを特徴とする、
   請求項１に記載のコミュニケーション方法。
3. 前記視聴する人が複数であり、視聴する人の間でも互いの音声を視聴可能なように構成した、
   請求項１又は２に記載のコミュニケーション方法。
4. 前記送信又は受信が遅延を含みうるライブ通信であり、
   視聴する人に対して再生された映像又は音声に応じて
   該視聴する人の意思（所定方向に移動する、目の前の人と会話する、目の前の人を助ける、等）を
   決定して送信することを
   繰り返すことを可能にした
   請求項１から３のいずれか一項に記載のコミュニケーション方法。
5. 前記移動体が現在位置情報検出装置を携帯し、
   前記視聴する人に対して現在位置を伝えるように構成した
   請求項１から４のいずれか一項に記載のコミュニケーション方法。
   ピュータプログラム。
6. 前記視聴する人が現在位置情報検出装置を携帯し、
   前記移動体に対して現在位置を伝えるように構成した
   請求項１から５のいずれか一項に記載のコミュニケーション方法。
7. 現場カメラ、第一のマイク、現場音声出力機器、現在位置情報検出装置又は第一の通信機器が、
   移動体の携帯するスマートフォンに接続また装備されている
   請求項１から６のいずれか一項に記載のコミュニケーション方法。
8. 前記移動体又は視聴する人の評価を、
   相手側が登録して
   当該相手側、当該本人、又は見込み客が参照できるようにした上で
   新たな当該コミュニケーション方法の機会をいずれかから検索又は申し込みできるようにした
   請求項１から７のいずれか一項に記載のコミュニケーション方法。
9. 請求項１から８のいずれか一項に記載の方法を実施するためのコンピュータプログラム。
10. 請求項１から８のいずれか一項に記載の方法を実施するための装置。
11. 請求項１から８のいずれか一項に記載の方法を実施するための多方向カメラを備えた
    移動体着用のヘルメット、帽子、バイザー、頭部装着具、首輪、足輪、腕輪もしくは胴体ベルト、地上移動ロボット、水上移動ロボット、水中移動ロボット、地中移動ロボット、宇宙移動ロボット、又は、ドローン。

Images