JP2019193054A - 通話システム - Google Patents

通話システム Download PDF

Info

Publication number
JP2019193054A
JP2019193054A JP2018082789A JP2018082789A JP2019193054A JP 2019193054 A JP2019193054 A JP 2019193054A JP 2018082789 A JP2018082789 A JP 2018082789A JP 2018082789 A JP2018082789 A JP 2018082789A JP 2019193054 A JP2019193054 A JP 2019193054A
Authority
JP
Japan
Prior art keywords
call
flying device
processing unit
voice data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018082789A
Other languages
English (en)
Other versions
JP6570002B1 (ja
Inventor
功太郎 千葉
Kotaro Chiba
功太郎 千葉
稔 中畑
Minoru Nakahata
稔 中畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kamakura Invest Co Ltd
Kamakura Investment Co Ltd
Drone IPLab Inc
Original Assignee
Kamakura Invest Co Ltd
Kamakura Investment Co Ltd
Drone IPLab Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kamakura Invest Co Ltd, Kamakura Investment Co Ltd, Drone IPLab Inc filed Critical Kamakura Invest Co Ltd
Priority to JP2018082789A priority Critical patent/JP6570002B1/ja
Priority to JP2019139077A priority patent/JP6945149B2/ja
Application granted granted Critical
Publication of JP6570002B1 publication Critical patent/JP6570002B1/ja
Publication of JP2019193054A publication Critical patent/JP2019193054A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】観察者が被観察者と容易にコミュニケーションを取ることができる通話システムを提供する。【解決手段】通話システムは、第1のマイクおよび第1のスピーカを有する携帯端末20と、第2のマイクおよび第2のスピーカを有する飛行装置10と、を備える。携帯端末は、通話相手の近傍まで飛行装置を飛行させるように制御する飛行制御部と、第1のマイクが集音した第1の音声データを飛行装置に送信し、飛行装置から送信される第2の音声データを受信して第1のスピーカから出力する第1の通話処理部と、を備える。飛行装置は、第2のマイクが集音した第2の音声データを携帯端末に送信し、携帯端末から送信される第1の音声データを受信して第2のスピーカから出力する第2の通話処理部を備える。【選択図】図1

Description

本発明は、通話システムに関する。
飛行装置を用いて被観察者の状況を観察することが行われている。例えば特許文献1には、被追尾対象を特定して追尾する飛行型カメラシステムが開示されている。
特開2017−185928号公報
被観察者の状況によっては観察者が被観察者とコミュニケーションを取りたいことがある。しかしながら、特許文献1に記載のシステムでは、被追尾対象を撮影することはできるものの、観察者側から被追尾対象に対してどのようにコミュニケーションを取ることができるかの示唆は存在しない。
本発明はこのような背景を鑑みてなされたものであり、観察者が被観察者と容易にコミュニケーションを取ることのできる通話システムを提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、通話システムであって、第1のマイクおよび第1のスピーカを有する携帯端末と、第2のマイクおよび第2のスピーカを有する飛行装置と、を備え、前記携帯端末は、通話相手の近傍まで前記飛行装置を飛行させるように制御する飛行制御部と、前記第1のマイクが集音した第1の音声データを前記飛行装置に送信し、前記飛行装置から送信される第2の音声データを受信して前記第1のスピーカから出力する第1の通話処理部と、を備え、前記飛行装置は、前記第2のマイクが集音した前記第2の音声データを前記携帯端末に送信し、前記携帯端末から送信される前記第1の音声データを受信して前記第2のスピーカから出力する第2の通話処理部を備えること、を特徴とする通話システムとする。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、観察者が被観察者と容易にコミュニケーションを取ることができる。
本発明の一実施形態に係る通話システムの全体構成を示す図である。 飛行装置10のハードウェア構成例を示す図である。 フライトコントローラ11のソフトウェア構成例を示す図である。 ユーザ端末20のハードウェア構成例を示す図である。 ユーザ端末20のソフトウェア構成例を示す図である。 本実施形態に係る通話システムにおいて実行される処理の流れを説明する図である。 飛行装置10が表示装置120を備える場合の飛行装置10の構成例を示す図である。 飛行装置10が表示装置120を備える場合のフライトコントリーラ11の構成例を示す図である。 飛行装置10が表示装置120を備える場合のユーザ端末20のソフトウェア構成例を示す図である。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行体は、以下のような構成を備える。
[項目1]
第1のマイクおよび第1のスピーカを有する携帯端末と、
第2のマイクおよび第2のスピーカを有する飛行装置と、
を備え、
前記携帯端末は、
通話相手の近傍まで前記飛行装置を飛行させるように制御する飛行制御部と、
前記第1のマイクが集音した第1の音声データを前記飛行装置に送信し、前記飛行装置から送信される第2の音声データを受信して前記第1のスピーカから出力する第1の通話処理部と、を備え、
前記飛行装置は、
前記第2のマイクが集音した前記第2の音声データを前記携帯端末に送信し、前記携帯端末から送信される前記第1の音声データを受信して前記第2のスピーカから出力する第2の通話処理部を備えること、
を特徴とする通話システム。
[項目2]
項目1に記載の通話システムであって、
前記飛行装置は、
カメラと、
前記カメラが撮影した画像を前記携帯端末に送信する画像送信部と、
をさらに備えることを特徴とする通話システム。
[項目3]
項目1に記載の通話システムであって、
前記第2の音声送信部は、前記第2の音声データから特徴量を抽出し、所定の前記特徴量を抽出できた場合に、前記携帯端末のユーザに対してメッセージを送信し、
前記第1の音声受信部は、前記メッセージに応じて前記携帯端末のユーザに対して注意喚起のための画像または音声を出力すること、
を特徴とする通話システム。
[項目4]
項目1に記載の通話システムであって、
前記携帯端末は、前記通話相手の呼出し用の前記第1の音声データである呼出し音声データを作成し、前記呼び出し音性データを前記飛行装置に送信する第1の呼出し処理部をさらに備え、
前記飛行装置は、前記呼出し音声データを受信し、受信した前記呼出し音声データを前記第2のスピーカから出力する第2の呼出し処理部をさらに備えること、
を特徴とする通話システム。
[項目5]
項目4に記載の通話システムであって、
前記飛行装置は、前記第2の音声データに基づいて前記通話相手の認証を行う認証処理部をさらに備えること、
を特徴とする通話システム。
[項目6]
項目5に記載の通話システムであって、
前記第2の呼出し処理部は、前記認証処理部が前記通話相手の認証に成功するまで、前記呼出し音声データを前記第2のスピーカから出力すること、
を特徴とする通話システム。
[項目7]
項目4に記載の通話システムであって、
前記飛行装置は、情報を表示する表示装置を備え、
前記第1の呼出し処理部は、前記通話相手の呼出し用の画像を前記飛行装置に送信し、
前記第2の呼出し処理部は、前記呼出し用の画像を受信し、受信した前記呼出し用の画像を前記表示装置に表示すること、
を特徴とする通話システム。
==概要・全体構成==
図1は、本発明の一実施形態に係る通話システムの全体構成を示す図である。
本実施形態の通話システムは、飛行装置10が備えるカメラ12を用いて監視者2が被監視者1を遠隔から監視するとともに、飛行装置10が備えるマイク15およびスピーカ16を用いて被監視者1と監視者2との間で通話を行うことができるようにしている。飛行装置10とユーザ端末20とは、例えば、WiFiやBlueTooth(登録商標)などのプロトコルに従う無線通信路30を介して互いに通信可能に接続される。
(飛行装置10)
図2は、飛行装置10のハードウェア構成例を示す図である。飛行装置10は、プロペラ19と、プロペラ19にESC(Electronic Speed Controller)17を介して接続された推進機構(本実施形態ではモータ18を想定する。)と、これらを制御するフライトコントローラ11とを備える。
フライトコントローラ11は、プログラマブルプロセッサ(本実施形態では、中央演算処理装置(CPU)を想定する。)などの1つ以上のプロセッサ101を有することができる。
カメラ12は、ジンバル13を介して機体に装備され、ジンバル13によって、例えば、機体に対して上下方向に回転することができる。好ましくは、機体に対して3軸方向(ピッチ角、ロール角、ヨー角)に回転できることが好ましい。また、図2の例では、飛行装置10はカメラ12を1台だけ備える構成を示しているが、2台以上のカメラを備える構成であってもよい。また、カメラ12に代えて、またはカメラ12に加えて、人感センサーなどの各種のセンサを設けるようにしてもよい。
マイク15およびスピーカ16は機体に固定される。なお、マイク15およびスピーカ16についても、カメラ12と同様にジンバル13を介して機体に取り付けるようにしてもよい。
フライトコントローラ11は、メモリ102を有しており、当該メモリ102にアクセス可能である。メモリ102は、1つ以上のステップを行うためにフライトコントローラ11が実行可能であるロジック、コード、および/またはプログラム命令を記憶する。メモリ102は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ12やセンサなどから取得したデータは、メモリ102に直接に伝達されかつ記憶されてもよい。
フライトコントローラ11はまた、各種のセンサ類103を備える。本実施形態においてセンサ類103は、例えば、慣性センサ(加速度センサ、ジャイロセンサ)、GPS(Global Positioning System)センサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。
フライトコントローラ11は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)、端末、表示装置、または他の遠隔の制御器などである。本実施形態ではユーザ端末20を想定する。)からのデータを送信および/または受け取るように構成された送受信部14と通信可能である。送受信機14は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。本実施形態では、送受信部14は、主に管理サーバ30と通信を行い、必要に応じて監視端末40とも通信を行う。送受信部14は、例えば、ローカルエリアネットワーク(Local Area Network;LAN)、ワイドエリアネットワーク(Wide Area Network;WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。送受信部14は、センサ類で取得したデータ、フライトコントローラが生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることもできる。
図3は、フライトコントローラ11のソフトウェア構成例を示す図である。フライトコントローラ11は、指示受信部111、飛行制御部112、現在位置取得部113、呼出し処理部114、トリガー検出部115、撮影処理部116、通話処理部117、現在位置記憶部151、呼出し音声記憶部152、認証特徴量記憶部153およびトリガー特徴量記憶部154を備える。
なお、指示受信部111、飛行制御部112、現在位置取得部113、呼出し処理部114、トリガー検出部115、撮影処理部116および通話処理部117は、プロセッサ101がメモリ102に格納されているプログラムを実行することにより実現される。また、現在位置記憶部151、呼出し音声記憶部152、認証特徴量記憶部153およびトリガー特徴量記憶部154は、メモリ102の提供する記憶領域として実現される。
指示受信部111は、飛行装置10の動作を指示する各種のコマンドを受け付ける。指示受信部111が受信するコマンドには、飛行装置10の飛行動作を指示するコマンド(以下、飛行操作コマンドという。)、被監視者1との間の通話を開始するためのコマンド(以下、通話開始コマンド)、および当該通話を終了するためのコマンド(以下、通話終了コマンドという.)が含まれる。
本実施形態では、飛行操作コマンドは、ユーザ端末20から送信されることを想定するが、プロポや他のコンピュータなどユーザ端末20とは異なる送受信機から飛行操作コマンドが送信されるようにしてもよい。指示受信部111は、飛行操作コマンドを受信した場合、後述する飛行制御部112を呼び出す。
本実施形態では、通話開始コマンドには、被監視者1に対して呼びかけを行うための音声データ(以下、呼出し音声データという。)と、被監視者1の認証に用いる音声の特徴量(以下、認証特徴量という。)とが含まれる。呼出し音声データは、例えば、監視者2の音声を録音した音声データである。認証特徴量は、例えば、被監視者1の声の特徴量である。指示受信部111は、通話開始コマンドを受信した場合、呼出し音声データを呼出し音声記憶部152に登録し、後述する呼出し処理部114を呼び出す。
飛行制御部112は、飛行装置10の動作を制御する。飛行制御部112は、例えば、6自由度(並進運動x、yおよびz、並びに回転運動θx、θyおよびθz)を有する飛行装置10の空間的配置、速度、および/または加速度を調整するために、ESC17を経由してモータ18を制御する。モータ18によりプロペラ19が回転することで飛行装置10の揚力を生じさせる。また、飛行制御部113は、搭載部、センサ類の状態のうちの1つ以上を制御することができる。
本実施形態では、飛行制御部112は、指示受信部111が受信した飛行操作コマンドに応じて飛行装置10の動作を制御する。例えば、指示受信部111が被監視者1を追尾する自律飛行を行うように指示する飛行操作コマンドを受信した場合には、飛行制御部112は、カメラ12が撮影した被監視者1の画像を解析して被監視者1の位置を把握するとともに、後述する現在位置取得部113が取得した当該飛行装置10の現在位置を被監視者1の位置の近傍に移動させるようにESC17を介してモータ18等を制御することにより、被監視者1を追尾するように飛行装置10を飛行させることができる。また、飛行制御部112は、自律飛行を可能とするべく、コマンドによらずに飛行装置10が飛行を継続するように各種の制御を行うこともできる。例えば、飛行制御部112は、カメラ12により撮影された画像に基づいて、被監視者1を追尾するように飛行装置10の動作を制御することが可能である。
現在位置取得部113は、飛行装置10の現在位置を取得する。本実施形態では、センサ類103にはGPSセンサ104が含まれており、現在位置取得部113は、例えば、GPSセンサ104がGPS衛星から受信した電波から、飛行装置10の現在位置(以下、飛行位置ともいう。)を算出することができる。現在位置取得部113は、取得した飛行装置10の飛行位置をメモリ102の現在位置記憶部151に格納する。飛行位置は、例えば緯度経度により表現することができる。フライトコントローラ11は、現在位置記憶部151を参照することにより、飛行装置10の飛行位置を迅速に把握することができる。
本実施形態では、指示受信部111が飛行操作コマンドを受信した後、現在位置取得部113は、当該飛行操作コマンドの送信元(本実施形態ではユーザ端末20)に対して、飛行位置を定期的に送信するものとする。なお、飛行位置の送信間隔は、1秒ごと、5秒ごとなど任意に設定することができる。
呼出し処理部114は、被監視者1に対して通話の呼出しを行う。本実施形態では、呼出し処理部114は、所定の呼出し音声をスピーカ16から出力することにより被監視者1に対して呼出しを行う。本実施形態では、呼出し処理部114は、呼出し音声記憶部152に記憶されている呼出し音声データを読み出してスピーカ16から出力する。呼出し処理部114は、マイク15で集音した音声データから認証特徴量記憶部153に記憶されている認証特徴量を抽出できるか否かにより、呼出し音声データの再生に対して被監視者1から応答されたか否かを判定し、被監視者1からの応答があるまで、繰り返し呼出し音声データをスピーカ16から出力する。
トリガー検出部115は、所定のキーワードの音声を検出する。トリガー特徴量記憶部154には、所定のキーワードを発音した場合に抽出可能な特徴量(以下、トリガー特徴量という。)が予め記憶される。トリガー特徴量は、例えば、複数の人間が同じキーワードを発声した場合に共通する特徴量とすることができる。トリガー検出部115は、マイク15が集音した音声データから、トリガー特徴量記憶部154に記憶されている特徴量を抽出できるか否かにより、所定のキーワードとなる音声が集音されたか否かを判定する。トリガー検出部115は、所定のキーワードとなる音声が集音されたことを示す情報(以下、トリガー通知という。)をユーザ端末20に送信する。
撮影処理部116は、カメラ12を制御してカメラ12が撮影した画像(以下、撮影画像という。)を取得する。本実施形態では、撮影画像は動画像であるものとするが、撮影画像は1枚または複数枚の静止画像であってもよい。撮影処理部116は、ジンバル13を制御し、カメラ12を被監視者1に向けたり、カメラ12を被監視者1の周囲に向けたりすることもできる。また、撮影処理部116は、指示受信部111がユーザ端末20または他の外部装置から、カメラ12のパン、チルト、ズーム、撮影などを指示するコマンド(以下、カメラコマンドという。)を受信した場合には、カメラコマンドに応じてカメラ12やジンバル13を制御することも可能である。撮影処理部116はさらに、カメラ12が撮影した撮影画像を外部に送出する。本実施形態では、撮影処理部116は、指示受信部111が受信した飛行操作コマンドの送信元であるユーザ端末20に対して画像を送信するものとする。なお、撮影処理部116は、飛行操作コマンドの送信元とは異なる送信先に画像を送信するようにしてもよい。本実施形態では、撮影処理部116は、カメラ12による撮影を開始した後の全ての画像をユーザ端末20に送信するものとする。なお、メモリ102に撮影画像を記録しておき、記録している撮影画像を取得するためのコマンド(以下、画像取得コマンドという。)に応じて、撮影処理部116がメモリ102から撮影画像を読み出して送信するようにしてもよい。
通話処理部117は、ユーザ端末20との間での通話に係る処理を行う。通話処理部117は、マイク15で集音された音声データを取得し、取得した音声データをユーザ端末20に送信する。また、通話処理部117は、ユーザ端末20から送信される音声データを受信し、受信した音声データをスピーカ16から出力する。なお、通話処理部117による通話処理については、公知の音声通話に関する処理を用いることができる。
(ユーザ端末20)
図4は、ユーザ端末20のハードウェア構成例を示す図である。ユーザ端末20は、CPU201、メモリ202、記憶装置203、通信装置204、GPSモジュール205、タッチパネルディスプレイ206、マイク207およびスピーカ208を備える。記憶装置203は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信装置204は、通信ネットワーク50を介して他の装置と通信を行う。通信装置204は、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどを含んで構成される。GPSモジュール205は、GPS衛星からの信号を受信する。タッチパネルディスプレイ206は、データを入出力するインタフェースである。ユーザ1はタッチパネルディスプレイ206に表示された情報を閲覧し、タッチパネルディスプレイ206に触れることによりデータの入力を行うことができる。マイク207は音声の入力装置である。マイク207に入力された音声は音声データとして取得可能である。スピーカ208は音声の出力装置である。音声データをスピーカ208に与えることにより音声が再生される。
図5は、ユーザ端末20のソフトウェア構成例を示す図である。ユーザ端末20は、現在位置取得部211、開始位置指定部212、呼出し音声登録部213、飛行制御部214、トリガー通知部215、画像出力部216、通話処理部217、飛行位置記憶部251、呼出し音声記憶部252および認証特徴量記憶部253を備える。
なお、現在位置取得部211、開始位置指定部212、呼出し音声登録部213、飛行制御部214、トリガー通知部215、画像出力部216および通話処理部217は、ユーザ端末20の備えるCPU201が記憶装置203に記憶されているプログラムをメモリ202に読み出して実行することにより実現され、飛行位置記憶部251、呼出し音声記憶部252および認証特徴量記憶部253は、メモリ202および記憶装置203により提供される記憶領域の一部として実現される。
現在位置取得部211は、ユーザ端末20の現在位置を取得する。現在位置取得部211は、例えば、GPSモジュール205がGPS衛星から受信した電波に基づいてユーザ端末20の現在位置を算出することができる。また、現在位置取得部211は、通信装置204が通信するWiFiルータや基地局などの情報も利用してユーザ端末20の現在位置を高精度に求めるようにしてもよい。
飛行位置指定部212は、飛行装置10の飛行先となる位置の指定を受け付ける。飛行位置指定部212が受け付ける位置は、被監視者1の現在位置または予定移動先の位置とすることができる。飛行位置指定部212は、例えば、地図をタッチパネルディスプレイ206に表示し、地図上で位置の指定を受け付けることができる。位置は、例えば緯度経度で表現することができる。
呼出し音声登録部213は、マイク207が集音した音声データを呼び出し音声データとして呼出し音声記憶部252に登録する。呼出し音声登録部213は、例えば、呼出し音声データを集音することを示すメッセージをタッチパネルディスプレイ206に表示し、監視者2からの指示に応じてマイク207から音声データを取得するようにすることができる。このようにして、呼出し音声登録部213は、例えば、監視者2が被監視者1に対して呼びかけを行う音声を呼出し音声データとして取得することができる。なお、呼出し音声登録部213は、例えば、監視者2から呼出し用のメッセージのテキスト入力を受け付けて、音声合成処理により当該テキストを呼出し音声データに変換するようにしてもよい。また、呼出し音声登録部213は、予め登録されているいくつかの呼出し音声データの中からひとつを選択させるようにしてもよい。
飛行制御部214は、飛行装置10を制御する。本実施形態では、飛行制御部214は、飛行装置10に対して飛行操作コマンドを送信することにより飛行装置10を操作する。飛行制御部214は、最初に飛行位置指定部212が受け付けた位置を指定して、当該位置に飛行するように指示する飛行操作コマンドを飛行飛行装置10に送信して、飛行装置10を当該位置まで飛行させる。なお、本実施形態では、認証特徴量記憶部253には、被監視者1の声の特徴量を表すデータ(以下、認証特徴量という。)が予め記憶されており、飛行操作コマンドには、飛行先の位置に加えて、認証特徴量記憶部253に記憶されている認証特徴量と、呼出し音声記憶部252に記憶されている呼出し音声データとが含められるものとする。
また、飛行制御部214は、飛行操作コマンドを送信後、飛行装置10から送信される飛行装置10の現在位置を受信し、受信した飛行装置10の現在位置を飛行位置記憶部251に登録する。飛行制御部214は、定期的に飛行装置10から送信される飛行装置10の現在位置を受信した場合には、飛行位置記憶部322の現在位置を更新する。
トリガー通知部215は、飛行装置10から送信されるトリガー通知を受信する。トリガー通知部215は、トリガー通知を受信した場合、その旨を監視者2に報知する。トリガー通知部215は、例えば、タッチパネルディスプレイ206にトリガー通知を受信した旨を表示してもよいし、トリガー通知を受信した旨を表現する音声データをスピーカ208から出力してもよい。
画像出力部216は、飛行装置10から受信した画像をタッチパネルディスプレイ206に出力する。画像出力部216は、受信した画像をメモリ202や記憶装置203に書き込むようにしてもよい。
通話処理部217は、飛行装置10との間での通話に係る処理を行う。通話処理部217は、マイク207で集音された音声データを取得し、取得した音声データを飛行装置10に送信する。また、通話処理部217は、飛行装置10から送信される音声データを受信し、受信した音声データをスピーカ208から出力する。なお、通話処理部217による通話処理については、公知の音声通話に関する処理を用いることができる。
==処理==
以下、本実施形態の通話システムにおける処理について説明する。
図6は、本実施形態に係る通話システムにおいて実行される処理の流れを説明する図である。
ユーザ端末20において飛行位置指定部212は、監視者2から飛行装置10の飛行先となる位置の指定を受け付ける(S301)。呼出し音声登録部213は、呼出し音声データとなる音声データの入力を受け付け、受け付けた音声データを呼出し音声記憶部252に呼出し音声データとして登録する(S302)。飛行位置指定部212は、飛行位置指定部212が受け付けた飛行先の位置と、呼出し音声記憶部252に記憶されている呼出し音声データと、認証特徴量記憶部253に登録されている認証特徴量とを設定した飛行操作コマンドを飛行装置10に送信する(S303)。
飛行装置10では、指示受信部111がユーザ端末20から送信される飛行操作コマンドを受信し、受信した飛行操作コマンドに含まれている呼出し音声データを呼出し音声記憶部152に登録するとともに、飛行操作コマンドに含まれている認証特徴量を認証特徴量記憶部153に登録する(S304)。飛行制御部112は、飛行操作コマンドに含まれている位置まで飛行するように各種の制御を行い(S305)、飛行装置10が指定された位置まで飛行すると、撮影処理部116はカメラ12による画像の撮影を開始し、撮影した画像をユーザ端末20に順次送信する(S306)。
呼出し処理部114は、呼出し音声記憶部152に記憶されている呼出し音声データをスピーカ16から出力し(S307)、マイク15が集音した音声データを取得する(S308)。呼出し処理部114は、マイク15が集音した音声データから認証特徴量記憶部153に記憶されている認証特徴量を抽出できなければ(S309:YES)、ステップS307からの処理を繰り返す。呼出し処理部114が認証特徴量を抽出できた場合(S309:YES)、通話処理部117は、マイク15で集音された音声データをユーザ端末20に送信し、ユーザ端末20から送信されてくる音声データを受信して、受信した音声データをスピーカ16から出力し、ユーザ端末20との間で音声データの送受信を行って通話に係る処理を行う(S310)。
ユーザ端末20では、画像出力部216が、飛行装置10から送信されてくる画像を受信してタッチパネルディスプレイ206に出力し(S311)、通話処理部217が、飛行装置10から送信される音声データを受信し、スピーカ208から出力し、マイク207で集音した音声データを飛行装置10に送信して通話に係る処理を行う(S312)。
==効果==
以上説明したように、本実施形態の通話システムによれば、監視者2は被監視者1のところまで飛行装置10を飛行させ、飛行装置10とユーザ端末20とを介して被監視者1と通話することができる。したがって、例えば、被監視者1が携帯電話等の通話装置を携帯していないような場合であっても、監視者2は被監視者1と直接音声にてコミュニケーションを取ることが可能となる。
また、本実施形態の通話システムによれば、飛行装置10が備えるカメラ15を用いて被監視者1の様子を監視者2は映像でも確認することができる。
また、本実施形態の通話システムによれば、所定のキーワードが発声されたことを契機として監視者2に対する通知を行うことができる。したがって、監視者2が常に被監視者1の音声を視聴していなくても、被監視者1側からコミュニケーションの端緒を形成することが可能となる。これにより、双方向のコミュニケーションを容易に実現することができる。
また、本実施形態の通話システムによれば、録音しておいた呼出し音声データを用いて被監視者1に対する呼びかけを行うことができる。この場合において、監視者2の声を録音した音声データを呼出し音声データとして用いることにより、被監視者1にとって効果的に注意を喚起することが可能となる。よって、コミュニケーションを容易に確立することができる。
また、本実施形態の通話システムによれば、予め準備しておいた被監視者1の声の特徴量を用いて被監視者1からの応答を検出することができる。したがって、カメラでの視認が困難か状況であっても、音声を用いて被監視者1を特定することができる。
また、本実施形態の通話システムによれば、録音しておいた呼出し音声データを繰り返し再生することにより被監視者1に対する呼びかけを行うことができる。これにより、監視者2は発声し続けることなく被監視者1への呼びかけを継続することが可能となる。よって、コミュニケーションを確実に確立することができる。
以上、本発明の一実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。
==変形例==
(ビーコン)
本実施形態では、被監視者1の位置はユーザ端末20を用いて監視者2が指定するものとしたが、これに限らず、例えば、被監視者1にビーコンを携帯させ、被監視者1の活動範囲にビーコンの受信機を設置しておき、ビーコンからの信号を受信した受信機の位置を被監視者1の位置としてユーザ端末20が取得するようにしてもよい。
(カメラなし)
本実施形態では、飛行装置10はカメラ12を備え、飛行装置10が撮影した画像がユーザ端末20に送信されるものとしたが、飛行装置10はカメラ12を備えず、飛行装置10とユーザ端末20との間は音声データのやりとりだけが行われるようにしてもよい。
(複数台のカメラ)
また、本実施形態では、飛行体10には1台のカメラが搭載されるものとしたが、これに限らず、被監視者1を撮影するカメラと、被監視者1の周囲を撮影するカメラを含む複数台のカメラが搭載されてもよい。
(飛行装置10による危険検知)
本実施形態では、飛行装置10にカメラ12を搭載し、ユーザ端末20において飛行装置10が撮影した映像を視聴するものとしたが、ユーザ端末20が備えるカメラが撮影した映像を飛行装置10に送信し、飛行装置10側においてユーザ端末20側の様子を表示するようにしてもよい。
(物を運搬する)
本実施形態では、飛行装置10はユーザ端末20からの指示に応じてそのまま飛行するものとしたが、飛行するにあたり、被監視者1に対して物品を輸送してもよい。この場合、飛行装置10は、ユーザ端末20からの指示に応じて飛行する前に、荷物を積載する場所まで飛行し、荷物を積載してから被監視者1の近傍まで飛行するようにする。また、飛行装置10は、被監視者1の近傍まで飛行したのち、被監視者1から輸送して欲しい物品の指定を受け付け、指定された物品を積載するために荷物の積載場所まで移動し、荷物を積載したうえで被監視者1の位置まで戻るようにすることもできる。この場合、被監視者1は音声により物品を指定し、飛行装置10はマイク15が集音した音声データを解析して音声認識により積載する物品を特定することができる。
(飛行装置10で画像の表示)
本実施形態では、ユーザ端末20から飛行装置10に対して送信される情報は音声データのみであるものとしたが、飛行装置10が表示装置を備えるようにして、ユーザ端末20から飛行装置10に画像を送信し、飛行装置10側に視覚に訴える情報を出力させるようにしてもよい。
この場合の飛行装置10の構成例を図7に示す。図1との違いは、飛行装置10がさらに表示装置120を備える点である。表示装置120は、例えば、液晶ディプレイやプロジェクタなど、視覚に訴える情報を出力する装置である。また、図8は、飛行装置10が表示装置120を備える場合のフライトコントリーラ11の構成例を示す図である。図3との違いは、画像を表示するための画像表示部118をフライトコントローラ11が備える点である。画像表示部118は、ユーザ端末20から受信した画像データを表示装置120に表示する。
図9は、飛行装置10が表示装置120を備える場合のユーザ端末20のソフトウェア構成例を示す図である。図5との違いは、ユーザ端末20が伝達画像記憶部254を備える点である。伝達画像記憶部254は、飛行装置10に送信するための画像データを記憶する。なお、伝達画像記憶部254は、例えば、ユーザ端末20が備えるカメラが撮影した画像データを記憶するライブラリとすることができる。
この場合、図6に示した処理において、飛行制御部214は、飛行装置10に飛行操作コマンドを送信するにあたり(S303)、伝達画像記憶部254に記憶されている画像データのうち飛行装置10に表示するべき画像データの指定を監視者2から受け付け、指定された画像データを飛行操作コマンドに含めて飛行装置10に送信する。
画像表示部118は、飛行操作コマンドを受信した場合に(S304)、受信した飛行操作コマンドに含まれている画像データを表示装置120に表示したうえで、呼出し処理部114が呼出し音声データの再生を行う(S307)。
このようにすることで、例えば、被監視者1に対して視覚に訴える情報を出力しながら、聴覚に訴える呼出し音声データを再生することができるので、被監視者1が飛行装置10に注意を向ける可能性が高まると考えられる。よって、より迅速なコミュニケーションの端緒となることが期待される。
10 飛行装置
20 ユーザ端末
11 フライトコントローラ
12 カメラ
13 ジンバル
14 送受信部
15 マイク
16 スピーカ
17 ESC
18 モータ
19 プロペラ
111 指示受信部
112 飛行制御部
113 現在位置取得部
114 呼出し処理部
115 トリガー検出部
116 撮影処理部
117 通話処理部
118 画像表示部
120 表示装置
151 現在位置記憶部
152 呼出し音声記憶部
153 認証特徴量記憶部
154 トリガー特徴量記憶部
211 現在位置取得部
212 開始位置指定部
213 呼出し音声登録部
214 飛行制御部
215 トリガー通知部
216 画像出力部
217 通話処理部
251 飛行位置記憶部
252 呼出し音声記憶部
253 認証特徴量記憶部
254 伝達画像記憶部


Claims (7)

  1. 第1のマイクおよび第1のスピーカを有する携帯端末と、
    第2のマイクおよび第2のスピーカを有する飛行装置と、
    を備え、
    前記携帯端末は、
    通話相手の近傍まで前記飛行装置を飛行させるように制御する飛行制御部と、
    前記第1のマイクが集音した第1の音声データを前記飛行装置に送信し、前記飛行装置から送信される第2の音声データを受信して前記第1のスピーカから出力する第1の通話処理部と、を備え、
    前記飛行装置は、
    前記第2のマイクが集音した前記第2の音声データを前記携帯端末に送信し、前記携帯端末から送信される前記第1の音声データを受信して前記第2のスピーカから出力する第2の通話処理部を備えること、
    を特徴とする通話システム。
  2. 請求項1に記載の通話システムであって、
    前記飛行装置は、
    カメラと、
    前記カメラが撮影した画像を前記携帯端末に送信する画像送信部と、
    をさらに備えることを特徴とする通話システム。
  3. 請求項1に記載の通話システムであって、
    前記第2の音声送信部は、前記第2の音声データから特徴量を抽出し、所定の前記特徴量を抽出できた場合に、前記携帯端末のユーザに対してメッセージを送信し、
    前記第1の音声受信部は、前記メッセージに応じて前記携帯端末のユーザに対して注意喚起のための画像または音声を出力すること、
    を特徴とする通話システム。
  4. 請求項1に記載の通話システムであって、
    前記携帯端末は、前記通話相手の呼出し用の前記第1の音声データである呼出し音声データを作成し、前記呼び出し音性データを前記飛行装置に送信する第1の呼出し処理部をさらに備え、
    前記飛行装置は、前記呼出し音声データを受信し、受信した前記呼出し音声データを前記第2のスピーカから出力する第2の呼出し処理部をさらに備えること、
    を特徴とする通話システム。
  5. 請求項4に記載の通話システムであって、
    前記飛行装置は、前記第2の音声データに基づいて前記通話相手の認証を行う認証処理部をさらに備えること、
    を特徴とする通話システム。
  6. 請求項5に記載の通話システムであって、
    前記第2の呼出し処理部は、前記認証処理部が前記通話相手の認証に成功するまで、前記呼出し音声データを前記第2のスピーカから出力すること、
    を特徴とする通話システム。
  7. 請求項4に記載の通話システムであって、
    前記飛行装置は、情報を表示する表示装置を備え、
    前記第1の呼出し処理部は、前記通話相手の呼出し用の画像を前記飛行装置に送信し、
    前記第2の呼出し処理部は、前記呼出し用の画像を受信し、受信した前記呼出し用の画像を前記表示装置に表示すること、
    を特徴とする通話システム。


JP2018082789A 2018-04-24 2018-04-24 通話システム Active JP6570002B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018082789A JP6570002B1 (ja) 2018-04-24 2018-04-24 通話システム
JP2019139077A JP6945149B2 (ja) 2018-04-24 2019-07-29 通話システム、通話方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018082789A JP6570002B1 (ja) 2018-04-24 2018-04-24 通話システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019139077A Division JP6945149B2 (ja) 2018-04-24 2019-07-29 通話システム、通話方法

Publications (2)

Publication Number Publication Date
JP6570002B1 JP6570002B1 (ja) 2019-09-04
JP2019193054A true JP2019193054A (ja) 2019-10-31

Family

ID=67844786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018082789A Active JP6570002B1 (ja) 2018-04-24 2018-04-24 通話システム

Country Status (1)

Country Link
JP (1) JP6570002B1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP2005103703A (ja) * 2003-09-30 2005-04-21 Toshiba Corp ロボット
JP2014522053A (ja) * 2011-08-02 2014-08-28 マイクロソフト コーポレーション テレプレゼンスセッションを実行するためのシステム、方法及び記憶媒体
WO2016171160A1 (ja) * 2015-04-20 2016-10-27 株式会社プロドローン 音声伝達システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP2005103703A (ja) * 2003-09-30 2005-04-21 Toshiba Corp ロボット
JP2014522053A (ja) * 2011-08-02 2014-08-28 マイクロソフト コーポレーション テレプレゼンスセッションを実行するためのシステム、方法及び記憶媒体
WO2016171160A1 (ja) * 2015-04-20 2016-10-27 株式会社プロドローン 音声伝達システム

Also Published As

Publication number Publication date
JP6570002B1 (ja) 2019-09-04

Similar Documents

Publication Publication Date Title
US10021339B2 (en) Electronic device for generating video data
WO2018008224A1 (ja) ロボット、ロボットシステム及び記憶媒体
KR101689621B1 (ko) 이중 와이파이 접속 기능을 구비한 차량용 영상 기록 장치 및 이를 이용한 영상 공유 시스템
WO2018152849A1 (zh) 控制方法、远程监控设备、基站、服务器和流媒体服务器
WO2019119434A1 (zh) 信息处理方法、无人机、遥控设备以及非易失性存储介质
US8692666B2 (en) Communication system and communication terminal
EP3261405B1 (fr) Réseau local pour l'échange simultané de données entre un drone et une pluralité de terminaux utilisateur, désignant un terminal utilisateur principal unique controlant le drone
WO2019041633A1 (zh) 通信中继方法、中继飞行体、程序以及记录介质
JP2017021445A (ja) 通信装置、その制御方法、プログラム
WO2019241970A1 (zh) 无人机的扬声器控制方法和设备
WO2021251441A1 (ja) 方法、システムおよびプログラム
JP6570002B1 (ja) 通話システム
JP2004118087A (ja) 撮影装置、飛行撮影システム、および、撮影方法
WO2020179869A1 (ja) 情報処理装置、及び情報処理プログラム
JP6945149B2 (ja) 通話システム、通話方法
WO2020237429A1 (zh) 遥控设备的控制方法和遥控设备
JP6726649B2 (ja) 飛行装置、管理装置、撮影制御方法、及び撮影制御プログラム
WO2019134124A1 (zh) 控制方法、无人机、遥控设备以及非易失性存储介质
WO2022091787A1 (ja) コミュニケーションシステム、ロボット、及び記憶媒体
WO2021075138A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6992365B2 (ja) 端末装置、カメラシステムおよび制御方法
JP2019018664A (ja) 撮像制御システム
JP2010271064A (ja) ナビゲーション装置
WO2022014273A1 (ja) 撮像支援制御装置、撮像支援制御方法、撮像支援システム
JP7102794B2 (ja) 無人航空機、および見守り方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180920

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181112

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190729

R150 Certificate of patent or registration of utility model

Ref document number: 6570002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533