JP2020030739A - 通信装置、その制御方法、およびそのプログラム - Google Patents

通信装置、その制御方法、およびそのプログラム Download PDF

Info

Publication number
JP2020030739A
JP2020030739A JP2018157274A JP2018157274A JP2020030739A JP 2020030739 A JP2020030739 A JP 2020030739A JP 2018157274 A JP2018157274 A JP 2018157274A JP 2018157274 A JP2018157274 A JP 2018157274A JP 2020030739 A JP2020030739 A JP 2020030739A
Authority
JP
Japan
Prior art keywords
user
unit
communication device
smartphone
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018157274A
Other languages
English (en)
Other versions
JP7313807B2 (ja
JP2020030739A5 (ja
Inventor
高橋 誠治
Seiji Takahashi
誠治 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018157274A priority Critical patent/JP7313807B2/ja
Publication of JP2020030739A publication Critical patent/JP2020030739A/ja
Publication of JP2020030739A5 publication Critical patent/JP2020030739A5/ja
Application granted granted Critical
Publication of JP7313807B2 publication Critical patent/JP7313807B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)

Abstract

【課題】音声入力により送信が指示されたデータを受信する際にユーザに違和感を与えない通信装置、その制御方法、およびそのプログラムを提供する。【解決手段】記録媒体にユーザ情報を記録する記録手段と音声を集音する集音手段と集音された音声がどのユーザにより発されたのかを記録手段によって記録されたユーザ情報に基づいて判断する判断手段と、集音された音声が通信装置へのデータの送信を指示するものであることを認識する認識手段と、外部装置から送信されるデータを受信する第一の通信手段と、制御手段とを有し、集音された音声が記録媒体に記録されており且つ外部装置のユーザによるものであることを判断手段によって判断し、通信装置へのデータの送信を指示するものであることを認識手段によって認識した場合、制御手段は外部装置から送信されるデータを通信装置のユーザから指示を受け付けることなく受信するよう第一の通信手段を制御する。【選択図】図3

Description

本発明は、音声を認識する機能を有する通信装置に関する。
通信装置同士で画像データを送受信する場合、ユーザは通信装置の画面操作を行う方法が知られている。例えば、特許文献1にはユーザがカメラの画面を操作して携帯電話へ画像データを送信する発明が開示されている。また、画面操作の代わりに音声入力によって通信装置を操作する方法が知られている。
特開2014−131225号公報
音声入力を導入した場合、ユーザは画面操作の代わりに音声入力によって通信装置を操作することで、手軽に画像データの送受信することが考えられる。画像データを送信しようとするユーザは、送信する画像データを指定するため通信装置を取り出していることが想定されるため、画像データを音声入力によって送信するという操作を違和感なく行うことができる。一方、画像データを受信しようとするユーザは、画像データを受信する場合に必ずしも通信装置が手元にあるとは限らないため、画像データを音声入力によって受信するという操作に違和感を覚える場合が想定される。そこで、音声入力により送信が指示されたデータを受信する際にユーザに違和感を与えないようにすることを目的とする。
上記目的を達成するために、本発明の通信装置は、記録媒体にユーザ情報を記録する記録手段と、周囲の音声を集音する集音手段と、前記集音手段によって集音された音声がどのユーザにより発されたのかを、前記記録手段によって記録された前記ユーザ情報に基づいて判断する判断手段と、前記集音手段によって集音された音声が前記通信装置へのデータの送信を指示するものであることを認識する認識手段と、外部装置から送信されるデータを受信する第一の通信手段と、制御手段と、を有し、前記集音手段によって集音された音声が、前記記録媒体に記録されており且つ前記外部装置のユーザによるものであることを前記判断手段によって判断し、および前記通信装置へのデータの送信を指示するものであることを前記認識手段によって認識した場合、前記制御手段は、前記外部装置から送信されるデータを、前記通信装置のユーザから指示を受け付けることなく受信するよう前記第一の通信手段を制御することを特徴とする。
本発明によれば音声入力により送信が指示されたデータを受信する際にユーザに違和感を与えないようにすることができる。
実施形態1におけるスマートフォン100のブロック図の一例。 実施形態1におけるスマートフォン100と信頼できないユーザのスマートフォンとの通信手順の一例を説明するためのシーケンス図。 実施形態1におけるスマートフォン100と信頼できるユーザのスマートフォンとの通信手順の一例を説明するためのシーケンス図。 実施形態1におけるスマートフォン100の動作の一例を示すフローチャート。
以下に、本発明を実施するための形態について、添付の図面を用いて詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。
[実施形態1]
<各装置の構成>
図1は、本実施形態における通信装置の一例であるスマートフォン100を示すブロック図である。これ以降の実施形態の説明ではスマートフォン100を例に挙げて説明するが、本実施形態の通信装置はスマートフォンに限定されない。本発明の通信装置は、例えばスマートフォン端末、タブレット端末、ゲーム機器、デジタルカメラ、スマートデバイス、およびスマートスピーカ等である。本実施形態の通信装置は通信機能および音声アシスタント機能を有する。音声アシスタント機能とは、集音した音声に所定の単語(いわゆるウェイクワード)が含まれる場合、そのウェイクワードに続く音声を認識し、認識した音声に対応する処理をスマートフォン100が行う機能である。例えばユーザがウェイクワードの後に「○○駅から△△駅までの運賃は」と発言した場合、スマートフォン100はまずユーザの音声の内容を認識するための処理を行う。この音声を認識する方法には、スマートフォン100の不揮発性メモリ103に記録している音声を認識するためのプログラムを用いる方法やスマートフォン100が外部サーバを利用する方法等がある。外部サーバを利用する場合、スマートフォン100は集音した音声を外部サーバに送信し、外部サーバにおいて認識された音声に関する情報を受信することで音声を認識する。スマートフォン100は認識した音声(発言)に対応するプログラムや外部サーバを用いて○○駅から△△駅までの運賃の情報を取得し、音や表示部等を用いてユーザに通知する。
本実施形態において、スマートフォン100の所有者(ユーザ)が他の人のスマートフォン100へデータを送信する発言をする例(例えばユーザが「表示中の画像データを他のユーザに送信する」と発言する場合)を説明する。所有者は、例えばスマートフォン100に管理者(Administrator)として登録されているユーザやスマートフォン100にログイン中であるユーザである。
制御部101は、入力された信号や、プログラムに従ってスマートフォン100の各部を制御する。なお、制御部101が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
メモリ102は、各種データを一時的に保持するバッファメモリや、制御部101の作業領域等として使用される。
不揮発性メモリ103は、電気的に消去・記録可能な不揮発性のメモリであり、制御部101で実行されるプログラム等が格納される。このプログラムは、前述した音声アシスタント機能に関するプログラムを含む。
操作部104は、スマートフォン100に対する指示をユーザから受け付けるために用いられる。操作部104は例えば、ユーザがスマートフォン100の電源のON/OFFを指示するための電源ボタンや、通信機能のON/OFFを指示するための操作ボタンを含む。また、後述する表示部105上に取り付けられるタッチパネルも操作部104に含まれる。
表示部105は、対話的な操作のためのGUI(Graphical User Interface)表示を行う。なお、表示部105は必ずしもスマートフォン100が内蔵する必要はない。スマートフォン100は表示内容を制御する表示制御機能を少なくとも有していればよい。また、表示部105はタッチパネルと一体的に構成されている。例えば、タッチパネルは、光の透過率が表示部105の表示を妨げないように構成され、表示部105の表示面の上層に取り付けられる。そして、タッチパネルにおける入力座標と、表示部105の表示面上の表示座標とを対応付ける。これにより、あたかもユーザが表示部105上に表示された画面を直接的に操作可能であるかのようなGUIを提供できる。
集音部106は、外部の音を集音して電気信号に変換するデバイスである。集音部106は例えばマイクロフォン等である。
記録媒体107は、各種データを記録することができる。記録媒体107は、スマートフォン100に着脱可能なように構成してもよいし、スマートフォン100に内蔵されていてもよい。すなわち、スマートフォン100は少なくとも記録媒体107にアクセスする手段を有していればよい。
近距離無線通信部111は、例えば無線通信のためのアンテナと無線信号を処理するため変復調回路や通信コントローラから構成される。近距離無線通信部111は、変調した無線信号をアンテナから出力し、またアンテナで受信した無線信号を復調することによりIEEE802.15の無線通信規格(いわゆるBluetooth(登録商標))に準拠した近距離無線通信を実現する。本実施形態においてBluetooth通信は、Bluetoothのバージョン5.0以降に規定されているBluetooth Low Energy(以下、BLEと略す)という仕様を採用する。BLE通信は、後述する無線通信部112よりも低消費電力である。制御部101は、近距離無線通信部111を制御し、他の機器とのBLE通信を実現する。
無線通信部112は、無線通信を実現するための通信ユニットである。無線通信部112は、無線通信のためのアンテナと無線信号を処理するための通信コントローラから構成さる。本実施形態において無線通信部112は、IEEE802.11の無線通信規格に準拠した無線LAN通信、いわゆるWi−Fi(登録商標)で通信するためのインターフェースを含む。制御部101は、無線通信部112を制御し、他の機器との無線LAN通信を実現する。本実施形態において無線LAN通信はBLE通信よりも通信速度が速い。
なお、本実施形態においてスマートフォン100はウェイクワードや後述する信頼できるユーザの音声を記録するために、電源ONの状態において音声を集音している。電源ONの状態は、例えば、制御部101、メモリ102、不揮発性メモリ103、集音部106、記録媒体107、近距離無線通信部111、および無線通信部112が動作している状態である。この状態は、表示部105等がOFFであるような省電力な状態も含む。
また、本実施形態においてスマートフォン100には信頼できるユーザおよび信頼できるユーザの音声を登録できる。信頼できるユーザは、例えばユーザがスマートフォン100を操作して電話帳やアカウント等に登録されているユーザの中から信頼できるとしたユーザのことである。なお、所有者は信頼できるユーザに含まれる。信頼できるユーザの音声は、例えば信頼できるユーザに関連付けて登録された音声、所定の時間内に認識した音声、および所定の音量以上の音声等である。スマートフォン100は信頼できるユーザの音声の特徴である声紋をユーザ情報としてメモリ102、不揮発性メモリ103、および記録媒体107の少なくとも一つに記録している。スマートフォン100に音声を登録する方法には、例えばユーザが友人の音声を集音して、その音声をその友人のアカウントに登録する方法がある。所定の時間内に認識した音声は、例えばウェイクワードを集音する5分前までに認識した音声のことである。なおスマートフォン100は現在から5分以内における音声を記録しているが、5分より前の音声については削除する。所定の時間内に認識した音声および所定の音量以上の音声を信頼できるユーザとする理由は、例えばユーザ同士が歓談中にデータの送受信を行うユースケースを想定している。その場合においては所定の時間内または所定の音量以上の音声が発せられていると考えられるからである。
<システムの概要>
図2および図3を用いて、本実施形態における通信装置の一例を説明する。
図2はスマートフォンA100とスマートフォンB100との間の無線通信の一例を示したシーケンス図である。図3は、スマートフォンA100とスマートフォンC100との間の無線通信の一例を示したシーケンス図である。ここで、ユーザAはスマートフォンA100に所有者として登録されている。ユーザBはスマートフォンB100に所有者として登録されている。ユーザCはスマートフォンC100に所有者として登録されている。ユーザA、ユーザB、およびユーザCはそれぞれ異なる人物である。ユーザAはスマートフォンA100以外のスマートフォンには所有者として登録されていない。ユーザBはスマートフォンB100以外のスマートフォンには所有者として登録されていない。ユーザCはスマートフォンC100以外のスマートフォンには所有者として登録されていない。また本実施形態において、スマートフォンB100ではユーザAは信頼できるユーザとして記録されておらず、スマートフォンC100ではユーザAは信頼できるユーザとして記録されているものとする。例えば、ユーザAはユーザCとは友達であるがユーザBとは初対面の状況において、ユーザAがスマートフォンA100を用いてユーザBおよびユーザCを撮影し、ユーザAは音声での指示によってその画像データをユーザBおよびユーザCに送ることを想定する。ただし、例えばユーザAとユーザBが歓談した場合、スマートフォンB100はユーザAを信頼できるユーザとして記録するが、説明を簡易にするためにそのような場合を本実施形態では考慮しない。
図2および図3において、スマートフォンA100、スマートフォンB100、およびスマートフォンC100は、いずれもスマートフォン100と同様の構成を有する。また図2および図3において、BLE通信は破線の矢印、無線LAN通信は実線の矢印で示す。図2および図3において、ユーザAが、スマートフォンB100またはスマートフォンC100に対して画像データを送信する指示を音声によって行った場合を例に説明する。具体的には、ユーザAがウェイクワードに続いて「表示中の画像データをユーザB(またはユーザC)に送る」等とスマートフォンA100に言った場合である。図2において、ユーザAがスマートフォンA100からスマートフォンB100へ画像データを送信する例を説明する。スマートフォンA100およびスマートフォンB100はウェイクワードを集音したことをトリガに本シーケンスにおける処理を開始する。
ステップS201において、ユーザAは音声によってスマートフォンA100からユーザBへ画像データの送信を指示する。例えば、ユーザAがウェイクワードに続いて「表示中の画像データをユーザBに送る」と指示する。ステップS202において、ユーザAはステップS201と同様に指示する。ここで、ステップS201、S202においてスマートフォンA100およびスマートフォンB100はユーザAから個別に指示されたのではなく、同じ指示(音声)を集音している。言いかえると、ユーザAはスマートフォンA100、およびスマートフォンB100のそれぞれに指示しているのではなく、1回だけ指示している。この時点では、スマートフォンA100およびスマートフォンB100は音声の内容について認識するための処理を行わない。
ステップS203において、スマートフォンA100は、ステップS201において集音した音声が信頼できるユーザか否かを判断する。例えばスマートフォンA100はメモリ102、不揮発性メモリ103、または記録媒体107に記録されている声紋と集音した音声の声紋とを比較して、2つの声紋が一致するか否か判断する。本実施形態において、スマートフォンA100はステップS201において集音した音声がスマートフォンA100所有者(ユーザA)の音声と一致すると判断し、ステップS205の処理を行う。スマートフォンA100は、ステップS204において、スマートフォンB100はステップS203と同様に、集音した音声を発したユーザを判断する。本実施形態において、スマートフォンB100はステップS202において集音した音声の声紋は信頼できるユーザの声紋と一致しないと判断し、音声の内容を認識するための処理を行わない。
ステップS205において、スマートフォンA100はステップS201において集音した音声の内容を認識する。例えばスマートフォンA100は集音した音声を外部サーバに送信し、外部サーバにおいて認識された音声に関する情報を受信することで音声を認識する。本実施形態においてこの情報は、「スマートフォンA100が現在表示している画像をユーザBに送信する」ことを意味する情報である。
ステップS206において、スマートフォンA100はステップS205の認識に基づき、画像データを送信することを示す通知をBLE通信によりブロードキャストする。この場合、スマートフォンA100は、ブロードキャストした通知にユーザBを示す情報(例えば、ユーザ名やスマートフォンB100のデバイスID等)を含める。スマートフォンB100はこの通知を受信し、所有者であるユーザBへの画像データの送信であると判断し、スマートフォンA100から画像データを受信するための処理を行う。
ステップS207において、スマートフォンB100は、ステップS204においてユーザAを信頼できないユーザと判断したため、スマートフォンA100から通知が来たことをスマートフォンB100の所有者であるユーザBに報知する。例えば、スマートフォンB100は表示部105にスマートフォンA100から画像データを受信するか否かを確認するダイアログボックスを表示する。
ステップS208において、ユーザBはスマートフォンB100にスマートフォンA100から画像データを受信するように操作を行う。例えば、ユーザBがステップS207において表示されたダイアログボックスにあるYESボタンを押す等の操作がある。
ステップS209において、スマートフォンB100はスマートフォンA100にBLE通信によって画像データを受信することを示す通知を送信する。スマートフォンB100は、少なくともスマートフォンA100との無線LAN接続に必要な接続情報(例えば、SSIDやIPアドレス等)をこの通知に含める。
ステップS210において、スマートフォンA100とスマートフォンB100は、無線LAN接続する。スマートフォンA100はこの無線LAN接続において、ステップS209においてスマートフォンB100から受信した情報を用いる。
ステップS211において、スマートフォンA100は、スマートフォンB100に対して、無線LAN通信によって画像データを送信する。この画像データは、ステップS201においてユーザがスマートフォンA100に対してスマートフォンB100へ送信するように指示した画像データである。
ステップS212において、スマートフォンA100は、スマートフォンB100との無線LAN接続を切断する。
以上、図2において、スマートフォンA100とスマートフォンB100との間の無線通信の一例を説明した。
なお、ステップS208において、ユーザBがスマートフォンA100から画像データを受信しないように操作した場合、ステップS209においてスマートフォンB100はスマートフォンA100へ画像データを受信しないことを示す通知を送信する。例えば、ステップS208ユーザBがステップS207において表示されたダイアログボックスにあるNOボタンを押す等の操作によって、スマートフォンB100はスマートフォンA100へ画像データを受信しない通知を送信する。
次に図3においてスマートフォンA100とスマートフォンC100との間の無線通信の一例を説明する。図3において、ユーザAがスマートフォンA100からスマートフォンC100へ画像データを送信する例を説明する。スマートフォンA100およびスマートフォンC100はウェイクワードを集音したことをトリガに本シーケンスにおける処理を開始する。ここでスマートフォンA100およびスマートフォンC100はユーザAを信頼できるユーザとして認識する。
ステップS301において、ユーザAは音声によってスマートフォンA100からユーザCへ画像データの送信を指示する。例えば、ユーザAがウェイクワードに続いて「表示中の画像データをユーザCに送る」と指示する。ステップS302において、ユーザAはステップS301と同様に指示する。ここで、ステップS301、S302において、スマートフォンA100およびスマートフォンC100はユーザAから個別に指示されたのではなく、同じ指示(音声)を集音している。言いかえると、ユーザAはスマートフォンA100、およびスマートフォンC100のそれぞれに指示しているのではなく、1回だけ指示している。この時点では、スマートフォンA100およびスマートフォンC100は音声の内容について認識するための処理を行わない。
ステップS303において、スマートフォンA100は、ステップS301において集音した音声が信頼できるユーザか否かを判断する。例えばスマートフォンA100はメモリ102、不揮発性メモリ103、または記録媒体107に記録されている声紋と集音した音声の声紋とを比較して、2つの声紋が一致するか否か判断する。本実施形態において、スマートフォンA100はステップS301において集音した音声がスマートフォンA100の所有者(ユーザA)の音声と一致すると判断し、ステップS305の処理を行う。ステップS304において、スマートフォンC100はステップS303と同様に、集音した音声を発したユーザを判断する。本実施形態において、スマートフォンC100はステップS302において集音した音声の声紋はスマートフォンC100の所有者ではないが信頼できるユーザ(ユーザA)の声紋と一致すると判断し、ステップS306の処理を行う。
ステップS305において、スマートフォンA100はステップS301において集音した音声の内容を認識する。例えばスマートフォンA100は集音した音声を外部サーバに送信し、外部サーバにおいて認識された音声に関する情報を受信することで音声を認識する。本実施形態においてこの情報は、「スマートフォンA100が現在表示している画像をユーザCに送信する」ことを意味する情報である。ステップS306において、スマートフォンC100はステップS305と同様に、集音した音声の内容を認識する処理を行う。
ステップS307において、スマートフォンA100はステップS305の認識に基づき、画像データを送信することを示す通知をBLE通信によってブロードキャストする。この場合、スマートフォンA100は、ブロードキャストした通知にユーザCを示す情報(例えば、ユーザ名やスマートフォンC100のデバイスID等)を含める。スマートフォンC100はこの通知を受信し、所有者であるユーザCへの画像データの送信であると判断し、スマートフォンA100から画像データを受信するための処理を行う。
ステップS308において、スマートフォンC100は、ステップS304においてユーザAを信頼できるユーザと判断したため、スマートフォンA100にBLE通信によって画像データを受信することを示す通知を自動で送信する。スマートフォンC100は、少なくともスマートフォンA100との無線LAN接続に必要な接続情報(例えば、SSIDやIPアドレス等)をこの通知に含める。
ステップS309において、スマートフォンA100とスマートフォンC100は、無線LAN接続する。スマートフォンA100はこの無線LAN接続において、ステップS209においてスマートフォンC100から受信した情報を用いる。
ステップS310において、スマートフォンA100は、スマートフォンC100に対して、無線LAN通信によって画像データを送信する。この画像データは、ステップS301においてユーザがスマートフォンA100に対してスマートフォンC100へ送信するように指示した画像データである。
ステップS311において、スマートフォンA100は、スマートフォンC100との無線LAN接続を切断する。
以上、図3において、スマートフォンA100とスマートフォンC100との間の無線通信の一例を説明した。
<スマートフォン100の動作>
続いて、上記の動作を実現するためのスマートフォン100の処理手順について、図4を参照しながら説明する。
図4は、本実施形態におけるスマートフォン100の処理手順を示すフローチャートの一例である。なお、本フローチャートに示す処理は、スマートフォン100の制御部101がユーザによって入力された信号や不揮発性メモリ103等に記録されたプログラムに従い、スマートフォン100の各部を制御することにより実現される。
本フローチャートは、音声アシスタント機能が有効であるスマートフォン100が電源ONの状態において、制御部101によって実行される。
ステップS400において、制御部101は集音部106を用いて集音した音声にウェイクワードが含まれているか否かを判断する。ウェイクワードが含まれている場合、制御部101はステップS401の処理を行う。ウェイクワードが含まれていない場合、制御部101はステップS418の処理を行う。
ステップS401において、制御部101は集音部106を用いて集音した音声が信頼できるユーザによるものか否かを判断する。制御部101はユーザの判断を、不揮発性メモリ103に記録されているプログラムを用いて行う。例えば、制御部101はメモリ102または不揮発性メモリ103に記録されている信頼できるユーザの声紋と集音した音声の声紋とが一致するか否かを判断する。制御部101は音声が信頼できるユーザであると判断した場合は、ステップS402の処理を行う。制御部101は音声が信頼できるユーザではないと判断した場合は、ステップS418の処理を行う。本ステップは図2のステップS203、ステップS204および図3のステップS303およびステップS304に対応する。
ステップS402において、制御部101は音声アシスタント機能を用いて音声を認識し、画像データを送信するか受信するかを判断する。例えば制御部101は、集音した音声を外部サーバに送信し、外部サーバにおいて認識された音声に関する情報を受信することで音声を認識する。例えば、ユーザAが「表示中の画像データをユーザCに送る」と発言した場合、スマートフォンC100は自身の所有者であるユーザCに送信されると判断できるため、スマートフォンC100の制御部101は画像データを受信すると判断する。また、この場合、この発言の中にスマートフォンA100または自身の所有者であるユーザAを示す情報はないため、スマートフォンA100の制御部101は画像データを送信すると判断する。なお、スマートフォンB100はステップS401においてユーザAを信頼できないユーザと判断するため、スマートフォンB100の制御部101は本ステップの処理を行わない。データを送信すると判断した場合、ステップS420の処理を行う。制御部101は画像データを受信すると判断した場合、ステップS412の処理を行う。本ステップは図2のステップS205および図3のステップS305、ステップS306に対応する。
まず、スマートフォン100がデータを送信する場合について説明する。例えば、制御部101は他のユーザへ画像データを送信する指示を集音した場合にこの処理を行う。
ステップS403において、制御部101は画像データを送信することを示す通知を近距離無線通信部111を用いてブロードキャストする。制御部101はブロードキャストした通知に、他のユーザを示す情報(例えば、ユーザ名やデバイスID等)を含める。本ステップは図2のステップS206および図3のステップS307に対応する。
ステップS404において、制御部101はステップS403においてブロードキャストした通知に対する応答を近距離無線通信部111によって受信したか否かを判断する。制御部101が該応答を受信した場合はステップS405の処理を行う。制御部101が該応答を受信していない場合はステップS410の処理を行い、所定の時間が経過しているか否か判断する。本ステップは図2のステップS209および図3のステップS308に対応する。
ステップS405において、制御部101はステップS404において受信した応答の内容が他のスマートフォンが画像データを受信することを示すか否かを判断する。他のスマートフォンが画像データを受信することを示す応答だった場合、制御部101はステップS406の処理を行う。他のスマートフォンが画像データを受信しないことを示す応答だった場合、制御部101はステップS409の処理を行う。
ステップS406において、制御部101はステップS404において受信した応答に含まれる無線LAN接続に必要な情報を用いて、無線通信部112によって他のスマートフォンと無線LAN接続する。本ステップは図2のステップS210および図3のステップS309に対応する。
ステップS407において、制御部101は他のスマートフォンと無線通信部112を用いた無線LAN通信によって、ユーザに送信を指示された画像データを送信する。本ステップは図2のステップS211および図3のステップS310に対応する。
ステップS408において、制御部101は他のスマートフォンとの無線LAN接続を切断する。本ステップは図2のステップS212および図3のステップS311に対応する。
ステップS409において、制御部101は他のスマートフォンから画像データの受信を拒否されたことをユーザに報知して処理を終了する。例えば制御部101は、表示部105に「画像データの受信が拒否されました」等のメッセージを表示することやスピーカ(不図示)等を用いてメッセージを読み上げる音声を出力することでユーザに報知する。
ステップS410において、制御部101はステップS403においてブロードキャストしてから所定の時間以上経過したか否か判断する。制御部101は所定の時間が経過していないと判断した場合、ステップS404の処理を行い、他のスマートフォンから通知を受信するまで待機する。制御部101は所定の時間が経過したと判断した場合、ステップS411の処理を行う。
ステップS411において、制御部101は他のスマートフォンから応答を受信できなかったことをユーザに報知して処理を終了する。例えば制御部101は、表示部105に「画像データの送信ができませんでした」等のメッセージを表示することやスピーカ(不図示)等を用いてメッセージを読み上げる音声を出力することでユーザに報知する。これによりユーザは画像データの送信に失敗したことに気付いてすぐに再送を試みることができる。また、制御部101はステップS409と異なるメッセージを表示することで、エラーの種類を判別できる。
ここまで、スマートフォン100が画像データを送信する場合について説明した。次にスマートフォン100が信頼できるユーザから画像データを受信する場合について説明する。
ステップS412において、制御部101はスマートフォン100に対して画像データを送信することを示す通知を近距離無線通信部111によって受信したか否かを判断する。制御部101がその通知を受信した場合はステップS413の処理を行う。制御部101がその通知を受信していない場合はステップS417の処理を行い、所定の時間が経過しているか否か判断する。本ステップは図3のステップS307に対応する。
ステップS413において、制御部101はステップS412において受信した通知の送信元となるスマートフォンに対して、自動で近距離無線通信部111によって、画像データを受信することを示す通知を送信する。制御部101はこの通知に無線LAN接続に必要な接続情報(例えば、SSIDやIPアドレス等)を含める。このように信頼できるユーザに対しては自身の所有者でなくとも自動で画像データを受信する処理を行うことで、スマートフォン100のユーザは画像データを受信する操作を行わなくて済む。本ステップは図3のステップS308に対応する。
ステップS414において、制御部101はステップS413において送信した通知に含めた無線LAN接続に必要な情報を用いて、無線通信部112によって他のスマートフォンと無線LAN接続する。本ステップは図3のステップS309に対応する。
ステップS415において、制御部101は他のスマートフォンと無線通信部112を用いた無線LAN通信によって画像データを受信する。本ステップは図3のステップS310に対応する。
ステップS416において、制御部101は他のスマートフォンとの無線LAN接続を切断する。本ステップは図3のステップS311に対応する。
ステップS417において、制御部101はステップS402において音声を認識してから所定の時間以上経過したか否か判断する。制御部101は所定の時間が経過していないと判断した場合、ステップS412の処理を行い、他のスマートフォンから通知を受信するまで待機する。制御部101は所定の時間が経過したと判断した場合、処理を終了する。ここで制御部101は所定の時間が経過してもユーザに報知をしない理由は、ユーザに受信する意思がないと判断できるからである。
ここまで、制御部101がステップS400においてウェイクワードを認識した場合およびステップS401において集音した音声が信頼できるユーザと判断した場合について説明した。次に、制御部101がステップS400においてウェイクワードを認識しない場合またはステップS401において集音した音声が信頼できないユーザと判断した場合について説明する。
ステップS418において、制御部101はスマートフォン100に対して画像データを送信することを示す通知を近距離無線通信部111によって受信したか否かを判断する。制御部101がその通知を受信した場合はステップS419の処理を行う。制御部101がその通知を受信していない場合はステップS400の処理に戻る。本ステップは図2のステップS206に対応する。
ステップS419において、制御部101はユーザに画像データを送信することを示す通知を受信したことをユーザに報知する。例えば制御部101は表示部105に画像を受信するか否かを確認するダイアログボックスを表示する。ユーザはこのダイアログボックスに対してタッチ操作によって受信するか否かの操作を行う。本ステップは図2のステップS207に相当する。
ステップS420において、制御部101はユーザが操作した内容が画像データを受信するための操作か受信しないための操作かを判断する。制御部101は画像データを受信するための操作と判断した場合、ステップS413の処理を行い、画像データを受信するための処理を行う。制御部101は画像を受信しないための操作と判断した場合、ステップS421において画像データを受信しないための処理を行う。
ステップS421において、制御部101は画像データを送信する通知を送信したスマートフォンに対して、画像を受信しないことを示す通知を近距離無線通信部111によって送信する。
以上、スマートフォン100の詳細な動作について、図4を参照しながら説明した。
また、ステップS417において所定の時間が経過した後に制御部101は通知を表示せずに処理を終了するが、ステップS410と同様に所定の時間が経過した後に制御部101は通知を表示してもよい。例えば制御部101は、表示部105に「画像データの受信ができませんでした」や「Bluetoothの機能がOFFです」等の通知を表示する、またはスピーカ(不図示)等を用いてユーザに音で報知する等の処理を行う。制御部101がこのような処理を行うことで、ユーザはスマートフォン100が画像データを受信できない状態にあることに気付くことができる。
以上のように、本実施形態におけるスマートフォン100は、ユーザ操作を省略してデータを受信できる。これによって、例えばユーザがスマートフォン100をポケットに入れたまま画像データを受信できる。また、信頼できるユーザによるものでないスマートフォンからデータを受信する場合にはユーザ操作を必要とすることで、意図しないユーザから画像データを勝手に受信しないようにできる。
<その他の実施形態>
上述の実施形態では、スマートフォン100に記録されている画像データを送信する場合を例に挙げて説明したが、受信するデータはこれに限定されず、動画データや音声データであってもよい。また、スマートフォン100は特定のサービスのコンテンツ(例えば、電子マネーや絵文字等のデータ)を受信してもよい。ここでいう絵文字は電子的なデータである。絵文字は例えばSNSのチャットで用いられる。
上述の実施形態におけるスマートフォン100は、ウェイクワードをユーザごとに関連付けて記録する構成でもよい。例えば、特定のユーザが同じ単語を所定の時間内に所定回数発していると判定した場合、スマートフォン100はその単語を当該ユーザのウェイクワードとして判断し、そのユーザの声紋と一緒にユーザ情報として記録する。スマートフォン100はユーザごとにウェイクワードと声紋とを用いることで信頼できるユーザの音声を他のユーザの音声と判別しやすくなる。
上述の実施形態におけるスマートフォン100は、ユーザの声紋に加えて、顔情報に基づいて信頼できるか否かを判断してもよい。例えば、上述の実施形態におけるスマートフォン100が不図示の撮像手段を有しており、音声の集音と並行して周囲の人物の顔を撮像する。音声の集音と撮像した人物の口の動きのタイミングが一致しており、且つ、撮像した人物の顔を信頼できるユーザとしてユーザ情報に登録済みである場合、スマートフォン100は集音した音声を信頼できるユーザによるものと判定する。これにより、信頼できないユーザからデータを勝手に受信してしまう可能性を減らすことができる。
上述の実施形態におけるスマートフォン100は、ユーザの声紋に加えて、所定の時間以内にパケットを受信したことのある他のスマートフォンを信頼できるユーザのスマートフォンとして判断してもよい。例えば、他のスマートフォンは識別情報(例えば、デバイスID等)を繰り返しブロードキャストし、スマートフォン100はその識別情報を受信する。スマートフォン100はその識別情報を送信したスマートフォンと同じタイミングで集音した音声の声紋とを関連付けてユーザ情報として記録する。信頼できるユーザとスマートフォンを関連付けることで、より確実に受信したい画像データを受信できる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (19)

  1. 通信装置であって、
    記録媒体にユーザ情報を記録する記録手段と、
    周囲の音声を集音する集音手段と、
    前記集音手段によって集音された音声がどのユーザにより発されたのかを、前記記録手段によって記録された前記ユーザ情報に基づいて判断する判断手段と、
    前記集音手段によって集音された音声が前記通信装置へのデータの送信を指示するものであることを認識する認識手段と、
    外部装置から送信されるデータを受信する第一の通信手段と、
    制御手段と、を有し、
    前記集音手段によって集音された音声が、前記記録媒体に記録されており且つ前記外部装置のユーザによるものであることを前記判断手段によって判断し、および前記通信装置へのデータの送信を指示するものであることを前記認識手段によって認識した場合、前記制御手段は、前記外部装置から送信されるデータを、前記通信装置のユーザから指示を受け付けることなく受信するよう前記第一の通信手段を制御する
    ことを特徴とする通信装置。
  2. ユーザに報知する報知手段を有し、
    前記集音手段によって集音された音声が前記記録媒体に記録されていないユーザの声であると前記判断手段によって判断し、前記外部装置からデータを送信することを示す通知を受信した場合、前記制御手段は前記報知手段を用いて前記通信装置のユーザに報知する
    ことを特徴とする請求項1に記載の通信装置。
  3. さらに表示部を有し、
    前記報知手段は、前記表示部に前記データを受信するか否かを確認するダイアログボックスを表示することでユーザに報知する
    ことを特徴とする請求項2に記載の通信装置。
  4. 前記集音手段によって集音された音声が前記記録媒体に記録されていないユーザの声であると前記判断手段によって判断した場合、前記制御手段は前記通信装置へのデータの送信を指示する音声を前記認識手段によって認識しない
    ことを特徴とする請求項1から3のいずれか1項に記載の通信装置。
  5. 前記判断手段による前記集音手段によって集音された音声の判断は、前記認識手段による前記集音手段によって集音された音声の認識より先に実行される
    ことを特徴とする請求項1から4のいずれか1項に記載の通信装置。
  6. 前記制御手段は、前記集音手段によって集音した音声に所定の単語が含まれると判断した場合、前記集音手段によって集音した音声を前記判断手段によって判断する
    ことを特徴とする請求項1から5のいずれか1項に記載の通信装置。
  7. 前記所定の単語は、前記外部装置のユーザが所定の時間内に所定回数発した単語であることを特徴とする請求項6に記載の通信装置。
  8. 前記判断手段は、前記ユーザ情報と前記集音手段によって集音した音声の特徴とを比較することにより、前記集音手段によって集音された音声がどのユーザにより発されたのかを判断する
    ことを特徴とする請求項1から7のいずれか1項に記載の通信装置。
  9. 前記音声の特徴および前記ユーザ情報とは声紋であることを特徴とする請求項8に記載の通信装置。
  10. 前記ユーザ情報は、前記記録媒体に記録されている声紋、前記集音手段によって所定の時間内に集音した音声の声紋、および所定の音量以上の音声の声紋のいずれか一つであることを特徴とする請求項9に記載の通信装置。
  11. 前記制御手段は前記集音手段によって集音した音声の声紋と、前記外部装置とを関連付けて、前記記録媒体に前記記録手段によって前記ユーザ情報として記録することを特徴とする請求項9または10に記載の通信装置。
  12. 前記制御手段は、前記外部装置からパケットを受信したタイミングにおいて前記集音手段によって集音した音声の声紋と前記外部装置とを関連付けて、前記記録媒体に前記記録手段によって前記ユーザ情報として記録することを特徴とする請求項9または10に記載の通信装置。
  13. 前記制御手段は、前記集音手段によって集音した音声を前記通信手段を介して外部サーバに送信し、前記外部サーバから前記集音手段によって集音した音声の内容に関する情報を前記通信手段を介して受信し、
    前記認識手段は、前記情報に基づいて前記集音手段によって集音した音声の内容を認識する
    ことを特徴とする請求項1から12のいずれか1項に記載の通信装置。
  14. 前記制御手段は、前記外部装置から送信されるデータを受信した場合、前記外部装置との通信を切断する
    ことを特徴とする請求項1から13のいずれか1項に記載の通信装置。
  15. さらに第二の通信手段を有し、
    前記第二の無線通信手段は前記第一の無線通信手段より消費電力が低いことを特徴とし、
    前記制御手段は、前記第一の通信手段を介して前記通信装置と接続するための接続情報を、前記第二の通信手段を介して前記外部装置へ送信し、
    前記制御手段は、前記第二の通信手段を介して前記外部装置へ送信した前記接続情報を用いて、前記第一の通信手段を介して前記外部装置と接続する
    ことを特徴とする請求項1から14のいずれか1項に記載の通信装置。
  16. 前記制御手段は、前記外部装置からデータを送信することを示す通知を受信した場合、前記接続情報を前記第二の通信手段を介して送信する
    ことを特徴とする請求項15に記載の通信装置。
  17. 前記第一の無線通信手段はIEEE802.11の通信規格に準拠している
    ことを特徴とする請求項1から16のいずれか1項に記載の通信装置。
  18. 通信装置の制御方法であって、
    記録媒体にユーザ情報を記録する記録手段と、
    周囲の音声を集音する集音手段と、
    前記集音手段によって集音された音声がどのユーザにより発声されたのかを、前記記録手段によって記録された前記ユーザ情報に基づいて判断する判断手段と、
    前記集音手段によって集音された音声が前記通信装置へのデータの送信を指示するものであることを認識する認識手段と、
    外部装置から送信されるデータを受信する第一の通信手段と、
    を前記通信装置は有し、
    前記集音手段によって集音された音声が、前記記録媒体に記録されており且つ前記外部装置のユーザによるものであることを前記判断手段によって判断し、および前記通信装置へのデータの送信を指示するものであることを前記認識手段によって認識した場合、前記外部装置から送信されるデータを、前記通信装置のユーザから指示を受け付けることなく前記第一の通信手段によって受信する
    ことを特徴とする制御方法。
  19. コンピュータを請求項1から17のいずれか1項に記載の通信装置の各手段として機能させるための、コンピュータが読み取り可能なプログラム。
JP2018157274A 2018-08-24 2018-08-24 通信装置、その制御方法、およびそのプログラム Active JP7313807B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018157274A JP7313807B2 (ja) 2018-08-24 2018-08-24 通信装置、その制御方法、およびそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018157274A JP7313807B2 (ja) 2018-08-24 2018-08-24 通信装置、その制御方法、およびそのプログラム

Publications (3)

Publication Number Publication Date
JP2020030739A true JP2020030739A (ja) 2020-02-27
JP2020030739A5 JP2020030739A5 (ja) 2021-09-30
JP7313807B2 JP7313807B2 (ja) 2023-07-25

Family

ID=69622592

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018157274A Active JP7313807B2 (ja) 2018-08-24 2018-08-24 通信装置、その制御方法、およびそのプログラム

Country Status (1)

Country Link
JP (1) JP7313807B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282526B2 (en) * 2017-10-18 2022-03-22 Soapbox Labs Ltd. Methods and systems for processing audio signals containing speech data
JP7483421B2 (ja) 2020-03-12 2024-05-15 キヤノン株式会社 撮像装置、制御方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140012587A1 (en) * 2012-07-03 2014-01-09 Samsung Electronics Co., Ltd. Method and apparatus for connecting service between user devices using voice
JP2017167685A (ja) * 2016-03-14 2017-09-21 富士ゼロックス株式会社 画像処理装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140012587A1 (en) * 2012-07-03 2014-01-09 Samsung Electronics Co., Ltd. Method and apparatus for connecting service between user devices using voice
JP2017167685A (ja) * 2016-03-14 2017-09-21 富士ゼロックス株式会社 画像処理装置及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282526B2 (en) * 2017-10-18 2022-03-22 Soapbox Labs Ltd. Methods and systems for processing audio signals containing speech data
US11694693B2 (en) 2017-10-18 2023-07-04 Soapbox Labs Ltd. Methods and systems for processing audio signals containing speech data
JP7483421B2 (ja) 2020-03-12 2024-05-15 キヤノン株式会社 撮像装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
JP7313807B2 (ja) 2023-07-25

Similar Documents

Publication Publication Date Title
US11656843B2 (en) Method for quickly starting application service, and terminal
US10452349B2 (en) Electronic device and operation control method therefor
US9456298B2 (en) Device-to-device location awareness
EP3177077A1 (en) Method and device for network access
US20060258406A1 (en) Portable communication terminal
CN104038625A (zh) 来电时电话音频的自动路由
JPH1051349A (ja) 携帯用通信機
CN109327613B (zh) 一种基于语音通话翻译能力的协商方法及电子设备
CN109716738B (zh) 便携终端装置、电视接收装置和来电通知方法
JP2022546542A (ja) 通話方法、通話装置、通話システム、サーバ及びコンピュータプログラム
CN111615090B (zh) 蓝牙设备间的交互方法及装置、存储介质和电子设备
JP7313807B2 (ja) 通信装置、その制御方法、およびそのプログラム
US9681274B2 (en) Communication device, non-transitory storage medium, and call control method
JP2016174314A (ja) 伝送システム、伝送端末、方法、および、プログラム
CN109041145A (zh) 通信方法、装置、终端及存储介质
US9479734B2 (en) Information processing apparatus, calling method, and communication system
JP2010093554A (ja) 通信装置、文字通話制御方法、及び通信制御プログラム
JP2019194861A (ja) 伝送システム、伝送端末、方法、および、プログラム
JP2011205289A (ja) 通話装置
US20230239406A1 (en) Communication system
JP2001282788A (ja) 電子辞書装置及び電子辞書装置の使用言語切替方法、記憶媒体
CN112562639B (zh) 音频处理方法、终端及计算机可读存储介质
WO2018232652A1 (zh) 具有高隐私等级的移动终端和相关产品
JP2908421B1 (ja) 携帯電話装置
JP7196662B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230712

R151 Written notification of patent or utility model registration

Ref document number: 7313807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151