JP2022085072A - 音入出力装置、音入出力システム、サーバ、及び音入出力方法 - Google Patents

音入出力装置、音入出力システム、サーバ、及び音入出力方法 Download PDF

Info

Publication number
JP2022085072A
JP2022085072A JP2020196558A JP2020196558A JP2022085072A JP 2022085072 A JP2022085072 A JP 2022085072A JP 2020196558 A JP2020196558 A JP 2020196558A JP 2020196558 A JP2020196558 A JP 2020196558A JP 2022085072 A JP2022085072 A JP 2022085072A
Authority
JP
Japan
Prior art keywords
sound
profile
terminal
sound input
output device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020196558A
Other languages
English (en)
Inventor
春花 足立
Haruka Adachi
和真 内藤
Kazuma Naito
浩一郎 坂本
Koichiro Sakamoto
拓人 依田
Takuto Yoda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2020196558A priority Critical patent/JP2022085072A/ja
Publication of JP2022085072A publication Critical patent/JP2022085072A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

Figure 2022085072000001
【課題】円滑な音声通話を妨げることなく、スピーカから高音質な音を出力できる音入出力装置、音入出力システム、サーバ、及び音入出力方法を提供する。
【解決手段】音入出力装置は、端末と接続する無線通信を制御する通信部と、前記無線通信において前記端末から送信される第一音データを受信し、前記第一音データに基づいてスピーカから音を出力する音出力部と、マイクに入力された音に対応する第二音データを、前記無線通信において前記端末に送信する音入力部と、前記音入力部がミュート状態に制御された場合、前記無線通信の通信プロファイルを、第一プロファイルから、前記第一プロファイルよりも高音質で通信する第二プロファイルに切替え可能なプロファイル切替部と、を備える。
【選択図】図1

Description

本開示は、音の入出力を行うための音入出力装置、音入出力システム、サーバ、及び音入出力方法に関する。
音の入出力を行うための装置が知られている。例えば特許文献1では、スマートフォンが、マイクとスピーカとを備えるヘッドセットと、ブルートゥース(登録商標)無線通信を行う。スマートフォンとヘッドセットとの通信がバイブリットモードである場合、マイクへの音声入力を受け付けるAIモードと、音楽再生を行う音楽モードとに切替え可能である。
AIモードは、HFP(Hands-Free Profile)/HSP(HeadSet Profile)に従った通信を行うモードである。音楽モードは、A2DP(Advanced Audio Distribution Profile)に従った通信を行うモードである。スマートフォンのSoC(System on Chip)は、バイブリットモードである場合に、AIモードにおいて音楽再生指示の音声入力を受け付けると、ヘッドセットを音楽モードに設定する。
特開2020-53740号公報
例えばテレビ会議等の音声通話において、ユーザは第一端末と無線接続されたヘッドセットを使用して、第二端末のユーザと音声対話を行う場合がある。この場合、ヘッドセットのマイクによる音声取得を有効にするため、ヘッドセットと第一端末との通信プロファイルは、HFP/HSPに設定される。第一端末は、ヘッドセットのマイクで取得された音声データを第二端末に送信し、且つ第二端末から受信した音声データをヘッドセットのスピーカから出力する。
ヘッドセットと第一端末との通信プロファイルがHFP/HSPである場合、第一端末が第二端末に入力された高音質形式(例えば、MP3、PCM等)の音声データを受信しても、その音声データが第一端末からヘッドセットに無線送信される過程で減衰劣化してしまうと、ヘッドセットのスピーカから高音質な音声を出力できない。これに対し、例えばヘッドセットと第一端末との通信プロファイルがA2DPであれば、第一端末からヘッドセットに無線送信される音声データの減衰劣化が抑制されるため、高音質形式の音声データをヘッドセットのスピーカから出力可能である。しかしながら、通信プロファイルがA2DPである場合は、ヘッドセットのマイクによる音声取得が無効となり、円滑な音声通話を妨げるおそれがある。
本開示の一態様は、円滑な音声通話を妨げることなく、スピーカから高音質な音を出力できる音入出力装置、音入出力システム、サーバ、及び音入出力方法の提供を目的とする。
本開示の一態様に係る音入出力装置は、端末と接続する無線通信を制御する通信部と、前記無線通信において前記端末から送信される第一音データを受信し、前記第一音データに基づいてスピーカから音を出力する音出力部と、マイクに入力された音に対応する第二音データを、前記無線通信において前記端末に送信する音入力部と、前記音入力部がミュート状態に制御された場合、前記無線通信の通信プロファイルを、第一プロファイルから、前記第一プロファイルよりも高音質で通信する第二プロファイルに切替え可能なプロファイル切替部と、を備える。
本開示の一態様に係る音入出力システムは、ネットワークに接続された複数の端末と、前記ネットワークに接続されたサーバと、前記複数の端末の何れかに前記無線通信で接続された前記音入出力装置と、を含む音入出力システムであって、前記サーバは、前記複数の端末のうちで前記音入出力装置と接続された対象端末とは異なる相手端末が、所定の高音質モードで入力音の音データを出力する非ミュート状態の高音質端末であるか否かに応じて、前記プロファイル切替部による前記無線通信の通信プロファイルの切替えを許可又は禁止する。
本開示の一態様に係るサーバは、ネットワークに接続する通信部と、前記ネットワークに接続された複数の端末の各々から、前記端末のミュート状態及び音声モードに関するステータス情報を取得する情報取得部と、取得された前記ステータス情報に基づいて、前記複数の端末のうちで音入出力装置と接続された対象端末とは異なる相手端末が、所定の高音質モードで入力音の音データを出力する非ミュート状態の高音質端末であるかを特定する端末特定部と、前記音入出力装置がミュート状態に制御された場合、前記相手端末が前記非ミュート状態の高音質端末であるかに基づいて、前記音入出力装置と前記対象端末とを接続する無線通信の通信プロファイルを、第一プロファイルから、前記第一プロファイルよりも高音質で通信する第二プロファイルに切替える指示を、前記音入出力装置又は前記対象端末の何れかに行うプロファイル切替指示部と、を備える。
本開示の一態様に係る音入出力方法は、音入出力装置と端末とを接続する無線通信を制御し、前記無線通信において前記端末から前記音入出力装置に送信された第一音データに基づいて、前記音入出力装置のスピーカから音を出力し、前記音入出力装置のマイクに入力された音に対応する第二音データを、前記無線通信において前記音入出力装置から前記端末に送信し、前記音入出力装置がミュート状態に制御された場合、前記無線通信の通信プロファイルを、第一プロファイルから、前記第一プロファイルよりも高音質で通信する第二プロファイルに切替える。
第一実施形態に係る音入出力システムの全体構成の一例を示す図である。 音入出力装置の電気的構成を説明するための図である。 音入出力装置で実行される通信プロファイル制御のフローチャートである。 ミュート実行処理のフローチャートである。 ミュート解除処理のフローチャートである。 各機器間で送受信されるデータ及び信号の流れを示すタイムチャートである。 各機器間で送受信されるデータ及び信号の流れを示すタイムチャートである。 第二実施形態に係る音入出力システムの全体構成の一例を示す図である。 サーバで実行される、通信プロファイル制御のフローチャートである。 管理テーブルのデータ構成を示す図である。 サーバが通信プロファイルの切替を許可する場合のタイムチャートである。 サーバが通信プロファイルの切替を禁止する場合のタイムチャートである。 第二実施形態に係る音入出力システムのネットワーク構成を説明するための全体構成図である。 第二実施形態に係る音入出力システムのネットワーク構成を説明するための全体構成図である。 第二実施形態に係る音入出力システムのネットワーク構成を説明するための全体構成図である。 第二実施形態に係る音入出力システムのネットワーク構成を説明するための全体構成図である。
以下、本開示の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
[第一実施形態]
図1及び図2を参照して、第一実施形態に係る音入出力システム100の構成を説明する。図1は、第一実施形態に係る音入出力システム100の全体構成の一例を示す図である。図2は、音入出力装置110の電気的構成を説明するための図である。
図1に示すように、第一実施形態の音入出力システム100は、複数のユーザがテレビ会議等の音声通話を行うためのシステムである。音入出力システム100は、ネットワーク130に接続された複数の端末と、複数の端末の各々に接続された音入出力装置とを含む。ネットワーク130は、複数の電子機器が相互に接続可能な無線又は有線のネットワークであり、例えばWAN(Wide Area Network)やLAN(Local Area Network)である。
例えば音入出力システム100では、複数のユーザの各々が、音入出力装置のマイクに自分の音声を入力し、且つ音入出力装置のスピーカから出力される他者の音声を聞いて、互いに音声通話を行う。このとき、複数の端末の各々は、自端末に接続された音入出力装置のマイクに入力された音データを、音入出力装置から受信して他端末に送信する。同時に、複数の端末の各々は、他端末から受信した音データを、自端末に接続された音入出力装置に送信して、音入出力装置のスピーカから出力させる。
複数の端末は、音入出力装置と接続可能な電子機器であり、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、表示機器等が例示される。各端末は、公知のコンピュータのように、CPU、ROM、RAM等を含む制御部を有する。図1に示す例では、複数の端末として、3つの端末120、121、122を例示する。端末120、121は、パーソナルコンピュータである。端末122は、ネットワークテレビである。
音入出力装置は、マイク及びスピーカを備え、端末と接続可能な周辺機器である。図1に示す例では、端末120、121、122の各々に接続された音入出力装置として、音入出力装置110、111、112を例示する。音入出力装置110、112は、ユーザの首に掛けて装着されるウエアラブル機器であり、端末に無線接続される。音入出力装置111は、ユーザの頭部に装着されるヘッドセットであり、端末に有線接続される。
図2に示すように、音入出力装置110は、スピーカ140、マイク150、アンプ211、DSP(Digital Signal Processor)212、通信部213、制御部200等を備える。制御部200は、CPU、メモリ等を含み、音入出力装置110の制御を司る。例えば、制御部200はSoC(System on Chip)で構成される。通信部213は、近距離無線通信によって外部機器と1対1で接続するための通信インタフェイスである。
以下の説明では、ブルートゥース(登録商標)をBTと表記する。本実施形態の通信部213は、端末120と接続する無線通信を制御する。例えば端末120には、USB等のインタフェイスを介して、無線通信アダプタ131が装着されている。通信部213及び無線通信アダプタ131は、BT通信によって、音入出力装置110と端末120とをペアリングする。端末120は、無線通信アダプタ131に代えて、BT通信機能を有する通信部を内蔵してもよい。
制御部200のCPUがメモリに記憶されたプログラムを実行することで、図2に例示する各機能ブロックが実現される。これらの機能ブロックは、音出力部201、音入力部202、プロファイル切替部203、プロファイル取得部204を含む。
音出力部201は、無線通信において端末120から送信される第一音データを受信し、第一音データに基づいてスピーカ140から音を出力する。詳細には、音出力部201は、BT通信で接続された対象端末(即ち端末120)から、相手端末(例えば、端末121、122)の第一音データを受信する。音出力部201は、第一音データに対応する音声信号を、アンプ211で増幅してスピーカ140に出力する。これにより音入出力装置110は、相手端末側のマイクで集音された音声を、対象端末側のスピーカ140から出力できる。
音入力部202は、マイク150に入力された音に対応する第二音データを、無線通信において端末120に送信する。詳細には、マイク150は、周囲の音声を集音して、音声信号をDSP212に出力する。DSP212は、マイク150の音声信号に対して、ノイズキャンセル、エコーキャンセル等の信号処理を行って、処理後の音声信号を制御部200に出力する。音入力部202は通信部213を制御して、処理後の音声信号に対応する第二音データを、BT通信によって端末120に送信する。これにより音入出力装置110は、対象端末側のマイク150で集音された音声を、相手端末側のスピーカから出力できる。
プロファイル切替部203は、音入力部202がミュート状態に制御された場合、無線通信の通信プロファイルを、第一プロファイルから、第一プロファイルよりも高音質で通信する第二プロファイルに切替え可能である。音入力部202がミュート状態に制御されることは、音入力部202を含む音入出力装置110がミュート状態に制御されることと同義であり、また音入出力装置110が接続された対象端末(即ち端末120)がミュート状態に制御されることと同義である。
ミュート状態は、音入力部202から第二音データが出力されない状態である。非ミュート状態は、音入力部202から第二音データが出力される、通常の動作状態である。例えば制御部200は、音入出力装置110に設けられた所定の切替スイッチが押されたことに応じて、非ミュート状態とミュート状態とを交互に切替える。制御部200は、マイク150への音声入力、又はマイク150からの信号出力を無効にすることで、非ミュート状態に制御してもよい。制御部200は、音入力部202を機能停止させることで、非ミュート状態に制御してもよい。
本実施形態では、音入出力装置110と端末120とのBT通信は、BTプロファイルに基づいて制御される。BTプロファイルは、HFP(Hands-Free Profile)/HSP(HeadSet Profile)と、より高音質のA2DP(Advanced Audio Distribution Profile)を含む。HFP/HSPは第一プロファイルの一例であり、A2DPは第二プロファイルの一例である。
プロファイル切替部203は、無線通信の通信プロファイルを、第一音データ及び第二音データの両方を通信する第一プロファイルから、第一音データのみを通信する第二プロファイルに切替え可能でもよい。本実施形態では、HFP/HSPが、第一音データ及び第二音データの両方を通信する第一プロファイルの一例である。A2DPが、第一音データのみを通信する第二プロファイルの一例である。
プロファイル取得部204は、無線通信によって接続された端末120から、端末120が対応可能な通信プロファイルである対応プロファイルを取得する。本実施形態では、音入出力装置110の対応プロファイルは、第一プロファイル及び第二プロファイル(例えば、HFP/HSP及びA2DP)の両方を含む。これらの機能ブロックの具体的態様は、後述する。
図3~図5を参照して、第一実施形態の音入出力システム100で実行される各種処理のうち、通信プロファイル制御に関する処理のみを説明する。図3は、音入出力装置110で実行される通信プロファイル制御のフローチャートである。図4は、ミュート実行処理のフローチャートである。図5は、ミュート解除処理のフローチャートである。制御部200は、音入出力装置110の電源投入を契機として、以下の処理を開始する。なお、音入出力装置110の電源投入時には、デフォルトの動作状態である非ミュート状態に制御される。
図3に示すように、まず制御部200は、端末と無線接続ありかを判断する(S301)。例えば、端末から音入出力装置110に接続要求があり、端末と音入出力装置110とがペアリングされた場合、無線接続ありと判断される(S301:YES)。音入出力装置110とペアリングされた端末は、対象端末(図1では端末120)である。この場合、対象端末及び音入出力装置110は、互いのペアリング情報を登録するために、両者間で各種情報を交換する。このときプロファイル取得部204は、対象端末と音入出力装置110との間で互いの通信プロファイルを交換することで、対象端末の対応プロファイルを取得する(S303)。
以降、対象端末及び音入出力装置110は、互いに同じ対応プロファイルの無線通信を実行する。本実施形態では、対象端末及び音入出力装置110の各対応プロファイルは何れも、第一プロファイルを含むものとする。また第一プロファイルは、音入出力装置110におけるデフォルトの通信プロファイルであるものとする。従って制御部200は、対象端末及び音入出力装置110との間で、第一プロファイルの無線通信を開始する(S305)。
制御部200は、音入出力を開始する(S307)。具体的には、音出力部201は、対象端末から無線通信で送信される第一音データを受信し、スピーカ140から音を出力する。音入力部202は、マイク150の入力音に対応する第二音データを、対象端末に無線通信で送信する。
制御部200は、ミュート実行指示ありかを判断する(S309)。例えば、非ミュート状態で先述の切替スイッチが押された場合、ミュート実行指示ありと判断される(S309:YES)。この場合、後述のミュート実行処理が実行され(S311)、処理はS313に移行する。次いで制御部200は、ミュート解除指示ありかを判断する(S313)。例えば、ミュート状態で先述の切替スイッチが押された場合、ミュート解除指示ありと判断される(S313:YES)。この場合、後述のミュート解除処理が実行され(S315)、処理はS317に移行する。
次いで制御部200は、所定の終了条件が満たされたかを判断する(S317)。例えば、無線通信終了やペアリング解除が指示された場合、又は無線通信が遮断された場合等に、所定の終了条件が満たされたと判断される(S317:YES)。この場合、制御部200は、無線通信及び音入出力を終了し(S319)、処理をS301に戻す。S317以外のタイミングで上記の終了条件が満たされた場合も、処理はS319に移行する。
なお、無線接続がない場合(S301:NO)、処理はS301に戻る。ミュート実行指示がない場合(S309:NO)、処理はS317に移行する。ミュート解除指示がない場合(S313:NO)、処理はS313に戻る。所定の終了条件が満たされない場合(S317:NO)、処理はS309に戻る。
図4に示すように、ミュート実行処理(S311)では、まず制御部200は非ミュート状態からミュート状態に切替えて制御する(S401)。これにより、マイク150に音が入力されても、音入力部202から第二音データが出力されない。プロファイル切替部203は、音入力部202がミュート状態に制御された場合、対象端末が第二プロファイルに対応するかを判断する(S403)。
例えば、S303で取得された対象端末の対応プロファイルが第二プロファイルを含む場合、対象端末が第二プロファイルに対応すると判断される(S403:YES)。この場合、プロファイル切替部203は、第二プロファイルの無線通信を要求する切替信号を、対象端末に送信する(S405)。
対象端末の制御部は、切替信号を受信した場合、対象端末で第二プロファイルが禁止又は無効にされていなければ、音入出力装置110と無線接続するための通信プロファイルを第二プロファイルに切替え、肯定応答を音入出力装置110に送信する。一方、対象端末で第二プロファイルが禁止又は無効にされている場合、対象端末の制御部は、音入出力装置110と無線接続するための通信プロファイルを第一プロファイルに設定したまま、否定応答を音入出力装置110に送信する。
プロファイル切替部203は、対象端末が第二プロファイルに対応しない場合(S403:NO)、切替信号を対象端末に送信することなく、処理を図3のフローチャートに戻す。この場合、対象端末及び音入出力装置110の通信プロファイルが切替えられることなく、第一プロファイルの無線通信が継続する。
S405の実行後、プロファイル切替部203は、対象端末から肯定応答を受信したかを判断する(S407)。対象端末から肯定応答を受信した場合(S407:YES)、プロファイル切替部203は、対象端末と接続するための通信プロファイルを第二プロファイルに切替えて、対象端末との間で第二プロファイルの無線通信を開始する(S409)。S409の実行後、又は対象端末から肯定応答を受信しない場合(S407:NO)、処理は図3のフローチャートに戻る。
図5に示すように、ミュート解除処理(S315)では、まず制御部200はミュート状態から非ミュート状態に切替えて制御する(S501)。これにより、マイク150の入力音に基づいて、音入力部202から第二音データが出力される。プロファイル切替部203は、第二プロファイルの無線通信を実行中であるかを判断する(S503)。
第二プロファイルの無線通信を実行中である場合(S503:YES)、プロファイル切替部203は、第一プロファイルの無線通信を要求する切替信号を、対象端末に送信する(S505)。対象端末の制御部は、切替信号を受信した場合、対象端末で第一プロファイルが禁止又は無効にされていなければ、肯定応答を音入出力装置110に送信する。
一方、第二プロファイルの無線通信を実行中でない場合(S503:NO)、第一プロファイルの無線通信を実行中である。この場合、プロファイル切替部203は、通信プロファイルを切替える必要がないため、切替信号を対象端末に送信することなく、処理を図3のフローチャートに戻す。
S505の実行後、プロファイル切替部203は、対象端末から肯定応答を受信したかを判断する(S507)。対象端末から肯定応答を受信した場合(S507:YES)、プロファイル切替部203は、対象端末と接続するための通信プロファイルを第一プロファイルに切替えて、対象端末との間で第一プロファイルの無線通信を開始する(S509)。S509の実行後、処理は図3のフローチャートに戻る。なお、対象端末から否定応答を受信した場合、又は肯定応答を受信することなく所定の待機時間を経過した場合、対象端末から肯定応答を受信していないと判断される(S507:NO)。この場合も、処理は図3のフローチャートに戻る。
図1、図6A及び図6Bを参照して、上記の処理に基づく具体的態様を例示する。図6A及び図6Bは、各機器間で送受信されるデータ及び信号の流れを示すタイムチャートである。図6A及び図6Bでは、有線通信を実線で示し、無線通信を点線で示す。以下の例では、音入出力装置110が無線接続された端末120は、HFP/HSP及びA2DPのBTプロファイルに対応している。
図6Aのタイムチャートは、端末120(対象端末)と端末121(相手端末)との間で実行される音声通話の流れを示す。端末121には、音入出力装置111が有線で接続されている(図1参照)。そのため、音入出力装置111と端末121との間で送受信される音データは、無線通信で送受信される音データよりも、大きなデータ量で且つ小さな減衰率で送受信可能である。本例では、音入出力装置111のマイクの入力音に対応する音データが、無線通信よりもデータ量が大きい高音質のデータ形式(例えば、PCM、MP3等)で、音入出力装置111から端末121に送信される。
図6Aに示す例では、音入出力装置110が非ミュート状態である場合、通常音質の音データを双方向に送受信可能なHFP/HSPのBT通信が実行される。そのため、マイク150に入力された自音声の第二音データは、HFP/HSPによって通常音質で端末120に送信され、更にネットワーク130を介して端末121に送信される。端末121は、通常音質の第二音データを、有線通信によって音入出力装置111に送信する。従って音入出力装置111のスピーカからは、第二音データに基づく通常音質の音声が出力される。
一方、音入出力装置111のマイクに入力された他音声の第一音データは、有線通信によって高音質で端末121に送信され、更にネットワーク130を介して端末120に送信される。端末120は、高音質の第一音データを、HFP/HSPによって通常音質で音入出力装置110に送信する。従って音入出力装置110のスピーカ140からは、第一音データに基づく通常音質の音声が出力される。
音入出力装置110がミュート状態に切替えられると、切替信号と肯定応答のやり取りを経て、音入出力装置110及び端末120のBTプロファイルがA2DPに切替えられる(S309:YES、S401~S409)。つまり音入出力装置110がミュート状態である場合、高音質の音データを一方向に送受信可能なA2DPのBT通信が実行される。
そのため、マイク150に入力された自音声の第二音データは、端末120に送信されない。一方、端末120は、端末121から受信した高音質の第一音データを、A2DPによって音入出力装置110に送信する。従って音入出力装置110のスピーカ140からは、第一音データに基づく高音質の音声が出力される。つまり、音入出力装置110がミュート状態である場合、相手端末(端末121)で集音された他音声を、対象端末(端末120)において高音質で再生できる。
図6Bのタイムチャートは、端末120(対象端末)と端末122(相手端末)との間で実行される音声通話の流れを示す。端末122には、音入出力装置112がBT通信で無線接続されている(図1参照)。本例では、端末122と音入出力装置112との間で、音データがHFP/HSPによって通常音質で送受信される。
図6Bに示す例では、音入出力装置110が非ミュート状態である場合、図6Aと同様に、マイク150に入力された自音声の第二音データは、HFP/HSPによって通常音質で端末120に送信され、更にネットワーク130を介して端末122に送信される。端末122は、通常音質の第二音データを、HFP/HSPによって通常音質で音入出力装置112に送信する。従って音入出力装置112のスピーカからは、第二音データに基づく通常音質の音声が出力される。
同様に、音入出力装置112のマイクに入力された他音声の第一音データは、HFP/HSPによって通常音質で端末122に送信され、更にネットワーク130を介して端末120に送信される。端末120は、通常音質の第一音データを、HFP/HSPによって通常音質で音入出力装置110に送信する。従って音入出力装置110のスピーカ140からは、第一音データに基づく通常音質の音声が出力される。
音入出力装置110がミュート状態に切替えられると、先述したようにA2DPのBT通信が実行されるため、マイク150に入力された自音声の第二音データが端末120に送信されない。一方、端末120は、端末122から受信した通常音質の第一音データを、A2DPによって音入出力装置110に送信する。従って音入出力装置110のスピーカ140からは、第一音データに基づく通常音質の音声が出力される。
ここで、端末120が第一音データを音入出力装置110に送信する場合、HFP/HSPではなくA2DPによって送信することで、第一音データの減衰(即ち音質劣化)を抑制できる。従って、図6Bの例でも、ミュート状態時にHFP/HSPからA2DPに切替えることで、相手端末(端末121)で集音された他音声を、対象端末(端末120)でより良好な音質で再生できる。
[第二実施形態]
本開示の第二実施形態を説明する。以下では、第一実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、第一実施形態と異なる点のみを説明する。
図7は、第二実施形態に係る音入出力システム100の全体構成の一例を示す図である。図7に示すように、第二実施形態の音入出力システム100は、ネットワーク130に接続されたサーバ700を含む点が、第一実施形態(図1参照)と異なる。サーバ700は、制御部、記憶部、通信部701等を含む。通信部701は、ネットワーク130に接続してデータ通信を行うインタフェイス等である。
サーバ700の制御部は、CPU、RAM、ROM等を含み、サーバ700の制御を司る。サーバ700の制御部は、MCU、MPU等でもよい。サーバ700の記憶部は、各種データ、プログラム等を記憶可能な記憶媒体であり、例えばハードディスクドライブである。サーバ700では、制御部が記憶部に記憶されたプログラムを実行することで、図7に例示する各機能ブロックが実現される。これらの機能ブロックは、情報取得部702、端末特定部703、プロファイル制御部704を含む。
情報取得部702は、ネットワーク130に接続された複数の端末の各々から、端末のミュート状態及び音声モードに関するステータス情報を取得する。音声モードは、端末の音入出力装置で集音された入力音の音データ(即ち、各端末の第二音データ)の再生音質に関係する情報であり、例えば無線通信の通信プロファイルや、入力音の音データのデータ形式等を含む。
端末特定部703は、取得されたステータス情報に基づいて、相手端末が非ミュート状態の高音質端末であるかを特定する。相手端末は、複数の端末のうちで、マイク150及びスピーカ140を備えた音入出力装置110と無線接続された対象端末とは異なる端末である。高音質端末は、所定の高音質モードで入力音の音データを出力する端末である。例えば、高音質モードは、入力音を取得するマイク150と有線接続された相手端末が、第一プロファイルよりも高音質で音データを出力する音声モードである。
本実施形態では、端末120が対象端末の一例であり、端末121、122が相手端末の一例である。端末121は、音入出力装置111と有線接続され、音入出力装置111のマイクが集音した音データを高音質なデータ形式(例えば、MP3、PCM等)で出力する。このようにマイクの入力音を高音質なデータ形式で有線出力するモードが、高音質モードの一例である。端末121が高音質端末の一例である。
プロファイル制御部704は、複数の端末のうちで音入出力装置110と接続された対象端末とは異なる相手端末が、所定の高音質モードで入力音の音データを出力する非ミュート状態の高音質端末であるか否かに応じて、プロファイル切替部203(図2参照)による無線通信の通信プロファイルの切替えを許可又は禁止する。これらの機能ブロックの具体的態様は、後述する。
図8~図10A及び図10Bを参照して、第二実施形態の音入出力システム100で実行される各種処理のうち、通信プロファイル制御に関する処理のみを説明する。図8は、サーバ700で実行される通信プロファイル制御のフローチャートである。図9は、管理テーブル900のデータ構成を示す図である。図10Aは、サーバ700が通信プロファイルの切替を許可する場合のタイムチャートである。図10Bは、サーバ700が通信プロファイルの切替を禁止する場合のタイムチャートである。
第二実施形態では、対象端末(即ち端末120)及び音入出力装置110において、第一実施形態と同様の処理(図3等参照)が実行される。これと並行して、サーバ700の制御部は、音声通話を実行する複数の端末と通信を行って、以下の処理を実行する。以下の説明では、サーバ700が、端末120及び音入出力装置110の無線通信プロファイルの切替えを制御する場合を例示するが、他の端末及び音入出力装置の無線通信プロファイルの切替えも同様に制御してもよい。
図8に示すように、まず情報取得部702は、複数の端末からステータス情報を取得する(S801)。情報取得部702は、取得したステータス情報に基づいて、例えばサーバ700の記憶部に記憶された管理テーブル900を最新の状態に更新する(S803)。
図9に示すように、管理テーブル900は、複数の端末の各々について、「端末ID」、「無線プロファイル」、「高音質データ出力」、「ミュート」等のステータス情報を管理する。「端末ID」は、複数の端末の各々に固有の識別情報である。「無線プロファイル」は、端末と音入出力装置とが無線接続されている場合、その無線通信の通信プロファイルを示す。「高音質データ出力」は、端末に接続された音入出力装置で集音された音データが、その端末から高音質なデータ形式で出力されるかを示す。「ミュート」は、端末がミュート状態であるかを示す。
図9に例示する管理テーブル900は、図7に示す複数の端末120~122のステータス情報を管理する。例えば、各端末120~122の「端末ID」には、「001」~「003」が夫々設定されている。「001」のステータス情報は、端末120とミュート状態の音入出力装置110とが、A2DPのBT通信で接続されていることを示す。ミュート状態の音入出力装置110は、マイク150で集音された入力音の音データ(即ち、端末120の第二音データ)を出力しないため、「高音質データ出力」には「×」が設定されている。
「002」のステータス情報は、端末121と非ミュート状態の音入出力装置111とが有線接続されていることを示す。このように音入出力装置と有線接続する端末、又は音入出力装置に未接続の端末(例えば、マイク及びスピーカを内蔵する端末)については、「無線プロファイル」は未設定の状態となる。端末121は、音入出力装置111で集音された入力音の音データ(即ち、端末121の第二音データ)を、高音質のMP3形式で出力するため、「高音質データ出力」には「〇」が設定されている。
「003」のステータス情報は、端末122と非ミュート状態の音入出力装置112とが、HFPのBT通信で接続されていることを示す。HFPのBT通信は、音入出力装置112で集音された入力音の音データ(即ち、端末122の第二音データ)を通常音質で送信するため、「高音質データ出力」には「×」が設定されている。
図8に戻り、サーバ700はS803の実行後、問合せ信号を受信したかを判断する(S805)。本実施形態では、図10A及び図10Bに例示するように、音入出力装置110がミュート状態に切替えられた場合、S405(図4参照)で送信された切替信号を受信した対象端末(即ち端末120)は、問合せ信号をサーバ700に送信する。サーバ700が問合せ信号を受信した場合(S805:YES)、端末特定部703は、相手端末が非ミュート状態の高音質端末であるかを判断する(S807)。
例えば端末特定部703は、管理テーブル900のステータス情報を参照して、問合せ信号の送信元端末以外の全端末のうち、「ミュート」が「OFF」であり且つ「高音質データ出力」が「〇」である端末(図9の例では、端末121)を、非ミュート状態の高音質端末として特定する。本実施形態では、少なくとも一つの非ミュート状態の高音質端末が特定された場合、相手端末が非ミュート状態の高音質端末であると判断される(S807:YES)。
この場合、プロファイル制御部704は、通信プロファイルの切替許可を実行する(S809)。本実施形態では、プロファイル制御部704は、問合せ信号の送信元である端末に、通信プロファイルの切替を許可する許可応答を送信する。図10Aの例では、問合せ信号の送信元である端末120に対し、サーバ700から許可応答が送信される。許可応答を受信した端末120は、音入出力装置110に肯定応答を送信する。これにより、端末120及び音入出力装置110の通信プロファイル(BTプロファイル)は、第一プロファイル(HEP/HSP)から第二プロファイル(A2DP)に切替えられる(図4のS407:YES、S409)。
一方、問合せ信号の送信元端末以外の全端末の中に非ミュート状態の高音質端末がない場合、相手端末が非ミュート状態の高音質端末でないと判断される(S807:NO)。この場合、プロファイル制御部704は、通信プロファイルの切替禁止を実行する(S809)。本実施形態では、プロファイル制御部704は、問合せ信号の送信元である端末に、通信プロファイルの切替を禁止する禁止応答を送信する。
図10Bの例では、問合せ信号の送信元である端末120に対し、サーバ700から禁止応答が送信される。禁止応答を受信した端末120は、音入出力装置110に否定応答を送信する。これにより、端末120及び音入出力装置110の通信プロファイル(BTプロファイル)は、第一プロファイル(HEP/HSP)から切替えられることなく継続する(図4のS407:NO)。
S807又はS811の実行後、あるいはサーバ700が問合せ信号を受信していない場合(S805:NO)、処理はS801に戻る。なお、S807では、問合せ信号の送信元端末以外の全端末が、非ミュート状態の高音質端末である場合に、相手端末が非ミュート状態の高音質端末であると判断してもよい。
図11A~図12Bを参照して、音入出力システム100で上記の処理に基づく具体的態様を例示する。図11A~図12Bは、第二実施形態に係る音入出力システム100のネットワーク構成を説明するための全体構成図である。図11A~図12Bでは、有線通信を実線で示し、無線通信を点線で示す。
図11Aの例では、音入出力装置110は非ミュート状態であるため、端末120及び音入出力装置110の通信プロファイルは、HFPである。端末121と音入出力装置111とは有線接続され、端末122と音入出力装置112とはHFPで無線接続されている。図11Aにおいて、音入出力装置110がミュート状態に切替えられると、図10Aに示すように、問合せ信号及び許可信号のやり取りが行われる(S805:YES、S807:YES、S809)。
これにより、図11Bに示すように、端末120及び音入出力装置110の通信プロファイルがA2DPに切替えられる。このとき管理テーブル900は、図9の状態に更新される(S803)。図11Bに示す例では、第一実施形態と同様に、音入出力装置110のスピーカ140は、非ミュート状態の高音質端末(端末121)からの第二音データを高音質で出力でき、これ以外の相手端末(端末122)からの第二音データを良好な通常音質で出力できる。
図12Aの例は、音入出力装置111がミュート状態である点が、図11Aと異なる。この場合、端末121の第二音データが出力されない状態となる。従ってサーバ700では、管理テーブル900に登録されている端末121のステータス情報のうち、「高音質データ出力」に「×」が設定されている。つまり、図12Aの例では、全ての相手端末(端末121、122)が、非ミュート状態の高音質端末でない。
図12Aにおいて、音入出力装置110がミュート状態に切替えられると、図10Bに示すように問合せ信号及び拒否信号のやり取りが行われる(S805:YES、S807:YES、S811)。図12Bに示すように、端末120及び音入出力装置110の通信プロファイルは、A2DPに切替えられることなく、HFPのままである。
ここで、先述したように、通常音質の第二音データも、HEP/HSPよりもA2DPで送信したほうが、スピーカ140から良好な音質で出力できる。しかしながら、通信プロファイルの切替え時には、音入出力装置110の処理負荷等によって、スピーカ140からの出力音が途切れる現象が発生し易い。そのため、通信プロファイルの切替えが高い頻度で行われると、スピーカ140の出力音声の品質を大幅に損ねるおそれがある。
また、全ての相手端末が非ミュート状態の高音質端末でない場合は、高音質の第二音データが対象端末に供給されることなく、通常音質の第二音データが対象端末に供給される。一方、音データをHEP/HSPに代えてA2DPで送信する場合、通常音質の音データを送信するよりも、高音質の音データを送信したほうが、スピーカ出力音の改善効果が高い。
そこで本実施形態では、図12A、図12Bに例示するように、全ての相手端末が非ミュート状態の高音質端末でない場合は、音入出力装置110がミュート状態に切替えられても、通信プロファイルの切替えを実行しない。つまり、通信プロファイルの切替えによるスピーカ出力音の改善効果が高くない場合は、通信プロファイルの切替えを非実行とすることで、その切替えに起因するスピーカ出力音の品質低下を抑制できる。
なお、第二実施形態では、音入出力装置110のプロファイル切替部203による通信プロファイルの切替えを、サーバ700が許可又は禁止する場合を例示した。これに代えて、対象端末と音入出力装置110の何れかに通信プロファイルの切替えを指示する機能ブロックであるプロファイル切替指示部を、サーバ700に設けてもよい。
例えば、サーバ700のプロファイル切替指示部は、管理テーブル900を参照して、音入出力装置110がミュート状態に制御されたかを判断する。サーバ700のプロファイル切替指示部は、音入出力装置110がミュート状態に制御された場合、相手端末が非ミュート状態の高音質端末であるかに基づいて、音入出力装置110と対象端末とを接続する無線通信の通信プロファイルを、第一プロファイルから、第一プロファイルよりも高音質で通信する第二プロファイルに切替える指示を、音入出力装置110又は対象端末の何れかに行う。
具体的には、サーバ700のプロファイル切替部203は、音入出力装置110がミュート状態に制御された場合、通信プロファイルの切替えを指示するコマンドを、音入出力装置110又は端末120に送信する。例えば、このコマンドを受信した端末120は、音入出力装置110との間で、互いの通信プロファイルを第一プロファイルから第二プロファイルに切替える制御を実行すればよい。
[備考]
本開示は、上記実施形態に限定されるものではなく、上記実施形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。例えば、上記実施形態では、切替対象の通信プロファイルとして、BTプロファイル(HEP/HSP及びA2DP)を例示したが、他の無線通信の通信プロファイルも同様の手法によって切替え可能である。
上記実施形態では、音入出力装置110がミュート状態に切替えられたタイミングで、通信プロファイルを第一プロファイルから第二プロファイルに切替える場合を例示した。これに代えて、ミュート実行処理(図4参照)において、S401でミュート状態に切替えられた時点から所定時間(例えば10秒)が経過した場合に、S405で切替信号を送信してもよい。この場合、S401から所定時間が経過する前に切替スイッチが再度押された場合は、切替信号を送信することなくミュート実行処理(図4参照)を終了してもよい。これにより、例えばユーザが誤って音入出力装置110をミュート状態に切替えてしまい、即座にミュート解除した場合には、通信プロファイルの不要な切替えを発生しないようにできる。
なお、音入出力装置110でミュート解除されたことに応じて、通信プロファイルを第二プロファイルから第一プロファイルに切替える場合には、ミュート解除されたタイミングで第一プロファイルに切替えられればよい。これにより、音入出力装置110でミュート解除された直後から、ユーザの発話をマイク150で確実に集音して相手端末に伝えることができる。
音入出力装置110の通信プロファイルが第一プロファイルから第二プロファイルに切替えられた場合、スピーカ140の出力音の品質が向上したことをユーザに認識させるために、所定の報知を行ってもよい。例えば、所定の報知では、所定パターンの音、画像、発光等が、音入出力装置110又は対象端末(例えば端末120)から出力されればよい。
上記実施形態では、音入出力装置110の切替スイッチの操作によって、音入出力装置110のミュート状態が切替えられる場合を例示した。これに代えて、音入出力装置110のミュート状態が、音入出力装置110以外の機器で行われた操作に応じて切替えられてもよい。例えば、ユーザが対象端末(例えば端末120)でミュート操作を行った場合に、音入出力装置110のミュート状態が切替えられてもよい。音入出力装置110のミュート状態が切替えられた場合、その旨が相手端末に通知されてもよい。
音入出力装置110又はサーバ700の機能ブロックは、ASIC(Application Specific Integrated Circuit)及びFPGA(Field Programmable Gate Array)など、集積回路(ICチップ)などに形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)を用いてソフトウェアによって実現してもよい。
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態に夫々開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。更に、各実施形態に夫々開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
音入出力システム100、音入出力装置110、端末120、音出力部201、音入力部202、プロファイル切替部203、プロファイル取得部204、通信部213、サーバ700、通信部701、情報取得部702、端末特定部703、プロファイル制御部704

Claims (8)

  1. 端末と接続する無線通信を制御する通信部と、
    前記無線通信において前記端末から送信される第一音データを受信し、前記第一音データに基づいてスピーカから音を出力する音出力部と、
    マイクに入力された音に対応する第二音データを、前記無線通信において前記端末に送信する音入力部と、
    前記音入力部がミュート状態に制御された場合、前記無線通信の通信プロファイルを、第一プロファイルから、前記第一プロファイルよりも高音質で通信する第二プロファイルに切替え可能なプロファイル切替部と、
    を備えた音入出力装置。
  2. 前記プロファイル切替部は、前記無線通信の通信プロファイルを、前記第一音データ及び前記第二音データの両方を通信する前記第一プロファイルから、前記第一音データのみを通信する前記第二プロファイルに切替え可能である、
    請求項1に記載の音入出力装置。
  3. 前記プロファイル切替部は、前記音入力部が前記ミュート状態に制御された場合、前記端末が前記第二プロファイルに対応していれば、前記第二プロファイルに基づく前記無線通信の実行を要求する切替信号を、前記端末に送信し、且つ前記端末が前記第二プロファイルに対応していなければ、前記切替信号を前記端末に送信しない、
    請求項1又は2に記載の音入出力装置。
  4. 前記無線通信によって接続された前記端末から、前記端末が対応可能な前記通信プロファイルである対応プロファイルを取得するプロファイル取得部、を更に備え、
    前記プロファイル切替部は、取得された前記対応プロファイルが前記第二プロファイルを含むかに基づいて、前記端末が前記第二プロファイルに対応するかを判断する、
    請求項3に記載の音入出力装置。
  5. ネットワークに接続された複数の端末と、
    前記ネットワークに接続されたサーバと、
    前記複数の端末の何れかに前記無線通信で接続された、請求項1から4の何れかに記載の前記音入出力装置と、
    を含む音入出力システムであって、
    前記サーバは、前記複数の端末のうちで前記音入出力装置と接続された対象端末とは異なる相手端末が、所定の高音質モードで入力音の音データを出力する非ミュート状態の高音質端末であるか否かに応じて、前記プロファイル切替部による前記無線通信の通信プロファイルの切替えを許可又は禁止する、
    音入出力システム。
  6. 前記高音質モードは、前記入力音を取得するマイクと有線接続された前記相手端末が、前記第一プロファイルよりも高音質で前記音データを出力する音声モードである、
    請求項5に記載の音入出力システム。
  7. ネットワークに接続する通信部と、
    前記ネットワークに接続された複数の端末の各々から、前記端末のミュート状態及び音声モードに関するステータス情報を取得する情報取得部と、
    取得された前記ステータス情報に基づいて、前記複数の端末のうちで音入出力装置と接続された対象端末とは異なる相手端末が、所定の高音質モードで入力音の音データを出力する非ミュート状態の高音質端末であるかを特定する端末特定部と、
    前記音入出力装置がミュート状態に制御された場合、前記相手端末が前記非ミュート状態の高音質端末であるかに基づいて、前記音入出力装置と前記対象端末とを接続する無線通信の通信プロファイルを、第一プロファイルから、前記第一プロファイルよりも高音質で通信する第二プロファイルに切替える指示を、前記音入出力装置又は前記対象端末の何れかに行うプロファイル切替指示部と、
    を備えるサーバ。
  8. 音入出力装置と端末とを接続する無線通信を制御し、
    前記無線通信において前記端末から前記音入出力装置に送信された第一音データに基づいて、前記音入出力装置のスピーカから音を出力し、
    前記音入出力装置のマイクに入力された音に対応する第二音データを、前記無線通信において前記音入出力装置から前記端末に送信し、
    前記音入出力装置がミュート状態に制御された場合、前記無線通信の通信プロファイルを、第一プロファイルから、前記第一プロファイルよりも高音質で通信する第二プロファイルに切替える、
    音入出力方法。
JP2020196558A 2020-11-27 2020-11-27 音入出力装置、音入出力システム、サーバ、及び音入出力方法 Pending JP2022085072A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020196558A JP2022085072A (ja) 2020-11-27 2020-11-27 音入出力装置、音入出力システム、サーバ、及び音入出力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020196558A JP2022085072A (ja) 2020-11-27 2020-11-27 音入出力装置、音入出力システム、サーバ、及び音入出力方法

Publications (1)

Publication Number Publication Date
JP2022085072A true JP2022085072A (ja) 2022-06-08

Family

ID=81892828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020196558A Pending JP2022085072A (ja) 2020-11-27 2020-11-27 音入出力装置、音入出力システム、サーバ、及び音入出力方法

Country Status (1)

Country Link
JP (1) JP2022085072A (ja)

Similar Documents

Publication Publication Date Title
JP6829693B2 (ja) オーディオ共有のための方法及びシステム
CN110493678B (zh) 耳机的控制方法、装置、耳机和存储介质
CN106463108B (zh) 提供与干扰的隔离
KR102203510B1 (ko) 애플리케이션 프로그램 제어 방법 및 장치, 그리고 전자 장치
US8363844B2 (en) Contextual audio switching for a USB controlled audio device
JP2004235838A (ja) 電子機器、同機器の接続制御方法および音声調整方法
JP2004233793A (ja) 電子機器および同機器で用いられる遠隔制御方法
CN107343237B (zh) 耳机适配器和耳机系统、耳机麦克风传送的方法
WO2023087793A1 (zh) 音频业务处理方法、装置、电子设备及存储介质
WO2024055494A1 (zh) 基于蓝牙耳机的通话方法、装置及存储介质
CN115499742A (zh) 具有自动降噪模式切换的头戴式设备
EP2622830B1 (en) Wireless audio device call device selection
JP2009049678A (ja) ハンズフリー通話システム及び移動電話機
JP2022085072A (ja) 音入出力装置、音入出力システム、サーバ、及び音入出力方法
JP2006253898A (ja) 通信端末
JP3735596B2 (ja) 電子機器およびコンテンツデータの出力先切替え方法
KR101672951B1 (ko) 개별 적응 방식의 통화 기능을 가진 히어링 디바이스 및 그에 의한 통화 방법
CN107529353B (zh) 一种基于移动终端的助听装置
WO2020019822A1 (zh) 麦克风堵孔检测方法及相关产品
WO2018207482A1 (ja) 発話制御装置、電子機器、プログラムおよび発話制御装置の制御方法
US20240080212A1 (en) Conference system, server, audio output method, and user terminal
WO2020218095A1 (ja) 情報処理システム、コントローラ、情報処理装置、情報処理装置の制御方法、及びプログラム
WO2020218096A1 (ja) 情報処理システム、情報処理装置、情報処理装置の制御方法、及びプログラム
WO2024119926A1 (zh) 耳机贴合度检测方法和耳机
WO2024070550A1 (ja) システム、電子機器、システムの制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230920