JP2007036802A - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JP2007036802A
JP2007036802A JP2005218693A JP2005218693A JP2007036802A JP 2007036802 A JP2007036802 A JP 2007036802A JP 2005218693 A JP2005218693 A JP 2005218693A JP 2005218693 A JP2005218693 A JP 2005218693A JP 2007036802 A JP2007036802 A JP 2007036802A
Authority
JP
Japan
Prior art keywords
user
positional relationship
information processing
sound signal
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005218693A
Other languages
English (en)
Other versions
JP4669340B2 (ja
Inventor
Nobuyuki Gounai
信行 郷内
Satoshi Mikami
智 三上
Sumio Koseki
純夫 小関
Masami Suetani
正美 末谷
Kyo Nagahama
巨 長浜
Junya Mikami
純矢 三上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2005218693A priority Critical patent/JP4669340B2/ja
Priority to US11/252,741 priority patent/US20070025555A1/en
Publication of JP2007036802A publication Critical patent/JP2007036802A/ja
Application granted granted Critical
Publication of JP4669340B2 publication Critical patent/JP4669340B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

【課題】携帯電話機などの情報処理装置とユーザとの間の相対位置が変化する場合でも、情報処理装置に搭載された3Dサラウンド機能の効果を適切に発揮できるようにすること。
【解決手段】携帯電話機10の音信号生成部31cが、携帯電話機10とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成することにより、携帯電話機10に搭載された3Dサラウンド機能の効果を適切に発揮できるようにする。
【選択図】 図3

Description

本発明は、スピーカーにより出力される音信号を生成する情報処理装置、情報処理方法および情報処理プログラムに関し、特に、携帯電話機などの情報処理装置とユーザとの間の相対位置が変化する場合でも、情報処理装置に搭載された3Dサラウンド機能の効果を適切に発揮できるようにする情報処理装置、情報処理方法および情報処理プログラムに関する。
近年、携帯電話機には、ステレオスピーカーが搭載され、音楽の配信サービスを提供する音楽配信サーバからネットワークを介してダウンロードした音楽ファイルを、携帯電話機でステレオ再生することができるようになってきている。また、最近では、通話時に通話相手の音声だけでなく通話相手の映像も表示するテレビ電話機能が搭載された携帯電話機も利用されるようになってきている。
このテレビ電話機能では、通話音声はモノラル音声しかサポートされていなかったため、音楽ファイルをステレオ再生する場合のように、臨場感溢れる音を再生することができなかった。
そのため、通話相手の携帯電話機に搭載された複数のマイクロフォンを用いることにより録音された音声を、自分の携帯電話機の複数のスピーカーを用いてステレオ形式で再生する技術が開示されている(たとえば、特許文献1を参照)。
さらに、最近の携帯電話機には、3Dサラウンド機能が搭載されるようになってきている。この3Dサラウンド機能は、3次元の立体的な音場を再現する技術である。この3次元サラウンド機能を用いることにより、音源が自分の上下、左右、前後などにある場合の音場を臨場感豊かに再現することができる。
特開2004−56408号公報
しかしながら、上述した従来技術における3Dサラウンド機能では、携帯電話機とユーザとの間の距離が一定であるものとして音場を再現していたため、その距離が変化すると、3Dサラウンド機能の効果が薄れるという問題があった。
図13は、従来技術における3Dサラウンド機能を説明する図である。図13に示すように、従来の携帯電話機では、ユーザとの間の距離が固定値であるものとし、その距離に合わせて仮想的な音源が所定の位置にあることユーザに知覚させる右方向可聴音および左方向可聴音を生成し、それらを左右のスピーカーから出力する。
ここで、携帯電話機とユーザとの間の距離は、ユーザが携帯電話機の3Dサラウンド機能を使用する場合の、携帯電話機とユーザの顔との間の統計的に求められた距離から決定されていた。
ところが、図13に示すように、ユーザが前後に移動してしまうと、ユーザに対する仮想音源の相対的な位置がずれてしまい、3Dサラウンド機能の効果が得られなくなるという問題が生じる。
そのため、携帯電話機とユーザとの間の相対位置が変化する場合でも、携帯電話機に搭載された3Dサラウンド機能の効果が適切に得られるようにする技術の開発が重要な課題として残っている。
この発明は、上述した従来技術による問題点を解消するためになされたものであり、携帯電話機などの情報処理装置とユーザとの間の相対位置が変化する場合でも、情報処理装置に搭載された3Dサラウンド機能の効果を適切に発揮できるようにする情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、本発明は、スピーカーにより出力される音信号を生成する情報処理装置であって、自装置とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成する生成手段、を備えたことを特徴とする。
また、本発明は、上記発明において、自装置本体から引き出されて配置される複数のスピーカーと、前記音信号を各スピーカーに伝達するケーブルとをさらに備えたことを特徴とする。
また、本発明は、上記発明において、自装置本体から引き出されて配置される複数のスピーカーと、自装置と前記ユーザとの間の位置関係の検出結果に基づいて、各スピーカーの自装置本体からの引き出し量を調節する調節手段とをさらに備えたことを特徴とする。
また、本発明は、上記発明において、前記生成手段は、同期をとって再生される異なる複数の音信号を生成することを特徴とする。
また、本発明は、上記発明において、同期をとって再生される各音信号をそれぞれ出力する複数のスピーカーをさらに備え、前記複数のスピーカーは、液晶ディスプレイのパネルから音波を発生させる液晶ディスプレイパネルスピーカーと、当該液晶ディスプレイパネルスピーカーの左右に配置されたスピーカーとを少なくとも含むことを特徴とする。
また、本発明は、上記発明において、同期をとって再生される各音信号をそれぞれ出力する複数のスピーカーをさらに備え、前記複数のスピーカーは、ユーザによる情報の入力を受け付けるタッチパネルから音波を発生させるタッチパネルスピーカーと、当該タッチパネルスピーカーの左右に配置されたスピーカーとを少なくとも含むことを特徴とする。
また、本発明は、上記発明において、同期をとって再生される各音信号を無線通信によって他の装置に送信する送信手段をさらに備えたことを特徴とする。
また、本発明は、上記発明において、自装置と前記ユーザとの間の位置関係を検出する検出手段をさらに備え、前記生成手段は、前記検出手段により検出された位置関係に基づいて、前記音信号を生成することを特徴とする。
また、本発明は、上記発明において、前記ユーザを撮影する撮影手段をさらに備え、前記検出手段は、前記撮影手段により撮影されたユーザ画像とあらかじめ記憶されたユーザ画像とを照合することにより前記位置関係を検出することを特徴とする。
また、本発明は、上記発明において、前記ユーザを撮影し、焦点距離が異なる複数の撮影手段をさらに備え、前記検出手段は、前記複数の撮影手段によりユーザが撮影された場合に、ピントが合ったユーザ画像を撮影した撮影手段がどれであるかを判定することにより前記位置関係を検出することを特徴とする。
また、本発明は、上記発明において、前記ユーザに対する焦点合わせを実行する焦点合わせ実行手段をさらに備え、前記検出手段は、前記焦点合わせ実行手段による焦点合わせの結果に基づいて前記位置関係を検出することを特徴とする。
また、本発明は、上記発明において、前記ユーザに対する焦点合わせを所定の範囲内で実行する複数の焦点合わせ実行手段をさらに備え、前記検出手段は、前記複数の焦点合わせ実行手段により焦点合わせが実行された場合に、焦点を合わせることができた焦点合わせ実行手段の焦点合わせの結果に基づいて前記位置関係を検出することを特徴とする。
また、本発明は、上記発明において、前記ユーザとの間の距離を複数の位置から測定する距離測定手段をさらに備え、前記検出手段は、前記距離測定手段により測定された距離に基づいて、自装置の向きと前記ユーザがいる方向とがなす角度を検出することを特徴とする。
また、本発明は、上記発明において、ユーザに対して超音波を照射する超音波照射手段をさらに備え、前記検出手段は、前記超音波照射手段により照射された超音波がユーザにより反射された反射波を検出することにより前記位置関係を検出することを特徴とする。
また、本発明は、上記発明において、情報を表示する液晶ディスプレイ装置の画面を照らす光源をさらに備え、前記検出手段は、前記光源が発した光がユーザにより反射された反射光を検出することにより前記位置関係を検出することを特徴とする。
また、本発明は、上記発明において、前記ユーザに対して少なくとも2本の非平行な指向性ビームを照射する指向性ビーム照射手段をさらに備え、前記検出手段は、前記指向性ビーム照射手段により照射された指向性ビームが前記ユーザにより反射された反射ビームの間隔を検出し、当該間隔に基づいて前記位置関係を検出することを特徴とする。
また、本発明は、上記発明において、前記ユーザのモノクローム画像を撮影するモノクローム画像撮影手段をさらに備え、前記検出手段は、前記モノクローム画像撮影手段により撮影されたモノクローム画像を基にして前記位置関係を検出することを特徴とする。
また、本発明は、上記発明において、前記ユーザにより反射された可視光を検出することにより焦点合わせを実行する可視光検出焦点合わせ実行手段と、前記ユーザにより反射された赤外線を検出することにより焦点合わせを実行する赤外線検出焦点合わせ実行手段とをさらに備え、前記検出手段は、前記可視光検出焦点合わせ実行手段による焦点合わせの結果に基づいて前記位置関係を検出するか、あるいは、前記赤外線検出焦点合わせ手段による焦点合わせの結果に基づいて前記位置関係を検出するかを周囲の明るさに応じて選択し、選択結果に基づいて前記位置関係を検出することを特徴とする。
また、本発明は、上記発明において、前記検出手段は、自装置と前記ユーザとの間の位置関係を検出する検出範囲の設定を受け付け、設定を受け付けた検出範囲内で前記位置関係の検出をおこなうことを特徴とする。
また、本発明は、上記発明において、前記生成手段は、自装置と前記ユーザとの間の位置関係が、位置関係を検出する検出範囲外である場合に、当該位置関係が検出範囲内である場合の音信号の出力レベルよりも出力レベルが大きくならないように前記音信号を生成することを特徴とする。
また、本発明は、上記発明において、前記検出手段は、自装置と前記ユーザとの間の位置関係を検出する検出時間の設定を受け付け、設定を受け付けた検出時間内に位置関係の検出が完了しない場合には当該位置関係の検出を中止することを特徴とする。
また、本発明は、上記発明において、前記位置関係は、自装置と前記ユーザとの間の距離であることを特徴とする。
また、本発明は、上記発明において、前記位置関係は、自装置と前記ユーザとの間の距離、および、自装置の向きと前記ユーザがいる方向とのなす角度であることを特徴とする。
また、本発明は、スピーカーにより出力される音信号を生成する情報処理方法であって、自装置とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成する生成工程、を含んだことを特徴とする。
また、本発明は、スピーカーにより出力される音信号を生成する情報処理プログラムであって、自装置とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に係る情報を記憶する記憶手順と、前記記憶手順により記憶された情報に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成する生成手順と、を情報処理装置に実行させることを特徴とする。
本発明によれば、自装置とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成することとしたので、情報処理装置とユーザとの間の相対位置が変化する場合でも、情報処理装置に搭載された3Dサラウンド機能の効果を適切に発揮することができるという効果を奏する。
また、本発明によれば、自装置本体から引き出されて配置される複数のスピーカーと、音信号を各スピーカーに伝達するケーブルとを備えたこととしたので、各スピーカーを3Dサラウンド機能の効果が適切に発揮できる位置に配置することができるという効果を奏する。
また、本発明によれば、自装置本体から引き出されて配置される複数のスピーカーを備え、自装置とユーザとの間の位置関係の検出結果に基づいて、各スピーカーの自装置本体からの引き出し量を調節することとしたので、各スピーカーを3Dサラウンド機能の効果が適切に発揮できる位置に配置することができるという効果を奏する。
また、本発明によれば、同期をとって再生される異なる複数の音信号を生成することとしたので、3Dサラウンド機能をマルチチャンネルで実現し、臨場感のある音場を再現することができるという効果を奏する。
また、本発明によれば、同期をとって再生される各音信号をそれぞれ出力する複数のスピーカーを備え、複数のスピーカーは、液晶ディスプレイのパネルから音波を発生させる液晶ディスプレイパネルスピーカーと、当該液晶ディスプレイパネルスピーカーの左右に配置されたスピーカーとを少なくとも含むこととしたので、液晶ディスプレイパネルスピーカーを用いることにより、情報処理装置単独でマルチチャンネルの3Dサラウンド機能を実現し、臨場感のある音場を再現することができるという効果を奏する。
また、本発明によれば、同期をとって再生される各音信号をそれぞれ出力する複数のスピーカーを備え、複数のスピーカーは、ユーザによる情報の入力を受け付けるタッチパネルから音波を発生させるタッチパネルスピーカーと、当該タッチパネルスピーカーの左右に配置されたスピーカーとを少なくとも含むこととしたので、タッチパネルスピーカーを用いることにより、情報処理装置単独でマルチチャンネルの3Dサラウンドシステムを実現し、臨場感のある音場を再現することができるという効果を奏する。
また、本発明によれば、同期をとって再生される各音信号を無線通信によって他の装置に送信することとしたので、他の装置を利用することによりマルチチャンネルの3Dサラウンドシステムを実現し、臨場感のある音場を再現することができるという効果を奏する。
また、本発明によれば、自装置とユーザとの間の位置関係を検出し、検出した位置関係に基づいて、音信号を生成することとしたので、情報処理装置が他の装置を必要とすることなく、位置関係を検出することができるという効果を奏する。
また、本発明によれば、ユーザを撮影し、撮影したユーザ画像とあらかじめ記憶されたユーザ画像とを照合することにより位置関係を検出することとしたので、画像照合により位置関係を効率的に検出することができるという効果を奏する。
また、本発明によれば、ユーザを焦点距離が異なる複数の撮影手段を用いて撮影し、ピントが合ったユーザ画像を撮影した撮影手段がどれであるかを判定することにより位置関係を検出することとしたので、焦点距離がそれぞれ異なる撮影手段を用いて撮影することにより位置関係を効率的に検出することができるという効果を奏する。
また、本発明によれば、ユーザに対する焦点合わせを実行し、その焦点合わせの結果に基づいて位置関係を検出することとしたので、オートフォーカス機能を利用することにより位置関係を効率的に検出することができるという効果を奏する。
また、本発明によれば、ユーザに対する焦点合わせを所定の範囲内で実行する複数の焦点合わせ実行手段を用いて焦点合わせを実行し、焦点を合わせることができた焦点合わせ実行手段の焦点合わせの結果に基づいて位置関係を検出することとしたので、焦点合わせをおこなう範囲が異なる複数の焦点合わせ実行手段を用いて焦点合わせを実行することにより位置関係を効率的に検出することができるという効果を奏する。
また、本発明によれば、ユーザとの間の距離を複数の位置から測定し、測定した距離に基づいて、自装置の向きとユーザがいる方向とがなす角度を検出することとしたので、自装置の向きとユーザがいる方向とがなす角度を効率的に検出することができるという効果を奏する。
また、本発明によれば、ユーザに対して超音波を照射し、照射した超音波がユーザにより反射された反射波を検出することにより位置関係を検出することとしたので、超音波を利用することにより位置関係を効率的に検出することができるという効果を奏する。
また、本発明によれば、情報を表示する液晶ディスプレイ装置の画面を照らす光源を備え、光源が発した光がユーザにより反射された反射光を検出することにより位置関係を検出することとしたので、バックライトなどを利用することにより位置関係を効率的に検出することができるという効果を奏する。
また、本発明によれば、ユーザに対して少なくとも2本の非平行な指向性ビームを照射し、照射した指向性ビームがユーザにより反射された反射ビームの間隔を検出し、当該間隔に基づいて位置関係を検出することとしたので、少なくとも2本の非平行な指向性ビームをユーザに照射することにより位置関係を効率的に検出することができるという効果を奏する。
また、本発明によれば、ユーザのモノクローム画像を撮影し、撮影したモノクローム画像を基にして位置関係を検出することとしたので、ユーザの検出感度を高めることができ、位置関係を効率的に検出することができるという効果を奏する。
また、本発明によれば、ユーザにより反射された可視光を検出することにより焦点合わせを実行する可視光検出焦点合わせ実行部と、ユーザにより反射された赤外線を検出することにより焦点合わせを実行する赤外線検出焦点合わせ実行部とを備え、可視光検出焦点合わせ実行部による焦点合わせの結果に基づいて位置関係を検出するか、あるいは、赤外線検出焦点合わせ部による焦点合わせの結果に基づいて位置関係を検出するかを周囲の明るさに応じて選択し、選択結果に基づいて位置関係を検出することとしたので、周囲の明るさに応じて適切な焦点合わせの方法を選択することができ、位置関係を効率的に検出することができるという効果を奏する。
また、本発明によれば、自装置とユーザとの間の位置関係を検出する検出範囲の設定を受け付け、設定を受け付けた検出範囲内で位置関係の検出をおこなうこととしたので、音信号を生成するのに適した範囲内でのみ、位置関係の検出をおこなうことができるという効果を奏する。
また、本発明によれば、自装置とユーザとの間の位置関係が、位置関係を検出する検出範囲外である場合に、当該位置関係が検出範囲内である場合の音信号の出力レベルよりも出力レベルが大きくならないように音信号を生成することとしたので、自装置とユーザとが遠く離れているような場合に出力レベルが無闇に大きくなることを防ぐことができるという効果を奏する。
また、本発明によれば、自装置とユーザとの間の位置関係を検出する検出時間の設定を受け付け、設定を受け付けた検出時間内に位置関係の検出が完了しない場合には当該位置関係の検出を中止することとしたので、位置関係の検出が困難であるような場合に検出処理を中止することにより、バッテリーの消費を抑えることができるという効果を奏する。
また、本発明によれば、位置関係は、自装置とユーザとの間の距離であることとしたので、自装置とユーザとの間の距離を検出することにより、情報処理装置とユーザとの間の距離が変化する場合でも、情報処理装置に搭載された3Dサラウンド機能の効果を適切に発揮することができるという効果を奏する。
また、本発明によれば、位置関係は、自装置とユーザとの間の距離、および、自装置の向きとユーザがいる方向とのなす角度であることとしたので、情報処理装置とユーザとの間の距離、および、自装置の向きとユーザがいる方向とのなす角度が変化する場合でも、情報処理装置に搭載された3Dサラウンド機能の効果を適切に発揮することができるという効果を奏する。
以下に添付図面を参照して、本発明に係る情報処理装置、情報処理方法および情報処理プログラムの好適な実施例を詳細に説明する。なお、ここでは、情報処理装置が、カメラを搭載した携帯電話機である場合について説明する。
まず、本発明に係る音信号生成処理の概念について説明する。図1は、本発明に係る音信号生成処理の概念を説明する図である。この音信号生成処理をおこなう携帯電話機10は、カメラで被写体を撮影する際に焦点を自動的に合わせるオートフォーカス機能部11を搭載している。
このオートフォーカス機能部11は、被写体との間の距離を測定する。また、オートフォーカス機能部11は、可動式になっており、被写体の方向に向きを変えることができる。そして、オートフォーカス機能部11の向きを変えた角度から、被写体のある方向と携帯電話機10の正面方向との間の角度を測定する。
この音信号生成処理では、ユーザと携帯電話機10との間の位置関係に基づいて、ユーザに所定の位置に音源があることを知覚させる3Dサラウンド用の音信号を生成する処理をおこなう。
具体的には、音信号生成処理では、ユーザと携帯電話機10との間の距離および携帯電話機10の正面方向とユーザがいる方向との間のなす角度を測定し、測定した距離および角度を用いて、ユーザに知覚させる仮想的な音源の位置を補正する。
さらに、この音信号生成処理では、補正した音源の位置の情報と頭部伝達関数とを用いることにより、補正した位置に音源があることをユーザに知覚させる音場・音圧を再現する。
すなわち、補正した音源の位置情報と頭部伝達関数とから、携帯電話機10の左側スピーカー12および右側スピーカー13から出力する音信号を生成し、生成された音信号を各スピーカーから出力する。
ここで、図1では、オートフォーカス機能部11は、水平方向におけるユーザの位置を検出することとしているが、さらに、上下方向におけるユーザの位置を検出することとしてもよい。
図2は、上下方向におけるユーザの位置検出処理を説明する図である。図2に示すように、オートフォーカス機能部11は、水平方向だけでなく、上下方向にも向きが変わるように構成される。
そして、オートフォーカス機能部11が上下方向に向きを変えられた角度から、ユーザの顔のある方向と携帯電話機10の正面方向との間の位置関係が検出される。検出された角度の情報は、図1の場合と同様に、ユーザに知覚させる仮想的な音源の位置を補正するために用いられる。
携帯電話機10がこのような音信号生成処理を実行することにより、携帯電話機10とユーザとの間の相対位置が変化する場合でも、携帯電話機10に搭載された3Dサラウンド機能の効果を適切に発揮できるようにすることができる。
つぎに、本実施例に係る携帯電話機10の機能構成について説明する。図3は、本実施例に係る携帯電話機10の機能構成を示す図である。
図3に示すように、この携帯電話機10は、アンテナ20、無線通信部21、赤外線通信部22、近距離無線通信部23、マイク24、スピーカー25、LCD(Liquid Crystal Display)26、入力キー27、カメラ28、オートフォーカス機能部29、記憶部30および制御部31を有する。
アンテナ20は、無線電波の送受信をおこなうアンテナである。無線通信部21は、携帯電話機10の基地局を介して他の携帯電話機に接続し、音声通話処理やデータ通信処理をおこなう通信部である。
赤外線通信部22は、赤外線の送受信をおこなうことにより他の携帯電話機との間でデータ通信をおこなう通信部である。近距離無線通信部23は、ブルートゥースの規格などを用いた近距離無線通信により他の携帯電話機との間でデータ通信をおこなう通信部である。
マイク24は、音声情報を取得して、それを電気信号に変換するマイクである。スピーカー25は、通話音声や再生音を出力するスピーカーである。ここで、このスピーカー25は、携帯電話機10に複数設置されている。
図4は、携帯電話機10に複数設置されるスピーカー25について説明する図である。図4に示すように、携帯電話機10の左右両端には、左側スピーカー25aおよび右側スピーカー25bが設置される。
また、図4に示すように、左側スピーカー25aおよび右側スピーカー25bの間の携帯電話機10の上面に上面スピーカー25cを設置することとしてもよい。さらには、左側スピーカー25aおよび右側スピーカー25bの間に、LCDパネルスピーカー25dやタッチパネルスピーカー25eを設置することとしてもよい。
ここで、LCDパネルスピーカー25dは、画像を表示することができる液晶パネルに音を出力する機能を持たせたディスプレイ兼スピーカー装置である。また、タッチパネルスピーカ25eは、入力キー27の代わりに情報の入力を受け付けるタッチパネルが携帯電話機10に備えられている場合に、当該タッチパネルに音を出力する機能を持たせたタッチパネル兼スピーカー装置である。
また、左側スピーカー25aおよび右側スピーカー25bは、携帯電話機10から引き出される構造になっていてもよい。ここで、左側スピーカー25aおよび右側スピーカー25bと携帯電話機10本体とは、左側スピーカー25aおよび右側スピーカー25bに音信号を伝達するケーブルによって接続される。
さらに、左側スピーカー25aおよび右側スピーカー25bは、携帯電話機10から自動的に迫り出す構造になっていてもよい。具体的には、ユーザと携帯電話機10との間の位置関係が検出された場合に、3Dサラウンド機能の効果が最もよく発揮されるように、左側スピーカー25aおよび右側スピーカー25bが所定の距離だけ携帯電話機10から迫り出すように調整される。
ここで、各スピーカー25a〜25eは、それぞれ異なる音信号を出力することにより、マルチチャンネルの3Dサラウンドシステムを実現する。ここで、各スピーカー25a〜25eから出力される音信号は、ユーザに所定の位置に音源があることを知覚させるように、各スピーカー25a〜25eの設置位置に応じて調整された3Dサラウンド用の音信号である。
図5は、左側スピーカー25aおよび右側スピーカー25bの迫り出し状態の調節機構について説明する図である。図5に示すように、この調節機構には、左側スピーカー25aが先端に設置された左側ラック40aと、右側スピーカー25bが先端に設置された右側ラック40bと、左側ラック40aおよび右側ラック40bとかみ合うピニオン41とが備えられている。
そして、ユーザと携帯電話機10との間の位置関係が検出された場合には、3Dサラウンド機能の効果が最もよく発揮される位置まで左側スピーカー25aおよび右側スピーカー25bが移動するようピニオン41が所定の角度回転する。
LCD26は、種々の情報を表示する液晶ディスプレイである。入力キー27は、ユーザから情報の入力操作を受け付ける入力キーである。カメラ28は、静止画あるいは動画の撮影をおこなうカメラである。
オートフォーカス機能部29は、被写体とカメラ28との間の距離を測定し、被写体の焦点を合わせる機能部である。また、このオートフォーカス機能部29は、上下左右にその向きが変えられるようになっている。そして、オートフォーカス機能部29は、オートフォーカス機能部29の向きを測定する。
なお、被写体を撮影する際に周囲が暗い場合には、オートフォーカス機能部29は、被写体に光を照射するフォトライト(図示せず)を点灯した後、被写体の焦点合わせを実行する。
記憶部30は、フラッシュメモリなどの記憶デバイスである。この記憶部30は、通信データ30a、画像データ30b、位置データ30c、頭部伝達関数データ30d、および、音データ30eを記憶している。
通信データ30aは、他の装置との間でデータ通信をおこなった際の通信データである。画像データ30bは、カメラ28により撮影された画像のデータである。
位置データ30cは、オートフォーカス機能部29により測定されたユーザの位置情報のデータである。具体的には、位置データ30cは、携帯電話機10とユーザとの間の距離、および、携帯電話機10の正面方向とユーザがいる方向とがなす角度のデータである。
頭部伝達関数データ30dは、3Dサラウンド用の音信号を生成する場合に参照される頭部伝達関数のデータである。ここで、頭部伝達関数とは、音源から耳に音が到達する場合の音の伝達特性を表す関数である。
所定の位置に音源があることをユーザに知覚させる音信号は、その音源の位置およびユーザの位置に応じた頭部伝達関数を選択し、選択された頭部伝達関数の畳み込み演算をおこなうことにより生成される。
音データ30dは、ユーザの位置に応じて生成された3Dサラウンド用の音信号のデータである。
制御部31は、携帯電話機10を全体制御する制御部であり、各機能部間のデータの授受などを司る。この制御部31は、通信管理部31a、位置関係検出部31b、音信号生成部31c、および、音信号出力部31dを有する。
通信管理部31aは、音声通話やデータ通信などの実行処理をおこなう管理部である。位置関係検出部31bは、携帯電話機10とユーザとの間の位置関係を検出する検出部である。
具体的には、この位置関係検出部31bは、オートフォーカス機能部29を制御して、携帯電話機10とユーザとの間の距離を測定させ、その距離を検出する。また、位置関係検出部31bは、オートフォーカス機能部29の向きから携帯電話機10の正面方向と被写体がある方向との角度を検出する。そして、位置関係検出部31bは、検出した距離および角度を記憶部30に位置データ30cとして記憶させる。
また、位置関係検出部31bは、図5に示したように、左側スピーカー25aおよび右側スピーカー25bが携帯電話機10から自動的に迫り出す構造になっている場合には、ユーザと携帯電話機10との間の位置関係に応じてピニオン41の回転角度を制御し、左側スピーカー25aおよび右側スピーカー25bが所定の距離だけ携帯電話機10から迫り出すように調整する。
音信号生成部31cは、所定の音場・音圧を再現する音信号を生成する生成部である。具体的には、音信号生成部31cは、位置関係検出部31bにより携帯電話機10とユーザとの間の位置関係が検出された場合に、その位置関係に基づいて仮想的な音源の位置の補正をおこない、補正された音源の位置の情報と、記憶部30に記憶された頭部伝達関数データ30dとから音信号を生成する。
また、この音信号生成部31cは、音場・音圧の設定情報をLCD26に表示させ、ユーザに通知する。図6は、音場・音圧の設定情報の表示画面の一例を示す図である。図6に示すように、この表示画面には、携帯電話機10とユーザとの間の位置関係(距離および角度)の情報や、スピーカー25から出力される音の音圧レベルの情報、仮想音源の位置の情報などが表示される。
図4に示したように、スピーカー25が複数ある場合には、音信号生成部31cは、各スピーカー25により同期をとって再生される異なる複数の3Dサラウンド用の音信号を生成し、生成した音信号を記憶部30に音データ30eとして記憶させる。
音信号出力部31dは、音信号生成部31cにより生成された3Dサラウンド用の音信号を記憶部30の音データ30eから読み出して、その音信号をスピーカー25に出力させる出力部である。
つぎに、本実施例に係る音信号生成処理の処理手順について説明する。図7は、本実施例に係る音信号生成処理の処理手順を示すフローチャートである。
図7に示すように、まず、携帯電話機10の位置関係検出部31bは、オートフォーカス機能部29がユーザのいる方向に向きを変えられた際のオートフォーカス機能部29の角度から得られる、携帯電話機10の正面方向とユーザのいる方向とがなす角度の情報をオートフォーカス機能部29から取得する(ステップS101)。
そして、オートフォーカス機能部29は、ユーザに対して焦点を合わせるオートフォーカス処理を実行し(ステップS102)、焦点が合ったか否かを調べる(ステップS103)。
焦点が合っていない場合には(ステップS103,No)、ステップS102に移行して、オートフォーカス処理を継続する。焦点が合った場合には(ステップS103,Yes)、位置関係検出部31bは、レンズと焦点面との間の距離から得られる携帯電話機10とユーザとの間の距離の情報を取得する(ステップS104)。
そして、音信号生成部31cは、頭部伝達関数データ30dを記憶部30から読み出し(ステップS105)、頭部伝達関数データ30dと、位置関係検出部31bにより取得された角度および距離の情報とから所定の位置に音源があるようにユーザに知覚させる音場・音圧を設定する処理をおこなう(ステップS106)。
続いて、音信号生成部31cは、設定した音場・音圧の情報を、図6に示したようにLCD26に表示させ(ステップS107)、スピーカー25から出力する可聴音信号を生成する(ステップS108)。
その後、音信号出力部31dは、音信号生成部31cにより生成された可聴音信号をスピーカー25から出力し(ステップS109)、この音信号生成処理を終了する。
なお、ここでは、オートフォーカス機能部29が、携帯電話機10とユーザとの間の位置関係を検出することとしたが、ユーザの位置を検出する検出範囲の設定をあらかじめユーザから受け付けておき、あらかじめ設定された検出範囲内でのみユーザの位置の検出をおこなうこととしてもよい。
図8は、ユーザの検出範囲を限定するユーザ検出ウィンドウ50について説明する図である。この場合、位置関係検出部31bは、ユーザ検出ウィンドウ50の大きさを決定する半径と中心角度の設定をユーザからあらかじめ受け付ける。
そして、オートフォーカス機能部29は、このユーザ検出ウィンドウ50内でのみ携帯電話機10とユーザとの間の位置関係の検出をおこない、ユーザの位置をユーザ検出ウィンドウ50内で検出できない場合には、LCD26に警報メッセージを出力し、ユーザに通知する。
また、携帯電話機10とユーザとの間の位置関係の検出に対する制限時間をあらかじめ設定しておき、位置関係検出部31bが、その制限時間を経過しても位置関係の検出を完了することができない場合に、検出処理を中止することとしてもよい。
さらに、位置関係検出部31bが、ユーザの位置をユーザ検出ウィンドウ50の範囲内で検出することができず、その位置がユーザ検出ウィンドウ50の範囲外であると判定した場合に、音圧レベルが過度に大きくなるのを避けるため、音信号生成部31cが、ユーザの位置がユーザ検出ウィンドウ50の範囲内である場合よりも音圧レベルが大きくならないように音信号を生成することとしてもよい。
また、上記実施例では、オートフォーカス機能部29が焦点合わせを実行することにより携帯電話機10とユーザとの間の位置関係を検出することとしたが、ユーザの顔画像をあらかじめ記憶部30に記憶しておき、位置関係検出部31bが、カメラ28で撮影されたユーザの顔画像と記憶部30に記憶された顔画像とを照合することにより携帯電話機10とユーザとの間の位置関係を検出することとしてもよい。
具体的には、位置関係検出部31bは、記憶部30に記憶された顔画像がカメラ28で撮影された画像中のどの位置にあるかを判定することにより携帯電話機10の正面方向とユーザのいる方向とのなす角度を検出し、記憶部30に記憶された顔画像とカメラ28で撮影された顔画像とで大きさを比較することにより携帯電話機10とユーザとの間の距離を検出する。
また、焦点合わせを所定の距離または角度の範囲内でおこなうオートフォーカス機能部29を複数備え、各オートフォーカス機能部29がユーザに対する焦点合わせを実行し、位置関係検出部31bが、焦点を合わせることができたオートフォーカス機能部29の焦点合わせの結果から携帯電話機10とユーザとの間の位置関係を検出することとしてもよい。
この場合、ユーザに対する焦点合わせを各オートフォーカス機能部29がそれぞれの距離または角度の範囲内で分担しておこなうので、1つのオートフォーカス機能部29がすべての範囲において焦点合わせをおこなう必要がなくなり、位置関係の検出を高速かつ効率的に実行できるようになる。
また、上記実施例では、オートフォーカス機能部29によるオートフォーカス機能を利用して携帯電話機10とユーザとの間の距離を検出することとしたが、固定焦点カメラを携帯電話機10に複数備えることとし、焦点が合ったユーザ画像を撮影した固定焦点カメラがどれであるかを判定し、固定焦点カメラの焦点距離から携帯電話機10とユーザとの間の距離を検出することとしてもよい。
また、上記実施例では、携帯電話機10とユーザとの間の位置関係をユーザの焦点合わせをおこなうことにより検出することとしたが、携帯電話機10に超音波照射部を備え、超音波照射部がユーザに超音波を照射し、位置関係検出部31bが、その反射波が到達するまでの時間から距離を検出し、さらに、超音波の照射角度から携帯電話機10の正面方向とユーザのいる方向との間のなす角度を検出することとしてもよい。
また、超音波の代わりに、LCD26に備えられ、LCD26の画面を明るく照らすバックライトの光をユーザに照射し、その反射波が到達するまでの時間から距離を検出し、また、バックライトの光の照射角度から携帯電話機10の正面方向とユーザのいる方向との間のなす角度を検出することとしてもよい。なお、ここでは、バックライトの光を所定の方向に照射できるよう、LCD26の向きは変更可能であるものとする。
また、赤外線通信部22から照射される赤外線をユーザに照射し、その反射波が到達するまでの時間から距離を検出し、また、赤外線の照射角度から携帯電話機10の正面方向とユーザのいる方向との間のなす角度を検出することとしてもよい。なお、ここでは、赤外線を所定の方向に照射できるよう、赤外線通信部22の赤外線照射部の向きは変更可能であるものとする。
さらに、少なくとも2本の指向性ビームをユーザに照射することにより、携帯電話機10とユーザとの間の位置関係を検出することとしてもよい。図9は、2本の指向性ビームを照射することにより携帯電話機10とユーザとの間の位置関係を検出する処理を説明する図である。
図9に示すように、携帯電話機10に搭載されたビーム照射部60は、ユーザに対して、2本の指向性ビーム61a,61bを照射する。この2本の指向性ビーム61a,61bは、所定の距離で交わるように内側に向けて角度aで照射される。そして、位置関係検出部31bは、カメラ28を制御して、ユーザにより反射された指向性ビーム61a,61bの2本の反射光をカメラ28に撮影させる。
その後、位置関係検出部31bは、撮影された画像における2本の反射光の間隔dと、ビーム照射部60における指向性ビーム61a,61bの照射間隔Dおよび照射角度aとから、携帯電話機10とユーザとの間の距離xを、
x = (D / 2 - d / 2) tan a
により算出する。
また、ユーザに光を照射した場合にその反射光が到達するまでの時間を計測することにより携帯電話機10とユーザとの間の距離を測定する2つの距離測定部を携帯電話機10に備え、2つの距離測定部が測定した距離から、携帯電話機10とユーザとの間の位置関係を検出することとしてもよい。
図10は、2つの距離測定部70a,70bが測定した距離から携帯電話機10とユーザとの間の位置関係を検出する処理を説明する図である。
ここで、携帯電話機10の異なる位置に設けられた距離測定部70a,70bが測定したユーザまでの距離をa,b、距離測定部70a,70bの設置位置の間隔をc、携帯電話機10とユーザとの距離をz、距離測定部70aが照射した光の方向と携帯電話機10の前面とがなす角度をw、距離測定部70a,70bの中間地点におけるユーザのいる方向と携帯電話機10の前面とがなす角度をy、携帯電話機10の正面方向とユーザのいる方向とがなす角度をxとする。
すると、パラメータa,b,c,w,x,y,zの間には、第2余弦定理から、
b2 = a2 + c2 - 2 a c cos w,
z2 = a2 + (c / 2)2 - a c cos w,
b2 = z2 + (c / 2)2 - z c cos y,
x = 90o - y,
のような関係が成り立つことが分かる。
これらの式から、
w = cos-1 {(a2 - b2 + c2 )/ 2 a c},
z = {(a2 + b2 - c2 / 2) / 2}1/2,
y = cos-1 {(a2 - b2) / c / (2 a2 + 2 b2 - c2)1/2},
x = 90o - cos-1{(a2 - b2) / c / (2 a2 + 2 b2 - c2)1/2},
が得られ、携帯電話機10の正面方向とユーザのいる方向とがなす角度xを検出することができる。
また、オートフォーカス機能部29が焦点合わせをおこなう方式が、コントラスト検知式や位相差検知式である場合には、オートフォーカス機能部29がCMOS(Complementary Metal-Oxide Semiconductor)素子やCCD(Charge-Coupled Devices)素子などを用いてユーザの像を検知して焦点合わせをおこなうことにより、携帯電話機10とユーザとの間の距離が検出される。
このようにCMOS素子やCCD素子などのカラー画像を取得する素子を用いる場合には、感度を上げるため、オートフォーカス機能部29が、赤色フィルタ、緑色フィルタ、青色フィルタなどを介在させてモノクロームの画像を取得し、焦点合わせを実行することとしてもよい。
また、焦点合わせをおこなう方式が、赤外線方式である場合には、オートフォーカス機能部29が赤外線を送受信するIrDA(Infrared Data Association)素子を用いて赤外線の反射光を検知して焦点合わせをおこなうことにより、携帯電話機10とユーザとの間の距離が検出される。
なお、赤外線方式は暗いところでも焦点合わせが容易であるため、周囲が所定のレベルよりも明るい場合には、オートフォーカス機能部29に可視光を用いた焦点合わせを実行させ、周囲が所定のレベルよりも暗い場合には、赤外線を用いた焦点合わせを実行させるように位置関係検出部31bが制御することとしてもよい。ここで、周囲の明るさは、カメラ28に搭載された露出制御装置により測定される。
また、焦点合わせをおこなう方式が、UWB(Ultra Wide Band)の電波を用いてユーザとの間の距離を測定し、焦点合わせをおこなう方式である場合には、オートフォーカス機能部29が、UWBの電波を送受信するUWB素子を用いてUWDの電波の反射電波を検知して焦点合わせをおこなうことにより、携帯電話機10とユーザとの間の距離が検出される。
また、上記実施例では、携帯電話機10に設けられた複数のスピーカー25a〜25eを用いてマルチチャンネルの3Dサラウンドシステムを実現することとしたが、音信号を他の携帯電話機にブルートゥースの規格などを用いた近距離無線通信により送信し、音信号を他の携帯電話機に搭載されたスピーカーからも出力させることとしてもよい。
図11は、他の携帯電話機に3Dサラウンド用の音信号を送信する処理について説明する図である。この場合には、携帯電話機10の音信号生成部31cにより生成された音信号が近距離無線通信部23により他の携帯電話機80a〜80cに送信される。
ここで、他の携帯電話機に送信される音信号は、音信号生成部31cが、各携帯電話機10,80a〜80cの配置に応じて、ユーザに所定の位置に音源があることを知覚させるように生成した3Dサラウンド用の音信号である。
具体的には、音信号生成部31cは、あらかじめ各携帯電話機10,80a〜80cの配置の情報を取得する。この配置の情報は、ユーザにより入力された情報であってもよいし、上述してきたような携帯電話機10とユーザとの間の位置関係を検出する機能を用いて携帯電話機10と他の携帯電話機80a〜80cとの間の位置関係を検出することにより得た情報であってもよい。
そして、音信号生成部31cは、携帯電話機10とユーザとの間の位置関係の情報と、携帯電話機10と他の携帯電話機80a〜80cとの間の位置関係の情報とから、各携帯電話機80a〜80cに送信する3Dサラウンド用の音信号を生成する。
また、上記実施例では、オートフォーカス機能部29および位置関係検出部31bが携帯電話機10に備えられているものとしたが、それらが携帯電話機10の外部に設置され、携帯電話機10に備えられた外部端子を介して携帯電話機10に接続されることとしてもよい。
この場合、携帯電話機10の音信号生成部31cは、携帯電話機10の外部に設置された位置関係検出部31bから、携帯電話機10とユーザとの間の位置関係に係る情報を取得して音信号を生成する。また、携帯電話機10とユーザとの間の位置関係に係る情報は、ユーザが入力することとしてもよい。
ところで、上記実施例で説明した各種の処理は、あらかじめ用意されたプログラムをコンピュータで実行することによって実現することができる。そこで、以下に、上記各種処理を実現するプログラムを実行するコンピュータの一例について説明する。
図12は、図3に示した携帯電話機10となるコンピュータのハードウェア構成を示す図である。このコンピュータは、アンテナ100、無線通信回路101、赤外線通信回路102、近距離無線通信回路103、マイク104、スピーカー105、LCD106、入力キー107、カメラ108、オートフォーカス回路109、フラッシュメモリ110、RAM(Random Access Memory)111、ROM(Read Only Memory)112、CPU(Central Processing Unit)113をバス114で接続して構成される。
ここで、アンテナ100、無線通信回路101、赤外線通信回路102、近距離無線通信回路103、マイク104、スピーカー105、LCD106、入力キー107、カメラ108、オートフォーカス回路109、フラッシュメモリ110は、図3に示したアンテナ20、無線通信部21、赤外線通信部22、近距離無線通信部23、マイク24、スピーカー25、LCD26、入力キー27、カメラ28、オートフォーカス機能部29、記憶部30にそれぞれ対応する。
そして、ROM112には、携帯電話機10と同等の機能を発揮するプログラム、すなわち、通信管理プログラム112a、位置関係検出プログラム112b、音信号生成プログラム112c、音信号出力プログラム112dが記憶されている。なお、これらのプログラムは、適宜統合または分散して記憶することとしてもよい。
そして、CPU113が、これらのプログラムをROM112から読み出して実行することにより、通信管理プロセス113a、位置関係検出プロセス113b、音信号生成プロセス113c、音信号出力プロセス113dが機能するようになる。
この通信管理プロセス113a、位置関係検出プロセス113b、音信号生成プロセス113c、音信号出力プロセス113dは、図3に示した通信管理部31a、位置関係検出部31b、音信号生成部31c、および、音信号出力部31dにそれぞれ対応する。
また、フラッシュメモリ110には、通信データ110a、画像データ110b、位置データ110c、頭部伝達関数データ110d、および、音データ110eが記憶される。
この通信データ110a、画像データ110b、位置データ110c、頭部伝達関数データ110d、および、音データ110eは、図3に示した記憶部30に記憶される通信データ30a、画像データ30b、位置データ30c、頭部伝達関数データ30d、および、音データ30eにそれぞれ対応する。
そして、CPU113は、これらのデータをフラッシュメモリ110に記憶するとともに、これらのデータをフラッシュメモリ110から読み出してRAM111に記憶させ、RAM111に記憶された通信データ111a、画像データ111b、位置データ111c、頭部伝達関数データ111d、および、音データ111eに基づいて各種データ処理を実行する。
ところで、通信管理プログラム112a、位置関係検出プログラム112b、音信号生成プログラム112c、音信号出力プログラム112dは、必ずしもROM112に記憶させておく必要はない。
たとえば、フレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカード、ハードディスクドライブ(HDD)、さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータに接続される「他のコンピュータ(またはサーバ)」などに各プログラムを記憶しておき、コンピュータがこれらから各プログラムを読み出して実行するようにしてもよい。
上述してきたように、本実施例では、携帯電話機10の音信号生成部31cが、携帯電話機10とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成することとしたので、携帯電話機10とユーザとの間の相対位置が変化する場合でも、携帯電話機10に搭載された3Dサラウンド機能の効果を適切に発揮することができる。
また、本実施例では、携帯電話機10本体から引き出されて配置される複数のスピーカーと、音信号を各スピーカーに伝達するケーブルとを備えたこととしたので、各スピーカーを3Dサラウンド機能の効果が適切に発揮できる位置に配置することができる。
また、本実施例では、携帯電話機10本体から引き出されて配置される左側スピーカー25aと右側スピーカー25bとを備え、位置関係検出部31bが、携帯電話機10とユーザとの間の位置関係の検出結果に基づいて、左側スピーカー25aと右側スピーカー25bの携帯電話機10本体からの引き出し量を調節することとしたので、各スピーカーを3Dサラウンド機能の効果が適切に発揮できる位置に配置することができる。
また、本実施例では、音信号生成部31cが、同期をとって再生される異なる複数の音信号を生成することとしたので、3Dサラウンド機能をマルチチャンネルで実現し、臨場感のある音場を再現することができる。
また、本実施例では、同期をとって再生される各音信号をそれぞれ出力する複数のスピーカーを備え、複数のスピーカーは、LCD26のパネルから音波を発生させるLCDパネルスピーカー25dと、LCDパネルスピーカー25dの左右に配置された左側スピーカー25aおよび右側スピーカー25bとを少なくとも含むこととしたので、LCDパネルスピーカー25dを用いることにより、携帯電話機10単独でマルチチャンネルの3Dサラウンド機能を実現し、臨場感のある音場を再現することができる。
また、本実施例では、同期をとって再生される各音信号をそれぞれ出力する複数のスピーカーを備え、複数のスピーカーは、ユーザによる情報の入力を受け付けるタッチパネルから音波を発生させるタッチパネルスピーカー25eと、タッチパネルスピーカー25eの左右に配置された左側スピーカー25aおよび右側スピーカー25bとを少なくとも含むこととしたので、タッチパネルスピーカー25eを用いることにより、携帯電話機10単独でマルチチャンネルの3Dサラウンドシステムを実現し、臨場感のある音場を再現することができる。
また、本実施例では、近距離無線通信部23が、同期をとって再生される各音信号をブルートゥース規格による無線通信によって他の携帯電話機に送信することとしたので、他の携帯電話機を利用することによりマルチチャンネルの3Dサラウンドシステムを実現し、臨場感のある音場を再現することができる。
また、本実施例では、位置関係検出部31bが、自装置とユーザとの間の位置関係を検出し、音信号生成部31cが、検出された位置関係に基づいて、音信号を生成することとしたので、携帯電話機10が他の装置を必要とすることなく、位置関係を検出することができる。
また、本実施例では、カメラ28が、ユーザを撮影し、位置関係検出部31bが、カメラ28により撮影されたユーザ画像と、あらかじめ記憶部30に記憶されたユーザ画像とを照合することにより位置関係を検出することとしたので、画像照合により位置関係を効率的に検出することができる。
また、本実施例では、焦点距離が異なる複数の固定焦点カメラが、ユーザを撮影し、位置関係検出部31bが、ピントが合ったユーザ画像を撮影した固定焦点カメラがどれであるかを判定することにより位置関係を検出することとしたので、焦点距離がそれぞれ異なる撮影手段を用いて撮影することにより位置関係を効率的に検出することができる。
また、本実施例では、オートフォーカス機能部29が、ユーザに対する焦点合わせを実行し、位置関係検出部31bが、その焦点合わせの結果に基づいて位置関係を検出することとしたので、オートフォーカス機能を利用することにより位置関係を効率的に検出することができる。
また、本実施例では、ユーザに対する焦点合わせを所定の範囲内で実行する複数の焦点合わせ実行部が、焦点合わせを実行し、焦点を合わせることができた焦点合わせ実行部の焦点合わせの結果に基づいて位置関係を検出することとしたので、焦点合わせをおこなう範囲が異なる複数の焦点合わせ実行部を用いて焦点合わせを実行することにより位置関係を効率的に検出することができる。
また、本実施例では、距離測定部70a,70bが、ユーザとの間の距離を複数の位置から測定し、位置関係検出部31bが、測定された距離に基づいて、携帯電話機10の向きとユーザがいる方向とがなす角度を検出することとしたので、携帯電話機10の向きとユーザがいる方向とがなす角度を効率的に検出することができる。
また、本実施例では、超音波照射部が、ユーザに対して超音波を照射し、位置関係検出部31bが、照射した超音波がユーザにより反射された反射波を検出することにより位置関係を検出することとしたので、超音波を利用することにより位置関係を効率的に検出することができる。
また、本実施例では、情報を表示するLCD26の画面を照らすバックライトを備え、位置関係検出部31bが、バックライトが発した光がユーザにより反射された反射光を検出することにより位置関係を検出することとしたので、バックライトを利用することにより位置関係を効率的に検出することができる。
また、本実施例では、ビーム照射部60が、ユーザに対して2本の非平行な指向性ビーム61a,61bを照射し、位置関係検出部31bが、照射された指向性ビーム61a,61bがユーザにより反射された反射ビームの間隔を検出し、当該間隔に基づいて位置関係を検出することとしたので、少なくとも2本の非平行な指向性ビーム61a,61bをユーザに照射することにより位置関係を効率的に検出することができる。
また、本実施例では、カメラ28が、ユーザのモノクローム画像を撮影し、位置関係検出部31bが、撮影されたモノクローム画像を基にして位置関係を検出することとしたので、ユーザの検出感度を高めることができ、位置関係を効率的に検出することができる。
また、本実施例では、ユーザにより反射された可視光を検出することにより焦点合わせを実行するオートフォーカス機能部29と、ユーザにより反射された赤外線を検出することにより焦点合わせを実行する赤外線検出焦点合わせ実行部とを備え、位置関係検出部31bが、オートフォーカス機能部29による焦点合わせの結果に基づいて位置関係を検出するか、あるいは、赤外線検出焦点合わせ部による焦点合わせの結果に基づいて位置関係を検出するかを周囲の明るさに応じて選択し、選択結果に基づいて位置関係を検出することとしたので、周囲の明るさに応じて適切な焦点合わせの方法を選択することができ、位置関係を効率的に検出することができる。
また、本実施例では、位置関係検出部31bが、携帯電話機10とユーザとの間の位置関係を検出する検出範囲の設定を受け付け、設定を受け付けた検出範囲内で位置関係の検出をおこなうこととしたので、音信号を生成するのに適した範囲内でのみ、位置関係の検出をおこなうことができる。
また、本実施例では、音信号生成部31cが、携帯電話機10とユーザとの間の位置関係が、位置関係を検出する検出範囲外である場合に、当該位置関係が検出範囲内である場合の音信号の出力レベルよりも出力レベルが大きくならないように音信号を生成することとしたので、携帯電話機10とユーザとが遠く離れているような場合に出力レベルが無闇に大きくなることを防ぐことができる。
また、本実施例では、位置関係検出部31bが、携帯電話機10とユーザとの間の位置関係を検出する検出時間の設定を受け付け、設定を受け付けた検出時間内に位置関係の検出が完了しない場合には当該位置関係の検出を中止することとしたので、位置関係の検出が困難であるような場合に検出処理を中止することにより、バッテリーの消費を抑えることができる。
また、本実施例では、位置関係は、携帯電話機10とユーザとの間の距離であることとしたので、携帯電話機10とユーザとの間の距離を検出することにより、携帯電話機10とユーザとの間の距離が変化する場合でも、携帯電話機10に搭載された3Dサラウンド機能の効果を適切に発揮することができる。
また、本実施例では、位置関係は、携帯電話機10とユーザとの間の距離、および、携帯電話機10の向きとユーザがいる方向とのなす角度であることとしたので、携帯電話機10とユーザとの間の距離、および、携帯電話機10の向きとユーザがいる方向とのなす角度が変化する場合でも、携帯電話機10に搭載された3Dサラウンド機能の効果を適切に発揮することができる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施例にて実施されてもよいものである。
たとえば、上記実施例では、音信号を生成する情報処理装置が携帯電話機10である場合について説明したが、本発明はこれに限定されるものではなく、PDA(Personal Digital Assistant)などの携帯型の情報処理装置やパーソナルコンピュータ、あるいは据え置き型の音響システムなどであってもよい。
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。
この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した携帯電話機10の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各構成要素の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
さらに、携帯電話機10にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
(付記1)スピーカーにより出力される音信号を生成する情報処理装置であって、
自装置とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成する生成手段、
を備えたことを特徴とする情報処理装置。
(付記2)自装置本体から引き出されて配置される複数のスピーカーと、前記音信号を各スピーカーに伝達するケーブルとをさらに備えたことを特徴とする付記1に記載の情報処理装置。
(付記3)自装置本体から引き出されて配置される複数のスピーカーと、自装置と前記ユーザとの間の位置関係の検出結果に基づいて、各スピーカーの自装置本体からの引き出し量を調節する調節手段とをさらに備えたことを特徴とする付記1に記載の情報処理装置。
(付記4)前記生成手段は、同期をとって再生される異なる複数の音信号を生成することを特徴とする付記1に記載の情報処理装置。
(付記5)同期をとって再生される各音信号をそれぞれ出力する複数のスピーカーをさらに備え、前記複数のスピーカーは、液晶ディスプレイのパネルから音波を発生させる液晶ディスプレイパネルスピーカーと、当該液晶ディスプレイパネルスピーカーの左右に配置されたスピーカーとを少なくとも含むことを特徴とする付記4に記載の情報処理装置。
(付記6)同期をとって再生される各音信号をそれぞれ出力する複数のスピーカーをさらに備え、前記複数のスピーカーは、ユーザによる情報の入力を受け付けるタッチパネルから音波を発生させるタッチパネルスピーカーと、当該タッチパネルスピーカーの左右に配置されたスピーカーとを少なくとも含むことを特徴とする付記4に記載の情報処理装置。
(付記7)同期をとって再生される各音信号を無線通信によって他の装置に送信する送信手段をさらに備えたことを特徴とする付記4に記載の情報処理装置。
(付記8)自装置と前記ユーザとの間の位置関係を検出する検出手段をさらに備え、前記生成手段は、前記検出手段により検出された位置関係に基づいて、前記音信号を生成することを特徴とする付記1〜7のいずれか1つに記載の情報処理装置。
(付記9)前記ユーザを撮影する撮影手段をさらに備え、前記検出手段は、前記撮影手段により撮影されたユーザ画像とあらかじめ記憶されたユーザ画像とを照合することにより前記位置関係を検出することを特徴とする付記8に記載の情報処理装置。
(付記10)前記ユーザを撮影し、焦点距離が異なる複数の撮影手段をさらに備え、前記検出手段は、前記複数の撮影手段によりユーザが撮影された場合に、ピントが合ったユーザ画像を撮影した撮影手段がどれであるかを判定することにより前記位置関係を検出することを特徴とする付記8に記載の情報処理装置。
(付記11)前記ユーザに対する焦点合わせを実行する焦点合わせ実行手段をさらに備え、前記検出手段は、前記焦点合わせ実行手段による焦点合わせの結果に基づいて前記位置関係を検出することを特徴とする付記8に記載の情報処理装置。
(付記12)前記ユーザに対する焦点合わせを所定の範囲内で実行する複数の焦点合わせ実行手段をさらに備え、前記検出手段は、前記複数の焦点合わせ実行手段により焦点合わせが実行された場合に、焦点を合わせることができた焦点合わせ実行手段の焦点合わせの結果に基づいて前記位置関係を検出することを特徴とする付記8に記載の情報処理装置。
(付記13)前記ユーザとの間の距離を複数の位置から測定する距離測定手段をさらに備え、前記検出手段は、前記距離測定手段により測定された距離に基づいて、自装置の向きと前記ユーザがいる方向とがなす角度を検出することを特徴とする付記8に記載の情報処理装置。
(付記14)ユーザに対して超音波を照射する超音波照射手段をさらに備え、前記検出手段は、前記超音波照射手段により照射された超音波がユーザにより反射された反射波を検出することにより前記位置関係を検出することを特徴とする付記8に記載の情報処理装置。
(付記15)情報を表示する液晶ディスプレイ装置の画面を照らす光源をさらに備え、前記検出手段は、前記光源が発した光がユーザにより反射された反射光を検出することにより前記位置関係を検出することを特徴とする付記8に記載の情報処理装置。
(付記16)前記ユーザに対して少なくとも2本の非平行な指向性ビームを照射する指向性ビーム照射手段をさらに備え、前記検出手段は、前記指向性ビーム照射手段により照射された指向性ビームが前記ユーザにより反射された反射ビームの間隔を検出し、当該間隔に基づいて前記位置関係を検出することを特徴とする付記8に記載の情報処理装置。
(付記17)前記ユーザのモノクローム画像を撮影するモノクローム画像撮影手段をさらに備え、前記検出手段は、前記モノクローム画像撮影手段により撮影されたモノクローム画像を基にして前記位置関係を検出することを特徴とする付記8に記載の情報処理装置。
(付記18)前記ユーザにより反射された可視光を検出することにより焦点合わせを実行する可視光検出焦点合わせ実行手段と、前記ユーザにより反射された赤外線を検出することにより焦点合わせを実行する赤外線検出焦点合わせ実行手段とをさらに備え、前記検出手段は、前記可視光検出焦点合わせ実行手段による焦点合わせの結果に基づいて前記位置関係を検出するか、あるいは、前記赤外線検出焦点合わせ手段による焦点合わせの結果に基づいて前記位置関係を検出するかを周囲の明るさに応じて選択し、選択結果に基づいて前記位置関係を検出することを特徴とする付記8に記載の情報処理装置。
(付記19)前記検出手段は、自装置と前記ユーザとの間の位置関係を検出する検出範囲の設定を受け付け、設定を受け付けた検出範囲内で前記位置関係の検出をおこなうことを特徴とする付記8〜18のいずれか1つに記載の情報処理装置。
(付記20)前記生成手段は、自装置と前記ユーザとの間の位置関係が、位置関係を検出する検出範囲外である場合に、当該位置関係が検出範囲内である場合の音信号の出力レベルよりも出力レベルが大きくならないように前記音信号を生成することを特徴とする付記8〜19のいずれか1つに記載の情報処理装置。
(付記21)前記検出手段は、自装置と前記ユーザとの間の位置関係を検出する検出時間の設定を受け付け、設定を受け付けた検出時間内に位置関係の検出が完了しない場合には当該位置関係の検出を中止することを特徴とする付記8〜20のいずれか1つに記載の情報処理装置。
(付記22)前記位置関係は、自装置と前記ユーザとの間の距離であることを特徴とする付記1〜21のいずれか1つに記載の情報処理装置。
(付記23)前記位置関係は、自装置と前記ユーザとの間の距離、および、自装置の向きと前記ユーザがいる方向とのなす角度であることを特徴とする付記22に記載の情報処理装置。
(付記24)スピーカーにより出力される音信号を生成する情報処理方法であって、
自装置とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成する生成工程、
を含んだことを特徴とする情報処理方法。
(付記25)スピーカーにより出力される音信号を生成する情報処理プログラムであって、
自装置とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に係る情報を記憶する記憶手順と、
前記記憶手順により記憶された情報に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成する生成手順と、
を情報処理装置に実行させることを特徴とする情報処理プログラム。
以上のように、本発明に係る情報処理装置、情報処理方法および情報処理プログラムは、携帯電話機などの情報処理装置とユーザとの間の相対位置が変化する場合でも、情報処理装置に搭載された3Dサラウンド機能の効果を適切に発揮できるようにする情報処理システムに有用である。
本発明に係る音信号生成処理の概念を説明する図である。 上下方向におけるユーザの位置検出処理を説明する図である。 本実施例に係る携帯電話機10の機能構成を示す図である。 携帯電話機10に複数設置されるスピーカー25について説明する図である。 左側スピーカー25aおよび右側スピーカー25bの迫り出し状態の調節機構について説明する図である。 音場・音圧の設定情報の表示画面の一例を示す図である。 本実施例に係る音信号生成処理の処理手順を示すフローチャートである。 ユーザの検出範囲を限定するユーザ検出ウィンドウ50について説明する図である。 2本の指向性ビームを照射することにより携帯電話機10とユーザとの間の位置関係を検出する処理を説明する図である。 2つの距離測定部70a,70bが測定した距離から携帯電話機10とユーザとの間の位置関係を検出する処理を説明する図である。 他の携帯電話機に3Dサラウンド用の音信号を送信する処理について説明する図である。 図3に示した携帯電話機10となるコンピュータのハードウェア構成を示す図である。 従来技術における3Dサラウンド機能を説明する図である。
符号の説明
10,80a,80b,80c 携帯電話機
11 オートフォーカス機能部
12,25a 左側スピーカー
13,25b 右側スピーカー
20 アンテナ
21 無線通信部
22 赤外線通信部
23 近距離無線通信部
24 マイク
25 スピーカー
25c 上面スピーカー
25d LCDパネルスピーカー
25e タッチパネルスピーカー
26 LCD
27 入力キー
28 カメラ
29 オートフォーカス機能部
30 記憶部
30a 通信データ
30b 画像データ
30c 位置データ
30d 頭部伝達関数データ
30e 音データ
31 制御部
31a 通信管理部
31b 位置関係検出部
31c 音信号生成部
31d 音信号出力部
40a 左側ラック
40b 右側ラック
41 ピニオン
50 ユーザ検出ウィンドウ
60 ビーム照射部
60a,60b 指向性ビーム
70a,70b 距離測定部

Claims (10)

  1. スピーカーにより出力される音信号を生成する情報処理装置であって、
    自装置とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成する生成手段、
    を備えたことを特徴とする情報処理装置。
  2. 前記生成手段は、同期をとって再生される異なる複数の音信号を生成することを特徴とする請求項1に記載の情報処理装置。
  3. 同期をとって再生される各音信号を無線通信によって他の装置に送信する送信手段をさらに備えたことを特徴とする請求項2に記載の情報処理装置。
  4. 自装置と前記ユーザとの間の位置関係を検出する検出手段をさらに備え、前記生成手段は、前記検出手段により検出された位置関係に基づいて、前記音信号を生成することを特徴とする請求項1、2または3に記載の情報処理装置。
  5. 前記ユーザに対する焦点合わせを実行する焦点合わせ実行手段をさらに備え、前記検出手段は、前記焦点合わせ実行手段による焦点合わせの結果に基づいて前記位置関係を検出することを特徴とする請求項4に記載の情報処理装置。
  6. 前記ユーザに対する焦点合わせを所定の範囲内で実行する複数の焦点合わせ実行手段をさらに備え、前記検出手段は、前記複数の焦点合わせ実行手段により焦点合わせが実行された場合に、焦点を合わせることができた焦点合わせ実行手段の焦点合わせの結果に基づいて前記位置関係を検出することを特徴とする請求項4に記載の情報処理装置。
  7. 前記ユーザに対して少なくとも2本の非平行な指向性ビームを照射する指向性ビーム照射手段をさらに備え、前記検出手段は、前記指向性ビーム照射手段により照射された指向性ビームが前記ユーザにより反射された反射ビームの間隔を検出し、当該間隔に基づいて前記位置関係を検出することを特徴とする請求項4に記載の情報処理装置。
  8. 前記検出手段は、自装置と前記ユーザとの間の位置関係を検出する検出範囲の設定を受け付け、設定を受け付けた検出範囲内で前記位置関係の検出をおこなうことを特徴とする付記4〜7のいずれか1つに記載の情報処理装置。
  9. スピーカーにより出力される音信号を生成する情報処理方法であって、
    自装置とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成する生成工程、
    を含んだことを特徴とする情報処理方法。
  10. スピーカーにより出力される音信号を生成する情報処理プログラムであって、
    自装置とユーザとの間の位置関係が検出された場合に、当該位置関係の検出結果に係る情報を記憶する記憶手順と、
    前記記憶手順により記憶された情報に基づいて、3次元空間の所定の位置に仮想的な音源があることをユーザに知覚させる音信号を生成する生成手順と、
    を情報処理装置に実行させることを特徴とする情報処理プログラム。
JP2005218693A 2005-07-28 2005-07-28 情報処理装置、情報処理方法および情報処理プログラム Expired - Fee Related JP4669340B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005218693A JP4669340B2 (ja) 2005-07-28 2005-07-28 情報処理装置、情報処理方法および情報処理プログラム
US11/252,741 US20070025555A1 (en) 2005-07-28 2005-10-19 Method and apparatus for processing information, and computer product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005218693A JP4669340B2 (ja) 2005-07-28 2005-07-28 情報処理装置、情報処理方法および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2007036802A true JP2007036802A (ja) 2007-02-08
JP4669340B2 JP4669340B2 (ja) 2011-04-13

Family

ID=37694312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005218693A Expired - Fee Related JP4669340B2 (ja) 2005-07-28 2005-07-28 情報処理装置、情報処理方法および情報処理プログラム

Country Status (2)

Country Link
US (1) US20070025555A1 (ja)
JP (1) JP4669340B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123501A (ja) * 2010-12-28 2011-06-23 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
JP2012078448A (ja) * 2010-09-30 2012-04-19 Nec Personal Computers Ltd 情報処理装置及びノイズキャンセル方法
JP2013532919A (ja) * 2010-07-16 2013-08-19 ティー‐モバイル・インターナショナル・オーストリア・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 移動通信のための方法
US8624927B2 (en) 2009-01-27 2014-01-07 Sony Corporation Display apparatus, display control method, and display control program
JP2016502345A (ja) * 2012-11-28 2016-01-21 クゥアルコム・インコーポレイテッドQualcomm Incorporated 協調的サウンドシステム
JP2016105641A (ja) * 2012-09-27 2016-06-09 インテル・コーポレーション カメラによるオーディオ空間化
JP2017038342A (ja) * 2015-08-14 2017-02-16 東貝光電科技股▲ふん▼有限公司Unity Opto Technology Co.,Ltd. 自動制御可能な指向性スピーカー及びled照明灯具

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4897404B2 (ja) * 2006-09-12 2012-03-14 株式会社ソニー・コンピュータエンタテインメント 映像表示システム、映像表示装置、その制御方法及びプログラム
US20090312849A1 (en) * 2008-06-16 2009-12-17 Sony Ericsson Mobile Communications Ab Automated audio visual system configuration
US9274744B2 (en) * 2010-09-10 2016-03-01 Amazon Technologies, Inc. Relative position-inclusive device interfaces
JP5589708B2 (ja) * 2010-09-17 2014-09-17 富士通株式会社 端末装置および音声処理プログラム
US8861310B1 (en) * 2011-03-31 2014-10-14 Amazon Technologies, Inc. Surface-based sonic location determination
US8879761B2 (en) * 2011-11-22 2014-11-04 Apple Inc. Orientation-based audio
US9408011B2 (en) 2011-12-19 2016-08-02 Qualcomm Incorporated Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment
KR101892233B1 (ko) * 2012-08-03 2018-08-27 삼성전자주식회사 휴대용 단말기에서 상황인식을 이용한 알람 서비스 방법 및 장치
JP5954147B2 (ja) 2012-12-07 2016-07-20 ソニー株式会社 機能制御装置およびプログラム
EP2954697B1 (en) 2013-02-06 2017-05-03 Huawei Technologies Co., Ltd. Method for rendering a stereo signal
US10827292B2 (en) * 2013-03-15 2020-11-03 Jawb Acquisition Llc Spatial audio aggregation for multiple sources of spatial audio
US10219094B2 (en) * 2013-07-30 2019-02-26 Thomas Alan Donaldson Acoustic detection of audio sources to facilitate reproduction of spatial audio spaces
US10225680B2 (en) * 2013-07-30 2019-03-05 Thomas Alan Donaldson Motion detection of audio sources to facilitate reproduction of spatial audio spaces
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US9263023B2 (en) 2013-10-25 2016-02-16 Blackberry Limited Audio speaker with spatially selective sound cancelling
KR102206953B1 (ko) * 2013-12-09 2021-01-25 엘지전자 주식회사 음향 출력 장치
WO2016084592A1 (ja) * 2014-11-28 2016-06-02 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP3337066B1 (en) * 2016-12-14 2020-09-23 Nokia Technologies Oy Distributed audio mixing
US10148241B1 (en) * 2017-11-20 2018-12-04 Dell Products, L.P. Adaptive audio interface

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05276600A (ja) * 1992-03-27 1993-10-22 Toshiba Corp 音響再生装置
JPH0784045A (ja) * 1993-09-17 1995-03-31 Mitsubishi Electric Corp 距離測定装置
JP2002111817A (ja) * 2000-09-27 2002-04-12 Nec Corp 携帯端末装置の音響再生システム及び方法
JP2004135023A (ja) * 2002-10-10 2004-04-30 Sony Corp 音響出力装置、音響出力システム、音響出力方法
JP2004286918A (ja) * 2003-03-20 2004-10-14 Yamaha Corp 楽音形成端末装置、サーバ装置及びプログラム
JP2004314915A (ja) * 2003-04-21 2004-11-11 Alpine Electronics Inc 聴取点位置測定装置
JP2005134621A (ja) * 2003-10-30 2005-05-26 Olympus Corp カメラの焦点検出装置
JP2007028134A (ja) * 2005-07-15 2007-02-01 Fujitsu Ltd 携帯電話機

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56125192A (en) * 1980-03-07 1981-10-01 Olympus Optical Co Ltd Tape recorder for stereo
JPS58138187A (ja) * 1982-02-12 1983-08-16 Toshiba Corp 固体イメ−ジセンサ
EP0214127A4 (en) * 1985-02-04 1989-11-07 Nat Hellman Iii MODULAR ARRANGEMENT OF CABLES FOR ASSOCIATED ELECTRONIC EQUIPMENT.
US4736826A (en) * 1985-04-22 1988-04-12 Remote Technology Corporation Remotely controlled and/or powered mobile robot with cable management arrangement
US5021968A (en) * 1987-01-13 1991-06-04 Robertson-Ceco Corporation Graphics-based wire-cable management system
US4866215A (en) * 1988-06-06 1989-09-12 Hayes Microcomputer Products, Inc. Cable management system for equipment enclosure
US5018052A (en) * 1990-01-08 1991-05-21 Sun Microsystems, Inc. Cable management apparatus for a computer workstation housing
CA2061999C (en) * 1991-03-25 1997-10-07 Dennis Foley Work station desk module and system with cabling management
US5272988A (en) * 1991-05-01 1993-12-28 Herman Miller, Inc. Desk with cable management
US5286919A (en) * 1991-06-28 1994-02-15 Digital Equipment Corporation Computer cable management system
US5224151A (en) * 1992-04-01 1993-06-29 At&T Bell Laboratories Automatic handset-speakephone switching arrangement for portable communication device
US5541586A (en) * 1993-05-03 1996-07-30 The Whitaker Corporation Visual outlet identification in a cable management system
US5432505A (en) * 1993-05-03 1995-07-11 The Whitaker Corporation Cable management system with automatic mapping
US5523747A (en) * 1993-05-03 1996-06-04 The Whitaker Corp. Asset management in a cable management system
US5515037A (en) * 1993-05-03 1996-05-07 The Whitaker Corporation Wire selection in a cable management system
US5687239A (en) * 1993-10-04 1997-11-11 Sony Corporation Audio reproduction apparatus
CA2115787C (en) * 1993-10-22 2002-05-28 Dale R. Marshall Frame system for power and signal cable management
US6202567B1 (en) * 1994-06-10 2001-03-20 Krueger International, Inc. Modular table system with cable management
US5640482A (en) * 1995-08-31 1997-06-17 The Whitaker Corporation Fiber optic cable management rack
US5615682A (en) * 1995-10-26 1997-04-01 Hewlett-Packard Company Ultrasound transducer cable management system
US5831211A (en) * 1996-04-04 1998-11-03 Clifford W. Gartung Variable-type cable management and distribution system
US5769374A (en) * 1996-05-17 1998-06-23 Compaq Computer Corporation Apparatus for mounting a computer peripheral device at selectively variable locations on a dislay monitor
US5804765A (en) * 1996-05-23 1998-09-08 The Siemon Company Cable management enclosure
US5957556A (en) * 1996-09-23 1999-09-28 Silicon Graphics, Inc. Cable management system for a computer
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
US6016252A (en) * 1997-06-30 2000-01-18 Emc Corporation Cable management system
US5893539A (en) * 1997-09-25 1999-04-13 Ncr Corporation Cable management system
US5921402A (en) * 1998-04-27 1999-07-13 Systems Manufacturing Corporation Cable management track system
AU701144B3 (en) * 1998-06-29 1999-01-21 Compal Electronics, Inc. Stand having a housing adapted for supporting a liquid crystal display panel on a base, and a universal serial bus hub module mounted detachably on the housing
US6409134B1 (en) * 1999-06-07 2002-06-25 Innovative Office Products, Inc. Arm apparatus for mounting electronic devices with cable management system
US6330168B1 (en) * 1999-06-03 2001-12-11 Fujitsu Networks Communications, Inc. Card shelf cable management system and method
US6609691B2 (en) * 1999-06-07 2003-08-26 Innovative Office Products, Inc. Arm apparatus for mounting electronic devices with cable management system
US6619606B2 (en) * 1999-06-07 2003-09-16 Innovative Office Products, Inc. Arm apparatus for mounting electronic devices with cable management system
US6284978B1 (en) * 1999-06-17 2001-09-04 Logitech, Inc. Cable management for system peripheral device
US6721414B1 (en) * 1999-08-17 2004-04-13 Nec America, Inc. Cable management system
US6326547B1 (en) * 1999-11-02 2001-12-04 Compaq Computer Corporation Cable management system
US6303864B1 (en) * 1999-12-22 2001-10-16 Dell Products, L.P. Connector arrangement and connecting method for cable management arms
US20010024904A1 (en) * 2000-02-18 2001-09-27 Fischer Roy K. Universal connector with integral cable management feature
US6363198B1 (en) * 2000-03-07 2002-03-26 Sumitomo Electric Lightwave Corp. Optical fiber cable distribution shelf with cable management system
US6327139B1 (en) * 2000-03-21 2001-12-04 International Business Machines Corporation Electrical equipment rack having cable management arms with flexible linkage
US6483709B1 (en) * 2000-04-28 2002-11-19 Dell Products L.P. Cable management solution for rack mounted computing components
US6435354B1 (en) * 2000-08-07 2002-08-20 Dell Products L.P. Cable management arm assembly
US6533723B1 (en) * 2000-08-25 2003-03-18 Ge Marquette Medical Systems, Inc. Multiple-link cable management apparatus
US6407933B1 (en) * 2000-10-18 2002-06-18 Compaq Computer Corporation Cable management system for use with rack mounted devices
US6427936B1 (en) * 2000-10-19 2002-08-06 Fujitsu Network Communications, Inc. Optical fiber cable management apparatus
US6305556B1 (en) * 2000-10-26 2001-10-23 Hewlett-Packard Company Cable management solution for rack-mounted computers
US6546181B1 (en) * 2000-11-28 2003-04-08 International Business Machines Corporation Cable management device for mixed media
US20020074460A1 (en) * 2000-12-16 2002-06-20 Yves Behar Cable management hub apparatus for organizing a physical workspace of a computer system
US20020073516A1 (en) * 2000-12-16 2002-06-20 Yves Behar Cable management clip apparatus for organizing a physical workspace of a computer system
US6442030B1 (en) * 2001-04-26 2002-08-27 Central Industrial Supply Company, Inc. Server system rack drawer with keyboard, flat panel display and electronic switch
US6554218B2 (en) * 2001-07-11 2003-04-29 Steelcase Development Corporation Cable management spool
US6600665B2 (en) * 2001-08-03 2003-07-29 Hewlett-Packard Development Company, L.P. Cable management arm with trough and breakaway feature
US20030037953A1 (en) * 2001-08-22 2003-02-27 Terago Communications, Inc. Cable management sytem and apparatus
US20030066936A1 (en) * 2001-09-24 2003-04-10 Herman Miller, Inc. Cable management system
US6525273B1 (en) * 2001-09-28 2003-02-25 Emc Corporation Cable management
US20030075646A1 (en) * 2001-10-18 2003-04-24 Womack Christopher C. Cable management device
US6713678B2 (en) * 2002-03-11 2004-03-30 Sun Microsystems, Inc. Cable management system for electronic devices such as flat panel monitors
USD477325S1 (en) * 2002-04-24 2003-07-15 Ergotron, Inc. Support for flat panel monitor display unit
US6805248B2 (en) * 2002-05-31 2004-10-19 International Business Machines Corporation Electrical equipment rack and cable management arm assembly
US6646893B1 (en) * 2002-07-30 2003-11-11 Hewlett-Packard Development Company, L.P. Cable management system and method of installation and operation thereof
US6902069B2 (en) * 2002-10-23 2005-06-07 Dell Products L.P. System and method for rack cable management
US7057889B2 (en) * 2002-12-05 2006-06-06 Ge Medical Systems Information Technologies, Inc. Apparatus and method for cable management
US6811039B2 (en) * 2002-12-06 2004-11-02 King Slide Works Co., Ltd. Detachable device of a cable management arm for furniture
US20040149533A1 (en) * 2003-01-24 2004-08-05 Joanne Milano Cable management and contact monitoring system
US7168576B2 (en) * 2003-03-21 2007-01-30 Dell Products L.P. Tool-less cable management attachment bracket and method of use
US7092258B2 (en) * 2003-09-15 2006-08-15 Hewlett-Packard Development Company, L.P. Cable management system and method of installation and operation thereof
US7097047B2 (en) * 2003-09-30 2006-08-29 Dell Products L.P. Cable management flip tray assembly
US7032277B2 (en) * 2003-10-14 2006-04-25 Hewlett-Packard Development Company, L.P. Cable management system and method of use thereof
US7027706B2 (en) * 2003-12-23 2006-04-11 Hewlett-Packard Development Company, L.P. Systems, apparatuses, and methods for managing cables with minimum bend radius
US7218240B2 (en) * 2004-08-10 2007-05-15 The Boeing Company Synthetically generated sound cues

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05276600A (ja) * 1992-03-27 1993-10-22 Toshiba Corp 音響再生装置
JPH0784045A (ja) * 1993-09-17 1995-03-31 Mitsubishi Electric Corp 距離測定装置
JP2002111817A (ja) * 2000-09-27 2002-04-12 Nec Corp 携帯端末装置の音響再生システム及び方法
JP2004135023A (ja) * 2002-10-10 2004-04-30 Sony Corp 音響出力装置、音響出力システム、音響出力方法
JP2004286918A (ja) * 2003-03-20 2004-10-14 Yamaha Corp 楽音形成端末装置、サーバ装置及びプログラム
JP2004314915A (ja) * 2003-04-21 2004-11-11 Alpine Electronics Inc 聴取点位置測定装置
JP2005134621A (ja) * 2003-10-30 2005-05-26 Olympus Corp カメラの焦点検出装置
JP2007028134A (ja) * 2005-07-15 2007-02-01 Fujitsu Ltd 携帯電話機

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8624927B2 (en) 2009-01-27 2014-01-07 Sony Corporation Display apparatus, display control method, and display control program
JP2013532919A (ja) * 2010-07-16 2013-08-19 ティー‐モバイル・インターナショナル・オーストリア・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 移動通信のための方法
JP2012078448A (ja) * 2010-09-30 2012-04-19 Nec Personal Computers Ltd 情報処理装置及びノイズキャンセル方法
JP2011123501A (ja) * 2010-12-28 2011-06-23 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
JP2016105641A (ja) * 2012-09-27 2016-06-09 インテル・コーポレーション カメラによるオーディオ空間化
JP2016502345A (ja) * 2012-11-28 2016-01-21 クゥアルコム・インコーポレイテッドQualcomm Incorporated 協調的サウンドシステム
JP2016504824A (ja) * 2012-11-28 2016-02-12 クゥアルコム・インコーポレイテッドQualcomm Incorporated 協調的サウンドシステム
JP2017038342A (ja) * 2015-08-14 2017-02-16 東貝光電科技股▲ふん▼有限公司Unity Opto Technology Co.,Ltd. 自動制御可能な指向性スピーカー及びled照明灯具
CN106470370A (zh) * 2015-08-14 2017-03-01 东贝光电科技股份有限公司 自动控制指向性喇叭及包括其的led照明灯具

Also Published As

Publication number Publication date
US20070025555A1 (en) 2007-02-01
JP4669340B2 (ja) 2011-04-13

Similar Documents

Publication Publication Date Title
JP4669340B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2006135837A (ja) テレビ電話
CN108538302B (zh) 合成音频的方法和装置
JP2006166148A (ja) カメラ装置
CN109192218B (zh) 音频处理的方法和装置
CN110931053B (zh) 检测录音时延、录制音频的方法、装置、终端及存储介质
KR20220068894A (ko) 오디오 재생 방법 및 오디오 재생 장치, 전자 기기 및 저장 매체
US20120317594A1 (en) Method and system for providing an improved audio experience for viewers of video
CN109243479B (zh) 音频信号处理方法、装置、电子设备及存储介质
US11272304B2 (en) Method and terminal for playing audio data, and storage medium thereof
CN109065068B (zh) 音频处理方法、装置及存储介质
CN111142838A (zh) 音频播放方法、装置、计算机设备及存储介质
CN106060707B (zh) 混响处理方法及装置
JP2010056710A (ja) 指向性スピーカ反射方向制御機能付プロジェクタ
CN206962934U (zh) 用于终端设备的拍摄组件
CN104284093A (zh) 全景拍摄方法及装置
KR100722435B1 (ko) 피사체 사이즈 측정 기능을 갖는 이동통신 단말기
CN110808021A (zh) 音频播放的方法、装置、终端及存储介质
CN106483740B (zh) 投影仪对焦方法及装置
JPWO2018173139A1 (ja) 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法
JP2011130134A (ja) 撮像装置、撮像システム
JP2005039400A (ja) 電子機器
JP5421144B2 (ja) 端末装置及びプログラム
JP2010021705A (ja) 音出力制御装置、音出力制御方法、及び音出力制御プログラム
JP2005250396A (ja) カメラ付き携帯端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees