JP2010193426A - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP2010193426A
JP2010193426A JP2009194922A JP2009194922A JP2010193426A JP 2010193426 A JP2010193426 A JP 2010193426A JP 2009194922 A JP2009194922 A JP 2009194922A JP 2009194922 A JP2009194922 A JP 2009194922A JP 2010193426 A JP2010193426 A JP 2010193426A
Authority
JP
Japan
Prior art keywords
sound
angle
relative
unit
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009194922A
Other languages
English (en)
Other versions
JP5326934B2 (ja
Inventor
Masahiro Kitaura
正博 北浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2009194922A priority Critical patent/JP5326934B2/ja
Priority to EP09014419A priority patent/EP2211337B1/en
Priority to US12/591,483 priority patent/US8189430B2/en
Publication of JP2010193426A publication Critical patent/JP2010193426A/ja
Application granted granted Critical
Publication of JP5326934B2 publication Critical patent/JP5326934B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1601Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4131Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Selective Calling Equipment (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

【課題】 音を用いて電子機器を操作する新たな手法により、電子機器の様々な機能を遠隔から操作することが可能となる。
【解決手段】本発明のテレビジョン受像機100は、入力された音波を音声信号に変換する2以上の集音部114と、音声信号が入力されると、2以上の集音部への音波到達時刻に基づいて、テレビジョン受像機100に対する音声信号の音源の方向を特定し、その方向に対応した角度を導出する音源導出部178と、音源導出部が導出した第1の音波の音源の角度を基準角度として記憶部104に記憶させ、記憶部が基準角度を記憶している状態で音源導出部が導出した第2の音波の音源の基準角度からの相対角度を導出する相対導出部180と、相対導出部が導出した相対角度に応じて自機を制御する操作制御部182と、を備えることを特徴とする。
【選択図】 図3

Description

本発明は、リモートコントローラを用いずとも遠隔から操作可能な電子機器に関する。
従来、テレビジョン受像機やオーディオ機器、エアコンなどの電子機器を操作する場合、ユーザは、本体に設けられた操作ボタンを直接操作していた。しかし、電子機器がユーザから遠くにある場合、ユーザは、わざわざ電子機器本体まで近づかなければならず、非常に面倒であった。そこで、電子機器とは別体のリモートコントローラ(以下、単にリモコンと称する)が装備されるようになり、ユーザは電子機器本体から離れていても電子機器を操作することができるようになった。
上述したように、一度リモコンを介して操作を行えばその後ユーザは移動せずとも電子機器を操作できる。しかし、リモコンがユーザの近くにない場合、ユーザはリモコンのある場所まで移動しなければならない。従って、リモコンとの距離によっては電子機器本体以上の移動を要し、例えば電源投入のみといった所望する操作量に拘わらずユーザに煩わしさを感じさせてしまうおそれがあった。また、リモコンは比較的小型であるため、どこに置いてあるか分からなくなる場合があり、この場合ユーザがリモコンを探さなければ操作ができないといった状況も起こり得る。
そこで、リモコンのような遠隔操作装置を使わずに人間が発することのできる音でテレビジョン装置を操作する提案がなされている(例えば、特許文献1)。
特開2006−324952号公報
上述した音で電子機器を操作する技術は、ユーザが発する音声でユーザの位置を特定し、特定した位置に、テレビジョン装置のディスプレイを向けることができる。しかし、近年の高機能化に伴いリモコンで操作可能な機能は多種多様に亘るため、上述した技術を利用してディスプレイの方向は変えることができてもリモコンの代役を果たすことはできない。従って、ユーザがリモコンの代替として音を利用して電子機器を操作する場合、電子機器に対して複数の操作をそれぞれ実行できることが好ましい。
このためには、音を発生させる回数やパターンを変化させることが考えられるが、複数の操作を実行するにはこれらを組み合わせるだけでは足りない虞がある。従って、ユーザの操作性向上および複数の操作を実現するための操作の多様化を目的とした音を用いた新たな操作手法が求められる。
そこで本発明は、音を用いて電子機器を操作する新たな手法により、電子機器の様々な機能を遠隔から操作することができ、操作性に優れた電子機器を提供することを目的とする。
上記課題を解決するために、本発明の電子機器の代表的な構成は、音波を用いて制御する電子機器において、入力された音波を音声信号に変換する2以上の集音部と、音声信号が入力されると、2以上の集音部への音波到達時刻に基づいて、電子機器に対する音波の音源の方向を特定し、その方向に対応した角度を導出する音源導出部と、音源導出部が導出した第1の音波の音源の角度を基準角度として記憶部に記憶させ、記憶部が基準角度を記憶している状態で音源導出部が導出した第2の音波の音源の基準角度からの相対角度を導出する相対導出部と、相対導出部が導出した相対角度に応じて電子機器を制御する操作制御部と、である。
本発明では、少なくとも2つ集音部を備える構成により、電子機器に対する音波の音源の方向を特定し、その方向に対応した角度を確実に導出することができる。また、所定の基準設定期間内、例えば電源投入時に入力された第1の音波の音源の角度を基準角度として記憶させ、基準角度を記憶している状態で入力された第2の音波の音源の角度を、基準角度からの相対角度として導出することで、相対導出部は、ユーザが最初に音を発生させた角度(基準角度)を基準として、それ以降に音を発生させた角度を相対的に導出することが可能となる。そして、操作制御部が、導出された相対角度に応じて自機を制御する構成により、ユーザは、音を発生する角度を手元で変えるだけで電子機器の様々な機能を実行することができる。
上記操作制御部は、相対導出部が導出した相対角度が、基準角度を基準とした複数の範囲のいずれに含まれるかを判断し、範囲に応じて電子機器を制御してもよい。
これにより、操作制御部は、排他的な複数の範囲に応じて複数の機能を実行させることができ、ユーザに複数の機能を選択させることが可能となる。
上記操作制御部は、相対導出部が導出した相対角度が、基準角度を基準とした有効範囲内であれば、電子機器を制御してもよい。
自機を制御可能な範囲を、基準角度を基準とした有効範囲に制限する構成により、有効範囲外で発生した音の誤認識による電子機器の誤作動を防止することが可能となる。
上記課題を解決するために、本発明の電子機器の他の代表的な構成は、音波を用いて制御する電子機器において、入力された音波を音声信号に変換する3以上の集音部と、音声信号が入力されると、3以上の集音部への音波到達時刻に基づいて、電子機器に対する音声信号の音源の位置を導出する音源導出部と、音源導出部が導出した第1の音波の音源の位置を基準位置として記憶部に記憶させ、記憶部が基準位置を記憶している状態で音源導出部が導出した第2の音波の音源の基準位置からの相対位置を導出する相対導出部と、相対導出部が導出した相対位置に応じて電子機器を制御する操作制御部と、である。
本発明では、少なくとも3つ集音部を備える構成により、電子機器に対する音波の音源の位置を確実に導出することができる。また、所定の基準設定期間内、例えば電源投入時に入力された第1の音波の音源の位置を基準位置として記憶し、基準位置を記憶している状態で入力された第2の音波の音源の位置を、基準位置からの相対位置として導出することで、相対導出部は、ユーザが最初に音を発生させた位置(基準位置)を基準として、それ以降に音を発生させた位置を相対的に導出することが可能となる。そして、操作制御部が、導出された相対位置に応じて自機を制御する構成により、ユーザは、音を発生させる位置を手元で変えるだけで電子機器の様々な機能を実行することができる。
上記操作制御部は、相対導出部が導出した相対位置が、基準位置を基準とした複数の範囲のいずれに含まれるかを判断し、範囲に応じて電子機器を制御してもよい。
これにより、操作制御部は、排他的な複数の範囲の数に応じて、複数の機能を実行させることができ、ユーザに複数の機能を選択させることが可能となる。
上記操作制御部は、相対導出部が導出した相対位置が、基準位置を基準とした有効範囲内であれば、電子機器を制御してもよい。
基準位置を基準として有効に自機を制御可能な有効範囲を制限する構成により、範囲外で発生した音の誤認識による電子機器の誤作動を防止することが可能となる。
上記有効範囲は、基準位置の角度換算値より小さい第1所定角度以上、基準位置の角度換算値より大きい第2所定角度以下、かつ、基準位置と当該電子機器との距離より大きい第1所定距離以下の範囲であってもよい。
有効範囲を、角度(画面の垂線からの角度)と距離(画面からの距離)、ここでは基準位置の角度換算値より小さい第1所定角度以上、基準位置の角度換算値より大きい第2所定角度以下、かつ、基準位置と当該電子機器との距離より大きい第1所定距離以下の範囲に制限することにより、音の誤認識を高精度で回避することができる。
上記有効範囲は、基準位置を中心とした所定半径内の範囲であってもよい。
自機を制御可能な有効範囲を、基準位置を中心とした所定半径内の範囲とする構成により、ユーザに有効範囲を認識させやすく、より利便性を向上することができる。
当該電子機器は、モニタと、音声信号を生成すべき角度または位置と操作制御部の制御内容とを関連付けてモニタに表示する内容表示制御部と、相対導出部が導出した相対角度または相対位置をモニタに表示する相対表示制御部と、をさらに備えてもよい。
内容表示制御部を備える構成により、ユーザが所望する制御を実行するために生成すべき音声信号の角度または位置をユーザに視認させることができる。また相対表示制御部を備える構成により、ユーザが発生させた音源の角度または位置をユーザに視覚を通じて報知することが可能となる。従って、ユーザは、所望する制御を実行するために生成すべき音声信号の角度または位置と、自身が発生させた音の角度または位置との隔たりを確実に視認することが可能となり、音声信号を生成すべき角度または位置の校正をユーザに促すことができる。
当該電子機器は、スピーカと、音声信号を生成すべき角度または位置と操作制御部の制御内容とを関連付けてスピーカから出力する内容出力制御部と、相対導出部が導出した相対角度または相対位置をスピーカを通じて音像定位する相対定位制御部と、をさらに備えてもよい。
内容出力制御部を備える構成により、ユーザが所望する制御を実行するために生成すべき音声信号の角度または位置を音をもってユーザに報知することができる。また相対定位制御部を備える構成により、ユーザが発生させた音源の角度または位置をユーザに聴覚を通じて報知することが可能となる。従って、ユーザは、所望する制御を実行するために生成すべき音声信号の角度または位置と、自身が発生させた音の角度または位置との隔たりを確実に把握することが可能となり、音声信号を生成すべき角度または位置の校正をユーザに促すことができる。
以上説明したように本発明にかかる電子機器は、音を用いて電子機器を操作する新たな手法により、電子機器の様々な機能を遠隔から操作することが可能となる。
第1の実施形態にかかる電子機器としてのテレビジョン受像機の使用形態図である。 集音部に入力された音波の音源の方向を特定し、その方向に対応した角度を導出する方法を説明するための説明図である。 第1の実施形態にかかるテレビジョン受像機のハードウェア構成を示した機能ブロック図である。 第1の実施形態にかかる音声処理部のハードウェア構成を示した機能ブロック図である。 第1の実施形態にかかる判定処理部のハードウェア構成を示した機能ブロック図である。 判定処理部の判定処理アルゴリズムを説明するためのタイミングチャートである。 判定処理部の判定処理アルゴリズムを説明するためのタイミングチャートである。 判定処理部の判定処理アルゴリズムを説明するためのタイミングチャートである。 時間差分算出部の回路系統図である。 音源導出部が算出する角度θについてまとめた図である。 第1の実施形態で用いた式をシュミレーションした図である。 第1の実施形態にかかるテレビジョン受像機の拍手音による操作を説明するための説明図である。 選択アップダウンモードにおける制御内容の実行を説明するための説明図である。 「チャンネル」が選択された以降の制御内容の実行を説明するための説明図である。 相対表示制御部によるモニタの表示を説明するための説明図である。 第2の実施形態にかかるテレビジョン受像機の概略的なハードウェア構成を示した機能ブロック図である。 第2の実施形態にかかる音源導出部が集音部に入力された音波の音源の位置を導出する方法を説明するための説明図である。 オフセットを加味して式(5)をシミュレーションした図である。 第2の実施形態にかかる音源の位置の特定を説明するための説明図である。 第2の実施形態にかかる有効範囲の設定方法の例を説明するための説明図である。 第2の実施形態にかかる選択アップダウンモードにおける制御内容の実行を説明するための説明図である。 集音部を8つ有するテレビジョン受像機について説明するための説明図である。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
(第1の実施形態)
図1は、本実施形態にかかる電子機器としてのテレビジョン受像機100の使用形態図であり、特に図1(a)は、本実施形態にかかるテレビジョン受像機100を、図1(b)は、従来のテレビジョン受像機10を示す。ここでは、電子機器としてテレビジョン受像機100を挙げて説明するが、パーソナルコンピュータ、音楽プレイヤー、カーナビゲーション、ゲーム機器、DVDプレイヤー等、モニタを有する様々な電子機器を用いることができる。
図1(b)に示すように、従来のテレビジョン受像機10は、ユーザ(視聴者)によるリモコン14への操作入力に応じて遠隔制御される。しかし、リモコン14がユーザの近くにない場合、ユーザはリモコン14のある場所まで移動しなければならない。従って、ユーザは、リモコン14との距離によってはテレビジョン受像機10本体との距離以上の移動を要し、所望する操作量に拘わらずユーザに煩わしさを感じさせてしまうおそれがあった。
一方、図1(a)に示すように、本実施形態にかかるテレビジョン受像機100は、図1(b)に示すリモコン14を利用せずとも、ユーザが発する拍手音等に基づいて、電源のオン/オフ(ON/OFF)やメニュー機能の表示、メニュー機能の選択等の様々な機能を遠隔から操作することができる。
第1の実施形態のテレビジョン受像機100は、音源のテレビジョン受像機100に対する角度を算出するために左右両端に集音部114a、114bを備えている。ここでは、まず、ユーザが拍手を遂行した場合の、テレビジョン受像機100に対する拍手音の音源の方向(角度)を特定する原理を説明する。
図2は、集音部114a、114bに入力された音波の音源の方向を特定し、その方向に対応した角度を導出する方法を説明するための説明図である。図2中、ユーザが音(本実施形態では拍手音)を発生させる位置、即ち集音部114に入力される音波の音源の位置を黒丸Pで示す。
テレビジョン受像機100に入力される音波の音源の角度(到来の角度)の算出方法においては、テレビジョン受像機100の通常の視認距離が画面高の3倍から5倍程度である事と、上記音源の角度の算出精度とのバランスを鑑みると、到来する拍手音を点Pから発せられる平面波として近似することができる。拍手音を平面波とした場合、拍手音の音源である点Pからテレビジョン受像機100の中心点D(図2中白丸で示す)へ向かう平面波は、第1の集音部114aの点Bに到達するとき、線分PDに直交した線分BCの点Cに到達する。
音源である点Pからの拍手音は厳密には球面波であり、図2ではB点とC点を通過する円弧(図2中破線で示す)を描くことになる。上記の平面波で近似した場合と球面波とした場合の誤差は、第2の集音部114bの位置を点Aとし、B点とC点を通過する球面波線と線分APとの交点をE点としたときの、線分ACと線分AEとの僅かな差となる。この差は本実施形態で求められる精度では無視することが可能な程度の差なので、平面波による近似で十分な精度を確保できる。従って、拍手音を、点Pを含む線分から発せられる平面波として近似した場合、線分ACの距離ddが集音部114aと集音部114bとの間に対する平面波の到達距離差となり、2つの集音部114a、114bがそれぞれ集音した音声信号から距離ddに相当する時間差が得られ、拍手音の音源の角度を以下のようにして算出することができる。
時刻をtとして、第1の集音部114aから得られる拍手音の受信信号をs(t)、第2の集音部114bに得られる受信信号をs(t)、集音部114間の拍手音の音波到達時間差をtddとすると、これらは、式(1)の関係を有する。
(t)=s(t−tdd) 式(1)
ここで、音速をc、集音部114aと集音部114bとの距離をmd、拍手音(音源)Pの垂線からの角度をθとすると、式(2)の関係が生じる。
dd=md・sinθ/c 式(2)
従って、ユーザが発する拍手音の音源の方向に対応した角度θは、式(3)から算出できる。
θ=arcsin(tdd・c/md) 式(3)
ここで、mdは例えば、42インチのテレビジョン受像機100で約100cmとなり、音速cは約340m/sである。従って、テレビジョン受像機100では、音波到達時間差tddを計測すればユーザが発する拍手音の音源の方向に対応した角度θを求めることができる。
以下に本実施形態にかかる電子機器としてのテレビジョン受像機100の具体的な構成について詳述する。
(テレビジョン受像機100)
図3は、本実施形態にかかるテレビジョン受像機100のハードウェア構成を示した機能ブロック図である。図3に示すように、テレビジョン受像機100は、システム制御部102と、記憶部104と、アンテナ106と、番組受信部108と、モニタ110と、2つのスピーカ112(図3中112a、112bで示す)と、2つの集音部114(図3中114a、114bで示す)と、本体アンプ116と、出力アンプ118と、集音アンプ120(図3中120a、120bで示す)と、音声処理部150と、グラフィックス生成部122と、映像混合部124と、音生成部126と、音声混合部128と、を含んで構成される。
システム制御部102は、中央処理装置(CPU)を含む半導体集積回路によりテレビジョン受像機100全体を管理および制御する。記憶部104は、ROM、RAM、EEPROM、不揮発性RAM、フラッシュメモリ、HDD等で構成され、システム制御部102で処理されるプログラム等を記憶する。また、本実施形態において記憶部104は、後述する相対導出部180が導出した基準角度を記憶する。
番組受信部108は、チューナ等で構成され、例えば放送局140からの放送電波(圧縮されたRF信号)を、アンテナ106や有線ケーブル(図示せず)を通じて受信し、さらにデコード(復調)する。そして、番組受信部108は、後述する集音部114へのユーザによる拍手音の入力に応じてその放送電波から任意のチャンネルを選択する。
モニタ110は、映像混合部124が出力した映像信号に基づいて、番組受信部108で受信した放送電波、メニュー画像等を表示する。
スピーカ112は、テレビジョン受像機100の両端に設けられ、音声混合部128が出力した音声信号に基づいて、番組受信部108で受信した放送電波の音声信号や、操作音、アラーム音等を出力する。
集音部114は、マイク等の音認識手段で構成され、入力された音波を、後述する音声処理部150内で処理可能な音声信号に変換し集音アンプ120に出力する。本実施形態において集音部114は、テレビジョン受像機100の両端にそれぞれ設けられており、例えばモニタ110のサイズが約42インチである場合には2つの集音部114aと集音部114bとの距離は約100cmとなり、モニタ110のサイズが約26インチである場合、約60cmとなる。ここで、音声信号は、人間が意思を伝達するために口から発する音だけでなく、拍手音、叩音、破裂音等の音を含む。上述したように本実施形態では特に拍手音を挙げて説明する。ユーザがモニタ110の正面側に位置するとき、集音部114aはモニタ110に向かって左端に、集音部114bは右端に設置される。以下の説明に用いられる左、右は、特に記載がない場合、モニタ110に向かって右側を右、左側を左とする。
集音アンプ120は、集音部114ごとに設けられ、集音部114が変換した音声信号を増幅して音声処理部150に出力する。
音声処理部150は、集音アンプ120から入力された音声信号に基づいて、音声信号の音源のテレビジョン受像機100に対する角度を特定する。
図4は、本実施形態にかかる音声処理部150のハードウェア構成を示した機能ブロック図である。図4に示すように、集音部114a、114bに入力された音波は音声信号に変換され(音響―電気変換)、集音アンプ120a、120bで所定の振幅まで増幅された後、A/Dコンバータ152a、152bに入力されアナログ信号からデジタル信号に変換される。A/Dコンバータ152a、152bでデジタル化された音声信号は、ソフトウェア処理またはハードウェア処理にて以降の機能ブロックの内容に添って信号処理されるが、ここではその処理手法を限定せず、既存の様々な方法を適用可能とすることができる。
図4中、波形#1に示すように、A/Dコンバータ152a、152bで得られるデジタル信号は、A/Dコンバータ152のダイナミックレンジ(図4中DRで示す)内であって、無音時のレベルのオフセット成分(図4中OSで示す)に相当する振幅を中心にした波形である。実際の拍手音の波形は、複雑な信号成分とその包絡線として捉えられるデジタル音声信号となる。音の信号の波形は本来様々な周波数成分を含んでいるが、本実施形態では、処理負荷を軽減するため、拍手音の波形を構成する信号成分から得られる包絡線信号を用いている。以下の説明では、実際の波形の包絡線を用いて説明する。
A/Dコンバータ152a、152bから出力されたデジタル音声信号は、オフセット成分除去部154a、154bにおける所定のハイパスフィルタを通じてオフセット成分が除去された後、絶対値化回路156a、156bにより絶対値化される。こうして波形#2が得られる。
一方、図3におけるアンテナ106から受信された放送電波の音声信号は、番組受信部108において復調され、さらに本体アンプ116において増幅されて、スピーカ112で音波に変換(電気−音響変換)される。このとき、スピーカ112から空間に放射された音波は、回り込んで集音部114a、114bに入力される。つまり、絶対値化回路156a、156bで得られた図4の波形#2は、集音部114a、114bで捉えられる拍手音とスピーカ112から出力された音波との混合波となる。
そこで、本体音除去部158a、158bは、絶対値化回路156a、156bの出力信号から、本体アンプ116の出力信号を減算し、スピーカ112から出力された音波に相当する信号を除去する。本体アンプ116の出力信号は、出力アンプ118、A/Dコンバータ152c、オフセット成分除去部154c、絶対値化回路156cを介して本体音除去部158a、158bにフィードバックされる。
絶対値化回路156cの出力信号は、例えば図4中波形#3で示すものとなり、波形#2から拍手音の波形を除いた波形に近いものとなる。本体音除去部158a、158bは波形#2から波形#3を減算することにより、スピーカ112から回り込んで集音部114a、114bに入力される音波を除去することができる。本実施形態では、本体音除去部158a、158bは、波形#2から、スピーカ112から集音部114a、114bまでの空間を伝わってくる伝送路の特性を考慮して整形された波形#3を、本体音除去部158a、158bが減算する。図4の波形#2は、一方の集音部114aからの音声信号伝送系における絶対値化回路156aの出力波形を示しているが、絶対値化回路156bの出力波形も同様の軌跡で表される。
本体音除去部158a、158bから出力された音声信号には、まだ拍手音以外の音や除去しきれなかった微少な放送電波の音声信号が混入しているが、拍手音はインパルス性が高い音なのでエネルギーが大きく、またその周波数成分は可聴周波数帯域全域に亘っているため、エッジ成分を捉えることで、拍手音を他の信号成分と区別することができる。エッジ信号抽出部160a、160bは、本体音除去部158a、158bから出力された音声信号からエッジ成分を抽出し、その出力として波形#4に示すようなエッジ信号を得る。
エッジパルス生成部162a、162bは、波形#4のエッジ信号をトリガとして、所定幅(所定長)のエッジパルス(図4中、波形#5で示す)を生成し、それを拍手音の検出信号、即ちエッジパルスであるエッジ検出フラグFp1、Fp2として判定処理部168へ出力する。本実施形態では、テレビジョン受像機100に向かって左端に配置された集音部114aに入力された拍手音のエッジ検出フラグをFp1とし、テレビジョン受像機100に向かって右端に配置された集音部114bに入力された拍手音のエッジ検出フラグをFp2とする。
騒音状態検出部164は、本体音除去部158a、158bの各出力音声信号の合成信号に対し、テレビジョン受像機100の環境下(ユーザがいる環境下)の騒音レベルを検出して、テレビジョン受像機100の周囲が、拍手音の識別が困難な不適切な環境であると判断した場合、騒音状態フラグを発生させて判定処理部168へ出力する。
判定処理部168は、エッジパルス生成部162a、162bから同一幅のエッジ検出フラグFp1、Fp2を得て、以下に詳述する判定処理アルゴリズムに従い音源の角度等を導出する。本実施形態にかかる判定処理部168は、拍手音が所定の回数得られていること、3回以上の拍手音が入力された際はその拍手音が略等間隔で入力されていること、システム制御部102から出力されるモードに添って判定信号を出力すること、騒音状態検出部164から騒音状態フラグが入力されているときは認識操作を停止させて判定信号の出力を禁止し制御信号を発行しないようにすること、Fp1、Fp2の時間差データを求めて出力することを役割としている。
図5は、本実施形態にかかる判定処理部168のハードウェア構成を示した機能ブロック図である。図6、図7および図8は、判定処理部168の判定処理アルゴリズムを説明するためのタイミングチャートであり、特に図6および図7は、拍手1回を通じて左右の角度を導出する詳細なアルゴリズムを、図8は、拍手の回数を把握する包括的なアルゴリズムを説明している。
図5に示すように、判定処理部168は、エッジパルス合成部170、音声信号判定部172、第1のカウンタ174a、時間差分算出部176、音源導出部178、および第2のカウンタ174bと、を含んで構成される。
エッジパルス合成部170は、ユーザによって拍手音が発生させられると、図4のエッジパルス生成部162a、162bから図6(A)に示すエッジ検出フラグFp1と、図6(B)に示すエッジ検出フラグFp2とを受信し、その2つのエッジ検出フラグFp1、Fp2を合成して(本実施形態では論理和を取って)、図6(G)に示すパルス(合成エッジ検出フラグ)を出力する。ここで、図6(D)は、図6(A)に示すエッジ検出フラグFp1を説明のため拡大して示したものであり、図6(E)は、図6(B)のエッジ検出フラグFp2を拡大して示したものである。
図6(C)は、図6(D)〜図6(J)の信号処理を遂行する動作クロックを示す。テレビジョン受像機100に対する音源の発生した角度によってエッジ検出フラグの検出時間は異なるものであり、集音部114aからt11において得られるエッジ検出フラグFp1(図6中(D))に対して、エッジ検出フラグFp2(図6中(E))の立ち上がりがt12と遅れているのは、拍手音の到来方向がテレビジョン受像機100から見て右側(モニタ110に向かって左側)であることを意味する。
本実施形態において、エッジパルス合成部170は、エッジ検出フラグFp1とエッジ検出フラグFp2との合成に論理和を用いているため、集音部114の片側から拍手音が検出されなくとも拍手音として認識されることとなるが、論理和の代わりに論理積(図6の(F))を用いてもよい。論理積を用いることで、片側のエッジ検出フラグ(パルス)が検出されない場合、合成出力をゼロとして判定処理部168の処理を制限することができる。論理和を用いるか論理積を用いるかは、認識率を上げることを優先するか、誤認識に対する耐性を確保することを優先するかによって任意に設定可能である。
音声信号判定部172には、エッジパルス合成部170から図6(G)に示す合成エッジ検出フラグが供給されると共に、騒音状態検出部164からの騒音状態検出フラグやシステム制御部102からのモードが入力される。かかるモードは、自機の制御の状態を踏まえてシステム制御部102から入力される信号であり、本実施形態では、オン/オフモードと選択アップダウンモードの2つのモードに大別される。オン/オフモードは待機電源を含む主電源により維持され、複数回の拍手音に応じてモニタ110の電源のオン/オフ(オン3回、オフ4回)を受け付ける。選択アップダウンモードは1または複数回の拍手音に応じて自機の機能選択を受け付ける。オン/オフモードから選択アップダウンモードへの切り換え(以下、「メニュー機能をオンにする」と称する)は複数回の拍手音によってなされ、選択アップダウンモードからオン/オフモードへの切り換えはタイムアウト等によって為される。ここでは、主にオン/オフモードについて説明する。
第1のカウンタ174aは、時間軸方向の状態遷移を管理し、音声信号判定部172に入力される複数のエッジフラグの周期や特定の領域を捕捉するゲートパルスなどを発生させる。
ここで、図8を用い、音声信号判定部172による複数の拍手音に対する包括的な処理を説明する。図8(a)および(b)は、図6(A)、(B)に示すタイミングで拍手音が3回入力された場合、電源をオンまたはメニュー機能をオンにする際のエッジ検出フラグFp1、Fp2を示している。図8(a)および(b)中、4回目の拍手音に相当する箇所には、エッジ検出フラグFp1、Fp2を破線で示しており、本実施形態ではかかる4回目のエッジ検出フラグFp1、Fp2が検出されないことを確認して3回の拍手音であることを確定している。
図8(c)は、図5のエッジパルス合成部170において、図8(a)、(b)に示す2つのエッジ検出フラグFp1、Fp2を合成して得られた合成エッジ検出フラグ(図6(G)および図7(G))を示す。音声信号判定部172は、図8(c)に示す合成エッジ検出フラグの1回目が入力された時点で、図8(d)に示すように1回目検出フラグF1を設定すると共に、第1のカウンタ174aをリセットして、クロックのカウントを開始させる。さらに、音声信号判定部172は、第1のカウンタ174aによって示される所定幅tのゲートパルスの期間内に合成エッジ検出フラグの2回目が入力された時点で、図8(e)に示すように2回目検出フラグF2を設定する。
また、音声信号判定部172は、並行して、合成エッジ検出フラグの1回目の入力時点から2回目の入力時点までの時間をインターバル期間tIとして記憶すると共に、第1のカウンタ174aをリセットし、再びクロックをカウントさせる。
続いて、音声信号判定部172は、2回目検出フラグF2の設定時点からカウントした時刻tI−(t/2)に立ち上がり、時刻tI+(t/2)に立ち下がるゲート幅tを有するゲートパルスの期間内に合成エッジ検出フラグの3回目が入力された時点で、図8(f)に示すように3回目検出フラグF3を設定すると共に、第1のカウンタ174aをリセットし、再びクロックをカウントさせる。そして、音声信号判定部172は、第1のカウンタ174aのカウント値に基づき、時間tI+(t/2)経過するまで合成エッジ検出フラグが入力されない状態が継続したことをもって、時間tI+(t/2)時点で図8(g)に示す4回目のところに拍手が無い旨を示すフラグ(無音フラグ)Fnを設定する。
そして、音声信号判定部172は、上記の各フラグF1、F2、F3、Fnが揃ったところで3回拍手の条件が満たされたと判断し、3回拍手が確定したことを表す図8(h)に示す判定フラグFjをシステム制御部102に出力する。
図5に示す時間差分算出部176は、エッジパルス生成部162a、162bから得られるエッジ検出フラグFp1、Fp2に基づいて、集音部114a、114bに到来する拍手音の時間差を求め、その時間差を示す値を音源導出部178へ出力する。かかる時間差の導出アルゴリズムを図6および図7に戻って詳述する。拍手音の時間差は具体的に図6(D)に示すFp1と、図6(E)に示すFp2との時間差である。図6は拍手をするユーザが止まっている場合のタイミングチャートを示し、3回の拍手音の時間差は略同一であるとする。図6(A)、(B)、(D)、(E)、(G)については、既に説明が為されているのでここでは説明の為されていない図6(F)、(H−1)、(H−2)、(I−1)、(I−2)、(J)について詳述する。
図6(D)および(E)に示す2つのエッジ検出フラグFp1、Fp2の位相差が、時間差分値であり、図6(E)の矢印1に相当する。矢印1の時間差分値は図5に示す第2のカウンタ174bにてカウントされる。第2のカウンタ174bのカウント値は、本実施形態では図6(C)に示すクロックの数(クロック数)で表される。ここで、矢印1は10クロックの時間差分値となる。図6(F)は図6(D)に示すエッジ検出フラグFp1と図6(E)に示すエッジ検出フラグFp2との論理積を取った信号である。この信号は、後述する第1の幅拡張部206aにおける拡張時間となり、また、時間差分値としての第2のカウンタ174bのカウント値をホールド(維持)する期間となる。
矢印1の期間は、図6(D)、(E)に示すエッジ検出フラグFp1、Fp2の差分を表した図6(H−1)に示すパルスの期間をカウントすることで求められる。図6(H−1)に示すパルスは、図6(D)に示すエッジ検出フラグFp1が高レベル(論理「1」)で、図6(E)に示すエッジ検出フラグFp2が低レベル(論理「0」)であるときに高レベルになるパルスであり、エッジ検出フラグFp1がFp2より先行していることも表している。エッジ検出フラグFp1が先行するということは、本実施形態においてテレビジョン受像機100のモニタ110に向かって左側(集音部114a側)から音波が到来していることである。
図6(J)は図5の第2のカウンタ174bのカウント値を示しており、図6(H−1)に示すパルスが高レベルとなる期間、カウント値はインクリメントされる。ここでは、図6(H−1)に示すパルスが立ち上がった時点t11=0からカウントして、パルスが立ち下がった時点t12=10までのクロックを示す値がホールドされる。また、時間差分算出部176は、図6(H−1)のパルスを時間軸方向にパルス幅を拡張した図6(I−1)に示すパルスを生成する。かかる図6(I−1)に示すパルスはエッジ検出フラグFp1の先行を示し、図6(J)に示すカウント値は時間差分値を表す。
図7は、エッジ検出フラグFp2が先行する場合のタイミングチャートであり、その動作は図6の説明と実質的に等しいので、ここでは図6と異なる点を主として説明する。図7(A)、(B)は、3回発生させられた拍手音に基づいて検出された拍手音エッジ検出フラグFp1、Fp2のタイミングを示している。図7(D)に示すエッジ検出フラグFp1と、図7(E)に示すエッジ検出フラグFp2の位相差(時間差分値)が、所望する時間差分値であり、図7(D)の矢印2に相当する。
図7(E)に示すエッジ検出フラグFp2は図7(D)に示すエッジ検出フラグFp1より10クロック分先行している。図7(H−2)に示すパルスは、図7(D)に示すエッジ検出フラグFp1が低レベルで、図7(E)に示すエッジ検出フラグFp2が高レベルであるときに高レベルになるパルスであり、かかるパルスが高レベルであることでエッジ検出フラグFp2がFp1より先行していることを表し、高レベルとなっている期間が時間差分長を表している。
図7(J)は図5の第2のカウンタ174bのカウント値を示しており、図7(H−2)に示すパルスが高レベルになる期間、カウント値はインクリメントされ、ここでは「0」から「10」までカウントされた後ホールドされる。こうしてエッジ検出フラグFp2がFp1より先行している場合であっても図7(J)に示すカウント値によって時間差分値を取得することができる。
図9は、時間差分算出部176の回路系統図である。時間差分算出部176は、かかる回路系統を通じて図6および図7に表したタイミングチャートの各信号を出力する。図9中、括弧内のアルファベットは、図6、図7、図8に示したタイミングチャート中の対応するアルファベットのパルスを表している。以下、回路系統の動作を説明する。かかる回路系統の説明におけるパルス名は断らない限り図6および図7にアルファベットの大文字で示したパルス名を表している。
第1のAND回路200aでは(H−1)に示すパルスが生成され、第2のAND回路200bでは(H−2)に示すパルスが生成され、第3のAND回路202では(F)に示すパルスが生成され、第1のOR回路204では(H−1)と(H−2)の論理和を示すパルスが生成される。
第1の幅拡張部206aと第2の幅拡張部206bは、第3のAND回路202の出力信号の高レベルの期間、AND回路200a、200bの各出力パルスのパルス幅を拡張して、(I−1)、(I−2)に示すパルスを生成する。第2のカウンタ174bのCE(チップイネーブル)端子には、第1のOR回路204から(H−1)と(H−2)の論理和を示すパルスが入力され、CE端子が高レベルになっている間、カウントが為される。一方、第2のカウンタ174bのEN(イネーブル)端子には、第2のOR回路208から(I−1)と(I−2)の論理和を示すパルスが入力され、所定期間カウンタの値がホールドされる。本実施形態ではCEとENが共に低レベルのとき第2のカウンタ174bのカウント値がクリアされる。
図6および図7のタイミングチャートで示したように最終的に評価されるものはエッジ検出フラグFp1、Fp2の前後関係と、その差分量である第2のカウンタ174b出力の時間差分値を示すクロック数(カウント値)である。このエッジ検出フラグFp1、Fp2の前後関係と時間差分値であるクロック数は、1回目保持部210、2回目保持部212および3回目保持部214に保持される。1回目保持部210に1回目の拍手音のエッジ検出フラグから得られた方向(前後関係)を示す(I−1)、(I−2)のパルス(または(H−1)、(H−2)のパルス)と(J)のカウント値とを保持する。
入力された拍手音が何回目のものであるかは、図8(d)に示した1回目検出フラグF1、図8(e)に示した2回目検出フラグF2、図8(f)に示した3回目検出フラグF3とから導出することができる。例えば、1回目検出フラグF1のみが高レベルのとき1回目、1回目検出フラグF1、2回目検出フラグF2が高レベルのとき2回目、1回目検出フラグF1、2回目検出フラグF2、3回目検出フラグF3全てが高レベルのとき3回目と判断できる。
この何回目であるかを示す信号により識別される各回では、図6または図7で示した(I−1)、(I−2)および(J)がホールドされている、図6または図7で示した(F)に示すパルスの期間の特定のタイミングで、上記カウント値の保持を実行する。図6および図7ではこのタイミングをt13としている。そして、その保持した内容は図8(i)に1回目の時間差分値、図8(j)に2回目の時間差分値、図8(k)に3回目の時間差分値として示される。以上が時間差分値の算出方法である。この算出方法により、時間差分算出部176は、図6または図7で示した(I−1)、(I−2)と、クロック数(時間差分値)を音源導出部178に出力し、音源導出部178はこれらを基に角度データθjを出力する。
図5に示す音源導出部178は、上記時間差分値を用いて、テレビジョン受像機100に対する拍手音の音源の角度を導出する。時間差分値としてのクロック数は、クロックの周期、即ち音のサンプリング周波数から一義的に求まるものである。ここで、クロックの周期をt、クロック数をn(nは0以上の整数)とすると、上述した式(2)の集音部114間の拍手音の音波到達時間差tddは、以下の式(4)となる。
dd=n・t 式(4)
式(4)を上記式(3)に代入することで、角度θを求める以下の式(5)が得られる。
θ=arcsin(n・t・c/md) 式(5)
このときサンプリングのクロック周波数を32kHzとすると、角度θの最小分解角度は約0.6度となり、本実施形態では十分な精度を確保できる。
ここでの角度θは絶対値であり、左右の角度は図6および図7(I−1)、(I−2)に示す信号より得られる。角度θは、(I−1)に示す信号が高レベルで(I−2)に示す信号が低レベルのときはモニタ110に向かって左側の角度、(I−1)に示す信号が低レベルで(I−2)に示す信号が高レベルのときはモニタ110に向かって右側の角度となる。なお、この角度とは、図2に示したテレビジョン受像機100の中心点Dを基準とした角度である。また、この角度は、(I−1)および(I−2)に示す各信号が共に低レベルのときは中央となる。ここでいう「中央」とはテレビジョン受像機100の中心点D(モニタ110の中心点)からユーザ方向へ向かう垂線に相当する角度であり、そのときの角度θを0とする。また、(I−1)および(I−2)に示す各信号が共に高レベルのときは無効なデータとして扱われる。
図10は、上述した音源導出部178が算出する角度θについてまとめた図である。音源の角度は、テレビジョン受像機100の中心点Dからユーザ側に伸ばした垂線に対して、時計回りを負(−θj、左)、反時計回りを正(θj、右)として表している。
上記式(5)から理解できるように、求められる角度θは拍手音1回毎に得られる。本実施形態において、オン/オフモードで電源をオンしたり、メニュー機能をオンしたりする場合、3回の拍手音が入力されることから、3種類の角度が得られる。後述する基準角度は、ここで得られた角度を基に算出する。算出方法は、3つの角度の平均値を用いてもよく、3回目、即ち最後の拍手音により求められた角度を基にしてもよい。
図11は、式(3)または式(5)をシミュレーションした図であり、特に図11(a)は、テレビジョン受像機100の中心(図2の中心点D)を座標の原点とした場合の音源の角度の等高線を示し、図11(b)は、図11(a)の鳥瞰図を示す。
図11(a)では、テレビジョン受像機100を略鉛直上方向から見た場合の長手方向の延長線上の軸を横軸(X軸)とし、略水平面を縦軸(Y軸)としている。等高線は、縦軸がテレビジョン受像機100から320cmまで、横軸はテレビジョン受像機100の中心点Dを0とした場合の左右160cmまでの各位置において放射状に広がっている。詳細には、9度毎に0度から90度まで角度の絶対値(図11中「C」を付して角度の値を示す)を示している。45度(図11中C45で示す)のラインが横軸と縦軸ともに160cmとなり理論値と略等しい結果が得られた。
上述したように本実施形態では、2つの集音部114a、114bは、約100cm離隔してテレビジョン受像機100の両端に設置されている。テレビジョン受像機100から接近した範囲もしくは集音部114間は、テレビジョン受像機100の中心点Dからの角度と一致しないが、両端に設置された集音部114から距離に相当する角度として実用上不都合なく算出される。
図11(b)に示すように、急激に音源の角度が変化している不連続なポイントは、テレビジョン受像機100本体に設置された集音部114近辺なので実用上問題にはならない。このように、音源導出部178は、上述したように少なくとも2つ集音部114を備える構成により、音源の角度、即ちユーザの方向を確実に導出することが可能となる。
本実施形態において、図3に示したシステム制御部102は、相対導出部180、操作制御部182、内容表示制御部184、相対表示制御部186、内容出力制御部188、相対定位制御部190を備える。
相対導出部180は、所定の基準設定期間内に音源導出部178が導出した第1の音波(拍手音)の音源の角度を基準角度として記憶部104に記憶させる。本実施形態において所定の基準設定期間とは、テレビジョン受像機100の電源がオンしている場合であって、メニュー機能を実行するためのGUI(Graphical User Interface)がモニタ110に表示されていない期間を示し、モニタ110にメニュー機能を実行するためのGUI(以下、単にメニュー画像と称する)が表示されることで終了する。また本実施形態において、3回の拍手音が入力された場合に所定の基準設定期間が終了し、基準角度は3回の拍手音からそれぞれ求めた音源の角度の平均値とする。
また相対導出部180は、記憶部104が基準角度を記憶している状態で音源導出部178が導出した第2の音波(拍手音)の音源の基準角度からの相対角度を導出する。本実施形態において、基準角度の記憶後には、制御を1つ行うために1回の拍手音に基づく音声信号が入力される。
操作制御部182は、集音部114に入力された音波に応じて自機を制御する。操作制御部182は、予め設定された有効範囲内において拍手音が発せられた場合にのみ、自機を制御する。かかる有効範囲は、例えばテレビジョン受像機100を中心とした所定半径の略水平方向の円内や、テレビジョン受像機100を中心としたモニタ110前面側の所定半径の半円内といった所定の範囲、所定半径の第1の半円より大きく第2の半円より小さい範囲内等と設定できる。また、有効範囲は、後述するように操作制御部182が制御する制御内容の種類の数が変わる毎に計算される任意の範囲と設定することもできる。操作制御部182が、かかる有効範囲内の任意の点を音源とした拍手音のみに応じて自機を制御する構成により、ドアの開閉や他の作業等を通じて発せられる音等、有効範囲外で発生した音によってテレビジョン受像機100が誤作動してしまう可能性を低減させることが可能となる。
図12は、本実施形態にかかるテレビジョン受像機100の拍手音による操作を説明するための説明図である。図12に示すように、本実施形態では、電源のオン/オフや制御内容の種類としてのメニュー画像の表示のオン(メニュー機能のオン)を複数回の拍手音から実行するオン/オフモード(図12(a))、および操作制御部182の制御内容を1回の拍手音で実行する選択アップダウンモード(図12(b))の2つのモードに大別される。
かかるモードの選択は、モードを選択する際の自機の状態に応じてシステム制御部102がモードを選択する旨の信号を音声信号判定部172に出力することによって為される。詳細に、図12(a)に示すオン/オフモードは、図12(b)に示す選択アップダウンモードが選択された期間以外のすべての期間において維持されているモードであり、選択アップダウンモードは、基準角度の記憶後の所定期間において設定され得るモードである。より詳細に、選択アップダウンモードは、テレビジョン受像機100の電源がオンであり、かつ、メニュー画像がまだモニタ110に表示されていない期間(所定の基準設定期間)内に、集音部114に有効範囲内の任意の点を音源とする拍手音が所定の条件(本実施形態では略等間隔で3回)入力された場合に生じ、ユーザの拍手音入力に応じてメニュー機能(制御内容)を実行することができるモードである。本実施形態では、複数回の拍手音に基づく音声信号が入力されることを条件として、誤認識に対する耐性を向上させている。本実施形態においてオン/オフモードの際は、テレビジョン受像機100を中心としたモニタ110前面側の所定半径の半円内を有効範囲とした。
図12(a)に示すオン/オフモードにおける画像230は、電源がオフの状態(以下、単に電源オフ状態と称する)であるモニタ110の表示状態(何も表示されていない状態)を示している。電源オフ状態で集音部114に上記有効範囲内の任意の点を音源とする拍手音が3回、等間隔で入力されると、テレビジョン受像機100は、電源がオンになった状態となり(以下、単に電源オン状態と称する)、モニタ110の表示状態は画像232の視聴状態となる。
電源オン状態において、ユーザが制御内容としての音量またはチャンネルの変更を所望する場合には、さらにユーザ入力により集音部114に有効範囲内の任意の点を音源とする拍手音(第1の音波)が略等間隔で3回入力される。かかる入力に応じて、内容表示制御部184は、操作制御部182の制御内容の種類を表す図12(b)に示すメニュー画像(画像234)をモニタ110に表示する。画像234には、操作制御部182の制御内容の種類を示す画像である例えば音量制御を示す画像、消音制御を示す画像およびチャンネル制御を示す画像が含まれる。
音源導出部178は、メニュー画像を表示させるために入力された拍手音(第1の音波)を基に、テレビジョン受像機100に対する角度を導出し、かかる角度で画像234を表示させる際のユーザ(音源)の方向を特定する。相対導出部180は、音源導出部178が算出した角度を基準角度とし、記憶部104に記憶させる。
そして操作制御部182は、自機の状態が、制御内容を選択する状態にあることを判定し、選択アップダウンモードを選択する旨の信号を音声信号判定部172に出力することで、オン/オフモードから選択アップダウンモード(図12(b))へモードを移行する。
ここで、図3に示す内容表示制御部184は、上記GUIとして、ユーザが拍手音(第2の音波)を発生すべき角度と操作制御部182の制御内容の種類とを関連付けた画像をグラフィックス生成部122に生成させる。例えば図12(b)の画像234に示すように、内容表示制御部184が、音量制御を示す画像をモニタ110の、右に表示した場合、相対導出部180が導出した音源の角度が選択アップダウンモードの有効範囲における右側の範囲内であれば、即ちユーザが基準角度より所定の角度以上右側の任意の点を音源とする拍手音を発生させれば、操作制御部182は音量制御を選択する。ここで有効範囲は、オン/オフモードにおける有効範囲と同じでもよいし、オン/オフモードから選択アップダウンモードへ移行する際に範囲を制限してもよい。かかる有効範囲の制限方法については、後に詳述する。
本実施形態において内容表示制御部184は、さらに、消音制御を示す画像をモニタ110の中央に、チャンネル制御を示す画像をモニタ110の左に、と制御内容の種類と拍手音を生成すべき角度とを関連付けて表示する。内容表示制御部184を備える構成により、ユーザの所望する制御を実行するために生成すべき音声信号の角度をユーザに視認させることができる。
さらに内容出力制御部188は、ユーザが音声信号を生成すべき角度と操作制御部182の制御内容の種類とを関連付けた音声を音生成部126に生成させてスピーカ112から出力することができる。このとき、内容出力制御部188は、「音量は右」、「消音は中央」、「チャンネルは左」という音声をスピーカ112から出力する。モニタ110上の右の制御内容は右のスピーカ112から出力し、左の制御内容は左のスピーカ112から出力し、中央の制御内容は中央に音像を定位させるべく左右両方のスピーカ112から音量を等しくして音を出力すると好ましい。また、内容出力制御部188を備える構成により、ユーザの所望する制御を実行するために生成すべき音声信号の角度を、音をもって報知することができる。これにより、目の不自由な人でも、容易に操作することが可能となる。
ユーザに所望の制御を選択するための拍手音(第2の音波)を発生させる角度を知らせる方法として、画像の表示または指示音声の出力のいずれかを適宜選択すればよいし、双方を組み合わせてもよい。以下、選択アップダウンモードの一連の操作の流れを説明する。
図13は、選択アップダウンモードにおける制御内容の実行を説明するための説明図であり、特に、図13(a)は、所定の基準設定期間内に集音部114に拍手音が略等間隔で3回入力された直後のモニタ110の表示状態(図12における画像234)を、図13(b)は、ユーザの拍手音入力に応じて制御内容を選択する形態を示す。図13に示す基準角度DCは、上述した音源導出部178を通じて式(5)により求められる。
図13(a)に示すように、モニタ110にはメニュー画像(画像234)が表示され、具体的には、テレビジョン受像機100に向かって、左側にチャンネル制御を示す画像、中央に消音制御を示す画像、右側に音量制御を示す画像が表示されている。上述したように、相対導出部180は、メニュー画像を表示するために入力された拍手音(第1の音波)に基づいて音源導出部178が算出したテレビジョン受像機100に対する音源の角度DCを、基準角度DCとして記憶部104に記憶させる。図13(a)に示す例では、拍手音の音源の角度DC、即ちテレビジョン受像機100の中心点Dと拍手音の音源の位置Uとを結んだ線分DUの角度DCは、理解を容易にするためテレビジョン受像機100の中心点Dからユーザ側に伸ばした垂線D1と同じとしたため0度となる。
相対導出部180が基準角度DCを記憶部104に記憶させた状態で、図13(b)に示すようにモニタ110に表示された制御内容のうち所望の制御をユーザが選択するための拍手音(第2の音波)が発生させられると、音源導出部178は第2の音波音源の角度データを相対導出部180に供給する。相対導出部180は、第2の音波音源の角度データを基に、基準角度DCに対する第2の音波の音源の相対角度を算出する。
本実施形態の操作制御部182は、選択アップダウンモードにおいて、上記オン/オフモードにおける有効範囲内であって、基準角度DCを基準とした範囲内の任意の点を音源とする拍手音が集音部114に入力された場合にのみ、自機を制御する。また操作制御部182は、自機を制御可能な範囲を、基準角度を基準としたオン/オフモードで設定した有効範囲よりも狭い範囲にさらに制限して、範囲外で発生した音の誤認識によるテレビジョン受像機100の誤作動を防止することが可能となる。
また本実施形態において、操作制御部182は、相対導出部180が導出した相対角度が基準角度DCを基準とした複数の範囲(以下、選択範囲と称する)のいずれに含まれるかを判断し、その選択範囲に応じて制御を行う。図13(b)に示す例において、操作制御部182は、相対導出部180が導出した相対角度が、3つの選択範囲のいずれに含まれるかを判断し、かかる選択範囲に応じて3つの異なる制御のいずれか(チャンネル制御、消音制御、音量制御)を行う。
なお、有効範囲の制限および選択範囲の設定は、例えば図13(b)に示すように、まず、予め設定した角度を用い、基準角度に基づいて選択範囲を設定し、設定した選択範囲から有効範囲を制限してもよい。また、有効範囲の制限および選択範囲の設定は、まず、基準角度を基準として予め設定した角度で有効範囲を制限し、かかる制限された有効範囲を制御内容の種類の数に応じて分割して選択範囲を設定してもよい。以下に、まず、選択範囲を設定してから有効範囲を制限する方法を説明し、次に有効範囲を制限してから選択範囲を設定する方法について説明する。
本実施形態において、相対導出部180は、予め選択範囲を設定するための角度(基準角度)を記憶部104に記憶させておく。かかる選択範囲を設定するための角度θadは、基準角度DC上に位置するユーザの胸の前で拍手音が発生されたとして、左右に位置をずらせて無理なく拍手できる相対距離をsd、テレビジョン受像機100からユーザまでの距離をddcと想定した場合、以下に示す式(6)から算出できる。
θad=arctan(sd/ddc) 式(6)
上記式(6)を用いて、ユーザが無理なく動かせる相対距離sdを20cm、テレビジョン受像機100からの距離ddcを2mとして計算すると、角度θadは5.7度となり、相対導出部180は、選択範囲の角度を5.7度として予め記憶部104に記憶させておく。ここでは角度θadを5.7度に設定しているが、テレビジョン受像機100の大きさや利用状況に応じて、その角度を任意に再設定することもでき、再設定された角度も同様に記憶部104に記憶される。
相対導出部180は、操作制御部182が制御する制御内容の種類の数をnとすると、n個分の選択範囲を、基準角度DCを中心として設定する。図13(b)に示す例では、操作制御部182が制御する制御内容の種類の数が3であるため、相対導出部180は、基準角度DCを含む中央の選択範囲CADと、中央の選択範囲CADの右側に隣接する右の選択範囲RADと、中央の選択範囲CADの左側に隣接する左の選択範囲LADとを設定する。
ここでは、中央の選択範囲CADは、基準角度DCを中心とした角度θadを有する範囲と設定し、右の選択範囲RAD、左の選択範囲LADは中央の選択範囲CADの左右外側の各範囲とした。操作制御部182が制御する内容が2種類の場合は、基準角度DCを中心とし、基準角度DCに対して右側を右の選択範囲RAD、左側を左の選択範囲LADと設定すればよい。
更に拍手音の集音精度を向上させる場合は、設定した各選択範囲のうち最も外側に位置する選択範囲の外側の境界(外側枠)を設定するとよい。例えば、図13(b)に示すように、相対導出部180は、右の選択範囲RADおよび左の選択範囲LADの中心をそれぞれ中央の選択範囲CADの中心(基準角度DC)からθadの位置に設定し、設定した各中心を中心にしたθadの範囲をそれぞれ右の選択範囲RADおよび左の選択範囲LADとする。これにより、右の選択範囲RADおよび左の選択範囲LADの外側枠が設定される。従って相対導出部180が発生した拍手音を自機の制御に用いると判断する選択範囲は、図13(b)に示す有効範囲EAに限定される。
図13(b)では、操作制御部182が行う制御の数が3つであるため、有効範囲EAは、3θadの大きさを有する。本実施形態ではθadを5.7度と設定したので、有効範囲EAは基準角度DCを中心とした17.1度の範囲である。
有効範囲EAは、制御内容が奇数個の場合はモニタ110に表示されている複数の制御内容を示す画像のうち、中央の画像に対応する制御内容を選択するための選択範囲ADが基準角度DCを中心に位置するよう設定し、設定した中央の選択範囲ADの両側に制御内容の数に対応して選択範囲ADを設ければよい。上述したように、最も外側の選択範囲ADの外側枠は、必要とする集音精度にあわせて設定すればよい。制御内容が偶数個の場合は、モニタ110に表示される複数の画像のうち中央に位置する2つの画像を選択するための2つの選択範囲Aが基準角度DCを中心として互いに接するよう設定する。
次に、上述した有効範囲の制限方法および選択範囲の設定方法の他の例(有効範囲を制限してから選択範囲を設定する方法)について説明する。
まず、相対導出部180は、基準角度DCを基準とした所定の角度を有効範囲として設定する。所定の角度は予め記憶部104に記憶させておいてもよいし、後述する方法で算出してもよい。記憶部104が予め所定の角度を記憶している場合、ユーザが複数の制御内容の一つを選択するにあたり、無理なく手を動かすことができ、選択された制御内容が精度よく判別されるような角度を有効範囲とする。
次に相対導出部180は、操作制御部182が制御する制御内容数(n)に応じて、有効範囲内をn分割する。例えば、制御内容数が3であるときは、有効範囲を3分割し、それぞれを各制御内容を選択するための選択範囲とする。
相対導出部180は、有効範囲の大きさを操作制御部182の制御内容数(n)に応じて算出してもよい。有効範囲EAは、上記式(6)を用いて算出できる角度θadにnを乗じたnθadとなる。
そして、相対導出部180は、制限した有効範囲を操作制御部182が制御する制御内容の種類の数分に分割した範囲を各制御内容を選択するための選択範囲として設定する。かかる分割は等分でも不等分でもよい。
そして、図13(b)に示すように、3つの制御内容(選択肢)のうちチャンネル制御を選択する場合、ユーザは基準角度DCよりも左側であって、左の選択範囲LAD内の任意の角度例えば角度DLで拍手を1回する。そうすると、音声処理部150は、角度DLにおける拍手を認識し、システム制御部102はチャンネル制御が選択されたと判断する。
図14は、図13(b)においてチャンネル制御が選択された以降の制御内容の実行を説明するための説明図であり、ユーザの拍手音入力に応じて制御内容を選択する形態を示す。図14に示す例では、操作制御部182が制御する制御内容の種類の数が2であるため、システム制御部102は、選択範囲ADを2つ(図14中、右の選択範囲RAD、左の選択範囲LADで示す)設定する。相対導出部180は、各選択範囲ADを予め記憶された角度θad(例えば5.7度)とし、有効範囲EAをその角度θadに選択数2を乗じて導出する。また、他の例では、システム制御部102は、有効範囲EAを予め記憶された角度(例えば17.1度)とし、選択範囲ADをその角度を選択数2で除算して導出する。ただし、選択数が1や2といった数値の場合、上記の計算に拘わらずさらに広い選択範囲ADや有効範囲EAを任意に設定してもよい。
図13(b)の状態でチャンネル制御が選択されるとモニタ110には、図14に示すように画像240(図12の画像240と同じ)が表示される。画像240における制御内容は、アップ制御とダウン制御の2つからなるため、操作制御部182は、基準角度DCを基準として、右の選択範囲RADおよび左の選択範囲LADのいずれの選択範囲の任意の点を音源とする音声信号が入力されたかを判断し、その音声信号の音源が含まれる選択範囲に応じて自機を制御する。
図14に示すように、例えばユーザが角度DRで拍手したと相対導出部180が判断すると、モニタ110の右側にはチャンネルのアップ制御を示す画像が表示されているので、操作制御部182は、アップ制御が選択されたと判断する。そして、ユーザがアップさせたいチャンネル数だけ右側の選択範囲RAD内で拍手をすると、操作制御部182は音声処理部150で認識された音声信号が入力された回数分だけチャンネルをアップさせ、そのチャンネルを示す画像(例えば「1:NHX」等)をモニタ110に表示させる。なお、本実施形態では所望のチャンネルに到達後操作(拍手)をやめると所定の時間が経過した後、タイムアウトによりチャンネルのアップ制御を示す画像(画像240)は自動的にオフになり、モニタ110には画像232が表示される。
本実施形態にかかる選択アップダウンモードにおいて、操作制御部182は、拍手音が1回入力される毎に値をインクリメントまたはディクリメントすることで、チャンネルおよび音量のアップダウン制御(アップ制御ならびにダウン制御)を実行する。従って、画像234が表示された状態で、音量制御(右)が選択された場合、内容表示制御部184は音量制御にかかる画像242をモニタ110に表示し、操作制御部182は、チャンネル制御と同様に、拍手音が1回入力される毎に値をインクリメントまたはディクリメントすることで、音量のアップダウン制御を実行する。また、画像234が表示された状態で、消音制御(中央)が選択された場合に、内容表示制御部184は消音制御にかかる画像をモニタ110に表示し、操作制御部182は、消音制御を実行、即ち、スピーカ112からの音声出力を制限する。
本実施形態において、チャンネルと音量のアップダウン制御およびメニュー機能のオン(メニュー画像の表示)は、最後に入力された拍手音から所定時間経過するとタイムアウトにより自動的にオフされる。また消音状態(消音制御が選択された状態)は、有効範囲内の任意の点を音源とした拍手音が略等間隔で3回入力されると解除される。操作制御部182がタイムアウトしたと判断し、または操作制御部182が消音状態を解除することを示す拍手音の入力を検出し、その判断または検出に従って内容表示制御部184がメニュー画像の表示をオフするようグラフィックス生成部122を制御することでモニタ110の表示状態は画像232に戻る。システム制御部102は、オン/オフモードを選択する旨の信号を音声信号判定部172に出力することで、選択アップダウンモードからオン/オフモードへモードを移行する。そして、さらに有効範囲内の任意の点を音源とした拍手が略等間隔で4回入力されると、システム制御部102は電源をオフにする。従って、モニタ110には何も表示されなくなる(図12中、画像230参照)。
上述したように、本実施形態において選択アップダウンモードは、メニュー機能がオンになってから(メニュー画像が表示されてから)所定時間を経過しても拍手音が入力されないとタイムアウトにより自動的にオン/オフモードへ移行するため、音の入力時間が制限され、集音部114に拍手音以外の他の音が入力される可能性が少ない。従って、選択アップダウンモードもオン/オフモードと同等の耐性を有することになる。
さらに、本実施形態にかかる選択アップダウンモードでは、有効範囲を制限することができる。これにより、選択アップダウンモードはオン/オフモードに比べて耐性を高くすることができ、操作制御部182は、選択アップダウンモードにおいて、1回の拍手音毎に制御を実行(確定)させたとしても十分な操作性を得ることができる。
図15は、相対表示制御部186によるモニタ110の表示を説明するための説明図である。相対表示制御部186は、相対導出部180が導出した相対角度をグラフィックス生成部122に出力し、映像混合部124を介して、図15の星印で示すようにその相対角度をモニタ110に表示する。これにより、ユーザが発生させた音源の角度をユーザに視覚を通じて報知することが可能となる。従って、ユーザは、所望する制御を実行するために生成すべき音声信号の角度と、自身が発生させた音の角度との隔たりを確実に視認することが可能となる。これにより、音声信号を生成すべき角度の校正をユーザに促すことができる。
また、図15(b)に示すように、相対導出部180が導出した相対角度がモニタ110に表示されたチャンネル制御を示す画像に相当する角度であり、これによりチャンネル制御が選択された場合、音声処理部150は、チャンネル制御が選択された旨の信号を内容表示制御部184へ出力し、内容表示制御部184は、チャンネル制御が選択されたことを示す画像をモニタ110に表示する。本実施形態では内容表示制御部184は、チャンネル制御が選択されたことを示す画像として、チャンネル制御を示す画像の周囲を黒枠で囲った画像をモニタ110に表示させているが、チャンネル制御を示す画像の表示を点滅させて表示させてもよい。また、内容出力制御部188が、チャンネル制御が選択されたことを確認できる確認音を、スピーカ112を介して音を出力してもよい。これにより、ユーザの操作入力が操作制御部182に認識されたことを適切にフィードバックすることができる。
相対定位制御部190は、相対導出部180が導出した相対角度を、音生成部126に出力し、音声混合部128に放送電波に含まれる音声信号と合成させて、スピーカ112を通じて音像定位する。
また、本実施形態において相対定位制御部190は、相対導出部180が導出した相対角度を音生成部126に出力し、音声混合部128およびスピーカ112を介して、音声として出力する。例えば、相対導出部180が導出した角度が基準角度よりも右側である場合、相対定位制御部190は、「右です」という音声をスピーカ112を介して出力する。さらに、相対導出部180が導出した角度が基準角度よりも右側であって、有効範囲を超えていた場合、相対定位制御部190は、「右に行き過ぎです」という音声をスピーカ112を介して出力してもよい。
また相対定位制御部190は、相対角度に相当する音の定位となるようにスピーカ112aと112bのバランスを制御して報知音やビープ音を発生させる。これにより、ユーザに音で相対角度を適切にフィードバックすることができる。
さらに図15(b)に示すように、相対導出部180が導出した相対角度がモニタ110に表示されたチャンネル制御を示す画像に相当する角度であり、これによりチャンネル制御が選択された場合、音声処理部150は、チャンネル制御が選択された旨の信号を相対定位制御部190へ出力してもよい。相対定位制御部190は、チャンネル制御が選択されたことを示す音声例えば「チャンネルを選択しました」をスピーカ112から出力する。
これにより、ユーザが発生させた音源の角度をユーザに聴覚を通じて報知することが可能となる。従って、ユーザは、所望する制御を実行するために生成すべき音声信号の角度と、自身が発生させた音の角度との隔たりを確実に把握することが可能となる。これにより、音声信号を生成すべき角度または位置の校正をユーザに促すことができる。
ユーザに自身が発生させた音声信号の角度を報知する方法は、上記説明した画像表示または音像定位のいずれかを適宜選択すればよいし、双方を組み合わせてもよい。本実施形態では、より効果がある双方を組み合わせた構成でユーザに角度または位置の校正を促している。
以上説明したように、本実施形態にかかるテレビジョン受像機100によれば、少なくとも2つ集音部114を備える構成により、テレビジョン受像機100に対する音波の音源の角度を確実に導出することができる。また、所定の基準設定期間内に入力された第1の音波の音源の角度を基準角度として記憶させ、基準角度を記憶している状態で入力された第2の音波の音源の角度を、基準角度からの相対角度として導出することで、ユーザが最初に音を発生させた角度(基準角度)を基準として、それ以降に音を発生させた角度を相対的に導出することが可能となる。そして、操作制御部182が導出された相対角度に応じて自機を制御する構成により、ユーザは、音を発生する角度を変えるだけでテレビジョン受像機100の様々な機能を実行させることができる。
(第2の実施形態)
上述した第1の実施形態によれば、メニュー画像234を表示させるために発生させた拍手音(第1の音波)の音源の角度を基準角度とし、基準角度からの次の拍手音(第2の音波)の音源の相対的な角度を導出することで、リモコンを用いずとも、ユーザは角度を変えて拍手音を発生させるだけで、様々な機能を実行させることができる電子機器(テレビジョン受像機100)について説明した。
第2の実施形態では、ユーザが発生させる拍手音の角度に代えて、拍手音(音源)の位置をテレビジョン受像機500に対する距離と角度より導出することで、自機の様々な機能を実行可能な電子機器としてのテレビジョン受像機500について説明する。
(テレビジョン受像機500)
図16は、本実施形態にかかるテレビジョン受像機500の概略的なハードウェア構成を示した機能ブロック図である。上述したテレビジョン受像機100と実質的に等しい構成要素については、同一の符号を付して説明を省略し、第1の実施形態と相違する集音部514と、集音アンプ520と、音声処理部550と、判定処理部568と、音源導出部578とについて説明する。ここで、音声処理部550および判定処理部568は、音源導出部578の機能が異なるのみであり、他の構成要素は、図4および図5に示す構成要素と実質的に等しいので、説明を省略する。
図16に示すように、テレビジョン受像機500は、3つの集音部514(図16中、514a、514b、514cで示す)を備え、集音部514ごとに集音アンプ520(図16中、520a、520b、520cで示す)を備えている。少なくとも3つ集音部514を備える構成により、音源の位置を確実に導出することができる。本実施形態において集音部514aは、ユーザがモニタ110正面側に位置するとき、モニタ110に向かって左端に、集音部514bは右端に設置され、集音部514cは集音部514aと集音部514bの略中央に設置されている。
図17は、本実施形態にかかる音源導出部578を用いた集音部514に入力された音波の音源の位置を導出する方法を説明するための説明図である。図17に示すように、テレビジョン受像機500は、集音部514を3つ備えているため、異なる2つの点(後述するMC、MR、MLのうちの2つ)に対するユーザの2つの角度を特定することができる。かかる角度を特定する方法は、上述した第1の実施形態で用いた方法(図2参照)と同様である。
テレビジョン受像機500に向かって左側に設置された第1の集音部514aとテレビジョン受像機500に向かって右側に設置された第2の集音部514bとに入力された音波から求められる角度θccは、集音部514a、514bの中心点(図17中、MCで示す)を支点として得られる。第1の集音部514aと第3の集音部514c(中央に設置されている集音部514)とに入力された音波から求められる角度θlcは、集音部514a、514cの中心点(図17中、MLで示す)を支点として得られる。そして第2の集音部514bと第3の集音部514cとに入力された音波から求められる角度θrcは集音部514b、514cの中心点(図17中、MRで示す)を支点として得られる。
角度θccは、集音部514a、514b間距離がmd(本実施形態では、100cm)で、上述した式(5)で求められ、シミュレーションを行うと図11に示す等高線および鳥瞰図と等しくなる。一方、第1の集音部514aと第3の集音部514cの距離は、md/2(本実施形態では、50cm)となり、第2の集音部514bと第3の集音部514cの距離も同様にmd/2(本実施形態では、50cm)となる。
図18は、集音部514間のオフセットを加味して式(5)をシミュレーションした図であり、2次元平面上の位置に対して集音部514a、514b、514cから得られる2つの角度を等高線にして表したものである。但し左右の集音部514a、514bの中心は、テレビの中心の点MCより左右にmd/4オフセットするため、点MCとは一致しない。図18において、集音部514a、514cから得られる角度をLを付して示し、集音部514b、514cから得られる角度をRを付して示す。図18に示すように、導出された2つの角度を持った線分が交差している点の座標を求めることでユーザの位置を特定することができる。即ち、複数の集音部514と音源とから求められる複数の角度よりユーザの位置が求められる。
図17および図18に示すように、ユーザの位置(音源の位置)PCは、上述した角度θlc、θcc、θrcの内、2つの角度に基づいて特定することができる。ここでは、誤差を少なくするために角度差がより大きくなるθlc、θrcから導出することとする。ユーザの位置(音源の位置)における角度θlc、θrcは、上述した式(2)および式(3)より求めることができる。音源の位置は、角度θlcをもった点MLと点PCを通過する線分(ML・PC)と、角度θrcをもった点MRと点PCを通過する線分(MR・PC)の交点となる。線分ML・PCは、傾きを、ALC=tan(θlc)とすると、
y=ALC・x−(md/4)・ALC 式(7)
となり、線分MR・PCは、傾きをARC=tan(θrc)とすると、
y=ARC・x+(md/4)・ARC 式(8)
となる。
従って、交点の座標(x、y)は、
x=−(md/4)(ARC+ALC)/(ARC−ALC) 式(9)
y=−(md/2)・ARC・ALC/(ARC−ALC) 式(10)
となり、音源の位置PCの座標(Xc、Yc)が求められる。従って、テレビジョン受像機500の中心点D(本実施形態では、点MCと略同一である)から音源PCまでの距離ddcは、式(11)で求められる。また点PCと点MCを通過する線分MC・PCの傾きACCは、式(12)となる。
Figure 2010193426
式(11)
ACC=arctan(Yc/Xc) 式(12)となる。
本実施形態では、音源PCの座標(位置)を線分ML・PCと線分MR・PCから求めたが、線分MC・PCと他の線分との間で交点を求めることもできる。また複数の線分から複数の座標を求め、かかる複数の座標を平均することでその導出精度を上げることもできる。
図19は、本実施形態にかかる音源の位置の特定を説明するための説明図である。本実施形態において、まずオン/オフモードにおいて音源導出部578は、所定の基準設定期間内に入力された拍手音より、基準位置PCで示す音源の位置を導出する。図19ではモニタ110に向かって基準位置PCよりも右側の位置をPR、左側の位置をPLで示す。
図19に示すように、例えば、ユーザが基準位置PCよりもモニタ110に向かって左側で拍手音を発生させた場合、かかる拍手音の音源の位置PLは、式(9)および式(10)から算出できる(図19中、座標(Xl、Yl)で示す)。ここで用いる傾きは、図19中、ARLおよびALLで示す。同様に、ユーザが基準位置PCよりもモニタ110に向かって右側で拍手音を発生させた場合、かかる拍手音の音源の位置PRも、式(9)および式(10)から算出できる(図19中、座標(Xr、Yr)で示す)。ここで用いる傾きは、図19中、ARRおよびALRで示す。
図20は、本実施形態にかかる有効範囲の制限方法の例を説明するための説明図である。操作制御部182は、第1の実施形態と同様に、選択アップダウンモードにおいて、集音部514に入力された拍手音の音源の位置がかかる有効範囲内に含まれる場合にのみ制御を実行する。また、図20に示す例では、有効範囲および選択範囲の設定方法として、予め設定した値で有効範囲を制限してから選択範囲を設定する方法について説明する。
本実施形態における、有効範囲の角度方向(テレビジョン受像機500の中心MCを中心とした円周方向)の境界は、上述した第1の実施形態と同様に式(6)から得られる角度を利用することで、設定可能である。
図20(a)に示すように、例えば、テレビジョン受像機500と基準位置PCとの距離ddcは、以下の式(13)から算出することができる。
ddc=Xc+Yc 式(13)
本実施形態では式(13)よりユーザまでの距離ddcを把握できるので、より実質に合った角度θadを(6)式より設定することができる。
従って、上記式(6)に式(13)で算出される距離ddcを代入し、ユーザが無理なく動かせる相対距離sdを20cmとみなして計算すると、角度θadを算出することができる。そして、システム制御部102は、算出した選択範囲の角度θadを予め記憶部104に記憶させておく。ここでは、基準位置PCが設定される度に、式(13)から算出した距離ddcを用いて角度θadを設定するが、これに限らず、上記第1の実施形態と同様に、距離ddcを固定値として予め設定しておくこともできる。
そして、本実施形態において有効範囲の角度方向の境界は、上記第1の実施形態と同様に、選択範囲が3つの場合を説明する。従って、有効範囲は、記録部104に記録されたる角度θadに3を乗じた3θadとなり、テレビジョン受像機500に対する基準位置PCの角度である角度換算値θcより小さい第1所定角度(例えばθ4)以上、基準位置PCの角度換算値より大きい第2所定角度(例えばθ1)以下となる。
本実施形態では、ユーザのテレビジョン受像機500に対する角度のみならず距離も特定できるので、有効範囲は、距離方向にも制限することができる。本実施形態において最も高精度に拍手音を集音したい場合、操作制御部182は、基準位置PCとテレビジョン受像機500(MC)との距離より大きい第1所定距離(例えばra)以下、基準位置PCとテレビジョン受像機500(MC)との距離より小さい第2所定距離(例えばrb)以上、の範囲を予め有効範囲として制限することができる。有効範囲の設定は、必要とする拍手音の集音精度にあわせて行えばよい。
ここで、第1所定距離をra、第2所定距離をrbとすると、図20(a)中、破線で示した線が、有効範囲の距離方向の境界となる。
有効範囲を基準位置PCとテレビジョン受像機500(MC)との距離より小さい第2所定距離以上とすることにより、スピーカ112から出力される放送電波に含まれる音声信号やテレビジョン受像機500本体を触ったとき等に発生する音波に対する耐性を向上させることができる。
本実施形態においても、操作制御部182は、相対導出部180が導出した相対位置が、複数の選択範囲(図20中、右の選択範囲、中央の選択範囲、左の選択範囲と示す)のいずれに含まれるかを判断し、その選択範囲に応じて自機を制御する。ここでは、有効範囲をテレビジョン受像機500を中心とした円周方向に複数に分割して選択範囲を設定しているので、本実施形態において、距離方向の境界は、有効範囲と選択範囲とで等しくなる。
以下に、有効範囲の任意の点を音源とする拍手音が集音部514に入力された場合、かかる拍手音の音源がどの選択範囲に含まれるかを算出する方法について図20(a)を用いて説明する。上述したように有効範囲は、基準位置PCを中心とした角度3θadであるため、例えば有効範囲を円周方向に3つに分割する場合、選択範囲の境界は、θ1≧右の選択範囲>θ2、θ2>中央の選択範囲>θ3、θ3>左の選択範囲≧θ4となる。
選択範囲のそれぞれの境界、角度θ1、θ2、θ3、θ4は、基準位置PCの角度換算値θcおよび角度θadを用いて、以下の式(14)〜式(17)より相対導出部180が算出する。
θ1=θc+θad×3/2 式(14)
θ2=θc+θad/2 式(15)
θ3=θc−θad/2 式(16)
θ4=θc−θad×3/2 式(17)
上記式(14)から式(17)を用いて算出した、角度θ1、θ2、θ3、θ4を用いて、操作制御部182は、相対導出部180が導出した拍手音の音源の位置が、右の選択範囲、中央の選択範囲、左の選択範囲のいずれの選択範囲に含まれるかを判断することができる。なお、必要とする集音精度に応じて、θ1とθ4とを算出せず、有効範囲の境界(外枠)を設定しなくてもよい。
以上説明したように、基準位置PCを基準として有効に自機を制御可能な範囲(有効範囲)を角度(画面の垂線からの角度)と距離(画面からの距離)によって制限する構成により、範囲外で発生した音の誤認識によるテレビジョン受像機500の誤作動を防止することが可能となる。ここでは、基準位置PCの角度換算値θcより小さい第1所定角度θ4以上、基準位置PCの角度換算値θcより大きい第2所定角度θ1以下、かつ、基準位置PCとテレビジョン受像機500との距離ddcより大きい第1所定距離ra以下の範囲を有効範囲とすることにより、音の誤認識を高精度で回避することができる。
また、図20(b)に示すように上記有効範囲の距離方向の境界を、基準位置PCを中心とした所定半径内の範囲(図20(b)中破線で示す)とすることもできる。このとき所定半径rdは、
rd=(x−Xc)+(y−Yc) 式(18)
と表すことができる。
ここで、半径rdは、基準位置PCとテレビジョン受像機500との距離ddcより小さいとよい。かかる有効範囲の距離方向の境界を基準位置PCを中心とした所定半径rd内の範囲とする構成により、ユーザに有効範囲を認識させやすく、より利便性を向上することができる。また、有効範囲の角度方向の境界は、図20(a)を用いて説明した境界と実質的に等しいのでここではその説明を省略する。
図21は、本実施形態にかかる選択アップダウンモードにおける制御内容の実行を説明するための説明図であり、図21(a)は、オン/オフモードにおいて集音部514に拍手音が略等間隔で3回入力された直後のモニタ110の表示状態(図12における画像234)を、図21(b)は、ユーザの拍手音入力に応じて制御内容を選択する形態を示す。図21に示す基準位置PCは、音源導出部578を通じて式(9)および式(10)により求められる。かかるオン/オフモードおよび選択アップダウンモードは上述した第1の実施形態のオン/オフモードおよび選択アップダウンモードと同一である(図12参照)。図21中、モニタ110は、略正面から見た図であり、有効範囲は略鉛直上方向から見た図である。
図21(a)に示すように、モニタ110にはメニュー画像234が表示され、テレビジョン受像機500に向かって、左側にチャンネル制御を示す画像、中央に消音制御を示す画像、右側に音量制御を示す画像が表示されている。本実施形態において、相対導出部180は、メニュー画像を表示するために入力された拍手音の音源の位置PCを、基準位置として記憶部104に記憶させる。
図21(b)に示すように、操作制御部182は、相対導出部180が導出した相対位置が、複数の選択範囲のいずれに含まれるかを判断し、その選択範囲に応じて自機を制御する。図21(b)では基準位置PCを基準として、基準位置PCを含む中央の選択範囲、中央の選択範囲の右側の右の選択範囲、および、中央の選択範囲の左側の左の選択範囲を3つの選択範囲を示している。
図21(b)に示すように、3つの制御内容(選択肢)の内、音量制御を選択する場合、ユーザは基準位置PCよりも右側の例えば位置PRで拍手を1回する。相対導出部180は、かかる位置PRでの拍手を認識し、操作制御部182は音量制御を選択する。
本実施形態においても、相対表示制御部186は、相対導出部180が導出した相対位置(図21中星印で示す)をモニタ110に表示する。さらに、相対導出部180が導出した相対位置がモニタ110の音量制御を示す画像の位置であり、これにより、音量制御が選択された場合、音声処理部550は、音量制御が選択された旨の信号を内容表示制御部184へ出力し、内容表示制御部184は、音量制御が選択されたことを示す画像をモニタ110に表示する。
以上説明したように、本実施形態にかかるテレビジョン受像機500によれば、少なくとも3つ集音部514を備える構成により、テレビジョン受像機500に対する音波の音源の位置を確実に導出することができる。また、所定の基準設定期間内、例えばメニュー画像をモニタ110に表示させるために入力された音波(第1の音波)の音源の位置を基準位置PCとして記憶し、基準位置PCを記憶している状態で入力された第2の音波の音源の位置を、基準位置PCからの相対位置として導出することで、ユーザが最初に音を発生させた位置(基準位置PC)を基準として、それ以降に音を発生させた位置を相対的に導出することが可能となる。そして、操作制御部182が導出された相対位置に応じて自機を制御する構成により、ユーザは、音を発生させる位置を手元で変えるだけでテレビジョン受像機500の様々な機能を実行することができる。
また、第1の実施形態と比較して、有効範囲をユーザの左右方向だけでなくテレビジョン受像機500に向かって前後方向に設定する構成により、有効範囲をさらに絞ることが可能となり、範囲外で発生した音に対する耐性をさらに向上させることができる。
(第3の実施形態)
図22は、集音部614を8つ有するテレビジョン受像機600について説明するための説明図である。本実施形態において集音部614は、テレビジョン受像機600のモニタ110の4角に1つずつと、長手方向の2辺の中央に1つずつ、短手方向の2辺の中央に1つずつの合計8つ設置されている。長手方向の1辺および短手方向の1辺に設けられた合計5つの集音部614で、水平方向だけでなく略鉛直方向の位置を算出することができる。これにより、有効範囲の分割数を増加させることができ、操作制御部182が実行可能な制御内容の種類(選択肢)を増加させることが可能となる。
また、本実施形態のように集音部614を8つにして、上述した第1および第2の実施形態のように選択肢を3つにすれば、拍手音の認識率および位置の算出の精度をさらに向上させることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した音声処理部150は、予めユーザの拍手音を記憶部104に記憶させておき、かかる記憶した拍手音と集音部114に入力された拍手音を比較してもよいし、人間が発する拍手音が有する周波数帯域、音圧レベル、継続時間等をフィルタリングしてもよい。
本発明は、リモートコントローラを用いずとも遠隔から操作可能な電子機器に利用することができる。
100、500、600 …テレビジョン受像機
104 …記憶部
110 …モニタ
112 …スピーカ
114、514、614 …集音部
178、578 …音源導出部
180 …相対導出部
182 …操作制御部
184 …内容表示制御部
186 …相対表示制御部
188 …内容出力制御部
190 …相対定位制御部

Claims (10)

  1. 音波を用いて制御する電子機器において、
    入力された音波を音声信号に変換する2以上の集音部と、
    前記音声信号が入力されると、前記2以上の集音部への音波到達時刻に基づいて、前記電子機器に対する前記音波の音源の方向を特定し、その方向に対応した角度を導出する音源導出部と、
    前記音源導出部が導出した第1の音波の音源の角度を基準角度として記憶部に記憶させ、前記記憶部が前記基準角度を記憶している状態で前記音源導出部が導出した第2の音波の音源の前記基準角度からの相対角度を導出する相対導出部と、
    前記相対導出部が導出した相対角度に応じて前記電子機器を制御する操作制御部と、
    を備えることを特徴とする電子機器。
  2. 前記操作制御部は、前記相対導出部が導出した相対角度が、前記基準角度を基準とした複数の範囲のいずれに含まれるかを判断し、前記範囲に応じて前記電子機器を制御することを特徴とする請求項1に記載の電子機器。
  3. 前記操作制御部は、前記相対導出部が導出した相対角度が、前記基準角度を基準とした有効範囲内であれば、前記電子機器を制御することを特徴とする請求項1または2に記載の電子機器。
  4. 音波を用いて制御する電子機器において、
    入力された音波を音声信号に変換する3以上の集音部と、
    前記音声信号が入力されると、前記3以上の集音部への音波到達時刻に基づいて、前記電子機器に対する前記音声信号の音源の位置を導出する音源導出部と、
    前記音源導出部が導出した第1の音波の音源の位置を基準位置として記憶部に記憶させ、前記記憶部が前記基準位置を記憶している状態で前記音源導出部が導出した第2の音波の音源の前記基準位置からの相対位置を導出する相対導出部と、
    前記相対導出部が導出した相対位置に応じて前記電子機器を制御する操作制御部と、
    を備えることを特徴とする電子機器。
  5. 前記操作制御部は、前記相対導出部が導出した相対位置が、前記基準位置を基準とした複数の範囲のいずれに含まれるかを判断し、前記範囲に応じて前記電子機器を制御することを特徴とする請求項4に記載の電子機器。
  6. 前記操作制御部は、前記相対導出部が導出した相対位置が、前記基準位置を基準とした有効範囲内であれば、前記電子機器を制御することを特徴とする請求項4または5に記載の電子機器。
  7. 前記有効範囲は、前記基準位置の角度換算値より小さい第1所定角度以上、前記基準位置の角度換算値より大きい第2所定角度以下、かつ、前記基準位置と前記電子機器との距離より大きい第1所定距離以下の範囲であることを特徴とする請求項6に記載の電子機器。
  8. 前記有効範囲は、前記基準位置を中心とした所定半径内の範囲であることを特徴とする請求項6に記載の電子機器。
  9. モニタと、
    音声信号を生成すべき角度または位置と前記操作制御部の制御内容とを関連付けて前記モニタに表示する内容表示制御部と、
    前記相対導出部が導出した相対角度または相対位置を前記モニタに表示する相対表示制御部と、
    をさらに備えることを特徴とする請求項1から8のいずれか1項に記載の電子機器。
  10. スピーカと、
    音声信号を生成すべき角度または位置と前記操作制御部の制御内容とを関連付けて前記スピーカから出力する内容出力制御部と、
    前記相対導出部が導出した相対角度または相対位置を前記スピーカを通じて音像定位する相対定位制御部と、
    をさらに備えることを特徴とする請求項1から9のいずれか1項に記載の電子機器。
JP2009194922A 2009-01-23 2009-08-26 電子機器 Active JP5326934B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009194922A JP5326934B2 (ja) 2009-01-23 2009-08-26 電子機器
EP09014419A EP2211337B1 (en) 2009-01-23 2009-11-18 Electronic apparatus operable by external sound
US12/591,483 US8189430B2 (en) 2009-01-23 2009-11-20 Electronic apparatus operable by external sound

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009012512 2009-01-23
JP2009012512 2009-01-23
JP2009194922A JP5326934B2 (ja) 2009-01-23 2009-08-26 電子機器

Publications (2)

Publication Number Publication Date
JP2010193426A true JP2010193426A (ja) 2010-09-02
JP5326934B2 JP5326934B2 (ja) 2013-10-30

Family

ID=42076968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009194922A Active JP5326934B2 (ja) 2009-01-23 2009-08-26 電子機器

Country Status (3)

Country Link
US (1) US8189430B2 (ja)
EP (1) EP2211337B1 (ja)
JP (1) JP5326934B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016122876A (ja) * 2014-12-24 2016-07-07 三菱電機株式会社 表示装置、表示システム、空気調和装置、照明装置、及び表示装置制御プログラム
EP3576086A3 (en) * 2018-05-31 2020-01-15 Giga-Byte Technology Co., Ltd. Voice-controlled display device and method for extracting voice signals

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201208335A (en) * 2010-08-10 2012-02-16 Hon Hai Prec Ind Co Ltd Electronic device
GB201019077D0 (en) * 2010-11-11 2010-12-29 Benmore Ventures Ltd Electronic display device
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
US9063704B2 (en) * 2011-05-05 2015-06-23 Net Power And Light, Inc. Identifying gestures using multiple sensors
US8704070B2 (en) * 2012-03-04 2014-04-22 John Beaty System and method for mapping and displaying audio source locations
US9615171B1 (en) * 2012-07-02 2017-04-04 Amazon Technologies, Inc. Transformation inversion to reduce the effect of room acoustics
US20150186109A1 (en) * 2012-08-10 2015-07-02 Nokia Corporation Spatial audio user interface apparatus
US8629618B1 (en) 2012-08-28 2014-01-14 Christopher Tanner Backup lighting apparatus
FR2996922B1 (fr) * 2012-10-11 2017-11-10 Vincent Stoltz Procede et module de commande d'equipements par impulsion sonore
US9087520B1 (en) * 2012-12-13 2015-07-21 Rawles Llc Altering audio based on non-speech commands
US9721587B2 (en) * 2013-01-24 2017-08-01 Microsoft Technology Licensing, Llc Visual feedback for speech recognition system
CN105073073B (zh) * 2013-01-25 2018-12-07 胡海 用于声音可视化及声源定位的设备与方法
WO2015006694A1 (en) 2013-07-12 2015-01-15 University Of Iowa Research Foundation Augmentative and alternative communication
TWI494827B (zh) * 2013-08-28 2015-08-01 Au Optronics Corp 感測裝置與定位方法
US20150118666A1 (en) * 2013-10-25 2015-04-30 Vanessa Rokjer Toilet Training Doll for Children
US20150271417A1 (en) * 2014-03-18 2015-09-24 Jbinvestissements Tv system with improved video switching capabilities, and associated tv environment, server and terminal
US9042563B1 (en) 2014-04-11 2015-05-26 John Beaty System and method to localize sound and provide real-time world coordinates with communication
GB2533795A (en) 2014-12-30 2016-07-06 Nokia Technologies Oy Method, apparatus and computer program product for input detection
US20180306890A1 (en) * 2015-10-30 2018-10-25 Hornet Industries, Llc System and method to locate and identify sound sources in a noisy environment
US10901687B2 (en) * 2018-02-27 2021-01-26 Dish Network L.L.C. Apparatus, systems and methods for presenting content reviews in a virtual world
US11538045B2 (en) 2018-09-28 2022-12-27 Dish Network L.L.C. Apparatus, systems and methods for determining a commentary rating
CN110164443B (zh) * 2019-06-28 2021-09-14 联想(北京)有限公司 用于电子设备的语音处理方法、装置以及电子设备
EP4147458A4 (en) 2020-05-08 2024-04-03 Microsoft Technology Licensing, LLC SYSTEM AND METHOD FOR DATA AMPLIFICATION FOR MULTI-MICROPHONE SIGNAL PROCESSING
US11133023B1 (en) * 2021-03-10 2021-09-28 V5 Systems, Inc. Robust detection of impulsive acoustic event onsets in an audio stream
US11127273B1 (en) 2021-03-15 2021-09-21 V5 Systems, Inc. Acoustic event detection using coordinated data dissemination, retrieval, and fusion for a distributed array of sensors
CN113076144A (zh) * 2021-04-23 2021-07-06 深圳创维-Rgb电子有限公司 功放适配方法、终端设备、存储介质及计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06205765A (ja) * 1993-01-07 1994-07-26 Toshiba Corp 医用操作器具
JP2004096685A (ja) * 2002-09-04 2004-03-25 Sony Corp リモートコントロール装置及び電子機器の操作方法
JP2008277888A (ja) * 2007-04-25 2008-11-13 Victor Co Of Japan Ltd 電子機器の制御装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5054007A (en) * 1990-12-14 1991-10-01 Mcdonough Rod Handclap activated cat repelling device
IL112730A (en) * 1995-02-21 2000-02-17 Israel State System and method of noise detection
US5677675A (en) * 1996-08-26 1997-10-14 The Sharper Image Lost article detector unit with adaptive actuation signal recognition
US5926090A (en) * 1996-08-26 1999-07-20 Sharper Image Corporation Lost article detector unit with adaptive actuation signal recognition and visual and/or audible locating signal
IL125940A (en) * 1998-08-26 2002-05-23 Bar Shalom Avshalom An instrument, method and system for automatically detecting samples of sounds played by animals
US6469732B1 (en) * 1998-11-06 2002-10-22 Vtel Corporation Acoustic source location using a microphone array
JP4815661B2 (ja) * 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
GB0029293D0 (en) * 2000-12-01 2001-01-17 Hewlett Packard Co Device inventory by sound
JP3714268B2 (ja) * 2002-03-18 2005-11-09 ソニー株式会社 ロボット装置
JP4373903B2 (ja) * 2004-12-14 2009-11-25 本田技研工業株式会社 自律移動ロボット
JP2006324952A (ja) 2005-05-19 2006-11-30 Hitachi Ltd テレビジョン装置
WO2007138503A1 (en) * 2006-05-31 2007-12-06 Philips Intellectual Property & Standards Gmbh Method of driving a speech recognition system
US8103504B2 (en) * 2006-08-28 2012-01-24 Victor Company Of Japan, Limited Electronic appliance and voice signal processing method for use in the same
JP5115058B2 (ja) * 2006-08-28 2013-01-09 株式会社Jvcケンウッド 電子機器の制御装置及び電子機器の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06205765A (ja) * 1993-01-07 1994-07-26 Toshiba Corp 医用操作器具
JP2004096685A (ja) * 2002-09-04 2004-03-25 Sony Corp リモートコントロール装置及び電子機器の操作方法
JP2008277888A (ja) * 2007-04-25 2008-11-13 Victor Co Of Japan Ltd 電子機器の制御装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016122876A (ja) * 2014-12-24 2016-07-07 三菱電機株式会社 表示装置、表示システム、空気調和装置、照明装置、及び表示装置制御プログラム
EP3576086A3 (en) * 2018-05-31 2020-01-15 Giga-Byte Technology Co., Ltd. Voice-controlled display device and method for extracting voice signals

Also Published As

Publication number Publication date
EP2211337B1 (en) 2012-07-25
EP2211337A1 (en) 2010-07-28
US8189430B2 (en) 2012-05-29
US20100188929A1 (en) 2010-07-29
JP5326934B2 (ja) 2013-10-30

Similar Documents

Publication Publication Date Title
JP5326934B2 (ja) 電子機器
US10536681B2 (en) Sound processing system and sound processing method that emphasize sound from position designated in displayed video image
US9958950B2 (en) Detector
CN112243177B (zh) 头戴式耳机、再现控制方法和计算机可读介质
JP2016146547A (ja) 収音システム及び収音方法
JP2008172766A (ja) 電子機器の制御方法及び制御装置
EP2834995B1 (en) Flexible spatial audio capture apparatus
JP2015139162A (ja) 音響信号処理装置、動画撮影装置およびそれらの制御方法
CN109565629A (zh) 分布式音频捕获和混合控制
JP5939341B1 (ja) モニタリングシステム及びモニタリング方法
US10873824B2 (en) Apparatus, system, and method of processing data, and recording medium
JP4985230B2 (ja) 電子機器及びこれに用いる音声信号処理方法
WO2017135194A1 (ja) 情報処理装置、情報処理システム、制御方法およびプログラム
JP2015176461A5 (ja)
JP2011180470A (ja) 音声可視化装置
JP2014086847A (ja) 音響処理装置、電子機器及び音響処理方法
JP2008277888A (ja) 電子機器の制御装置
JP2016119620A (ja) 指向性制御システム及び指向性制御方法
JP2010268284A (ja) テレビジョン装置
JP2010028271A (ja) 電子機器の制御装置
JP5573153B2 (ja) リモコン装置
JP5083141B2 (ja) 電子機器の制御装置及び電子機器の制御方法
JP7272033B2 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP2019144883A (ja) 計時システムおよびテレビジョン装置
JP5168199B2 (ja) 電子機器の制御方法及び電子機器の制御装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130708

R150 Certificate of patent or registration of utility model

Ref document number: 5326934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150