JP2012008842A - Portable display and display control program - Google Patents

Portable display and display control program Download PDF

Info

Publication number
JP2012008842A
JP2012008842A JP2010144822A JP2010144822A JP2012008842A JP 2012008842 A JP2012008842 A JP 2012008842A JP 2010144822 A JP2010144822 A JP 2010144822A JP 2010144822 A JP2010144822 A JP 2010144822A JP 2012008842 A JP2012008842 A JP 2012008842A
Authority
JP
Japan
Prior art keywords
frequency
sound
sound pressure
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010144822A
Other languages
Japanese (ja)
Inventor
Tomohiro Sato
知裕 佐藤
Masanori Oda
昌範 小田
Masatoki Sudo
正時 須藤
Akira Iwata
彰 岩田
Tomoya Hattori
智弥 服部
Masahiro Kawakami
将弘 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Nagoya Institute of Technology NUC
Original Assignee
Brother Industries Ltd
Nagoya Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd, Nagoya Institute of Technology NUC filed Critical Brother Industries Ltd
Priority to JP2010144822A priority Critical patent/JP2012008842A/en
Publication of JP2012008842A publication Critical patent/JP2012008842A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a portable display and a display control program capable of displaying an object according to a characteristic of sound without identifying a sound source.SOLUTION: A portable display includes: a display unit; a microphone; a sound processing unit for determining a frequency fhaving the highest sound pressure from frequency components of sound input into the microphone; an object storage unit for storing objects different from each other and individually allocated to each band of sound frequencies divided into plural bands; and a display control unit for reading out, from the object storage unit, an object allocated to a band Bincluding the frequency fhaving the highest sound pressure determined by the sound processing unit and for displaying the object on the display unit.

Description

本発明は、携帯型表示装置及び表示制御プログラムに関するものであり、特に、マイクロフォンから入力された音に応じたオブジェクトを表示する携帯型表示装置及び表示制御プログラムに関するものである。   The present invention relates to a portable display device and a display control program, and more particularly to a portable display device and a display control program for displaying an object corresponding to sound input from a microphone.

従来より、マイクロフォンに入力された音を、表示部により視覚的に表示する携帯機器が提案されている。かかる携帯機器により、音の認識が困難である聴覚障害者に対して、マイクロフォンに入力された音が視覚情報として提供される。   2. Description of the Related Art Conventionally, portable devices that visually display sound input to a microphone on a display unit have been proposed. With such a portable device, the sound input to the microphone is provided as visual information to a hearing impaired person who is difficult to recognize the sound.

例えば、特許文献１では、各音源からの音を識別して、各音源を示すオブジェクト画像を表示することができる携帯機器が提案されている。この携帯機器では、音源の音の特徴部分をサンプリングして特徴を抽出して得られた特徴データと音源を示すオブジェクトのデータとを関連付けて記憶している。そして、この携帯機器は、マイクロフォンに入力された音の特徴と合致する特徴データがあるときに、この特徴データに対応する音源を示すオブジェクトを表示する。例えば、踏み切り遮断機の音の特徴をサンプリングした特徴データと踏み切り遮断機の画像データとが関連づけて記憶された状態で、マイクロフォンに入力された音に踏み切り遮断機の音の特徴と合致する音が含まれていれば、踏み切り遮断機の画像が表示される。   For example, Patent Document 1 proposes a portable device that can identify sound from each sound source and display an object image indicating each sound source. In this portable device, feature data obtained by sampling a feature portion of a sound of a sound source and extracting the features and object data indicating the sound source are stored in association with each other. The portable device displays an object indicating a sound source corresponding to the feature data when there is feature data that matches the feature of the sound input to the microphone. For example, in a state in which the characteristic data obtained by sampling the sound characteristics of the crossing breaker and the image data of the crossing breaker are stored in association with each other, the sound input to the microphone is matched with the sound characteristic of the crossing breaker. If included, an image of the crossing barrier is displayed.

特開２００５−９９４１８号公報JP-A-2005-99418

しかしながら、上述した特許文献１に記載の携帯機器では、特徴データを記憶していない未知の音源の音がマイクロフォンに入力された場合には、その音源を識別することができない。また、様々な音源の音に対応しようとする場合には、記憶すべき音源の音の特徴データ量が膨大となり、現実的でない。このように、特許文献１に記載の携帯機器は、実用化が困難である。   However, in the portable device described in Patent Document 1 described above, when a sound of an unknown sound source that does not store feature data is input to the microphone, the sound source cannot be identified. Further, when trying to deal with the sound of various sound sources, the amount of sound feature data to be stored becomes enormous, which is not realistic. As described above, the portable device described in Patent Document 1 is difficult to put into practical use.

本発明は、上述したような課題に鑑みてなされたものであり、音源を識別することなく、マイクロフォンに入力された音に応じたオブジェクトを表示することができる携帯型表示装置及び表示制御プログラムを提供することを目的とする。   The present invention has been made in view of the above-described problems, and provides a portable display device and a display control program capable of displaying an object according to sound input to a microphone without identifying a sound source. The purpose is to provide.

上記目的を達成するために、請求項１に係る発明は、表示部と、マイクロフォンと、前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理部と、複数の帯域に分割された音の周波数の各帯域に割り付けられた互いに異なるオブジェクトを記憶するオブジェクト記憶部と、前記音処理部により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶部から読み出して前記表示部に表示させる表示制御部と、を備えることを特徴とする携帯型表示装置である。   In order to achieve the above object, an invention according to claim 1 includes: a display unit; a microphone; a sound processing unit that determines a maximum sound pressure frequency from a frequency component of sound input to the microphone; and a plurality of bands An object storage unit for storing different objects allocated to each band of the frequency of the sound divided into two, and an object allocated to the band including the frequency of the maximum sound pressure determined by the sound processing unit And a display control unit that reads out from the storage unit and causes the display unit to display the portable display device.

また、請求項２に係る発明は、請求項１に記載の携帯型表示装置において、前記最大音圧と前記最大音圧の周波数の周囲の周波数の音圧との比較結果に基づいて、前記周囲の周波数の音圧に対する前記最大音圧の突出度合いを判定する突出度合い判定部を備え、前記表示制御部は、前記突出度合い判定部によって判定された前記突出度合いが、所定値以上であることを条件として、前記オブジェクトを前記表示部に表示させることを特徴とする。   According to a second aspect of the present invention, in the portable display device according to the first aspect, based on a comparison result between the maximum sound pressure and a sound pressure at a frequency around the maximum sound pressure, the surrounding sound A protrusion degree determination unit that determines a protrusion degree of the maximum sound pressure with respect to a sound pressure of a frequency of, and the display control unit is configured such that the protrusion degree determined by the protrusion degree determination unit is a predetermined value or more. As a condition, the object is displayed on the display unit.

また、請求項３に係る発明は、請求項１又は請求項２に記載の携帯型表示装置において、前記音処理部は、前記周波数成分から基音の周波数成分を抽出し、抽出した基音の周波数成分から前記最大音圧の周波数を決定することを特徴とする。   The invention according to claim 3 is the portable display device according to claim 1 or 2, wherein the sound processing unit extracts a frequency component of a fundamental tone from the frequency component, and the extracted frequency component of the fundamental tone. To determine the frequency of the maximum sound pressure.

また、請求項４に係る発明は、請求項１〜３のいずれか１項に記載の携帯型表示装置において、前記音処理部により決定された最大音圧の周波数が周期的に出現しているか否かを判定する周期性判定部を備え、前記表示制御部は、前記周期性判定部によって前記音処理部により決定された最大音圧の周波数が周期的に出現していると判定されたことを条件として、前記オブジェクトを前記表示部に表示させることを特徴とする。   The invention according to claim 4 is the portable display device according to any one of claims 1 to 3, wherein the frequency of the maximum sound pressure determined by the sound processing unit appears periodically. The display control unit is determined by the periodicity determination unit that the frequency of the maximum sound pressure determined by the sound processing unit appears periodically. The object is displayed on the display unit on the condition as described above.

また、請求項５に係る発明は、請求項１〜４のいずれか１項に記載の携帯型表示装置において、前記表示制御部は、前記最大音圧が閾値以上であると判定したことを条件として、前記オブジェクトを前記表示部に表示させることを特徴とする。   The invention according to claim 5 is the portable display device according to any one of claims 1 to 4, wherein the display control unit determines that the maximum sound pressure is greater than or equal to a threshold value. The object is displayed on the display unit.

また、請求項６に係る発明は、請求項１〜５のいずれか１項に記載の携帯型表示装置において、前記複数の帯域の幅は、それぞれ対数表において互いに等しいことを特徴とする。   According to a sixth aspect of the present invention, in the portable display device according to any one of the first to fifth aspects, the widths of the plurality of bands are equal to each other in a logarithmic table.

また、請求項７に係る発明は、請求項６に記載の携帯型表示装置において、前記複数の帯域のそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応していることを特徴とする。   According to a seventh aspect of the present invention, in the portable display device according to the sixth aspect, each of the plurality of bands corresponds to each musical scale in a temperament in which one octave is divided into a plurality of musical scales. It is characterized by that.

また、請求項８に係る発明は、請求項１〜７のいずれか１項に記載の携帯表示装置において、前記表示部は、シースルー型のヘッドマウントディスプレイであることを特徴とする。   The invention according to claim 8 is the portable display device according to any one of claims 1 to 7, wherein the display unit is a see-through type head mounted display.

また、請求項９に係る発明は、表示部と、マイクロフォンとを備えた携帯表示装置を、前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理手段、複数の帯域に分割された音の周波数の各帯域に割り付けられたオブジェクトを記憶するオブジェクト記憶手段、前記音処理手段により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶手段から読み出して前記表示部に表示させる表示制御手段、として機能させるための表示制御プログラムである。   According to a ninth aspect of the present invention, there is provided a portable display device comprising a display unit and a microphone, a sound processing means for determining a frequency of maximum sound pressure from a frequency component of sound input to the microphone, a plurality of bands Object storage means for storing an object assigned to each frequency band of the sound divided into two, and an object assigned to a band including the frequency of the maximum sound pressure determined by the sound processing means from the object storage means It is a display control program for making it function as a display control means to read and display on the said display part.

本発明によれば、音の周波数成分から最大音圧の周波数を決定し、最大音圧を含む帯域に割り付けられたオブジェクトを表示しているため、音源を識別することなく、音に応じたオブジェクトを表示することができる。   According to the present invention, since the frequency of the maximum sound pressure is determined from the frequency component of the sound and the object assigned to the band including the maximum sound pressure is displayed, the object corresponding to the sound without identifying the sound source Can be displayed.

本発明の第１実施形態に係る携帯型表示装置の概略構成を示す図である。1 is a diagram illustrating a schematic configuration of a portable display device according to a first embodiment of the present invention. 携帯型表示装置１の構成を示すブロック図である。1 is a block diagram showing a configuration of a portable display device 1. FIG. 割り付けテーブルの一例を示す図である。It is a figure which shows an example of the allocation table. オブジェクトの一例を示す図である。It is a figure which shows an example of an object. 周波数スペクトルを模式的に示した図である。It is the figure which showed the frequency spectrum typically. オブジェクトの表示方法の一例を示す図である。It is a figure which shows an example of the display method of an object. オブジェクトの表示方法の他の例を示す図である。It is a figure which shows the other example of the display method of an object. オブジェクトの表示例を示す図である。It is a figure which shows the example of a display of an object. オブジェクトの他の表示例を示す図である。It is a figure which shows the other example of a display of an object. 突出度合い判定処理を説明する図である。It is a figure explaining a protrusion degree determination process. 他の突出度合いを判定する処理を説明する図である。It is a figure explaining the process which determines the other protrusion degree. 周期性を判定する処理を説明する図である。It is a figure explaining the process which determines periodicity. 閾値の判定を行う処理を説明する図である。It is a figure explaining the process which performs determination of a threshold value. 帯域の幅を示す図である。It is a figure which shows the width | variety of a zone | band. 帯域の幅を示す他の図である。It is another figure which shows the width | variety of a zone | band. 携帯型表示装置で実行される処理の流れを示す図である。It is a figure which shows the flow of the process performed with a portable display apparatus. 本発明の第２実施形態に係る携帯型表示装置の概略構成を示す図である。It is a figure which shows schematic structure of the portable display apparatus which concerns on 2nd Embodiment of this invention.

以下、本発明の一実施形態を、図面を参照して説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

［１．第１実施形態］
［１．１．携帯型表示装置１の概要］
まず、本発明の第１実施形態に係る携帯型表示装置の概要について図１を参照して説明する。 [1. First Embodiment]
[1.1. Overview of portable display device 1]
First, the outline | summary of the portable display apparatus which concerns on 1st Embodiment of this invention is demonstrated with reference to FIG.

第１実施形態に係る携帯型表示装置１は、マイクロフォン１１と、表示部１２とを有し、マイクロフォン１１に入力された音（以下、入力音ともいう）を解析して、予め記憶されたオブジェクトＯの中から、入力音に応じたオブジェクトＯを表示部１２に表示するものである。   The portable display device 1 according to the first embodiment includes a microphone 11 and a display unit 12, analyzes sounds input to the microphone 11 (hereinafter also referred to as input sounds), and stores objects stored in advance. The object O corresponding to the input sound is displayed on the display unit 12 from O.

特に、この携帯型表示装置１では、入力音の解析処理、入力音に応じたオブジェクトＯの選択処理を次のように行うことで、音源を識別することなく、マイクロフォンに入力された音に応じたオブジェクトを表示するようにしている。   In particular, in the portable display device 1, input sound analysis processing and object O selection processing corresponding to the input sound are performed as follows, so that the sound input is not identified and the sound input to the microphone is determined. The displayed object is displayed.

まず、携帯型表示装置１は、入力音の解析処理として、入力音の周波数成分を解析し、これらの周波数成分のうち最も音圧が高い周波数を選択して、この周波数を最大音圧の周波数として決定する処理を行う。携帯型表示装置１は、入力音の周波数成分の解析を、例えば、ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）処理によって行う。   First, as an input sound analysis process, the portable display device 1 analyzes a frequency component of the input sound, selects a frequency having the highest sound pressure among these frequency components, and uses this frequency as a frequency of the maximum sound pressure. The process to determine as follows. The portable display device 1 analyzes the frequency component of the input sound, for example, by FFT (Fast Fourier Transform) processing.

次に、携帯型表示装置１は、入力音に応じたオブジェクトＯの選択処理として、前記解析処理により決定した最大音圧の周波数を含む帯域に割り付けられたオブジェクトを選択する処理を行う。後述する記憶部１３には、予め複数の帯域に分割された音の周波数の各帯域の情報とオブジェクトの情報とが互いに関連づけられて記憶されている。携帯型表示装置１は、記憶部１３に記憶している情報に基づいて、最大音圧の周波数を含む帯域に割り付けられたオブジェクトを選択する。   Next, the portable display device 1 performs a process of selecting an object assigned to a band including the frequency of the maximum sound pressure determined by the analysis process as a process of selecting the object O according to the input sound. In a storage unit 13 to be described later, information on each band of sound frequencies divided in advance into a plurality of bands and object information are stored in association with each other. The portable display device 1 selects an object allocated to a band including the frequency of the maximum sound pressure based on information stored in the storage unit 13.

記憶部１３に記憶されたオブジェクトは、帯域毎に異なるように割り当てられている。これにより、携帯型表示装置１の利用者Ｕは、自身の周囲で発生した音のうち最も音圧が大きい音の周波数に応じたオブジェクトを視覚的に認識することができる。そのため、携帯型表示装置１の利用者Ｕは、自身の周囲の状況と表示部１２の表示内容を関連づける学習をすることで、自身の周囲で発生した音を視覚情報として得ることができる。例えば、救急車のサイレンの音が、７７０Ｈｚの低音と９６０Ｈｚの高音とが１秒毎に切り替わるものであるとする。そして、７７０Ｈｚを含む帯域に割り当てられたオブジェクトが「○」で、９６０Ｈｚを含む帯域に割り当てられたオブジェクトが「△」であるとする。このとき、携帯型表示装置１は、「○」と「△」とを１秒毎に交互に表示部１２に表示することになる。利用者Ｕは、表示部１２において「○」と「△」とが交互に表示されていることを確認した後、周囲を見回して、周囲の状況を把握する。このとき、救急車が近くを通っていれば、利用者Ｕは、「○」と「△」とが交互に現れるオブジェクト表示が救急車に対応するものではないかと考える。このような状況に繰り返し遭遇することで、利用者Ｕは、「○」と「△」とが交互に現れるオブジェクト表示があれば、救急車が近くを通っていると学習することができる。   The objects stored in the storage unit 13 are assigned differently for each band. Thereby, the user U of the portable display device 1 can visually recognize the object corresponding to the frequency of the sound with the highest sound pressure among the sounds generated around him. Therefore, the user U of the portable display device 1 can obtain the sound generated around him / her as visual information by learning to associate his / her surrounding situation with the display content of the display unit 12. For example, it is assumed that the sound of the ambulance siren switches between a low sound of 770 Hz and a high sound of 960 Hz every second. The object assigned to the band including 770 Hz is “◯”, and the object assigned to the band including 960 Hz is “Δ”. At this time, the portable display device 1 displays “◯” and “Δ” alternately on the display unit 12 every second. After confirming that “◯” and “Δ” are alternately displayed on the display unit 12, the user U looks around and grasps the surrounding situation. At this time, if the ambulance is passing nearby, the user U thinks that the object display in which “◯” and “Δ” appear alternately corresponds to the ambulance. By repeatedly encountering such a situation, the user U can learn that an ambulance is passing nearby if there is an object display in which “◯” and “Δ” appear alternately.

携帯型表示装置１では、マイクロフォン１１に入力された音の周波数成分のうち最大の音圧の周波数に応じたオブジェクトを表示することで、利用者Ｕは、その周囲で発生した音を視覚情報として得ることができる。特に、携帯型表示装置１では、最大の音圧の周波数のオブジェクトのみを表示し、それ以外の周波数はオブジェクト表示に使用しないため、表示内容が複雑にならず、利用者Ｕによる音の識別が容易になる。しかも、携帯型表示装置１では、音源の音の特徴を予め記憶して音源を識別するのではなく、最大音圧の周波数に応じたオブジェクトを表示するだけなので、未知の音源に対しても対応することができる。さらに、携帯型表示装置１では、周波数毎にではなく帯域毎にオブジェクトを割り当ているため、オブジェクトの数を少なくすることができ、音に応じたオブジェクトの把握が容易である。   In the portable display device 1, by displaying an object corresponding to the frequency of the maximum sound pressure among the frequency components of the sound input to the microphone 11, the user U can use the sound generated around it as visual information. Obtainable. In particular, the portable display device 1 displays only the object having the maximum sound pressure frequency and does not use the other frequencies for object display. Therefore, the display content is not complicated and the user U can identify the sound. It becomes easy. In addition, the portable display device 1 does not store the sound characteristics of the sound source in advance and identifies the sound source, but only displays an object corresponding to the frequency of the maximum sound pressure, so it can handle unknown sound sources. can do. Furthermore, since the portable display device 1 assigns objects not for each frequency but for each band, the number of objects can be reduced, and the object according to the sound can be easily grasped.

以下、携帯型表示装置１の具体的な構成及び動作の一例について図面を参照して具体的に説明する。   Hereinafter, an example of a specific configuration and operation of the portable display device 1 will be specifically described with reference to the drawings.

［１．２．携帯型表示装置１の構成］
次に、本実施形態に係る携帯型表示装置１の構成について説明する。携帯型表示装置１は、図２に示すように、マイクロフォン１１と、表示部１２と、記憶部１３と、制御部１４とを備える。 [1.2. Configuration of portable display device 1]
Next, the configuration of the portable display device 1 according to the present embodiment will be described. As shown in FIG. 2, the portable display device 1 includes a microphone 11, a display unit 12, a storage unit 13, and a control unit 14.

マイクロフォン１１は、例えば、携帯型表示装置１の上端部に設けられている。マイクロフォン１１は、利用者の周囲で発生した音を入力可能に構成されている（図１参照）。このマイクロフォン１１は、入力音を電気信号に変換する機能を有する。マイクロフォン１１に入力された音は、変換した電気信号の波形を音データとして記憶部１３に一時的に記憶される。予め規定された基準時間Ｔ（例えば、数十ｍｓ）分の最新の電気信号の波形は、音データとして記憶され、基準時間Ｔよりも以前の電気信号の波形は記憶部１３から消去される。   The microphone 11 is provided at, for example, the upper end portion of the portable display device 1. The microphone 11 is configured to be able to input sound generated around the user (see FIG. 1). The microphone 11 has a function of converting input sound into an electrical signal. The sound input to the microphone 11 is temporarily stored in the storage unit 13 as the sound data of the waveform of the converted electric signal. The waveform of the latest electric signal for a predetermined reference time T (for example, several tens of ms) is stored as sound data, and the waveform of the electric signal before the reference time T is erased from the storage unit 13.

表示部１２は、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）により構成される。表示部１２は、入力音の周波数成分のうち最大音圧の周波数に応じたオブジェクトＯを表示する。   The display unit 12 is configured by, for example, an LCD (Liquid Crystal Display). The display unit 12 displays the object O corresponding to the frequency of the maximum sound pressure among the frequency components of the input sound.

記憶部１３は、例えば、不揮発性メモリやハードディスクにより構成される。記憶部１３は、オブジェクトＯと音の周波数の帯域とを関連づけた割り付けテーブルを記憶する割り付けテーブル記憶部、及び割り付けテーブルで帯域と割り付けられた複数のオブジェクトＯを記憶するオブジェクト記憶部として機能する。   The storage unit 13 is configured by, for example, a nonvolatile memory or a hard disk. The storage unit 13 functions as an allocation table storage unit that stores an allocation table that associates the object O with the frequency band of the sound, and an object storage unit that stores a plurality of objects O allocated to the band in the allocation table.

記憶部１３に記憶される割り付けテーブルは、図３に示すように、各オブジェクトＯと、複数の帯域に分割された音の周波数の各帯域Ｂとを関連づけるテーブルである。   The allocation table stored in the storage unit 13 is a table that associates each object O with each band B of the frequency of the sound divided into a plurality of bands, as shown in FIG.

記憶部１３に記憶される複数のオブジェクトＯは、例えば形状、模様、色彩などが異なる、互いに異なるオブジェクトである。一例として、本実施形態では、図４に示すように、周波数が０Ｈｚ〜２００００Ｈｚまでの範囲７つに分割した各大帯域Ｂ1〜Ｂ7に、それぞれ形状の異なるオブジェクトＯ1〜Ｏ7が割り付けられる。また、大帯域Ｂ1は、７つの小帯域Ｂ11〜Ｂ17に分割され、各小帯域Ｂ11〜Ｂ17には、それぞれ色彩の異なるオブジェクトＯ11〜Ｏ17が割り付けられる。なお、図４では、大帯域Ｂ1を、７つの小帯域Ｂ11〜Ｂ17に分割した状態のみを図示しているが、これと同様に、大帯域Ｂ2〜Ｂ7もそれぞれ７つの小帯域に分割される。すなわち、大帯域Ｂ2は小帯域Ｂ21〜Ｂ27に分割され、大帯域Ｂ3は帯域Ｂ31〜Ｂ37に分割され、大帯域Ｂ4は小帯域Ｂ41〜Ｂ47に分割され、大帯域Ｂ5は小帯域Ｂ51〜Ｂ57に分割され、大帯域Ｂ6は小帯域Ｂ61〜Ｂ67に分割され、大帯域Ｂ7は小帯域Ｂ71〜Ｂ77に分割される。また、本実施形態では、オブジェクトＯの形状や色彩により、帯域Ｂを区別するようにしたが、これには限定されない。例えば、オブジェクトを記号や文字で表現するときには、記号や文字で帯域Ｂを区別する。 The plurality of objects O stored in the storage unit 13 are different objects having different shapes, patterns, colors, and the like, for example. As an example, in the present embodiment, as shown in FIG. 4, objects O 1 to O 7 having different shapes are allocated to the respective large bands B 1 to B 7 divided into seven ranges of frequencies from 0 Hz to 20000 Hz. It is done. The large band B 1 is divided into seven small bands B 11 to B 17, and objects O 11 to O 17 having different colors are assigned to the small bands B 11 to B 17 , respectively. In FIG. 4, only the state in which the large band B 1 is divided into seven small bands B 11 to B 17 is shown. Similarly, the large bands B 2 to B 7 are also divided into seven small bands. Divided into bands. That is, the large band B 2 is divided into small bands B 21 to B 27 , the large band B 3 is divided into bands B 31 to B 37 , and the large band B 4 is divided into small bands B 41 to B 47. Band B 5 is divided into small bands B 51 to B 57 , large band B 6 is divided into small bands B 61 to B 67 , and large band B 7 is divided into small bands B 71 to B 77 . In the present embodiment, the band B is distinguished by the shape and color of the object O, but the present invention is not limited to this. For example, when the object is expressed by a symbol or character, the band B is distinguished by the symbol or character.

制御部１４は、ＣＰＵ１５とＲＯＭ１６とＲＡＭ１７とを有する。ＲＯＭ１６は携帯型表示装置１の表示制御プログラムを記憶している。携帯型表示装置１を起動すると、ＣＰＵ１５は、ＲＯＭ１６から表示制御プログラムをＲＡＭ１７に読み出し、ＲＡＭ１７を作業領域として表示制御プログラムを実行する。これにより、制御部１４は、表示制御プログラムに応じた機能を発揮する。   The control unit 14 includes a CPU 15, a ROM 16, and a RAM 17. The ROM 16 stores a display control program for the portable display device 1. When the portable display device 1 is activated, the CPU 15 reads a display control program from the ROM 16 to the RAM 17 and executes the display control program using the RAM 17 as a work area. Thereby, the control part 14 exhibits the function according to a display control program.

制御部１４は、最大音圧の周波数を抽出するために、音データを周波数解析する処理を行う。制御部１４は、音データを周波数解析する処理として、例えば、音データに対して、ＦＦＴ処理を行う。具体的には、制御部１４は、記憶部１３に記憶した音データを基準時間Ｔ毎にＦＦＴ処理を行い、基準時間Ｔ毎に入力音の周波数スペクトル（即ち、入力音を構成する音の周波数の分布）を解析し、周波数スペクトルの情報を順次記憶部１３に記憶する。   The control unit 14 performs a frequency analysis process on the sound data in order to extract the frequency of the maximum sound pressure. For example, the control unit 14 performs an FFT process on the sound data as a process of analyzing the frequency of the sound data. Specifically, the control unit 14 performs FFT processing on the sound data stored in the storage unit 13 for each reference time T, and the frequency spectrum of the input sound (that is, the frequency of the sound constituting the input sound) for each reference time T. The frequency spectrum information is sequentially stored in the storage unit 13.

音データを周波数解析する処理により得られた周波数スペクトルの一例を図５に示す。同図において、横軸は音の周波数ｆを示し、縦軸は音圧Ｌを示している。このように入力音の周波数スペクトルを解析することにより、制御部１４は、周波数成分が存在する帯域Ｂと、周波数成分の音圧Ｌの大きさを特定することができる。ここで、帯域Ｂは、解析される周波数の範囲が複数の領域に分割されたものであり、隣り合う帯域Ｂ間の周波数は連続する。なお、同図では、説明の便宜上、帯域Ｂの幅を簡略化している。また、帯域Ｂの音圧Ｌは、各帯域Ｂに含まれる周波数成分のうち音圧が最も大きな周波数成分の音圧が帯域Ｂの代表値として採用されたものである。   An example of the frequency spectrum obtained by the process of analyzing the frequency of the sound data is shown in FIG. In the figure, the horizontal axis indicates the frequency f of the sound, and the vertical axis indicates the sound pressure L. Thus, by analyzing the frequency spectrum of the input sound, the control unit 14 can specify the band B in which the frequency component exists and the magnitude of the sound pressure L of the frequency component. Here, in the band B, the analyzed frequency range is divided into a plurality of regions, and the frequency between the adjacent bands B is continuous. In the figure, for convenience of explanation, the width of the band B is simplified. The sound pressure L in the band B is obtained by adopting the sound pressure of the frequency component having the highest sound pressure among the frequency components included in each band B as a representative value of the band B.

制御部１４は、入力音の周波数スペクトルに基づき、入力音の周波数成分のうち最も音圧が大きい周波数を、基準時間Ｔ毎に最大音圧の周波数ｆmaxとして決定する。なお、制御部１４は、最大音圧の周波数ｆmaxを、基準時間Ｔ毎に順次記憶部１３に格納する。このように、制御部１４は、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理部として機能する。 Based on the frequency spectrum of the input sound, the control unit 14 determines the frequency having the highest sound pressure among the frequency components of the input sound as the frequency f max of the maximum sound pressure for each reference time T. The control unit 14 sequentially stores the maximum sound pressure frequency f max in the storage unit 13 for each reference time T. In this way, the control unit 14 functions as a sound processing unit that determines the frequency f max of the maximum sound pressure from the frequency component of the sound input to the microphone 11.

また、制御部１４は、記憶部１３に記憶されたオブジェクトの中から、最大音圧の周波数ｆmaxに応じたオブジェクトＯを読み出して表示部１２に表示させる処理を行う。すなわち、制御部１４は、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り付けられたオブジェクトＯを読み出して表示させる。例えば、制御部１４は、最大音圧の周波数ｆmaxを含む帯域Ｂmaxが、周波数１００Ｈｚ〜１２０Ｈｚの帯域Ｂ16（図４参照）であるとき、制御部１４は、オブジェクトＯ16を表示部１２に表示させる。 Further, the control unit 14 performs a process of reading out the object O corresponding to the frequency f max of the maximum sound pressure from the objects stored in the storage unit 13 and displaying the object O on the display unit 12. That is, the control unit 14 reads out and displays the object O assigned to the band B max including the frequency f max of the maximum sound pressure. For example, when the band B max including the frequency f max of the maximum sound pressure is the band B 16 (see FIG. 4) having a frequency of 100 Hz to 120 Hz, the control unit 14 displays the object O 16 on the display unit 12. To display.

また、制御部１４は、記憶部１３に記憶されたオブジェクトの中から、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに応じたオブジェクトＯを読み出して表示部１２に表示させる処理を行う際に、オブジェクトＯを単体表示させたり、スクロール表示させたりする。具体的には、制御部１４は、オブジェクトＯを単体表示させるときには、表示部１２に、オブジェクトＯを、基準時間Ｔ毎に切り替えながら表示させる。つまり、制御部１４により、表示部１２に表示されるオブジェクトＯは、基準時間Ｔ毎に更新される。例えば、図６に示すように、制御部１４は、ある基準時間Ｔ1ではオブジェクトＯaを表示させ、基準時間Ｔ1の次の基準時間Ｔ2ではオブジェクトＯbを表示させ、基準時間Ｔ2の次の基準時間Ｔ3ではオブジェクトＯcを表示させる。このように、制御部１４は、オブジェクトＯの表示を基準時間Ｔ毎に更新することで、利用者は、自身の周囲で発生する音を認識することができる。 Further, the control unit 14 reads out the object O corresponding to the band B max including the maximum sound pressure frequency f max from the objects stored in the storage unit 13 and displays the object O on the display unit 12. The object O is displayed alone or scrolled. Specifically, when displaying the object O as a single unit, the control unit 14 causes the display unit 12 to display the object O while switching it at every reference time T. That is, the control unit 14 updates the object O displayed on the display unit 12 every reference time T. For example, as shown in FIG. 6, the control unit 14 is the reference to display the time T 1 in object O a, to display the next reference time T 2 in the object O b of the reference time T 1, the reference time T 2 At the next reference time T 3 , the object O c is displayed. As described above, the control unit 14 updates the display of the object O every reference time T, so that the user can recognize the sound generated around the user.

また、制御部１４は、オブジェクトＯをスクロール表示させるときには、表示部１２に、所定期間（Ｔ×ｎ：ｎはオブジェクトＯを一度に表示する数）のオブジェクトＯを一見して視認可能に表示させることができる。例えば、図７に示すように、制御部１４は、ある基準時間Ｔ1ではオブジェクトＯaを表示部１２の表示画面の右端に表示させる。そして、制御部１４は、基準時間Ｔ1の次の基準時間Ｔ2では、オブジェクトＯaを表示画面の右端から左側に所定量移動させるとともに、オブジェクトＯaを表示部１２の表示画面の右端に表示させる。そして、制御部１４は、基準時間Ｔ2の次の基準時間Ｔ3では、オブジェクトＯa，Ｏbを表示画面の左側に所定量移動させるとともに、オブジェクトＯcを表示部１２の表示画面の右端に表示させる。このように、制御部１４がオブジェクトＯをスクロール表示させることで、利用者は、自身の周囲で発生する音の特徴の変化を一見して認識することができる。なお、図７に示す例では、４つのオブジェクトＯを同時に表示することとしているが、利用者Ｕは携帯型表示装置１入力部（図示せず）からの入力により、同時に表示するオブジェクトＯの数ｎを設定することができる。 Further, when scrolling and displaying the object O, the control unit 14 causes the display unit 12 to display the object O for a predetermined period (T × n: n is the number for displaying the object O at a time) so as to be visible at a glance. be able to. For example, as shown in FIG. 7, the control unit 14 displays the object O a at the right end of the display screen of the display unit 12 at a certain reference time T 1 . Then, the control unit 14, in the next reference time T 2 of the reference time T 1, causes a predetermined amount of movement from the right edge of the display screen objects O a on the left, the right end of the display screen of the display unit 12 an object O a Display. Then, the control unit 14, in the next reference time T 3 of the reference time T 2, the object O a, is moved a predetermined amount to the left of the O b display screen, the right edge of the display screen of the display unit 12 the object O c To display. In this way, the control unit 14 scrolls the object O so that the user can recognize at a glance the change in the characteristics of the sound that occurs around him. In the example shown in FIG. 7, four objects O are displayed at the same time, but the user U can display the number of objects O displayed simultaneously by an input from the portable display device 1 input unit (not shown). n can be set.

また、制御部１４は、オブジェクトＯを表示部１２に表示させる際には、周波数成分の最大音圧Ｌmaxの大きさに応じた大きさでオブジェクトＯを表示させる。例えば、電話の呼出音のように、所定の位置から発せられる音が一定の大きさでマイクロフォン１１に入力された場合、制御部１４は、図８に示すように、オブジェクトＯを一定の大きさで表示する。 Further, when displaying the object O on the display unit 12, the control unit 14 displays the object O with a size corresponding to the size of the maximum sound pressure L max of the frequency component. For example, when a sound emitted from a predetermined position, such as a telephone ringing tone, is input to the microphone 11 with a constant volume, the control unit 14 sets the object O to a certain volume as shown in FIG. Is displayed.

一方、制御部１４は、移動している救急車のサイレンの音のように、マイクロフォン１１に入力される音の大きさが変化する場合には、図９に示すように、オブジェクトＯを、入力される音の大きさに応じた大きさで表示させる。すなわち、制御部１４は、救急車が利用者に近づいて、マイクロフォン１１に入力される音が大きくなるときは、オブジェクトＯを大きく表示し、救急車が利用者から離れて、マイクロフォン１１に入力される音が小さくなるときは、オブジェクトＯを小さく表示する。なお、マイクロフォン１０に入力される音の大きさの変化は、オブジェクトＯの大きさの変化に限られず、オブジェクトＯの形状の変化として表示されてもよい。   On the other hand, the control unit 14 receives the object O as shown in FIG. 9 when the magnitude of the sound input to the microphone 11 changes, such as the siren sound of a moving ambulance. The volume is displayed according to the loudness of the sound. That is, when the ambulance approaches the user and the sound input to the microphone 11 increases, the control unit 14 displays the object O in a large size, and the ambulance leaves the user and the sound input to the microphone 11. When becomes smaller, the object O is displayed smaller. Note that the change in the volume of the sound input to the microphone 10 is not limited to the change in the volume of the object O, and may be displayed as a change in the shape of the object O.

携帯型表示装置１は、振動を出力するバイブレータを設けるようにしてもよい。この場合、制御部１４は、表示部１２にオブジェクトＯを表示するとともに、最大音圧の周波数に応じた周波数でバイブレータを振動させるようにしてもよい。これにより、利用者の周囲で音が発生していることを、オブジェクトＯの表示に加え、振動により報知することが可能となる。   The portable display device 1 may be provided with a vibrator that outputs vibration. In this case, the control unit 14 may display the object O on the display unit 12 and vibrate the vibrator at a frequency corresponding to the frequency of the maximum sound pressure. Thereby, in addition to the display of the object O, it is possible to notify that the sound is generated around the user by vibration.

以上、説明したように、携帯型表示装置１では、マイクロフォン１１に入力された音の周波数成分のうち最大音圧の周波数に応じたオブジェクトＯを表示部１２に表示するようにしたので、利用者Ｕに、自身の周囲で発生した音を視覚情報として提供することができる。そのため、利用者Ｕは、表示されたオブジェクトＯを視認することで、自身の周囲で発生している音がどのようなものかを認識することができ、より快適に日常生活をおくることができる。特に、携帯型表示装置１によれば、音源を識別することなく、オブジェクトＯを表示することができるため、実用化が容易となる。   As described above, in the portable display device 1, the object O corresponding to the frequency of the maximum sound pressure among the frequency components of the sound input to the microphone 11 is displayed on the display unit 12. It is possible to provide U with sound generated around itself as visual information. Therefore, the user U can recognize what kind of sound is generated around himself / herself by visually recognizing the displayed object O, and can more easily live everyday life. . In particular, according to the portable display device 1, since the object O can be displayed without identifying the sound source, practical use is facilitated.

また、本実施形態の携帯型表示装置１においては、制御部１４は、最大音圧の周波数ｆmaxの決定に際して、マイクロフォン１１に入力された音の周波数成分から基音の周波数成分を抽出する処理を行う。その後、制御部１４は、基音の周波数成分のうち最も音圧が大きな周波数を判定して最大音圧の周波数ｆmaxを決定する。基音とは、例えば、楽器の弦や管が振動して発する複合音のうち、振動数の最も少ない音である。本実施形態では、オブジェクトＯが割り付けられた帯域Ｂの全ての周波数に対して基音を抽出するようにしており、制御部１４は、マイクロフォン１１に入力された音の周波数成分から基音の周波数成分の周波数スペクトルを解析する。これにより、制御部１４は、マイクロフォン１１に入力された音の周波数成分から、ノイズや音の干渉を除去することができる。 Further, in the portable display device 1 of the present embodiment, the control unit 14 performs a process of extracting the fundamental frequency component from the frequency component of the sound input to the microphone 11 when determining the maximum sound pressure frequency f max. Do. Thereafter, the control unit 14 determines the frequency f max of the maximum sound pressure by determining the frequency having the highest sound pressure among the frequency components of the fundamental tone. The fundamental tone is, for example, a sound having the lowest frequency among complex sounds generated by vibration of a string or tube of a musical instrument. In the present embodiment, the fundamental tone is extracted for all the frequencies in the band B to which the object O is allocated, and the control unit 14 determines the fundamental frequency component from the frequency component of the sound input to the microphone 11. Analyze the frequency spectrum. Thereby, the control unit 14 can remove noise and sound interference from the frequency component of the sound input to the microphone 11.

例えば、基音の周波数毎にコムフィルタ（櫛形フィルタ）を設けており、各コムフィルタにより、マイクロフォン１１に入力された音の周波数成分から基音の周波数成分と倍音の周波数成分を抽出する。そして、倍音の周波数成分を除去することで、基音の周波数成分を抽出する。   For example, a comb filter (comb filter) is provided for each frequency of the fundamental tone, and the frequency component of the fundamental tone and the frequency component of the harmonic overtone are extracted from the frequency component of the sound input to the microphone 11 by each comb filter. Then, the frequency component of the fundamental tone is extracted by removing the frequency component of the overtone.

また、本実施形態の携帯型表示装置１においては、制御部１４は、オブジェクトＯの表示を行うに際して、最大音圧の周波数ｆmaxの周囲の周波数の音圧に対する最大音圧Ｌmaxの突出度合いを判定する。具体的には、制御部１４は、図１０に示すように、最大音圧Ｌmaxと最大音圧の周波数ｆmaxの周囲の周波数ｆcの音圧とを比較し、この比較結果に基づいて突出度合いを判定する。これにより、制御部１４は、最大音圧の周波数のピークが鋭い人工音と、人工音以外の自然音とを識別するようにしている。 Further, in the portable display device 1 of the present embodiment, when the control unit 14 displays the object O, the degree of protrusion of the maximum sound pressure L max with respect to the sound pressures around the frequency f max of the maximum sound pressure. Determine. Specifically, as shown in FIG. 10, the control unit 14 compares the maximum sound pressure L max with the sound pressure of the frequency f c around the frequency f max of the maximum sound pressure, and based on the comparison result. Determine the degree of protrusion. Thereby, the control part 14 distinguishes the artificial sound with the sharp peak of the frequency of the maximum sound pressure, and the natural sound other than the artificial sound.

制御部１４は、最大音圧Ｌmaxと周囲の周波数の音圧とを比較するとき、周囲の周波数の音圧を、例えば、最大音圧の周波数ｆmaxが含まれる帯域Ｂmaxより周波数が低く、かつ帯域Ｂmaxに直近の帯域Ｂに含まれる周波数ｆLの音圧ＬLとする。そのとき、制御部１４は、最大音圧Ｌmaxと、音圧ＬLとの差や比を算出することにより、最大音圧Ｌmaxの周囲の周波数の音圧に対する突出度合いＶaを算出する。最大音圧Ｌmaxと、音圧ＬLとの差によって突出度合いＶaを算出する場合には、
突出度合いＶa＝最大音圧Ｌmax−音圧ＬL
となる。
また、最大音圧Ｌmaxと、音圧ＬLとの比によって突出度合いＶaを算出する場合には、
突出度合いＶa＝最大音圧Ｌmax／ＬL
となる。 When the control unit 14 compares the maximum sound pressure L max with the sound pressure of the surrounding frequency, the control unit 14 sets the sound pressure of the surrounding frequency to be lower than, for example, the band B max including the frequency f max of the maximum sound pressure. And the sound pressure L L of the frequency f L included in the band B closest to the band B max . At that time, the control unit 14 calculates the degree of protrusion V a with respect to the sound pressure of the frequency around the maximum sound pressure L max by calculating the difference or ratio between the maximum sound pressure L max and the sound pressure L L. . And the maximum sound pressure L max, when calculating the protruding degree V a by the difference between the sound pressure L L is
Projection degree V a = maximum sound pressure L max −sound pressure L L
It becomes.
Also, when calculating the protruding degree V a and the maximum sound pressure L max, by the ratio of the sound pressure L L is
Protrusion degree V a = maximum sound pressure L max / L L
It becomes.

制御部１４は、突出度合いＶaが、予め記憶部１３に記憶された突出度合いの所定値Ｖb以上であることを条件として、最大音圧Ｌmaxの周波数ｆmaxに対応するオブジェクトＯを記憶部１３から読み出し、表示部１２に表示させる。突出度合いの所定値Ｖbとは、例えば、人工音と自然音とを識別することができる値である。 The control unit 14 stores the object O corresponding to the frequency f max of the maximum sound pressure L max on the condition that the protrusion degree V a is equal to or greater than a predetermined value V b of the protrusion degree stored in the storage unit 13 in advance. The data is read from the unit 13 and displayed on the display unit 12. The predetermined value V b of the protrusion degree is a value that can distinguish, for example, an artificial sound and a natural sound.

また、上述した例では、周囲の周波数の音圧を音圧ＬLとしたが、これには限定されず、例えば、最大音圧の周波数ｆmaxが含まれる帯域Ｂmaxより周波数が高く、かつ帯域Ｂmaxに直近の帯域Ｂに含まれる周波数ｆHの音圧ＬHとしてもよい。また、周囲の周波数の音圧を、音圧ＬLと音圧ＬHとの平均したものとしてもよい。なお、周波数ｆLや周波数ｆHはそれぞれ属する帯域Ｂ内で最も音圧が高い周波数である。 In the above-described example, the sound pressure of the surrounding frequency is set to the sound pressure L L. However, the present invention is not limited to this. For example, the frequency is higher than the band B max including the frequency f max of the maximum sound pressure, and The sound pressure L H of the frequency f H included in the band B closest to the band B max may be used. Further, the sound pressure of the surrounding frequency may be an average of the sound pressure L L and the sound pressure L H. Note that the frequency f L and the frequency f H are frequencies with the highest sound pressure in the band B to which they belong.

また、制御部１４は、突出度合いの判定を、周波数スペクトルを用いて得たガウス分布の半値幅に基づいて用いて行うこともできる。これにより、突出度合いの判定を、精度よく行うことができる。例えば、制御部１４は、図１０に示す周波数スペクトルに基づいて、図１１に示すガウス分布を得る。そして、制御部１４は、最大音圧Ｌmaxに基づいて半値幅ｗaを算出する。具体的には、最大音圧Ｌmaxの半分の値Ｌmidとなる周波数ｆx，ｆyを算出することにより、半値幅ｗaを算出する。そして、制御部１４は、半値幅ｗaが、予め記憶部１３に記憶された半値幅の所定値ｗb以下であることを条件として、最大音圧Ｌmaxの周波数ｆmaxに対応するオブジェクトＯを記憶部１３から読み出し、表示部１２に表示させる。半値幅の所定値ｗbは、突出度合いの所定値Ｖbと同様に、人工音と自然音とを識別することができる値である。このように、制御部１４は、突出度合い判定部として機能する。 Moreover, the control part 14 can also perform determination of a protrusion degree based on the half value width of the Gaussian distribution obtained using the frequency spectrum. Thereby, determination of a protrusion degree can be performed with sufficient precision. For example, the control unit 14 obtains a Gaussian distribution shown in FIG. 11 based on the frequency spectrum shown in FIG. Then, the control unit 14 calculates the half width w a based on the maximum sound pressure L max . Specifically, the frequency f x as the half value L mid maximum sound pressure L max, by calculating the f y, to calculate the half-value width w a. The control unit 14 then sets the object O corresponding to the frequency f max of the maximum sound pressure L max on condition that the half width w a is equal to or less than the predetermined value w b of the half width stored in the storage unit 13 in advance. Is read from the storage unit 13 and displayed on the display unit 12. Predetermined value w b of the half-value width, as well as the predetermined value V b of the protruding degree is a value that can be identified and an artificial sound and natural sounds. Thus, the control unit 14 functions as a protrusion degree determination unit.

また、本実施形態の携帯型表示装置１においては、制御部１４は、オブジェクトＯの表示を行うに際して、最大音圧の周波数ｆmaxが同一周波数で周期的に出現しているか否かを判定する。制御部１４は、周期性判定を行うとき、基準時間Ｔ毎に最大音圧の周波数ｆmaxを決定すると、決定した基準時間Ｔ毎に最大音圧の周波数ｆmaxを順次記憶部１３に記憶する。そして、制御部１４は、記憶部１３に記憶された最大音圧の周波数ｆmaxを読み出し、図１２に示すように、最大音圧の周波数ｆmaxが同一周波数で周期的に、すなわち、一定期間Δｔ毎に出現するか否かを判定する。これにより、制御部１４は、周期的に繰り返し発せられる報知音を抽出する。そして、制御部１４は、最大音圧の周波数ｆmaxが同一周波数で周期的に出現していると判定すると、最大音圧Ｌmaxの周波数ｆmaxに対応するオブジェクトＯを記憶部１３から読み出し、表示部１２に表示させる。 In the portable display device 1 of the present embodiment, the control unit 14 determines whether or not the frequency f max of the maximum sound pressure appears periodically at the same frequency when displaying the object O. . When determining the periodicity determination, when the control unit 14 determines the frequency f max of the maximum sound pressure for each reference time T, the control unit 14 sequentially stores the frequency f max of the maximum sound pressure in the storage unit 13 for each determined reference time T. . Then, the control unit 14 reads the frequency f max of the maximum sound pressure stored in the storage unit 13, and as shown in FIG. 12, the frequency f max of the maximum sound pressure is periodically at the same frequency, that is, for a certain period. It is determined whether or not it appears every Δt. Thereby, the control part 14 extracts the notification sound emitted repeatedly periodically. Then, the control unit 14 determines that the frequency f max of the maximum sound pressure is periodically appear in the same frequency, reads the object O corresponding to the frequency f max of the maximum sound pressure L max from the storage unit 13, It is displayed on the display unit 12.

また、本実施形態の携帯型表示装置１においては、制御部１４は、オブジェクトＯの表示を行うに際して、最大音圧Ｌmaxが、予め記憶部１３に記憶された閾値Ｌｔ以上であるか否かを判定する。制御部１４は、図１３に示すように、最大音圧Ｌmaxが、閾値Ｌｔ以上であることを条件として、オブジェクトＯを表示部１２に表示させる。これにより、制御部１４は、マイクロフォン１１に入力された音がノイズであるか否かを識別することができる。なお、閾値Ｌｔは、例えば、マイクロフォン１１により入力した音とノイズとを識別可能な値である。なお、制御部１４は、マイクロフォン１１により入力した音の周波数成分からノイズレベルを判定し、閾値Ｌｔを調整するようにしている。ノイズレベルの判定例は、例えば、マイクロフォン１１に入力された全周波数帯における音圧の平均値を閾値Ｌｔとして採用する、最大音圧の周波数ｆmaxから所定値だけ離間した周波数における音圧の値を閾値Ｌｔとして採用する、などであってよい。なお、利用者Ｕは携帯型表示装置１入力部（図示せず）からの入力により、閾値Ｌｔを設定することもできる。 Further, in the portable display device 1 of the present embodiment, when the control unit 14 displays the object O, whether or not the maximum sound pressure L max is equal to or greater than the threshold value Lt stored in the storage unit 13 in advance. Determine. As illustrated in FIG. 13, the control unit 14 causes the display unit 12 to display the object O on condition that the maximum sound pressure L max is equal to or greater than the threshold value Lt. Thereby, the control part 14 can identify whether the sound input into the microphone 11 is noise. Note that the threshold value Lt is, for example, a value that allows discrimination between sound and noise input by the microphone 11. The control unit 14 determines the noise level from the frequency component of the sound input from the microphone 11 and adjusts the threshold value Lt. The determination example of the noise level is, for example, the value of the sound pressure at a frequency separated from the frequency f max of the maximum sound pressure by a predetermined value, using the average value of the sound pressure in all frequency bands input to the microphone 11 as the threshold value Lt. May be adopted as the threshold value Lt. In addition, the user U can also set the threshold value Lt by an input from the portable display device 1 input unit (not shown).

また、複数の帯域Ｂの幅は、それぞれ対数表において互いに等しいことが好ましい。例えば、図１４（ａ）に示すように、指数関数的に変化する各帯域Ｂ（Ｂ1〜Ｂ7）の幅は、対数表示することにより、図１４（ｂ）に示すように、各帯域Ｂ’（Ｂ1’〜Ｂ7’）の幅は互いに等しくなる。このように、複数の帯域Ｂの幅を、それぞれ対数表において互いに等しくすることで、人間が認識できる感度に応じてオブジェクトを適切に割り付けることができる。 In addition, the widths of the plurality of bands B are preferably equal to each other in the logarithmic table. For example, as shown in FIG. 14A, the width of each band B (B 1 to B 7 ) exponentially changing can be expressed logarithmically as shown in FIG. 14B. The widths of B ′ (B 1 ′ to B 7 ′) are equal to each other. In this way, by making the widths of the plurality of bands B equal to each other in the logarithmic table, objects can be appropriately allocated according to the sensitivity that can be recognized by humans.

また、図１５に示すように、複数の帯域Ｂ11’〜Ｂ17’のそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応させてもよい。例えば、（例えば、１オクターブを、ド・レ・ミ・ファ・ソ・ラ・シの７音階に分割する。これにより、各帯域Ｂ’の細かさを７音階が識別可能な帯域幅とすることができる。なお、音階が識別可能な帯域幅であればよく、７音階ではなく例えば１２音階としてもよい。 Further, as shown in FIG. 15, each of the plurality of bands B 11 ′ to B 17 ′ may correspond to each musical scale in a temperament in which one octave is divided into a plurality of musical scales. For example (for example, one octave is divided into seven scales of de les mi fa fa so la si. Thereby, the fineness of each band B ′ is made a bandwidth that can be identified by the seven scales. It should be noted that it is sufficient that the scale is identifiable, and it may be, for example, 12 scales instead of 7 scales.

［１．３．携帯型表示装置１で実行される処理］
以下、携帯型表示装置１で実行される処理について、図１６を用いて説明する。図１６は携帯型表示装置１の制御部１４により実行される処理の流れの一例を示すフロー図である。 [1.3. Processing executed in portable display device 1]
Hereinafter, processing executed in the portable display device 1 will be described with reference to FIG. FIG. 16 is a flowchart showing an example of the flow of processing executed by the control unit 14 of the portable display device 1.

図１６に示すように、制御部１４は、ステップＳ１０において、マイクロフォン１１に入力された音を変換した電気信号の波形を音データとして記憶部１３に記憶する処理を行う。この処理が終了すると、制御部１４は、ステップＳ１１に処理を移す。   As shown in FIG. 16, in step S <b> 10, the control unit 14 performs a process of storing, in the storage unit 13, the waveform of the electric signal obtained by converting the sound input to the microphone 11 as sound data. When this process ends, the control unit 14 moves the process to step S11.

ステップＳ１１において、制御部１４は、音データを周波数解析する処理を行う。この処理において、制御部１４は、記憶部１３に記憶している音データから、マイクロフォン１１に入力された音の周波数スペクトル（図５参照）を解析する。制御部１４は、この処理が終了すると、ステップＳ１２へ処理を移す。   In step S11, the control unit 14 performs processing for analyzing the frequency of the sound data. In this process, the control unit 14 analyzes the frequency spectrum (see FIG. 5) of the sound input to the microphone 11 from the sound data stored in the storage unit 13. When this process ends, the control unit 14 moves the process to step S12.

ステップＳ１２において、制御部１４は、基音の周波数成分を抽出する処理を行う。この処理では、ステップＳ１１において解析した周波数スペクトルから基音の周波数成分の周波数スペクトルを解析する。この処理が終了すると、制御部１４は、ステップＳ１３へ処理を移す。なお、基音の周波数成分の抽出処理は、利用者Ｕの入力部（図示せず）への入力操作によってスキップすることが可能である。   In step S12, the control unit 14 performs a process of extracting the frequency component of the fundamental tone. In this process, the frequency spectrum of the fundamental frequency component is analyzed from the frequency spectrum analyzed in step S11. When this process ends, the control unit 14 moves the process to step S13. It should be noted that the extraction process of the fundamental frequency component can be skipped by an input operation to the input unit (not shown) of the user U.

ステップＳ１３において、制御部１４は、最大音圧の周波数ｆmaxを決定する処理を行う。この処理において、制御部１４は、ステップＳ１２で解析した周波数スペクトルに基づいて、最大音圧の周波数ｆmaxを決定する。なお、ステップＳ１２をスキップした場合にはステップＳ１１で解析した周波数スペクトルに基づいて、最大音圧の周波数ｆmaxを決定する。この処理が終了すると、制御部１４は、ステップＳ１４へ処理を移す。 In step S13, the control unit 14 performs a process of determining the frequency f max of the maximum sound pressure. In this process, the control unit 14 determines the frequency f max of the maximum sound pressure based on the frequency spectrum analyzed in step S12. If step S12 is skipped, the maximum sound pressure frequency f max is determined based on the frequency spectrum analyzed in step S11. When this process ends, the control unit 14 moves the process to step S14.

ステップＳ１４において、制御部１４は、ステップＳ１３において決定した最大音圧Ｌmaxが閾値Ｌｔ以上であるか否かを判定する。この処理において、最大音圧Ｌmaxは閾値Ｌｔ以上であると判定すると（ステップＳ１４：Ｙｅｓ）、制御部１４は、処理をステップＳ１５に移す。一方。最大音圧Ｌmaxは閾値Ｌｔ以上でないと判定すると（ステップＳ１４：Ｎｏ）、制御部１４は、処理をステップＳ２０に移す。 In step S14, the control unit 14 determines whether or not the maximum sound pressure L max determined in step S13 is greater than or equal to a threshold value Lt. In this process, when it is determined that the maximum sound pressure L max is greater than or equal to the threshold value Lt (step S14: Yes), the control unit 14 moves the process to step S15. on the other hand. When the maximum sound pressure L max is determined not to be more than the threshold value Lt (step S14: No), the control unit 14 shifts the processing to step S20.

ステップＳ１５において、制御部１４は、最大音圧の周波数ｆmaxの突出度合いを判定する処理を行う。この処理において、制御部１４は、図１０に示すように最大音圧Ｌmaxと周囲の周波数の音圧とを比較した突出度合いＶaが所定値Ｖb以上であるか否かを判定する。この処理において、制御部１４は、突出度合いＶaが所定値Ｖb以上であると判定すると（ステップＳ１５：Ｙｅｓ）、ステップＳ１６へ処理を移す。一方、制御部１４は、突出度合いＶaが所定値Ｖb以上でないと判定すると（ステップＳ１５：Ｎｏ）、ステップＳ２０へ処理を移す。 In step S15, the control unit 14 performs a process of determining the degree of protrusion of the maximum sound pressure frequency fmax . In this process, the control unit 14 determines whether or not the protrusion degree V a obtained by comparing the maximum sound pressure L max and the sound pressure of the surrounding frequency is equal to or greater than a predetermined value V b as shown in FIG. In this process, when the control unit 14 determines that the protrusion degree V a is equal to or greater than the predetermined value V b (step S15: Yes), the process proceeds to step S16. On the other hand, the control unit 14, the projecting degree V a is determined not to be larger than a predetermined value V b (Step S15: No), the process goes to step S20.

ステップＳ１６において、制御部１４は、周期性判定の設定が記憶部１３にされているか否かを判定する。周期性判定の設定は、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作によって行うことができる。利用者Ｕが入力部を操作して周期性判定を行う設定をしたとき、制御部１４は、記憶部１３に周期性判定の設定を行う。このステップＳ１６において、制御部１４は、周期性判定の設定が記憶部１３にされていると判定すると（ステップＳ１６：Ｙｅｓ）、ステップＳ１７へ処理を移す。一方、制御部１４は、周期性判定の設定が記憶部１３にされていないと判定すると（ステップＳ１６：Ｎｏ）、ステップＳ１９へ処理を移す。   In step S <b> 16, the control unit 14 determines whether the periodicity determination setting is set in the storage unit 13. The periodicity determination can be set by an input operation to the input unit (not shown) of the portable display device 1 by the user U. When the user U sets the periodicity determination by operating the input unit, the control unit 14 sets the periodicity determination in the storage unit 13. In step S16, when the control unit 14 determines that the periodicity determination is set in the storage unit 13 (step S16: Yes), the process proceeds to step S17. On the other hand, when determining that the periodicity determination setting is not set in the storage unit 13 (step S16: No), the control unit 14 shifts the processing to step S19.

ステップＳ１７において、制御部１４は、最大音圧の周波数ｆmaxの周期性を検出する処理を行う。すなわち、制御部１４は、最大音圧の周波数ｆmaxが同一周波数で一定期間Δｔ毎に出現することを、周波数ｆmaxの周期性として検出する。この処理が終了すると、制御部１４は、処理をステップＳ１８に移す。なお、一定期間Δｔは、所定の時間幅（Δｔ＝ｔａ〜ｔｂ）を有しており、ｔａより短い周期の場合やｔｂを超える周期の場合には、制御部１４は、その最大音圧の周波数ｆmaxの出現を周期性を有するものとしては検出しない。この一定期間Δｔは、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作によって任意に設定することができる。 In step S <b> 17, the control unit 14 performs processing for detecting the periodicity of the frequency f max of the maximum sound pressure. That is, the control unit 14, that the frequency f max of the maximum sound pressure appear at regular intervals Δt at the same frequency is detected as the periodicity of the frequency f max. When this process ends, the control unit 14 moves the process to step S18. The fixed period Δt has a predetermined time width (Δt = ta to tb), and in the case of a period shorter than ta or a period exceeding tb, the control unit 14 determines the maximum sound pressure. The appearance of the frequency f max is not detected as having periodicity. This fixed period Δt can be arbitrarily set by an input operation to the input unit (not shown) of the portable display device 1 by the user U.

ステップＳ１８において、制御部１４は、最大音圧の周波数ｆmaxが周期的に出現するか否かを判定する。つまり、制御部１４は、ステップＳ１７における最大音圧の周波数ｆmaxの周期性の検出の有無に基づき、検出があった場合は最大音圧の周波数ｆmaxが周期的に出現すると判定し、検出がなかった場合は最大音圧の周波数ｆmaxが周期的に出現しないと判定する。制御部１４は、最大音圧の周波数ｆmaxが周期的に出現すると判定すると（ステップＳ１８：Ｙｅｓ）、ステップＳ１９に処理を移す。一方、制御部１４は、最大音圧の周波数ｆmaxが周期的に出現しないと判定すると（ステップＳ１８：Ｎｏ）、ステップＳ２０に処理を移す。 In step S18, the control unit 14 determines whether or not the frequency f max of the maximum sound pressure appears periodically. That is, the control unit 14, based on the maximum sound presence of detection of the periodicity of the frequency f max of the pressure in step S17, it determines that the frequency f max of the maximum sound pressure when there is detected periodically appears, detected If there is no, it is determined that the frequency f max of the maximum sound pressure does not appear periodically. If the control unit 14 determines that the frequency f max of the maximum sound pressure appears periodically (step S18: Yes), the process proceeds to step S19. On the other hand, if the control unit 14 determines that the frequency f max of the maximum sound pressure does not appear periodically (step S18: No), the process proceeds to step S20.

ステップＳ１９において、制御部１４は、オブジェクトを表示させる処理を行う。この処理では、制御部１４は、記憶部１３に記憶されたオブジェクトの中から、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに応じたオブジェクトＯを読み出し、このオブジェクトＯを最大音圧Ｌmaxの大きさに応じた大きさで表示部１２に表示させる。この処理が終了すると、制御部１４は、ステップＳ２０へ処理を移す。なお、制御部１４は、単体表示設定がされているときには単体表示を行い、スクロール表示設定がされているときにはスクロール表示を行う。単体表示設定とスクロール表示設定とは選択的に設定可能であり、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作によって設定することができる。 In step S19, the control unit 14 performs processing for displaying an object. In this process, the control unit 14 reads out the object O corresponding to the band B max including the frequency f max of the maximum sound pressure from the objects stored in the storage unit 13, and uses the object O as the maximum sound pressure L max. Is displayed on the display unit 12 in a size corresponding to the size of the. When this process ends, the control unit 14 moves the process to step S20. The control unit 14 performs single display when the single display is set, and performs scroll display when the scroll display is set. The single display setting and the scroll display setting can be selectively set, and can be set by an input operation to the input unit (not shown) of the portable display device 1 by the user U.

ステップＳ２０において、制御部１４は、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作などによってアプリ終了トリガがあるか否かを判定し、アプリ終了トリガがあると判定すると（ステップＳ２０：Ｙｅｓ）、制御部１４は、携帯型表示装置１で実行される処理のフローを終了する。一方、アプリ終了トリガがないと判定すると（ステップＳ２０：Ｎｏ）、制御部１４は、ステップＳ１０へ処理を戻す。   In step S20, the control unit 14 determines whether or not there is an application end trigger by an input operation to the input unit (not shown) of the portable display device 1 by the user U, and if there is an application end trigger. If it determines (step S20: Yes), the control part 14 will complete | finish the flow of the process performed with the portable display apparatus 1. FIG. On the other hand, if it determines with there being no application completion trigger (step S20: No), the control part 14 will return a process to step S10.

上述した携帯型表示装置１で実行される処理は、ＣＰＵ１５が表示制御プログラムを読み込むことで実行される。すなわち、表示制御プログラムは、表示部１２と、マイクロフォン１１とを備えた携帯型表示装置１を、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理手段、複数の帯域Ｂに分割された音の周波数の各帯域Ｂに割り付けられたオブジェクトＯを記憶するオブジェクト記憶手段、音処理手段により決定された最大音圧の周波数を含む帯域に割り付けられたオブジェクトＯをオブジェクト記憶手段から読み出して表示部１２に表示させる表示制御手段、として機能させる。 The process executed by the portable display device 1 described above is executed by the CPU 15 reading a display control program. That is, the display control program is a sound processing means for determining the frequency f max of the maximum sound pressure from the frequency component of the sound input to the microphone 11 for the portable display device 1 including the display unit 12 and the microphone 11. Object storage means for storing an object O assigned to each band B of sound frequencies divided into a plurality of bands B, and an object O assigned to a band including the frequency of the maximum sound pressure determined by the sound processing means It is made to function as display control means for reading from the object storage means and displaying it on the display unit 12.

［２．第２実施形態］
本発明の第２実施形態について説明する。携帯型表示装置２の構成について、図１７を用いて説明する。なお、本実施形態の携帯型表示装置２の処理については、上述した携帯型表示装置１の処理と同様であるため説明を省略する。この携帯型表示装置２は、表示部１２をＬＣＤなどの表示装置とするのではなく、シースルー型のヘッドマウントディスプレイ（以下、ＨＭＤという）とする点で異なる。表示部をシースルー型のＨＭＤとすることで、利用者Ｕは、例えば、移動しながら前方にオブジェクトＯを視認することが可能となる。 [2. Second Embodiment]
A second embodiment of the present invention will be described. The configuration of the portable display device 2 will be described with reference to FIG. In addition, about the process of the portable display apparatus 2 of this embodiment, since it is the same as that of the portable display apparatus 1 mentioned above, description is abbreviate | omitted. The portable display device 2 is different in that the display unit 12 is not a display device such as an LCD but a see-through type head mounted display (hereinafter referred to as an HMD). By making the display unit a see-through HMD, the user U can visually recognize the object O while moving, for example.

図１７に示すように、携帯型表示装置２は、コントロールユニット２０と、表示部としてのシースルー型のＨＭＤ３０と、マイクロフォン５０とを備える。   As shown in FIG. 17, the portable display device 2 includes a control unit 20, a see-through HMD 30 as a display unit, and a microphone 50.

ＨＭＤ３０は、投影ユニット３１、フレーム３２を有している。投影ユニット３１は、コントロールユニット２０から出力される画像信号に基づいて、画像光を生成して利用者の眼に投射する。投影ユニット３１は、画像信号に応じて強度変調した光束を２次元走査して利用者の眼に投射し、利用者の眼の網膜上で強度変調した光束を２次元走査することで、利用者に画像信号に応じた画像を視認させる網膜走査型の表示部である。なお、投影ユニット３１として網膜走査型の表示部ではなくＬＣＤ型の表示部を採用することも可能である。ＬＣＤ型の表示部は、例えば、反射型ＬＣＤに画像信号に応じた画像を表示し、このＬＣＤに光を反射させて画像光を生成し、利用者の眼に投射することで、利用者に画像信号に応じた画像を視認させる。   The HMD 30 includes a projection unit 31 and a frame 32. The projection unit 31 generates image light based on the image signal output from the control unit 20 and projects it onto the user's eyes. The projection unit 31 two-dimensionally scans the intensity-modulated light beam according to the image signal and projects it onto the user's eye, and two-dimensionally scans the intensity-modulated light beam on the retina of the user's eye. This is a retinal scanning type display unit for visually recognizing an image corresponding to an image signal. Note that an LCD type display unit can be adopted as the projection unit 31 instead of the retinal scanning type display unit. The LCD type display unit displays, for example, an image according to an image signal on a reflective LCD, reflects light on the LCD to generate image light, and projects it to the user's eyes, thereby allowing the user to An image corresponding to the image signal is visually recognized.

投影ユニット３１は、利用者の眼に画像光を入射させるためのハーフミラー３３を有する。ハーフミラー３３は、利用者の眼の前方に位置するように設けられる。投影ユニット３１は、ハーフミラー３３により、出射した画像光を反射させて利用者の眼に入射させる。また、ハーフミラー３３は、外光を透過させて利用者の眼に入射させる。したがって、利用者は、外光により認識される外景に、画像光による画像を重ねて視認することができる。   The projection unit 31 includes a half mirror 33 for causing image light to enter the user's eyes. The half mirror 33 is provided so as to be positioned in front of the user's eyes. The projection unit 31 reflects the emitted image light by the half mirror 33 so as to enter the user's eyes. Further, the half mirror 33 transmits external light and makes it enter the user's eyes. Therefore, the user can visually recognize the image by the image light superimposed on the external scene recognized by the external light.

フレーム３２は、投影ユニット３１を支持するとともに、利用者の頭部に装着される部分である。フレーム３２は、利用者の頭部に装着された状態で、前述したような投影ユニット３１による利用者の眼への画像光の投射ができるように、投影ユニット３１を支持する。本実施形態の携帯型表示装置２では、投影ユニット３１は、フレーム３２に対して、フレーム３２を頭部に装着した状態の利用者の左側に取り付けられる。   The frame 32 is a part that supports the projection unit 31 and is mounted on the user's head. The frame 32 supports the projection unit 31 so that image light can be projected onto the user's eyes by the projection unit 31 as described above while being mounted on the user's head. In the portable display device 2 of the present embodiment, the projection unit 31 is attached to the left side of the user with the frame 32 attached to the head with respect to the frame 32.

マイクロフォン５０は、上述したマイクロフォン１１と同様に、利用者の周囲で発生した音を入力可能に構成されている。このマイクロフォン５０は、入力された音を電気信号に変換する機能を有し、マイクロフォン５０に入力された音を電気信号として伝送ケーブル４０を介してコントロールユニット２０の記憶部２１に音データとして一時的に記憶する。このマイクロフォン５０は、フレーム３２に対して、フレーム３２を頭部に装着した状態の利用者の左側に取り付けられ、利用者の耳に近い位置で音を入力できるようになっている。なお、マイクロフォン５０は、コントロールユニット２０に設けられていてもよい。   Similarly to the microphone 11 described above, the microphone 50 is configured to be able to input sound generated around the user. The microphone 50 has a function of converting the input sound into an electric signal, and the sound input to the microphone 50 is temporarily stored as sound data in the storage unit 21 of the control unit 20 via the transmission cable 40 as an electric signal. To remember. The microphone 50 is attached to the left side of the user with the frame 32 attached to the head relative to the frame 32 so that sound can be input at a position close to the user's ear. Note that the microphone 50 may be provided in the control unit 20.

マイクロフォン５０に入力された音は、マイクロフォン５０で電気信号に変換される。この電気信号は、記憶部２１に音データとして一時的に記憶され、コントロールユニット２０の制御部２２において周波数解析されて最大音圧の周波数ｆmaxが決定される。制御部２２では、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り当てられたオブジェクトＯを記憶部２１から読み出す。このオブジェクトＯは、ＨＭＤ３０の投影ユニット３１により、利用者の眼に投影される。 The sound input to the microphone 50 is converted into an electric signal by the microphone 50. This electrical signal is temporarily stored as sound data in the storage unit 21, and frequency analysis is performed by the control unit 22 of the control unit 20 to determine the frequency f max of the maximum sound pressure. In the control unit 22, the object O assigned to the band B max including the frequency f max of the maximum sound pressure is read from the storage unit 21. This object O is projected onto the user's eyes by the projection unit 31 of the HMD 30.

このように、携帯型表示装置２では、表示部を利用者の頭部に装着したＨＭＤ３０としたので、利用者は、自身の周囲で発生する音に応じたオブジェクトを外景と重ねて視覚情報として得ることができるため、より快適に日常生活を送ることができる。また、利用者は表示部を手に保持した状態でなくともオブジェクトＯを視認することができるため、利便性にも優れる。   As described above, in the portable display device 2, since the display unit is the HMD 30 mounted on the user's head, the user can superimpose an object corresponding to the sound generated around him on the outside scene as visual information. Because it can be obtained, it is possible to live daily life more comfortably. Moreover, since the user can visually recognize the object O even when the display unit is not held in his / her hand, the convenience is excellent.

以上、本発明の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。   Although some of the embodiments of the present invention have been described in detail with reference to the drawings, these are exemplifications, and the present invention is implemented in other forms with various modifications and improvements based on the knowledge of those skilled in the art. Is possible.

本発明を、以上説明した実施形態の携帯型表示装置及び表示制御プログラムによれば、以下の効果が期待できる。   According to the portable display device and the display control program of the above-described embodiment of the present invention, the following effects can be expected.

（１）本実施形態に係る携帯型表示装置は、表示部１２と、マイクロフォン１１と、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理部（制御部１４）と、複数の帯域Ｂに分割された音の周波数ｆの各帯域Ｂに割り付けられた互いに異なるオブジェクトＯを記憶する記憶部１３（オブジェクト記憶部）と、音処理部（制御部１４）により決定された最大音圧の周波数ｆmaxを含む帯域Ｂに割り付けられたオブジェクトＯを記憶部１３（オブジェクト記憶部）から読み出して表示部１２に表示させる表示制御部（制御部１４）と、を備える。これにより、利用者に、自身の周囲で発生した音を視覚情報として提供することができる。また、携帯型表示装置１によれば、音源を識別することなく、入力される音の周波数成分のうち最大音圧の周波数に応じたオブジェクトＯを表示するため、容易に実用化することができる。 (1) The portable display device according to the present embodiment includes a display unit 12, a microphone 11, and a sound processing unit (control unit) that determines the frequency f max of the maximum sound pressure from the frequency components of the sound input to the microphone 11. 14), a storage unit 13 (object storage unit) that stores different objects O assigned to each band B of the frequency f of the sound divided into a plurality of bands B, and a sound processing unit (control unit 14) A display control unit (control unit 14) that reads the object O allocated to the band B including the determined frequency f max of the maximum sound pressure from the storage unit 13 (object storage unit) and causes the display unit 12 to display the object O. . Thereby, the sound generated around the user can be provided to the user as visual information. Moreover, according to the portable display device 1, since the object O corresponding to the frequency of the maximum sound pressure among the frequency components of the input sound is displayed without identifying the sound source, it can be easily put into practical use. .

（２）また、本実施形態に係る携帯型表示装置においては、最大音圧Ｌmaxと最大音圧の周波数の周囲の周波数の音圧Ｌcとの比較結果に基づいて、周囲の周波数の音圧Ｌcに対する最大音圧Ｌmaxの突出度合いを判定する突出度合い判定部（制御部１４）を備える。また、表示制御部（制御部１４）は、突出度合い判定部（制御部１４）によって判定された突出度合いが、所定値Ｖb以上であることを条件として、オブジェクトＯを表示部１２に表示させる。これにより、マイクロフォン１１に入力された音の周波数成分から、人工音の周波数成分を抽出することができる。 (2) Further, in the portable display device according to the present embodiment, based on the comparison result between the maximum sound pressure L max and the sound pressure L c of the frequency around the maximum sound pressure, the sound of the surrounding frequency A protrusion degree determination unit (control unit 14) that determines the protrusion degree of the maximum sound pressure L max with respect to the pressure L c is provided. Further, the display control unit (control unit 14) causes the display unit 12 to display the object O on the condition that the protrusion degree determined by the protrusion degree determination unit (control unit 14) is equal to or greater than the predetermined value Vb . . Thereby, the frequency component of the artificial sound can be extracted from the frequency component of the sound input to the microphone 11.

（３）また、本実施形態に係る携帯型表示装置においては、音処理部（制御部１４）は、周波数成分から基音の周波数成分を抽出し、抽出した基音の周波数成分から最大音圧の周波数ｆmaxを決定する。これにより、ノイズや音の干渉の影響を除去することができ、音源本来の音の成分を抽出することができる。 (3) In the portable display device according to the present embodiment, the sound processing unit (control unit 14) extracts the frequency component of the fundamental tone from the frequency component, and the frequency of the maximum sound pressure from the extracted frequency component of the fundamental tone. Determine f max . Thereby, the influence of noise and sound interference can be removed, and the original sound component of the sound source can be extracted.

（４）また、本実施形態に係る携帯型表示装置においては、音処理部（制御部１４）により決定された最大音圧の周波数ｆmaxが周期的に出現しているか否かを判定する制御部１４（周期性判定部）を備える。また、表示制御部（制御部１４）は、周期性判定部（制御部１４）によって音処理部（制御部１４）により決定された最大音圧の周波数ｆmaxが周期的に出現していると判定されたことを条件として、オブジェクトＯを表示部１２に表示させる。これにより、マイクロフォン１１に入力された音の周波数成分から、報知音等の繰り返し発せられる音の周波数成分を抽出することができる。 (4) In the portable display device according to the present embodiment, control for determining whether or not the frequency f max of the maximum sound pressure determined by the sound processing unit (control unit 14) appears periodically. A unit 14 (periodicity determination unit) is provided. Further, the display control unit (control unit 14) indicates that the frequency f max of the maximum sound pressure determined by the sound processing unit (control unit 14) by the periodicity determination unit (control unit 14) appears periodically. The object O is displayed on the display unit 12 on the condition that the determination is made. Thereby, it is possible to extract the frequency component of the sound repeatedly emitted such as the notification sound from the frequency component of the sound input to the microphone 11.

（５）また、本実施形態に係る携帯型表示装置においては、表示制御部（制御部１４）は、最大音圧Ｌmaxが閾値Ｌｔ以上であると判定したことを条件として、オブジェクトＯを表示部１２に表示させる。これにより、例えば、マイクロフォン１１に入力された音がノイズしかない場合にオブジェクト表示することを防止することができ、利用者の混乱を防止することができる。 (5) In the portable display device according to the present embodiment, the display control unit (control unit 14) displays the object O on the condition that the maximum sound pressure L max is determined to be equal to or higher than the threshold value Lt. Display on the unit 12. Thereby, for example, when the sound input to the microphone 11 has only noise, it is possible to prevent the object from being displayed, and it is possible to prevent the user from being confused.

（６）また、本実施形態に係る携帯型表示装置においては、複数の帯域Ｂの幅は、それぞれ対数表において互いに等しいこととする。これにより、例えば、複数の帯域Ｂの幅を、それぞれ対数表において互いに等しくすることで、人間が認識できる感度に応じてオブジェクトを適切に割り付けることができる。   (6) In the portable display device according to the present embodiment, the widths of the plurality of bands B are equal to each other in the logarithmic table. Thereby, for example, by making the widths of the plurality of bands B equal to each other in the logarithmic table, objects can be appropriately allocated according to the sensitivity that can be recognized by humans.

（７）また、本実施形態に係る携帯型表示装置においては、複数の帯域Ｂのそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応している。これにより、例えば、各帯域Ｂ’の細かさをそれぞれの音階が識別可能な帯域幅とすることができる。   (7) Further, in the portable display device according to the present embodiment, each of the plurality of bands B corresponds to each scale in the temperament obtained by dividing one octave into a plurality of scales. Thereby, for example, the fineness of each band B ′ can be set to a band width that allows each scale to be identified.

（８）また、本実施形態に係る携帯型表示装置においては、表示部は、シースルー型のヘッドマウントディスプレイである。これにより、オブジェクトＯをＨＭＤ３０により表示することができる。これにより、利用者は表示部を手に保持した状態でなくともオブジェクトＯを視認することができるため、利便性にも優れる。また、表示部をシースルー型のＨＭＤとしたので、外景とオブジェクトとを重ねて情報を得ることができる。   (8) Further, in the portable display device according to the present embodiment, the display unit is a see-through type head mounted display. Thereby, the object O can be displayed by the HMD 30. Thereby, since the user can visually recognize the object O even when the display unit is not held in the hand, it is excellent in convenience. In addition, since the display unit is a see-through HMD, information can be obtained by superimposing an outside scene and an object.

（９）本実施形態に係る表示制御プログラムは、表示部１２と、マイクロフォン１１とを備えた携帯型表示装置１を、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理手段（制御部１４）、複数の帯域Ｂに分割された音の周波数の各帯域Ｂに割り付けられたオブジェクトＯを記憶する記憶部１３（オブジェクト記憶手段）、音処理手段（制御部１４）により決定された最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り付けられたオブジェクトＯを記憶部１３（オブジェクト記憶手段）から読み出して表示部１２に表示させる表示制御手段（制御部１４）、として機能させる。これにより、例えば、この表示制御プログラムをインストールすることで、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り付けられたオブジェクトＯを、表示部１２に表示させることができる。 (9) The display control program according to the present embodiment uses the portable display device 1 including the display unit 12 and the microphone 11 to calculate the frequency f max of the maximum sound pressure from the frequency component of the sound input to the microphone 11. Sound processing means for determining (control unit 14), storage unit 13 (object storage unit) for storing the object O allocated to each band B of the frequency of the sound divided into a plurality of bands B, sound processing unit (control unit) 14) Display control means (control section 14) for reading out the object O assigned to the band B max including the frequency f max of the maximum sound pressure determined by 14) from the storage section 13 (object storage section) and displaying it on the display section 12. To function as. Thereby, for example, by installing this display control program, the object O allocated to the band B max including the frequency f max of the maximum sound pressure can be displayed on the display unit 12.

１，２ 携帯型表示装置
１１，５０ マイクロフォン
１２ 表示部
１３，２１ 記憶部
１４，２２ 制御部
１５ ＣＰＵ
１６ ＲＯＭ
１７ ＲＡＭ
２０ コントロールユニット
２３ 光源部
３０ ヘッドマウントディスプレイ
３１ 投影ユニット
３２ フレーム
３３ ハーフミラー
４０ 伝送ケーブル
Ｂ 帯域
Ｏ オブジェクト 1, 2 Portable display device 11, 50 Microphone 12 Display unit 13, 21 Storage unit 14, 22 Control unit 15 CPU
16 ROM
17 RAM
20 Control Unit 23 Light Source 30 Head Mount Display 31 Projection Unit 32 Frame 33 Half Mirror 40 Transmission Cable B Band O Object

Claims (9)

表示部と、
マイクロフォンと、
前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理部と、
複数の帯域に分割された音の周波数の各帯域に割り付けられた互いに異なるオブジェクトを記憶するオブジェクト記憶部と、
前記音処理部により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶部から読み出して前記表示部に表示させる表示制御部と、を備える
ことを特徴とする携帯型表示装置。 A display unit;
A microphone,
A sound processing unit for determining the frequency of the maximum sound pressure from the frequency component of the sound input to the microphone;
An object storage unit for storing different objects assigned to each band of sound frequencies divided into a plurality of bands;
A display control unit that reads out an object allocated to a band including the frequency of the maximum sound pressure determined by the sound processing unit from the object storage unit and displays the object on the display unit. Display device. 前記最大音圧と前記最大音圧の周波数の周囲の周波数の音圧との比較結果に基づいて前記周囲の周波数の音圧に対する前記最大音圧の突出度合いを判定する突出度合い判定部を備え、
前記表示制御部は、前記突出度合い判定部によって判定された前記突出度合いが、所定値以上であることを条件として、前記オブジェクトを前記表示部に表示させる
ことを特徴とする請求項１に記載の携帯型表示装置。 A protrusion degree determination unit that determines the protrusion degree of the maximum sound pressure with respect to the sound pressure of the surrounding frequency based on a comparison result between the maximum sound pressure and the sound pressure of the surrounding frequency of the frequency of the maximum sound pressure;
The said display control part displays the said object on the said display part on the condition that the said protrusion degree determined by the said protrusion degree determination part is more than predetermined value, The said display part is characterized by the above-mentioned. Portable display device. 前記音処理部は、前記周波数成分から基音の周波数成分を抽出し、抽出した基音の周波数成分から前記最大音圧の周波数を決定する
ことを特徴とする請求項１又は請求項２に記載の携帯型表示装置。 3. The mobile phone according to claim 1, wherein the sound processing unit extracts a frequency component of a fundamental tone from the frequency component, and determines the frequency of the maximum sound pressure from the extracted frequency component of the fundamental tone. Type display device. 前記音処理部により決定された最大音圧の周波数が周期的に出現しているか否かを判定する周期性判定部を備え、
前記表示制御部は、前記周期性判定部によって前記音処理部により決定された最大音圧の周波数が周期的に出現していると判定されたことを条件として、前記オブジェクトを前記表示部に表示させる
ことを特徴とする請求項１〜３のいずれか１項に記載の携帯型表示装置。 A periodicity determining unit that determines whether or not the frequency of the maximum sound pressure determined by the sound processing unit appears periodically;
The display control unit displays the object on the display unit on the condition that the periodicity determination unit determines that the frequency of the maximum sound pressure determined by the sound processing unit appears periodically. The portable display device according to any one of claims 1 to 3, wherein the portable display device is used. 前記表示制御部は、前記最大音圧が閾値以上であると判定したことを条件として、前記オブジェクトを前記表示部に表示させる
ことを特徴とする請求項１〜４のいずれか１項に記載の携帯型表示装置。 The said display control part displays the said object on the said display part on the condition that it determined with the said maximum sound pressure being more than a threshold value, The any one of Claims 1-4 characterized by the above-mentioned. Portable display device. 前記複数の帯域の幅は、それぞれ対数表において互いに等しい
ことを特徴とする請求項１〜５のいずれか１項に記載の携帯型表示装置。 The portable display device according to claim 1, wherein widths of the plurality of bands are equal to each other in a logarithmic table. 前記複数の帯域のそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応している
ことを特徴とする請求項６に記載の携帯型表示装置。 The portable display device according to claim 6, wherein each of the plurality of bands corresponds to each scale in a temperament obtained by dividing one octave into a plurality of scales. 前記表示部は、シースルー型のヘッドマウントディスプレイである
ことを特徴とする請求項１〜７のいずれか１項に記載の携帯表示装置。 The portable display device according to claim 1, wherein the display unit is a see-through type head mounted display. 表示部と、マイクロフォンとを備えた携帯表示装置を、
前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理手段、
複数の帯域に分割された音の周波数の各帯域に割り付けられたオブジェクトを記憶するオブジェクト記憶手段、
前記音処理手段により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶手段から読み出して前記表示部に表示させる表示制御手段、
として機能させるための表示制御プログラム。 A portable display device including a display unit and a microphone,
Sound processing means for determining the frequency of the maximum sound pressure from the frequency component of the sound input to the microphone;
Object storage means for storing an object allocated to each band of sound frequencies divided into a plurality of bands;
Display control means for reading an object assigned to a band including the frequency of the maximum sound pressure determined by the sound processing means from the object storage means and displaying the object on the display unit;
Display control program to function as.
JP2010144822A 2010-06-25 2010-06-25 Portable display and display control program Pending JP2012008842A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010144822A JP2012008842A (en) 2010-06-25 2010-06-25 Portable display and display control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010144822A JP2012008842A (en) 2010-06-25 2010-06-25 Portable display and display control program

Publications (1)

Publication Number Publication Date
JP2012008842A true JP2012008842A (en) 2012-01-12

Family

ID=45539295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010144822A Pending JP2012008842A (en) 2010-06-25 2010-06-25 Portable display and display control program

Country Status (1)

Country Link
JP (1) JP2012008842A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016139881A (en) * 2015-01-27 2016-08-04 国立大学法人 名古屋工業大学 Head mount display
JP2019134426A (en) * 2018-01-31 2019-08-08 株式会社東芝 Wireless terminal, wireless system, and wireless communication method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123448A (en) * 1994-10-18 1996-05-17 Sega Enterp Ltd Image processor using waveform analysis of sound signal
JP2005099418A (en) * 2003-09-25 2005-04-14 Casio Comput Co Ltd Object display device and program
JP2009543108A (en) * 2006-06-27 2009-12-03 アベ フォン ケイエフティー System and method for visually presenting audio signals
JP2010048901A (en) * 2008-08-19 2010-03-04 Chubu Electric Power Co Inc Advertising device and control method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123448A (en) * 1994-10-18 1996-05-17 Sega Enterp Ltd Image processor using waveform analysis of sound signal
JP2005099418A (en) * 2003-09-25 2005-04-14 Casio Comput Co Ltd Object display device and program
JP2009543108A (en) * 2006-06-27 2009-12-03 アベ フォン ケイエフティー System and method for visually presenting audio signals
JP2010048901A (en) * 2008-08-19 2010-03-04 Chubu Electric Power Co Inc Advertising device and control method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016139881A (en) * 2015-01-27 2016-08-04 国立大学法人 名古屋工業大学 Head mount display
JP2019134426A (en) * 2018-01-31 2019-08-08 株式会社東芝 Wireless terminal, wireless system, and wireless communication method

Similar Documents

Publication Publication Date Title
US9466316B2 (en) Device, method and system for instant real time neuro-compatible imaging of a signal
Smith et al. The processing and perception of size information in speech sounds
JP5881263B2 (en) Display of sound status on wearable computer system
US20130282379A1 (en) Method and apparatus for analyzing animal vocalizations, extracting identification characteristics, and using databases of these characteristics for identifying the species of vocalizing animals
EP2166432B1 (en) Method for automatically producing haptic events from a digital audio signal
JP4065314B2 (en) Target sound analysis apparatus, target sound analysis method, and target sound analysis program
KR101550925B1 (en) System and method for automatically producing haptic events from a digital audio file
WO2021074107A1 (en) Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
KR101724939B1 (en) System and method for predicting intention of user using brain wave
WO2018053465A1 (en) Speech-based audio indicators
US20100134261A1 (en) Sensory outputs for communicating data values
JP6231681B2 (en) Respiratory sound analysis device, respiratory sound analysis method, computer program, and recording medium
US9002035B2 (en) Graphical audio signal control
US20190333496A1 (en) Spatialized verbalization of visual scenes
JP2012008842A (en) Portable display and display control program
JP2008054850A (en) Program, information storage medium, and game device
JP4595934B2 (en) Voice evaluation apparatus and voice evaluation method
JP3174777B2 (en) Signal processing method and apparatus
EP3786942A1 (en) Musical instrument tuning
CN115240618A (en) Method, device, equipment and medium for marking click label
JP2006048195A (en) Visualization method for time-series data, visualization program and visualization system
WO2016039465A1 (en) Acoustic analysis device
JPWO2015145763A1 (en) Respiratory sound analysis device, respiratory sound analysis method, computer program, and recording medium
JP4580812B2 (en) Video generation method, stand-alone video playback device, and network distribution video playback system
KR20170068795A (en) Method for Visualization of Sound and Mobile terminal using the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130522

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140408