JP2009111833A - Information presenting device - Google Patents

Information presenting device Download PDF

Info

Publication number
JP2009111833A
JP2009111833A JP2007283336A JP2007283336A JP2009111833A JP 2009111833 A JP2009111833 A JP 2009111833A JP 2007283336 A JP2007283336 A JP 2007283336A JP 2007283336 A JP2007283336 A JP 2007283336A JP 2009111833 A JP2009111833 A JP 2009111833A
Authority
JP
Japan
Prior art keywords
information
information presentation
unit
image
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007283336A
Other languages
Japanese (ja)
Inventor
Masahito Matsushita
雅仁 松下
Kazuo Hajima
一夫 羽島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007283336A priority Critical patent/JP2009111833A/en
Publication of JP2009111833A publication Critical patent/JP2009111833A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information presenting device which is improved in the degree of attention, and which is excellent in an information transmitting force by outputting a voice to a viewer at to a viewing timing while preventing it from becoming a noise to a non-viewer. <P>SOLUTION: A face image detection part 6 estimates the location of a person by detecting a face image facing an image information presenting part 1 by using an image photographed with a person detection camera 5. A presentation content control part 4 presents voice information to a pertinent location by controlling the voice information presentation part 2 using a narrow directivity speaker based on the location information from the face image detection part 6. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、カメラ映像から検出された顔画像の情報を用いて、ディスプレイへの画像情報とスピーカへの音声情報を制御する機能を備えた情報提示装置に関するものである。   The present invention relates to an information presentation apparatus having a function of controlling image information on a display and audio information on a speaker using information on a face image detected from a camera image.

従来の情報表示装置及び情報収集装置では、表示装置への視聴者の視線をカメラ画像によって検出し、視線に合わせて表示内容を制御している。しかし視聴者ごとに音声を流す事はできないため、音声を流さないか、もしくは、表示装置付近全体に同じ音声を流していた。（例えば、特許文献１参照）。   In a conventional information display device and information collection device, a viewer's line of sight to the display device is detected by a camera image, and display contents are controlled in accordance with the line of sight. However, since the audio cannot be played for each viewer, the audio is not played or the same sound is played throughout the vicinity of the display device. (For example, refer to Patent Document 1).

特許第３５７９２１８号公報（第２図）Japanese Patent No. 3579218 (FIG. 2)

従来の情報表示装置は、表示を見ない人にとっては、表示装置付近全体に音声を流すと騒音になるという欠点があった。また、表示を見ている人にとっては、音声が無いか、あるいはあっても音声のタイミングがずれているため、情報伝達力に欠けるといった問題点があった。   The conventional information display device has a drawback that, for those who do not see the display, noise is generated when sound is played around the entire display device. In addition, there is a problem for a person watching the display that there is no sound, or even if there is sound, the timing of the sound is shifted, so that the information transmission ability is lacking.

この発明は、上述のような問題を解決するためになされたもので、非視聴者には騒音にならず、視聴者には見るタイミングに合わせて音声を流すことにより、注目度が向上し、情報伝達力に優れた情報提示装置を得ることを目的とする。   The present invention was made to solve the above-described problems, and it does not make noise to non-viewers, but the degree of attention is improved by playing audio in accordance with the timing of viewing to the viewers. It aims at obtaining the information presentation apparatus excellent in the information transmission power.

この発明に係る情報提示装置では、顔画像検出部は、人物検出カメラによって撮影された画像を用い、画像情報提示部を向いている顔画像を検出して当該人物の位置を推定し、提示内容制御部は、顔画像検出部からの位置情報に基づき、狭指向性スピーカを用いた音声情報提示部を制御して当該位置に向けて音声情報を提示するものである。   In the information presentation device according to the present invention, the face image detection unit uses the image taken by the person detection camera, detects the face image facing the image information presentation unit, estimates the position of the person, The control unit controls the audio information presentation unit using a narrow directivity speaker based on the position information from the face image detection unit, and presents the audio information toward the position.

この発明に係る情報提示装置は、画像情報提示部を見るタイミングに合わせて狭指向性のスピーカで音声情報を提示するので、注目度が向上し情報伝達力に優れた情報提示装置を得る事ができると共に、非視聴者にとっては騒音とならず静寂を保つことができる。   Since the information presentation device according to the present invention presents audio information with a narrow directivity speaker in accordance with the timing of viewing the image information presentation unit, it is possible to obtain an information presentation device with improved attention and excellent information transmission ability. In addition, it can be quiet for non-viewers without noise.

実施の形態１．
図１は、この発明を実施するための実施の形態１における情報提示装置のブロック図である。情報提示装置は、画像情報を表示する画像情報提示部１、音声情報を提示する音声情報提示部２、画像および音声の提示内容が記録されている提示情報記録部３、提示情報記録部３から画像情報提示部１及び音声情報提示部２への提示内容を読み出すとともにこれらを制御する提示内容制御部４、画像情報提示部１を注視している人物の顔が撮影可能な位置に設置された人物検出カメラ５、人物検出カメラ５によって撮影された映像から、視聴者の顔画像を検出する顔画像検出部６から構成される。 Embodiment 1 FIG.
FIG. 1 is a block diagram of an information presentation apparatus according to Embodiment 1 for carrying out the present invention. The information presenting apparatus includes an image information presenting unit 1 that displays image information, an audio information presenting unit 2 that presents audio information, a presentation information recording unit 3 in which image and audio presentation contents are recorded, and a presentation information recording unit 3. The presentation contents to the image information presentation unit 1 and the voice information presentation unit 2 are read out, and the presentation content control unit 4 for controlling them is installed, and the face of the person watching the image information presentation unit 1 is installed at a position where it can be photographed. The human detection camera 5 includes a face image detection unit 6 that detects the face image of the viewer from the video captured by the human detection camera 5.

なお、音声情報提示部２は、強い超音波が空気中を伝搬する過程で発生するひずみ成分を利用して可聴帯域の音を得るパラメトリックスピーカーの原理を利用しており、限られた狭い範囲内でのみ聞こえる狭指向性スピーカから成り立っている。例えば、このスピーカは、スピーカの向いている方向に対して約±１０°にしか音は広がらない（約２０°の角度で広がる）。   The voice information presentation unit 2 uses the principle of a parametric speaker that obtains sound in the audible band by using distortion components generated in the process of propagation of strong ultrasonic waves in the air. It consists of a narrow directional speaker that can only be heard at For example, in this speaker, the sound spreads only about ± 10 ° with respect to the direction in which the speaker faces (spreads at an angle of about 20 °).

次に本発明の動作内容について説明する。提示情報記録部３の何らかの情報が画像情報提示部１に表示されているとき、この情報を注視している人が存在するかを調べるため、顔画像検出部６は、人物検出カメラ５で撮影された画像の中から、画像情報提示部１を向いている顔画像を探索する。顔画像の検出には、種々の方法が提案されているが、例えば、特開２００４−２５２９４０号公報や、Ｐａｕｌ Ａ． Ｖｉｏｌａ、Ｍｉｃｈａｅｌ Ｊ． Ｊｏｎｅｓ、「Ｆａｓｔ ａｎｄ Ｒｏｂｕｓｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ Ａｓｙｍｍｅｔｒｉｃ ＡｄａＢｏｏｓｔ ａｎｄ ａ Ｄｅｔｅｃｔｏｒ Ｃａｓｃａｄｅ．」 Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ １４、ｐ１３１１−１３１８、２００１、ＭＩＴ Ｐｒｅｓｓ等で開示されている画像処理の手法を使う事ができる。人物検出カメラ５が画像情報提示部１の中央部の直上に設置されている場合、例えば、顔画像検出部６は、この人物検出カメラ５で撮影された画像に映っている人物の顔の左右の輪郭からの口や目等までの距離を求める。この左右の距離が等しい場合、中心を見ている顔画像と推定できるため（正面顔画像）、当該人物は人物検出カメラ５及び画像情報提示部１の中心方向を見ていることになる。このような手法で、顔画像検出部６では、人物検出カメラ５で撮影された画像の中央や端等に写っている人物の中から画像情報提示部１の中心を向いている顔画像を検出し、画像中の顔の位置、および顔の大きさから、当該人物の立ち位置をカメラからの相対位置で推定し、提示内容制御部４に伝達する。提示内容制御部４では、顔画像検出部６から受け取った視聴者の位置情報に基づき、音声情報提示部２を制御し、当該位置に向けて音声情報を提示する。このとき、画像情報提示部１には、当初の情報や一般的な情報を流しつづけても良いし、視聴者が注視するタイミングに合わせ、音声にリンクした画像を最初から再生しても良い。   Next, the operation content of the present invention will be described. When any information in the presentation information recording unit 3 is displayed on the image information presentation unit 1, the face image detection unit 6 takes a picture with the person detection camera 5 in order to check whether there is a person who is gazing at this information. A face image facing the image information presentation unit 1 is searched from the images that have been displayed. Various methods have been proposed for detecting a face image. For example, Japanese Patent Application Laid-Open No. 2004-252940, Paul A. et al. Viola, Michael J. et al. Jones, “Fast and Robust Classification using Asymmetric AdaBoost and a Detector Cascade.” Advanced in Processing Information Systems 14 and p1311-13, which are used in Advanced Information Processing 14 and p1311-13. When the person detection camera 5 is installed immediately above the center of the image information presentation unit 1, for example, the face image detection unit 6 has left and right faces of a person appearing in an image captured by the person detection camera 5. Find the distance from the contour to the mouth and eyes. When the left and right distances are equal, it can be estimated that the face image is the center image (front face image), and thus the person is looking at the center direction of the person detection camera 5 and the image information presentation unit 1. With such a method, the face image detection unit 6 detects a face image that faces the center of the image information presentation unit 1 from the person shown in the center or the edge of the image taken by the person detection camera 5. Then, from the position of the face in the image and the size of the face, the standing position of the person is estimated by the relative position from the camera, and is transmitted to the presentation content control unit 4. The presentation content control unit 4 controls the audio information presentation unit 2 based on the viewer position information received from the face image detection unit 6 and presents the audio information toward the position. At this time, the image information presenting unit 1 may continue to flow original information or general information, or an image linked to sound may be reproduced from the beginning in accordance with the timing when the viewer gazes.

なお、画像を最初から再生する場合、画像情報提示部１を向いていた顔画像が、画像情報提示部を向かなくなった時、つまり、画面を見なくなったときや、移動等で居なくなった時に、提示内容制御部４は、音声情報提示部２からの情報提示を中止すると共に、提示情報記録部３からの読み出し制御をする。例えば、画像情報提示部１には初期画面や一般情報に切替えても良い。その後、再度、同一顔画像が画像情報提示部１を向いた時、つまり、再度画面を見たり、移動等で戻ってきた際には、先程の情報提示を中止した所から再開してもよい。   When the image is played back from the beginning, the face image facing the image information presenting unit 1 is no longer facing the image information presenting unit, that is, when the screen is no longer seen or is not moved. Sometimes, the presentation content control unit 4 stops the information presentation from the voice information presentation unit 2 and controls the reading from the presentation information recording unit 3. For example, the image information presentation unit 1 may be switched to an initial screen or general information. After that, when the same face image faces the image information presentation unit 1 again, that is, when the screen is viewed again or returned by movement or the like, the information presentation may be resumed from the point where the previous information presentation was stopped. .

また、外部マイクを備えて情報提示装置近辺の騒音レベルを測定し、それに合わせて音声情報提示部２で狭指向性スピーカの音量を調整してもよい。なお、あらかじめ人物検出カメラ５内の人数と情報提示装置近辺の騒音レベルの関係を測定しておき、その結果に基づいて、人物検出カメラ５内の人数に合わせて音声情報提示部２で狭指向性スピーカの音量を調整してもよい。   In addition, an external microphone may be provided to measure the noise level in the vicinity of the information presentation device, and the sound information presentation unit 2 may adjust the volume of the narrow directivity speaker accordingly. Note that the relationship between the number of people in the person detection camera 5 and the noise level in the vicinity of the information presentation device is measured in advance, and based on the result, the voice information presentation unit 2 narrowly points to the number of people in the person detection camera 5. You may adjust the volume of a sound speaker.

また、画像情報提示部１を向いている顔画像の経過時間、視線の動き、まばたきの回数の少なくとも１つのデータに基づき、提示内容制御部４は、情報提示内容を変更してもよい。例えば、視線がふらふらと頻繁に移動する時は、提示情報に興味が薄いと思われるので、提示情報の内容を変えたり、容易な内容に切り替えると良い。一方、画像情報提示部１を注視している時間が長かったり、まばたきの回数が少なくなってきた時は、提示情報の内容に興味を示していると思われるので、情報を追加提示したり、専門的な内容に切り替えると良い。   The presentation content control unit 4 may change the information presentation content based on at least one data of the elapsed time of the face image facing the image information presentation unit 1, the movement of the line of sight, and the number of blinks. For example, when the line of sight frequently moves, it is considered that the presentation information is less interested, so it is preferable to change the contents of the presentation information or switch to easy contents. On the other hand, when it takes a long time to watch the image information presentation unit 1 or when the number of blinks decreases, it seems that the content of the presentation information is interested. Switch to specialized content.

このような構成によれば、画像情報提示部１を見るタイミングに合わせて狭指向性のスピーカで音声情報を提示するので、視聴者の注目度が向上し情報伝達力に優れた情報提示装置が得られると共に、視聴者以外の人物に音声情報を提示することが無くなるため、視聴者以外の人物にとって騒音とならず静寂を保てるという効果がある。   According to such a configuration, since the audio information is presented by the narrow directivity speaker in accordance with the timing when the image information presentation unit 1 is viewed, an information presentation device that improves the degree of attention of the viewer and has excellent information transmission capability. In addition to being obtained, voice information is not presented to a person other than the viewer, so that there is an effect that the person other than the viewer can be kept quiet without generating noise.

また、一度視聴を止めた後、再度視聴を始めた視聴者に先程の中断したところから再生するので、同じ内容の情報を再度視聴する必要が無く、効率的に情報を伝達する事が可能となる。   In addition, once viewing is stopped, playback is resumed from the previous interruption to the viewer who has started viewing again, so it is not necessary to view the same information again, and the information can be efficiently transmitted. Become.

また、情報提示装置近辺の人数や騒音レベルに応じて狭指向性のスピーカの音量を調整するので、音声情報が聞きやすくなり、情報伝達力が向上する。   Further, since the volume of the narrow directivity speaker is adjusted according to the number of people in the vicinity of the information presentation device and the noise level, it is easy to hear voice information and the information transmission ability is improved.

また、経過時間、視線の動き、まばたきの回数といった注視動作に応じて情報提示内容を変更するので、個人の興味に合った効率的な情報を伝達する事ができ、よりいっそう注目度を向上させることができるといった効果もある。   In addition, since the information presentation content is changed according to the gaze movement such as the elapsed time, the movement of the line of sight, and the number of blinks, it is possible to transmit efficient information that suits the individual's interests and further improve the degree of attention There is also an effect that can be.

実施の形態２．
図２乃至４は、この発明を実施するための実施の形態２における情報提示装置のブロック図である。これらの図は、実施の形態１における構成に加え、視聴者の立ち位置に応じてディスプレイの向きを変更できるディスプレイ雲台部７を備えたもの（図２）、狭指向性スピーカの向きを変更出来るスピーカ雲台部８を備えたもの（図３）、ディスプレイ雲台部７と狭指向性スピーカの向きを変更出来るスピーカ雲台部８を共に備えたもの（図４）を示す。 Embodiment 2. FIG.
2 to 4 are block diagrams of an information presentation apparatus according to Embodiment 2 for carrying out the present invention. In addition to the configuration in the first embodiment, these figures include a display pan head unit 7 that can change the orientation of the display according to the standing position of the viewer (FIG. 2), and the orientation of the narrow directional speaker is changed. FIG. 3 shows a speaker head unit 8 that can be changed (FIG. 3) and a speaker head unit 8 that can change the orientation of the display head unit 7 and the narrow directivity speaker (FIG. 4).

次に本発明の動作内容について説明する。例えば人物検出カメラ５が画像情報提示部１の中央部の直上に固定され、画像情報提示部１と同時に動くとする。画像情報提示部１の中心を見ている人が画面の中心に相対する位置に居るとすると、当該人物は人物検出カメラ５の撮影画像の中央部に写っていることになる。また、画像情報提示部１の中心を見ている人が画面の隅に相対する位置に居るとすると、当該人物は人物検出カメラ５の撮影画像の隅に写っていることになる。つまり、画像情報提示部１の中心を見ている人に対し画面を正対させるには、人物検出カメラ５の撮影画像の中央部に当該人物が写るようにディスプレイ雲台部７が画像情報提示部１を回転させると良い。   Next, the operation content of the present invention will be described. For example, it is assumed that the person detection camera 5 is fixed immediately above the center of the image information presentation unit 1 and moves simultaneously with the image information presentation unit 1. If a person looking at the center of the image information presenting unit 1 is at a position opposite to the center of the screen, the person is reflected in the center of the photographed image of the person detection camera 5. Further, if the person looking at the center of the image information presentation unit 1 is at a position opposite to the corner of the screen, the person is reflected in the corner of the photographed image of the person detection camera 5. That is, in order to make the screen face the person looking at the center of the image information presentation unit 1, the display head unit 7 presents the image information so that the person appears in the center of the photographed image of the person detection camera 5. The part 1 may be rotated.

また、他の方法としては、人物検出カメラ５の画像中の顔の位置、および顔の大きさから、当該人物の立ち位置の座標を求める。この座標と、画像情報提示部１の中央部の位置座標より、画像情報提示部１から当該人物への位置ベクトルが計算できる。また、画像情報提示部１の画面に垂直な法線ベクトルはディスプレイ雲台部７の動きから計算できる。この２つのベクトルの成す角度を計算し、その角度に相当する量だけディスプレイ雲台部７が画像情報提示部１を回転させると、画像情報提示部１を見ている人に対し画面を正対させることができる。   As another method, the coordinates of the standing position of the person are obtained from the position of the face in the image of the person detection camera 5 and the size of the face. A position vector from the image information presentation unit 1 to the person can be calculated from the coordinates and the position coordinates of the central part of the image information presentation unit 1. Further, the normal vector perpendicular to the screen of the image information presentation unit 1 can be calculated from the movement of the display head unit 7. When the angle formed by these two vectors is calculated and the display head unit 7 rotates the image information presentation unit 1 by an amount corresponding to the angle, the screen is directly opposed to the person who is viewing the image information presentation unit 1. Can be made.

また、スピーカ雲台部８の動きから狭指向性のスピーカが向いている方向ベクトルが計算できる。一方、スピーカの位置座標と当該人物の位置座標より、スピーカから当該人物への位置ベクトルが計算できる。これら２つのベクトルの成す角度を計算し、その角度に相当する量だけスピーカ雲台部８が音声情報提示部２の向きを変更すると、狭指向性スピーカは当該人物に向く事になる。   Further, the direction vector in which the narrow directivity speaker is directed can be calculated from the movement of the speaker head unit 8. On the other hand, a position vector from the speaker to the person can be calculated from the position coordinates of the speaker and the position coordinates of the person. When the angle formed by these two vectors is calculated, and the speaker head unit 8 changes the direction of the audio information presentation unit 2 by an amount corresponding to the angle, the narrow directivity speaker is directed to the person.

このような構成によれば、画像情報提示部１を注視している視聴者に対して、画像情報をより見やすい状態にディスプレイの向きを変更することができるため、注視動作を始めた視聴者に対して、よりいっそう注目度を向上させることができる。また、狭指向性スピーカの向きを変更し、音声情報をより聞きやすい状態にすることができるため、注視動作を始めた視聴者に対して、よりいっそう注目度を向上させることができる。   According to such a configuration, it is possible to change the orientation of the display so that the image information can be viewed more easily with respect to the viewer watching the image information presentation unit 1. On the other hand, the degree of attention can be further improved. Further, since the direction of the narrow directivity speaker can be changed to make it easier to hear the audio information, the degree of attention can be further improved with respect to the viewer who has started the gaze operation.

実施の形態３．
図５と図６は、それぞれこの発明を実施するための実施の形態３における情報提示装置のブロック図と、システム構成を示すイメージ図である。視聴エリアを複数のブロックに分割し、各ブロックごとに音声情報を提示するのに必要な数の狭指向性スピーカからなる音声情報提示部２によって構成されている。 Embodiment 3 FIG.
FIG. 5 and FIG. 6 are a block diagram and an image diagram showing the system configuration of the information presentation apparatus in the third embodiment for carrying out the present invention, respectively. The viewing area is divided into a plurality of blocks, and is constituted by a voice information presentation unit 2 including a number of narrow directivity speakers necessary for presenting voice information for each block.

次に本発明の動作内容について説明する。顔画像検出部６は、人物検出カメラ５で撮影された画像を元に、画像情報提示部１を向いている人物の位置を推定する。その位置に応じ、提示内容制御部４は、音声情報を提示する狭指向性スピーカを選択し、視聴者が注視を開始したタイミングにあわせて音声情報の提示を開始する。また、複数の人間が異なるブロックにいる場合で異なるタイミングで視聴を開始した際にも、各々のタイミングに合わせて音声情報提示部２を制御し音声情報を提示する。また、画像情報提示部を見ながら移動する人がいるときは、その人物の移動にあわせて、エリアごとにスピーカを切り替える。   Next, the operation content of the present invention will be described. The face image detection unit 6 estimates the position of the person facing the image information presentation unit 1 based on the image taken by the person detection camera 5. In accordance with the position, the presentation content control unit 4 selects a narrow directivity speaker that presents audio information, and starts presenting the audio information in accordance with the timing when the viewer starts gazing. Also, when viewing is started at different timings when a plurality of persons are in different blocks, the audio information presentation unit 2 is controlled in accordance with each timing to present audio information. When there is a person who moves while looking at the image information presentation unit, the speaker is switched for each area in accordance with the movement of the person.

なお、画像情報提示部１として、見る角度によって複数の情報を表示できるディスプレイを用いたり、１台の画像情報提示部を複数区画に分割したり、画像情報提示部を複数台設置しても良い。このときは、画面を見ている人の視線に応じ、どの画面を見ているかを推定し、当該人物が見ている画面ごとに情報表示を行うと良い。   As the image information presentation unit 1, a display capable of displaying a plurality of information depending on the viewing angle may be used, one image information presentation unit may be divided into a plurality of sections, or a plurality of image information presentation units may be installed. . At this time, it is preferable to estimate which screen is viewed according to the line of sight of the person who is viewing the screen, and to display information for each screen viewed by the person.

また、複数の画像情報提示部１ごとにディスプレイ雲台を取り付けたり、音声情報提示部２にスピーカ雲台を取り付けてもよい。   Further, a display head may be attached to each of the plurality of image information presentation units 1, or a speaker head may be attached to the audio information presentation unit 2.

このような構成によれば、注視者の位置に応じて音声情報を提示する狭指向性スピーカを選択することができるので、注視動作を始めた視聴者に対して、よりいっそう注目度を向上させることができる。また、複数人が同時に注視している場合でも、各視聴者に合わせた音声情報の提示が可能になる。また、画面を見ながら移動している人物にも適切に音声情報を提供できるため、情報伝達力が向上するという効果がある。   According to such a configuration, it is possible to select a narrow directional speaker that presents audio information according to the position of the gaze viewer, so that the degree of attention is further improved with respect to the viewer who has started the gaze operation. be able to. Further, even when a plurality of people are gazing at the same time, it is possible to present audio information tailored to each viewer. In addition, since voice information can be appropriately provided to a person who is moving while looking at the screen, there is an effect that information transmission ability is improved.

また、見る角度によって複数の情報を表示できるディスプレイを用いたり、画像情報提示部を複数区画に分割したり、複数台設置すると、複数の人に合わせて個別に画像と音声情報を提示できるので、より情報伝達力が向上する。   Also, if you use a display that can display multiple information depending on the viewing angle, divide the image information presentation unit into multiple sections, or install multiple units, you can present images and audio information individually for multiple people, The information transmission ability is improved.

また、ディスプレイ雲台をつけると特定の視聴者が見やすくなるので、より情報伝達力が向上する。また、スピーカ雲台を備えると、同一ブロックにいる複数の人が別々のタイミングで視聴を始めても、隣接ブロックにあるスピーカの向きを変えて当該ブロックに音声情報を提示できるので、ブロックに限られずに複数の人に情報を提示できると共に、聞きやすい音声となるので、情報伝達力が向上する。   In addition, when a display head is attached, it becomes easier for a specific viewer to see, so the information transmission ability is further improved. In addition, if a speaker head is provided, even if multiple people in the same block start viewing at different timings, audio information can be presented to the block by changing the direction of the speaker in the adjacent block, so it is not limited to the block In addition to presenting information to a plurality of people, the voice becomes easy to hear, so the information transmission ability is improved.

実施の形態４．
実施の形態３までは、複数の人が近接位置にいる場合、視聴していない隣の人にも音声情報が提示される可能性があるが、ここでは、複数の人物が近接位置にいる場合でも、当該人物のみに音声情報を提示する装置を示す。 Embodiment 4 FIG.
Until the third embodiment, when a plurality of people are in the proximity position, there is a possibility that the voice information may be presented to a neighbor who is not viewing, but here, a plurality of people are in the proximity position However, an apparatus that presents audio information only to the person is shown.

例えば図７に示すようにＡ〜Ｃの３人が並んでいる時に、中央のＢ氏が画像情報提示部１への注視を開始したとする。複数の人の距離が近い場合、狭指向性のスピーカでも複数の人物に音声情報を提示する場合がある。スピーカ２１はＢ氏とＣ氏に音声情報を流す事になり、視聴していないＣ氏にとっては騒音となる。そのような時は隣接する狭指向性のスピーカ２２の音声の波長の位相を半波長ずらせはよい。その結果、Ｃ氏のいるエリアでは音の干渉のため音を消す事ができる。   For example, as shown in FIG. 7, it is assumed that Mr. B at the center starts gazing at the image information presentation unit 1 when three persons A to C are lined up. When a plurality of people are close to each other, audio information may be presented to a plurality of people even with a narrow directivity speaker. The speaker 21 will send audio information to Mr. B and Mr. C, and will be noisy for Mr. C who is not viewing. In such a case, the phase of the sound wavelength of the adjacent narrow directivity speaker 22 may be shifted by half a wavelength. As a result, in the area where Mr. C is present, the sound can be erased due to sound interference.

このような構成としたことにより、複数の人物が近接位置にいても、視聴を始めた当該人物のみに音声情報を提示できるため、当該人物には情報伝達力が向上すると共に、近接する人に対しても騒音とはならず、快適にする事が可能となる。   By adopting such a configuration, even when a plurality of persons are close to each other, audio information can be presented only to the person who has started viewing. However, it does not make noise and can be made comfortable.

この発明の実施の形態１を示す情報提示装置のブロック図である。It is a block diagram of the information presentation apparatus which shows Embodiment 1 of this invention. この発明の実施の形態２を示す情報提示装置のブロック図である。It is a block diagram of the information presentation apparatus which shows Embodiment 2 of this invention. この発明の実施の形態２を示す情報提示装置のブロック図である。It is a block diagram of the information presentation apparatus which shows Embodiment 2 of this invention. この発明の実施の形態２を示す情報提示装置のブロック図である。It is a block diagram of the information presentation apparatus which shows Embodiment 2 of this invention. この発明の実施の形態３を示す情報提示装置のブロック図である。It is a block diagram of the information presentation apparatus which shows Embodiment 3 of this invention. この発明の実施の形態３を示す情報提示装置のシステム構成を示すイメージ図である。It is an image figure which shows the system configuration | structure of the information presentation apparatus which shows Embodiment 3 of this invention. この発明の実施の形態４を示すイメージ図である。It is an image figure which shows Embodiment 4 of this invention.

符号の説明Explanation of symbols

１ 画像情報提示部
２ 音声情報提示部
３ 提示情報記録部
４ 提示内容制御部
５ 人物検出カメラ
６ 顔画像検出部
７ ディスプレイ雲台部
８ スピーカ雲台部
２１、２２ 狭指向性スピーカ DESCRIPTION OF SYMBOLS 1 Image information presentation part 2 Audio | voice information presentation part 3 Presentation information recording part 4 Presentation content control part 5 Person detection camera 6 Face image detection part 7 Display head part 8 Speaker head part 21, 22 Narrow directivity speaker

Claims (5)

提示情報記録部に記録された情報を表示する画像情報提示部と、
人物を検出する人物検出カメラと、
前記人物検出カメラの画像から、前記画像情報提示部を向いている顔画像を検出するとともに当該人物の位置を推定する顔画像検出部と、
前記顔画像検出部からの位置情報に基づき、狭指向性スピーカを用いた音声情報提示部を制御し、当該位置に向けて音声情報を提示する提示内容制御部とを備えた情報提示装置。 An image information presentation unit for displaying information recorded in the presentation information recording unit;
A person detection camera for detecting a person;
A face image detection unit for detecting a face image facing the image information presentation unit and estimating the position of the person from the image of the person detection camera;
An information presentation apparatus comprising: a presentation content control unit configured to control a voice information presentation unit using a narrow directivity speaker based on position information from the face image detection unit and present voice information toward the position. 画像情報提示部を動かすディスプレイ雲台と、音声情報提示部を動かすスピーカ雲台のうち少なくとも一つを備えた請求項１記載の情報提示装置。 The information presentation apparatus according to claim 1, further comprising at least one of a display platform for moving the image information presentation unit and a speaker platform for moving the audio information presentation unit. 音声情報提示部が視聴エリアをブロック分けし、ブロック毎に設けた狭指向性スピーカを備えた請求項１記載の情報提示装置。 The information presentation apparatus according to claim 1, wherein the audio information presentation unit divides the viewing area into blocks and includes a narrow directivity speaker provided for each block. 画像情報提示部を向いている顔画像の経過時間、視線の動き、まばたきの回数の少なくとも１つのデータに基づき、情報提示内容を変更することを特徴とする請求項１記載の情報提示装置。 2. The information presentation apparatus according to claim 1, wherein the information presentation content is changed based on at least one data of an elapsed time of a face image facing the image information presentation unit, movement of line of sight, and number of blinks. 音声情報提示部が複数の狭指向性スピーカで構成され、音声の波長の位相を制御し、特定の人物に音声情報を提示するものであることを特徴とする請求項１記載の情報提示装置。 2. The information presentation apparatus according to claim 1, wherein the voice information presentation unit includes a plurality of narrow directivity speakers, controls the phase of the wavelength of the voice, and presents the voice information to a specific person.
JP2007283336A 2007-10-31 2007-10-31 Information presenting device Pending JP2009111833A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007283336A JP2009111833A (en) 2007-10-31 2007-10-31 Information presenting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007283336A JP2009111833A (en) 2007-10-31 2007-10-31 Information presenting device

Publications (1)

Publication Number Publication Date
JP2009111833A true JP2009111833A (en) 2009-05-21

Family

ID=40779821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007283336A Pending JP2009111833A (en) 2007-10-31 2007-10-31 Information presenting device

Country Status (1)

Country Link
JP (1) JP2009111833A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011239047A (en) * 2010-05-07 2011-11-24 Nippon Telegr & Teleph Corp <Ntt> Sound reproducing system
JP2012029101A (en) * 2010-07-23 2012-02-09 Nec Casio Mobile Communications Ltd Acoustic equipment
FR3000635A1 (en) * 2013-01-02 2014-07-04 Ind Bois Sound diffusion system for use in e.g. bars, has sound and music processing computer to analyze and process incoming data, where data include data from sound and music database and database of user parameters including location and activity
WO2014122723A1 (en) * 2013-02-05 2014-08-14 Toa株式会社 Amplification system
JP2015070413A (en) * 2013-09-27 2015-04-13 太平洋セメント株式会社 Parametric speaker
JP2015531130A (en) * 2012-08-16 2015-10-29 アルカテル−ルーセント A method for supplying information associated with an event to a person
US10841690B2 (en) 2019-03-29 2020-11-17 Asahi Kasei Kabushiki Kaisha Sound reproducing apparatus, sound reproducing method, and computer readable storage medium
US10945088B2 (en) 2019-06-05 2021-03-09 Asahi Kasei Kabushiki Kaisha Sound reproducing apparatus capable of self diagnostic and self-diagnostic method for a sound reproducing apparatus
US10999677B2 (en) 2019-05-29 2021-05-04 Asahi Kasei Kabushiki Kaisha Sound reproducing apparatus having multiple directional speakers and sound reproducing method
US11102572B2 (en) 2019-03-29 2021-08-24 Asahi Kasei Kabushiki Kaisha Apparatus for drawing attention to an object, method for drawing attention to an object, and computer readable non-transitory storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05333878A (en) * 1992-06-03 1993-12-17 Matsushita Electric Ind Co Ltd Crosstalk sound controller
JPH10234100A (en) * 1997-02-19 1998-09-02 Ngk Insulators Ltd Transducer array
JP2001016514A (en) * 1999-06-30 2001-01-19 Matsushita Electric Ind Co Ltd Display device with recognizing function
JP2005176221A (en) * 2003-12-15 2005-06-30 Mitsubishi Electric Engineering Co Ltd Sound system
JP2005175618A (en) * 2003-12-08 2005-06-30 Mitsubishi Electric Engineering Co Ltd Acoustic apparatus
WO2005076661A1 (en) * 2004-02-10 2005-08-18 Mitsubishi Denki Engineering Kabushiki Kaisha Mobile body with superdirectivity speaker
JP2007068060A (en) * 2005-09-01 2007-03-15 Yamaha Corp Acoustic reproduction system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05333878A (en) * 1992-06-03 1993-12-17 Matsushita Electric Ind Co Ltd Crosstalk sound controller
JPH10234100A (en) * 1997-02-19 1998-09-02 Ngk Insulators Ltd Transducer array
JP2001016514A (en) * 1999-06-30 2001-01-19 Matsushita Electric Ind Co Ltd Display device with recognizing function
JP2005175618A (en) * 2003-12-08 2005-06-30 Mitsubishi Electric Engineering Co Ltd Acoustic apparatus
JP2005176221A (en) * 2003-12-15 2005-06-30 Mitsubishi Electric Engineering Co Ltd Sound system
WO2005076661A1 (en) * 2004-02-10 2005-08-18 Mitsubishi Denki Engineering Kabushiki Kaisha Mobile body with superdirectivity speaker
JP2007068060A (en) * 2005-09-01 2007-03-15 Yamaha Corp Acoustic reproduction system

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011239047A (en) * 2010-05-07 2011-11-24 Nippon Telegr & Teleph Corp <Ntt> Sound reproducing system
JP2012029101A (en) * 2010-07-23 2012-02-09 Nec Casio Mobile Communications Ltd Acoustic equipment
JP2015531130A (en) * 2012-08-16 2015-10-29 アルカテル−ルーセント A method for supplying information associated with an event to a person
FR3000635A1 (en) * 2013-01-02 2014-07-04 Ind Bois Sound diffusion system for use in e.g. bars, has sound and music processing computer to analyze and process incoming data, where data include data from sound and music database and database of user parameters including location and activity
JPWO2014122723A1 (en) * 2013-02-05 2017-01-26 Toa株式会社 Loudspeaker system
WO2014122723A1 (en) * 2013-02-05 2014-08-14 Toa株式会社 Amplification system
US9648413B2 (en) 2013-02-05 2017-05-09 Toa Corporation Loudspeaker system
JP2015070413A (en) * 2013-09-27 2015-04-13 太平洋セメント株式会社 Parametric speaker
US10841690B2 (en) 2019-03-29 2020-11-17 Asahi Kasei Kabushiki Kaisha Sound reproducing apparatus, sound reproducing method, and computer readable storage medium
US11102572B2 (en) 2019-03-29 2021-08-24 Asahi Kasei Kabushiki Kaisha Apparatus for drawing attention to an object, method for drawing attention to an object, and computer readable non-transitory storage medium
US10999677B2 (en) 2019-05-29 2021-05-04 Asahi Kasei Kabushiki Kaisha Sound reproducing apparatus having multiple directional speakers and sound reproducing method
JP2022534958A (en) * 2019-05-29 2022-08-04 旭化成株式会社 Audio playback device having multiple directional speakers, and audio playback method
JP7425090B2 (en) 2019-05-29 2024-01-30 旭化成株式会社 Audio reproduction device having multiple directional speakers and audio reproduction method
US10945088B2 (en) 2019-06-05 2021-03-09 Asahi Kasei Kabushiki Kaisha Sound reproducing apparatus capable of self diagnostic and self-diagnostic method for a sound reproducing apparatus

Similar Documents

Publication Publication Date Title
JP2009111833A (en) Information presenting device
JP4859876B2 (en) Information processing device
JP5321060B2 (en) Display control device, display system, and television set
EP3264222B1 (en) An apparatus and associated methods
KR20100073493A (en) Apparatus for providing contents according to user&#39;s interest on contents and method thereof
JP2011234343A (en) Video processing apparatus and video processing method
JPH1124603A (en) Information display device and information collecting device
JP2007036846A (en) Motion picture reproducing apparatus and control method thereof
US9531948B2 (en) Voice tracking apparatus and control method therefor
US10354359B2 (en) Video display with pan function controlled by viewing direction
US20110157325A1 (en) Video display apparatus
TW201708928A (en) Video generating system and method thereof
JP5017382B2 (en) Image display device, image processing method, and program
WO2009119288A1 (en) Communication system and communication program
JP2006270711A (en) Information providing device and control program of information providing device
JPWO2011040513A1 (en) Image display device
US11347302B2 (en) Methods and apparatuses relating to the handling of visual virtual reality content
JP4953137B2 (en) Display technology for all-round video
JP2008236679A (en) Videoconference apparatus, control method, and program
JP2009239346A (en) Photographing device
JP5039194B2 (en) Display device and recording method
JP6191333B2 (en) Information processing apparatus, communication system, and program
JP2004248125A (en) Device and method for switching video, program for the method, and recording medium with the program recorded thereon
KR101391942B1 (en) Audio steering video/audio system and providing method thereof
JP4998253B2 (en) Video providing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120821