JP2012253707A - Stereoscopic video display device and sound reproduction device - Google Patents

Stereoscopic video display device and sound reproduction device Download PDF

Info

Publication number
JP2012253707A
JP2012253707A JP2011126958A JP2011126958A JP2012253707A JP 2012253707 A JP2012253707 A JP 2012253707A JP 2011126958 A JP2011126958 A JP 2011126958A JP 2011126958 A JP2011126958 A JP 2011126958A JP 2012253707 A JP2012253707 A JP 2012253707A
Authority
JP
Japan
Prior art keywords
sound
sensor
video
viewer
control data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011126958A
Other languages
Japanese (ja)
Inventor
Shinji Mukai
慎治 向井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2011126958A priority Critical patent/JP2012253707A/en
Publication of JP2012253707A publication Critical patent/JP2012253707A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a stereoscopic video display device with a simple structure, which appropriately realizes stereoscopic viewing effect and acoustic effect even if a viewer moves out of an optimum point, and to provide a sound reproduction device.SOLUTION: The sound reproduction device includes: a sensor 4 for sensing a position of the viewer 15; a human detection controller 6 for generating control data on the basis of position information of the detected viewer 15; a three-dimensional depth adjusting circuit 8 as a correcting section for correcting a three-dimensional depth parameter used for regulating depth feeling in a video on the basis of the control data when a three-dimensional parallax image is generated from inputted video data; and a display 2 as a video output section for outputting the video on the basis of the video data in which the three-dimensional depth parameter is corrected in the three-dimensional depth adjusting circuit 8.

Description

本発明は立体映像表示装置及び音声再生装置に関し、特に、映像の立体感の補正機能を有する立体映像表示装置及び音場の補正機能を有する音声再生装置に関するものである。   The present invention relates to a stereoscopic video display device and an audio playback device, and more particularly to a stereoscopic video display device having a video stereoscopic effect correction function and an audio playback device having a sound field correction function.

立体映像表示装置は、表示する映像を立体的に視聴させることが可能な装置であって、視聴者は、所定の場所において当該装置に表示された映像を見ることによって、その映像を立体的に視聴することができる。この場合、その立体視効果には装置からの距離及び角度によって違いが生じ、当該効果が最適となる距離及び角度(立体視効果の最適点)が存在する。   A stereoscopic video display device is a device capable of stereoscopically viewing a video to be displayed, and a viewer views the video displayed on the device in a predetermined location so that the video is stereoscopically viewed. Can watch. In this case, the stereoscopic effect differs depending on the distance and angle from the apparatus, and there exists a distance and angle (optimum point of the stereoscopic effect) at which the effect is optimal.

一方、音声再生装置は、視聴者に臨場感のある音声を視聴させることが可能な装置であって、視聴者は、所定の場所において当該装置から出力された音声を聴くことによって、その音声を臨場感のある音声として聴くことができる。このとき、装置からの距離及び角度、さらにはリスニングルームに形成される音場の影響により、当該臨場感が効果的に得られる音響効果の最適点が存在する。   On the other hand, an audio playback device is a device that allows a viewer to view a sound with a sense of presence, and the viewer listens to the sound output from the device at a predetermined location, and the sound is reproduced. It can be heard as a realistic sound. At this time, there is an optimum point of the acoustic effect that can effectively provide the realistic sensation due to the distance and angle from the apparatus and the influence of the sound field formed in the listening room.

立体映像表示装置及び音声再生装置において、上記の最適点から外れた位置において視聴者が映像及び音声の視聴をした場合には、それらの効果を十分発揮できなくなる場合がある。   In the stereoscopic video display device and the audio reproduction device, if the viewer views the video and audio at a position deviating from the optimum point, the effects may not be fully exhibited.

この改善策として、立体映像表示装置については、視聴者が移動した先でも視聴者を追随して最適な立体視効果が得られるように、映像コントローラーと空間光変調器とを用いて補正するものが開示されている(例えば、特許文献1参照)。   As an improvement measure, the stereoscopic image display device is corrected by using a video controller and a spatial light modulator so that an optimal stereoscopic effect can be obtained by following the viewer even when the viewer moves. Is disclosed (for example, see Patent Document 1).

また、音声再生装置については、視聴者側に送波素子、装置側に受波素子をそれぞれ有し、双方のデータを演算処理して音声再生装置のイコライザーを調整することで、視聴者が移動した先でも音響効果の最適点を維持するものが開示されている(例えば、特許文献2参照)。   The audio playback device has a transmitting element on the viewer side and a receiving element on the device side, and the viewer moves by adjusting the equalizer of the audio playback device by calculating and processing both data. However, what maintains the optimal point of the acoustic effect is disclosed (for example, see Patent Document 2).

特開平9−149433号公報JP-A-9-149433 特開2003−32799号公報JP 2003-32799 A

従来の視聴者追従型の立体映像表示装置では、映像コントローラーからの信号を空間光変調器により光学的に補正しているので、装置が大掛かりとなり、実現するために費用がかかるという問題があった。   In the conventional viewer-following type stereoscopic video display device, the signal from the video controller is optically corrected by the spatial light modulator, so there is a problem that the device becomes large and expensive to realize. .

また、従来の音場調整機能を有する音声再生装置では、視聴者が超音波を発生する送波素子を持って移動することになり、送波素子を常に携帯しておく必要がある。また、超音波伝送のケーブルが、音声再生装置と視聴者との間の素子同士(送波素子及び受波素子)を接続しておかねばならないという問題があった。   Further, in a conventional audio reproduction device having a sound field adjustment function, a viewer moves with a transmission element that generates ultrasonic waves, and it is necessary to always carry the transmission element. Further, there has been a problem that the ultrasonic transmission cable has to connect elements (transmitting element and receiving element) between the audio reproduction device and the viewer.

本発明は、上記のような問題を解決するためになされたものであり、視聴者が最適点を外れて移動しても、適切に立体視効果及び音響効果を実現させることができる、簡易な構成の立体映像表示装置及び音声再生装置の提供を目的とする。   The present invention has been made to solve the above-described problems, and can easily realize a stereoscopic effect and a sound effect even when the viewer moves outside the optimum point. It is an object of the present invention to provide a stereoscopic video display device and an audio playback device having a configuration.

本発明にかかる立体映像表示装置は、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された映像データから3次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる3次元奥行きパラメータを、前記制御データに基づいて補正する補正部と、前記補正部において前記3次元奥行きパラメータが補正された前記映像データに基づいて、映像を出力する映像出力部とを備えることを特徴とする。   A stereoscopic image display apparatus according to the present invention includes a sensor that detects the position of a viewer, a controller that generates control data based on the position information of the viewer detected by the sensor, and a three-dimensional view from input video data. When generating a parallax image, a correction unit that corrects a three-dimensional depth parameter used to define a sense of depth in a video based on the control data, and the correction unit that has corrected the three-dimensional depth parameter And a video output unit that outputs video based on the video data.

また、本発明にかかる音声再生装置は、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された音声データに基づいて、ビーム音を出力するスピーカーアレイと、前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正する補正部とを備え、前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することを特徴とする。   In addition, an audio reproduction device according to the present invention includes a sensor that detects the position of a viewer, a controller that generates control data based on the position information of the viewer sensed by the sensor, and input audio data. Then, when the beam sound is generated from the speaker array that outputs the beam sound and the sound data, the sound directivity parameter used for defining the directivity of the beam sound is corrected based on the control data. The speaker array outputs the beam sound based on the sound data in which the directivity parameter of the sound is corrected.

本発明にかかる立体映像表示装置によれば、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された映像データから3次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる3次元奥行きパラメータを、前記制御データに基づいて補正する補正部と、前記補正部において前記3次元奥行きパラメータが補正された前記映像データに基づいて、映像を出力する映像出力部とを備えることにより、視聴者が最適点を外れて移動しても、適切に立体視効果を実現させることができる。   According to the stereoscopic video display apparatus according to the present invention, a sensor that detects the position of the viewer, a controller that generates control data based on the position information of the viewer detected by the sensor, and the input video data When generating a three-dimensional parallax image, a correction unit that corrects a three-dimensional depth parameter used for defining a sense of depth in a video based on the control data, and the correction unit corrects the three-dimensional depth parameter. In addition, by providing a video output unit that outputs video based on the video data, a stereoscopic effect can be appropriately realized even if the viewer moves outside the optimum point.

また、本発明にかかる音声再生装置によれば、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された音声データに基づいて、ビーム音を出力するスピーカーアレイと、前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正する補正部とを備え、前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することにより、視聴者が最適点を外れて移動しても、適切に音響効果を実現させることができる。   In addition, according to the audio reproduction device of the present invention, a sensor that detects the position of the viewer, a controller that generates control data based on the position information of the viewer detected by the sensor, and the input audio data Based on the control data, a speaker array that outputs a beam sound, and a sound directivity parameter used to define the directivity of the beam sound when generating the beam sound from the sound data is based on the control data. The speaker array outputs the beam sound based on the sound data in which the sound directivity parameter is corrected, so that the viewer moves out of the optimum point. However, the acoustic effect can be appropriately realized.

実施の形態1にかかる立体映像表示装置の構成図である。1 is a configuration diagram of a stereoscopic video display apparatus according to Embodiment 1; 実施の形態2にかかる立体映像表示装置の構成図である。3 is a configuration diagram of a stereoscopic video display apparatus according to Embodiment 2. FIG.

<実施の形態1>
図1は、本発明にかかる立体映像表示装置の構成図であって、図1において立体映像表示装置1は、音声再生装置としての機能を含む構成となっている。なお、音声再生装置としての機能を含まない場合であっても、立体映像表示装置としての機能を実現することは可能である。
<Embodiment 1>
FIG. 1 is a configuration diagram of a stereoscopic video display apparatus according to the present invention. In FIG. 1, the stereoscopic video display apparatus 1 includes a function as an audio reproduction apparatus. Even when the function as the audio reproduction device is not included, the function as the stereoscopic video display device can be realized.

まず、立体映像表示装置について説明する。立体映像表示装置1は、入力端子13(図においてはアンテナ)から入力される入力信号を、映像及び音声データ処理回路14において受信する。本実施の形態1においては映像及び音声データ処理回路14は、入力信号のうちから映像に関する映像データ及び音声に関する音声データを分離及び抽出し、さらにノイズ除去及び補正処理することが可能であるものとして示しているが、映像データのみを処理する場合であってもよい。ここで、映像データに関連する処理経路は実線で、音声データに関連する処理経路は破線でそれぞれ示している。なお、音声データのみを処理する場合は、後述する音声再生装置の構成として、機能することになる。   First, the stereoscopic video display device will be described. The stereoscopic video display device 1 receives an input signal input from an input terminal 13 (antenna in the figure) at a video and audio data processing circuit 14. In the first embodiment, the video and audio data processing circuit 14 is capable of separating and extracting video data and audio data related to video from the input signal, and further performing noise removal and correction processing. Although shown, only video data may be processed. Here, the processing path related to the video data is indicated by a solid line, and the processing path related to the audio data is indicated by a broken line. Note that when only the audio data is processed, it functions as a configuration of an audio reproduction device to be described later.

映像及び音声データ処理回路14において処理された映像データは、3次元DSP(Digital Signal Processor)7に入力される。   Video data processed by the video and audio data processing circuit 14 is input to a three-dimensional DSP (Digital Signal Processor) 7.

一方で立体映像表示装置1は、人(視聴者)の位置を感知することができるセンサー4を、例えば映像を表示するディスプレイ2の近傍に備えている。センサー4は、赤外線センサー等の無線センサーであることが望ましく、追従システム5により感知する領域(感知エリア)の距離及び方向等が制御される。   On the other hand, the stereoscopic video display device 1 includes a sensor 4 that can sense the position of a person (viewer), for example, in the vicinity of a display 2 that displays video. The sensor 4 is preferably a wireless sensor such as an infrared sensor, and the distance and direction of an area (sensing area) sensed by the tracking system 5 is controlled.

追従システム5は、感知した視聴者15を追従させるようにセンサー4の動作を制御し、さらにセンサー4において感知した人の位置に関する人感信号を受信する。そして当該人感信号を、人感コントローラー6に出力する。なお、当該追従システム5が備わっていない場合であっても、感知エリア内の人の位置を感知できるセンサー4があればよい。   The follow-up system 5 controls the operation of the sensor 4 so as to make the sensed viewer 15 follow, and further receives a human signal relating to the position of the person sensed by the sensor 4. Then, the human motion signal is output to the human motion controller 6. Even if the tracking system 5 is not provided, it is only necessary to have the sensor 4 that can sense the position of a person in the sensing area.

コントローラーとしての人感コントローラー6では、人感信号を解析し、感知エリア内に存在する人の人数、存在する位置までの距離及び方向(角度)等の情報に基づいて、それらの情報を含む制御データを算出する。そして、算出した制御データを、フィードバックをかけるべく3次元DSP7に出力する。   The human motion controller 6 as a controller analyzes the human motion signal, and based on information such as the number of people present in the sensing area, the distance to the existing location, and the direction (angle), control including such information is performed. Calculate the data. Then, the calculated control data is output to the three-dimensional DSP 7 for feedback.

3次元DSP7は、その内部に、補正部としての3次元奥行き調整回路8を内蔵している。当該3次元奥行き調整回路8において、映像及び音声データ処理回路14から入力された映像データに対し、人感コントローラー6から入力された制御データに基づいて補正がなされる。   The three-dimensional DSP 7 includes therein a three-dimensional depth adjustment circuit 8 as a correction unit. In the three-dimensional depth adjustment circuit 8, the video data input from the video and audio data processing circuit 14 is corrected based on the control data input from the human controller 6.

映像データは、3次元DSP7で処理されて3次元視差画像のデータとなるが、映像データから3次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられるパラメータである3次元奥行きパラメータが本実施の形態での処理対象となる。3次元奥行き調整回路8においては、特にこの3次元奥行きパラメータが調整される。制御データに従って、視聴者15が移動した位置又は現在存在する位置に立体視効果の最適点が該当するように3次元奥行きパラメータが調整される。   The video data is processed by the 3D DSP 7 to become 3D parallax image data. When generating a 3D parallax image from the video data, the 3D depth is a parameter used to define a sense of depth in the video. The parameter is a processing target in the present embodiment. In the three-dimensional depth adjustment circuit 8, in particular, this three-dimensional depth parameter is adjusted. In accordance with the control data, the three-dimensional depth parameter is adjusted so that the optimal point of the stereoscopic effect corresponds to the position where the viewer 15 has moved or the position where the viewer 15 currently exists.

例えば3次元メガネを用いたアクティブシャッター型の立体映像表示装置である場合には、3次元奥行きパラメータが調整されることによって、メガネの左右で切り替えられる3次元視差画像の組合せ等が調整される。   For example, in the case of an active shutter-type stereoscopic image display device using three-dimensional glasses, a combination of three-dimensional parallax images switched between the left and right of the glasses is adjusted by adjusting the three-dimensional depth parameter.

3次元奥行きパラメータが調整された映像データは、ディスプレイ駆動回路9に入力される。   The video data in which the three-dimensional depth parameter is adjusted is input to the display driving circuit 9.

ディスプレイ駆動回路9は、入力された映像データに基づいて、映像表示部としてのディスプレイ2に映像を表示させる。当該映像は、3次元奥行きパラメータが調整された映像データに基づいて表示されるものであるため、視聴者15の位置等を考慮した立体映像となる。   The display drive circuit 9 displays a video on the display 2 as a video display unit based on the input video data. Since the video is displayed based on the video data in which the three-dimensional depth parameter is adjusted, the video is a stereoscopic video considering the position of the viewer 15 and the like.

次に、音声再生装置について説明する。音声再生装置は、図に示すように立体映像表示装置の一部として、立体映像に対応する音声を再生するための装置であってもよいが、音声再生装置単独として機能するものであってもよい。   Next, an audio playback device will be described. As shown in the figure, the audio playback device may be a device for playing back audio corresponding to a 3D video as a part of the 3D video display device, or may function as an audio playback device alone. Good.

図1に示すように、入力端子13から入力される入力信号を、映像及び音声データ処理回路14において受信する。   As shown in FIG. 1, the video and audio data processing circuit 14 receives an input signal input from the input terminal 13.

映像及び音声データ処理回路14において処理され、抽出された音声データは、オーディオDSP10に入力される。   The audio data processed and extracted by the video and audio data processing circuit 14 is input to the audio DSP 10.

一方で追従システム5は、前述のようにセンサー4の動作を制御し、さらにセンサー4において感知した人の位置に関する人感信号を受信する。そして当該人感信号を、人感コントローラー6に出力する。   On the other hand, the tracking system 5 controls the operation of the sensor 4 as described above, and further receives a human signal relating to the position of the person sensed by the sensor 4. Then, the human motion signal is output to the human motion controller 6.

人感コントローラー6では、人感信号を解析し、感知エリア内に存在する人の人数、存在する位置までの距離、方向(角度)等の情報である制御データを算出する。そして、算出した制御データを、フィードバックをかけるべくオーディオDSP10に出力する。   The motion controller 6 analyzes the motion signal, and calculates control data that is information such as the number of people present in the sensing area, the distance to the existing location, and the direction (angle). The calculated control data is output to the audio DSP 10 for feedback.

オーディオDSP10は、その内部に、補正部としてのビームコントロール回路11を内蔵している。当該ビームコントロール回路11において、映像及び音声データ処理回路14から入力された音声データに対し、人感コントローラー6から入力された制御データに基づいて補正がなされる。   The audio DSP 10 includes therein a beam control circuit 11 as a correction unit. In the beam control circuit 11, the audio data input from the video and audio data processing circuit 14 is corrected based on the control data input from the human controller 6.

音声データは、オーディオDSP10で処理されてビーム音のデータとなるが、音声データから後述のスピーカーアレイ3におけるビーム音を生成するに際し、ビーム音の指向性を規定するために用いられるパラメータである音声の指向性パラメータが本実施の形態での処理対象となる。ビームコントロール回路11においては、特にこの音声の指向性パラメータが調整される。制御データに従って、視聴者15が移動した位置又は現在存在する位置に音響効果の最適点が該当するように音声の指向性パラメータが調整される。   The audio data is processed by the audio DSP 10 to become beam sound data. When generating a beam sound in the speaker array 3 (to be described later) from the audio data, the audio data is a parameter used for defining the directivity of the beam sound. The directivity parameter is a processing target in the present embodiment. In the beam control circuit 11, the directivity parameter of this sound is particularly adjusted. In accordance with the control data, the sound directivity parameter is adjusted so that the optimal point of the acoustic effect corresponds to the position where the viewer 15 has moved or the position where the viewer 15 currently exists.

音声の指向性パラメータが調整された音声データは、nチャンネルオーディオAmp12に入力される。   The sound data in which the sound directivity parameter is adjusted is input to the n-channel audio Amp12.

nチャンネルオーディオAmp12は、入力された音声データに基づいてスピーカーアレイ3における音声の指向性を調整し、音声を出力させる。スピーカーアレイ3から発せられた音声は、例えば12〜16個の連なる小型スピーカーからビーム状に放出される。このビーム状の音声(ビーム音)はリスニングルーム18の壁面に反射されるが、その指向性を制御することにより、当該反射による効果も考慮し、臨場感を高めた音場調整が行われる。   The n-channel audio Amp 12 adjusts the directivity of the sound in the speaker array 3 based on the input sound data, and outputs the sound. The sound emitted from the speaker array 3 is emitted in a beam shape from, for example, 12 to 16 consecutive small speakers. This beam-like sound (beam sound) is reflected on the wall surface of the listening room 18. By controlling the directivity of the sound, the sound field is adjusted with an increased sense of reality in consideration of the effect of the reflection.

本発明における当該音声は、音声の指向性パラメータが調整された音声データに基づいて出力されるため、視聴者15の位置等を考慮して増幅等された音響となる。   Since the sound in the present invention is output based on the sound data in which the sound directivity parameter is adjusted, the sound is amplified by considering the position of the viewer 15 and the like.

上記のような動作によって、視聴者15はリスニングルーム18(図においては、その壁面を示す)において、ディスプレイ2に表示される映像を視聴し、またスピーカーアレイ3から出力される音声を聴く。この際、視聴者15が移動等した場合であっても、視聴者15が現在いる位置が立体視効果及び音響効果の最適点となるように調整されているので、視聴者15は視聴に際して、最適な立体視効果及び音響効果を得ることができる。   Through the operation as described above, the viewer 15 watches the video displayed on the display 2 and listens to the audio output from the speaker array 3 in the listening room 18 (showing the wall surface in the figure). At this time, even when the viewer 15 moves, the viewer 15 is adjusted so that the position where the viewer 15 is present is the optimum point for the stereoscopic effect and the acoustic effect. Optimal stereoscopic effects and acoustic effects can be obtained.

<効果>
本発明にかかる実施の形態によれば、立体映像表示装置において、視聴者15の位置を感知するセンサー4と、感知した視聴者15の位置情報に基づいて、制御データを生成する人感コントローラー6と、入力された映像データから3次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる3次元奥行きパラメータを、制御データに基づいて補正する補正部としての3次元奥行き調整回路8と、3次元奥行き調整回路8において3次元奥行きパラメータが補正された映像データに基づいて、映像を出力する映像出力部としてのディスプレイ2とを備えることで、視聴者が最適点を外れて移動しても、映像データのパラメータ補正を行うことで、光学的な調整を行うことなく適切に立体視効果を実現させることができる。
<Effect>
According to the embodiment of the present invention, in the stereoscopic image display device, the sensor 4 that detects the position of the viewer 15 and the human controller 6 that generates control data based on the detected position information of the viewer 15. And a three-dimensional depth adjustment circuit as a correction unit that corrects a three-dimensional depth parameter used for defining a sense of depth in the video based on the control data when generating a three-dimensional parallax image from the input video data 8 and a display 2 as a video output unit that outputs video based on video data in which the 3D depth parameter is corrected in the 3D depth adjustment circuit 8, the viewer moves off the optimum point. However, by correcting the video data parameters, it is possible to achieve a stereoscopic effect appropriately without optical adjustment. That.

また、本発明にかかる実施の形態によれば、音声再生装置において視聴者15の位置を感知するセンサー4と、センサー4において感知した視聴者15の位置情報に基づいて、制御データを生成する人感コントローラー6と、入力された音声データに基づいて、ビーム音を出力するスピーカーアレイ3と、音声データからビーム音を生成するに際し、ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、制御データに基づいて補正する補正部としてのビームコントロール回路11とを備え、スピーカーアレイ3は、音声の指向性パラメータが補正された音声データに基づいて、ビーム音を出力することで、視聴者が最適点を外れて移動しても、音声データのパラメータ補正を行うことで適切に音響効果を実現させることができる。   Further, according to the embodiment of the present invention, the sensor 4 that senses the position of the viewer 15 in the audio reproduction device and the person who generates the control data based on the position information of the viewer 15 sensed by the sensor 4. The directivity of the sound used to define the directivity of the beam sound when generating the beam sound from the sense controller 6, the speaker array 3 that outputs the beam sound based on the input sound data, and the sound data A beam control circuit 11 as a correction unit that corrects the parameters based on the control data, and the speaker array 3 outputs the beam sound based on the sound data in which the sound directivity parameter is corrected. Even if the viewer moves away from the optimum point, the sound effect can be realized appropriately by correcting the parameters of the audio data. It can be.

また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、センサー4が、無線センサーであることで、視聴者が送信機(送波素子)等を携帯する必要がなく、装置の構成を簡素化できる。   Further, according to the embodiment of the present invention, in the stereoscopic video display device and the audio reproduction device, the sensor 4 is a wireless sensor, so that the viewer needs to carry a transmitter (transmitting element) and the like. The configuration of the apparatus can be simplified.

また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、センサー4を動かし、感知した視聴者15を追従させる追従システム5をさらに備えることで、既存の立体映像補正機能及び音場調整機能を利用し、簡素な構成の立体映像表示装置及び音声再生装置を提供することができる。   Further, according to the embodiment of the present invention, the stereoscopic video display device and the audio reproduction device further include the tracking system 5 that moves the sensor 4 to follow the sensed viewer 15, thereby correcting the existing stereoscopic video correction. By using the function and the sound field adjustment function, it is possible to provide a stereoscopic video display device and an audio reproduction device with a simple configuration.

<実施の形態2>
図2は、本発明にかかる立体映像表示装置の構成図である。実施の形態1と同様の構成については同一の符合を付し、詳細な説明を省略する。
<Embodiment 2>
FIG. 2 is a configuration diagram of a stereoscopic video display apparatus according to the present invention. The same components as those in the first embodiment are given the same reference numerals, and detailed description thereof is omitted.

本実施の形態2にかかる立体映像表示装置100では、リスニングルーム18に複数の視聴者(視聴者15及び視聴者19)が存在するものとする。   In the stereoscopic video display apparatus 100 according to the second embodiment, it is assumed that there are a plurality of viewers (viewer 15 and viewer 19) in the listening room 18.

追従システム5は、前述のようにセンサー4の動作を制御し、さらにセンサー4において感知した複数の人の位置に関する人感信号を受信する。そして当該人感信号を、人感コントローラー6に出力する。   The follow-up system 5 controls the operation of the sensor 4 as described above, and further receives human motion signals related to the positions of a plurality of people detected by the sensor 4. Then, the human motion signal is output to the human motion controller 6.

人感コントローラー6では、人感信号を解析し、感知エリア内の人の配置分布等の情報である制御データを算出する。ここで配置分布は、例えば図2に示すように、視聴者15と視聴者19との分布(図中の鎖線で示す範囲)の中心に仮想視聴者20を想定するものとすることができ、仮想視聴者20が存在する位置に、人感コントローラー6では、立体視効果及び音響効果の最適点が該当するように制御データを算出することができる。   The motion controller 6 analyzes the motion signal and calculates control data that is information such as the distribution of people in the sensing area. Here, for example, as shown in FIG. 2, the distribution of distribution can be assumed to be a virtual viewer 20 at the center of the distribution of viewers 15 and viewers 19 (the range indicated by the chain line in the figure). The human controller 6 can calculate control data so that the optimal point of the stereoscopic effect and the sound effect corresponds to the position where the virtual viewer 20 exists.

なお、当該方法による配置分布の設定は、配置分布内の視聴者に対し同じ程度の立体視効果及び音響効果を与え、分布全体として効果の高い立体視効果及び音響効果を提供するものであるが、配置分布内に存在する特定の視聴者(又は、最もセンサー4の感知強度が強くなる、センサー4から最も近くに存在する視聴者の方向等)に対する立体視効果及び音響効果を高めるような最適点の設定を行うことも可能である。   The setting of the arrangement distribution by this method gives the same degree of stereoscopic effect and acoustic effect to the viewers in the arrangement distribution, and provides a highly effective stereoscopic effect and acoustic effect as a whole distribution. Optimizing to enhance the stereoscopic effect and the sound effect for a specific viewer existing in the arrangement distribution (or the direction of the viewer closest to the sensor 4 where the sensing intensity of the sensor 4 is the strongest, etc.) It is also possible to set points.

そして、算出した制御データを、フィードバックをかけるべく3次元DSP7及びオーディオDSP10に出力する。   The calculated control data is output to the three-dimensional DSP 7 and the audio DSP 10 for feedback.

このように、複数の視聴者が存在する場合であっても、その配置分布を適格に判断し、より効果の高い立体視効果及び音響効果を得ることができる。   As described above, even when there are a plurality of viewers, it is possible to appropriately determine the arrangement distribution and obtain a more effective stereoscopic effect and acoustic effect.

<効果>
本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、センサー4は、感知エリア内の複数の視聴者15及び視聴者19の位置を感知し、人感コントローラー6が、複数の視聴者15及び視聴者19の位置分布に基づいて、制御データを生成することで、複数の視聴者15及び視聴者19が感知エリア内に存在する場合でも、適切な立体視効果及び音響効果を得ることができる。
<Effect>
According to the embodiment of the present invention, in the stereoscopic video display device and the audio reproduction device, the sensor 4 senses the positions of the plurality of viewers 15 and viewers 19 in the sensing area, and the human controller 6 By generating control data based on the position distribution of the plurality of viewers 15 and viewers 19, even when the plurality of viewers 15 and viewers 19 are present in the sensing area, appropriate stereoscopic effects and sound can be obtained. An effect can be obtained.

また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、人感コントローラー6が、複数の視聴者15及び視聴者19の分布中心の位置情報に基づいて、制御データを生成することで、複数の視聴者15及び視聴者19にバランスよく、適切な立体視効果及び音響効果を得させることができる。   Further, according to the embodiment of the present invention, in the stereoscopic video display device and the audio reproduction device, the human controller 6 controls the control data based on the distribution center position information of the plurality of viewers 15 and viewers 19. Can generate appropriate stereoscopic effects and sound effects in a balanced manner for the plurality of viewers 15 and viewers 19.

また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、人感コントローラー6が、センサー4における感知強度が強い方向の情報に基づいて、制御データを生成することで、例えば最も感知強度の強い、センサー4から一番近い場所にいる視聴者を優先して、適切な立体視効果及び音響効果を得させることができる。   Further, according to the embodiment of the present invention, in the stereoscopic video display device and the audio reproduction device, the human controller 6 generates control data based on information in a direction in which the sensor 4 has a strong sense intensity. For example, it is possible to give priority to the viewer who is closest to the sensor 4 with the strongest sensing intensity, and to obtain appropriate stereoscopic effects and sound effects.

1,100 立体映像表示装置、2 ディスプレイ、3 スピーカーアレイ、4 センサー、5 追従システム、6 人感コントローラー、7 3次元DSP、8 3次元奥行き調整回路、9 ディスプレイ駆動回路、10 オーディオDSP、11 ビームコントロール回路、12 nチャンネルオーディオAmp、13 入力端子、14 映像及び音声データ処理回路、15,19 視聴者、18 リスニングルーム、20 仮想視聴者。   1,100 stereoscopic image display device, 2 display, 3 speaker array, 4 sensor, 5 tracking system, 6 human motion controller, 7 3D DSP, 8 3D depth adjustment circuit, 9 display drive circuit, 10 audio DSP, 11 beam Control circuit, 12 n-channel audio Amp, 13 input terminal, 14 video and audio data processing circuit, 15, 19 viewers, 18 listening room, 20 virtual viewers.

Claims (13)

視聴者の位置を感知するセンサーと、
前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、
入力された映像データから3次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる3次元奥行きパラメータを、前記制御データに基づいて補正する補正部と、
前記補正部において前記3次元奥行きパラメータが補正された前記映像データに基づいて、映像を出力する映像出力部とを備えることを特徴とする、
立体映像表示装置。
A sensor that senses the viewer's position;
A controller that generates control data based on viewer position information sensed by the sensor;
A correction unit that corrects, based on the control data, a three-dimensional depth parameter used to define a sense of depth in the video when generating a three-dimensional parallax image from the input video data;
A video output unit configured to output a video based on the video data in which the three-dimensional depth parameter is corrected in the correction unit;
3D image display device.
前記センサーが、無線センサーであることを特徴とする、
請求項1に記載の立体映像表示装置。
The sensor is a wireless sensor,
The stereoscopic image display apparatus according to claim 1.
前記センサーは、感知エリア内の複数の視聴者の位置を感知し、
前記コントローラーが、複数の前記視聴者の位置分布に基づいて、前記制御データを生成することを特徴とする、
請求項1又は2に記載の立体映像表示装置。
The sensor senses the position of a plurality of viewers within a sensing area,
The controller generates the control data based on a position distribution of a plurality of the viewers,
The stereoscopic image display apparatus according to claim 1 or 2.
前記コントローラーが、複数の前記視聴者の分布中心の位置情報に基づいて、前記制御データを生成することを特徴とする、
請求項3に記載の立体映像表示装置。
The controller generates the control data based on position information of a distribution center of the plurality of viewers;
The stereoscopic image display apparatus according to claim 3.
前記コントローラーが、前記センサーにおける感知強度が強い方向の情報に基づいて、前記制御データを生成することを特徴とする、
請求項3に記載の立体映像表示装置。
The controller generates the control data based on information in a direction in which the sensor has a strong sensing intensity.
The stereoscopic image display apparatus according to claim 3.
前記センサーを動かし、感知した前記視聴者を追従させる追従システムをさらに備えることを特徴とする、
請求項1〜5のいずれかに記載の立体映像表示装置。
It further comprises a tracking system that moves the sensor to track the sensed viewer.
The three-dimensional image display apparatus in any one of Claims 1-5.
入力された音声データに基づいて、ビーム音を出力するスピーカーアレイをさらに備え、
前記補正部は、前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正し、
前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することを特徴とする、
請求項1〜6のいずれかに記載の立体映像表示装置。
A speaker array that outputs beam sound based on the input audio data;
The correction unit corrects the directivity parameter of the sound used to define the directivity of the beam sound based on the control data when generating the beam sound from the sound data;
The speaker array outputs the beam sound based on the sound data in which the directivity parameter of the sound is corrected.
The three-dimensional image display apparatus in any one of Claims 1-6.
視聴者の位置を感知するセンサーと、
前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、
入力された音声データに基づいて、ビーム音を出力するスピーカーアレイと、
前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正する補正部とを備え、
前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することを特徴とする、
音声再生装置。
A sensor that senses the viewer's position;
A controller that generates control data based on viewer position information sensed by the sensor;
A speaker array that outputs beam sound based on the input audio data;
A correction unit that corrects the directivity parameter of the sound used to define the directivity of the beam sound based on the control data when generating the beam sound from the sound data;
The speaker array outputs the beam sound based on the sound data in which the directivity parameter of the sound is corrected.
Audio playback device.
前記センサーが、無線センサーであることを特徴とする、
請求項8に記載の音声再生装置。
The sensor is a wireless sensor,
The sound reproducing device according to claim 8.
前記センサーは、感知エリア内の複数の視聴者の位置を感知し、
前記コントローラーが、複数の前記視聴者の位置分布に基づいて、前記制御データを生成することを特徴とする、
請求8又は9に記載の音声再生装置。
The sensor senses the position of a plurality of viewers within a sensing area,
The controller generates the control data based on a position distribution of a plurality of the viewers,
The sound reproducing device according to claim 8 or 9.
前記コントローラーが、複数の前記視聴者の分布中心の位置情報に基づいて、前記制御データを生成することを特徴とする、
請求項10に記載の音声再生装置。
The controller generates the control data based on position information of a distribution center of the plurality of viewers;
The sound reproducing device according to claim 10.
前記コントローラーが、前記センサーにおける感知強度が強い方向の情報に基づいて、前記制御データを生成することを特徴とする、
請求項10に記載の音声再生装置。
The controller generates the control data based on information in a direction in which the sensor has a strong sensing intensity.
The sound reproducing device according to claim 10.
前記センサーを動かし、感知した前記視聴者を追従させる追従システムをさらに備えることを特徴とする、
請求項8〜12のいずれかに記載の音声再生装置。
It further comprises a tracking system that moves the sensor to track the sensed viewer.
The sound reproducing device according to claim 8.
JP2011126958A 2011-06-07 2011-06-07 Stereoscopic video display device and sound reproduction device Withdrawn JP2012253707A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011126958A JP2012253707A (en) 2011-06-07 2011-06-07 Stereoscopic video display device and sound reproduction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011126958A JP2012253707A (en) 2011-06-07 2011-06-07 Stereoscopic video display device and sound reproduction device

Publications (1)

Publication Number Publication Date
JP2012253707A true JP2012253707A (en) 2012-12-20

Family

ID=47526067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011126958A Withdrawn JP2012253707A (en) 2011-06-07 2011-06-07 Stereoscopic video display device and sound reproduction device

Country Status (1)

Country Link
JP (1) JP2012253707A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066649A1 (en) 2018-09-26 2020-04-02 Sony Corporation Information processing device, information processing method, program, and information processing system
WO2020066644A1 (en) 2018-09-26 2020-04-02 Sony Corporation Information processing device, information processing method, program, and information processing system
KR102712658B1 (en) * 2018-09-26 2024-10-04 소니그룹주식회사 Information processing device, information processing method, program, and information processing system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066649A1 (en) 2018-09-26 2020-04-02 Sony Corporation Information processing device, information processing method, program, and information processing system
WO2020066644A1 (en) 2018-09-26 2020-04-02 Sony Corporation Information processing device, information processing method, program, and information processing system
CN112771891A (en) * 2018-09-26 2021-05-07 索尼公司 Information processing apparatus, information processing method, program, and information processing system
KR20210065099A (en) 2018-09-26 2021-06-03 소니그룹주식회사 Information processing apparatus, information processing method, program, and information processing system
US11546713B2 (en) 2018-09-26 2023-01-03 Sony Corporation Information processing device, information processing method, program, and information processing system
CN112771891B (en) * 2018-09-26 2023-05-02 索尼公司 Information processing apparatus, information processing method, program, and information processing system
KR102712658B1 (en) * 2018-09-26 2024-10-04 소니그룹주식회사 Information processing device, information processing method, program, and information processing system

Similar Documents

Publication Publication Date Title
US10959037B1 (en) Gaze-directed audio enhancement
JP5245368B2 (en) Virtual sound source localization device
US10979845B1 (en) Audio augmentation using environmental data
JP5488732B1 (en) Sound playback device
US20110157327A1 (en) 3d audio delivery accompanying 3d display supported by viewer/listener position and orientation tracking
US20150382129A1 (en) Driving parametric speakers as a function of tracked user location
CA2295092C (en) System for producing an artificial sound environment
JP7271695B2 (en) Hybrid speaker and converter
US11665497B2 (en) Method and apparatus for an ultrasonic emitter system floor audio unit
KR20130122516A (en) Loudspeakers with position tracking
US20120128184A1 (en) Display apparatus and sound control method of the display apparatus
JP5533282B2 (en) Sound playback device
JP2012253707A (en) Stereoscopic video display device and sound reproduction device
KR20180018464A (en) 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system
WO2013042326A1 (en) Sound reproduction device
JP2550832B2 (en) Virtual reality generator
US9351074B2 (en) Audio system and audio characteristic control device
JP5852325B2 (en) Sound image localization improvement device
JP2009260427A (en) Speaker device, method and program for processing signal
JPH08140200A (en) Three-dimensional sound image controller
WO2023171279A1 (en) Audio output device and audio output method

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140902