JP2013011958A - Sound control device and sound control method - Google Patents

Sound control device and sound control method Download PDF

Info

Publication number
JP2013011958A
JP2013011958A JP2011143000A JP2011143000A JP2013011958A JP 2013011958 A JP2013011958 A JP 2013011958A JP 2011143000 A JP2011143000 A JP 2011143000A JP 2011143000 A JP2011143000 A JP 2011143000A JP 2013011958 A JP2013011958 A JP 2013011958A
Authority
JP
Japan
Prior art keywords
sound source
advertisement
user
charging point
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011143000A
Other languages
Japanese (ja)
Inventor
Kentaro Nakai
健太郎 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011143000A priority Critical patent/JP2013011958A/en
Publication of JP2013011958A publication Critical patent/JP2013011958A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a sound control device which can determine charging points for a sound advertisement that correspond to its advertising effect.SOLUTION: A sound control device 500 performs processing on sound to be sterically arranged in virtual sound space, and comprises: a sound control unit 541 for arranging an advertisement sound source for sound including an advertisement as its content; a charging point sheet control unit 544 for acquiring sound source relative position information including a relative relation between a position of a user in the virtual sound space and a position of the advertisement sound source in the virtual sound space; and a charging point calculation unit 545 for determining a value of charging points for the advertisement on the basis of the acquired sound source relative position information.

Description

本発明は、仮想音響空間に立体的に配置される音声に関する処理を行う音響制御装置および音響制御方法に係り、特に、広告音声に対する課金に関する音響制御装置および音響制御方法に関する。   The present invention relates to an acoustic control device and an acoustic control method that perform processing related to a sound that is three-dimensionally arranged in a virtual acoustic space, and more particularly to an acoustic control device and an acoustic control method that relate to billing for advertising sound.

近年、短いテキストメッセージを、ネットワークを介してユーザ間で気軽にやり取りすることを可能にするサービスが、増加している。また、最近では、発話音声を、ネットワーク上のサーバにアップロードしてユーザ間で簡単に共有することを可能にするサービスが、存在している。   In recent years, services that make it possible to easily exchange short text messages between users via a network are increasing. Recently, there is a service that enables voices to be uploaded to a server on a network and easily shared between users.

これらのサービスの普及に伴い、サービスを享受するモバイル端末は、音声広告の広告媒体として期待されている。ところが、各モバイル端末で行う音声広告のサービスでは、音声広告に対する課金ポイントをどのように決定するかが問題となる。ここで、課金ポイントとは、課金金額そのものだけでなく、音声広告によるサービスポイントなど、広告対価に関連する各種の値を含む概念とする。   With the spread of these services, mobile terminals that enjoy the services are expected as advertising media for voice advertisements. However, in a voice advertisement service performed by each mobile terminal, how to determine a charging point for the voice advertisement becomes a problem. Here, the billing point is a concept including not only the billing amount itself but also various values related to advertisement consideration such as a service point by voice advertisement.

そこで、特許文献1に記載の技術は、広告音声の音量に基づいて、課金ポイントを決定する。かかる従来技術によれば、広告音声の音量あるいはシステム全体に対する広告音声の音量比が高いほど、より高い課金ポイントを決定することができる。   Therefore, the technique described in Patent Document 1 determines a charging point based on the volume of the advertising sound. According to such a conventional technique, the higher the volume of the advertising sound or the volume ratio of the advertising sound relative to the entire system, the higher the charging point can be determined.

特開2004−213320号公報JP 2004-213320 A

しかしながら、従来技術は、音声広告に対し、その広告効果にマッチしない課金ポイントを決定するおそれがあるという課題を有する。理由は、以下の通りである。人は、複数の音声から特定の音声を選択的に聴取することができ、興味のある音声や特徴的な音声を、他の音声よりも良く聞き取ることができるという性質を有する(カクテルパーティ効果)。したがって、広告音声の音量あるいは音量比が高いからといって、ユーザは、必ずしもその広告音声の内容を選択して聞き取っているとは限らない。したがって、従来技術では、不当に高い課金ポイントや、不当に低い課金ポイントが決定される可能性がある。   However, the prior art has a problem that there is a risk of determining a charging point that does not match the advertising effect for the voice advertisement. The reason is as follows. A person can selectively listen to a specific sound from a plurality of sounds, and has the property of being able to hear interesting sounds and characteristic sounds better than other sounds (cocktail party effect). . Therefore, just because the volume or volume ratio of the advertising sound is high, the user does not necessarily select and listen to the content of the advertising sound. Therefore, in the prior art, an unreasonably high charging point or an unreasonably low charging point may be determined.

本発明の目的は、音声広告に対し、その広告効果によりマッチした課金ポイントを決定することができる音響制御装置および音響制御方法を提供することである。   An object of the present invention is to provide an acoustic control device and an acoustic control method capable of determining a billing point that matches a voice advertisement based on the advertisement effect.

本発明の音響制御装置は、仮想音響空間に立体的に配置される音声に関する処理を行う音響制御装置であって、内容を広告とする音声の音源である広告音源を、前記仮想音響空間に配置する音響制御部と、ユーザの前記仮想音響空間における位置と、前記広告音源の前記仮想音響空間における位置との相対関係を含む、音源相対位置情報を取得する課金ポイントシート制御部と、取得された前記音源相対位置情報に基づいて、前記広告に対する課金ポイントの値を決定する課金ポイント算出部とを有する。   The acoustic control device according to the present invention is an acoustic control device that performs processing related to audio that is three-dimensionally arranged in a virtual acoustic space, and an advertising sound source that is a sound source for advertising content is arranged in the virtual acoustic space. An acoustic control unit, a billing point sheet control unit that acquires sound source relative position information, including a relative relationship between a position of the user in the virtual acoustic space and a position of the advertising sound source in the virtual acoustic space, And a charging point calculation unit that determines a charging point value for the advertisement based on the sound source relative position information.

本発明の音響制御方法は、仮想音響空間に立体的に配置される音声に関する処理を行う音響制御方法であって、内容を広告とする音声の音源である広告音源を、前記仮想音響空間に配置するステップと、ユーザの前記仮想音響空間における位置と、前記広告音源の前記仮想音響空間における位置との相対関係を含む、音源相対位置情報を取得するステップと、取得された前記音源相対位置情報に基づいて、前記広告に対する課金ポイントの値を決定するステップとを有する。   The acoustic control method according to the present invention is an acoustic control method for performing processing related to a sound that is three-dimensionally arranged in a virtual acoustic space, and an advertisement sound source that is a sound source for advertising content is placed in the virtual acoustic space. A sound source relative position information including a relative relationship between a position of the user in the virtual acoustic space and a position of the advertising sound source in the virtual acoustic space, and the acquired sound source relative position information And determining a billing point value for the advertisement based on the advertisement.

本発明によれば、音声広告に対し、その広告効果によりマッチした課金ポイントを決定することができる。   According to the present invention, it is possible to determine a billing point that matches a voice advertisement based on the advertisement effect.

本発明の実施の形態1に係る音響制御装置の構成の一例を示すブロック図The block diagram which shows an example of a structure of the acoustic control apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態2に係る音響制御装置を含む音響制御システムの構成の一例を示すシステム構成図The system block diagram which shows an example of a structure of the acoustic control system containing the acoustic control apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る端末装置の構成の一例を示すブロック図The block diagram which shows an example of a structure of the terminal device which concerns on Embodiment 2 of this invention. 本発明の実施の形態2における制御部の構成の一例を示すブロック図The block diagram which shows an example of a structure of the control part in Embodiment 2 of this invention. 本発明の実施の形態2における仮想音響空間を説明するための図The figure for demonstrating the virtual acoustic space in Embodiment 2 of this invention 本発明の実施の形態2における可聴領域を説明するための図The figure for demonstrating the audible area | region in Embodiment 2 of this invention. 本発明の実施の形態2における課金ポイント算出テーブルの内容の一例を示す図The figure which shows an example of the content of the accounting point calculation table in Embodiment 2 of this invention 本発明の実施の形態2における広告配信サーバの動作の一例を示すフローチャートThe flowchart which shows an example of operation | movement of the advertisement delivery server in Embodiment 2 of this invention. 本発明の実施の形態2における制御情報生成処理の一例を示すフローチャートThe flowchart which shows an example of the control information generation process in Embodiment 2 of this invention 本発明の実施の形態2における制御情報の内容の一例を示す図The figure which shows an example of the content of the control information in Embodiment 2 of this invention 本発明の実施の形態2における端末装置の動作の一例を示すフローチャートThe flowchart which shows an example of operation | movement of the terminal device in Embodiment 2 of this invention. 本発明の実施の形態2における広告音声再生処理の一例を示すフローチャートThe flowchart which shows an example of the advertisement audio | voice reproduction | regeneration processing in Embodiment 2 of this invention 本発明の実施の形態2における頭部向き取得処理の一例を示すフローチャートThe flowchart which shows an example of the head direction acquisition process in Embodiment 2 of this invention. 本発明の実施の形態2における課金ポイントシートの内容の一例を示す図The figure which shows an example of the content of the charge point sheet | seat in Embodiment 2 of this invention 本発明の実施の形態2における課金ポイント算出処理の一例を示すフローチャートThe flowchart which shows an example of the accounting point calculation process in Embodiment 2 of this invention

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

(実施の形態1)
本発明の実施の形態1は、本発明の基本的態様の一例である。
(Embodiment 1)
Embodiment 1 of the present invention is an example of a basic aspect of the present invention.

図1は、本実施の形態に係る音響制御装置の構成の一例を示すブロック図である。   FIG. 1 is a block diagram showing an example of the configuration of the acoustic control apparatus according to the present embodiment.

図1において、音響制御装置500は、仮想音響空間に立体的に配置される音声に関する処理を行う装置であって、音響制御部541、課金ポイントシート制御部544、および課金ポイント算出部545を有する。   In FIG. 1, an acoustic control device 500 is a device that performs processing related to audio that is three-dimensionally arranged in a virtual acoustic space, and includes an acoustic control unit 541, a charging point sheet control unit 544, and a charging point calculation unit 545. .

音響制御部541は、取得した内容を広告とする音声(広告音声)の音源である広告音源を、仮想音響空間に配置する。   The acoustic control unit 541 arranges an advertisement sound source, which is a sound source of sound (advertisement sound) having the acquired content as an advertisement, in the virtual acoustic space.

課金ポイントシート制御部544は、仮想音響空間に配置された音声(広告音声)を聞いているユーザの仮想音響空間における位置と、広告音源の仮想音響空間における位置との相対関係を含む、音源相対位置情報を取得する。   The accounting point sheet control unit 544 includes a relative sound source including a relative relationship between the position of the user who is listening to the sound (advertisement sound) arranged in the virtual acoustic space and the position of the advertisement sound source in the virtual acoustic space. Get location information.

課金ポイント算出部545は、取得された音源相対位置情報に基づいて、広告に対する課金ポイントの値を決定する。   The charging point calculation unit 545 determines a charging point value for the advertisement based on the acquired sound source relative position information.

音響制御装置500は、例えば、CPU(Central Processing Unit)、および、RAM(Random Access Memory)などの記憶媒体を有する。この場合、上記各機能部は、CPUが制御プログラムを実行することにより実現される。   The acoustic control device 500 includes a storage medium such as a CPU (Central Processing Unit) and a RAM (Random Access Memory). In this case, each functional unit is realized by the CPU executing the control program.

このような音響制御装置500は、ユーザと広告音源との相対位置関係に基づいて、課金ポイントの値を決定することができる。   Such an acoustic control device 500 can determine the value of the charge point based on the relative positional relationship between the user and the advertisement sound source.

音声広告の広告効果は、通常、ユーザがどの音声を選択的に聴取しているか(注目しているか)に大きく影響される。そして、ユーザがどの音声を選択的に聴取するかは、通常、ユーザと広告音源との相対位置関係に大きく影響される。すなわち、音声広告の広告効果は、ユーザと広告音源との相対位置関係に応じたものとなる。   The advertising effect of the voice advertisement is usually greatly influenced by which voice the user is selectively listening (watching). And what sound the user selectively listens to is usually greatly influenced by the relative positional relationship between the user and the advertisement sound source. That is, the advertising effect of the voice advertisement is in accordance with the relative positional relationship between the user and the advertisement sound source.

したがって、音響制御装置500は、音声広告に対し、その広告効果によりマッチした課金ポイントを決定することができる。   Therefore, the acoustic control device 500 can determine a billing point that matches the voice advertisement based on the advertisement effect.

(実施の形態2)
本発明の実施の形態2は、本発明を、携帯電話機など宅外に持ち出し可能であって、他ユーザとの音声コミュニケーションが可能な端末装置に適用した場合の、具体的態様の一例である。
(Embodiment 2)
The second embodiment of the present invention is an example of a specific mode when the present invention is applied to a terminal device that can be taken out of the house such as a mobile phone and capable of voice communication with other users.

図2は、本発明の一実施の形態に係る音響制御装置を含む音響制御システムの構成の一例を示すシステム構成図である。   FIG. 2 is a system configuration diagram illustrating an example of a configuration of an acoustic control system including the acoustic control device according to the embodiment of the present invention.

図2において、音響制御システム100は、通信ネットワーク200、広告配信サーバ400、音声メッセージ管理サーバ300、および、本発明に係る音響制御装置を含む端末装置500を有する。通信ネットワーク200は、インターネットあるいはイントラネットなどである。広告配信サーバ400、音声メッセージ管理サーバ300、および端末装置500は、通信ネットワーク200を介して、互いに通信可能に接続している。   In FIG. 2, the acoustic control system 100 includes a communication network 200, an advertisement distribution server 400, a voice message management server 300, and a terminal device 500 including the acoustic control apparatus according to the present invention. The communication network 200 is the Internet or an intranet. The advertisement delivery server 400, the voice message management server 300, and the terminal device 500 are connected to each other via the communication network 200 so as to communicate with each other.

音声メッセージ管理サーバ300は、端末装置500と、通信ネットワーク200に接続する他の端末装置(図示せず)との間で、音声チャットなどによる音声メッセージのデータ(以下、適宜「音声メッセージ」という)の転送を行う。   Voice message management server 300 uses voice chat data or the like (hereinafter referred to as “voice message” as appropriate) between terminal device 500 and another terminal device (not shown) connected to communication network 200. Transfer.

広告配信サーバ400は、広告主が選択した広告音声の音声データ(以下、適宜「広告音声データ」という)と、広告音声データに付与される制御情報とを、端末装置500に配信する。広告配信サーバ400は、例えば、入力デバイス、表示デバイス、CPU、および記憶装置を備えた、パーソナルコンピュータである。   The advertisement distribution server 400 distributes to the terminal device 500 the sound data of the advertisement sound selected by the advertiser (hereinafter referred to as “advertisement sound data” as appropriate) and control information given to the advertisement sound data. The advertisement distribution server 400 is, for example, a personal computer that includes an input device, a display device, a CPU, and a storage device.

広告音声データは、例えば、WAV等の所定の形式のファイルとして保存され、ストリーミング形式のデータとして配信される。制御情報は、後述の仮想音響空間における広告音声の再生時刻および再生位置を、広告主側から指定するための情報である。制御情報の詳細については、後述する。   The advertisement audio data is stored as a file in a predetermined format such as WAV, and is distributed as streaming format data. The control information is information for designating the reproduction time and reproduction position of the advertisement sound from the advertiser side in a virtual acoustic space described later. Details of the control information will be described later.

なお、本実施の形態において、時刻とは、端末装置500での時間軸における時刻である。この時間軸は、例えば、端末装置500が、他の端末装置との音声メッセージ交換のために、音声メッセージ管理サーバ300に対して所定のログイン処理を完了したタイミングを基点とする。   In the present embodiment, the time is the time on the time axis in terminal device 500. For example, the time axis is based on the timing at which the terminal device 500 completes a predetermined login process with respect to the voice message management server 300 in order to exchange a voice message with another terminal device.

端末装置500は、音声メッセージ管理サーバ300を介して、他の端末装置との間で音声メッセージを交換するとともに、広告配信サーバ400から配信された広告音声データを受信する。そして、端末装置500は、受信した音声メッセージおよび広告音声データを、音声に変換して出力する。すなわち、端末装置500は、仮想音響空間に立体的に各音声の音源を配置する。そして、この際、端末装置500は、音声メッセージの音源(以下「メッセージ音源」という)と、広告音声データの音源(以下「広告音源」という)との相対位置を、複数の時刻のそれぞれにおいて取得する。そして、端末装置500は、取得した複数の時刻の相対位置に基づいて、広告に対する課金ポイントの値を決定する。より具体的には、端末装置500は、複数の時刻の相対位置から把握することができる、各相対位置関係の継続時間や相対位置の時間変化に基づいて、課金ポイントの値を決定する。   The terminal device 500 exchanges voice messages with other terminal devices via the voice message management server 300 and receives the advertisement voice data distributed from the advertisement distribution server 400. The terminal device 500 converts the received voice message and advertisement voice data into voice and outputs the voice. That is, the terminal device 500 arranges each sound source in a three-dimensional manner in the virtual acoustic space. At this time, the terminal device 500 acquires the relative position between the sound source of the voice message (hereinafter referred to as “message sound source”) and the sound source of the advertisement sound data (hereinafter referred to as “advertisement sound source”) at each of a plurality of times. To do. And the terminal device 500 determines the value of the charge point with respect to an advertisement based on the acquired relative position of the plurality of times. More specifically, the terminal device 500 determines the value of the charging point based on the duration of each relative positional relationship and the time change of the relative position, which can be grasped from the relative positions at a plurality of times.

なお、本実施の形態において、仮想音響空間の位置および向きは、実空間におけるユーザの胴体の位置および向きに固定されているものとする。すなわち、端末装置500は、仮想音響空間でのユーザの顔の向きの変化が、実空間でのユーザの顔の向きの変化と一致するように、仮想音響空間の音場を制御する。   In the present embodiment, the position and orientation of the virtual acoustic space are fixed to the position and orientation of the user's torso in real space. That is, the terminal device 500 controls the sound field of the virtual acoustic space so that the change in the orientation of the user's face in the virtual acoustic space matches the change in the orientation of the user's face in the real space.

実空間でのユーザの顔の向きの変化は、例えば、端末装置500および上述のヘッドセットのそれぞれに、方位および加速度を取得することができる3D(Dimension)モーションセンサを備えることにより、検出することができる。すなわち、実空間でのユーザの顔の向きの変化は、ユーザが胸ポケットなどに端末装置500を装着し、端末装置500の検出結果とヘッドセットの検出結果との差分から、算出することができる。また、実空間でのユーザの顔の向きの変化は、ある基準時刻における顔の正面の向き(以下「頭部向き」という)を基準とした、ヘッドセットの検出結果の変化からも、算出することができる。基準時刻は、端末装置500が決定してもよいし、ユーザが決定してもよいが、端末装置500の各機能部に共通に決定される。   A change in the orientation of the user's face in real space is detected by, for example, providing each of the terminal device 500 and the above-described headset with a 3D (Dimension) motion sensor that can acquire an azimuth and acceleration. Can do. That is, the change in the orientation of the user's face in real space can be calculated from the difference between the detection result of the terminal device 500 and the detection result of the headset when the user wears the terminal device 500 in a breast pocket or the like. . Further, the change in the orientation of the user's face in real space is also calculated from the change in the detection result of the headset based on the orientation of the front of the face at a certain reference time (hereinafter referred to as “head orientation”). be able to. The reference time may be determined by the terminal device 500 or may be determined by the user, but is determined in common for each functional unit of the terminal device 500.

まず、端末装置500の構成について説明する。   First, the configuration of the terminal device 500 will be described.

図3は、端末装置500の構成の一例を示すブロック図である。   FIG. 3 is a block diagram illustrating an exemplary configuration of the terminal device 500.

図3において、端末装置500は、操作部510、通信部520、記憶部530、制御部540、再生部550、および音声入出力部560を有する。   3, the terminal device 500 includes an operation unit 510, a communication unit 520, a storage unit 530, a control unit 540, a reproduction unit 550, and a voice input / output unit 560.

操作部510は、端末装置500に対する操作をユーザから受け付ける。特に、操作部510は、ユーザがどの音声を選択して聴取しているかを推定するために、実空間における、ユーザの、胴体正面方向に対する顔正面方向の角度変位(以下「頭部向き」という)を検出する。そして、操作部510は、検出した頭部向きを示す頭部向き情報を、制御部540および再生部550へ出力する。   The operation unit 510 receives an operation on the terminal device 500 from the user. In particular, the operation unit 510 is configured to estimate which voice the user has selected and listened to, in real space, an angular displacement (hereinafter referred to as “head orientation”) of the user in front of the face with respect to the front of the body. ) Is detected. Then, operation unit 510 outputs head direction information indicating the detected head direction to control unit 540 and playback unit 550.

操作部510は、例えば、上述のヘッドセットに取り付けられた3Dモーションセンサを含む。そして、操作部510は、このセンサの検出値(以下「センサ値」という)に基づいて、頭部向きを検出する。   The operation unit 510 includes, for example, a 3D motion sensor attached to the above-described headset. The operation unit 510 detects the head orientation based on the detection value of the sensor (hereinafter referred to as “sensor value”).

通信部520は、通信ネットワーク200に接続し、通信ネットワーク200を介して、広告配信サーバ400、音声メッセージ管理サーバ300、およびWWW(world wide web)(図示せず)との間で、データの送受信を行う。通信部520は、例えば、有線LAN(local area network)または無線LANの通信インターフェースである。   The communication unit 520 is connected to the communication network 200 and transmits / receives data to / from the advertisement distribution server 400, the voice message management server 300, and a WWW (world wide web) (not shown) via the communication network 200. I do. The communication unit 520 is, for example, a wired LAN (local area network) or a wireless LAN communication interface.

具体的には、通信部520は、広告配信サーバ400から受信した広告音声データ、並びに、音声メッセージ管理サーバ300から受信した音声メッセージおよび制御情報を、記憶部530へ出力する。また、通信部520は、後述の音声入出力部560から入力されたユーザ音声データを、音声メッセージ管理サーバ300へ送信する。   Specifically, the communication unit 520 outputs the advertising voice data received from the advertisement distribution server 400 and the voice message and control information received from the voice message management server 300 to the storage unit 530. In addition, the communication unit 520 transmits user voice data input from a voice input / output unit 560 described later to the voice message management server 300.

記憶部530は、端末装置500の各部により用いられる記憶領域であり、例えば、通信部520から入力された音声メッセージ、広告音声データ、および制御情報を保存する。記憶部530は、例えば、メモリカード等、電源供給が停止しても記憶内容を保持する不揮発性の記憶デバイスである。   The storage unit 530 is a storage area used by each unit of the terminal device 500, and stores, for example, a voice message, advertisement voice data, and control information input from the communication unit 520. The storage unit 530 is a nonvolatile storage device such as a memory card that retains stored contents even when power supply is stopped.

制御部540は、音声メッセージおよび広告音声データに対し、制御情報に基づいて、立体音響におけるメッセージ音源および広告音源の位置(以下「立体音響配置」という)を決定する。そして、制御部540は、決定した立体音響配置を、再生部550へ通知する。   The control unit 540 determines the position of the message sound source and the advertisement sound source (hereinafter referred to as “stereo sound arrangement”) in the stereo sound based on the control information with respect to the sound message and the advertisement sound data. Then, the control unit 540 notifies the playback unit 550 of the determined stereophonic sound arrangement.

また、制御部540は、決定した立体音響配置から、複数の時刻におけるメッセージ音源と広告音源との相対位置を取得する。そして、制御部540は、複数時刻のそれぞれにおける、相対位置と、頭部向きと広告音源の位置との関係とから、広告に対する課金ポイントの値を決定する。   Also, the control unit 540 acquires the relative positions of the message sound source and the advertisement sound source at a plurality of times from the determined stereophonic sound arrangement. Then, the control unit 540 determines the value of the billing point for the advertisement from the relative position at each of a plurality of times and the relationship between the head orientation and the position of the advertisement sound source.

なお、音声メッセージの音源を仮想音響空間のどこへ配置するかについては、本発明の範囲外とする。   Note that where the sound source of the voice message is arranged in the virtual acoustic space is out of the scope of the present invention.

再生部550は、音声メッセージおよび広告音声データに対し、制御部540から通知された立体音響配置に従って、立体音響効果の付与と音声合成とを行い、立体音響データを生成する。この際、再生部550は、操作部510から入力される頭部向き情報に基づいて、基準時刻を基準とした実空間での頭部向きの変位に追従して、生成される立体音響データの音場を変化させる。そして、再生部550は、生成された立体音響データを、音声入出力部560へ出力する。   The reproduction unit 550 performs stereophonic effect application and speech synthesis on the voice message and the advertisement voice data according to the stereophonic arrangement notified from the control unit 540, and generates stereophonic data. At this time, the reproduction unit 550 follows the displacement of the head direction in the real space based on the reference time based on the head direction information input from the operation unit 510, and generates the generated stereophonic sound data. Change the sound field. Then, the reproduction unit 550 outputs the generated stereophonic data to the audio input / output unit 560.

音声入出力部560は、再生部550から入力される立体音響データを立体音響に変換して、ユーザに対して出力する。また、音声入出力部560は、ユーザから入力された音声を、信号化してユーザ音声メッセージに変換し、通信部520を介して音声メッセージ管理サーバ300へ送信する。音声入出力部560は、例えば、マクロフォンおよびヘッドフォンを備えたヘッドセットである。   The voice input / output unit 560 converts the stereophonic data input from the playback unit 550 into stereophonic sound and outputs it to the user. The voice input / output unit 560 converts the voice input from the user into a signal and converts it into a user voice message, and transmits the voice message management server 300 via the communication unit 520. The audio input / output unit 560 is, for example, a headset including a macrophone and headphones.

なお、端末装置500は、頭部向きの検出から、立体音響配置の決定を経て立体音響データの音声出力までの一連の処理を、短い間隔で周期的に到来する所定のタイミングごとに、繰り返し行うものとする。この所定のタイミングは、「検出タイミング」といい、検出タイミングごとに繰り返す状態は、適宜、「周期的に」と表現するものとする。   Note that the terminal device 500 repeatedly performs a series of processing from detection of the head orientation, determination of stereophonic sound arrangement, and sound output of stereoacoustic data at predetermined timings that periodically arrive at short intervals. Shall. This predetermined timing is referred to as “detection timing”, and the state repeated at each detection timing is appropriately expressed “periodically”.

図4は、制御部540の構成の一例を示すブロック図である。なお、図4は、説明の便宜のため、周辺の構成部についても併せて図示する。   FIG. 4 is a block diagram illustrating an example of the configuration of the control unit 540. Note that FIG. 4 also illustrates peripheral components together for convenience of explanation.

図4において、制御部540は、音響制御部541、位置取得部542、仮想領域判定部543、課金ポイントシート制御部544、および課金ポイント算出部545を有する。   In FIG. 4, the control unit 540 includes an acoustic control unit 541, a position acquisition unit 542, a virtual area determination unit 543, a charging point sheet control unit 544, and a charging point calculation unit 545.

音響制御部541は、広告音源を、仮想音響空間に配置する。具体的には、音響制御部541は、制御情報に基づき、広告音源の仮想音響空間における位置(以下、単に「位置」という)を取得する。そして、音響制御部541は、取得した広告音源の位置を示す広告位置情報を、仮想領域判定部543へ出力する。   The acoustic control unit 541 arranges the advertisement sound source in the virtual acoustic space. Specifically, the acoustic control unit 541 acquires the position of the advertising sound source in the virtual acoustic space (hereinafter simply referred to as “position”) based on the control information. Then, the sound control unit 541 outputs advertisement position information indicating the position of the acquired advertisement sound source to the virtual area determination unit 543.

仮想領域判定部543は、周期的にユーザの向きを取得し、取得したユーザの向きから可聴領域を判定する。可聴領域は、仮想音響空間において、ユーザの頭部位置を中心とし頭部向きの方向に広がった所定の角度範囲内の領域である。すなわち、可聴領域は、ユーザが選択して聴取している対象が含まれていると推定される領域である。   The virtual area determination unit 543 periodically acquires the direction of the user, and determines the audible area from the acquired direction of the user. The audible area is an area within a predetermined angle range that extends in the direction of the head centering on the user's head position in the virtual acoustic space. That is, the audible area is an area that is estimated to include an object that is selected and listened to by the user.

具体的には、仮想領域判定部543は、予め、頭部向きを基準とした可聴領域の判定ルールを格納している。この判定ルールは、例えば、頭部向きを中心として水平方向に30度の範囲を、可聴領域とする内容である。仮想領域判定部543は、操作部510から入力される頭部向き情報に基づき、上記判定ルールに従って、可聴領域を周期的に判定する。   Specifically, the virtual area determination unit 543 stores an audible area determination rule based on the head orientation in advance. This determination rule is, for example, a content in which a range of 30 degrees in the horizontal direction centering on the head direction is set as an audible area. The virtual area determination unit 543 periodically determines the audible area based on the head orientation information input from the operation unit 510 according to the determination rule.

仮想領域判定部543は、入力された広告位置情報と、判定した可聴領域とから、広告音源の位置が可聴領域内にあるか否かを判断する。そして、仮想領域判定部543は、告音源の位置が可聴領域内にあるか否かを示す可聴領域情報を、課金ポイントシート制御部544へ出力する。   The virtual area determination unit 543 determines whether or not the position of the advertisement sound source is within the audible area from the input advertisement position information and the determined audible area. Then, the virtual area determination unit 543 outputs audible area information indicating whether or not the position of the notification sound source is within the audible area to the accounting point sheet control unit 544.

ここで、仮想音響空間および可聴領域について説明する。   Here, the virtual acoustic space and the audible area will be described.

図5は、本実施の形態における仮想音響空間を説明するための図である。   FIG. 5 is a diagram for explaining a virtual acoustic space in the present embodiment.

図5に示すように、音響制御部541は、ユーザ611の位置を中心として、楕円もしくは円状の3次元空間である仮想音響空間612を設定する。なお、仮想音響空間612の大きさは、端末装置500ごとに予め設定されてもよいし、ユーザの指定操作により設定されてもよい。   As illustrated in FIG. 5, the acoustic control unit 541 sets a virtual acoustic space 612 that is an elliptical or circular three-dimensional space with the position of the user 611 as the center. Note that the size of the virtual acoustic space 612 may be set in advance for each terminal device 500 or may be set by a user specifying operation.

端末装置500は、ユーザ611の右斜め前方90度の範囲を「領域1」とし、右斜め後方90度の範囲を「領域2」とし、左斜め前方90度の範囲を「領域3」とし、左斜め後方90度の範囲を「領域4」して扱う。また、端末装置500は、ユーザ611の胴体正面方向をX軸方向とし、ユーザ611の右方向をY軸とし、紙面手前方向をZ軸とする座標系613を、仮想音響空間612の座標系(以下「仮想音響空間座標系」という)として扱う。   The terminal apparatus 500 sets the range of 90 degrees right forward of the user 611 as “area 1”, sets the range of 90 degrees right backward as “area 2”, sets the range of 90 degrees diagonally forward left as “area 3”, A range of 90 degrees diagonally to the left rear is treated as “area 4”. Also, the terminal device 500 uses a coordinate system 613 in which the front direction of the body of the user 611 is the X axis direction, the right direction of the user 611 is the Y axis, and the front side of the page is the Z axis. Hereinafter referred to as “virtual acoustic space coordinate system”.

なお、仮想音響空間612の領域の分割は、4分割に限定されるものではなく、より細かい領域分割としてもよい。この場合、端末装置500は、課金ポイントをより細かく設定することが可能となる。   Note that the division of the region of the virtual acoustic space 612 is not limited to four divisions, and may be divided into finer regions. In this case, the terminal device 500 can set charging points in more detail.

音響制御部541は、ある時刻において、例えば、メッセージ音源614を領域1に配置し、広告音源615を領域4に配置する。このとき、仮想領域判定部543は、基準頭部向きの方向に広がる領域616を、可聴領域と判定する。この状態では、広告音源615は、可聴領域(616)に位置していない。   The acoustic control unit 541 arranges the message sound source 614 in the area 1 and the advertisement sound source 615 in the area 4 at a certain time, for example. At this time, the virtual area determination unit 543 determines that the area 616 extending in the direction toward the reference head is an audible area. In this state, the advertisement sound source 615 is not located in the audible area (616).

音響制御部541は、制御情報に従って、例えば、広告音源615を、ユーザ611の耳元をかすめるような軌道617で、領域3へと移動させる。このような場合、通常、ユーザ611は、広告音源615の音声に注目し(あるいは興味を持ち)、移動後の広告音源615の方(領域3)へ顔を向けることになる。   The acoustic control unit 541 moves, for example, the advertisement sound source 615 to the region 3 along a trajectory 617 that grabs the ear of the user 611 in accordance with the control information. In such a case, the user 611 usually pays attention to (or is interested in) the sound of the advertisement sound source 615 and turns his face toward the advertisement sound source 615 after moving (region 3).

図6は、可聴領域を説明するための図である。   FIG. 6 is a diagram for explaining an audible area.

ユーザ611が実空間で左を向いたことが検出されると、仮想領域判定部543は、仮想音響空間612においても同様にユーザ611が左を向いているものとして扱う。更に、仮想領域判定部543は、頭部向きである左斜め前方向に広がる領域618を、可聴領域と判定する。つまり、この状態は、広告音源615が可聴領域(618)に位置していることを示している。   When it is detected that the user 611 turns to the left in the real space, the virtual area determination unit 543 treats the virtual sound space 612 as if the user 611 is turned to the left. Further, the virtual area determination unit 543 determines that the area 618 that extends in the diagonally forward left direction, which is directed to the head, is an audible area. That is, this state indicates that the advertisement sound source 615 is located in the audible area (618).

このように、ユーザ611が広告音源615の方向を向いている状態は、その広告音声にユーザ611が注目していることを示し、その広告効果が高いことを意味する。逆に、ユーザ611が広告音源615の方向を向いていない状態は、その広告音声にユーザ611が注目していないか避けていることを示し、その広告効果が低いことを意味する。そして、ユーザ611が広告音源615の方向を向いているか否かは、可聴領域(616、618)に広告音源615の位置が含まれているか否かから判断することができる。   Thus, the state where the user 611 faces the direction of the advertisement sound source 615 indicates that the user 611 is paying attention to the advertisement sound, and means that the advertisement effect is high. Conversely, a state where the user 611 is not facing the direction of the advertising sound source 615 indicates that the user 611 is not paying attention to or avoiding the advertising sound, and means that the advertising effect is low. Whether or not the user 611 is facing the advertisement sound source 615 can be determined from whether or not the position of the advertisement sound source 615 is included in the audible area (616, 618).

以上で、仮想音響空間および可聴領域についての説明を終える。   This completes the description of the virtual acoustic space and the audible area.

図4の課金ポイントシート制御部544は、ユーザの仮想音響空間における位置と、広告音源の仮想音響空間における位置との相対関係を含む、音源相対位置情報を取得する。   4 acquires sound source relative position information including a relative relationship between the position of the user in the virtual acoustic space and the position of the advertising sound source in the virtual acoustic space.

具体的には、課金ポイントシート制御部544は、入力される広告位置情報および可聴領域情報から、課金ポイントシートを生成し、生成した課金ポイントシートを、記憶部530に格納する。課金ポイントシートは、広告音源の位置と可聴領域とを検出タイミングごとに対応付けた情報を記述するシートである。   Specifically, charging point sheet control unit 544 generates a charging point sheet from the input advertisement position information and audible area information, and stores the generated charging point sheet in storage unit 530. The billing point sheet is a sheet describing information in which the position of the advertisement sound source and the audible area are associated with each detection timing.

課金ポイントシートの内容は、広告音源の位置がユーザの可聴領域にあるか否か、広告音源の位置とユーザの位置との距離、および、ユーザの位置および向きに対する広告音源の相対位置を含むものとする。また、課金ポイントシートの内容は、広告の音声に重なる他の音声が存在するか否か、および、広告音源の位置と他の音声の音源である他音源(メッセージ音源および他の広告音声の音源)の位置との距離を含むものとする。課金ポイントシートの詳細については、後述する。   The contents of the billing point sheet include whether or not the position of the advertisement sound source is in the user's audible area, the distance between the position of the advertisement sound source and the user's position, and the relative position of the advertisement sound source with respect to the user's position and orientation. . The contents of the billing point sheet include whether or not there is other sound that overlaps with the sound of the advertisement, and the position of the advertisement sound source and other sound sources that are sound sources of other sounds (message sound source and sound source of other advertisement sound) ) Position. Details of the charge point sheet will be described later.

課金ポイント算出部545は、複数の時刻において取得された複数の音源相対位置情報に基づいて、広告に対する課金ポイントの値を決定する。   The charging point calculation unit 545 determines a charging point value for the advertisement based on a plurality of sound source relative position information acquired at a plurality of times.

具体的には、課金ポイント算出部545は、課金ポイント算出テーブルを予め格納し、この課金ポイント算出テーブルを用いて、前記課金ポイントシートから、課金ポイントの値を決定する。課金ポイント算出テーブルは、複数の時刻における音源相対位置情報の内容と課金ポイント値とを対応付けて記述するテーブルである。すなわち、課金ポイント算出テーブルの内容は、課金ポイント算出部545が課金ポイントを決定する際のルール(以下「ポイント決定ルール」という)である。   Specifically, charging point calculation unit 545 stores a charging point calculation table in advance, and determines the value of the charging point from the charging point sheet using this charging point calculation table. The billing point calculation table is a table that describes the content of the sound source relative position information at a plurality of times and the billing point value in association with each other. That is, the contents of the charging point calculation table are rules (hereinafter referred to as “point determination rule”) when charging point calculation unit 545 determines charging points.

図7は、課金ポイント算出テーブルの内容の一例を示す図である。   FIG. 7 is a diagram showing an example of the contents of the charge point calculation table.

図7において、課金ポイント算出テーブル620は、課金の基準の種別である課金種別621ごとに、その基準の詳細622に対応付けて、課金ポイント加算値623を記述する。   In FIG. 7, the charging point calculation table 620 describes a charging point addition value 623 in association with the details 622 of each charging type 621 that is a charging reference type.

例えば、「広告音源位置」という課金種別621のうち「領域1」という詳細622には、「プラス1.0」という課金ポイント加算値623が対応付けられている。これは、ある検出タイミングにおいて、広告音源の再生位置が領域1であった場合、課金ポイントの累積値に1.0をプラスすべきであるということを意味する。   For example, the charge point addition value 623 of “plus 1.0” is associated with the detail 622 of “area 1” in the charge type 621 of “advertising sound source position”. This means that if the reproduction position of the advertisement sound source is in region 1 at a certain detection timing, 1.0 should be added to the accumulated value of the charging points.

課金ポイント算出テーブル620の内容としては、図7に示すように、各種のポイント決定ルールを採用することができる。   As the contents of the accounting point calculation table 620, various point determination rules can be adopted as shown in FIG.

第1のポイント決定ルールは、広告音源の位置がユーザの可聴領域にある時間が長いほど、課金ポイントをより高い値に決定する内容である。広告音源の位置がユーザの可聴領域にある場合、ユーザは、広告音源に注目している可能性が高いからである。   The first point determination rule is a content for determining the charging point to a higher value as the time of the advertisement sound source in the user's audible area is longer. This is because when the position of the advertisement sound source is in the user's audible area, the user is likely to focus on the advertisement sound source.

第2のポイント決定ルールは、広告音源の位置とユーザの位置との距離に反比例する所定の値の積算値が高いほど、課金ポイントをより高い値に決定する内容である。広告音源の位置とユーザの位置との距離が短いほど、ユーザは、広告音源に気を取られ易いからである。   The second point determination rule is a content for determining the charging point to a higher value as the integrated value of a predetermined value inversely proportional to the distance between the position of the advertisement sound source and the user is higher. This is because the shorter the distance between the position of the advertisement sound source and the position of the user, the easier the user is distracted by the advertisement sound source.

第3のポイント決定ルールは、広告音源の位置が、予め定められた、ユーザが聞き取り易い領域(例えば、ユーザの前方)に位置する時間が長いほど、課金ポイントをより高い値に決定する内容である。   The third point determination rule is a content for determining the charging point to a higher value as the time of the advertisement sound source is determined in a predetermined area where the user can easily hear (for example, in front of the user). is there.

第4のポイント決定ルールは、ユーザの位置および向きに対する広告音源の相対位置の移動距離が長いほど、課金ポイントをより高い値に決定する内容である。かかる距離が長いほど、広告音源は、より高速に、またはより長い時間、移動しているといえ、ユーザは広告音源に気を取られ易いからである。   The fourth point determination rule is a content for determining the charging point to a higher value as the moving distance of the relative position of the advertisement sound source with respect to the position and orientation of the user is longer. This is because the longer the distance is, the easier the advertising sound source is distracted by the advertising sound source even though the advertising sound source is moving at a higher speed or for a longer time.

第5のポイント決定ルールは、広告の音声に重なる他の音声(音声メッセージの音声)が存在しない時間が長いほど、課金ポイントをより高い値に決定する内容である。他の音声が存在しない場合、ユーザは、広告音源に気を取られ易いからである。   The fifth point determination rule is a content in which the charging point is determined to be higher as the time during which there is no other voice (voice voice voice) overlapping the voice of the advertisement is longer. This is because when there is no other sound, the user is easily distracted by the advertisement sound source.

第6のポイント決定ルールは、広告音源の位置と、他の音声の音源である他音源(メッセージ音源)の位置との距離の積算値が高いほど、課金ポイントをより高い値に決定する内容である。かかる積算値が高いほど、広告音源は、他音源とより離れている、または、より長い時間存在しているといえ、ユーザは、広告音源を他音源と区別し易いからである。   The sixth point determination rule is a content that determines the charging point to a higher value as the integrated value of the distance between the position of the advertisement sound source and the position of another sound source (message sound source) that is a sound source of other audio is higher. is there. This is because the higher the integrated value is, the easier the user can distinguish the advertisement sound source from the other sound sources even though the advertisement sound source is more distant from the other sound sources or exists for a longer time.

なお、ポイント決定ルールは、これらの例に制限されない。   Note that the point determination rule is not limited to these examples.

課金ポイント算出部545は、検出タイミングごとの課金ポイント加算値、または、課金ポイント加算値の累積値(つまり、課金ポイントの値)を、記憶または出力する。例えば、課金ポイント算出部545は、1ヶ月ごとなど定期的に、あるいは、1つの広告音声データの再生が終了するごとに、課金ポイントの累積値を、通信部520を介して広告配信サーバ400へ送信する。そして、課金ポイント算出部545は、課金ポイントの累積値の送信が完了するごとに、内部に保持する当該累積値を初期化する。   The charging point calculation unit 545 stores or outputs a charging point addition value for each detection timing or a cumulative value of the charging point addition value (that is, a charging point value). For example, the charging point calculation unit 545 sends the accumulated value of the charging points to the advertisement distribution server 400 via the communication unit 520 periodically such as every month or every time reproduction of one advertisement audio data is finished. Send. The charging point calculation unit 545 initializes the accumulated value held therein every time transmission of the accumulated value of the charging point is completed.

なお、ある時間範囲において、検出タイミングごとの課金ポイント加算値を検出タイミングごとに繰り返し決定することは、その時間範囲の課金ポイントの値を決定することに等しい。   It should be noted that repeatedly determining the charging point addition value for each detection timing within a certain time range is equivalent to determining the charging point value for that time range.

端末装置500は、例えば、CPUおよびRAMなどの記憶媒体を有する。この場合、上記各機能部は、CPUが制御プログラムを実行することにより実現される。   The terminal device 500 includes a storage medium such as a CPU and a RAM, for example. In this case, each functional unit is realized by the CPU executing the control program.

音声広告の広告効果は、通常、ユーザがどの音声を選択的に聴取しているか(注目しているか)に大きく影響される。そして、ユーザがどの音声を選択的に聴取するかは、通常、ユーザと広告音源との相対位置関係、および、その時間変化あるいは時間長さに、大きく影響される。また、音声広告の広告効果は、その聴取されている継続時間に大きく影響される。すなわち、音声広告の広告効果は、複数の時間におけるユーザと広告音源との相対位置関係に応じたものとなる。   The advertising effect of the voice advertisement is usually greatly influenced by which voice the user is selectively listening (watching). And what voice is selectively listened to by the user is usually greatly influenced by the relative positional relationship between the user and the advertisement sound source, and the time change or time length thereof. In addition, the advertising effect of the voice advertisement is greatly influenced by the duration of listening. That is, the advertising effect of the voice advertisement is in accordance with the relative positional relationship between the user and the advertisement sound source at a plurality of times.

したがって、上述の構成を有する端末装置500は、仮想音響空間に立体的に各音声を配置し、複数の時刻におけるメッセージ音源と広告音源との相対位置に基づいて、広告に対する課金ポイントの値を決定することができる。   Therefore, the terminal device 500 having the above-described configuration arranges each sound three-dimensionally in the virtual acoustic space, and determines a charging point value for the advertisement based on the relative positions of the message sound source and the advertisement sound source at a plurality of times. can do.

以上で、端末装置500の構成についての説明を終える。   This is the end of the description of the configuration of the terminal device 500.

次に、各装置の動作について説明する。ここでは、広告音声データが1つ再生されるごとに、課金ポイントがフィードバックされる例について説明する。   Next, the operation of each device will be described. Here, an example will be described in which billing points are fed back each time one piece of advertising audio data is reproduced.

まず、広告配信サーバ400の動作について説明する。   First, the operation of the advertisement distribution server 400 will be described.

図8は、広告配信サーバ400の動作の一例を示すフローチャートである。   FIG. 8 is a flowchart illustrating an example of the operation of the advertisement distribution server 400.

まず、ステップS1100において、広告配信サーバ400は、制御情報生成処理を行う。制御情報生成処理は、配信される広告音声データに付与される制御情報を生成する処理である。   First, in step S1100, the advertisement distribution server 400 performs control information generation processing. The control information generation process is a process for generating control information given to the distributed advertisement audio data.

図9は、制御情報生成処理の一例を示すフローチャートである。   FIG. 9 is a flowchart illustrating an example of the control information generation process.

まず、ステップS1101において、広告配信サーバ400は、広告主からの指示操作を受け付けて、端末装置500に配信する広告音声データ(広告音源)を選択する。   First, in step S <b> 1101, the advertisement distribution server 400 receives an instruction operation from an advertiser and selects advertisement sound data (advertisement sound source) to be distributed to the terminal device 500.

そして、ステップS1102において、広告配信サーバ400は、広告主からの指示操作を受け付けて、広告音声データ(広告音源)を仮想音響空間のどこへ配置するか(つまり広告音源の初期位置)を決定する。広告音源の初期位置は、ユーザへの広告効果を考慮して、広告主が任意に指定することができる。広告音源の初期位置は、例えば、予め定められた複数の位置の中から選択される。   In step S1102, the advertisement distribution server 400 receives an instruction operation from the advertiser, and determines where the advertisement sound data (advertisement sound source) is arranged in the virtual acoustic space (that is, the initial position of the advertisement sound source). . The initial position of the advertisement sound source can be arbitrarily designated by the advertiser in consideration of the advertisement effect on the user. The initial position of the advertisement sound source is selected from a plurality of predetermined positions, for example.

そして、ステップS1103において、広告配信サーバ400は、広告主からの指示操作を受け付けて、広告音源に動作を付加するか否かを判断する。すなわち、広告配信サーバ400は、広告音源に、時間を変数とした軌道を与えるか否かを判断する。広告配信サーバ400は、広告音源に動作を付加する場合(S1103:YES)、ステップS1104へ進む。また、広告配信サーバ400は、広告音源に動作を付加しない場合(S1103:NO)、ステップS1105へ進む。   In step S1103, the advertisement distribution server 400 receives an instruction operation from the advertiser and determines whether or not to add an operation to the advertisement sound source. That is, the advertisement distribution server 400 determines whether or not to give the advertisement sound source a trajectory with time as a variable. If the advertisement distribution server 400 adds an operation to the advertisement sound source (S1103: YES), the process proceeds to step S1104. Moreover, the advertisement delivery server 400 progresses to step S1105, when operation | movement is not added to an advertisement sound source (S1103: NO).

ステップS1104において、広告配信サーバ400は、広告主からの指示操作を受け付けて、軌道を選択し、ステップS1105へ進む。軌道は、例えば、予め定められた複数の軌道の中から選択される。   In step S1104, the advertisement distribution server 400 receives an instruction operation from the advertiser, selects a trajectory, and proceeds to step S1105. The trajectory is selected from, for example, a plurality of predetermined trajectories.

ステップS1105において、広告配信サーバ400は、選択された広告音源の初期位置および軌道(位置が変化しない場合を含む)を示す制御情報を生成して、図8の処理へ戻る。   In step S1105, the advertisement distribution server 400 generates control information indicating the initial position and trajectory (including the case where the position does not change) of the selected advertisement sound source, and returns to the process of FIG.

図8のステップS1200において、広告配信サーバ400は、選択された広告音声データと、生成された制御情報とを、互いに対応付けた状態で、端末装置500に配信する。   In step S1200 of FIG. 8, the advertisement distribution server 400 distributes the selected advertisement audio data and the generated control information to the terminal device 500 in a state of being associated with each other.

図10は、制御情報の内容の一例を示す図である。ここでは、移動することが決定された広告音源についての制御情報の例を示す。   FIG. 10 is a diagram illustrating an example of the content of the control information. Here, an example of the control information about the advertisement sound source determined to move is shown.

図10に示すように、制御情報630は、広告音声ID631に対応付けて、再生時刻632および位置情報633の組を記述する。広告音声ID631は、広告音声データの識別情報である。再生時刻632は、広告音声データの再生開始時刻からの経過時間[秒]である。位置情報633は、仮想音響空間座標系における広告音源位置の座標である。   As illustrated in FIG. 10, the control information 630 describes a set of the reproduction time 632 and the position information 633 in association with the advertisement audio ID 631. The advertisement voice ID 631 is identification information of advertisement voice data. The reproduction time 632 is an elapsed time [seconds] from the reproduction start time of the advertisement audio data. The position information 633 is the coordinates of the advertisement sound source position in the virtual acoustic space coordinate system.

再生時刻632は、例えば、1秒刻みの値を記述する。この場合、制御情報630は、1秒ごとの広告音源位置を記述することになる。なお、移動しないことが決定された広告音源の場合、制御情報630は、複数の再生時刻632と位置情報633との組に代えて、移動しない旨を示す情報と初期位置とを記述してもよい。   The reproduction time 632 describes a value in increments of 1 second, for example. In this case, the control information 630 describes the advertisement sound source position every second. In the case of an advertisement sound source determined not to move, the control information 630 may describe information indicating that the object does not move and an initial position instead of a set of a plurality of reproduction times 632 and position information 633. Good.

なお、制御情報630は、例えば、XML(extensible markup language)形式のファイルとすることができる。   Note that the control information 630 can be, for example, an XML (extensible markup language) format file.

図8のステップS1300において、広告配信サーバ400は、端末装置500から広告配信サーバ400宛ての課金ポイントの送信を待機する(S1300:NO)。広告配信サーバ400は、かかる課金ポイントが送信されたと判断すると(S1300:YES)、ステップS1400へ進む。   In step S1300 of FIG. 8, the advertisement distribution server 400 waits for transmission of a charging point addressed to the advertisement distribution server 400 from the terminal device 500 (S1300: NO). If the advertisement distribution server 400 determines that such billing points have been transmitted (S1300: YES), it proceeds to step S1400.

ステップS1400において、広告配信サーバ400は、端末装置500から送信された広告配信サーバ400宛ての課金ポイントを、受信する。   In step S <b> 1400, the advertisement distribution server 400 receives the billing point addressed to the advertisement distribution server 400 transmitted from the terminal device 500.

そして、ステップS1500において、広告配信サーバ400は、広告主の操作などにより、処理の終了を指示されたか否かを判断する。広告配信サーバ400は、処理の終了を指示されていない場合(S1500:NO)、ステップS1100へ戻る。また、広告配信サーバ400は、処理の終了を指示された場合(S1500:YES)、一連の処理を終了する。   In step S1500, the advertisement distribution server 400 determines whether an instruction to end the process is given by an operation of the advertiser. If the distribution server 400 is not instructed to end the process (S1500: NO), the process returns to step S1100. Moreover, the advertisement delivery server 400 complete | finishes a series of processes, when the completion | finish of a process is instruct | indicated (S1500: YES).

このような動作により、広告配信サーバ400は、広告音声データを、広告主が望む位置および動作を示す制御情報を付与した状態で、端末装置500へ送信することができる。   By such an operation, the advertisement distribution server 400 can transmit the advertisement sound data to the terminal device 500 in a state in which control information indicating the position and operation desired by the advertiser is given.

以上で、広告配信サーバ400の動作についての説明を終える。   This is the end of the description of the operation of the advertisement distribution server 400.

次に、端末装置500の動作について説明する。   Next, the operation of the terminal device 500 will be described.

図11は、端末装置500の動作の一例を示すフローチャートである。   FIG. 11 is a flowchart illustrating an example of the operation of the terminal device 500.

まず、ステップS2100において、通信部520は、広告配信サーバ400が送信した広告音声データおよび制御情報を受信する。   First, in step S <b> 2100, the communication unit 520 receives advertising voice data and control information transmitted by the advertisement distribution server 400.

そして、ステップS2200において、端末装置500は、広告音声再生処理を行う。広告音声再生処理は、広告音源位置を決定し広告音声を再生しつつ、課金ポイントシートを生成する処理である。   In step S2200, the terminal device 500 performs an advertising sound reproduction process. The advertisement sound reproduction process is a process of generating a billing point sheet while determining the advertisement sound source position and reproducing the advertisement sound.

なお、端末装置500は、ステップS2200の処理および後述のステップS2300の処理を、音声上述の検出タイミングごとに繰り返し実行するものとする。また、端末装置500は、複数の広告音声データを受信している場合、ステップS2200の処理を、広告音声データごとに行うものとする。   Note that the terminal device 500 repeatedly executes the process in step S2200 and the process in step S2300 described later for each detection timing described above. Further, when receiving a plurality of advertisement sound data, the terminal device 500 performs the process of step S2200 for each advertisement sound data.

図12は、広告音声再生処理の一例を示すフローチャートである。   FIG. 12 is a flowchart illustrating an example of the advertising sound reproduction process.

まず、ステップS2201において、音響制御部541は、制御情報に基づいて、今回の検出タイミングにおける広告音源位置を決定する。例えば、図10に示す制御情報630の場合、音響制御部541は、最初に、「X0,X0,Z」という座標を、広告音源位置に決定する。   First, in step S2201, the sound control unit 541 determines the advertisement sound source position at the current detection timing based on the control information. For example, in the case of the control information 630 illustrated in FIG. 10, the acoustic control unit 541 first determines the coordinates “X0, X0, Z” as the advertisement sound source position.

そして、ステップS2202において、音響制御部541は、他音源(メッセージ音源および他の広告音声の音源)が存在するか否かを判断する。音響制御部541は、他音源が存在する場合(S2202:YES)、ステップS2203へ進む。また、音響制御部541は、他音源が存在しない場合(S2202:NO)、ステップS2204へ進む。   In step S2202, the sound control unit 541 determines whether or not another sound source (message sound source and other advertisement sound sound source) is present. If there is another sound source (S2202: YES), the sound control unit 541 proceeds to step S2203. If no other sound source exists (S2202: NO), the sound control unit 541 proceeds to step S2204.

ステップS2203において、音響制御部541は、他音源が存在するか否かを判断し、存在する場合、その位置を取得する。   In step S2203, the sound control unit 541 determines whether or not another sound source is present, and if present, acquires the position.

そして、ステップS2205において、音響制御部541は、広告音源位置と他音源の位置とから、広告音源と他音源との重畳が有るか否かを判断する。音響制御部541は、例えば、広告音源位置を中心とした所定の半径の範囲内に他音源の位置がある場合、その他音源との重畳が有ると判断する。   In step S2205, the sound control unit 541 determines whether or not the advertisement sound source and the other sound source are superimposed from the advertisement sound source position and the position of the other sound source. For example, when the position of the other sound source is within a predetermined radius centered on the advertisement sound source position, the sound control unit 541 determines that there is an overlap with the other sound source.

そして、ステップS2204において、再生部550は、決定された広告音源位置、取得された他音源の位置、および判断された他音源の有無で、課金ポイントシートに記録し、図11の処理へ戻る。   In step S2204, the playback unit 550 records the billing point sheet based on the determined advertisement sound source position, the acquired position of the other sound source, and the presence / absence of the determined other sound source, and returns to the process of FIG.

図11のステップS2300において、端末装置500は、頭部向き取得処理を行う。頭部向き取得処理は、頭部向きを取得し、ユーザの可聴領域内に広告音源位置があるかを判断する処理である。   In step S2300 of FIG. 11, the terminal device 500 performs head orientation acquisition processing. The head orientation acquisition process is a process of acquiring the head orientation and determining whether the advertisement sound source position is within the user's audible area.

図13は、頭部向き取得処理の一例を示すフローチャートである。   FIG. 13 is a flowchart illustrating an example of the head orientation acquisition process.

まず、ステップS2301において、操作部510は、センサ値を取得する。   First, in step S2301, the operation unit 510 acquires a sensor value.

そして、ステップS2302において、操作部510は、取得したセンサ値から、頭部向きを判定する。   In step S2302, the operation unit 510 determines the head orientation from the acquired sensor value.

そして、ステップS2303において、仮想領域判定部543は、判定された頭部向きから、可聴領域を判定する。   In step S2303, the virtual area determination unit 543 determines an audible area from the determined head orientation.

そして、ステップS2304において、仮想領域判定部543は、制御情報に基づき、広告音源が可聴領域内に位置するか否かを判定する。   In step S2304, the virtual area determination unit 543 determines whether the advertising sound source is located in the audible area based on the control information.

そして、ステップS2305において、課金ポイントシート制御部544は、仮想領域判定部543の判断結果(可聴領域情報)を、課金ポイントシートに記録して、図11の処理へ戻る。   In step S2305, charging point sheet control unit 544 records the determination result (audible area information) of virtual region determination unit 543 in the charging point sheet, and returns to the processing of FIG.

図11のステップS2400において、再生部550は、広告音声データを取得し、決定された広告音源位置(広告位置情報)および取得された頭部向きに基づいて、立体音響データを生成し、出力する。なお、この立体音響データには、音声メッセージも含まれ得る。   In step S2400 of FIG. 11, the playback unit 550 acquires advertisement sound data, generates and outputs stereophonic sound data based on the determined advertisement sound source position (advertisement position information) and the acquired head orientation. . The stereophonic sound data can also include a voice message.

そしてステップS2500において、課金ポイント算出部545は、広告音声データの再生が終了したか否かを判断する。例えば、課金ポイント算出部545は、広告音声データの再生開始時刻から、広告音声データの総再生時間が経過したか否かにより、再生終了を判断する。課金ポイント算出部545は、広告音声データの再生がまだ終了していない場合(S2500:NO)、ステップS2200へ戻る。また、課金ポイント算出部545は、広告音声データの再生が終了した場合(S2500:YES)、ステップS2600へ進む。   In step S2500, charging point calculation unit 545 determines whether or not the reproduction of the advertising audio data has been completed. For example, the charging point calculation unit 545 determines the end of reproduction based on whether or not the total reproduction time of the advertisement audio data has elapsed from the reproduction start time of the advertisement audio data. If the reproduction of the advertising audio data has not yet ended (S2500: NO), billing point calculation unit 545 returns to step S2200. In addition, when the reproduction of the advertising audio data is completed (S2500: YES), billing point calculation unit 545 proceeds to step S2600.

なお、以上説明したステップS2200の処理およびステップ2300の処理は、時間的に並行して行われてもよい。また、ステップS2200の処理において頭部向きが取得されるのであれば、ステップS2300の処理は、ステップS2400の後に行ってもよい。   Note that the processing in step S2200 and the processing in step 2300 described above may be performed in parallel in time. If the head orientation is acquired in the process of step S2200, the process of step S2300 may be performed after step S2400.

ここまでの処理により、広告音声データについての課金ポイントシートは、完成することになる。   By the processing so far, the billing point sheet for the advertising audio data is completed.

図14は、課金ポイントシートの内容の一例を示す図である。   FIG. 14 is a diagram showing an example of the contents of a charging point sheet.

図14に示すように、課金ポイントシート640は、複数の再生時刻641に対応付けて、位置情報642、他音源情報644、および他音源位置645を記述する。再生時刻641および位置情報は、制御情報630の再生時刻632および位置情報633(図10参照)に対応するものである。他音源情報644は、仮想領域判定部543の判定結果である。他音源情報644は、音響制御部541による他音源が存在するか否の判断の結果である。他音源位置645は、音響制御部541が取得した他音源の位置である。   As shown in FIG. 14, charging point sheet 640 describes position information 642, other sound source information 644, and other sound source position 645 in association with a plurality of playback times 641. The reproduction time 641 and the position information correspond to the reproduction time 632 and the position information 633 (see FIG. 10) of the control information 630. The other sound source information 644 is a determination result of the virtual area determination unit 543. The other sound source information 644 is a result of the determination by the acoustic control unit 541 whether or not another sound source exists. The other sound source position 645 is the position of the other sound source acquired by the sound control unit 541.

例えば、位置情報642は、「0」という再生時刻641では「X0,Y0,Z」であり、「1」という再生時刻641では「X1,Y1,Z」である。また、これら両方の時刻において、可聴領域情報643は、「可聴領域内」となっている。これは、広告音源が、可聴空間内において移動したことを示す。また、位置情報642は、仮想音響空間座標系の座標であるため、ユーザ611からの広告音源の方向および距離を示す情報である。他音源位置645は、位置情報642と同様に、仮想音響空間座標系の座標において、ユーザ611からの広告音源の方向および距離を示す情報である。更に、位置情報642と他音源位置645との組み合わせは、広告音源と他音源との距離を示す情報である。   For example, the position information 642 is “X0, Y0, Z” at the reproduction time 641 of “0”, and “X1, Y1, Z” at the reproduction time 641 of “1”. At both times, the audible area information 643 is “in the audible area”. This indicates that the advertisement sound source has moved within the audible space. The position information 642 is information indicating the direction and distance of the advertisement sound source from the user 611 because the position information 642 is a coordinate in the virtual acoustic space coordinate system. The other sound source position 645 is information indicating the direction and distance of the advertisement sound source from the user 611 in the coordinates of the virtual acoustic space coordinate system, similarly to the position information 642. Further, the combination of the position information 642 and the other sound source position 645 is information indicating the distance between the advertisement sound source and the other sound source.

図11のステップS2600において、課金ポイント算出部545は、課金ポイント算出処理を行う。課金ポイント算出処理は、課金ポイントシートに基づいて、課金ポイントを算出し、広告配信サーバ400へ送信する処理である。   In step S2600 of FIG. 11, charging point calculation unit 545 performs charging point calculation processing. The charging point calculation process is a process of calculating a charging point based on the charging point sheet and transmitting it to the advertisement distribution server 400.

図15は、課金ポイント算出処理の一例を示すフローチャートである。   FIG. 15 is a flowchart illustrating an example of charging point calculation processing.

まず、ステップS2601において、課金ポイント算出部545は、課金ポイントシート制御部544から、課金ポイントシート640(図14参照)を取得する。この際、課金ポイント算出部545は、課金ポイントの算出に、別途パラメータが必要な場合、そのパラメータを取得する。   First, in step S2601, the charging point calculation unit 545 acquires the charging point sheet 640 (see FIG. 14) from the charging point sheet control unit 544. At this time, the charging point calculation unit 545 obtains the parameter if a separate parameter is required for calculating the charging point.

そして、ステップS2602において、課金ポイント算出部545は、課金ポイントシート640の再生時刻641を、1つ選択する。課金ポイント算出部545は、ステップS2603〜S2607の処理を、再生時刻641を選択するごとに、その選択した再生時刻641について行う。   In step S2602, charging point calculation unit 545 selects one reproduction time 641 of charging point sheet 640. The billing point calculation unit 545 performs the processing of steps S2603 to S2607 for the selected playback time 641 each time the playback time 641 is selected.

ステップS2603において、課金ポイント算出部545は、広告音源の位置情報から、広告音源の配置領域を判定する。そして、課金ポイント算出部545は、判定した配置領域から、課金ポイント算出テーブル620(図7参照)に基づき、課金ポイントの加算値を決定する。   In step S2603, the charging point calculation unit 545 determines the placement area of the advertisement sound source from the position information of the advertisement sound source. Then, the charging point calculation unit 545 determines an added value of the charging points based on the determined arrangement area based on the charging point calculation table 620 (see FIG. 7).

ステップS2604において、課金ポイント算出部545は、広告音源の位置情報642から、広告音源とユーザとの距離を判定する。そして、判定した距離から、課金ポイント算出部545は、課金ポイント算出テーブル620に基づき、課金ポイントの加算値を決定する。   In step S2604, the charging point calculation unit 545 determines the distance between the advertisement sound source and the user from the advertisement sound source position information 642. Then, based on the determined distance, charging point calculation unit 545 determines an addition value of charging points based on charging point calculation table 620.

ステップS2605において、課金ポイント算出部545は、広告音源の位置情報642および他音源位置645から、広告音源と他音源とのの距離を判定する。そして、課金ポイント算出部545は、判定した距離から、課金ポイント算出テーブル620に基づき、課金ポイントの加算値を決定する。   In step S2605, the charging point calculation unit 545 determines the distance between the advertisement sound source and the other sound source from the advertisement sound source position information 642 and the other sound source position 645. Then, the charging point calculation unit 545 determines an addition value of the charging points based on the charging point calculation table 620 from the determined distance.

ステップS2606において、課金ポイント算出部545は、他音源情報644から、広告音源と他音源との重畳の有無を判定する。そして、課金ポイント算出部545は、判定結果から、課金ポイント算出テーブル620に基づき、課金ポイントの加算値を決定する。   In step S2606, the charging point calculation unit 545 determines from the other sound source information 644 whether or not the advertisement sound source and the other sound source are superimposed. Then, the charging point calculation unit 545 determines an addition value of the charging points based on the determination result based on the charging point calculation table 620.

ステップS2607において、課金ポイント算出部545は、選択している再生時刻641の位置情報642と、1つ前の再生時刻641の位置情報642とから、広告音源の移動の有無を判定する。そして、課金ポイント算出部545は、判定結果から、課金ポイント算出テーブル620に基づき、課金ポイントの加算値を決定する。   In step S2607, charging point calculation unit 545 determines whether or not the advertisement sound source has moved, from position information 642 at the selected playback time 641 and position information 642 at the previous playback time 641. Then, the charging point calculation unit 545 determines an addition value of the charging points based on the determination result based on the charging point calculation table 620.

そして、ステップS2608において、課金ポイント算出部545は、課金ポイントシート640の全ての再生時刻641について処理を完了したか否かを判断する。課金ポイント算出部545は、処理を完了していない場合(S2608:NO)、ステップS2602へ戻る。但し、課金ポイント算出部545は、既に処理を行った再生時刻641については、ステップS2602において選択しないものとする。また、課金ポイント算出部545は、処理を完了した場合(S2608:YES)、ステップS2609へ進む   In step S2608, charging point calculation unit 545 determines whether or not processing has been completed for all reproduction times 641 of charging point sheet 640. If the accounting point calculation unit 545 has not completed the process (S2608: NO), the process returns to step S2602. However, the charging point calculation unit 545 does not select the playback time 641 that has already been processed in step S2602. Further, when the processing is completed (S2608: YES), charging point calculation unit 545 proceeds to step S2609.

ステップS2609において、課金ポイント算出部545は、課金ポイントの累積値(決定された課金ポイント加算値の合計値)を、広告音声データの課金ポイントに決定し、図11の処理へ戻る。   In step S2609, charging point calculation unit 545 determines the accumulated value of the charging points (the total value of the determined charging point addition value) as the charging point of the advertising voice data, and returns to the process of FIG.

図11のステップS2700において、通信部520は、決定された課金ポイントを、広告配信サーバ400へ送信する。   In step S <b> 2700 of FIG. 11, communication unit 520 transmits the determined charging point to advertisement distribution server 400.

そして、ステップS2800において、通信部520は、ユーザの操作などにより、処理の終了を指示されたか否かを判断する。通信部520は、処理の終了を指示されていない場合(S2800:NO)、ステップS2100へ戻る。また、通信部520は、処理の終了を指示された場合(S2800:YES)、一連の処理を終了する。   In step S2800, communication unit 520 determines whether or not an instruction to end the process is given by a user operation or the like. If the communication unit 520 is not instructed to end the process (S2800: NO), the communication unit 520 returns to step S2100. When instructed to end the process (S2800: YES), communication unit 520 ends the series of processes.

このような動作により、端末装置500は、仮想音響空間に立体的に各音声を配置した立体音響を出力しつつ、課金ポイントシートを作成することができる。そして、端末装置500は、課金ポイントシートに記録された、複数の再生時刻における位置情報、可聴領域情報、他音源情報、および他音源位置に基づいて、広告に対する課金ポイントの値を決定することができる。   By such an operation, the terminal device 500 can create a billing point sheet while outputting the stereophonic sound in which each sound is three-dimensionally arranged in the virtual acoustic space. Then, the terminal device 500 may determine the value of the billing point for the advertisement based on the position information, audible area information, other sound source information, and other sound source position at a plurality of playback times recorded in the billing point sheet. it can.

以上で、端末装置500の動作についての説明を終える。   This is the end of the description of the operation of the terminal device 500.

以上説明したように、本実施の形態に係る端末装置500は、複数の時刻において音源相対位置情報を取得し、取得した複数の相対位置情報に基づいて、課金ポイントの値を決定することができる。具体的には、端末装置500は、広告音源が、ユーザが聞き取り易いまたは注目している可能性が高い位置に存在した時間の長さ、あるいは、ユーザが注目するような動きをしているか否かに基づいて、課金ポイントを決定することができる。これにより、端末装置500は、広告効果によりマッチした課金ポイントを決定することができる。   As described above, terminal apparatus 500 according to the present embodiment can acquire sound source relative position information at a plurality of times, and can determine the value of a charging point based on the acquired plurality of relative position information. . Specifically, the terminal device 500 is the length of time that the advertisement sound source was present at a position where the user is likely to hear or is likely to be paying attention, or whether or not the advertising sound source is moving so as to be noticed by the user. Based on this, the charging point can be determined. Thereby, the terminal device 500 can determine the charging point matched by the advertising effect.

なお、端末装置500は、ユーザの頭部向きの変化以外の、ユーザの各種行動に基づいて、広告音源が、ユーザが聞き取り易いまたは注目している可能性が高い位置に存在した時間の長さを、取得してもよい。この場合でも、端末装置500は、ユーザの行動を考慮した広告への課金額を算出することができるので、広告効果によりマッチした課金ポイントを決定することができる。   In addition, the terminal device 500 is based on various actions of the user other than the change in the user's head orientation, and the length of time that the advertisement sound source is present at a position where the user is likely to hear or is likely to be focused May be obtained. Even in this case, since the terminal device 500 can calculate the billing amount for the advertisement in consideration of the user's behavior, it is possible to determine the matching billing point based on the advertisement effect.

例えば、端末装置500は、可聴領域に広告音源が位置していても、その状態でユーザが首を縦に振る動作が行われて初めて、課金ポイントを増加させるようにしてもよい。また、例えば、端末装置500は、可聴領域に広告音源が位置していても、その状態でユーザが首を横に振る動作が行われた場合、課金ポイントを減少させるようにしてもよい。   For example, even if the advertising sound source is located in the audible area, the terminal device 500 may increase the charging points only when the user performs an operation of swinging his / her head vertically in that state. In addition, for example, even if the advertising sound source is located in the audible area, the terminal device 500 may decrease the charging points when the user swings his / her head in that state.

このように、ユーザの動作(行動)に基づいて課金ポイントを決定する場合、課金ポイント算出テーブルは、予め登録されたユーザの動作(行動)パターンと課金ポイント加算値とを対応付けて記述しておく必要がある。そして、操作部510は、この予め登録されたユーザの動作(行動)パターンの動作(行動)を検出し、検出結果を、課金ポイントシートに記録させる必要がある。   As described above, when the charging point is determined based on the user's operation (behavior), the charging point calculation table describes the user's operation (behavior) pattern registered in advance and the charging point addition value in association with each other. It is necessary to keep. And the operation part 510 needs to detect the operation | movement (behavior) of this user's registered operation (behavior) pattern, and to record a detection result on a billing point sheet.

また、端末装置500は、広告音声データの再生に関するユーザのトリックプレイに基づいて、課金ポイントを決定するようにしてもよい。例えば、端末装置500は、広告音声データの再生中に、その再生の停止を操作された場合、停止までの時間についてのみ課金ポイント加算値を累計する。   In addition, the terminal device 500 may determine the charging point based on the user's trick play regarding the reproduction of the advertising audio data. For example, when the stop of the reproduction is operated during the reproduction of the advertisement audio data, the terminal device 500 accumulates the charging point addition value only for the time until the stop.

この場合も、操作部510は、このトリックプレイを検出し、検出結果を、課金ポイントシートに記録させるか、課金ポイント算出部545に通知する必要がある。   Also in this case, the operation unit 510 needs to detect this trick play and record the detection result in the charging point sheet or notify the charging point calculation unit 545.

また、課金ポイント算出部545は、状況に応じて、課金ポイント算出テーブルの課金種別に応じた重み付けをして、課金ポイント加算値の累積を行ってもよい。課金ポイント算出部545は、例えば、ユーザの行動履歴に基づいてかかる重み付けを行うことにより、右に顔を向け易いなどのユーザの行動傾向を加味して、課金ポイントを決定することができる。   Further, the charging point calculation unit 545 may accumulate the charging point addition value by weighting according to the charging type of the charging point calculation table according to the situation. For example, the charging point calculation unit 545 can determine the charging point in consideration of the user's behavior tendency such as easy to face to the right by performing such weighting based on the user's behavior history.

また、課金ポイント算出部545は、広告配信サーバ400に備えられていてもよい。この場合、端末装置500は、課金ポイントシートを、広告配信サーバ400へ送信すればよい。   Further, the charging point calculation unit 545 may be provided in the advertisement distribution server 400. In this case, the terminal device 500 may transmit the billing point sheet to the advertisement distribution server 400.

また、端末装置500は、広告音源の配置を、実空間における広告主に関連する物や場所(例えば店舗)の位置と連動するように、決定してもよい。この場合、広告配信サーバ400は、制御情報として、このような連動を行うか否かの指定と、連動を行う場合、連動対象となる物の位置情報とを、端末装置500に送信することが望ましい。これにより、端末装置500は、ユーザに対し、広告主に関連する物や場所の方向から広告音声を聞かせることができる。なお、この場合、端末装置500は、連動を行う時間が長いほど、課金ポイントをより高い値に決定することが望ましい。   Further, the terminal device 500 may determine the arrangement of the advertisement sound source so as to be linked with the position of an object or place (for example, a store) related to the advertiser in the real space. In this case, the advertisement distribution server 400 may transmit to the terminal device 500, as control information, designation of whether or not to perform such interlocking and, when interlocking, position information of an object to be interlocked. desirable. Thereby, the terminal device 500 can let the user hear the advertisement voice from the direction of the thing or place related to the advertiser. In this case, it is desirable that the terminal device 500 determines the charging point to a higher value as the interlocking time is longer.

また、以上説明した各実施の形態においては、立体音響を前提としたが、これに限定されない。この場合、広告音源は、ユーザの頭部内に定位され、広告音声は、両耳からステレオもしくはモノラルとして聞こえることになる。この場合でも、本発明では、例えば、上述の首振り動作など、ユーザの動作(行動)に基づいて課金ポイントを決定することが可能になるので、音声広告に対し、その広告効果によりマッチした課金ポイントを決定することができる。   In each of the embodiments described above, stereophonic sound is assumed, but the present invention is not limited to this. In this case, the advertisement sound source is localized in the user's head, and the advertisement sound is heard as stereo or monaural from both ears. Even in this case, in the present invention, for example, it becomes possible to determine a charging point based on the user's action (behavior) such as the above-described swinging action, so that the billing matched with the advertising effect for the voice advertisement Points can be determined.

本発明は、音声広告に対し、その広告効果によりマッチした課金ポイントを決定することができる、音響制御装置および音響制御方法として有用である。すなわち、本発明は、例えば、携帯電話や音楽プレーヤなど、音声を再生する機能を持つ各種の機器に対し有用である。また、本発明は、前記モバイル端末等の製造、販売、提供、利用する産業において、経営的、継続的、反復的に利用することができる。   INDUSTRIAL APPLICABILITY The present invention is useful as an acoustic control device and an acoustic control method that can determine a billing point that matches a voice advertisement based on the advertising effect. That is, the present invention is useful for various devices having a function of reproducing sound, such as a mobile phone and a music player. In addition, the present invention can be used in a management, continuous, and repetitive manner in industries that manufacture, sell, provide, and use the mobile terminal and the like.

100 音響制御システム
200 通信ネットワーク
300 音声メッセージ管理サーバ
400 広告配信サーバ
500 音響制御装置(端末装置)
510 操作部
520 通信部
530 記憶部
540 制御部
541 音響制御部
542 位置取得部
543 仮想領域判定部
544 課金ポイントシート制御部
545 課金ポイント算出部
550 再生部
560 音声入出力部
DESCRIPTION OF SYMBOLS 100 Sound control system 200 Communication network 300 Voice message management server 400 Advertisement delivery server 500 Sound control apparatus (terminal device)
510 operation unit 520 communication unit 530 storage unit 540 control unit 541 acoustic control unit 542 position acquisition unit 543 virtual area determination unit 544 charging point sheet control unit 545 charging point calculation unit 550 playback unit 560 audio input / output unit

Claims (12)

仮想音響空間に立体的に配置される音声に関する処理を行う音響制御装置であって、
内容を広告とする音声の音源である広告音源を、前記仮想音響空間に配置する音響制御部と、
ユーザの前記仮想音響空間における位置と、前記広告音源の前記仮想音響空間における位置との相対関係を含む、音源相対位置情報を取得する課金ポイントシート制御部と、
取得された前記音源相対位置情報に基づいて、前記広告に対する課金ポイントの値を決定する課金ポイント算出部と、を有する、
音響制御装置。
An acoustic control device that performs processing related to sound that is three-dimensionally arranged in a virtual acoustic space,
An acoustic control unit that arranges an advertising sound source, which is a sound source of audio whose content is an advertisement, in the virtual acoustic space;
A billing point sheet control unit that acquires sound source relative position information including a relative relationship between a position of the user in the virtual acoustic space and a position of the advertising sound source in the virtual acoustic space;
A charging point calculation unit for determining a value of a charging point for the advertisement based on the acquired sound source relative position information,
Acoustic control device.
前記課金ポイント算出部は、
複数の時刻に取得された複数の前記音源相対位置情報に基づいて、前記課金ポイントの値を決定する、
請求項1記載の音響制御装置。
The billing point calculation unit
Based on a plurality of the sound source relative position information acquired at a plurality of times, the value of the charging point is determined.
The acoustic control device according to claim 1.
前記課金ポイントシート制御部は、
前記音源相対位置情報の少なくとも一部として、前記広告音源の位置が前記ユーザの可聴領域にあるか否かを取得し、
前記課金ポイント算出部は、
前記広告音源の位置が前記ユーザの可聴領域にある時間が長いほど、前記課金ポイントをより高い値に決定する、
請求項2記載の音響制御装置。
The billing point sheet control unit
As at least part of the sound source relative position information, obtain whether or not the position of the advertising sound source is in the audible area of the user,
The billing point calculation unit
The longer the time the advertisement sound source is in the audible area of the user, the higher the charging point is determined.
The acoustic control device according to claim 2.
前記課金ポイントシート制御部は、
前記音源相対位置情報の少なくとも一部として、前記広告音源の位置と前記ユーザの位置との距離を取得し、
前記課金ポイント算出部は、
前記距離に反比例する所定の値の積算値が高いほど、前記課金ポイントをより高い値に決定する、
請求項2記載の音響制御装置。
The billing point sheet control unit
As at least part of the sound source relative position information, obtain a distance between the position of the advertising sound source and the position of the user,
The billing point calculation unit
The higher the integrated value of the predetermined value inversely proportional to the distance, the higher the charging point is determined.
The acoustic control device according to claim 2.
前記課金ポイントシート制御部は、
前記音源相対位置情報の少なくとも一部として、前記ユーザの位置および向きに対する前記広告音源の相対位置を取得し、
前記課金ポイント算出部は、
前記広告音源の位置が、予め定められた、前記ユーザが聞き取り易い領域に位置する時間が長いほど、前記課金ポイントをより高い値に決定する、
請求項2記載の音響制御装置。
The billing point sheet control unit
As at least a part of the sound source relative position information, obtain the relative position of the advertisement sound source with respect to the position and orientation of the user,
The billing point calculation unit
The charging point is determined to be a higher value as the position of the advertisement sound source is determined in advance, and the time it is located in a region where the user can easily hear is longer.
The acoustic control device according to claim 2.
前記課金ポイントシート制御部は、
前記音源相対位置情報の少なくとも一部として、前記ユーザの位置および向きに対する前記広告音源の相対位置を取得し、
前記課金ポイント算出部は、
前記相対位置の移動距離が長いほど、前記課金ポイントをより高い値に決定する、
請求項2記載の音響制御装置。
The billing point sheet control unit
As at least a part of the sound source relative position information, obtain the relative position of the advertisement sound source with respect to the position and orientation of the user,
The billing point calculation unit
The charging point is determined to be higher as the moving distance of the relative position is longer.
The acoustic control device according to claim 2.
前記課金ポイントシート制御部は、
前記音源相対位置情報の一部として、前記広告の音声に重なる他の音声が存在するか否かを取得し、
前記課金ポイント算出部は、
前記広告の音声に重なる前記他の音声が存在しない時間が長いほど、前記課金ポイントをより高い値に決定する、
請求項2記載の音響制御装置。
The billing point sheet control unit
As part of the sound source relative position information, whether or not there is another sound that overlaps the sound of the advertisement,
The billing point calculation unit
The charging point is determined to be higher as the time during which the other voice that overlaps the voice of the advertisement does not exist is longer.
The acoustic control device according to claim 2.
前記課金ポイントシート制御部は、
前記音源相対位置情報の一部として、前記広告音源の位置と他の音声の音源である他音源の位置との距離を取得し、
前記課金ポイント算出部は、
前記広告音源の位置と前記他音源の位置との距離の積算値が高いほど、前記課金ポイントをより高い値に決定する、
請求項2記載の音響制御装置。
The billing point sheet control unit
As a part of the sound source relative position information, obtain the distance between the position of the advertising sound source and the position of another sound source that is a sound source of other audio,
The billing point calculation unit
The higher the integrated value of the distance between the position of the advertising sound source and the position of the other sound source, the higher the charging point is determined.
The acoustic control device according to claim 2.
前記広告の音声の音声データと、周期的な所定のタイミングごとの前記広告音源の位置を指定する制御情報とを受信する通信部と、
前記所定のタイミングごとに、前記ユーザの向きを取得し、取得した前記ユーザの向きから前記可聴領域を判定する仮想領域判定部と、
を更に有し、
前記音響制御部は、
前記制御情報から、前記所定のタイミングごとの前記広告音源の位置を取得する、
請求項3記載の音響制御装置。
A communication unit that receives audio data of the audio of the advertisement, and control information that specifies a position of the advertisement sound source at each periodic predetermined timing;
A virtual area determination unit that acquires the orientation of the user at each predetermined timing and determines the audible area from the acquired orientation of the user;
Further comprising
The acoustic control unit
From the control information, obtain the position of the advertising sound source at each predetermined timing,
The acoustic control device according to claim 3.
前記課金ポイントシート制御部は、
前記広告音源の位置と前記可聴領域とを前記タイミングごとに対応付けた情報を記述する課金ポイントシートを生成し、
前記課金ポイント算出部は、
前記課金ポイントシートに基づいて、前記課金ポイントの値を決定する、
請求項9記載の音響制御装置。
The billing point sheet control unit
Generating a billing point sheet describing information associating the position of the advertisement sound source and the audible area for each timing;
The billing point calculation unit
Determining a value of the charging point based on the charging point sheet;
The acoustic control device according to claim 9.
前記課金ポイント算出部は、
複数の時刻における前記音源相対位置情報の内容と前記課金ポイントの値とを対応付けて記述する課金ポイント算出テーブルを予め格納し、前記課金ポイントシートから、前記課金ポイント算出テーブルを用いて、前記課金ポイントの値を決定する、
請求項10記載の音響制御装置。
The billing point calculation unit
A charging point calculation table in which the contents of the sound source relative position information at a plurality of times and values of the charging points are described in association with each other is stored in advance, and the charging points are calculated from the charging point sheet using the charging point calculation table. Determine the value of points,
The acoustic control apparatus according to claim 10.
仮想音響空間に立体的に配置される音声に関する処理を行う音響制御方法であって、
内容を広告とする音声の音源である広告音源を、前記仮想音響空間に配置するステップと、
ユーザの前記仮想音響空間における位置と、前記広告音源の前記仮想音響空間における位置との相対関係を含む、音源相対位置情報を取得するステップと、
取得された前記音源相対位置情報に基づいて、前記広告に対する課金ポイントの値を決定するステップと、を有する、
音響制御方法。
An acoustic control method for performing processing related to sound arranged three-dimensionally in a virtual acoustic space,
Placing an advertising sound source, which is a sound source of audio whose content is an advertisement, in the virtual acoustic space;
Obtaining sound source relative position information including a relative relationship between a position of the user in the virtual acoustic space and a position of the advertising sound source in the virtual acoustic space;
Determining a charging point value for the advertisement based on the acquired sound source relative position information,
Acoustic control method.
JP2011143000A 2011-06-28 2011-06-28 Sound control device and sound control method Withdrawn JP2013011958A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011143000A JP2013011958A (en) 2011-06-28 2011-06-28 Sound control device and sound control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011143000A JP2013011958A (en) 2011-06-28 2011-06-28 Sound control device and sound control method

Publications (1)

Publication Number Publication Date
JP2013011958A true JP2013011958A (en) 2013-01-17

Family

ID=47685805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011143000A Withdrawn JP2013011958A (en) 2011-06-28 2011-06-28 Sound control device and sound control method

Country Status (1)

Country Link
JP (1) JP2013011958A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014196031A1 (en) * 2013-06-05 2014-12-11 株式会社日立システムズ Portal site usage record collection system
JP5985718B1 (en) * 2015-07-17 2016-09-06 ヤフー株式会社 Information display program, information display apparatus, information display method, distribution apparatus, and distribution method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014196031A1 (en) * 2013-06-05 2014-12-11 株式会社日立システムズ Portal site usage record collection system
JP5662595B1 (en) * 2013-06-05 2015-02-04 株式会社日立システムズ Portal site usage results collection system and portal site usage results collection method
CN105264562A (en) * 2013-06-05 2016-01-20 株式会社日立系统 Portal site usage record collection system
JP5985718B1 (en) * 2015-07-17 2016-09-06 ヤフー株式会社 Information display program, information display apparatus, information display method, distribution apparatus, and distribution method

Similar Documents

Publication Publication Date Title
US11653168B2 (en) Music collection navigation device and method
US9107023B2 (en) N surround
CN108141696A (en) The system and method adjusted for space audio
KR101844388B1 (en) Systems and methods for delivery of personalized audio
CN104869524B (en) Sound processing method and device in three-dimensional virtual scene
US10629219B2 (en) Personal audio assistant device and method
JP5942170B2 (en) Voice control device and voice control method
CN105637903A (en) A system for and a method of generating sound
US20150189455A1 (en) Transformation of multiple sound fields to generate a transformed reproduced sound field including modified reproductions of the multiple sound fields
US9769585B1 (en) Positioning surround sound for virtual acoustic presence
CN105493181A (en) Multidimensional virtual learning system and method
CN103945253B (en) Method for controlling volume and equipment, control method for playing multimedia and equipment
US11450331B2 (en) Personal audio assistant device and method
CN103609143A (en) Method for capturing and playback of sound originating from a plurality of sound sources
JP2006506884A (en) Data presentation apparatus and method based on audio
JP2013011958A (en) Sound control device and sound control method
US10321252B2 (en) Transaural synthesis method for sound spatialization
JP2013532919A (en) Method for mobile communication
CN105611480A (en) Audio playing method and terminal
CN105282642A (en) Headphone and sound channel control method thereof
CN106648540A (en) Music switching method and device
WO2012104297A1 (en) Generation of user-adapted signal processing parameters
JP4922462B1 (en) Content playback apparatus and content playback method
Melchior et al. Emerging technology trends in spatial audio
WO2022185725A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140902